线性代数笔记(十七)——正交矩阵和Gram-Schmidt正交化

书接上一回标准正交基，讲述了该正交向量组的特性与优势，并介绍了一种将一组向量标准化为标准正交向量组的重要方法：Gram-Schmidt正交化。

正交矩阵和Gram-Schmidt正交化

标准正交基

标准正交向量组构成的空间基被称为标准正交基，它有两个特性：对标准正交向量组中任意向量$q$，有： $$\{\begin{array}{l}{q}_i^T{q}_j=0(i\ne j)\\ q_i^T{q}_j=1(i=j)\end{array}$$

即：向量彼此垂直，模均为$1$。

标准正交矩阵

将标准正交向量组中的$q_1,q_2,...,q_n$组成的矩阵$Q$被称为正交矩阵： $$Q=\left[\begin{array}{ccccc}{q}_1& q_2& q_3& ...& q_n\end{array}\right]$$

显然，正交矩阵$Q$具有一个良好的性质：$Q^{T}Q=I$ $$Q^{T}Q=\left[\begin{array}{c}{q}_1\\ q_2\\ q_3\\ ...\\ q_n\end{array}\right]\left[\begin{array}{ccccc}{q}_1& q_2& q_3& ...& q_n\end{array}\right]=\left[\begin{array}{ccccc}1& 0& ...& 0& 0\\ 0& 1& ...& 0& 0\\ ...& ...& ...& ...& ...\\ 0& 0& ...& 1& 0\\ 0& 0& ...& 0& 1\end{array}\right]=I$$

正交矩阵

特别地，当$$为方阵时，我们称这样的$$为正交矩阵。

正交矩阵有更丰富的性质，此时的方阵$$有逆矩阵，由$$可知，$$。

置换矩阵就是个经典案例。

标准正交矩阵的应用

标准正交矩阵可以应用到投影矩阵上，我们知道：$$，当$$是标准正交矩阵时，有：$$。特别地，若$$为方阵，此时$$。（说明此时投影矩阵就是单位阵$$）

$$的计算得到了极大的简化，对于$$，根据前面几讲的知识，我们知道$$有着一些特性：

• 是对称阵，即$$
• 乘方不变性，即$$

此外，对于前两讲中的拟合方程：$$，若$$为标准正交矩阵，那么方程就变成了$$。$$的每个分量$$，即都是$$中对应列向量与$$的内积。

这个式子的物理意义就是：对已知标准正交基，向量$$在第$$个基上的投影就是对应基向量$$。

因此，如果我们选择标准正交向量组作为基时，投影矩阵相关公式中的诸多计算都得到了极大的简化。

Gram-Schmidt正交化

在标准正交矩阵的应用中我们可以看到，如果能够在实际运算中采用标准正交向量组，那就可以简化相当多的运算量。然而实际情况是，我们往往拿到的都只是一组线性无关的向量，它们恰好构成标准正交基的可能性微乎其微。那么有没有一种方法，可以将任意的线性无关向量组转换为标准正交基呢？

答案是肯定的，这种方法就是”Gram-Schmidt正交化“。

Gram-Schmidt正交化的过程很简单： $$

第一步转为正交向量的过程被称作Graham，第二步标准化为模1的过程被称作Schmidt。

第二步标准化的过程很好理解，对每个分量除以模量即可，正交化的过程关键在于第一步，怎么找到$$和$$。

以不共线的两个$$向量为例，怎么转换成正交基呢？这就要用到投影：

我们先将$$向量固定，设为$$，然后将$$向量投影到$$上得到$$，此时误差向量$$所在直线的方向实际上就是另一个基向量$$的方向，取投影长度为$$的长度。于是有： $$

式子里$$和$$都是内积标量值，因此上式一般写作：$$的形式。

得到$$之后，第二步就是做标准化了：$$。

延展到三维空间，对于向量$$要怎么做正交化呢？我们可以如法炮制，首先$$的寻找方法不变： $$

$$的计算如出一辙，我们分别让$$在$$和$$上进行投影，然后再减去投影得到的两个向量即为$$： $$

最后再对$$标准化即可。

示例

有$$，求标准正交矩阵$$。

解：

先固定$$，用$$在$$上投影，差值即为: $$

标准化后得到： $$

引申：矩阵的QR分解

用消元法视角来看$$的分解，可以看做$$，$$是进行行变换的下三角阵，$$是上三角阵。

以同样的眼光来看Gram-Schmidt正交化，有$$，其中$$为标准正交化阵，$$是一个上三角阵。 $$

显然左下角$$($$q2$$B$$)，拓展到高维会发现下三角都是$$，因为后构造的向量总是垂直于前面的向量。这也是Gram-Schmidt正交化的一个性质。

附录

视频

参考链接

• 正交矩阵和Gram-Schmidt 正交化
• Lec17 - 正交矩阵和 Gram-Schmidt 正交化
• 线性代数的艺术