LA@生成子空间@范数@衡量矩阵大小@正交化

线性组合与线性方程组

• 如果A是方阵,其逆矩阵 $A^{-1}$ 存在，那么式 $Ax=b$ 肯定对于每一个向量 $b$ 恰好存在一个解。

• 但是，对于一般的方程组而言(A不一定是方阵)，对于向量 b 的某些值，有可能不存在解，或者存在无限多个解两,或者存在唯一解。

  • 存在多于一个解(是少2个)但是少于无限多个解(解的数量有限而不是无穷大)的情况是不可能发生的；

  • 因为如果 x 和y 都是某方程组的解($Ax=b,Ay=b)$，则

    • $$z=\alpha x+\beta y,其中\alpha +\beta =1$$

      • 对于任意$\alpha \in R$,$z$肯定也是$Ax=b$的解,因为:

      • $$Az=\alpha Ax+\beta Ay=\alpha b+\beta b=(\alpha +\beta )b=b$$

• 为了分析方程有多少个解，我们可以将 A 的列向量看作从 原点（origin）（元素都是零的向量,对于n维向量,可以理解为n维点,例如三维空间原点(0,0,0))出发的不同方向(用$A$的一个列向量来对应表示一个方向)，确定有多少种方法可以到达向量 $b$。

  • 设$A\in {\mathbb{R}}^{m\times n}$,则$x\in {\mathbb{R}}^n$,也即是说A可以看成由n个列向量构成的矩阵(用${\alpha }_i$表示第i个方向)

    • $A=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)$

    • $$x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$$

  • 解向量 $x$ 中的每个元素$x_i$表示应该沿着方向${\alpha }_i$走多的距离为 $x_i$

  • 将这些步骤效果叠加:

    • $$Ax=\sum _{i=1}^n{\alpha }_i{x}_i=b$$

    • 这种操作称为向量组的线性组合(向量$b$用矩阵A的列向量组线性表出,表出系数为向量$x$)

      • 其中${\alpha }_i$是向量,$x_i$是标量

    • 而$Ax=b$的线性方程组展开

      • 是从矩阵乘积的结果$b$(或解向量$x$)的逐个分量的角度描述.

      • $$\begin{gathered} Ax=\sum _{i=1}^m{\beta }_{i}x=b \\ \{\begin{array}{rl}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n& =b_1,\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n& =b_2,\\ ⋮& \\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n& =b_n\end{array} \end{gathered}$$

        • 其中${\beta }_i$是矩阵A的第i个行向量(分块),$x$是解向量

生成子空间

• 一组向量的 生成子空间（span）是原始向量线性组合后所能抵达的结果的集合。

• 确定 $Ax=b$ 是否有解相当于确定向量 b 是否在 A 列向量的生成子空间中。

  • $A\in {\mathbb{R}}^{m\times n}$
  • $x\in {\mathbb{R}}^{n\times 1}$
  • $b\in {\mathbb{R}}^{m\times 1}$

• A向量组的生成子空间被称为 A 的 列空间（column space）或者 A 的 值域（range）。

• 为了使方程 $Ax=b$ 对于任意向量 $b\in {\mathbb{R}}^m$ 都存在解，我们要求 A 的列空间构成整个 ${\mathbb{R}}^m$。

  • 这意味者b一定会落在A的列空间

• 如果 ${\mathbb{R}}^m$ 中的某个点不在 A 的列空间中(向量b无法被矩阵A线性表出)，那么该点对应的 b 会使得该方程没有解。

• 矩阵 A 的列空间是整个 ${\mathbb{R}}^m$ 的要求，意味着 A 至少有 m 列，即

  • $n⩾m$。否则，A 列空间的维数会小于 m。
    • 例如，假设 A 是一个 3 × 2 的矩阵。目标 b 是 3 维的，但是 x 只有 2 维。
    • 所以无论如何修改二维向量 $x$ 的值，也只能描绘出 ${\mathbb{R}}^3$ 空间中的二维平面,当且仅当向量 b 在该二维平面中时，该方程有解。
  • $n⩾m$仅是方程对每一点都有解的必要条件。这不是一个充分条件，因为有些列向量可能是冗余的。
    • 假设有一个 ${\mathbb{R}}^{2\times 2}$ 中的矩阵，它的两个列向量是相同的。
    • 那么它的列空间和它的一个列向量作为矩阵时的列空间是一样的。
    • 换言之，虽然该矩阵有 2 列，但是它的列空间仍然只是一条线(只能描述某个方向)，不能涵盖整个 ${\mathbb{R}}^2$ 空间。

范数

• 有时我们需要衡量一个向量的大小。

  • 在机器学习中，我们经常使用被称为 范数（norm）的函数衡量向量大小。

• 严格地说,范数可以是满足以下性质的任意函数:

• 半范数:

  • $f(x)⩾0$
    • 半正定性
  • $f(x+y)⩽f(x)+f(y)$,(次可加性)
    • 即三角不等式,
    • 例如函数$f(x)=|x|$就满足$|x+y|⩽|x|+|y|$
  • $\forall a\in \mathbb{R},f(ax)=|a|f(x)$
    • 具有绝对一次齐次性

• 范数是一个半范数加上额外性质：

  • $f(x)=0\Rightarrow x=0$(正定性)

$L^p$范数

• Lp範數 (wikipedia.org)

• 形式上，$L^p$ 范数定义如下$||x|{|}_p$:

  • $$||x|{|}_p={\left(\sum _i|x_i{|}^p\right)}^{\frac{1}{p}}$$

    • $x_i$是向量$x$的元素
    • 其中$p\in \mathbb{R},p⩾1$
    • $\frac{1}{p}\in (0,1]$

  • 范数是将向量映射到非负值(容易证明$L^p⩾0$)

    • 由幂函数的知识,在函数$f(x)=x^p(p>0)$是递增函数
    • $|x_i|⩾0$,则$0=0^p⩽|x_i{|}^p$
    • 所以${\sum }_i|x_i{|}^p⩾0$
    • $||x|{|}_p⩾0$

  • 补充:由指数函数知识,$g(x)=t^x(0<t<1)$是递减的,在$t>1$是递增的

    • 如果$|x_i|<1$,则${\sum }_i|x_i{|}^p⩽{\sum }_i|x_i|$
    • 如果$|x_i|>1$,则:${\sum }_i|x_i{|}^p⩾{\sum }_i|x_i|$

• 向量x的范数衡量从原点(零向量)到点x的距离

• 当$p=2$时,$L^2$范数被称为Euclidean norm(欧几里得范数)

  • $||x|{|}^2$破坏了范数规则,比如次可加性

  • 它表示从原点出发到向量$x$确定的点的欧几里得距离

    • 欧几里得距离 (wikipedia.org)

      • 对于n维向量空间,原点$O=(0,0,\cdots ,0)$到$x=(x_1,x_2,\cdots ,x_n)$描述的点的欧式距离

      • $$\Vert \vec{x}{\Vert }_2=\sqrt{|x_1{|}^2+\cdots +|x_n{|}^2}$$

      • 更一般的,从点$p$到$q$的欧几里得距离:

        • $$d(\mathbf{p},\mathbf{q})=\sqrt{\sum _{i=1}^n(q_i-p_i{)}^2}$$

          • $p,q$ = two points in Euclidean n-space
            $q_i,p_i$ = Euclidean vectors, starting from the origin of the space (initial point)
            $n$ = n-space

        • 或描述为:
          $$d(x,y)=\sqrt{(x_1-y_1{)}^2+(x_2-y_2{)}^2+\cdots +(x_n-y_n{)}^2}$$

• $L^2$ 范数在机器学习中出现地十分频繁

  • 平方$L^2$范数$||x|{|}_2^2$,经常简化表示为 $\Vert x\Vert$，略去了角标2
  • 平方 $L^2$ 范数也经常用来衡量向量的大小，可以简单地通过点积 ($x^{T}x$)计算。
  • 平方 $L^2$ 范数在数学和计算上都比 $L^2$ 范数本身更方便。
    • 例如，平方 $L^2$ 范数对$x$中每个元素的导数只取决于对应的元素，
      • 而 $L^2$ 范数对每个元素的导数却和整个向量相关。
    • 但是在很多情况下，平方 $L^2$ 范数也可能不受欢迎，因为它在原点附近增长得十分缓慢。

• 在某些机器学习应用中，区分恰好是零的元素和非零但值很小的元素是很重要的。

  • 在这些情况下，我们转而使用在各个位置斜率相同，同时保持简单的数学形式的函数：L1 范数。

  • L1 范数可以简化如下：

    • $$||x|{|}_1=\sum _i|x_i|$$

• 最大范数

  • $$\begin{gathered} ||x|{|}_{\infty }=max(x_1,x_2,\cdots ,x_n) \\ 或描述为: \\ \Vert \vec{x}{\Vert }_{\infty }=\underset{p\to +\infty }{\lim }(\sum _{i=1}^n|x_i{|}^p{)}^{1/p}=\underset{i}{\max }|x_i| \end{gathered}$$

向量点积用范数表示

• $$x^{T}y=||x|{|}_2||y|{|}_2\cos \theta$$

  • 其中$\theta$表示$x,y$之间的夹角

ref

• 范数 (wikipedia.org)

• 范数（英语：Norm），是具有“长度”概念的函数。

  • 在线性代数、泛函分析及相关的数学领域，是一个函数，其为向量空间内的所有向量赋予非零的正长度或大小。

• 另一方面，半范数（英语：seminorm）可以为非零的向量赋予零长度。

• 例，一个二维度的欧氏几何空间${\mathbb{R}}^2$就有欧氏范数。在这个向量空间的元素（譬如：(3,7)）常常在笛卡尔坐标系统被画成一个从原点出发的箭号。每一个向量的欧氏范数就是箭号的长度。

  拥有范数的向量空间就是赋范向量空间。同样，拥有半范数的向量空间就是赋半范向量空间。

衡量矩阵大小

• 有时候我们可能也希望衡量矩阵的大小。在深度学习中，最常见的做法是使用 Frobenius 范数（Frobenius norm）

  • $$||A|{|}_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$

    • 其中$A_{i,j}$是矩阵A的第i行第j列元素

  • 其类似于$L^2$范数

特殊类型矩阵和向量

对角阵

• Diagonal matrix - Wikipedia

• Main diagonal - Wikipedia

• 对角矩阵（diagonal matrix）只在主对角线上含有非零元素，其他位置都是零。

  • 形式上,设矩阵D满足,$D_{ij}=0$,if $i\ne j$,则D是对角阵

    • 啰嗦的讲:

      • $$D_{ij}=\{\begin{array}{ll}0,& i\ne j\\ x,& i=j\end{array}x可以是任何数$$

  • 矩阵主对角线上的元素是$D_{ij},i=j$的元素

    • 非方阵矩阵也有主对角线元素,并且主对角线长度取决于行数和列数种的较小者

    • $$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$$

      • 主对角线元素用红色表出
      • 且这些矩阵都是满足对角阵的定义(对于非方阵而言,对角阵的主对角线两侧0的分布不对称)
        • 非零元素的占比:设q=min(m,n),其中m,n分别是对角阵D的行数和列数
        • 则对角阵D种的非零元素比例不超过$\frac{q}{q^2}=\frac{1}{q}$
        • 这是计算机计算对角阵乘法快速的原因之一

• 我们用 $diag(v)$ 表示一个对角元素由向量 v 中元素给定的对角方阵。

• 对角矩阵受到关注的部分原因是对角矩阵的乘法计算很高效。

  • 计算乘法 $diag(v)x$，我们只需要将 x 中的每个元素 $x_i$ 放大 $v_i$ 倍。换言之，$diag(v)x=v\odot x$。
  • 计算对角方阵的逆矩阵也很高效。
    • 在很多情况下，我们可以根据任意矩阵导出一些通用的机器学习算法；
    • 但通过将一些矩阵限制为对角矩阵，我们可以得到计算代价较低的（并且简明扼要的）算法。

• 不是所有的对角矩阵都是方阵。🎈

  • 长方形的矩阵也有可能是对角矩阵。
  • 非方阵的对角矩阵没有逆矩阵，但我们仍然可以高效地计算它们的乘法。
  • 对于一个长方形对角矩阵 D 而言,和向量$x$的乘法 $Dx$ 会涉及到向量$x$ 中每个元素的缩放
    • 如果 D 是瘦长型矩阵，那么在缩放后的末尾添加一些零；
    • 如果 D 是胖宽型矩阵，那么在缩放后去掉最后一些元素。

向量长度

• 设向量$\alpha$是n维实向量,向量长度被定义为$||\alpha ||=\sqrt{{\alpha }^T\alpha }$

  • 若$\alpha =(a_1,\cdots ,a_n{)}^T$

  • 则
    $$||a||=\sqrt{\sum _i{a}_i^2}$$

  • 对于记号$||\alpha ||$有时被强调为$||\alpha |{|}_2$(带上角标,$L^2$范数)

  • 如果将$\alpha$是三维向量,那么将三维向量看作是空间中的一个点P坐标,则$||a||$描述的就是点P到原点的距离

性质

• $||\alpha ||⩾0$

  • 仅当$\alpha =0$时$||\alpha ||=0$

• $||k\alpha ||=|k|\cdot ||\alpha ||,k\in \mathbb{R}$

  • $$\begin{gathered} ||ka||=\sqrt{\sum _i(k{a}_i{)}^2}=\sqrt{\sum k^2{a}_i^2} \\ =\sqrt{k^2\sum a_i^2}=|k|\sqrt{\sum _i{a}_i^2}=|k|\cdot ||\alpha || \end{gathered}$$

单位向量

• 单位向量（unit vector）是具有单位范数（unit norm）的向量：

  • $$\Vert x{\Vert }_2=1$$

向量单位化(正规化)

• 非单位向量可以通过正规化得到同方向的单位向量

• 对于任意非零向量$\alpha$,

  • $$\begin{gathered} \beta =\frac{1}{||\alpha ||}\alpha 的长度一定是1 \\ ||\beta ||=\left|\left|\frac{1}{||\alpha ||}\alpha \right|\right|=\frac{1}{||\alpha ||}||\alpha ||=1 \end{gathered}$$

正交

向量正交

• 如果 $(x,y)=x^{T}y=0$，那么向量 x 和向量 y 互相 正交（orthogonal）,记为$x\perp y$

  • 如果两个向量都有非零范数(长度大于0)，那么这两个向量之间的夹角是 90 度。

• 在 ${\mathbb{R}}^n$ 中，至多有 n 个范数非零向量互相正交。

  • 如果这些向量不仅互相正交，并且范数都为 1，那么我们称它们是 标准正交（orthonormal）。

正交向量组

• 若$\Phi ={\alpha }_1\cdots ,{\alpha }_n$,${\alpha }_i\ne 0,i=1,2,\cdots ,n$中向量两两正交,$({\alpha }_i,{\alpha }_j)=0,(i\ne j),i,j=1,2,\cdots ,n$,则称$\Phi$是一个正交向量组

  • 显然有

    • $$\begin{gathered} ({\alpha }_i,{\alpha }_j)\{\begin{array}{ll}0,& i\ne j\\ R^{+},& i=j\end{array} \\ {R}^{+}>0 \end{gathered}$$

• 正交向量组${\Phi }_{\perp }$线性无关

  • 证明

    • 设β=αp,p∈{1,2,⋯,n}\beta=\alpha_{p},p\in\{1,2,\cdots,n\}β=αp​,p∈{1,2,⋯,n}

    • 设存在常数$K=k_1,\cdots ,k_n$

      • ${\sum }_i^n{k}_i{\alpha }_i=0$

      • 两边同时和$\beta$做内积

      • $(\beta ,{\sum }_i^n{k}_i{\alpha }_i)=0$

      • $$\sum _i^n(\beta ,k_i{\alpha }_i)=\sum _i^n{k}_i(\beta ,{\alpha }_i)=0$$

    • 由于

      • $({\alpha }_p,{\alpha }_i)=0$,if $p\ne i$
      • $({\alpha }_p,{\alpha }_i)>0$,if $p=i$

    • 所以

      • $$k_i(\beta ,{\alpha }_i)=0,i\ne p$$

        • 或者描述为:
          $$\begin{gathered} 或k_{\overline{p}}({\alpha }_p,{\alpha }_{\overline{p}})=0 \\ 或k_{-p}({\alpha }_p,{\alpha }_{-p})=0 \\ \overline{p}和-p都表示不等于p的数 \end{gathered}$$

      • $k_p(\beta ,{\alpha }_p)=0,k_p=0$🎈

    • 类似的,当$\beta ={\alpha }_p$,p取遍$1,2,\cdots ,n$,可得$k_1=k_2=\cdots =k_n=0$

标准正交基

• 设正交向量组$\Phi$的每个向量都是单位向量,则称$\Phi$为标准正交基(规范正交基),还可以描述为:

  • $$({\alpha }_i,{\alpha }_j)={\delta }_{ij}=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}(i,j=1,2,\cdots <n)$$

  • 专用符号${\delta }_{ij}$是Kronecker符号

正交化(schmidt)

• 一个向量组线性无关是该型两组称为正交向量组的必要条件(却不充分条件)

• 对于一个线性无关组$\Phi$,可以通过施密特正交化方法,求出一个等价的正交向量组$\Psi$,$\Psi \sim \Phi$

  • 这是一种递推计算的方法

• 设$\Phi =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)$

  • 令

    • $$\begin{gathered} {\beta }_i={\alpha }_i-\sum _{i=1}^s(\frac{({\alpha }_i,{\beta }_{i-1})}{{\beta }_{i-1},{\beta }_{i-1}}){\beta }_{i-1} \\ ={\alpha }_i-\sum _{i=1}^n\frac{({\alpha }_i,{\beta }_{i-1})}{||{\beta }_{i-1}|{|}^2}{\beta }_{i-1} \\ 令{\beta }_0=0 \\ i=1,2,\cdots ,n \end{gathered}$$

  • 令$\Psi ={\beta }_1,\cdots ,{\beta }_n$,$\Psi$正交向量组

  • 则$\Psi \cong \Phi$(等价)

正交矩阵

• 正交矩阵是一种特殊的可逆矩阵

• 设n阶方阵A满足$A^{T}A=E$(或$A{A}^T=E$),则称A是正交矩阵(正交阵)

• 正交矩阵的逆:$A^{-1}=A^T$

  • 由$(A^{T}A)=E$和可逆矩阵的定义可以推出$A^T=A^{-1}$
    • 即有$A^{-1}A=A{A}^{-1}=E$
    • 因此$A^{T}A=A{A}^T=E$

• $A^{-1}$依然是正交矩阵

  • $A^{-1}=A^T$
  • 因为$(A^{-1}{)}^T=(A^T{)}^T=A$
  • $(A^{-1}{)}^T(A^{-1})=A{A}^T=E$
  • 所以$A^{-1}$依然可逆

• $|A|=1$

  • $|A^{T}A|=|E|$
  • $|A^T||A|=1$
  • $|A^T|=|A|,|A{|}^2=1$
  • $|A|=\pm 1$

• $(A^{\ast }{)}^T{A}^{\ast }=E$

  • 证明:
    • $A^{-1}=|A{|}^{-1}{A}^{\ast }$
    • $(A^{-1}{)}^T(A^{-1})=E$
    • $(|A{|}^{-1}{A}^{\ast }{)}^T|A{|}^{-1}{A}^{\ast }=E$
    • $|A{|}^{-1}(A^{\ast }{)}^T|A{|}^{-1}{A}^{\ast }=E$
      • $|A{|}^2=1$
      • $|A{|}^{-2}=1$
    • $(A^{\ast }{)}^T{A}^{\ast }=E$

• 设A,B为同阶正交矩阵,$A^{T}A=E,B^{T}B=E$,则对于$C=AB$,有$C^{T}C=E$

  • $(AB{)}^T(AB)=B^T{A}^{T}AB=B^T(A^{T}A)B=B^{T}EB=B^{T}B=E$
  • 因此$(AB)$为正交矩阵

矩阵是正交矩阵的充要条件

• n阶方阵Q的行(列)向量组是标准正交基是Q为正交矩阵的充要条件

  • 设$Q=({\alpha }_1,\cdots ,{\alpha }_n{)}^T$

    • ${\alpha }_i$是行向量

  • $Q^T=({\alpha }_1^T,\cdots ,{\alpha }_n^T)$

    • ${\alpha }_i^T$是列向量

  • $Q{Q}^T=Q^{T}Q=E$

  • $$\begin{gathered} Q{Q}^T=\left(\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_n\end{array}\right)({\alpha }_1^T,\cdots ,{\alpha }_n^T) \\ =\left(\begin{array}{cccc}{\alpha }_1{\alpha }_1^T& {\alpha }_1{\alpha }_2^T& \cdots & {\alpha }_1{\alpha }_n^T\\ {\alpha }_2{\alpha }_1^T& {\alpha }_2{\alpha }_2^T& \cdots & {\alpha }_2{\alpha }_n^T\\ ⋮& ⋮& & ⋮\\ {\alpha }_n{\alpha }_1^T& {\alpha }_n{\alpha }_2^T& \cdots & {\alpha }_n{\alpha }_n^T\end{array}\right)=E=\left(\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& & ⋮\\ 0& 0& \cdots & 1\end{array}\right) \end{gathered}$$

    • $${\alpha }_i{\alpha }_j^T=({\alpha }_i,{\alpha }_j)=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}(i,j=1,2,\cdots ，n)$$

    • 说明矩阵$Q$的行向量组${\alpha }_1,\cdots ,{\alpha }_n$是标准正交向量组

  • 类似的

    • 对于$Q^{T}Q=E$,$Q^T$的行向量组${\beta }_1,\cdots ,{\beta }_n$是标准正交向量组
    • 而$Q^T$的行向量就是Q的列向量,因此Q的列向量也是标准正交向量组

  • 如果Q的行向量组是标准正交向量组,那么Q是正交矩阵

    • 设Q的行向量组为$\Phi ={\alpha }_1,\cdots ,{\alpha }_n$,$\Phi$是个标准正交向量组,则

      • $$\begin{gathered} ({\alpha }_i,{\alpha }_j)=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}(i,j=1,2,\cdots ，n) \\ ({\alpha }_i,{\alpha }_j)={\alpha }_i{\alpha }_j^T \\ 即:\left(\begin{array}{cccc}{\alpha }_1{\alpha }_1^T& {\alpha }_1{\alpha }_2^T& \cdots & {\alpha }_1{\alpha }_n^T\\ {\alpha }_2{\alpha }_1^T& {\alpha }_2{\alpha }_2^T& \cdots & {\alpha }_2{\alpha }_n^T\\ ⋮& ⋮& & ⋮\\ {\alpha }_n{\alpha }_1^T& {\alpha }_n{\alpha }_2^T& \cdots & {\alpha }_n{\alpha }_n^T\end{array}\right)=\left(\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& & ⋮\\ 0& 0& \cdots & 1\end{array}\right) \\ \left(\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_n\end{array}\right)({\alpha }_1^T,\cdots ,{\alpha }_n^T)=E \\ Q{Q}^T=E \\ 所以Q是正交矩阵 \end{gathered}$$

    • 类似的$Q^T$的行向量组是标准正交向量组,则$Q^{T}Q=E$

      • $Q^T$的行向量组就是Q的列向量组,从而Q的列向量组是表征正交向量组可以推出Q是正交矩阵

对称矩阵

• 若方阵A满足$A^T=A$,则$A$是对称阵
  • $a_{ij}=a_{ji},(i,j=1,2,\cdots n)$
• 若方阵A满足$A^T=-A$,则$A$是反对称阵
  • $a_{ij}=-a_{ji},(i,j=1,2,\cdots n)$
  • 反对称阵的主对角线全为0

正交相似

• 如果方阵A:$Q^{-1}AQ=B$,(Q为正交矩阵($Q^{T}Q=E$),则称A(关于Q)正交相似于$B$

概念区分🎈

• 区分相似对角化和正交相似

  • 基本相似$A\sim B$:$P^{-1}AP=B$
    • 相似对角化要求B是某个对角阵$\Lambda$
    • 后者要求P是个正交矩阵($P^{T}P=E$)

• 另外还要区分对称和正交,两者都涉及到方阵的转置

• 不是所有方阵都可以对角化

正交相似对角化

• 对于方阵A,存在正交矩阵Q,使得$Q^{-1}AQ=\Lambda$,则A可以被正交相似对角化(简称正交对角化)

实对称方阵A正交对角化方法

• 求出实对称阵A的全部特征值(对称阵才可以正交对角化)
  • 如果特征值${\lambda }_i$是单根,则从$f({\lambda }_i)=0,即({\lambda }_{i}E-A)x=0$对应的求出一个特征向量${\alpha }_i$
  • 如果特征值${\lambda }_i$是$n_i$重根,
    • 则从$f({\lambda }_i)=0$求出$n_i$个线性无关特征向量${\Phi }_i={\alpha }_{i_1},\cdots ,{\alpha }_{n_i}$
    • 对${\Phi }_i$执行Schmidt正交化
    • 在执行Normalization单位化
  • 将得到的所有向量依此排列起来得到正交矩阵Q=$({\alpha }_1,\cdots ,{\alpha }_n)$