线性代数的本质(二)——线性变换与矩阵

线性变换与矩阵

线性变换与二阶方阵

本节从二维平面出发学习线性代数。通常选用平面坐标系 $Oxy$ ，基向量为 $\mathbf{i},\mathbf{j}$，平面内的任意向量都可以写成基向量的线性组合
$$\mathbf{v}=x\mathbf{i}+y\mathbf{j}$$
这样，平面内的点和有序实数对 $(x,y)$ 一一对应。借助平面坐标系，我们可以从代数的角度来研究几何变换。

变换与函数类似，函数把数映射到数，变换把点(向量)映射到点(向量)。
$$T:\mathbf{v}\mapsto T(\mathbf{v})$$

例如，(1) 平面内任意一点 $P(x,y)$ 绕原点$O$ 逆时针方向旋转 $60°$ 角得到点 $P^{\prime }(x^{\prime },y^{\prime })$，坐标变换公式为
$$\{\begin{array}{l}{x}^{\prime }=\frac{1}{2}x-\frac{\sqrt{3}}{2}y\\ y^{\prime }=\frac{\sqrt{3}}{2}x+\frac{1}{2}y\end{array}$$
可写为向量形式
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=x\left[\begin{array}{c}\frac{1}{2}\\ \frac{\sqrt{3}}{2}\end{array}\right]+y\left[\begin{array}{c}-\frac{\sqrt{3}}{2}\\ \frac{1}{2}\end{array}\right]$$

(2) 平面内任意一点 $P(x,y)$ 关于 $y$ 轴的对称点 $P^{\prime }(x^{\prime },y^{\prime })$的表达式为
$$\{\begin{array}{l}{x}^{\prime }=-x\\ y^{\prime }=y\end{array}$$
可写为向量形式
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=x\left[\begin{array}{c}-1\\ 0\end{array}\right]+y\left[\begin{array}{c}0\\ 1\end{array}\right]$$

事实上，在平面坐标系 $Oxy$ 中，很多几何变换都具有如下坐标变换公式
$$\{\begin{array}{l}{x}^{\prime }=ax+by\\ y^{\prime }=cx+dy\end{array}$$
向量形式为
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=x\left[\begin{array}{c}a\\ c\end{array}\right]+y\left[\begin{array}{c}b\\ d\end{array}\right]$$
其中 $(x^{\prime },y^{\prime })$为平面内任意一点 $(x,y)$ 变换后的点。我们把形如上式的几何变换叫做平面线性变换。

容易证明，线性变换满足下列两条性质

(1) 可加性：$T(\mathbf{v}+\mathbf{w})=T(\mathbf{v})+T(\mathbf{w})$
(2) 伸缩性：$T(c\mathbf{v})=cL(\mathbf{v})$

事实上，这两条性质才是线性变换的严格定义。

为了进一步了解线性变换的本质，取任意向量 $\mathbf{v}=x\mathbf{i}+y\mathbf{j}$ ，在线性变换 $T$ 的作用下
$$T(\mathbf{v})=T(x\mathbf{i}+y\mathbf{j})=xT(\mathbf{i})+yT(\mathbf{j})$$
可知，变换后的向量 $T(\mathbf{v})$ 由变换后的基向量以同样的系数完全确定。设变换后的基向量分别为
$$T(\mathbf{i})=a\mathbf{i}+c\mathbf{j}=\left[\begin{array}{c}a\\ c\end{array}\right],T(\mathbf{j})=b\mathbf{i}+d\mathbf{j}=\left[\begin{array}{c}b\\ d\end{array}\right]$$

注意：本章线性变换中的坐标始终使用最初的 $Oxy$ 坐标系。

于是，线性变换 $T:\mathbf{v}\mapsto T(\mathbf{v})$ 对应的坐标运算为
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=x\left[\begin{array}{c}a\\ c\end{array}\right]+y\left[\begin{array}{c}b\\ d\end{array}\right]$$
由于上述变换由变换后的基向量唯一确定，我们可以按顺序写为数表的形式

我们把这个数表称为二阶矩阵，一般用大写英文字母表示。变换后的向量则定义为矩阵与向量的乘积
$$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=x\left[\begin{array}{c}a\\ c\end{array}\right]+y\left[\begin{array}{c}b\\ d\end{array}\right]=\left[\begin{array}{c}ax+by\\ cx+dy\end{array}\right]$$
可知，矩阵代表一个特定的线性变换，我们完全可以把矩阵的列看作变换后的基向量，矩阵向量乘法就是将线性变换作用于给定向量。

Grant：矩阵最初的定义就来自线性变换。

至此，任何一个线性变换都可以写为矩阵与向量乘积的形式。反之，确定了坐标系后，任何一个矩阵都唯一确定了一个线性变换。矩阵和向量的乘积与线性变换实现了一一对应。

一般地，直线在线性变换后仍然保持直线。

证明：如图 $l$ 为向量 ${\mathbf{w}}_1,{\mathbf{w}}_2$ 终点所确定的直线，$\mathbf{v}$ 为终点在直线 $l$ 上的任意向量。
$$\mathbf{v}={\mathbf{w}}_1+\lambda ({\mathbf{w}}_2-{\mathbf{w}}_1)=(1-\lambda ){\mathbf{w}}_1+\lambda {\mathbf{w}}_2(\lambda \in \mathbb{R})$$
令 ${\lambda }_1+{\lambda }_2=1$ 则
$$\mathbf{v}={\lambda }_1{\mathbf{w}}_1+{\lambda }_2{\mathbf{w}}_2$$
这就是由向量 ${\mathbf{w}}_1,{\mathbf{w}}_2$ 的终点所确定的直线的向量形式。由线性变换的基本性质可知，直线 $l$ 在线性变换 $A$ 的作用下变成
$${\mathbf{v}}^{\prime }=A({\lambda }_1{\mathbf{w}}_1+{\lambda }_2{\mathbf{w}}_2)={\lambda }_{1}A{\mathbf{w}}_1+{\lambda }_{2}A{\mathbf{w}}_2$$
(1) 如果 $A{\mathbf{w}}_1\ne A{\mathbf{w}}_2$，那么 ${\mathbf{v}}^{\prime }$ 表示由向量 $A{\mathbf{w}}_1,A{\mathbf{w}}_2$ 的终点确定的直线。此时矩阵 $A$ 对应的线性变换把直线变成直线；
(2) 如果 $A{\mathbf{w}}_1=A{\mathbf{w}}_2$，那么 ${\lambda }_{1}A{\mathbf{w}}_1+{\lambda }_{2}A{\mathbf{w}}_2=A{\mathbf{w}}_1$ 。由于向量 $A{\mathbf{w}}_1$ 的终点是一个确定的点，因而，矩阵 $A$ 所对应的线性变换把直线 $l$ 映射成了一个点 $A{\mathbf{w}}_1$ 。

常见的线性变换

Grant：我们可以使用无限网格刻画二维空间所有点的变换。线性变换是操作空间的一种手段，它能够保持网格线平行且等距，并保持原点不动。

我们已经知道，在线性变换的作用下，直线仍然保持直线(或一个点)。为了方便，我们只考虑在平面直角坐标系内，单位正方形区域的线性变换。

根据向量加法的平行四边形法则，单位正方形区域可用向量形式表示为
$$\left[\begin{array}{c}x\\ y\end{array}\right]=x\mathbf{i}+y\mathbf{j}(0⩽x,y⩽1)$$
由线性变换基本性质知，变换后的区域为
$$A\left[\begin{array}{c}x\\ y\end{array}\right]=x(A\mathbf{i})+y(A\mathbf{j})(0⩽x,y⩽1)$$

表示以 $A\mathbf{i},A\mathbf{j}$ 为邻边的平行四边形区域。因此，我们只需考虑单位向量 $\mathbf{i},\mathbf{j}$ 在线性变换作用下的结果，就能得到单位正方形区域在线性变换作用下所变成的图形。

恒等变换：把平面内任意一点 $P(x,y)$ 变成它本身，记为 $I$ 。对应的矩阵称为单位阵
$$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$

旋转变换：(rotations)平面内任意一点 $P(x,y)$ 绕原点$O$按逆时针方向旋转 $\theta$ 角，记为 $R_{\theta }$ 。对应的矩阵为
$$\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$

切变变换：(shears)平行于 $x$ 轴的切变变换对应的矩阵为
$$\left[\begin{array}{cc}1& k\\ 0& 1\end{array}\right]$$
类似的，平行于 $y$ 轴的切变变换对应的矩阵为
$$\left[\begin{array}{cc}1& 0\\ k& 1\end{array}\right]$$

反射变换：(reflection)一般的我们把平面内任意一点 $P(x,y)$ 关于直线 $l$ 对称的线性变换叫做关于直线 $l$ 的反射变换。

(1) 关于 $y$ 轴的反射变换对应的矩阵为
$$\left[\begin{array}{cc}-1& 0\\ 0& 1\end{array}\right]$$
(2) 关于直线 $y=x$ 的反射变换对应的矩阵为
$$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$$
(3) 关于直线 $y=kx$ 的反射变换对应的矩阵为
$$\frac{1}{k^2+1}\left[\begin{array}{cc}1-k^2& 2k\\ 2k& k^2-1\end{array}\right]$$

伸缩变换：(stretching)将每个点的横坐标变为原来的 $k_1$ 倍，纵坐标变为原来的 $k_2$ 倍，其中 $k_1,k_2\ne 0$ 。对应的矩阵为
$$\left[\begin{array}{cc}{k}_1& 0\\ 0& k_2\end{array}\right]$$

投影变换：(projection)平面内任意一点 $P(x,y)$ 在直线 $l$ 的投影称为关于直线 $l$ 的投影变换。

(1) 关于 $x$ 轴的投影变换对应的矩阵为
$$\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]$$
(2) 关于 $y$ 轴的投影变换对应的矩阵为
$$\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]$$
(3) 关于直线 $y=kx$ 的投影变换对应的矩阵为
$$\frac{1}{\sqrt{k^2+1}}\left[\begin{array}{cc}1& k\\ k& k^2\end{array}\right]$$

平移变换：形如 $(x,y)\mapsto (x+h,y+k)$ 的平移变换并不是线性变换，我们无法直接使用矩阵向量乘法。对此可以引入齐次坐标：平面内的每个点 $(x,y)$ 都可以对应于空间中的点 $(x,y,1)$ 。平移变换可以用齐次坐标写成变换 $T:(x,y,1)\mapsto (x+h,y+k,1)$，对应的矩阵为
$$\left[\begin{array}{ccc}1& 0& h\\ 0& 1& k\\ 0& 0& 1\end{array}\right]$$

复合变换与矩阵乘法

平面内任意一向量，依次做旋转变换 $R_{{\theta }_1}:\left[\begin{array}{cc}\cos {\theta }_1& -\sin {\theta }_1\\ \sin {\theta }_1& \cos {\theta }_1\end{array}\right]$ 和 $R_{{\theta }_2}:\left[\begin{array}{cc}\cos {\theta }_2& -\sin {\theta }_2\\ \sin {\theta }_2& \cos {\theta }_2\end{array}\right]$

很显然最终作用的效果可以用一个变换 $R_{{\theta }_1+{\theta }_2}$ 来表示，对应的矩阵为
$$\left[\begin{array}{cc}\cos ({\theta }_1+{\theta }_2)& -\sin ({\theta }_1+{\theta }_2)\\ \sin ({\theta }_1+{\theta }_2)& \cos ({\theta }_1+{\theta }_2)\end{array}\right]$$
旋转变换 $R_{{\theta }_1+{\theta }_2}$仍然是线性变换。

一般地，设矩阵 $A=\left[\begin{array}{cc}{a}_1& b_1\\ c_1& d_1\end{array}\right],B=\left[\begin{array}{cc}{a}_2& b_2\\ c_2& d_2\end{array}\right]$，他们对应的线性变换分别为 $f$ 和 $g$ 。

平面上任意一个向量 $\mathbf{v}=\left[\begin{array}{c}x\\ y\end{array}\right]$ 依次做变换 $g$ 和 $f$ ，其作用效果为
$$f(g(\mathbf{v}))=A(B\mathbf{v})$$

Grant：线性变换的本质主要在于追踪基向量变换后的位置。

接下来，我们追踪变换过程中基向量的位置。由矩阵向量乘法的定义知道，基向量 $\mathbf{i},\mathbf{j}$ 经过矩阵 $B$ 变换后(第一次变换)的位置为
$$B\mathbf{i}=\left[\begin{array}{c}{a}_2\\ c_2\end{array}\right],B\mathbf{j}=\left[\begin{array}{c}{b}_2\\ d_2\end{array}\right]$$
基向量 $B\mathbf{i},B\mathbf{j}$ 又经过矩阵 $A$ 变换后的最终位置为
$$\begin{gathered} {\mathbf{i}}^{\prime }:\left[\begin{array}{cc}{a}_1& b_1\\ c_1& d_1\end{array}\right]\left[\begin{array}{c}{a}_2\\ c_2\end{array}\right]=a_2\left[\begin{array}{c}{a}_1\\ c_1\end{array}\right]+c_2\left[\begin{array}{c}{b}_1\\ d_1\end{array}\right]=\left[\begin{array}{c}{a}_1{a}_2+b_1{c}_2\\ c_1{a}_2+d_1{c}_2\end{array}\right] \\ {\mathbf{j}}^{\prime }:\left[\begin{array}{cc}{a}_1& b_1\\ c_1& d_1\end{array}\right]\left[\begin{array}{c}{b}_2\\ d_2\end{array}\right]=b_2\left[\begin{array}{c}{a}_1\\ c_1\end{array}\right]+d_2\left[\begin{array}{c}{b}_1\\ d_1\end{array}\right]=\left[\begin{array}{c}{a}_1{b}_2+b_1{d}_2\\ c_1{b}_2+d_1{d}_2\end{array}\right] \end{gathered}$$
从而，对任意向量 $\mathbf{v}=\left[\begin{array}{c}x\\ y\end{array}\right]$ 依次做变换 $B$ 和 $A$ ，其总体作用效果为
$$A(B\mathbf{v})=x{\mathbf{i}}^{\prime }+y{\mathbf{j}}^{\prime }=\left[\begin{array}{cc}{a}_1{a}_2+b_1{c}_2& a_1{b}_2+b_1{d}_2\\ c_1{a}_2+d_1{c}_2& c_1{b}_2+d_1{d}_2\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$
这也是一个线性变换，我们称为复合变换(composite transformation)，记为 $f\circ g$ 。

在此，我们定义复合变换 $f\circ g$ 为矩阵$A,B$ 的乘积，记为
$$AB=\left[\begin{array}{cc}{a}_1& b_1\\ c_1& d_1\end{array}\right]\left[\begin{array}{cc}{a}_2& b_2\\ c_2& d_2\end{array}\right]=\left[\begin{array}{cc}{a}_1{a}_2+b_1{c}_2& a_1{b}_2+b_1{d}_2\\ c_1{a}_2+d_1{c}_2& c_1{b}_2+d_1{d}_2\end{array}\right]$$

注意：矩阵乘积的次序与复合变换相同，从右向左相继作用。

由定义易知，对任意向量 $\mathbf{v}$ 有
$$(AB)\mathbf{v}=A(B\mathbf{v})$$

矩阵的定义

接下来，我们将矩阵的概念推广到高维空间。高维线性空间中的变换与二维空间中的变换类似。

矩阵: $m\times n$ 个数按一定次序排成的数表称为矩阵
$$\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$
常用大写英文字母表示矩阵，如$A$或$A_{m\times n}$。矩阵中的每个数 $a_{ij}$ 称为它的元素(entry)，有时矩阵也记作 $(a_{ij})$ 或 $(a_{ij}{)}_{m\times n}$ 。根据矩阵的元素所属的数域，可以将矩阵分为复矩阵和实矩阵。

几种特殊的矩阵：

1. 元素全为零的矩阵称为零矩阵(zero matrix)，记作$O$。
2. 只有一行的矩阵称为行矩阵(row matrix)或行向量；只有一列的矩阵称为列矩阵(column matrix)或列向量。行(列)矩阵通常用小写黑体字母表示，如 $\mathbf{a},\mathbf{x}$。
3. 当行数和列数相等时的矩阵 $A_{n\times n}$ 称为**$n$ 阶方阵**(n-order square matrix)。
4. 不在主对角线上的元素全为零的方阵称为对角阵(diagonal matrix)，记作 $\mathrm{diag}(a_1,a_2,\cdots ,a_n)$
5. 主对角线上的元素全为1的对角阵，称为单位阵(identity matrix)。记$n$ 阶单位阵记作$E_n$或$I_n$

矩阵的线性运算：因为矩阵 $A_{m\times n}$ 的各列是 $m$维向量，写作 $A=\left[\begin{array}{cccc}{\mathbf{a}}_1& {\mathbf{a}}_2& \cdots & {\mathbf{a}}_n\end{array}\right]$ ，因此矩阵可看作向量集，向量的线性运算自然推广到矩阵。

设矩阵$A=(a_{ij})$ 与 $B=(b_{ij})$

1. 他们的对应元素完全相同 $a_{ij}=b_{ij}$，则称矩阵 $A$ 与 $B$ 相等，记作$A=B$；
2. 矩阵的加法定义为 $A+B=(a_{ij}+b_{ij})$
3. 矩阵的数乘定义为$kA=(k{a}_{ij})$

{% label 性质 orange %}：线性运算满足以下性质

1. 加法交换律：$A+B=B+A$
2. 加法结合律：$A+(B+C)=(A+B)+C$
3. 零矩阵：$O+A=A$
4. 负矩阵：$A+(-A)=O$
5. 数乘结合律：$k(lA)=(kl)A$
6. 数乘分配律：$k(A+B)=kA+kB$
7. 数乘分配律：$(k+l)A=kA+lA$
8. 数乘单位元：$1A=A$

矩阵向量的乘法： 矩阵与向量的乘法来源于线性变换，它有着直观的、深刻的几何背景。设$m\times n$ 维矩阵$A=(a_{ij})$ 与 $n$维向量 $\mathbf{v}=(x_1,x_2,\cdots ,x_n{)}^T$ 的乘积
$$\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=x_1\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ ⋮\\ a_{m1}\end{array}\right]+\cdots +x_n\left[\begin{array}{c}{a}_{1n}\\ a_{2n}\\ ⋮\\ a_{mn}\end{array}\right]=\left[\begin{array}{c}{\sum }_{j=1}^n{a}_{1j}{x}_j\\ {\sum }_{j=1}^n{a}_{2j}{x}_j\\ ⋮\\ {\sum }_{j=1}^n{a}_{mj}{x}_j\end{array}\right]$$
一般地，$m\times n$ 维的矩阵，表示将 $n$ 维空间中的向量映射到 $m$ 维空间中。矩阵的第$j$列表示第 $j$ 个基向量变换后的坐标。

矩阵乘法：矩阵与矩阵乘法来源于复合线性变换。设矩阵$A=(a_{ij}{)}_{m\times n}$与$B=(b_{ij}{)}_{n\times p}$，向量 $\mathbf{v}=(x_1,x_2,\cdots ,x_p)$ ，用 ${\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_p$表示矩阵 $B$ 的各列，则
$$B\mathbf{v}=x_1{\mathbf{b}}_1+x_2{\mathbf{b}}_2+\cdots +x_p{\mathbf{b}}_p$$
由线性变换的性质
$$\begin{array}{rl}A(B\mathbf{v})& =A(x_1{\mathbf{b}}_1)+A(x_2{\mathbf{b}}_2)+\cdots +A(x_p{\mathbf{b}}_p)\\ & =x_{1}A{\mathbf{b}}_1+x_{2}A{\mathbf{b}}_2+\cdots +x_{p}A{\mathbf{b}}_p\\ & =\left[\begin{array}{cccc}A{\mathbf{b}}_1& A{\mathbf{b}}_2& \cdots & A{\mathbf{b}}_p\end{array}\right]\mathbf{v}\end{array}$$
于是可定义矩阵的乘积 $AB$ 为$m\times p$ 矩阵
$$AB=A\left[\begin{array}{cccc}{\mathbf{b}}_1& {\mathbf{b}}_2& \cdots & {\mathbf{b}}_p\end{array}\right]=\left[\begin{array}{cccc}A{\mathbf{b}}_1& A{\mathbf{b}}_2& \cdots & A{\mathbf{b}}_p\end{array}\right]$$
矩阵 $A$的列数必须和$B$ 的行数相等，乘积才有意义 。之前定义的矩阵向量乘法是矩阵乘法的特例。通常，更方便的方法是用元素定义矩阵乘法。设乘积 $AB=(c_{ij}{)}_{m\times p}$。则元素
$$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{ip}{b}_{pj}$$
{% label 性质 orange %}：矩阵乘法满足以下性质

1. 矩阵乘法满足结合率：$A(BC)=(AB)C$
2. 矩阵乘法满足左分配律：$A(B+C)=AB+AC$
3. 矩阵乘法满足右分配律：$(B+C)A=BA+CA$
4. 矩阵乘法满足数乘分配律：$k(AB)=(kA)B=A(kB)$
5. 矩阵乘法单位元：$IA=AI=A$

证明：(1) 可从矩阵乘法的定义证明满足结合率。从线性变换角度来看，对于复合变换 $A(BC)$ 和 $(AB)C$ 是同样的变换，且依次作用的顺序并不会发生改变，变换的最终结果自然不变。
$$\mathbf{v}\stackrel{C}{\to }C\mathbf{v}\stackrel{B}{\to }BC\mathbf{v}\stackrel{A}{\to }ABC\mathbf{v}$$

注意：

1. 矩阵乘法不满足交换率，即一般情况下 $AB\ne BA$
2. 矩阵乘法不满足消去率，即若 $AB=AC$，不能推出 $B=C$ ；同样由 $AB=O$，不能推出 $A=O$ 或 $B=O$。

证明：(1) 一般地，复合变换 $f\circ g\ne g\circ f$ ，自然 $AB\ne BA$，矩阵乘法不满足交换率。
(2) 可举例证明矩阵乘法不满足消去率

设矩阵
$$A=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 0& 0& 1\end{array}\right],B=\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$
则有
$$\begin{gathered} AB=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]=O \\ BA=\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\ne O \end{gathered}$$

列空间与基

定义：为方便使用，先介绍几个简单的定义

1. 线性变换是一种映射，称变换后的向量 $T(\mathbf{v})$ 为向量 $\mathbf{v}$ 在映射 $T$ 下的像，而称 $\mathbf{v}$ 为 $T(\mathbf{v})$ 在映射 $T$ 下的原像。
2. 线性变换 $T$ 的像集$T(V)$是一个线性空间，称为线性变换 $T$ 的值域，记作
   range ( T ) = { T ( v ) ∣ v ∈ V } \text{range}(T)=\{T(\mathbf v)\mid\mathbf v\in V\} range(T)={T(v)∣v∈V}
3. 在前面几节的分析中，我们始终将矩阵的列看成是向量。而这些列向量所张成的空间，称为列空间，若 $A=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)$
   col  A = span { a 1 , a 2 , ⋯ , a n } \text{col }A=\text{span}\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\} col A=span{a1​,a2​,⋯,an​}

我们已经知道，变换后的向量 $A\mathbf{v}$ 是变换后的基向量以同样的系数线性组合，而矩阵的列就是基向量变换之后的位置。因此，矩阵 $A$ 线性变换后的空间即是矩阵 $A$ 的列空间
col  A = range  A = { A v ∣ v ∈ V } \text{col }A=\text{range }A=\{A\mathbf v\mid\mathbf v\in V\} col A=range A={Av∣v∈V}
定理：矩阵 $A$ 的主元列构成 $\text{col }A$ 的一组基。

下面两个例子给出对列空间求基的简单算法。

例1：求 $\text{Col }B$ 的一组基，其中
$$B=({\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_n)=\left[\begin{array}{ccccc}1& 4& 0& 2& 0\\ 0& 0& 1& -1& 0\\ 0& 0& 0& 0& 1\\ 0& 0& 0& 0& 0\end{array}\right]$$
事实上，$B$ 的每个非主元列都是主元列的线性组合 ${\mathbf{b}}_2=4{\mathbf{b}}_1,{\mathbf{b}}_4=2{\mathbf{b}}_1-{\mathbf{b}}_3$ 且主元列时线性无关的，所以主元列构成列空间的一组基 col  B = span  { b 1 , b 3 , b 5 } \text{col }B=\text{span }\{\mathbf b_1,\mathbf b_3,\mathbf b_5\} col B=span {b1​,b3​,b5​} 。

当矩阵不是阶梯型矩阵时，回顾矩阵 $A=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)$ 中列向量间的线性关系都可以用方程 $A\mathbf{x}=0$ 的形式刻画。当 $A$ 被行简化为阶梯型矩阵 $B=({\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_n)$ 时，即存在可逆矩阵 $P$ 使 $B=PA$ 。若 $B$ 的列向量线性相关，即存在系数 $\mathbf{x}$ 使得 $B\mathbf{x}=0$ ，即
$$x_1{\mathbf{b}}_1+x_2{\mathbf{b}}_2+\cdots +x_n{\mathbf{b}}_n=0$$
同样的系数 $\mathbf{x}$ 也适用于矩阵 $A$ 的列向量，$A\mathbf{x}=P^{-1}B\mathbf{x}=0$，即
$$x_1{\mathbf{a}}_1+x_2{\mathbf{a}}_2+\cdots +x_n{\mathbf{a}}_n=0$$
综上，即矩阵$A$的列与阶梯型矩阵 $B$ 的列具有完全相同的线性相关关系。

例2：
$$A=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)=\left[\begin{array}{ccccc}1& 4& 0& 2& -1\\ 3& 12& 1& 5& 5\\ 2& 8& 1& 3& 2\\ 5& 20& 2& 8& 8\end{array}\right]$$
已知矩阵 $A$ 行等价于上例中的矩阵$B$ ，求 $\text{Col }A$ 的一组基。

由于上例中 ${\mathbf{b}}_2=4{\mathbf{b}}_1,{\mathbf{b}}_4=2{\mathbf{b}}_1-{\mathbf{b}}_3$ ，相关关系完全适用于矩阵 $A$ 的列向量 ${\mathbf{a}}_2=4{\mathbf{a}}_1,{\mathbf{a}}_4=2{\mathbf{a}}_1-{\mathbf{a}}_3$ 。于是线性无关集 ${\mathbf{a}}_1,{\mathbf{a}}_3,{\mathbf{a}}_5$ 是 $\text{Col }A$ 的一组基 col  A = span  { a 1 , a 3 , a 5 } \text{col }A=\text{span }\{\mathbf a_1,\mathbf a_3,\mathbf a_5\} col A=span {a1​,a3​,a5​}。

注意：阶梯形矩阵的主元列通常不在原矩阵的列空间中。

矩阵的秩

矩阵的秩就是列空间的维度，记作 $\text{rank }A=\dim (\text{col }A)$。

前面介绍的都是方阵，表示向量空间到自身的映射。下面简单说下非方阵的映射关系。

一般地，$m\times n$ 维的矩阵，表示将 $n$ 维空间中的向量映射到 $m$ 维空间中。矩阵的第$j$列表示第 $j$ 个基向量变换后的坐标。例如：

$3\times 2$ 维矩阵是把二维空间映射到三维空间上，因为矩阵有两列，说明输入空间有两个基向量，三行表示每一个基向量在变换后用三个独立的坐标来描述。
$$\left[\begin{array}{cc}1& -1\\ 3& 2\\ 0& 3\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}1\\ 3\\ 0\end{array}\right]x+\left[\begin{array}{c}-1\\ 2\\ 3\end{array}\right]y$$

$2\times 3$ 维矩阵是把三维空间映射到二维空间上，因为矩阵有三列，说明输入空间有三个基向量，二行表示每一个基向量在变换后用二个独立的坐标来描述。
$$\left[\begin{array}{ccc}2& 2& 1\\ 1& 0& -1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}2\\ 1\end{array}\right]x+\left[\begin{array}{c}2\\ 0\end{array}\right]y+\left[\begin{array}{c}1\\ -1\end{array}\right]z$$

若矩阵的秩等于列数，则称为满秩矩阵(full rank matrix)，零向量一定在列空间内，满秩变换中，唯一能落在原点的就是零向量自身。满秩矩阵的列即为列空间的基。

对于非满秩矩阵，意味着该线性变换会将空间压缩到一个更低维的空间，通俗来讲，就是会有一系列直线上不同方向的向量压缩为原点。

由此可得，秩可以用来描述线性变换对空间的压缩程度。

逆变换与逆矩阵

我们已经知道了矩阵与线性变换中的对应关系，试想一下，将变换后的向量还原到初始状态。

逆矩阵：对于 $n$ 阶方阵 $A$ ，如果存在 $n$ 阶方阵 $B$ ，使得
$$AB=BA=I$$
则称矩阵 $A$ 可逆(invertible)，$B$ 是 $A$ 的逆矩阵。实际上， $A$ 的逆矩阵是唯一的，记为 $A^{-1}$。因为，若 $B,C$ 都是 $A$ 的逆矩阵，则

$$B=(CA)B=C(AB)=C$$

不可逆矩阵有时称为奇异矩阵，而可逆矩阵也称为非奇异矩阵。

{% label 性质 orange %}：逆矩阵满足下列性质

1. $(A^{-1}{)}^{-1}=A$
2. $(kA{)}^{-1}=\frac{1}{k}{A}^{-1},(k\ne 0)$
3. $(AB{)}^{-1}=B^{-1}{A}^{-1}$
4. $(A^T{)}^{-1}=(A^{-1}{)}^T$

证明：(性质3)若方阵 $A,B$ 都可逆，则有
$$(AB)(B^{-1}{A}^{-1})=(B^{-1}{A}^{-1})(AB)=I$$
因此 $(AB{)}^{-1}=B^{-1}{A}^{-1}$ 。

从变换的角度考虑，复合变换的逆 $(f\circ g{)}^{-1}=g^{-1}\circ f^{-1}$ ，很容易理解。

(性质4)
$$I=(A{A}^{-1}{)}^T=(A^{-1}{)}^T{A}^T,I=(A^{-1}A{)}^T=A^T(A^{-1}{)}^T$$
因此 $(A^T{)}^{-1}=(A^{-1}{)}^T$ 。