《线性代数的本质》 - 3blue1brown
线性空间
线性空间
Grant: 普适的代价是抽象 。
仔细分析就会发现，关于向量空间的一切概念及有关定理都不依赖于向量的具体表现形式(有序数组)，也不依赖于向量加法、数乘的具体计算式，而只依赖于如下两点：
向量的加法与数乘运算封闭；
加法、数乘满足八条运算法则。
这一事实告诉我们：可以把向量的有序数组这一具体表达形式及加法、数乘的具体计算式这些非本质的东西拋弃 ，只把最根本的八条运算法则保留下来。这时它们就不能从理论上给予证明，而要当作公理加以承认。这样，我们就形成了本章的核心概念，也是线性代数这门学科的基本研究对象：数域上的抽象线性空间。
接下来，把向量空间的概念从理论上加以概括和抽象，就得到线性空间的一般性概念，它具有更大的普遍性，应用范围也更广。
线性空间 ：设 V V V F \mathbb F F V V V v + w ( v , w ∈ V ) \boldsymbol v+\boldsymbol w\quad (\boldsymbol v,\boldsymbol w\in V) v + w ( v , w ∈ V ) c v ( c ∈ F , v ∈ V ) c\boldsymbol v\quad(c\in\mathbb F,\boldsymbol v\in V) c v ( c ∈ F , v ∈ V ) V V V
∀ v , w ∈ V , v + w ∈ V \forall\boldsymbol v,\boldsymbol w\in V,\ \boldsymbol v+\boldsymbol w\in V ∀ v , w ∈ V , v + w ∈ V ∀ c ∈ F , v ∈ V , c v ∈ V \forall c\in\mathbb F,\boldsymbol v\in V,\ c\boldsymbol v\in V ∀ c ∈ F , v ∈ V , c v ∈ V
且 ∀ u , v , w ∈ V \forall\boldsymbol u,\boldsymbol v,\boldsymbol w\in V ∀ u , v , w ∈ V ∀ a , b ∈ F \forall a,b\in\mathbb F ∀ a , b ∈ F
加法交换律：v + w = w + v \boldsymbol v+\boldsymbol w=\boldsymbol w+\boldsymbol v v + w = w + v
加法结合律：u + ( v + w ) = ( u + v ) + w \boldsymbol u+(\boldsymbol v+\boldsymbol w)=(\boldsymbol u+\boldsymbol v)+\boldsymbol w u + ( v + w ) = ( u + v ) + w
加法单位元：∃ 0 ∈ V , 0 + v = v \exists 0\in V,\ 0+\boldsymbol v=\boldsymbol v ∃0 ∈ V , 0 + v = v
加法逆元：∃ ( − v ) ∈ V , v + ( − v ) = 0 \exists (-\boldsymbol v)\in V,\ \boldsymbol v+(-\boldsymbol v)=0 ∃ ( − v ) ∈ V , v + ( − v ) = 0
数乘结合律：a ( b v ) = ( a b ) v a(b\boldsymbol v)=(ab)\boldsymbol v a ( b v ) = ( ab ) v
数乘分配律：a ( v + w ) = a v + a w a(\boldsymbol v+\boldsymbol w)=a\boldsymbol v+a\boldsymbol w a ( v + w ) = a v + a w
数乘分配律：( a + b ) v = a v + b v (a+b)\boldsymbol v=a\boldsymbol v+b\boldsymbol v ( a + b ) v = a v + b v
数乘单位元：∃ 1 ∈ F , 1 v = v \exists 1\in\mathbb F,\ 1\boldsymbol v=\boldsymbol v ∃1 ∈ F , 1 v = v
则称集合 V V V F \mathbb F F 线性空间 (或向量空间 )。线性空间中的元素统称为向量，线性空间中的加法和数乘运算称为线性运算。
注意 ：
线性空间的概念是集合与运算二者的结合。同一个集合，若定义两种不同的线性运算，就构成不同的线性空间。
线性空间中的向量不一定是有序数组。它已不再具有三维几何空间中向量的几何直观意义。
线性运算不一定是有序数组的加法及数乘运算。
然后，之前向量空间的一切结论和性质都可同步到线性空间。
例 1：实数域上次数不大于 m m m P m ( R ) = { f ( x ) = a 0 + a 1 x + ⋯ + a m x m ∣ a 0 , ⋯ , a m ∈ R } P_m(\R)=\{f(x)=a_0+a_1x+\cdots+a_mx^m\mid a_0,\cdots,a_m\in\R\} P m ( R ) = { f ( x ) = a 0 + a 1 x + ⋯ + a m x m ∣ a 0 , ⋯ , a m ∈ R } m × n m×n m × n R m × n \R^{m\times n} R m × n
性质 ：
零元素是唯一的；
任一元素的负元素是唯一的；
如果 c v = 0 c\boldsymbol v=0 c v = 0 v = 0 \boldsymbol v=0 v = 0 c = 0 c=0 c = 0
子空间
子空间 ：设 U U U V V V U U U U U U V V V 子空间 。
子空间的和 ：设 U 1 , U 2 U_1,U_2 U 1 , U 2 V V V
U 1 + U 2 = { u 1 + u 2 ∣ u 1 ∈ U 1 , u 2 ∈ U 2 } U_1+U_2=\{\boldsymbol u_1+\boldsymbol u_2\mid \boldsymbol u_1\in U_1,\boldsymbol u_2\in U_2\}
U 1 + U 2 = { u 1 + u 2 ∣ u 1 ∈ U 1 , u 2 ∈ U 2 }
称为子空间 U 1 , U 2 U_1,U_2 U 1 , U 2 和 (sum of subspaces) 。两个子空间的和是分别由两个子空间中各任取一个向量相加所组成的集合。注意 U 1 + U 2 U_1+U_2 U 1 + U 2 U 1 ∪ U 2 U_1\cup U_2 U 1 ∪ U 2 U 1 ∪ U 2 ≠ U 1 + U 2 U_1\cup U_2\neq U_1+U_2 U 1 ∪ U 2 = U 1 + U 2
U 1 + U 2 U_1+U_2 U 1 + U 2 U 1 , U 2 U_1,U_2 U 1 , U 2 U 1 = span { a 1 , ⋯ , a p } , U 2 = span { b 1 , ⋯ , b q } U_1=\text{span}\{\boldsymbol a_1,\cdots,\boldsymbol a_p\},\quad U_2=\text{span}\{\boldsymbol b_1,\cdots,\boldsymbol b_q\} U 1 = span { a 1 , ⋯ , a p } , U 2 = span { b 1 , ⋯ , b q }
U 1 + U 2 = span { a 1 , ⋯ , a p , b 1 , ⋯ , b q } U_1+U_2=\text{span}\{\boldsymbol a_1,\cdots,\boldsymbol a_p,\boldsymbol b_1,\cdots,\boldsymbol b_q\}
U 1 + U 2 = span { a 1 , ⋯ , a p , b 1 , ⋯ , b q }
维数公式 ：
dim ( U 1 + U 2 ) = dim U 1 + dim U 2 − dim ( U 1 ∩ U 2 ) \dim(U_1+U_2)=\dim U_1+\dim U_2-\dim(U_1\cap U_2)
dim ( U 1 + U 2 ) = dim U 1 + dim U 2 − dim ( U 1 ∩ U 2 )
直和 ：若任意向量 u ∈ U 1 + U 2 \boldsymbol u\in U_1+U_2 u ∈ U 1 + U 2
u = u 1 + u 1 ( u 1 ∈ U 1 , u 2 ∈ U 2 ) \boldsymbol u=\boldsymbol u_1+\boldsymbol u_1\quad (\boldsymbol u_1\in U_1,\boldsymbol u_2\in U_2)
u = u 1 + u 1 ( u 1 ∈ U 1 , u 2 ∈ U 2 )
则称子空间 U 1 + U 2 U_1+U_2 U 1 + U 2 直和 (direct sum)，记作 U 1 ⊕ U 2 U_1\oplus U_2 U 1 ⊕ U 2
若线性空间 V = U ⊕ W V=U\oplus W V = U ⊕ W W W W U U U
定理 ：设 U 1 , U 2 ⊂ V U_1,U_2\sub V U 1 , U 2 ⊂ V
U 1 + U 2 = U 1 ⊕ U 2 ⟺ U 1 ∩ U 2 = { O } U_1+U_2=U_1\oplus U_2 \iff U_1\cap U_2=\{O\}
U 1 + U 2 = U 1 ⊕ U 2 ⟺ U 1 ∩ U 2 = { O }
直和的维数自然满足：dim ( U 1 ⊕ U 2 ) = dim U 1 + dim U 2 \dim(U_1\oplus U_2)=\dim U_1+\dim U_2 dim ( U 1 ⊕ U 2 ) = dim U 1 + dim U 2
坐标与同构
类似之前向量空间讨论过的，确定线性空间 V V V v ∈ V \boldsymbol v\in V v ∈ V
v = x 1 a 1 + x 2 a 2 + ⋯ + x n a n \boldsymbol v=x_1\boldsymbol a_1+x_2\boldsymbol a_2+\cdots+x_n\boldsymbol a_n
v = x 1 a 1 + x 2 a 2 + ⋯ + x n a n
向量的坐标为
[ x 1 x 2 ⋮ x n ] or ( x 1 , x 2 , ⋯ , x n ) \begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}\quad \text{or}\quad
(x_1,x_2,\cdots,x_n)
x 1 x 2 ⋮ x n or ( x 1 , x 2 , ⋯ , x n )
建立了坐标之后，n n n V n V_n V n n n n R n \R^n R n
设 v ↔ ( v 1 , v 2 , ⋯ , v n ) ⊤ , w ↔ ( w 1 , w 2 , ⋯ , w n ) ⊤ \boldsymbol v\lrarr (v_1,v_2,\cdots,v_n)^{\top},\quad \boldsymbol w\lrarr (w_1,w_2,\cdots,w_n)^{\top} v ↔ ( v 1 , v 2 , ⋯ , v n ) ⊤ , w ↔ ( w 1 , w 2 , ⋯ , w n ) ⊤
v + w ↔ ( v 1 , v 2 , ⋯ , v n ) ⊤ + ( w 1 , w 2 , ⋯ , w n ) ⊤ \boldsymbol v+\boldsymbol w\lrarr (v_1,v_2,\cdots,v_n)^{\top}+(w_1,w_2,\cdots,w_n)^{\top} v + w ↔ ( v 1 , v 2 , ⋯ , v n ) ⊤ + ( w 1 , w 2 , ⋯ , w n ) ⊤ c v ↔ c ( v 1 , v 2 , ⋯ , v n ) ⊤ c\boldsymbol v \lrarr c(v_1,v_2,\cdots,v_n)^{\top} c v ↔ c ( v 1 , v 2 , ⋯ , v n ) ⊤
因此可以说 V n V_n V n R n \R^n R n
一般地，设 V V V U U U V V V U U U 同构 (isomorphism)。
显然，任何实数域上的n n n R n \R^n R n 线性空间的结构完全被它的维数所决定 。
同构的概念除元素一一对应外，主要是保持线性运算的对应关系。因此， V n V_n V n R n \R^n R n R n \R^n R n V n V_n V n
线性变换与矩阵
变换 (transformation)是线性空间的一种映射
T : v ↦ T ( v ) T:\quad \boldsymbol v\mapsto T(\boldsymbol v)
T : v ↦ T ( v )
称 T ( v ) T(\boldsymbol v) T ( v ) v \boldsymbol v v T T T 像 ，而称 v \boldsymbol v v T ( v ) T(\boldsymbol v) T ( v ) T T T 原像 。
满足下列两条性质的变换称为线性变换 (linear transformation)
可加性(additivity)：T ( v + w ) = T ( v ) + T ( w ) T(\boldsymbol v+\boldsymbol w)=T(\boldsymbol v)+T(\boldsymbol w) T ( v + w ) = T ( v ) + T ( w )
伸缩性(scaling)：T ( c v ) = c T ( v ) T(c\boldsymbol v)=cT(\boldsymbol v) T ( c v ) = c T ( v )
设V V V R \R R n n n e 1 , e 2 , ⋯ , e n \boldsymbol e_1,\boldsymbol e_2,\cdots,\boldsymbol e_n e 1 , e 2 , ⋯ , e n V V V e j \boldsymbol e_j e j I j I_j I j j j j v ∈ V \boldsymbol v\in V v ∈ V
v = [ x 1 x 2 ⋮ x n ] = x 1 e 1 + x 2 e 2 + ⋯ + x n e n \boldsymbol v=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=x_1\boldsymbol e_1+x_2\boldsymbol e_2+\cdots+x_n\boldsymbol e_n
v = x 1 x 2 ⋮ x n = x 1 e 1 + x 2 e 2 + ⋯ + x n e n
对于线性变换 T T T
T ( v ) = T ( x 1 e 1 + x 2 e 2 + ⋯ + x n e n ) = x 1 T ( e 1 ) + x 2 T ( e 2 ) + ⋯ + x n T ( e n ) = [ T ( e 1 ) T ( e 2 ) ⋯ T ( e n ) ] [ x 1 x 2 ⋮ x n ] = A v \begin{aligned}
T(\boldsymbol v)&=T(x_1\boldsymbol e_1+x_2\boldsymbol e_2+\cdots+x_n\boldsymbol e_n)
=x_1T(\boldsymbol e_1)+x_2T(\boldsymbol e_2)+\cdots+x_nT(\boldsymbol e_n) \\
&=\begin{bmatrix}T(\boldsymbol e_1)&T(\boldsymbol e_2)&\cdots&T(\boldsymbol e_n)\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}
=A\boldsymbol v
\end{aligned}
T ( v ) = T ( x 1 e 1 + x 2 e 2 + ⋯ + x n e n ) = x 1 T ( e 1 ) + x 2 T ( e 2 ) + ⋯ + x n T ( e n ) = [ T ( e 1 ) T ( e 2 ) ⋯ T ( e n ) ] x 1 x 2 ⋮ x n = A v
矩阵 A A A T T T e 1 , e 2 , ⋯ , e n \boldsymbol e_1,\boldsymbol e_2,\cdots,\boldsymbol e_n e 1 , e 2 , ⋯ , e n A A A j j j e j \boldsymbol e_j e j T ( e j ) T(\boldsymbol e_j) T ( e j ) 显然，矩阵 A A A 。
示例：函数是一种特殊的线性空间，定义一个映射：
D = d d x : f ( x ) ↦ f ′ ( x ) D=\frac{\mathrm d}{\mathrm dx}:\quad f(x)\mapsto f'(x)
D = d x d : f ( x ) ↦ f ′ ( x )
由导数的性质可知，D D D 微分变换 。
在多项式空间 R [ x ] n \R[x]_n R [ x ] n
f ( x ) = a 0 + a 1 x 1 + a 2 x 2 + ⋯ + a n x n f(x)=a_0+a_1x_1+a_2x^2+\cdots+a_nx^n
f ( x ) = a 0 + a 1 x 1 + a 2 x 2 + ⋯ + a n x n
在基 1 , x , x 2 , ⋯ , x n 1,x,x^2,\cdots,x^n 1 , x , x 2 , ⋯ , x n
f ( x ) = ( 1 , x , x 2 , ⋯ , x n ) [ a 0 a 1 a 2 ⋮ a n ] f(x)=(1,x,x^2,\cdots,x^n)\begin{bmatrix}a_0\\a_1\\a_2\\\vdots\\a_n\end{bmatrix}
f ( x ) = ( 1 , x , x 2 , ⋯ , x n ) a 0 a 1 a 2 ⋮ a n
基向量 1 , x , x 2 , ⋯ , x n 1,x,x^2,\cdots,x^n 1 , x , x 2 , ⋯ , x n
D 1 = 0 , D x = 1 , D x 2 = 2 x , ⋯ D x n = n x n − 1 \begin{aligned}&D1=0,\\&D x=1,\\&Dx^2=2x,\\&\cdots\\&Dx^n=nx^{n-1}\end{aligned}
D 1 = 0 , D x = 1 , D x 2 = 2 x , ⋯ D x n = n x n − 1
故 D D D 1 , x , x 2 , ⋯ , x n 1,x,x^2,\cdots,x^n 1 , x , x 2 , ⋯ , x n
D = [ 0 1 0 ⋯ 0 0 0 2 ⋯ 0 ⋮ ⋮ ⋮ ⋱ ⋮ 0 0 0 ⋯ n 0 0 0 ⋯ 0 ] D=\begin{bmatrix}
0&1&0&\cdots&0\\
0&0&2&\cdots&0\\
\vdots&\vdots&\vdots&\ddots&\vdots\\
0&0&0&\cdots&n\\
0&0&0&\cdots&0\end{bmatrix}
D = 0 0 ⋮ 0 0 1 0 ⋮ 0 0 0 2 ⋮ 0 0 ⋯ ⋯ ⋱ ⋯ ⋯ 0 0 ⋮ n 0
D f ( x ) Df(x) D f ( x ) 1 , x , x 2 , ⋯ , x n 1,x,x^2,\cdots,x^n 1 , x , x 2 , ⋯ , x n
D f ( x ) = [ 0 1 0 ⋯ 0 0 0 2 ⋯ 0 ⋮ ⋮ ⋮ ⋱ ⋮ 0 0 0 ⋯ n 0 0 0 ⋯ 0 ] [ a 0 a 1 a 2 ⋮ a n ] = [ a 1 2 a 2 3 a 3 ⋮ 0 ] Df(x)=\begin{bmatrix}
0&1&0&\cdots&0\\
0&0&2&\cdots&0\\
\vdots&\vdots&\vdots&\ddots&\vdots\\
0&0&0&\cdots&n\\
0&0&0&\cdots&0\end{bmatrix}
\begin{bmatrix}a_0\\a_1\\a_2\\\vdots\\a_n\end{bmatrix}=
\begin{bmatrix}a_1\\2a_2\\3a_3\\\vdots\\0\end{bmatrix}
D f ( x ) = 0 0 ⋮ 0 0 1 0 ⋮ 0 0 0 2 ⋮ 0 0 ⋯ ⋯ ⋱ ⋯ ⋯ 0 0 ⋮ n 0 a 0 a 1 a 2 ⋮ a n = a 1 2 a 2 3 a 3 ⋮ 0
即 D f ( x ) = a 1 + 2 a 2 x + 3 a 3 x 2 + ⋯ + n a n x n − 1 Df(x)=a_1+2a_2x+3a_3x^2+\cdots+na_nx^{n-1} D f ( x ) = a 1 + 2 a 2 x + 3 a 3 x 2 + ⋯ + n a n x n − 1
基变换与坐标变换
Grant：坐标系的建立基于所选的基向量
以二维空间为例，Grant 选用标准坐标系下的基向量，坐标值为
i = [ 1 0 ] , j = [ 0 1 ] \mathbf i=\begin{bmatrix} 1 \\ 0 \end{bmatrix},\quad
\mathbf j=\begin{bmatrix} 0 \\ 1 \end{bmatrix}
i = [ 1 0 ] , j = [ 0 1 ]
而 Jennifer 使用另外一组基向量 i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′
i ′ = [ a c ] , j ′ = [ b d ] \mathbf i'=\begin{bmatrix} a \\ c \end{bmatrix},\quad
\mathbf j'=\begin{bmatrix} b \\ d \end{bmatrix}
i ′ = [ a c ] , j ′ = [ b d ]
实际上在各自的坐标系统，基向量均为 ( 1 , 0 ) , ( 0 , 1 ) (1,0),(0,1) ( 1 , 0 ) , ( 0 , 1 ) 原点的定义 是一致的。
同一个向量在不同基向量下表示不同。在 Jennifer 的坐标系中，向量 v = [ x ′ y ′ ] \boldsymbol v=\begin{bmatrix} x' \\ y' \end{bmatrix} v = [ x ′ y ′ ]
v = x ′ i ′ + y ′ j ′ \boldsymbol v=x'\mathbf i'+y'\mathbf j'
v = x ′ i ′ + y ′ j ′
在 Grant 坐标系下的表示
v = x ′ [ a c ] + y ′ [ b d ] \boldsymbol v=x'\begin{bmatrix} a \\ c \end{bmatrix}+y'\begin{bmatrix} b \\ d \end{bmatrix}
v = x ′ [ a c ] + y ′ [ b d ]
进一步，因为是线性变换，所以将其转化为矩阵乘法
v = [ a b c d ] [ x ′ y ′ ] = [ x y ] \boldsymbol v=\begin{bmatrix} a&b \\ c&d \end{bmatrix}\begin{bmatrix} x' \\ y' \end{bmatrix}=\begin{bmatrix} x \\ y \end{bmatrix}
v = [ a c b d ] [ x ′ y ′ ] = [ x y ]
[ x y ] \begin{bmatrix} x \\ y \end{bmatrix} [ x y ] [ x ′ y ’ ] \begin{bmatrix} x' \\ y’ \end{bmatrix} [ x ′ y ’ ] [ a b c d ] \begin{bmatrix} a&b \\ c&d \end{bmatrix} [ a c b d ]
进一步，我们将用基向量 i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′ i , j \mathbf i,\mathbf j i , j
[ x ′ y ′ ] = [ a b c d ] − 1 [ x y ] \begin{bmatrix} x' \\ y' \end{bmatrix}=\begin{bmatrix} a&b \\ c&d \end{bmatrix}^{-1}\begin{bmatrix} x \\ y \end{bmatrix}
[ x ′ y ′ ] = [ a c b d ] − 1 [ x y ]
现讨论 n n n V n V_n V n n n n V n V_n V n
基变换公式 ：设矩阵 A = ( a 1 , a 2 , ⋯ , a n ) A=(\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n) A = ( a 1 , a 2 , ⋯ , a n ) B = ( b 1 , b 2 , ⋯ , b n ) B=(\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n) B = ( b 1 , b 2 , ⋯ , b n ) n n n V n V_n V n
{ b 1 = p 11 a 1 + p 21 a 2 + ⋯ + p n 1 a n b 2 = p 12 a 1 + p 22 a 2 + ⋯ + p n 2 a n ⋯ b n = p 1 n a 1 + p 2 n a 2 + ⋯ + p n n a n \begin{cases}
\boldsymbol b_1=p_{11}\boldsymbol a_1+p_{21}\boldsymbol a_2+\cdots+p_{n1}\boldsymbol a_n \\
\boldsymbol b_2=p_{12}\boldsymbol a_1+p_{22}\boldsymbol a_2+\cdots+p_{n2}\boldsymbol a_n \\
\cdots \\
\boldsymbol b_n=p_{1n}\boldsymbol a_1+p_{2n}\boldsymbol a_2+\cdots+p_{nn}\boldsymbol a_n \\
\end{cases}
⎩ ⎨ ⎧ b 1 = p 11 a 1 + p 21 a 2 + ⋯ + p n 1 a n b 2 = p 12 a 1 + p 22 a 2 + ⋯ + p n 2 a n ⋯ b n = p 1 n a 1 + p 2 n a 2 + ⋯ + p nn a n
利用分块矩阵的乘法形式，可将上式记为
B = A P B=AP
B = A P
称为基变换公式 。其中，矩阵
P = [ p 11 p 12 ⋯ p 1 n p 21 p 22 ⋯ p 2 n ⋮ ⋮ ⋱ ⋮ p n 1 p 2 n ⋯ p n n ] P=\begin{bmatrix}
p_{11}&p_{12}&\cdots&p_{1n} \\
p_{21}&p_{22}&\cdots&p_{2n} \\
\vdots&\vdots&\ddots&\vdots \\
p_{n1}&p_{2n}&\cdots&p_{nn} \\
\end{bmatrix}
P = p 11 p 21 ⋮ p n 1 p 12 p 22 ⋮ p 2 n ⋯ ⋯ ⋱ ⋯ p 1 n p 2 n ⋮ p nn
称为由基 A = { a 1 , a 2 , ⋯ , a n } A=\{\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n\} A = { a 1 , a 2 , ⋯ , a n } B = { b 1 , b 2 , ⋯ , b n } B=\{\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n\} B = { b 1 , b 2 , ⋯ , b n } 过渡矩阵 (transition matrix)。显然 P − 1 P^{-1} P − 1 B = { b 1 , b 2 , ⋯ , b n } B=\{\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n\} B = { b 1 , b 2 , ⋯ , b n } A = { a 1 , a 2 , ⋯ , a n } A=\{\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n\} A = { a 1 , a 2 , ⋯ , a n }
坐标变换公式 ：设线性空间 V V V v \boldsymbol v v A = { a 1 , a 2 , ⋯ , a n } A=\{\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n\} A = { a 1 , a 2 , ⋯ , a n } v A \boldsymbol v_A v A B = { b 1 , b 2 , ⋯ , b n } B=\{\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n\} B = { b 1 , b 2 , ⋯ , b n } v B \boldsymbol v_B v B
v A = P v B \boldsymbol v_A=P\boldsymbol v_B
v A = P v B
其中矩阵 P P P A = { a 1 , a 2 , ⋯ , a n } A=\{\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n\} A = { a 1 , a 2 , ⋯ , a n } B = { b 1 , b 2 , ⋯ , b n } B=\{\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n\} B = { b 1 , b 2 , ⋯ , b n }
计算过渡矩阵 ：对于基变换公式 B = A P B=AP B = A P P = A − 1 B P=A^{-1}B P = A − 1 B ( A ∣ B ) ， (A\mid B) ， ( A ∣ B ) ， A A A I I I P P P
( A ∣ B ) → ( I ∣ A − 1 B ) (A\mid B)\xrightarrow{}(I\mid A^{-1}B)
( A ∣ B ) ( I ∣ A − 1 B )
例：设 b 1 = [ − 9 1 ] , b 2 = [ − 5 − 1 ] , c 1 = [ 1 − 4 ] , c 2 = [ 3 − 5 ] \boldsymbol b_1=\begin{bmatrix} -9 \\ 1 \end{bmatrix},\boldsymbol b_2=\begin{bmatrix} -5 \\ -1 \end{bmatrix},\boldsymbol c_1=\begin{bmatrix} 1 \\ -4 \end{bmatrix},\boldsymbol c_2=\begin{bmatrix} 3 \\ -5 \end{bmatrix} b 1 = [ − 9 1 ] , b 2 = [ − 5 − 1 ] , c 1 = [ 1 − 4 ] , c 2 = [ 3 − 5 ] R 2 \R^2 R 2 B = { b 1 , b 2 } , C = { c 1 , c 2 } B=\{\boldsymbol b_1,\boldsymbol b_2\},C=\{\boldsymbol c_1,\boldsymbol c_2\} B = { b 1 , b 2 } , C = { c 1 , c 2 } B B B C C C
解：设基向量 c 1 , c 2 \boldsymbol c_1,\boldsymbol c_2 c 1 , c 2 B B B
[ c 1 ] B = [ x 1 x 2 ] , [ c 2 ] B = [ y 1 y 2 ] [\boldsymbol c_1]_B=\begin{bmatrix} x_1 \\ x_2 \end{bmatrix},\quad
[\boldsymbol c_2]_B=\begin{bmatrix} y_1 \\ y_2 \end{bmatrix}
[ c 1 ] B = [ x 1 x 2 ] , [ c 2 ] B = [ y 1 y 2 ]
由坐标的定义，可知
( b 1 , b 2 ) [ x 1 x 2 ] = c 1 , ( b 1 , b 2 ) [ y 1 y 2 ] = c 2 (\boldsymbol b_1,\boldsymbol b_2)\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}=\boldsymbol c_1,\quad
(\boldsymbol b_1,\boldsymbol b_2)\begin{bmatrix} y_1 \\ y_2 \end{bmatrix}=\boldsymbol c_2
( b 1 , b 2 ) [ x 1 x 2 ] = c 1 , ( b 1 , b 2 ) [ y 1 y 2 ] = c 2
为了同步解出这两个方程组，使用增广矩阵 ( B ∣ C ) (B\mid C) ( B ∣ C )
( b 1 , b 2 ∣ c 1 , c 2 ) = [ − 9 − 5 1 3 1 − 1 − 4 − 5 ] → [ 1 0 − 3 / 2 − 2 0 1 5 / 2 3 ] (\boldsymbol b_1,\boldsymbol b_2\mid \boldsymbol c_1,\boldsymbol c_2)=
\begin{bmatrix}\begin{array}{cc:cc} -9&-5&1&3 \\ 1&-1&-4&-5 \end{array}\end{bmatrix}\to
\begin{bmatrix}\begin{array}{cc:cc} 1&0&-3/2&-2 \\0&1&5/2&3 \end{array}\end{bmatrix}
( b 1 , b 2 ∣ c 1 , c 2 ) = [ − 9 1 − 5 − 1 1 − 4 3 − 5 ] → [ 1 0 0 1 − 3/2 5/2 − 2 3 ]
因此， 由B B B C C C
P = [ − 3 / 2 − 2 5 / 2 3 ] P=\begin{bmatrix} -3/2&-2 \\5/2&3 \end{bmatrix}
P = [ − 3/2 5/2 − 2 3 ]
特征值与特征向量
本章特征值和特征向量的概念只在方阵的范畴内探讨。
相似矩阵
Grant：线性变换对应的矩阵依赖于所选择的基。
一般情况下，同一个线性变换在不同基下的矩阵不同。仍然以平面线性变换为例，Grant 选用标准坐标系下的基向量 i , j \mathbf i,\mathbf j i , j T T T A A A i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′
我们已经知道矩阵 A A A i , j \mathbf i,\mathbf j i , j i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′ i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′
对于 Jennifer 视角下的向量 v = [ x ′ y ′ ] \boldsymbol v=\begin{bmatrix} x' \\ y' \end{bmatrix} v = [ x ′ y ′ ]
同样的向量，用 Grant 的坐标系表示的坐标为 P [ x ′ y ′ ] P\begin{bmatrix} x' \\ y' \end{bmatrix} P [ x ′ y ′ ] P P P
用 Grant 的语言描述变换后的向量 A P [ x ′ y ′ ] AP\begin{bmatrix} x' \\ y' \end{bmatrix} A P [ x ′ y ′ ]
将变换后的结果变回 Jennifer 的坐标系 P − 1 A P [ x ′ y ′ ] P^{-1}AP\begin{bmatrix} x' \\ y' \end{bmatrix} P − 1 A P [ x ′ y ′ ]
于是，我们得到同一个线性变换 T T T P − 1 A P P^{-1}AP P − 1 A P
这个结果暗示着数学上的转移作用，中间的矩阵 A A A P P P P − 1 P^{-1} P − 1 P − 1 A P P^{-1}AP P − 1 A P
下面给出严格的数学证明。在线性空间 V V V ( b 1 , b 2 , ⋯ , b n ) = ( a 1 , a 2 , ⋯ , a n ) P (\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n)=(\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n)P ( b 1 , b 2 , ⋯ , b n ) = ( a 1 , a 2 , ⋯ , a n ) P
设线性变换 T T T A A A B B B
T ( a 1 , a 2 , ⋯ , a n ) = ( a 1 , a 2 , ⋯ , a n ) A T ( b 1 , b 2 , ⋯ , b n ) = ( b 1 , b 2 , ⋯ , b n ) B T(\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n)=(\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n)A \\
T(\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n)=(\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n)B
T ( a 1 , a 2 , ⋯ , a n ) = ( a 1 , a 2 , ⋯ , a n ) A T ( b 1 , b 2 , ⋯ , b n ) = ( b 1 , b 2 , ⋯ , b n ) B
取向量 v ∈ V \boldsymbol v\in V v ∈ V x , x ′ \boldsymbol x,\boldsymbol x' x , x ′ x = P x ′ \boldsymbol x=P\boldsymbol x' x = P x ′
T ( v ) = ( b 1 , b 2 , ⋯ , b n ) B x ′ = ( a 1 , a 2 , ⋯ , a n ) A x = ( b 1 , b 2 , ⋯ , b n ) P − 1 A P x ′ \begin{aligned}
T(\boldsymbol v)&=(\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n)B\boldsymbol x'\\
&=(\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n)A\boldsymbol x \\
&=(\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n)P^{-1}AP\boldsymbol x'
\end{aligned}
T ( v ) = ( b 1 , b 2 , ⋯ , b n ) B x ′ = ( a 1 , a 2 , ⋯ , a n ) A x = ( b 1 , b 2 , ⋯ , b n ) P − 1 A P x ′
因为 b 1 , b 2 , ⋯ , b n \boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_n b 1 , b 2 , ⋯ , b n
B = P − 1 A P B=P^{-1}AP
B = P − 1 A P
因此， B B B P − 1 A P P^{-1}AP P − 1 A P
相似矩阵 ：设 A , B A,B A , B n n n n n n P P P
B = P − 1 A P B=P^{-1}AP
B = P − 1 A P
则称矩阵 A A A B B B 相似 (similar)，记作 A ∼ B A\sim B A ∼ B
用初等行变换计算相似矩阵 ：计算相似矩阵 P − 1 A P P^{-1}AP P − 1 A P A P AP A P ( P ∣ A P ) (P\mid AP) ( P ∣ A P ) ( I ∣ P − 1 A P ) (I\mid P^{-1}AP) ( I ∣ P − 1 A P ) P − 1 P^{-1} P − 1
特征值与特征向量
Grant：行列式告诉你一个变换对面积的缩放比例，特征向量则是在变换中保留在他所张成的空间中的向量，这两者都是暗含于空间中的性质，坐标系的选择并不会改变他们最根本的值。
我们已经知道，对角阵对于矩阵运算来说最为简单。若线性变换 T T T A A A Λ \Lambda Λ A A A
假设有对角阵 Λ ∼ A \Lambda\sim A Λ ∼ A P P P
P − 1 A P = Λ = diag ( λ 1 , λ 2 , ⋯ , λ n ) P^{-1}AP=\Lambda=\text{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)
P − 1 A P = Λ = diag ( λ 1 , λ 2 , ⋯ , λ n )
将矩阵 P P P P = ( x 1 , x 2 , ⋯ , x n ) P=(\boldsymbol x_1,\boldsymbol x_2,\cdots,\boldsymbol x_n) P = ( x 1 , x 2 , ⋯ , x n )
A ( x 1 , x 2 , ⋯ , x n ) = ( x 1 , x 2 , ⋯ , x n ) Λ A(\boldsymbol x_1,\boldsymbol x_2,\cdots,\boldsymbol x_n)=(\boldsymbol x_1,\boldsymbol x_2,\cdots,\boldsymbol x_n)\Lambda
A ( x 1 , x 2 , ⋯ , x n ) = ( x 1 , x 2 , ⋯ , x n ) Λ
按分块矩阵的乘法，上式可写成
A x 1 = λ 1 x 1 A x 2 = λ 1 x 2 ⋯ A x n = λ n x n A\boldsymbol x_1=\lambda_1\boldsymbol x_1\\
A\boldsymbol x_2=\lambda_1\boldsymbol x_2\\
\cdots\\
A\boldsymbol x_n=\lambda_n\boldsymbol x_n
A x 1 = λ 1 x 1 A x 2 = λ 1 x 2 ⋯ A x n = λ n x n
根据假定 P P P λ j , x j \lambda_j,\boldsymbol x_j λ j , x j
定义 ：对于矩阵 A A A λ \lambda λ u \boldsymbol u u
A u = λ u A\boldsymbol u=\lambda\boldsymbol u
A u = λ u
则称λ \lambda λ A A A 特征值 （eigen value），u \boldsymbol u u λ \lambda λ 特征向量 （eigen vector）。
(1) 特征向量必须是非零向量；
事实上，对于任意非零常数c c c c u c\boldsymbol u c u λ \lambda λ
if A u = λ u , then A ( c u ) = λ ( c u ) \text{if }A\boldsymbol u=\lambda\boldsymbol u,\text{ then }A(c\boldsymbol u)=\lambda (c\boldsymbol u)
if A u = λ u , then A ( c u ) = λ ( c u )
由于矩阵和线性变换是一一对应的，我们可以借助几何直观理解这个定义。
特征向量在变换过程中只受到拉伸或者压缩
特征值描述对应特征向量经过线性变换后的缩放程度
对于三维空间中的旋转，如果能够找到对应的特征向量，也即能够留在它所张成的空间中的向量，那么就意味着我们找到了旋转轴。特别地，这就意味着将一个三维旋转看成绕这个特征向量旋转一定角度，要比考虑相应的矩阵变换要直观。此时对应的特征值为1，因为旋转并不改变任何一个向量，所以向量的长度保持不变。
由定义知道，求解特征向量就是寻找非零向量 u \boldsymbol u u
( A − λ I ) u = 0 (A-\lambda I)\boldsymbol u=0
( A − λ I ) u = 0
显然，u = 0 \boldsymbol u=0 u = 0
det ( A − λ I ) = 0 \det(A-\lambda I)=0
det ( A − λ I ) = 0
也就是系数矩阵所代表的线性变换将空间压缩到更低的维度。上式称为矩阵 A A A 特征方程 (characteristic equation)。矩阵 A A A
多项式
f ( λ ) = det ( A − λ I ) f(\lambda)=\det(A-\lambda I)
f ( λ ) = det ( A − λ I )
称为矩阵 A A A 特征多项式 (characteristic polynomial)。
由上面的讨论可以得出求n n n A A A 简要步骤 ：
求出 A A A n n n det ( A − λ I ) \det(A-\lambda I) det ( A − λ I )
求解特征方程 det ( A − λ I ) = 0 \det(A-\lambda I)=0 det ( A − λ I ) = 0 n n n A A A n n n
对求得的每个特征值 λ i \lambda_i λ i ( A − λ I ) x = 0 (A-\lambda I)\boldsymbol x=0 ( A − λ I ) x = 0
示例：求矩阵 A = [ 1 2 3 2 ] A=\begin{bmatrix}1&2\\3&2\end{bmatrix} A = [ 1 3 2 2 ]
解： A A A
det ( A − λ I ) = ∣ 1 − λ 2 3 2 − λ ∣ = λ 2 − 3 λ − 4 = ( λ − 4 ) ( λ + 1 ) \begin{aligned}\det(A-\lambda I)&=\begin{vmatrix}1-\lambda&2\\3&2-\lambda\end{vmatrix} \\
&=\lambda^2-3\lambda-4=(\lambda-4)(\lambda+1)
\end{aligned}
det ( A − λ I ) = 1 − λ 3 2 2 − λ = λ 2 − 3 λ − 4 = ( λ − 4 ) ( λ + 1 )
因此 A A A λ 1 = 4 , λ 2 = − 1 \lambda_1=4,\lambda_2=-1 λ 1 = 4 , λ 2 = − 1
将 λ 1 = 4 \lambda_1=4 λ 1 = 4 ( A − λ I ) x = 0 (A-\lambda I)\boldsymbol x=0 ( A − λ I ) x = 0
[ − 3 2 3 − 2 ] [ x 1 x 2 ] = 0 [ − 3 2 3 − 2 ] → [ 3 − 2 0 0 ] \begin{bmatrix}-3&2\\3&-2\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=0 \\
\begin{bmatrix}-3&2\\3&-2\end{bmatrix}\to\begin{bmatrix}3&-2\\0&0\end{bmatrix}
[ − 3 3 2 − 2 ] [ x 1 x 2 ] = 0 [ − 3 3 2 − 2 ] → [ 3 0 − 2 0 ]
求得特征值 λ 1 = 4 \lambda_1=4 λ 1 = 4 u 1 = c [ 2 3 ] \boldsymbol u_1=c\begin{bmatrix}2\\3\end{bmatrix} u 1 = c [ 2 3 ]
将 λ 1 = − 1 \lambda_1=-1 λ 1 = − 1 ( A − λ I ) x = 0 (A-\lambda I)\boldsymbol x=0 ( A − λ I ) x = 0
[ 2 2 3 3 ] [ x 1 x 2 ] = 0 [ 2 2 3 3 ] → [ 1 1 0 0 ] \begin{bmatrix}2&2\\3&3\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=0 \\
\begin{bmatrix}2&2\\3&3\end{bmatrix}\to\begin{bmatrix}1&1\\0&0\end{bmatrix}
[ 2 3 2 3 ] [ x 1 x 2 ] = 0 [ 2 3 2 3 ] → [ 1 0 1 0 ]
求得特征值 λ 2 = − 1 \lambda_2=-1 λ 2 = − 1 u 2 = c [ − 1 1 ] \boldsymbol u_2=c\begin{bmatrix}-1\\1\end{bmatrix} u 2 = c [ − 1 1 ]
性质 ：
相似矩阵(同样的线性变换)有相同的特征多项式，从而有相同的特征值；
矩阵 A A A A ⊤ A^{\top} A ⊤
属于矩阵不同特征值的特征向量线性无关；
矩阵的所有特征值之和等于矩阵的迹(主对角线元素之和)；
矩阵的所有特征值之积等于矩阵的行列式；
三角阵的特征值是其主对角线元素；
矩阵乘积 A B AB A B B A BA B A
证明：(性质1)设 A ∼ B A\sim B A ∼ B B = P − 1 A P B=P^{-1}AP B = P − 1 A P
det ( B − λ I ) = det ( P − 1 ( A − λ I ) P ) = det ( P − 1 ) det ( A − λ I ) det ( P ) = det ( A − λ I ) \begin{aligned}
\det(B-\lambda I)&=\det(P^{-1}(A-\lambda I)P) \\
&=\det(P^{-1})\det(A-\lambda I)\det(P) \\
&=\det(A-\lambda I) \\
\end{aligned}
det ( B − λ I ) = det ( P − 1 ( A − λ I ) P ) = det ( P − 1 ) det ( A − λ I ) det ( P ) = det ( A − λ I )
故 A A A B B B
(性质4)设n n n A A A λ 1 , λ 2 , ⋯ , λ n \lambda_1,\lambda_2,\cdots,\lambda_n λ 1 , λ 2 , ⋯ , λ n
f ( λ ) = det ( A − λ I ) = ( λ 1 − λ ) ( λ 2 − λ ) ⋯ ( λ n − λ ) f(\lambda)=\det(A-\lambda I)=(\lambda_1-\lambda)(\lambda_2-\lambda)\cdots(\lambda_n-\lambda)
f ( λ ) = det ( A − λ I ) = ( λ 1 − λ ) ( λ 2 − λ ) ⋯ ( λ n − λ )
上式取 λ = 0 \lambda=0 λ = 0 f ( 0 ) = det A = λ 1 λ 2 ⋯ λ n f(0)=\det A=\lambda_1\lambda_2\cdots\lambda_n f ( 0 ) = det A = λ 1 λ 2 ⋯ λ n
(性质7)假设矩阵 A A A B B B m × n m\times n m × n n × m n\times m n × m
证法1：设 λ \lambda λ A B AB A B u \boldsymbol u u ( A B ) u = λ u (AB)\boldsymbol u=\lambda\boldsymbol u ( A B ) u = λ u B B B
( B A ) ( B u ) = λ ( B u ) (BA)(B\boldsymbol u)=\lambda(B\boldsymbol u)
( B A ) ( B u ) = λ ( B u )
又由于 A B u = λ u ≠ 0 AB\boldsymbol u=\lambda\boldsymbol u\neq0 A B u = λ u = 0 B u ≠ 0 B\boldsymbol u\neq 0 B u = 0 B u B\boldsymbol u B u B A BA B A λ \lambda λ λ \lambda λ B A BA B A
同理可证 B A BA B A A B AB A B A B AB A B B A BA B A
证法2：易知
[ I m − A O I n ] [ A B O B O ] [ I m A O I n ] = [ O O B A B ] \begin{bmatrix}I_m&-A\\O&I_n\end{bmatrix}
\begin{bmatrix}AB&O\\B&O\end{bmatrix}
\begin{bmatrix}I_m&A\\O&I_n\end{bmatrix}=
\begin{bmatrix}O&O\\B&AB\end{bmatrix}
[ I m O − A I n ] [ A B B O O ] [ I m O A I n ] = [ O B O A B ]
又由于
[ I m − A O I n ] [ I m A O I n ] = I m + n \begin{bmatrix}I_m&-A\\O&I_n\end{bmatrix}
\begin{bmatrix}I_m&A\\O&I_n\end{bmatrix}=
I_{m+n}
[ I m O − A I n ] [ I m O A I n ] = I m + n
可知
[ A B O B O ] ∼ [ O O B B A ] \begin{bmatrix}AB&O\\B&O\end{bmatrix}\sim
\begin{bmatrix}O&O\\B&BA\end{bmatrix}
[ A B B O O ] ∼ [ O B O B A ]
它们有相同的特征多项式，即
λ n det ( λ I m − A B ) = λ m det ( λ I n − B A ) \lambda^n\det(\lambda I_m-AB)=\lambda^m\det(\lambda I_n-BA)
λ n det ( λ I m − A B ) = λ m det ( λ I n − B A )
上式称为Sylvester降幂公式 。这里表明，A B AB A B B A BA B A m − n m-n m − n
特征基与对角化
由上节知道，特征值和特征向量定义的初衷是为了线性变换的相似对角化，即
P − 1 A P = Λ P^{-1}AP=\Lambda
P − 1 A P = Λ
由定义的推理知道，矩阵 A A A P P P P P P A A A Λ \Lambda Λ P P P Λ \Lambda Λ A A A
定理 ：矩阵 A n A_n A n A n A_n A n n n n
设矩阵A A A A u 1 = λ 1 u 1 , A u 2 = λ 2 u 2 A\boldsymbol u_1=\lambda_1\boldsymbol u_1,\quad A\boldsymbol u_2=\lambda_2\boldsymbol u_2 A u 1 = λ 1 u 1 , A u 2 = λ 2 u 2 P = [ u 1 , u 2 ] P=[\boldsymbol u_1,\boldsymbol u_2] P = [ u 1 , u 2 ]
A P = [ λ 1 u 1 , λ 2 u 2 ] = [ u 1 , u 2 ] [ λ 1 0 0 λ 2 ] = P Λ AP=[\lambda_1\boldsymbol u_1,\lambda_2\boldsymbol u_2]=
[\boldsymbol u_1,\boldsymbol u_2]
\begin{bmatrix} \lambda_1&0 \\ 0&\lambda_2 \end{bmatrix}=
P\Lambda \\
A P = [ λ 1 u 1 , λ 2 u 2 ] = [ u 1 , u 2 ] [ λ 1 0 0 λ 2 ] = P Λ
若 P P P u 1 , u 2 \boldsymbol u_1,\boldsymbol u_2 u 1 , u 2
Λ = P − 1 A P = [ λ 1 0 0 λ 2 ] \Lambda=P^{-1}AP=\begin{bmatrix} \lambda_1&0 \\ 0&\lambda_2 \end{bmatrix}
Λ = P − 1 A P = [ λ 1 0 0 λ 2 ]
当特征向量的数量足够多时，这些特征向量就可以构成特征基 (eigenbasis)。在特征基坐标系角度看，同一个线性变换只是伸缩变换(对角阵)。
特征基的坐标使用的是矩阵 A A A
例：尝试将下列矩阵对角化
A = [ 1 3 3 − 3 − 5 − 3 3 3 1 ] A=\begin{bmatrix} 1&3&3 \\ -3&-5&-3 \\ 3&3&1 \end{bmatrix}
A = 1 − 3 3 3 − 5 3 3 − 3 1
解：对角化工作可分为4步来完成
step 1：求出特征值。矩阵 A A A
det ( A − λ I ) = − ( λ − 1 ) ( λ + 2 ) 2 \det(A-\lambda I)=-(\lambda-1)(\lambda+2)^2
det ( A − λ I ) = − ( λ − 1 ) ( λ + 2 ) 2
特征值是 λ = 1 \lambda=1 λ = 1 λ = − 2 \lambda=-2 λ = − 2
step 2：求出线性无关的特征向量。对于 λ = 1 \lambda=1 λ = 1 u 1 = ( 1 , − 1 , 1 ) ⊤ \boldsymbol u_1=(1,-1,1)^{\top} u 1 = ( 1 , − 1 , 1 ) ⊤
对于 λ = − 2 \lambda=-2 λ = − 2 u 2 = ( − 1 , 1 , 0 ) ⊤ \boldsymbol u_2=(-1,1,0)^{\top} u 2 = ( − 1 , 1 , 0 ) ⊤ u 3 = ( − 1 , 0 , 1 ) ⊤ \boldsymbol u_3=(-1,0,1)^{\top} u 3 = ( − 1 , 0 , 1 ) ⊤
可以验证 u 1 , u 2 , u 3 \boldsymbol u_1,\boldsymbol u_2,\boldsymbol u_3 u 1 , u 2 , u 3
step 3：使用特征向量构造过渡矩阵(向量的次序不重要)
P = [ 1 − 1 − 1 − 1 1 0 1 0 1 ] P=\begin{bmatrix} 1&-1&-1 \\ -1&1&0 \\ 1&0&1 \end{bmatrix}
P = 1 − 1 1 − 1 1 0 − 1 0 1
step 4：使用对应的特征值构造对角阵(特征值的次序必须和矩阵P P P
Λ = [ 1 0 0 0 − 2 0 0 0 − 2 ] \Lambda=\begin{bmatrix} 1&0&0 \\ 0&-2&0 \\ 0&0&-2 \end{bmatrix}
Λ = 1 0 0 0 − 2 0 0 0 − 2
可简单验证 A P = P Λ AP=P\Lambda A P = P Λ P P P Λ = P − 1 A P \Lambda=P^{-1}AP Λ = P − 1 A P
一些常见变换的特征值与特征向量列举如下 ：
(1) 等比例缩放变换 [ k 0 0 k ] \begin{bmatrix}k &0\\0 &k\end{bmatrix} [ k 0 0 k ] ( λ − k ) 2 (\lambda-k)^2 ( λ − k ) 2 λ = k \lambda=k λ = k
(2) 普通缩放变换 [ k 1 0 0 k 2 ] \begin{bmatrix}k_1 &0\\0 &k_2\end{bmatrix} [ k 1 0 0 k 2 ] ( λ − k 1 ) ( λ − k 2 ) (\lambda-k_1)(\lambda-k_2) ( λ − k 1 ) ( λ − k 2 ) λ 1 = k 1 , λ 2 = k 2 \lambda_1=k_1,\lambda_2=k_2 λ 1 = k 1 , λ 2 = k 2 u 1 = [ 1 0 ] , u 2 = [ 0 1 ] \boldsymbol u_1=\begin{bmatrix}1\\0\end{bmatrix},\boldsymbol u_2=\begin{bmatrix}0\\1\end{bmatrix} u 1 = [ 1 0 ] , u 2 = [ 0 1 ]
(3) 旋转变换 [ cos θ − sin θ sin θ cos θ ] \begin{bmatrix}\cos\theta &-\sin\theta\\ \sin\theta &\cos\theta\end{bmatrix} [ cos θ sin θ − sin θ cos θ ] λ 2 + 2 λ cos θ + 1 \lambda^2+2\lambda\cos\theta+1 λ 2 + 2 λ cos θ + 1 λ 1 = cos θ + i sin θ , λ 2 = cos θ − i sin θ \lambda_1=\cos\theta+i\sin\theta,\lambda_2=\cos\theta-i\sin\theta λ 1 = cos θ + i sin θ , λ 2 = cos θ − i sin θ u 1 = [ 1 − i ] , u 2 = [ 1 i ] \boldsymbol u_1=\begin{bmatrix}1\\-i\end{bmatrix},\boldsymbol u_2=\begin{bmatrix}1\\i\end{bmatrix} u 1 = [ 1 − i ] , u 2 = [ 1 i ]
值得注意的是，特征值出现虚数的情况一般对应于变换中的某一种旋转。
(4) 水平剪切变换 [ 1 k 0 1 ] \begin{bmatrix}1 &k\\0 &1\end{bmatrix} [ 1 0 k 1 ] ( λ − 1 ) 2 (\lambda-1)^2 ( λ − 1 ) 2 λ = 1 \lambda=1 λ = 1 u 1 = [ 1 0 ] \boldsymbol u_1=\begin{bmatrix}1\\0\end{bmatrix} u 1 = [ 1 0 ]
特征向量的应用
许多实际问题都可归结为研究矩阵的方幂 A n ( n ∈ N ∗ ) A^n\quad (n\in\N^*) A n ( n ∈ N ∗ ) v \boldsymbol v v
性质 ：
设矩阵 A A A λ \lambda λ u \boldsymbol u u
A n u = λ n u A^n\boldsymbol u=\lambda^n\boldsymbol u
A n u = λ n u
设矩阵 A A A λ 1 , λ 2 \lambda_1,\lambda_2 λ 1 , λ 2 u 1 , u 2 \boldsymbol u_1,\boldsymbol u_2 u 1 , u 2 v \boldsymbol v v v = v 1 u 1 + v 2 u 2 \boldsymbol v=v_1\boldsymbol u_1+v_2\boldsymbol u_2 v = v 1 u 1 + v 2 u 2
A n v = v 1 λ 1 n u 1 + v 2 λ 2 n u 2 A^n\boldsymbol v=v_1\lambda_1^n\boldsymbol u_1+v_2\lambda_2^n\boldsymbol u_2
A n v = v 1 λ 1 n u 1 + v 2 λ 2 n u 2
证明：从线性变换的角度理解，性质1中矩阵 A A A
性质1用数学归纳法证明：n = 1 n=1 n = 1
A u = λ u A\boldsymbol u=\lambda\boldsymbol u
A u = λ u
(2) 假设当 n = k − 1 n=k-1 n = k − 1
A k − 1 u = λ k − 1 u A^{k-1}\boldsymbol u=\lambda^{k-1}\boldsymbol u
A k − 1 u = λ k − 1 u
当 n = k n=k n = k
A k u = A ( A k − 1 u ) = A ( λ k − 1 u ) = λ k − 1 ( A u ) = λ k u A^k\boldsymbol u=A(A^{k-1}\boldsymbol u)=A(\lambda^{k-1}\boldsymbol u)=\lambda^{k-1}(A\boldsymbol u)=\lambda^k\boldsymbol u
A k u = A ( A k − 1 u ) = A ( λ k − 1 u ) = λ k − 1 ( A u ) = λ k u
所以，对 n = k n=k n = k n ∈ N ∗ n\in\N^* n ∈ N ∗
下图是一个旋转伸缩矩阵的连续变换效果
实例 ：在扩散理论中的应用。设某物质能以气态和液态的混合状态存在，假定在任意一段很短的时间内5 % 5\% 5% 1 % 1\% 1%
为了研究的方便，用 g 0 , l 0 g_0,l_0 g 0 , l 0 ( g 0 + l 0 = 1 ) (g_0+l_0=1) ( g 0 + l 0 = 1 ) g n , l n g_n,l_n g n , l n n n n M M M
(1) 先求 g 1 , l 1 g_1,l_1 g 1 , l 1
可以看出，在很短时间后，气体由现在气体的 99 % 99\% 99% 5 % 5\% 5%
g 1 M = 0.99 g 0 M + 0.05 l 0 M g_1M=0.99g_0M+0.05l_0M
g 1 M = 0.99 g 0 M + 0.05 l 0 M
同理，在很短时间后的液体
l 1 M = 0.01 g 0 M + 0.95 l 0 M l_1M=0.01g_0M+0.95l_0M
l 1 M = 0.01 g 0 M + 0.95 l 0 M
因此
{ g 1 = 0.99 g 0 + 0.05 l 0 l 1 = 0.01 g 0 + 0.95 l 0 \begin{cases}
g_1=0.99g_0+0.05l_0 \\
l_1=0.01g_0+0.95l_0
\end{cases}
{ g 1 = 0.99 g 0 + 0.05 l 0 l 1 = 0.01 g 0 + 0.95 l 0
矩阵形式为
[ g 1 l 1 ] = [ 0.99 0.05 0.01 0.95 ] [ g 0 l 0 ] \begin{bmatrix} g_1\\l_1 \end{bmatrix}=
\begin{bmatrix} 0.99&0.05\\0.01&0.95 \end{bmatrix}
\begin{bmatrix} g_0\\l_0 \end{bmatrix}
[ g 1 l 1 ] = [ 0.99 0.01 0.05 0.95 ] [ g 0 l 0 ]
记矩阵P = [ 0.99 0.05 0.01 0.95 ] P=\begin{bmatrix} 0.99&0.05\\0.01&0.95 \end{bmatrix} P = [ 0.99 0.01 0.05 0.95 ]
[ g 1 l 1 ] = P [ g 0 l 0 ] \begin{bmatrix} g_1\\l_1 \end{bmatrix}=P\begin{bmatrix} g_0\\l_0 \end{bmatrix}
[ g 1 l 1 ] = P [ g 0 l 0 ]
矩阵 P P P
(2) 类似与 g 1 , l 1 g_1,l_1 g 1 , l 1
[ g 1 l 1 ] = P [ g 0 l 0 ] ; [ g 2 l 2 ] = P [ g 1 l 1 ] = P 2 [ g 0 l 0 ] ; ⋯ ⋯ [ g n l n ] = P [ g n − 1 l n − 1 ] = P n [ g 0 l 0 ] \begin{aligned}
& \begin{bmatrix} g_1\\l_1 \end{bmatrix}=P\begin{bmatrix} g_0\\l_0 \end{bmatrix}; \\
& \begin{bmatrix} g_2\\l_2 \end{bmatrix}=P\begin{bmatrix} g_1\\l_1 \end{bmatrix}=P^2\begin{bmatrix} g_0\\l_0 \end{bmatrix}; \\
& \cdots\cdots \\
& \begin{bmatrix} g_n\\l_n \end{bmatrix}=P\begin{bmatrix} g_{n-1}\\l_{n-1} \end{bmatrix}=P^n\begin{bmatrix} g_0\\l_0 \end{bmatrix}
\end{aligned}
[ g 1 l 1 ] = P [ g 0 l 0 ] ; [ g 2 l 2 ] = P [ g 1 l 1 ] = P 2 [ g 0 l 0 ] ; ⋯⋯ [ g n l n ] = P [ g n − 1 l n − 1 ] = P n [ g 0 l 0 ]
由于该问题已转化为矩阵指数的形式，我们可以用矩阵特征值和特征向量的性质求解。
(3) 可以证明矩阵
A = [ 1 − p q p 1 − q ] ( 0 < p , q < 1 ) A=\begin{bmatrix}1-p & q\\ p &1-q\end{bmatrix}\quad (0<p,q<1)
A = [ 1 − p p q 1 − q ] ( 0 < p , q < 1 )
的特征值是 λ 1 = 1 , λ 2 = 1 − p − q \lambda_1=1,\ \lambda_2=1-p-q λ 1 = 1 , λ 2 = 1 − p − q u 1 = [ q p ] , u 2 = [ 1 − 1 ] \boldsymbol u_1=\begin{bmatrix} q\\ p\end{bmatrix},\ \boldsymbol u_2=\begin{bmatrix} 1\\ -1\end{bmatrix} u 1 = [ q p ] , u 2 = [ 1 − 1 ]
从而得到矩阵 P P P λ 1 = 1 , λ 2 = 0.94 \lambda_1=1,\ \lambda_2=0.94 λ 1 = 1 , λ 2 = 0.94 u 1 = [ 0.05 0.01 ] , u 2 = [ 1 − 1 ] \boldsymbol u_1=\begin{bmatrix} 0.05\\ 0.01\end{bmatrix},\ \boldsymbol u_2=\begin{bmatrix} 1\\ -1\end{bmatrix} u 1 = [ 0.05 0.01 ] , u 2 = [ 1 − 1 ] [ g 0 l 0 ] \begin{bmatrix} g_0\\l_0 \end{bmatrix} [ g 0 l 0 ]
[ g 0 l 0 ] = k 1 [ 0.05 0.01 ] + k 2 [ 1 − 1 ] where g 0 + l 0 = 1 \begin{bmatrix} g_0\\l_0 \end{bmatrix}=k_1\begin{bmatrix} 0.05\\ 0.01\end{bmatrix}+k_2\begin{bmatrix} 1\\ -1\end{bmatrix}\quad\text{where }g_0+l_0=1
[ g 0 l 0 ] = k 1 [ 0.05 0.01 ] + k 2 [ 1 − 1 ] where g 0 + l 0 = 1
解得 k 1 = 50 3 , k 2 = g 0 − 5 6 k_1=\frac{50}{3},k_2=g_0-\frac{5}{6} k 1 = 3 50 , k 2 = g 0 − 6 5 n n n
[ g n l n ] = P n [ g 0 l 0 ] = k 1 × 1 n [ 0.05 0.01 ] + k 2 × 0.94 n [ 1 − 1 ] \begin{bmatrix} g_n\\l_n \end{bmatrix}=P^n\begin{bmatrix} g_0\\l_0 \end{bmatrix}=k_1\times1^n\begin{bmatrix} 0.05\\ 0.01\end{bmatrix}+k_2\times0.94^n\begin{bmatrix} 1\\ -1\end{bmatrix}
[ g n l n ] = P n [ g 0 l 0 ] = k 1 × 1 n [ 0.05 0.01 ] + k 2 × 0.9 4 n [ 1 − 1 ]
从而 g n = 0.05 k 1 + 0.94 n k 2 , l n = 0.01 k 1 − 0.94 n k 2 g_n=0.05k_1+0.94^nk_2,\ l_n=0.01k_1-0.94^nk_2 g n = 0.05 k 1 + 0.9 4 n k 2 , l n = 0.01 k 1 − 0.9 4 n k 2
g ∞ = lim n → ∞ ( 0.05 k 1 + 0.94 n k 2 ) = 0.05 k 1 = 5 6 l ∞ = lim n → ∞ ( 0.01 k 1 − 0.94 n k 2 ) = 0.01 k 1 = 1 6 g_{\infty}=\lim\limits_{n\to\infty}(0.05k_1+0.94^nk_2)=0.05k_1=\frac{5}{6} \\
l_{\infty}=\lim\limits_{n\to\infty}(0.01k_1-0.94^nk_2)=0.01k_1=\frac{1}{6}
g ∞ = n → ∞ lim ( 0.05 k 1 + 0.9 4 n k 2 ) = 0.05 k 1 = 6 5 l ∞ = n → ∞ lim ( 0.01 k 1 − 0.9 4 n k 2 ) = 0.01 k 1 = 6 1
那么，我们可以得到，不管该物质最初的气液比率如何，最终将达到一个平衡状态，此时该物质的 5 / 6 5/6 5/6 1 / 6 1/6 1/6
内积空间
内积空间
三维几何空间是线性空间的一个重要例子，如果分析一下三维几何空间，我们就会发现它还具有一般线性空间不具备的重要性质：三维几何空间中向量有长度和夹角，这称为度量性质。现在，我们在一般线性空间中引入度量有关的概念。
我们知道三维几何空间中向量的长度和夹角可由向量的内积来决定。内积就是一个函数，它把向量对u , v \boldsymbol u,\boldsymbol v u , v V V V ⟨ u , v ⟩ \lang\boldsymbol u,\boldsymbol v\rang ⟨ u , v ⟩
⟨ u , v ⟩ = ⟨ v , u ⟩ \lang\boldsymbol u,\boldsymbol v\rang=\lang\boldsymbol v,\boldsymbol u\rang ⟨ u , v ⟩ = ⟨ v , u ⟩ ⟨ u , v + w ⟩ = ⟨ u , v ⟩ + ⟨ u , w ⟩ \lang\boldsymbol u,\boldsymbol v+\boldsymbol w\rang=\lang\boldsymbol u,\boldsymbol v\rang+\lang\boldsymbol u,\boldsymbol w\rang ⟨ u , v + w ⟩ = ⟨ u , v ⟩ + ⟨ u , w ⟩ c ⟨ u , v ⟩ = ⟨ c u , v ⟩ = ⟨ u , c v ⟩ c\lang\boldsymbol u,\boldsymbol v\rang=\lang c\boldsymbol u,\boldsymbol v\rang=\lang \boldsymbol u,c\boldsymbol v\rang c ⟨ u , v ⟩ = ⟨ c u , v ⟩ = ⟨ u , c v ⟩ ⟨ v , v ⟩ ⩾ 0 , ⟨ v , v ⟩ = 0 iff v = 0 \lang\boldsymbol v,\boldsymbol v\rang\geqslant 0,\ \lang\boldsymbol v,\boldsymbol v\rang=0\text{ iff }\boldsymbol v=0 ⟨ v , v ⟩ ⩾ 0 , ⟨ v , v ⟩ = 0 iff v = 0
定义了内积运算的向量空间称为内积空间 (innerproductspace)。
注意，内积只给出了性质，而没给出具体的计算法则。
对于向量空间 V V V
u = u 1 e 1 + ⋯ + u n e n v = v 1 e 1 + ⋯ + v n e n \boldsymbol u=u_1\boldsymbol e_1+\cdots+u_n\boldsymbol e_n \\
\boldsymbol v=v_1\boldsymbol e_1+\cdots+v_n\boldsymbol e_n
u = u 1 e 1 + ⋯ + u n e n v = v 1 e 1 + ⋯ + v n e n
由内积的基本性质知道，其内积
⟨ u , v ⟩ = ⟨ u 1 e 1 + ⋯ + u n e n , v 1 e 1 + ⋯ + v n e n ⟩ = ∑ i , j u i v j ⟨ e i , e j ⟩ \lang\boldsymbol u,\boldsymbol v\rang =\lang u_1\boldsymbol e_1+\cdots+u_n\boldsymbol e_n,\ v_1\boldsymbol e_1+\cdots+v_n\boldsymbol e_n\rang
=\sum_{i,j}u_iv_j\lang\boldsymbol e_i,\boldsymbol e_j\rang
⟨ u , v ⟩ = ⟨ u 1 e 1 + ⋯ + u n e n , v 1 e 1 + ⋯ + v n e n ⟩ = i , j ∑ u i v j ⟨ e i , e j ⟩
可见，只要知道基向量之间的内积，就可以求出任意两个向量的内积。上式用矩阵乘法表示为
⟨ u , v ⟩ = u ⊤ M v \lang\boldsymbol u,\boldsymbol v\rang=\boldsymbol u^{\top}M\boldsymbol v
⟨ u , v ⟩ = u ⊤ M v
其中，矩阵 M = ( g i j ) M=(g_{ij}) M = ( g ij ) 度量矩阵 ，包含了基向量两两之间的内积
g i j = ⟨ e i , e j ⟩ g_{ij}=\lang\boldsymbol e_i,\boldsymbol e_j\rang
g ij = ⟨ e i , e j ⟩
定义 ：三维几何空间的度量概念也推广到向量空间中
∥ v ∥ = ⟨ v , v ⟩ \|\boldsymbol v\|=\sqrt{\lang\boldsymbol v,\boldsymbol v\rang} ∥ v ∥ = ⟨ v , v ⟩ 长度 或范数 ；dist ( u , v ) = ∥ u − v ∥ \text{dist}(\boldsymbol u,\boldsymbol v)=\|\boldsymbol u-\boldsymbol v\| dist ( u , v ) = ∥ u − v ∥ u , v \boldsymbol u,\boldsymbol v u , v 距离 ；两向量的夹角余弦 cos θ = ⟨ u , v ⟩ ∥ u ∥ ⋅ ∥ v ∥ \cos\theta=\dfrac{\lang\boldsymbol u,\boldsymbol v\rang}{\|\boldsymbol u\|\cdot\|\boldsymbol v\|} cos θ = ∥ u ∥ ⋅ ∥ v ∥ ⟨ u , v ⟩
若 ⟨ u , v ⟩ = 0 \lang\boldsymbol u,\boldsymbol v\rang=0 ⟨ u , v ⟩ = 0 u , v \boldsymbol u,\boldsymbol v u , v 正交 (orthogonal)；
长度为1的向量称为单位向量 ；
如果向量空间的基向量都为单位向量且两两正交，则称为标准正交基 (orthonormal basis)；
性质 ：
∥ v ∥ ⩾ 0 , ∥ v ∥ = 0 iff v = 0 \|\boldsymbol v\|\geqslant 0,\quad \|\boldsymbol v\|=0\text{ iff }\boldsymbol v=0 ∥ v ∥ ⩾ 0 , ∥ v ∥ = 0 iff v = 0 c ∥ v ∥ = ∣ c ∣ ∥ v ∥ c\|\boldsymbol v\|=|c|\ \|\boldsymbol v\| c ∥ v ∥ = ∣ c ∣ ∥ v ∥ 勾股定理 ：若 u , v \boldsymbol u,\boldsymbol v u , v V V V ∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 \|\boldsymbol u+\boldsymbol v\|^2=\|\boldsymbol u\|^2+\|\boldsymbol v\|^2 ∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 柯西-施瓦茨不等式 ：∣ ⟨ u , v ⟩ ∣ ⩽ ∥ u ∥ ⋅ ∥ v ∥ |\lang\boldsymbol u,\boldsymbol v\rang|\leqslant\|\boldsymbol u\|\cdot\|\boldsymbol v\| ∣ ⟨ u , v ⟩ ∣ ⩽ ∥ u ∥ ⋅ ∥ v ∥ 三角不等式 ： ∥ u + v ∥ ⩽ ∥ u ∥ + ∥ v ∥ \|\boldsymbol u+\boldsymbol v\|\leqslant\|\boldsymbol u\|+\|\boldsymbol v\| ∥ u + v ∥ ⩽ ∥ u ∥ + ∥ v ∥ 若向量组是一组两两正交的非零向量，则向量组线性无关
示例：向量空间的欧几里得内积 定义为
⟨ u , v ⟩ = u ⊤ v = u 1 v 1 + u 2 v 2 + ⋯ + u n v n \lang\boldsymbol u,\boldsymbol v\rang=\boldsymbol u^{\top}\boldsymbol v=u_1v_1+u_2v_2+\cdots+u_nv_n
⟨ u , v ⟩ = u ⊤ v = u 1 v 1 + u 2 v 2 + ⋯ + u n v n
即采用的是标准正交基，度量矩阵为单位阵
δ i j = { 1 , i = j 0 , i ≠ j \delta_{ij}=\begin{cases}1, &i=j \\0, &i\neq j\end{cases}
δ ij = { 1 , 0 , i = j i = j
以后，当我们讨论内积空间时，总默认采用欧几里得内积。
正交补 ：设 W W W V V V z \boldsymbol z z W W W z \boldsymbol z z 正交于 W W W W W W W W W 正交补 (orthogonal complement)，并记作 W ⊥ W^{\perp} W ⊥
W ⊥ = { z ∈ V ∣ ∀ w ∈ W , ⟨ z , w ⟩ = 0 } W^{\perp}=\{\boldsymbol z\in V\mid \forall\boldsymbol w\in W,\lang\boldsymbol z,\boldsymbol w\rang=0\}
W ⊥ = { z ∈ V ∣ ∀ w ∈ W , ⟨ z , w ⟩ = 0 }
由齐次方程 A x = 0 A\boldsymbol x=0 A x = 0
( row A ) ⊥ = null A (\text{row }A)^{\perp}=\text{null } A ( row A ) ⊥ = null A ( col A ) ⊥ = null A ⊤ (\text{col }A)^{\perp}=\text{null } A^{\top} ( col A ) ⊥ = null A ⊤
定理 ：若 z \boldsymbol z z u 1 , u 2 , ⋯ , u p \boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_p u 1 , u 2 , ⋯ , u p z \boldsymbol z z W = span { u 1 , u 2 , ⋯ , u p } W=\text{span }\{\boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_p\} W = span { u 1 , u 2 , ⋯ , u p }
证：对于任意 v ∈ W \boldsymbol v\in W v ∈ W
v = x 1 u 1 + x 2 u 2 + ⋯ + x p u p \boldsymbol v=x_1\boldsymbol u_1+x_2\boldsymbol u_2+\cdots+x_p\boldsymbol u_p
v = x 1 u 1 + x 2 u 2 + ⋯ + x p u p
由内积的性质知
⟨ z , v ⟩ = x 1 ⟨ z , u 1 ⟩ + x 2 ⟨ z , u 2 ⟩ + ⋯ + x p ⟨ z , u p ⟩ = 0 \lang\boldsymbol z,\boldsymbol v\rang=x_1\lang\boldsymbol z,\boldsymbol u_1\rang+x_2\lang\boldsymbol z,\boldsymbol u_2\rang+\cdots+x_p\lang\boldsymbol z,\boldsymbol u_p\rang=0
⟨ z , v ⟩ = x 1 ⟨ z , u 1 ⟩ + x 2 ⟨ z , u 2 ⟩ + ⋯ + x p ⟨ z , u p ⟩ = 0
于是可知z \boldsymbol z z W W W
正交矩阵与正交变换
定义 ：若矩阵 A A A A ⊤ A = I A^{\top}A=I A ⊤ A = I A − 1 = A ⊤ A^{-1}=A^{\top} A − 1 = A ⊤ A A A 正交矩阵 (orthogonal matrix)。
上式用 A A A
[ a 1 ⊤ a 2 ⊤ ⋮ a n ⊤ ] ( a 1 , a 2 , ⋯ , a n ) = I n \begin{bmatrix}\boldsymbol a_1^{\top}\\ \boldsymbol a_2^{\top}\\ \vdots\\\boldsymbol a_n^{\top}\end{bmatrix}
(\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_n)=I_n
a 1 ⊤ a 2 ⊤ ⋮ a n ⊤ ( a 1 , a 2 , ⋯ , a n ) = I n
于是得到
a i ⊤ a j = { 1 , i = j 0 , i ≠ j \boldsymbol a_i^\top\boldsymbol a_j=\begin{cases}1, &i=j\\ 0, &i\neq j\end{cases}
a i ⊤ a j = { 1 , 0 , i = j i = j
定理 ：矩阵 A A A A A A
考虑到 A ⊤ A = I A^{\top}A=I A ⊤ A = I A A ⊤ = I AA^{\top}=I A A ⊤ = I A A A
正交矩阵 A A A 正交变换 。设 u , v ∈ V \boldsymbol u,\boldsymbol v\in V u , v ∈ V
⟨ A u , A v ⟩ = ( A u ) ⊤ ( A v ) = u ⊤ v = ⟨ u , v ⟩ \lang A\boldsymbol u,A\boldsymbol v\rang=(A\boldsymbol u)^{\top}(A\boldsymbol v)=\boldsymbol u^{\top}\boldsymbol v=\lang\boldsymbol u,\boldsymbol v\rang
⟨ A u , A v ⟩ = ( A u ) ⊤ ( A v ) = u ⊤ v = ⟨ u , v ⟩
定理 ：正交变换后向量内积保持不变，从而向量的长度、距离和夹角均保持不变。
正交投影
正交分解定理 ：设 W W W V V V v ∈ V \boldsymbol v\in V v ∈ V
v = v ^ + z \boldsymbol v=\hat{\boldsymbol v}+\boldsymbol z
v = v ^ + z
其中 v ^ ∈ W , z ∈ W ⊥ \hat{\boldsymbol v}\in W,\boldsymbol z\in W^{\perp} v ^ ∈ W , z ∈ W ⊥ v ^ \hat{\boldsymbol v} v ^ v \boldsymbol v v W W W 正交投影 (orthogonal projection)，记作 proj W v \text{proj}_W\boldsymbol v proj W v u 1 , u 2 , ⋯ , u p \boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_p u 1 , u 2 , ⋯ , u p W W W
v ^ = proj W v = ⟨ v , u 1 ⟩ ⟨ u 1 , u 1 ⟩ u 1 + ⟨ v , u 2 ⟩ ⟨ u 2 , u 2 ⟩ u 2 + ⋯ + ⟨ v , u p ⟩ ⟨ u p , u p ⟩ u p \hat{\boldsymbol v}=\text{proj}_W\boldsymbol v=\frac{\lang\boldsymbol v,\boldsymbol u_1\rang}{\lang\boldsymbol u_1,\boldsymbol u_1\rang}\boldsymbol u_1+\frac{\lang\boldsymbol v,\boldsymbol u_2\rang}{\lang\boldsymbol u_2,\boldsymbol u_2\rang}\boldsymbol u_2+\cdots+\frac{\lang\boldsymbol v,\boldsymbol u_p\rang}{\lang\boldsymbol u_p,\boldsymbol u_p\rang}\boldsymbol u_p
v ^ = proj W v = ⟨ u 1 , u 1 ⟩ ⟨ v , u 1 ⟩ u 1 + ⟨ u 2 , u 2 ⟩ ⟨ v , u 2 ⟩ u 2 + ⋯ + ⟨ u p , u p ⟩ ⟨ v , u p ⟩ u p
证：若u 1 , u 2 , ⋯ , u p \boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_p u 1 , u 2 , ⋯ , u p W W W v ∈ V \boldsymbol v\in V v ∈ V
v ^ = x 1 u 1 + x 2 u 2 + ⋯ + x p u p \hat{\boldsymbol v}=x_1\boldsymbol u_1+x_2\boldsymbol u_2+\cdots+x_p\boldsymbol u_p
v ^ = x 1 u 1 + x 2 u 2 + ⋯ + x p u p
令 z = v − v ^ \boldsymbol z=\boldsymbol v-\hat{\boldsymbol v} z = v − v ^ u j \boldsymbol u_j u j z ∈ W ⊥ \boldsymbol z\in W^{\perp} z ∈ W ⊥
⟨ z , u j ⟩ = ⟨ v − v ^ , u j ⟩ = ⟨ v , u j ⟩ − x j ⟨ u j , u j ⟩ = 0 \lang\boldsymbol z,\boldsymbol u_j\rang=\lang\boldsymbol v-\hat{\boldsymbol v},\boldsymbol u_j\rang=
\lang\boldsymbol v,\boldsymbol u_j\rang-x_j\lang\boldsymbol u_j,\boldsymbol u_j\rang=0
⟨ z , u j ⟩ = ⟨ v − v ^ , u j ⟩ = ⟨ v , u j ⟩ − x j ⟨ u j , u j ⟩ = 0
于是便求得了投影的系数
x j = ⟨ v , u j ⟩ ⟨ u j , u j ⟩ x_j=\frac{\lang\boldsymbol v,\boldsymbol u_j\rang}{\lang\boldsymbol u_j,\boldsymbol u_j\rang}
x j = ⟨ u j , u j ⟩ ⟨ v , u j ⟩
性质 ：设 W W W V V V v ∈ V , v ^ = proj W v \boldsymbol v\in V,\hat{\boldsymbol v}=\text{proj}_W\boldsymbol v v ∈ V , v ^ = proj W v
(最佳逼近定理) v ^ \hat{\boldsymbol v} v ^ W W W v \boldsymbol v v ∀ w ∈ W , ∥ v − v ^ ∥ ⩽ ∥ v − w ∥ \forall\boldsymbol w\in W,\ \|\boldsymbol v-\hat{\boldsymbol v}\|\leqslant \|\boldsymbol v-\boldsymbol w\| ∀ w ∈ W , ∥ v − v ^ ∥ ⩽ ∥ v − w ∥
若 U = ( u 1 , u 2 , ⋯ , u p ) U=(\boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_p) U = ( u 1 , u 2 , ⋯ , u p ) W W W proj W v = U U ⊤ v \text{proj}_W\boldsymbol v=UU^{\top}\boldsymbol v proj W v = U U ⊤ v
证：(1) 取W W W w \boldsymbol w w
v − w = ( v − v ^ ) + ( v ^ − w ) \boldsymbol v-\boldsymbol w=(\boldsymbol v-\hat{\boldsymbol v})+(\hat{\boldsymbol v}-\boldsymbol w)
v − w = ( v − v ^ ) + ( v ^ − w )
由勾股定理定理知道
∥ v − w ∥ 2 = ∥ v − v ^ ∥ 2 + ∥ v ^ − w ∥ 2 \|\boldsymbol v-\boldsymbol w\|^2=\|\boldsymbol v-\hat{\boldsymbol v}\|^2+\|\hat{\boldsymbol v}-\boldsymbol w\|^2
∥ v − w ∥ 2 = ∥ v − v ^ ∥ 2 + ∥ v ^ − w ∥ 2
由于 ∥ v ^ − w ∥ 2 ⩾ 0 \|\hat{\boldsymbol v}-\boldsymbol w\|^2\geqslant 0 ∥ v ^ − w ∥ 2 ⩾ 0
(2) 由于u 1 , u 2 , ⋯ , u p \boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_p u 1 , u 2 , ⋯ , u p W W W
proj W v = ⟨ v , u 1 ⟩ u 1 + ⟨ v , u 2 ⟩ u 2 ⋯ + + ⟨ v , u p ⟩ u p = u 1 ⊤ v u 1 + u 2 ⊤ v u 2 + ⋯ + u p ⊤ v u p = U U ⊤ v \text{proj}_W\boldsymbol v=\lang\boldsymbol v,\boldsymbol u_1\rang\boldsymbol u_1+\lang\boldsymbol v,\boldsymbol u_2\rang\boldsymbol u_2\cdots++\lang\boldsymbol v,\boldsymbol u_p\rang\boldsymbol u_p\\
=\boldsymbol u_1^{\top}\boldsymbol v\boldsymbol u_1+\boldsymbol u_2^{\top}\boldsymbol v\boldsymbol u_2+\cdots+\boldsymbol u_p^{\top}\boldsymbol v\boldsymbol u_p=UU^{\top}\boldsymbol v
proj W v = ⟨ v , u 1 ⟩ u 1 + ⟨ v , u 2 ⟩ u 2 ⋯ + + ⟨ v , u p ⟩ u p = u 1 ⊤ v u 1 + u 2 ⊤ v u 2 + ⋯ + u p ⊤ v u p = U U ⊤ v
Gram-Schmidt正交化
Gram-Schmidt正交化 方法是将向量空间 V V V a 1 , a 2 , ⋯ , a r \boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_r a 1 , a 2 , ⋯ , a r e 1 , e 2 , ⋯ , e r \boldsymbol e_1,\boldsymbol e_2,\cdots,\boldsymbol e_r e 1 , e 2 , ⋯ , e r
取
η 1 = a 1 η 2 = a 2 − proj η 1 a 2 η 3 = a 3 − proj η 1 a 3 − proj η 2 a 3 ⋯ η r = a r − proj η 1 a r − proj η 2 a r − ⋯ − proj η r − 1 a r \begin{aligned}
&\boldsymbol\eta_1=\boldsymbol a_1 \\
&\boldsymbol\eta_2=\boldsymbol a_2-\text{proj}_{\boldsymbol\eta_1}\boldsymbol a_2 \\
&\boldsymbol\eta_3=\boldsymbol a_3-\text{proj}_{\boldsymbol\eta_1}\boldsymbol a_3-\text{proj}_{\boldsymbol\eta_2}\boldsymbol a_3 \\
&\cdots \\
&\boldsymbol\eta_r=\boldsymbol a_r-\text{proj}_{\boldsymbol\eta_1}\boldsymbol a_r-\text{proj}_{\boldsymbol\eta_2}\boldsymbol a_r-\cdots- \text{proj}_{\boldsymbol\eta_{r-1}}\boldsymbol a_r \\
\end{aligned}
η 1 = a 1 η 2 = a 2 − proj η 1 a 2 η 3 = a 3 − proj η 1 a 3 − proj η 2 a 3 ⋯ η r = a r − proj η 1 a r − proj η 2 a r − ⋯ − proj η r − 1 a r
那么 η 1 , η 2 , ⋯ , η r \boldsymbol\eta_1,\boldsymbol\eta_2,\cdots,\boldsymbol\eta_r η 1 , η 2 , ⋯ , η r V V V
V = span { a 1 , a 2 , ⋯ , a r } = span { η 1 , η 2 , ⋯ , η r } V=\text{span }\{\boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_r\}=\text{span }\{\boldsymbol\eta_1,\boldsymbol\eta_2,\cdots,\boldsymbol\eta_r\}
V = span { a 1 , a 2 , ⋯ , a r } = span { η 1 , η 2 , ⋯ , η r }
再把它们单位化
e 1 = 1 ∥ η 1 ∥ η 1 , e 2 = 1 ∥ η 2 ∥ η 2 , ⋯ , e r = 1 ∥ η r ∥ η r \boldsymbol e_1=\frac{1}{\|\boldsymbol\eta_1\|}\boldsymbol\eta_1,\quad\boldsymbol e_2=\frac{1}{\|\boldsymbol\eta_2\|}\boldsymbol\eta_2,\quad\cdots,\quad\boldsymbol e_r=\frac{1}{\|\boldsymbol\eta_r\|}\boldsymbol\eta_r
e 1 = ∥ η 1 ∥ 1 η 1 , e 2 = ∥ η 2 ∥ 1 η 2 , ⋯ , e r = ∥ η r ∥ 1 η r
最终获得 V V V
举个例子：设 a 1 = [ 1 1 1 1 ] , a 2 = [ 0 1 1 1 ] , a 3 = [ 0 0 1 1 ] \boldsymbol a_1=\begin{bmatrix}1\\1\\1\\1\end{bmatrix},\boldsymbol a_2=\begin{bmatrix}0\\1\\1\\1\end{bmatrix},\boldsymbol a_3=\begin{bmatrix}0\\0\\1\\1\end{bmatrix} a 1 = 1 1 1 1 , a 2 = 0 1 1 1 , a 3 = 0 0 1 1 V V V V V V
解：step 1 取第一个基向量 b 1 = a 1 , W 1 = span { a 1 } = span { b 1 } \boldsymbol b_1=\boldsymbol a_1,W_1=\text{span}\{\boldsymbol a_1\}=\text{span}\{\boldsymbol b_1\} b 1 = a 1 , W 1 = span { a 1 } = span { b 1 }
step 2 取第二个基向量
b 2 = a 2 − proj W 1 a 2 = a 2 − b 1 ⊤ a 2 b 1 ⊤ b 1 b 1 = [ 0 1 1 1 ] − 3 4 [ 1 1 1 1 ] = [ − 3 / 4 1 / 4 1 / 4 1 / 4 ] \boldsymbol b_2=\boldsymbol a_2-\text{proj}_{W_1}\boldsymbol a_2=
\boldsymbol a_2-\frac{\boldsymbol b_1^{\top}\boldsymbol a_2}{\boldsymbol b_1^{\top}\boldsymbol b_1}\boldsymbol b_1\\
=\begin{bmatrix}0\\1\\1\\1\end{bmatrix}-\frac{3}{4}\begin{bmatrix}1\\1\\1\\1\end{bmatrix}=
\begin{bmatrix}-3/4\\1/4\\1/4\\1/4\end{bmatrix}
b 2 = a 2 − proj W 1 a 2 = a 2 − b 1 ⊤ b 1 b 1 ⊤ a 2 b 1 = 0 1 1 1 − 4 3 1 1 1 1 = − 3/4 1/4 1/4 1/4
为计算方便，缩放 b 2 = ( − 3 , 1 , 1 , 1 ) ⊤ \boldsymbol b_2=(-3,1,1,1)^{\top} b 2 = ( − 3 , 1 , 1 , 1 ) ⊤ W 2 = span { b 1 , b 2 } W_2=\text{span}\{\boldsymbol b_1,\boldsymbol b_2\} W 2 = span { b 1 , b 2 }
step 3 取第三个基向量
b 3 = a 3 − proj W 2 a 3 = a 3 − b 1 ⊤ a 3 b 1 ⊤ b 1 b 1 − b 2 ⊤ a 3 b 2 ⊤ b 2 b 2 = [ 0 0 1 1 ] − 2 4 [ 1 1 1 1 ] − 2 12 [ − 3 1 1 1 ] = [ 0 − 2 / 3 1 / 3 1 / 3 ] \boldsymbol b_3=\boldsymbol a_3-\text{proj}_{W_2}\boldsymbol a_3=
\boldsymbol a_3-\frac{\boldsymbol b_1^{\top}\boldsymbol a_3}{\boldsymbol b_1^{\top}\boldsymbol b_1}\boldsymbol b_1-\frac{\boldsymbol b_2^{\top}\boldsymbol a_3}{\boldsymbol b_2^{\top}\boldsymbol b_2}\boldsymbol b_2\\
=\begin{bmatrix}0\\0\\1\\1\end{bmatrix}-
\frac{2}{4}\begin{bmatrix}1\\1\\1\\1\end{bmatrix}-
\frac{2}{12}\begin{bmatrix}-3\\1\\1\\1\end{bmatrix}=
\begin{bmatrix}0\\-2/3\\1/3\\1/3\end{bmatrix}
b 3 = a 3 − proj W 2 a 3 = a 3 − b 1 ⊤ b 1 b 1 ⊤ a 3 b 1 − b 2 ⊤ b 2 b 2 ⊤ a 3 b 2 = 0 0 1 1 − 4 2 1 1 1 1 − 12 2 − 3 1 1 1 = 0 − 2/3 1/3 1/3
实对称矩阵的对角化
定理 ：
实对称矩阵对应于不同特征值的特征向量必正交。
实对称矩阵可正交相似对角化。即对于对称矩阵 A A A P P P Λ = P − 1 A P \Lambda=P^{-1}AP Λ = P − 1 A P Λ \Lambda Λ A A A
证明：(1) 设实对称矩阵 A A A λ 1 , λ 2 \lambda_1,\lambda_2 λ 1 , λ 2 u 1 , u 2 \boldsymbol u_1,\boldsymbol u_2 u 1 , u 2
A ⊤ = A , A u 1 = λ 1 u 1 , A u 2 = λ 2 u 2 A^{\top}=A,\quad A\boldsymbol u_1=\lambda_1\boldsymbol u_1,\quad A\boldsymbol u_2=\lambda_2\boldsymbol u_2
A ⊤ = A , A u 1 = λ 1 u 1 , A u 2 = λ 2 u 2
对 A u 1 = λ 1 u 1 A\boldsymbol u_1=\lambda_1\boldsymbol u_1 A u 1 = λ 1 u 1 u 2 \boldsymbol u_2 u 2
u 1 ⊤ A u 2 = λ 1 u 1 ⊤ u 2 \boldsymbol u_1^{\top}A\boldsymbol u_2=\lambda_1\boldsymbol u_1^{\top}\boldsymbol u_2
u 1 ⊤ A u 2 = λ 1 u 1 ⊤ u 2
对 A u 2 = λ 2 u 2 A\boldsymbol u_2=\lambda_2\boldsymbol u_2 A u 2 = λ 2 u 2 u 1 ⊤ \boldsymbol u_1^{\top} u 1 ⊤
u 1 ⊤ A u 2 = λ 2 u 1 ⊤ u 2 \boldsymbol u_1^{\top}A\boldsymbol u_2=\lambda_2\boldsymbol u_1^{\top}\boldsymbol u_2
u 1 ⊤ A u 2 = λ 2 u 1 ⊤ u 2
两式相减，得到
( λ 1 − λ 2 ) u 1 ⊤ u 2 = 0 (\lambda_1-\lambda_2)\boldsymbol u_1^{\top}\boldsymbol u_2=0
( λ 1 − λ 2 ) u 1 ⊤ u 2 = 0
由于 λ 1 ≠ λ 2 \lambda_1\neq \lambda_2 λ 1 = λ 2 u 1 ⊤ u 2 = 0 \boldsymbol u_1^{\top}\boldsymbol u_2=0 u 1 ⊤ u 2 = 0 u 1 , u 2 \boldsymbol u_1,\boldsymbol u_2 u 1 , u 2
例：将矩阵A = [ 3 − 2 4 − 2 6 2 4 2 3 ] A=\begin{bmatrix}3&-2&4\\-2&6&2\\4&2&3\end{bmatrix} A = 3 − 2 4 − 2 6 2 4 2 3
解：特征方程 det ( A − λ I ) = − ( λ − 7 ) 2 ( λ + 2 ) = 0 \det(A-\lambda I)=-(\lambda-7)^2(\lambda+2)=0 det ( A − λ I ) = − ( λ − 7 ) 2 ( λ + 2 ) = 0
λ = 7 : v 1 = [ 1 0 1 ] , v 2 = [ − 1 / 2 1 0 ] ; λ = − 2 : v 1 = [ − 1 − 1 / 2 1 ] \lambda=7:\boldsymbol v_1=\begin{bmatrix}1\\0\\1\end{bmatrix},
\boldsymbol v_2=\begin{bmatrix}-1/2\\1\\0\end{bmatrix}; \quad
\lambda=-2:\boldsymbol v_1=\begin{bmatrix}-1\\-1/2\\1\end{bmatrix}
λ = 7 : v 1 = 1 0 1 , v 2 = − 1/2 1 0 ; λ = − 2 : v 1 = − 1 − 1/2 1
尽管 v 1 , v 2 \boldsymbol v_1,\boldsymbol v_2 v 1 , v 2 v 1 \boldsymbol v_1 v 1 v 2 \boldsymbol v_2 v 2
z 2 = v 2 − v 1 ⊤ v 2 v 1 ⊤ v 1 v 1 = [ − 1 / 4 1 1 / 4 ] \boldsymbol z_2=\boldsymbol v_2-\frac{\boldsymbol v_1^{\top}\boldsymbol v_2}{\boldsymbol v_1^{\top}\boldsymbol v_1}\boldsymbol v_1=\begin{bmatrix}-1/4\\1\\1/4\end{bmatrix}
z 2 = v 2 − v 1 ⊤ v 1 v 1 ⊤ v 2 v 1 = − 1/4 1 1/4
由于 z 2 \boldsymbol z_2 z 2 λ = 7 \lambda=7 λ = 7 v 1 , v 2 \boldsymbol v_1,\boldsymbol v_2 v 1 , v 2 z 2 \boldsymbol z_2 z 2 λ = 7 \lambda=7 λ = 7
分别将 v 1 , v 2 , v 3 \boldsymbol v_1,\boldsymbol v_2,\boldsymbol v_3 v 1 , v 2 , v 3
u 1 = [ 1 / 2 0 1 / 2 ] , u 2 = [ − 1 / 18 4 / 18 1 / 18 ] , u 3 = [ − 2 / 3 − 1 / 3 2 / 3 ] \boldsymbol u_1=\begin{bmatrix}1/\sqrt{2}\\0\\1/\sqrt{2}\end{bmatrix},
\boldsymbol u_2=\begin{bmatrix}-1/\sqrt{18}\\4/\sqrt{18}\\1/\sqrt{18}\end{bmatrix},
\boldsymbol u_3=\begin{bmatrix}-2/3\\-1/3\\2/3\end{bmatrix}
u 1 = 1/ 2 0 1/ 2 , u 2 = − 1/ 18 4/ 18 1/ 18 , u 3 = − 2/3 − 1/3 2/3
令
P = ( u 1 , u 2 , u 3 ) = [ 1 / 2 − 1 / 18 − 2 / 3 0 4 / 18 − 1 / 3 1 / 2 1 / 18 2 / 3 ] , Λ = [ 7 0 0 0 7 0 0 0 − 2 ] P=(\boldsymbol u_1,\boldsymbol u_2,\boldsymbol u_3)=\begin{bmatrix}1/\sqrt{2}&-1/\sqrt{18}&-2/3\\0&4/\sqrt{18}&-1/3\\1/\sqrt{2}&1/\sqrt{18}&2/3\end{bmatrix},\quad
\Lambda=\begin{bmatrix}7&0&0\\0&7&0\\0&0&-2\end{bmatrix}
P = ( u 1 , u 2 , u 3 ) = 1/ 2 0 1/ 2 − 1/ 18 4/ 18 1/ 18 − 2/3 − 1/3 2/3 , Λ = 7 0 0 0 7 0 0 0 − 2
于是正交矩阵 P P P A A A A = P Λ P − 1 A=P\Lambda P^{-1} A = P Λ P − 1
矩阵的谱
对称矩阵的谱 ：矩阵 A A A A A A 谱 (spectrum)
spec A = { λ ∈ C ∣ det ( A − λ I ) = 0 } \text{spec }A=\{\lambda\in\Complex\mid\det(A-\lambda I)=0\}
spec A = { λ ∈ C ∣ det ( A − λ I ) = 0 }
性质 设 A A A n n n
A A A n n n 对于每一个特征值，对应的特征空间的维数等于特征方程的根的重数；
不同特征值的特征空间相互正交的；
A A A
谱分解 ：假设对称矩阵 A = P Λ P − 1 A=P\Lambda P^{-1} A = P Λ P − 1 P P P A A A u 1 , u 2 , ⋯ , u n \boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_n u 1 , u 2 , ⋯ , u n λ 1 , λ 2 , ⋯ , λ n \lambda_1,\lambda_2,\cdots,\lambda_n λ 1 , λ 2 , ⋯ , λ n Λ \Lambda Λ P ⊤ = P − 1 P^{\top}=P^{-1} P ⊤ = P − 1
A = P Λ P − 1 = ( u 1 , u 2 , ⋯ , u n ) [ λ 1 λ 2 ⋱ λ n ] [ u 1 ⊤ u 2 ⊤ ⋮ u n ⊤ ] = ( λ 1 u 1 , λ 2 u 2 , ⋯ , λ n u n ) [ u 1 ⊤ u 2 ⊤ ⋮ u n ⊤ ] = λ 1 u 1 u 1 ⊤ + λ 2 u 2 u 2 ⊤ + ⋯ + λ n u n u n ⊤ \begin{aligned}
A&=P\Lambda P^{-1}=(\boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_n)
\begin{bmatrix}\lambda_1\\&\lambda_2\\&&\ddots\\&&&\lambda_n\end{bmatrix}
\begin{bmatrix}\boldsymbol u_1^{\top}\\\boldsymbol u_2^{\top}\\\vdots\\\boldsymbol u_n^{\top}\end{bmatrix} \\
&=(\lambda_1\boldsymbol u_1,\lambda_2\boldsymbol u_2,\cdots,\lambda_n\boldsymbol u_n)
\begin{bmatrix}\boldsymbol u_1^{\top}\\\boldsymbol u_2^{\top}\\\vdots\\\boldsymbol u_n^{\top}\end{bmatrix} \\
&=\lambda_1\boldsymbol u_1\boldsymbol u_1^{\top}+\lambda_2\boldsymbol u_2\boldsymbol u_2^{\top}+\cdots+\lambda_n\boldsymbol u_n\boldsymbol u_n^{\top}
\end{aligned}
A = P Λ P − 1 = ( u 1 , u 2 , ⋯ , u n ) λ 1 λ 2 ⋱ λ n u 1 ⊤ u 2 ⊤ ⋮ u n ⊤ = ( λ 1 u 1 , λ 2 u 2 , ⋯ , λ n u n ) u 1 ⊤ u 2 ⊤ ⋮ u n ⊤ = λ 1 u 1 u 1 ⊤ + λ 2 u 2 u 2 ⊤ + ⋯ + λ n u n u n ⊤
由于它将 A A A A A A A A A A A A 谱分解 。 上式中的每一项都是一个秩为1的 n n n λ 1 u 1 u 1 ⊤ \lambda_1\boldsymbol u_1\boldsymbol u_1^{\top} λ 1 u 1 u 1 ⊤ u 1 \boldsymbol u_1 u 1
二次型与合同
二次型与标准型
Grant：二次型研究的是二次曲面在不同基下的坐标变换
由解析几何的知识，我们了解到二次函数的一次项和常数项只是对函数图像进行平移，并不会改变图形的形状和大小。以一元二次函数为例
而二次函数的二次项控制函数图像的大小和形状。以二元二次函数为例，观察 f ( x , y ) = 1 f(x,y)=1 f ( x , y ) = 1
线性代数主要研究这些图形的二次项，通过线性变换使二次曲面变得规范简洁。
定义 ：n n n
f ( x 1 , ⋯ , x n ) = a 11 x 1 2 + 2 a 12 x 1 x 2 + ⋯ + 2 a 1 n x 1 x n + a 22 x 2 2 + 2 a 23 x 2 x 3 + ⋯ + 2 a 2 n x 2 x n + a n n x n 2 \begin{aligned}
f(x_1,\cdots,x_n)=&a_{11}x_1^2+2a_{12}x_1x_2+\cdots+2a_{1n}x_1x_n \\
&+a_{22}x_2^2+2a_{23}x_2x_3+\cdots+2a_{2n}x_2x_n \\
&+a_{nn}x_n^2
\end{aligned}
f ( x 1 , ⋯ , x n ) = a 11 x 1 2 + 2 a 12 x 1 x 2 + ⋯ + 2 a 1 n x 1 x n + a 22 x 2 2 + 2 a 23 x 2 x 3 + ⋯ + 2 a 2 n x 2 x n + a nn x n 2
称为二次型 (quadratic form)，这其实是二次曲面在一组坐标基下的解析表达式。
利用矩阵乘法，二次型可简记为
f = [ x 1 x 2 ⋯ x n ] [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ] [ x 1 x 2 ⋮ x n ] = x ⊤ A x f=\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}
\begin{bmatrix}
a_{11}&a_{12}&\cdots&a_{1n} \\
a_{21}&a_{22}&\cdots&a_{2n} \\
\vdots&\vdots&\ddots&\vdots \\
a_{m1}&a_{m2}&\cdots&a_{mn} \\
\end{bmatrix}
\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}
=\boldsymbol x^{\top}A\boldsymbol x
f = [ x 1 x 2 ⋯ x n ] a 11 a 21 ⋮ a m 1 a 12 a 22 ⋮ a m 2 ⋯ ⋯ ⋱ ⋯ a 1 n a 2 n ⋮ a mn x 1 x 2 ⋮ x n = x ⊤ A x
其中 A A A a i j = a j i a_{ij}=a_{ji} a ij = a j i x i x j x_ix_j x i x j 2 a i j 2a_{ij} 2 a ij A A A f f f A A A
在某些情况下，没有交叉乘积项的二次型会更容易使用，即通过线性变换 x = C y \boldsymbol x=C\boldsymbol y x = C y
f = x ⊤ A x = x = C y y ⊤ ( C ⊤ A C ) y = y ⊤ Λ y f=\boldsymbol x^{\top}A\boldsymbol x\xlongequal{\boldsymbol x=C\boldsymbol y}\boldsymbol y^{\top}(C^{\top}AC)\boldsymbol y=\boldsymbol y^{\top}\Lambda\boldsymbol y
f = x ⊤ A x x = C y y ⊤ ( C ⊤ A C ) y = y ⊤ Λ y
由于矩阵 A A A C C C
C − 1 A C = C ⊤ A C = Λ C^{-1}AC=C^{\top}AC=\Lambda
C − 1 A C = C ⊤ A C = Λ
而 Λ \Lambda Λ A A A
f = λ 1 y 1 2 + λ 2 y 2 2 + ⋯ + λ n y n 2 f=\lambda_1y_1^2+\lambda_2y_2^2+\cdots+\lambda_ny_n^2
f = λ 1 y 1 2 + λ 2 y 2 2 + ⋯ + λ n y n 2
这种只含平方项的二次型称为标准型 (standard form)。显然，标准形的矩阵是对角阵。任何二次型都可通过正交变换化为标准型 。系数全为 +1,-1或 0 的标准型叫做规范型 (gauge form)。
定义 ：设A A A B B B n n n n n n C C C
B = C ⊤ A C B=C^{\top}AC
B = C ⊤ A C
则称矩阵A A A B B B 合同 ，记为 A ≃ B A\simeq B A ≃ B
性质 ：设矩阵 A ≃ B A\simeq B A ≃ B
若 A A A B B B
合同矩阵的秩相等 rank ( A ) = rank ( B ) \text{rank}(A)=\text{rank}(B) rank ( A ) = rank ( B )
化二次型为标准型的三种方法：
求矩阵 A A A
使用多项式配方法化为标准型；
使用初等变换法将上方的矩阵 A A A
[ A I ] → [ C ⊤ A C C ] \begin{bmatrix}A\\I\end{bmatrix}\xrightarrow{}\begin{bmatrix}C^{\top}AC\\C\end{bmatrix}
[ A I ] [ C ⊤ A C C ]
例：将椭圆方程 5 x 1 2 − 4 x 1 x 2 + 5 x 2 2 = 48 5x_1^2-4x_1x_2+5x_2^2=48 5 x 1 2 − 4 x 1 x 2 + 5 x 2 2 = 48
解：二次型的矩阵 A = [ 5 − 2 − 2 5 ] A=\begin{bmatrix}5&-2\\-2&5\end{bmatrix} A = [ 5 − 2 − 2 5 ]
u 1 = [ 1 / 2 1 / 2 ] , u 2 = [ − 1 / 2 1 / 2 ] \boldsymbol u_1=\begin{bmatrix}1/\sqrt{2}\\1/\sqrt{2}\end{bmatrix},
\boldsymbol u_2=\begin{bmatrix}-1/\sqrt{2}\\1/\sqrt{2}\end{bmatrix}
u 1 = [ 1/ 2 1/ 2 ] , u 2 = [ − 1/ 2 1/ 2 ]
可使用特征向量 u 1 , u 2 \boldsymbol u_1,\boldsymbol u_2 u 1 , u 2
C = ( u 1 , u 2 ) = [ 1 / 2 − 1 / 2 1 / 2 1 / 2 ] , Λ = [ 3 0 0 7 ] C=(\boldsymbol u_1,\boldsymbol u_2)=\begin{bmatrix}1/\sqrt{2}&-1/\sqrt{2}\\1/\sqrt{2}&1/\sqrt{2}\end{bmatrix},\quad \Lambda=\begin{bmatrix}3&0\\0&7\end{bmatrix}
C = ( u 1 , u 2 ) = [ 1/ 2 1/ 2 − 1/ 2 1/ 2 ] , Λ = [ 3 0 0 7 ]
C C C A A A Λ = C ⊤ A C \Lambda=C^{\top}AC Λ = C ⊤ A C x = P y \boldsymbol x=P\boldsymbol y x = P y
y ⊤ C y = 3 y 1 2 + 7 y 2 2 \boldsymbol y^{\top}C\boldsymbol y=3y_1^2+7y_2^2
y ⊤ C y = 3 y 1 2 + 7 y 2 2
新的坐标轴如图
二次型的分类
定义 ：设二次型f = x ⊤ A x f=\boldsymbol x^{\top}A\boldsymbol x f = x ⊤ A x x ≠ 0 \boldsymbol x\neq 0 x = 0
都有 f ( x ) > 0 f(\boldsymbol x)>0 f ( x ) > 0 f f f 正定二次型 ，称 A A A 正定矩阵 (positive definite)；
都有 f ( x ) < 0 f(\boldsymbol x)<0 f ( x ) < 0 f f f 负定二次型 ，称 A A A 负定矩阵 (negative definite)；
如果 f ( x ) f(\boldsymbol x) f ( x ) 不定二次型 ((indefinite)；
从上节可以看出二次型的标准型是不唯一的，但二次型的秩是唯一的，在化成标准型的过程中是不变的，即标准型中含有的非零平方项的个数是不变的。
惯性定理 ：二次型和标准型中系数为正的平方项的个数相同，称为正惯性指数 ；系数为负的平方项的个数也相同，称为负惯性指数 ；正负惯性指数之差称为符号差 。
定理 ：
n n n n n n 对称阵A A A ⟺ \iff ⟺ ⟺ \iff ⟺ A ≃ I A\simeq I A ≃ I
对称阵A A A ⟹ \implies ⟹ A − 1 A^{-1} A − 1
度量矩阵与合同
Grant：合同矩阵为不同坐标系下的度量矩阵。
以二维空间为例，Grant 选用标准坐标系下的基向量 i , j \mathbf i,\mathbf j i , j
A = [ ⟨ i , i ⟩ ⟨ i , j ⟩ ⟨ j , i ⟩ ⟨ j , j ⟩ ] A=\begin{bmatrix} \lang\mathbf i,\mathbf i\rang&\lang\mathbf i,\mathbf j\rang \\ \lang\mathbf j,\mathbf i\rang&\lang\mathbf j,\mathbf j\rang \end{bmatrix}
A = [ ⟨ i , i ⟩ ⟨ j , i ⟩ ⟨ i , j ⟩ ⟨ j , j ⟩ ]
而 Jennifer 使用另外一组基向量 i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′ P = [ a b c d ] P=\begin{bmatrix} a&b \\ c&d \end{bmatrix} P = [ a c b d ] i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′
p 1 = [ a c ] , p 2 = [ b d ] \boldsymbol p_1=\begin{bmatrix} a \\ c \end{bmatrix},\quad
\boldsymbol p_2=\begin{bmatrix} b \\ d \end{bmatrix}
p 1 = [ a c ] , p 2 = [ b d ]
因此， Jennifer 的基向量间的内积
⟨ i ′ , i ′ ⟩ = p 1 ⊤ A p 1 ⟨ i ′ , j ′ ⟩ = p 1 ⊤ A p 2 ⟨ j ′ , i ′ ⟩ = p 2 ⊤ A p 1 ⟨ j ′ , j ′ ⟩ = p 2 ⊤ A p 2 \lang\mathbf i',\mathbf i'\rang=\boldsymbol p_1^{\top}A\boldsymbol p_1\\
\lang\mathbf i',\mathbf j'\rang=\boldsymbol p_1^{\top}A\boldsymbol p_2 \\
\lang\mathbf j',\mathbf i'\rang=\boldsymbol p_2^{\top}A\boldsymbol p_1 \\
\lang\mathbf j',\mathbf j'\rang=\boldsymbol p_2^{\top}A\boldsymbol p_2
⟨ i ′ , i ′ ⟩ = p 1 ⊤ A p 1 ⟨ i ′ , j ′ ⟩ = p 1 ⊤ A p 2 ⟨ j ′ , i ′ ⟩ = p 2 ⊤ A p 1 ⟨ j ′ , j ′ ⟩ = p 2 ⊤ A p 2
于是，Jennifer坐标系的度量矩阵
B = [ p 1 ⊤ A p 1 p 1 ⊤ A p 2 p 2 ⊤ A p 1 p 2 ⊤ A p 2 ] = [ p 1 ⊤ p 2 ⊤ ] A [ p 1 p 2 ] = P ⊤ A P B=\begin{bmatrix} \boldsymbol p_1^{\top}A\boldsymbol p_1&\boldsymbol p_1^{\top}A\boldsymbol p_2 \\
\boldsymbol p_2^{\top}A\boldsymbol p_1&\boldsymbol p_2^{\top}A\boldsymbol p_2 \end{bmatrix}=
\begin{bmatrix} \boldsymbol p_1^{\top} \\ \boldsymbol p_2^{\top} \end{bmatrix}A\begin{bmatrix} \boldsymbol p_1 & \boldsymbol p_2 \end{bmatrix}
=P^{\top}AP
B = [ p 1 ⊤ A p 1 p 2 ⊤ A p 1 p 1 ⊤ A p 2 p 2 ⊤ A p 2 ] = [ p 1 ⊤ p 2 ⊤ ] A [ p 1 p 2 ] = P ⊤ A P
由此可知，合同矩阵刻画了两度量矩阵间的关系 。
当然，也可通过两个向量的内积在不同的坐标系中的计算公式获得两个度量矩阵间的关系。由过渡矩阵知道，同一个向量从 Jennifer 的坐标到 Grant 的坐标变换公式为
y = P x \boldsymbol y=P\boldsymbol x
y = P x
在 Jennifer 的坐标系中，两向量 u , v \boldsymbol u,\boldsymbol v u , v x 1 , x 2 \boldsymbol x_1,\boldsymbol x_2 x 1 , x 2 B B B
⟨ u , v ⟩ = x 1 ⊤ B x 2 \lang\boldsymbol u,\boldsymbol v\rang=\boldsymbol x_1^{\top}B\boldsymbol x_2
⟨ u , v ⟩ = x 1 ⊤ B x 2
在 Grant 的坐标系中，两向量 u , v \boldsymbol u,\boldsymbol v u , v y 1 , y 2 \boldsymbol y_1,\boldsymbol y_2 y 1 , y 2 A A A
⟨ u , v ⟩ = y 1 ⊤ A y 2 = ( P x 1 ) ⊤ A ( P x 2 ) = x 1 ⊤ ( P ⊤ A P ) x 2 \lang\boldsymbol u,\boldsymbol v\rang=\boldsymbol y_1^{\top}A\boldsymbol y_2
=(P\boldsymbol x_1)^{\top}A(P\boldsymbol x_2)=\boldsymbol x_1^{\top}(P^{\top}AP)\boldsymbol x_2
⟨ u , v ⟩ = y 1 ⊤ A y 2 = ( P x 1 ) ⊤ A ( P x 2 ) = x 1 ⊤ ( P ⊤ A P ) x 2
于是，我们得到了两坐标系中度量矩阵的关系
B = P ⊤ A P B=P^{\top}AP
B = P ⊤ A P
矩阵分解
矩阵的因式分解是把矩阵表示为多个矩阵的乘积，这种结构更便于理解和计算。
LU分解
设 A A A m × n m\times n m × n A A A
A = L U A=LU
A = LU
其中，L L L m m m U U U A A A LU分解 。 L L L
我们先来看看，LU分解的一个应用。当 A = L U A=LU A = LU A x = b A\boldsymbol x=\boldsymbol b A x = b L ( U x ) = b L(U\boldsymbol x)=\boldsymbol b L ( U x ) = b
L y = b U x = y L\boldsymbol y=\boldsymbol b \\
U\boldsymbol x=\boldsymbol y
L y = b U x = y
因为 L L L U U U
LU 分解算法 ：本节只讲述仅用行倍加变换求解。可以证明，单位下三角矩阵的乘积和逆也是单位下三角矩阵 。此时，可以用行倍加变换寻找 L L L U U U P 1 , ⋯ , P s P_1,\cdots,P_s P 1 , ⋯ , P s
P 1 ⋯ P s A = U P_1\cdots P_sA=U
P 1 ⋯ P s A = U
于是便得到了 U U U L L L
L = ( P 1 , ⋯ , P s ) − 1 L=(P_1,\cdots,P_s)^{-1}
L = ( P 1 , ⋯ , P s ) − 1
QR分解
如果 m × n m\times n m × n A A A A A A A = Q R A=QR A = QR Q Q Q m × n m\times n m × n col A \text{col }A col A R R R n × n n\times n n × n
证：矩阵 A = ( x 1 , x 2 , ⋯ , x n ) A=(\boldsymbol x_1,\boldsymbol x_2,\cdots,\boldsymbol x_n) A = ( x 1 , x 2 , ⋯ , x n ) col A \text{col }A col A u 1 , u 2 , ⋯ , u n \boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_n u 1 , u 2 , ⋯ , u n
Q = ( u 1 , u 2 , ⋯ , u n ) Q=(\boldsymbol u_1,\boldsymbol u_2,\cdots,\boldsymbol u_n)
Q = ( u 1 , u 2 , ⋯ , u n )
因为在正交化过程中 x k ∈ span { x 1 , ⋯ , x k } = span { u 1 , ⋯ , u k } , k = 1 , 2 , ⋯ , n \boldsymbol x_k\in\text{span}\{\boldsymbol x_1,\cdots,\boldsymbol x_k\}=\text{span}\{\boldsymbol u_1,\cdots,\boldsymbol u_k\},\quad k=1,2,\cdots,n x k ∈ span { x 1 , ⋯ , x k } = span { u 1 , ⋯ , u k } , k = 1 , 2 , ⋯ , n x k \boldsymbol x_k x k
x k = r 1 k u 1 + ⋯ + r k k u k + 0 ⋅ u k + 1 + ⋯ + 0 ⋅ u n \boldsymbol x_k=r_{1k}\boldsymbol u_1+\cdots+r_{kk}\boldsymbol u_k+0\cdot\boldsymbol u_{k+1}+\cdots+0\cdot\boldsymbol u_n
x k = r 1 k u 1 + ⋯ + r k k u k + 0 ⋅ u k + 1 + ⋯ + 0 ⋅ u n
于是
x k = Q r k \boldsymbol x_k=Q\boldsymbol r_k
x k = Q r k
其中 r k = ( r 1 k , ⋯ , r k k , 0 , ⋯ , 0 ) ⊤ \boldsymbol r_k=(r_{1k},\cdots,r_{kk},0,\cdots,0)^{\top} r k = ( r 1 k , ⋯ , r k k , 0 , ⋯ , 0 ) ⊤ r k k ⩾ 0 r_{kk}\geqslant 0 r k k ⩾ 0 r k k < 0 r_{kk}<0 r k k < 0 r k k r_{kk} r k k u k \boldsymbol u_k u k R = ( r 1 , r 2 , ⋯ , r n ) R=(\boldsymbol r_1,\boldsymbol r_2,\cdots,\boldsymbol r_n) R = ( r 1 , r 2 , ⋯ , r n )
A = ( Q r 1 , Q r 2 , ⋯ , Q r n ) = Q R A=(Q\boldsymbol r_1,Q\boldsymbol r_2,\cdots,Q\boldsymbol r_n)=QR
A = ( Q r 1 , Q r 2 , ⋯ , Q r n ) = QR
例：求 A = [ 1 0 0 1 1 0 1 1 1 1 1 1 ] A=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\\1&1&1\end{bmatrix} A = 1 1 1 1 0 1 1 1 0 0 1 1
解：通过施密特正交化方法我们可以得到 col A \text{col }A col A
Q = [ 1 / 2 − 3 / 12 0 1 / 2 1 / 12 − 2 / 6 1 / 2 1 / 12 1 / 6 1 / 2 1 / 12 1 / 6 ] Q=\begin{bmatrix}1/2&-3/\sqrt{12}&0\\1/2&1/\sqrt{12}&-2/\sqrt{6}\\1/2&1/\sqrt{12}&1/\sqrt{6}\\1/2&1/\sqrt{12}&1/\sqrt{6}\end{bmatrix}
Q = 1/2 1/2 1/2 1/2 − 3/ 12 1/ 12 1/ 12 1/ 12 0 − 2/ 6 1/ 6 1/ 6
注意到 Q Q Q Q ⊤ = Q − 1 Q^{\top}=Q^{-1} Q ⊤ = Q − 1 R = Q − 1 A = Q ⊤ A R=Q^{-1}A=Q^{\top}A R = Q − 1 A = Q ⊤ A
R = [ 1 / 2 1 / 2 1 / 2 1 / 2 − 3 / 12 1 / 12 1 / 12 1 / 12 0 − 2 / 6 1 / 6 1 / 6 ] [ 1 0 0 1 1 0 1 1 1 1 1 1 ] = [ 2 3 / 2 1 0 3 / 12 2 / 12 0 0 2 / 6 ] R=\begin{bmatrix}1/2&1/2&1/2&1/2\\
-3/\sqrt{12}&1/\sqrt{12}&1/\sqrt{12}&1/\sqrt{12} \\
0&-2/\sqrt{6}&1/\sqrt{6}&1/\sqrt{6}
\end{bmatrix}
\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\\1&1&1\end{bmatrix}=
\begin{bmatrix}2&3/2&1\\0&3/\sqrt{12}&2/\sqrt{12}\\0&0&2/\sqrt{6} \end{bmatrix}
R = 1/2 − 3/ 12 0 1/2 1/ 12 − 2/ 6 1/2 1/ 12 1/ 6 1/2 1/ 12 1/ 6 1 1 1 1 0 1 1 1 0 0 1 1 = 2 0 0 3/2 3/ 12 0 1 2/ 12 2/ 6
特征值分解
特征值分解是将矩阵分解成特征值和特征向量形式：
A = Q Σ Q − 1 A=Q\Sigma Q^{-1}
A = Q Σ Q − 1
其中，Σ = diag ( λ 1 , λ 2 , ⋯ , λ n ) \Sigma=\text{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n) Σ = diag ( λ 1 , λ 2 , ⋯ , λ n ) A A A λ 1 ⩾ λ 2 ⩾ ⋯ ⩾ λ n \lambda_1\geqslant\lambda_2\geqslant\cdots\geqslant\lambda_n λ 1 ⩾ λ 2 ⩾ ⋯ ⩾ λ n Q = ( u 1 , u 2 , … , u n ) Q=(\boldsymbol u_1,\boldsymbol u_2,\dots,\boldsymbol u_n) Q = ( u 1 , u 2 , … , u n )
特征值分解后，方阵的幂变得更容易计算
A t = Q Σ t Q − 1 = Q [ λ 1 t ⋱ λ n t ] Q − 1 A^t=Q\Sigma^t Q^{-1}=Q\begin{bmatrix}\lambda_1^t\\&\ddots\\&&\lambda_n^t\end{bmatrix}Q^{-1}
A t = Q Σ t Q − 1 = Q λ 1 t ⋱ λ n t Q − 1
特征值分解可以理解为：先切换基向量，然后伸缩变换，最后再切换回原来的基向量。其中，Σ \Sigma Σ
特征值分解有一定的局限性，因为它只适用于满秩的方阵。
例：求矩阵 A = [ − 2 1 1 0 2 0 − 4 1 3 ] A=\begin{bmatrix}-2&1&1\\0&2&0\\-4&1&3\end{bmatrix} A = − 2 0 − 4 1 2 1 1 0 3
解：矩阵 A A A det ( A − λ I ) = − ( λ − 2 ) 2 ( λ + 1 ) \det(A-\lambda I)=-(\lambda-2)^2(\lambda+1) det ( A − λ I ) = − ( λ − 2 ) 2 ( λ + 1 )
λ 1 = − 1 : u 1 = [ 1 0 1 ] ; λ 2 = 2 : u 2 = [ 0 1 − 1 ] , u 3 = [ 1 0 4 ] \lambda_1=-1:\boldsymbol u_1=\begin{bmatrix}1\\0\\1\end{bmatrix};\quad
\lambda_2=2:\boldsymbol u_2=\begin{bmatrix}0\\1\\-1\end{bmatrix},
\boldsymbol u_3=\begin{bmatrix}1\\0\\4\end{bmatrix}
λ 1 = − 1 : u 1 = 1 0 1 ; λ 2 = 2 : u 2 = 0 1 − 1 , u 3 = 1 0 4
可通过行变换计算逆矩阵
( Q , I ) = [ 0 1 1 1 0 0 1 0 0 0 1 0 − 1 4 1 0 0 1 ] → [ 1 0 0 0 1 0 0 1 0 − 1 / 3 1 / 3 1 / 3 0 0 1 4 / 3 − 1 / 3 − 1 / 3 ] = ( I , Q − 1 ) (Q,I)=\begin{bmatrix}\begin{array}{ccc:ccc}
0&1&1&1&0&0\\1&0&0&0&1&0\\-1&4&1&0&0&1
\end{array}\end{bmatrix}\to
\begin{bmatrix}\begin{array}{ccc:ccc}
1&0&0&0&1&0\\0&1&0&-1/3&1/3&1/3\\0&0&1&4/3&-1/3&-1/3
\end{array}\end{bmatrix}=(I,Q^{-1})
( Q , I ) = 0 1 − 1 1 0 4 1 0 1 1 0 0 0 1 0 0 0 1 → 1 0 0 0 1 0 0 0 1 0 − 1/3 4/3 1 1/3 − 1/3 0 1/3 − 1/3 = ( I , Q − 1 )
所以
A = [ 0 1 1 1 0 0 − 1 4 1 ] [ 2 0 0 0 2 0 0 0 − 1 ] [ 0 1 0 − 1 / 3 1 / 3 1 / 3 4 / 3 − 1 / 3 − 1 / 3 ] A=\begin{bmatrix}0&1&1\\1&0&0\\-1&4&1\end{bmatrix}
\begin{bmatrix}2&0&0\\0&2&0\\0&0&-1\end{bmatrix}
\begin{bmatrix}0&1&0\\-1/3&1/3&1/3\\4/3&-1/3&-1/3\end{bmatrix}
A = 0 1 − 1 1 0 4 1 0 1 2 0 0 0 2 0 0 0 − 1 0 − 1/3 4/3 1 1/3 − 1/3 0 1/3 − 1/3
奇异值分解
奇异值分解
奇异值分解(Singular Value Decomposition, SVD)是线性代数中一种重要的矩阵分解，在生物信息学、信号处理、金融学、统计学等领域有重要应用。
SVD 可以理解为同一线性变换 T : R n → R m T:\R^n\to\R^m T : R n → R m A m × n A_{m\times n} A m × n Σ m × n \Sigma_{m\times n} Σ m × n
假定 Jennifer 使用矩阵 V n = ( v 1 , ⋯ , v n ) V_n=(\boldsymbol v_1,\cdots,\boldsymbol v_n) V n = ( v 1 , ⋯ , v n ) R n \R^n R n U n = ( u 1 , ⋯ , u m ) U_n=(\boldsymbol u_1,\cdots,\boldsymbol u_m) U n = ( u 1 , ⋯ , u m ) R m \R^m R m x ∈ R n \boldsymbol x\in \R^n x ∈ R n
同样的向量，用 Grant 的坐标系表示为 V x V\boldsymbol x V x
用 Grant 的语言描述变换后的向量 A V x AV\boldsymbol x A V x
将变换后的结果变回 Jennifer 的坐标系 U − 1 A V x U^{-1}AV\boldsymbol x U − 1 A V x
于是，我们得到同一个线性变换 T T T Σ = U − 1 A V \Sigma=U^{-1}AV Σ = U − 1 A V A A A A m × n = U m Σ m × n V n − 1 A_{m\times n}=U_m\Sigma_{m\times n}V^{-1}_n A m × n = U m Σ m × n V n − 1
接下来，自然是探讨上述矩阵分解的适用条件。
注意到
A ⊤ A = ( U Σ V − 1 ) ⊤ ( U Σ V − 1 ) = V − T Σ ⊤ U ⊤ U Σ V − 1 A^{\top}A=(U\Sigma V^{-1})^{\top}(U\Sigma V^{-1})=V^{-T}\Sigma^{\top}U^{\top}U\Sigma V^{-1}
A ⊤ A = ( U Σ V − 1 ) ⊤ ( U Σ V − 1 ) = V − T Σ ⊤ U ⊤ U Σ V − 1
不妨取 U , V U,V U , V U , V U,V U , V U ⊤ U = I , V ⊤ V = I U^{\top}U=I,V^{\top}V=I U ⊤ U = I , V ⊤ V = I
A ⊤ A = V Σ ⊤ Σ V ⊤ A^{\top}A=V\Sigma^{\top}\Sigma V^{\top}
A ⊤ A = V Σ ⊤ Σ V ⊤
于是，可知 V V V A ⊤ A A^{\top}A A ⊤ A Σ ⊤ Σ \Sigma^{\top}\Sigma Σ ⊤ Σ n n n A ⊤ A A^{\top}A A ⊤ A A ⊤ A A^{\top}A A ⊤ A V V V
同理
A A ⊤ = U Σ Σ ⊤ U ⊤ AA^{\top}=U\Sigma\Sigma^{\top} U^{\top}
A A ⊤ = U Σ Σ ⊤ U ⊤
可知 U U U A A ⊤ AA^{\top} A A ⊤ Σ Σ ⊤ \Sigma\Sigma^{\top} Σ Σ ⊤ m m m A A ⊤ AA^{\top} A A ⊤ A ⊤ A A^{\top}A A ⊤ A U U U
目前 U , V U,V U , V Σ \Sigma Σ A ⊤ A A^{\top}A A ⊤ A A A ⊤ AA^{\top} A A ⊤
令 Σ = [ Λ r O O O ] \Sigma=\begin{bmatrix}\Lambda_r&O\\O&O\end{bmatrix} Σ = [ Λ r O O O ] Λ r = diag ( σ 1 , ⋯ , σ r ) \Lambda_r=\text{diag}(\sigma_1,\cdots,\sigma_r) Λ r = diag ( σ 1 , ⋯ , σ r )
Σ ⊤ Σ = [ Λ r 2 O O O ] n , Σ Σ ⊤ = [ Λ r 2 O O O ] m \Sigma^{\top}\Sigma=\begin{bmatrix}\Lambda_r^2&O\\O&O\end{bmatrix}_n,\quad
\Sigma\Sigma^{\top}=\begin{bmatrix}\Lambda_r^2&O\\O&O\end{bmatrix}_m
Σ ⊤ Σ = [ Λ r 2 O O O ] n , Σ Σ ⊤ = [ Λ r 2 O O O ] m
其中 Λ r 2 = diag ( σ 1 2 , ⋯ , σ r 2 ) \Lambda_r^2=\text{diag}(\sigma_1^2,\cdots,\sigma_r^2) Λ r 2 = diag ( σ 1 2 , ⋯ , σ r 2 ) Σ \Sigma Σ A ⊤ A A^{\top}A A ⊤ A A A ⊤ AA^{\top} A A ⊤ λ j \lambda_j λ j
σ j = λ j \sigma_j=\sqrt{\lambda_j}
σ j = λ j
综上，任意矩阵均可奇异值分解 。
定义 ：SVD是指将秩为 r r r m × n m\times n m × n A A A
A = U Σ V ⊤ A=U\Sigma V^{\top}
A = U Σ V ⊤
其中 U U U m m m V V V n n n Σ \Sigma Σ m × n m\times n m × n A A A 奇异值 (singular value)，一般按降序排列 σ 1 ⩾ σ 2 ⩾ ⋯ ⩾ σ r > 0 \sigma_1\geqslant\sigma_2\geqslant\cdots\geqslant\sigma_r>0 σ 1 ⩾ σ 2 ⩾ ⋯ ⩾ σ r > 0 Σ \Sigma Σ U U U 左奇异向量 (left singular vector)，矩阵 V V V 右奇异向量 (right singular vector)。
奇异值分解可理解为将线性变换分解为三个简单的变换：正交变换 V ⊤ V^{\top} V ⊤ Σ \Sigma Σ U U U
要判断一个矩阵 A A A rank A \text{rank} A rank A A = [ 1 1 1 1 ] A=\begin{bmatrix}1&1\\1&1\end{bmatrix} A = [ 1 1 1 1 ] R 2 \R^2 R 2 y = x y=x y = x
但现实中的矩阵会受到微小扰动，往往都是满秩的，例如
A = [ 0.63 − 1.04 0.79 − 1.64 0.25 − 0.36 0.24 − 0.61 0.45 − 1.00 0.97 − 1.34 − 0.53 0.37 0.12 1.04 ] A=\begin{bmatrix}0.63&-1.04&0.79&-1.64\\
0.25&-0.36&0.24&-0.61 \\
0.45&-1.00&0.97&-1.34 \\
-0.53&0.37&0.12&1.04\end{bmatrix}
A = 0.63 0.25 0.45 − 0.53 − 1.04 − 0.36 − 1.00 0.37 0.79 0.24 0.97 0.12 − 1.64 − 0.61 − 1.34 1.04
这时，我们通常可以看下奇异值分解
A = U [ 3.22 0.7 0.004 0.0001 ] V ⊤ A=U\begin{bmatrix}3.22&&&\\&0.7&&\\&&0.004&\\&&&0.0001\end{bmatrix}V^\top
A = U 3.22 0.7 0.004 0.0001 V ⊤
我们知道 U , V U,\ V U , V Σ \Sigma Σ
例：下面我们用一个简单的矩阵来说明奇异值分解的步骤。求矩阵 A = [ 0 1 1 1 1 0 ] A=\begin{bmatrix}0&1\\1&1\\1&0\end{bmatrix} A = 0 1 1 1 1 0
解：首先求出对称阵 A ⊤ A A^{\top}A A ⊤ A A A ⊤ AA^{\top} A A ⊤
A ⊤ A = [ 0 1 1 1 1 0 ] [ 0 1 1 1 1 0 ] = [ 2 1 1 2 ] A A ⊤ = [ 0 1 1 1 1 0 ] [ 0 1 1 1 1 0 ] = [ 1 1 0 1 2 1 0 1 1 ] A^{\top}A=\begin{bmatrix}0&1&1\\1&1&0\end{bmatrix}
\begin{bmatrix}0&1\\1&1\\1&0\end{bmatrix}=
\begin{bmatrix}2&1\\1&2\end{bmatrix} \\
AA^{\top}=\begin{bmatrix}0&1\\1&1\\1&0\end{bmatrix}
\begin{bmatrix}0&1&1\\1&1&0\end{bmatrix}=
\begin{bmatrix}1&1&0\\1&2&1\\0&1&1\end{bmatrix}
A ⊤ A = [ 0 1 1 1 1 0 ] 0 1 1 1 1 0 = [ 2 1 1 2 ] A A ⊤ = 0 1 1 1 1 0 [ 0 1 1 1 1 0 ] = 1 1 0 1 2 1 0 1 1
然后求出 A ⊤ A A^{\top}A A ⊤ A
λ 1 = 3 : v 1 = [ 1 / 2 1 / 2 ] ; λ 2 = 1 : v 2 = [ − 1 / 2 1 / 2 ] \lambda_1=3:\boldsymbol v_1=\begin{bmatrix}1/\sqrt{2}\\1/\sqrt{2}\end{bmatrix};\quad
\lambda_2=1:\boldsymbol v_2=\begin{bmatrix}-1/\sqrt{2}\\1/\sqrt{2}\end{bmatrix}
λ 1 = 3 : v 1 = [ 1/ 2 1/ 2 ] ; λ 2 = 1 : v 2 = [ − 1/ 2 1/ 2 ]
求出 A A ⊤ AA^{\top} A A ⊤
λ 1 = 3 : u 1 = [ 1 / 6 2 / 6 1 / 6 ] ; λ 2 = 1 : u 2 = [ 1 / 2 0 − 1 / 2 ] ; λ 3 = 0 : u 3 = [ 1 / 3 − 1 / 3 1 / 3 ] ; \lambda_1=3:\boldsymbol u_1=\begin{bmatrix}1/\sqrt{6}\\2/\sqrt{6}\\1/\sqrt{6}\end{bmatrix};\quad
\lambda_2=1:\boldsymbol u_2=\begin{bmatrix}1/\sqrt{2}\\0\\-1/\sqrt{2}\end{bmatrix};\quad
\lambda_3=0:\boldsymbol u_3=\begin{bmatrix}1/\sqrt{3}\\-1/\sqrt{3}\\1/\sqrt{3}\end{bmatrix};
λ 1 = 3 : u 1 = 1/ 6 2/ 6 1/ 6 ; λ 2 = 1 : u 2 = 1/ 2 0 − 1/ 2 ; λ 3 = 0 : u 3 = 1/ 3 − 1/ 3 1/ 3 ;
其次可以利用 σ i = λ i \sigma_i=\sqrt{\lambda_i} σ i = λ i 3 , 1 \sqrt{3},1 3 , 1
最终得到A A A
A = U Σ V ⊤ = [ 1 / 6 1 / 2 1 / 3 2 / 6 0 − 1 / 3 1 / 6 − 1 / 2 1 / 3 ] [ 3 0 0 1 0 0 ] [ 1 / 2 1 / 2 − 1 / 2 1 / 2 ] A=U\Sigma V^{\top}=\begin{bmatrix}1/\sqrt{6}&1/\sqrt{2}&1/\sqrt{3}\\2/\sqrt{6}&0&-1/\sqrt{3}\\1/\sqrt{6}&-1/\sqrt{2}&1/\sqrt{3}\end{bmatrix}
\begin{bmatrix}\sqrt{3}&0\\0&1\\0&0\end{bmatrix}
\begin{bmatrix}1/\sqrt{2}&1/\sqrt{2}\\-1/\sqrt{2}&1/\sqrt{2}\end{bmatrix}
A = U Σ V ⊤ = 1/ 6 2/ 6 1/ 6 1/ 2 0 − 1/ 2 1/ 3 − 1/ 3 1/ 3 3 0 0 0 1 0 [ 1/ 2 − 1/ 2 1/ 2 1/ 2 ]
奇异值分解的性质
设矩阵 A = U Σ V ⊤ A=U\Sigma V^{\top} A = U Σ V ⊤ rank A = r \text{rank }A=r rank A = r U , Σ , V U,\Sigma,V U , Σ , V
U = ( U r , U m − r ) V = ( V r , V n − r ) Σ = [ Λ r O O O ] U=(U_r,U_{m-r}) \\
V=(V_r,V_{n-r}) \\
\Sigma=\begin{bmatrix}\Lambda_r&O\\O&O\end{bmatrix}
U = ( U r , U m − r ) V = ( V r , V n − r ) Σ = [ Λ r O O O ]
其中 U r = ( u 1 , ⋯ , u r ) U_r=(\boldsymbol u_1,\cdots,\boldsymbol u_r) U r = ( u 1 , ⋯ , u r ) m × r m\times r m × r V r = ( v 1 , ⋯ , v r ) V_r=(\boldsymbol v_1,\cdots,\boldsymbol v_r) V r = ( v 1 , ⋯ , v r ) n × r n\times r n × r Λ r = diag ( σ 1 , ⋯ , σ r ) \Lambda_r=\text{diag}(\sigma_1,\cdots,\sigma_r) Λ r = diag ( σ 1 , ⋯ , σ r ) r r r
A = U r Λ r V r ⊤ A=U_r\Lambda_r V^{\top}_r
A = U r Λ r V r ⊤
这个分解称为简化奇异值分解 。
性质 ：
矩阵 A A A U , V U,V U , V
令 λ \lambda λ A ⊤ A A^{\top}A A ⊤ A v \boldsymbol v v
∥ A v ∥ 2 = v ⊤ A ⊤ A v = λ v ⊤ v = λ ∥ v ∥ \|A\boldsymbol v\|^2=\boldsymbol v^{\top}A^{\top}A\boldsymbol v=\lambda\boldsymbol v^{\top}\boldsymbol v=\lambda\|\boldsymbol v\|
∥ A v ∥ 2 = v ⊤ A ⊤ A v = λ v ⊤ v = λ ∥ v ∥
易知 A V = U Σ AV=U\Sigma A V = U Σ A ⊤ U = V Σ ⊤ A^{\top}U=V\Sigma^{\top} A ⊤ U = V Σ ⊤
A v j = σ j u j A ⊤ u j = σ j v j A\boldsymbol v_j=\sigma_j\boldsymbol u_j \\
A^{\top}\boldsymbol u_j=\sigma_j\boldsymbol v_j
A v j = σ j u j A ⊤ u j = σ j v j
矩阵的外积展开式
矩阵 A = U Σ V ⊤ A=U\Sigma V^{\top} A = U Σ V ⊤ m × n m\times n m × n
A = σ 1 u 1 v 1 ⊤ + σ 2 u 2 v 2 ⊤ + ⋯ + σ r u r v r ⊤ A=\sigma_1\boldsymbol u_1\boldsymbol v_1^{\top}+\sigma_2\boldsymbol u_2\boldsymbol v_2^{\top}+\cdots+\sigma_r\boldsymbol u_r\boldsymbol v_r^{\top}
A = σ 1 u 1 v 1 ⊤ + σ 2 u 2 v 2 ⊤ + ⋯ + σ r u r v r ⊤
上式称为矩阵 A A A
在长方形对角矩阵 Σ \Sigma Σ σ 1 ⩾ σ 2 ⩾ ⋯ ⩾ σ r > 0 \sigma_1\geqslant\sigma_2\geqslant\cdots\geqslant\sigma_r>0 σ 1 ⩾ σ 2 ⩾ ⋯ ⩾ σ r > 0 k k k
奇异值分解也是一种矩阵近似的方法，这个近似是在矩阵范数意义下的近似。矩阵范数是向量范数的直接推广。
∥ A ∥ 2 = ( ∑ j = 1 n ∑ i = 1 m ∣ a i j ∣ 2 ) 1 / 2 \|A\|_2=(\sum_{j=1}^{n}\sum_{i=1}^{m} |a_{ij}|^2)^{1/2}
∥ A ∥ 2 = ( j = 1 ∑ n i = 1 ∑ m ∣ a ij ∣ 2 ) 1/2
可以证明
∥ A ∥ 2 2 = tr ( A ⊤ A ) = ∑ i = 1 r σ i 2 \|A\|_2^2=\text{tr}(A^{\top}A)= \sum_{i=1}^{r} \sigma_i^2
∥ A ∥ 2 2 = tr ( A ⊤ A ) = i = 1 ∑ r σ i 2
设矩阵
A k = ∑ i = 1 k σ i u i v i ⊤ A_k=\sum_{i=1}^k\sigma_i\boldsymbol u_i\boldsymbol v_i^{\top}
A k = i = 1 ∑ k σ i u i v i ⊤
则 A k A_k A k k k k A k A_k A k A A A 截断奇异值分解 。并且 A k A_k A k k k k A k A_k A k
min ∥ A − X ∥ 2 s.t. rank A = k \min\|A-X\|_2 \\
\text{s.t. rank }A=k
min ∥ A − X ∥ 2 s.t. rank A = k
上式称为低秩近似(low-rank approximation)。于是奇异值分解可近似为
A ≈ ∑ i = 1 k σ i u i v i ⊤ = U m × k Σ k × k V n × k ⊤ A\approx \sum_{i=1}^k\sigma_i\boldsymbol u_i\boldsymbol v_i^{\top}=U_{m\times k}\Sigma_{k\times k}V_{n\times k}^{\top}
A ≈ i = 1 ∑ k σ i u i v i ⊤ = U m × k Σ k × k V n × k ⊤
其中 k k k m m m n n n A A A k k k A A A
截断奇异值分解常用于图像压缩，如下图
矩阵的基本子空间
设矩阵 A = U Σ V ⊤ A=U\Sigma V^{\top} A = U Σ V ⊤ r r r A A A
正交阵 U U U r r r col A \text{col }A col A
正交阵 U U U m − r m-r m − r null A ⊤ \text{null } A^{\top} null A ⊤
正交阵 V V V r r r col A ⊤ \text{col }A^{\top} col A ⊤
正交阵 V V V n − r n-r n − r null A \text{null } A null A
A ( v 1 , ⋯ , v r ⏟ col A ⊤ , v r + 1 ⋯ v n ⏟ null A ) = ( u 1 , ⋯ , u r ⏟ col A , u r + 1 ⋯ u m ⏟ null A ⊤ ) [ σ 1 ⋱ σ r O ] ⏟ Σ m × n A(\underbrace{\boldsymbol v_1,\cdots,\boldsymbol v_r}_{\text{col }A^{\top}},\underbrace{\boldsymbol v_{r+1}\cdots\boldsymbol v_n}_{\text{null } A})=
(\underbrace{\boldsymbol u_1,\cdots,\boldsymbol u_r}_{\text{col }A},\underbrace{\boldsymbol u_{r+1}\cdots\boldsymbol u_m}_{\text{null } A^{\top}})
\underbrace{\begin{bmatrix}\sigma_1\\&\ddots\\&&\sigma_r\\&&&O
\end{bmatrix}}_{\Sigma_{m\times n}}
A ( col A ⊤ v 1 , ⋯ , v r , null A v r + 1 ⋯ v n ) = ( col A u 1 , ⋯ , u r , null A ⊤ u r + 1 ⋯ u m ) Σ m × n σ 1 ⋱ σ r O
证：易知 A V = U Σ AV=U\Sigma A V = U Σ
{ A v i = σ i u i , 1 ⩽ i ⩽ r A v i = 0 , r < i ⩽ n \begin{cases}
A\boldsymbol v_i=\sigma_i\boldsymbol u_i, &1\leqslant i\leqslant r \\
A\boldsymbol v_i=0, &r< i\leqslant n
\end{cases}
{ A v i = σ i u i , A v i = 0 , 1 ⩽ i ⩽ r r < i ⩽ n
取 v 1 , ⋯ , v n \boldsymbol v_1,\cdots,\boldsymbol v_n v 1 , ⋯ , v n R n \R^n R n ∀ x ∈ R n \forall\boldsymbol x\in \R^n ∀ x ∈ R n x = c 1 v 1 + ⋯ + c n v n \boldsymbol x=c_1\boldsymbol v_1+\cdots+c_n\boldsymbol v_n x = c 1 v 1 + ⋯ + c n v n
A x = c 1 A v 1 + ⋯ + c r A v r + c r + 1 A v r + 1 + ⋯ + c n v n = c 1 σ 1 u 1 + ⋯ + c r σ 1 u r + 0 + ⋯ + 0 \begin{aligned}
A\boldsymbol x&=c_1A\boldsymbol v_1+\cdots+c_rA\boldsymbol v_r+c_{r+1}A\boldsymbol v_{r+1}+\cdots+c_n\boldsymbol v_n \\
&=c_1\sigma_1\boldsymbol u_1+\cdots+c_r\sigma_1\boldsymbol u_r+0+\cdots+0
\end{aligned}
A x = c 1 A v 1 + ⋯ + c r A v r + c r + 1 A v r + 1 + ⋯ + c n v n = c 1 σ 1 u 1 + ⋯ + c r σ 1 u r + 0 + ⋯ + 0
所以 A x ∈ span { u 1 , ⋯ , u r } A\boldsymbol x\in\text{span}\{\boldsymbol u_1,\cdots,\boldsymbol u_r\} A x ∈ span { u 1 , ⋯ , u r } U U U r r r col A \text{col }A col A rank A = r \text{rank }A=r rank A = r x ∈ span { v r + 1 , ⋯ , v n } ⟺ A x = 0 \boldsymbol x\in\text{span}\{\boldsymbol v_{r+1},\cdots,\boldsymbol v_n\}\iff A\boldsymbol x=0 x ∈ span { v r + 1 , ⋯ , v n } ⟺ A x = 0 V V V n − r n-r n − r null A \text{null } A null A
同样通过 A ⊤ U = V Σ A^{\top}U=V\Sigma A ⊤ U = V Σ V V V r r r col A ⊤ \text{col }A^{\top} col A ⊤ U U U m − r m-r m − r null A ⊤ \text{null } A^{\top} null A ⊤
复数矩阵
矩阵 A A A a i j ∈ C a_{ij}\in\Complex a ij ∈ C
定义 ：设复矩阵 A = ( a i j ) m × n A=(a_{ij})_{m\times n} A = ( a ij ) m × n
矩阵 A ˉ = ( a i j ‾ ) \bar A=(\overline{a_{ij}}) A ˉ = ( a ij ) A A A
矩阵 A H = A ˉ ⊤ A^H=\bar A^{\top} A H = A ˉ ⊤ A A A A † A^{\dagger} A †
若 A H = A A^H=A A H = A A A A
若 A H A = A A H = I A^HA=AA^H=I A H A = A A H = I A − 1 = A H A^{-1}=A^H A − 1 = A H A A A
复向量长度 ∥ z ∥ 2 = ∣ z 1 ∣ 2 + ∣ z 1 ∣ 2 + ⋯ + ∣ z n ∣ 2 \|\boldsymbol z\|^2=|z_1|^2+|z_1|^2+\cdots+|z_n|^2 ∥ z ∥ 2 = ∣ z 1 ∣ 2 + ∣ z 1 ∣ 2 + ⋯ + ∣ z n ∣ 2
内积 u H v = u ˉ 1 v 1 + u ˉ 2 v 2 + ⋯ + u ˉ n v n \boldsymbol u^H\boldsymbol v=\bar u_1v_1+\bar u_2v_2+\cdots+\bar u_nv_n u H v = u ˉ 1 v 1 + u ˉ 2 v 2 + ⋯ + u ˉ n v n
正交 u H v = 0 \boldsymbol u^H\boldsymbol v=0 u H v = 0
性质 ：
A + B ‾ = A ‾ + B ‾ \overline{A+B}=\overline A+\overline B A + B = A + B k A ‾ = k ˉ A ˉ \overline{kA}=\bar k \bar A k A = k ˉ A ˉ A B ‾ = A ˉ B ˉ \overline{AB}=\bar A\bar B A B = A ˉ B ˉ ( A B ) H = B H A H (AB)^H=B^HA^H ( A B ) H = B H A H 内积满足共轭交换率 u H v = v H u ‾ \boldsymbol u^H\boldsymbol v=\overline{\boldsymbol v^H\boldsymbol u} u H v = v H u
Hermitian 矩阵可正交对角化 A = P Λ P − 1 = P Λ P H A=P\Lambda P^{-1}=P\Lambda P^H A = P Λ P − 1 = P Λ P H
Hermitian 矩阵的每个特征值都是实数
附录
极大线性无关组
由向量组线性相关的定义，容易得到以下结论：
(1) 向量组线性相关 ⟺ \iff ⟺ ⟺ \iff ⟺
线性等价 ：给定两个向量组
a 1 , a 2 , ⋯ , a r b 1 , b 2 , ⋯ , b s \boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_r \\
\boldsymbol b_1,\boldsymbol b_2,\cdots,\boldsymbol b_s
a 1 , a 2 , ⋯ , a r b 1 , b 2 , ⋯ , b s
如果其中的每个向量都能被另一个向量组线性表示，则两个向量组线性等价 。
例如，向量组 a , b , a + b \boldsymbol a,\boldsymbol b,\boldsymbol a+\boldsymbol b a , b , a + b a , b \boldsymbol a,\boldsymbol b a , b
极大线性无关组 ：从向量组 A A A r r r a 1 , a 2 , ⋯ , a r \boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_r a 1 , a 2 , ⋯ , a r
(1) 部分向量组 a 1 , a 2 , ⋯ , a r \boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_r a 1 , a 2 , ⋯ , a r A A A r + 1 r+1 r + 1
则称向量组 a 1 , a 2 , ⋯ , a r \boldsymbol a_1,\boldsymbol a_2,\cdots,\boldsymbol a_r a 1 , a 2 , ⋯ , a r 极大线性无关组 (maximum linearly independent group)。极大线性无关组包含的向量个数为向量组的秩。
性质 ：
(1) 一个向量组的极大线性无关组不一定是惟一的；秩 (rank)。全由零向量组成的向量组的秩为零；
向量叉积
平面叉积
[ v 1 v 2 ] × [ w 1 w 2 ] = det [ v 1 w 1 v 2 w 2 ] \begin{bmatrix}v_1\\v_2\end{bmatrix}\times\begin{bmatrix}w_1\\w_2\end{bmatrix}=\det\begin{bmatrix}v_1 & w_1\\ v_2 & w_2 \end{bmatrix}
[ v 1 v 2 ] × [ w 1 w 2 ] = det [ v 1 v 2 w 1 w 2 ]
大小等于 v , w \boldsymbol v,\boldsymbol w v , w
三维叉积
[ v 1 v 2 v 3 ] × [ w 1 w 2 w 3 ] = det [ i v 1 w 1 j v 2 w 2 k v 3 w 3 ] \begin{bmatrix}v_1\\v_2\\v_3\end{bmatrix}\times\begin{bmatrix}w_1\\w_2\\w_3\end{bmatrix}=\det\begin{bmatrix}\mathbf i & v_1 & w_1\\\mathbf j & v_2 & w_2 \\\boldsymbol k & v_3 & w_3 \end{bmatrix}
v 1 v 2 v 3 × w 1 w 2 w 3 = det i j k v 1 v 2 v 3 w 1 w 2 w 3
大小等于 v , w \boldsymbol v,\boldsymbol w v , w
叉积 a × b \boldsymbol a\times \boldsymbol b a × b
∥ a × b ∥ = ∥ a ∥ ∥ a ∥ sin θ \|\boldsymbol a\times \boldsymbol b\|=\|\boldsymbol a\|\ \|\boldsymbol a\|\sin\theta
∥ a × b ∥ = ∥ a ∥ ∥ a ∥ sin θ
从几何角度，相当于图中平行四边形的面积。
矩阵的迹
矩阵 A = ( a i j ) A=(a_{ij}) A = ( a ij )
tr ( A ) = ∑ i = 1 n a i i \text{tr}(A)=\sum_{i=1}^na_{ii}
tr ( A ) = i = 1 ∑ n a ii
举个例子，
tr ( [ 1 − 1 0 3 2 4 − 2 0 3 ] ) = 1 + 2 + 3 = 6 \text{tr}\left(\begin{bmatrix}1&-1&0\\3&2&4\\-2&0&3\end{bmatrix}\right)
=1+2+3=6
tr 1 3 − 2 − 1 2 0 0 4 3 = 1 + 2 + 3 = 6
基本性质：
tr A = tr A ⊤ \text{tr }A=\text{tr }A^{\top} tr A = tr A ⊤ tr ( A + B ) = tr A + tr B \text{tr}(A+B)=\text{tr }A+\text{tr }B tr ( A + B ) = tr A + tr B tr k A = k tr A \text{tr }kA=k\text{ tr }A tr k A = k tr A tr ( A B ) = tr ( B A ) \text{tr}(AB)=\text{tr}(BA) tr ( A B ) = tr ( B A ) tr ( A B C ) = tr ( C A B ) = tr ( B C A ) \text{tr}(ABC)=\text{tr}(CAB)=\text{tr}(BCA) tr ( A B C ) = tr ( C A B ) = tr ( B C A ) ∥ A ∥ F 2 = tr ( A A ⊤ ) \|A\|^2_F=\text{tr}(AA^{\top}) ∥ A ∥ F 2 = tr ( A A ⊤ )
Give me money!
