·常见的矢量范数： 2范数：‖xl2=√∑1x7-V巧，矢量长度 h范数：‖x川=∑1x lo范数：‖xlo=max(x,.,xn) p范数：‖xp=(∑”1xP)p ·矩阵范数： Frobenius范数 I4E空4=va项=Va两-oreW where vec(4)=a1l,,am.l,a12,,am2,,a☑，，am7 矩阵的Frobenius范数√r(A'A)形似于向量的2范数Vxx。 15/81
▶ 常见的矢量范数： l2 范数：∥ x ∥2= pPn i=1 xi 2 = √ x Tx, 矢量长度 l1 范数：∥ x ∥1= Pn i=1 |xi | l∞ 范数：∥ x ∥∞= max(|x1|, . . . , |xn|) lp 范数：∥ x ∥p= (Pn i=1 |xi | p ) 1/p ▶ 矩阵范数： Frobenius 范数 ∥ A ∥F= vuut Xm i=1 Xn j=1 Aij 2 = p tr(ATA) = p tr(AAT ) = p vec(A) Tvec(A) where vec(A)=[a1,1, . . . , am,1, a1,2, . . . , am,2, . . . , a1,n, . . . , am,n] T 矩阵的 Frobenius 范数 p tr(ATA) 形似于向量的 l2 范数 √ x Tx 。 15 / 81
线性独立 ·如向量集{x1,2,·,X}中，没有任何一个向量可表示 为其它向量的线性组合，称向量集中的这些向量是相互独 立的。 ·如 n-1 x-∑ax i-1 称向量Xn依赖于向量集{x1,X2,·,xn-1},反之， 称向量Xn独立于向量集{x1,x2,·,xm-1}。 16/81
线性独立 ▶ 如向量集 {x1, x2, · · · , xn} 中，没有任何一个向量可表示 为其它向量的线性组合，称向量集中的这些向量是相互独 立的。 ▶ 如 xn = Xn−1 i=1 aixi 称向量 xn 依赖于向量集 {x1, x2, . . . , xn−1} ，反之， 称向量 xn 独立于向量集 {x1, x2, · · · , xn−1} 。 16 / 81
矩阵的秩(rank) ·矩阵A的秩是组成相互独立的列（或者行）向量集的最 大数量。有如下性质： l.对于A∈Rmx",有rank(A)≤min(m,n) 如rank(A)=min(m,n),那么A称为满秩(full rank 2.对于A∈Rmx,有rank(A)=rank(A): 3.对于A∈Rmx",B∈Rmxp,rank(AB)≤min(rank(A),rank(B): 4.对于A,B∈Rmxm,rank(A+B)≤rank(A)+rank(B) 17/81
矩阵的秩 (rank) ▶ 矩阵 A 的秩是组成相互独立的列 (或者行) 向量集的最 大数量。有如下性质： 1. 对于 A∈R m×n , 有 rank(A)≤min(m, n). 如 rank(A)=min(m, n), 那么 A 称为满秩(full rank); 2. 对于 A ∈ R m×n , 有 rank(A) = rank(A T ); 3. 对于 A∈R m×n , B∈R n×p , rank(AB)≤min(rank(A), rank(B)); 4. 对于 A, B ∈ R m×n , rank(A + B) ≤ rank(A) + rank(B). 17 / 81
矩阵的逆 ·方阵A∈Rxm的逆A1,是满足如下条件的唯一矩阵， AA=AA=I ·它有如下性质： 1.(A-1)-1=A 2.(AB)-1=B-1A-1 3.(A-1)T=(A)-1,P=(AA-1)→1=(A-1)TA 18/81
矩阵的逆 ▶ 方阵 A ∈ R n×n 的逆 A −1 ，是满足如下条件的唯一矩阵， A −1A = AA−1 = I ▶ 它有如下性质： 1. (A −1 ) −1 = A 2. (AB) −1 = B −1A −1 3. (A −1 ) T = (A T ) −1 , I T = (AA−1 ) T ⇒ I = (A −1 ) TA T 18 / 81
正交矩阵 向量X,y∈R”, 。如x'y=0,则两个向量相互正交(Orthogonal)。 o如‖x2=1,则向量x被称为正规化Normalization)。 如方阵U∈Rmxm,U=UUP=I,则称为：正交矩阵， orthogonal matrix。其所有的列向量、行向量都是单位正交 向量。正交变换为： I保角变换(preserve inner product) x'y =(Ux)Uy 2保长变换(preserve vector length)即l2范数不变（矢量 长度不变)： ‖Uxl2=‖xl2 这可由‖x‖2=√Tx推导出来。 19/81
正交矩阵 ▶ 向量 x, y ∈ R n ， 如 x Ty = 0 ，则两个向量相互正交(Orthogonal)。 如 ∥ x ∥2= 1 ，则向量 x 被称为正规化(Normalization)。 ▶ 如方阵 U ∈ R n×n , U TU = UUT = I ，则称为：正交矩阵， orthogonal matrix。其所有的列向量、行向量都是单位正交 向量。正交变换为： 1 保角变换(preserve inner product) x T y = ( Ux) TUy 2 保长变换(preserve vector length) 即 l2 范数不变 (矢量 长度不变)： ∥ Ux ∥2=∥ x ∥2 这可由 ∥ x ∥2= √ x Tx 推导出来。 19 / 81