第一讲线性代数基础.12.另一方面，设yERan(A),则对任意向量zERan(A),都有y*z=0.又AA*yERan(A),所以(A*y)*(A*y) = y*(AA*y) = 0,口即A*y=0,也就是说yEKer(A*).所以Ran(A)CKer(A*)1.2向量范数与矩阵范数1.2.1向量范数定义1.6（向量范数）若函数f：Cn→R满足(1)f(a)≥0,VECn且等号当且仅当=0时成立;(非负性,nonnegativity)(2) f(αr) =a·f(r),V E Cn,α E C(正齐次性, homogeneity)(3)f(+y)≤f(α)+f(y),Vr,yECn;(三角不等式,triangularinequality)则称f(r)为Cn上的范数(norm),通常记作l·+相类似地，我们可以定义实数空间R"上的向量范数+如果f只满足f(r）≥0,正齐次性和三角不等式，则称为半范数（seminorm）.例1.7常见的向量范数：·1-范数：l1=[/+[2/+…+[n];·2-范数：ll2=V1/2+2/2+..+n/2;·00-范数：Ill=max;≤iST·p-范数：1/p=1≤p<8定义1.7(范数的等价性）设 II-Ilα与 II-Ils是Cn空间上的两个向量范数，若存在正常数 ci,C2,使得ci≤≤c2对任意ECn都成立，则称Il·Ila与I·ll是等价的。定理1.7Cn空间上的所有向量范数都是等价的，特别地，有2≤V2l≤1≤nl00
· 12 · 第一讲 线性代数基础 另一方面, 设 y ∈ Ran(A) ⊥, 则对任意向量 z ∈ Ran(A), 都有 y ∗ z = 0. 又 AA∗y ∈ Ran(A), 所以 (A ∗ y) ∗ (A ∗ y) = y ∗ (AA∗ y) = 0, 即 A∗y = 0, 也就是说 y ∈ Ker(A∗ ). 所以 Ran(A) ⊥ ⊆ Ker(A∗ ). □ 1.2 向量范数与矩阵范数 1.2.1 向量范数 定义 1.6 (向量范数) 若函数 f : C n → R 满足 (1) f(x) ≥ 0, ∀ x ∈ C n 且等号当且仅当 x = 0 时成立; (非负性, nonnegativity) (2) f(αx) = |α| · f(x), ∀ x ∈ C n, α ∈ C (正齐次性, homogeneity) (3) f(x + y) ≤ f(x) + f(y), ∀x, y ∈ C n; (三角不等式, triangular inequality) 则称 f(x) 为 C n 上的 范数 (norm ), 通常记作 ∥ · ∥. † 相类似地, 我们可以定义实数空间 R n 上的向量范数. † 如果 f 只满足 f(x) ≥ 0, 正齐次性和三角不等式, 则称为 半范数 (seminorm ). 例 1.7 常见的向量范数: • 1-范数: ∥x∥1 = |x1| + |x2| + · · · + |xn|; • 2-范数: ∥x∥2 = √ |x1| 2 + |x2| 2 + · · · + |xn| 2; • ∞-范数: ∥x∥∞ = max 1≤i≤n |xi |; • p-范数: ∥x∥p = (∑n i=1 |xi | p )1/p , 1 ≤ p < ∞. 定义 1.7 (范数的等价性) 设 ∥ · ∥α 与 ∥ · ∥β 是 C n 空间上的两个向量范数, 若存在正常数 c1, c2, 使得 c1∥x∥α ≤ ∥x∥β ≤ c2∥x∥α 对任意 x ∈ C n 都成立, 则称 ∥ · ∥α 与 ∥ · ∥β 是等价的. 定理 1.7 C n 空间上的所有向量范数都是等价的, 特别地, 有 ∥x∥2 ≤ ∥x∥1 ≤ √ n ∥x∥2, ∥x∥∞ ≤ ∥x∥1 ≤ n ∥x∥∞
1.2向量范数与矩阵范数.13 -Il≤lll2≤Vnll有限维赋范线性空间上的所有范数都是等价的定理1.8(Cauchy-Schwartz不等式）设（）是Cn上的内积，则对任意,yECn有I(r,y)/2≤ (r,a) (y,y)且等号成立的充要条件是工与y线性相关证明.若y=0,则结论显然成立假设y≠0,则对任意αEC有0 <(r - ay,r-ay) = (r,a) -a(r,y) -α(y,a) -a(y,y)(9，)，代人上式可得由于y0,所以(y,)>0. 取=(y,y)(y,a)0≤(,)-(r,y)(y,y)由于(y,a)=(,9),所以上式即为I(r,y)P ≤ (r,r) (y,y)下面考虑等号成立的条件充分性：如果工与y线性相关，则通过直接验证即可知等号成立(y,r)则必要性：假设等号成立.如果y=0,则显然r与y线性相关.现假定y≠0.取α(y,y)I(z, y)2(a -ay, - og) = (z, z) - = 0,(y,y)口即-ay=0.所以与y线性相关任何一个内积都可以定义一个相应的范数推论1.9设(,)是 Cn上的内积,则l≤V(,)是Cn上的一个向量范数更一般地，我们有下面的Holder不等式定理1.10(Holder不等式）设（，）是Rn上的Euclidean内积，则对任意，yER"，有[(, 3)? ≤I1llp I3ll,1其中p,>0,且=1Pd
1.2 向量范数与矩阵范数 · 13 · ∥x∥∞ ≤ ∥x∥2 ≤ √ n ∥x∥∞. † 有限维赋范线性空间上的所有范数都是等价的. 定理 1.8 (Cauchy-Schwartz 不等式) 设 (·, ·) 是 C n 上的内积, 则对任意 x, y ∈ C n, 有 |(x, y)| 2 ≤ (x, x) · (y, y) 且等号成立的充要条件是 x 与 y 线性相关. 证明. 若 y = 0, 则结论显然成立. 假设 y ̸= 0, 则对任意 α ∈ C 有 0 ≤ (x − αy, x − αy) = (x, x) − α¯(x, y) − α ( (y, x) − α¯(y, y) ) . 由于 y ̸= 0, 所以 (y, y) > 0. 取 α¯ = (y, x) (y, y) , 代入上式可得 0 ≤ (x, x) − (y, x) (y, y) (x, y). 由于 (y, x) = (x, y), 所以上式即为 |(x, y)| 2 ≤ (x, x) · (y, y). 下面考虑等号成立的条件. 充分性: 如果 x 与 y 线性相关, 则通过直接验证即可知等号成立. 必要性: 假设等号成立. 如果 y = 0, 则显然 x 与 y 线性相关. 现假定 y ̸= 0. 取 α = (y, x) (y, y) , 则 (x − αy, x − αy) = (x, x) − |(x, y)| 2 (y, y) = 0, 即 x − αy = 0. 所以 x 与 y 线性相关. □ 任何一个内积都可以定义一个相应的范数. 推论 1.9 设 (·, ·) 是 C n 上的内积, 则 ∥x∥ ≜ √ (x, x) 是 C n 上的一个向量范数. 更一般地, 我们有下面的 Holder 不等式. 定理 1.10 (Holder 不等式) 设 (·, ·) 是 R n 上的 Euclidean 内积, 则对任意 x, y ∈ R n, 有 |(x, y)| 2 ≤ ∥x∥p · ∥y∥q, 其中 p, q > 0, 且 1 p + 1 q = 1
.14.第一讲线性代数基础定理1.11（范数的连续性）设·I是Cn上的一个向量范数，则f(a）≤l是Cn上的连续函数1.2.2矩阵范数定义1.8（矩阵范数）若函数f：Cmxn→R满足(I)f(A)≥0,VAECmxn且等号当且仅当A=0时成立；(2) f(αA)=·f(A), V AECmxn,αEC;(3) f(A+B)≤f(A)+ f(B), VA,BE Cmxn则称f(）为Cmxn上的范数，通常记作I·l设·是Cmxn上的范数，若对任意AECmxn和任意ECn，有(1.1)IAl≤All·ll,则称矩阵范数·l与向量范数相容,这里的Ar和分别为Cm和Cn上的向量范数+类似地，我们可以定义Rmxn上的矩阵范数设f是Cnxn上的范数，如果f还满足(4) f(AB) ≤f(A)f(B), VA, B E Cnxn则称f是相容的矩阵范数十在本讲义中，如果不加特别指出，所涉及的矩阵范数都是指相容的矩阵范数类常用的矩阵范数就是由向量范数导出的算子范数引理1.3（算子范数，诱导范数，导出范数）设·Ⅱ是R"上的向量范数，则IIArllIAmaxArsupZER,0lz=1是Rnxn上的范数，称为算子范数，或诱导范数，导出范数例1.88常见的矩阵范数·F-范数TEai12IAF=1?P-范数（算子范数）I/ArllpIAll,= sup2401llp
· 14 · 第一讲 线性代数基础 定理 1.11 (范数的连续性) 设 ∥ · ∥ 是 C n 上的一个向量范数, 则 f(x) ≜ ∥x∥ 是 C n 上的连续函数. 1.2.2 矩阵范数 定义 1.8 (矩阵范数) 若函数 f : C m×n → R 满足 (1) f(A) ≥ 0, ∀ A ∈ C m×n 且等号当且仅当 A = 0 时成立; (2) f(αA) = |α| · f(A), ∀ A ∈ C m×n, α ∈ C; (3) f(A + B) ≤ f(A) + f(B), ∀A, B ∈ C m×n; 则称 f(x) 为 C m×n 上的范数, 通常记作 ∥ · ∥. 设 ∥ · ∥ 是 C m×n 上的范数, 若对任意 A ∈ C m×n 和任意 x ∈ C n, 有 ∥Ax∥ ≤ ∥A∥ · ∥x∥, (1.1) 则称矩阵范数 ∥ · ∥ 与向量范数相容, 这里的 ∥Ax∥ 和 ∥x∥ 分别为 C m 和 C n 上的向量范数. † 类似地, 我们可以定义 R m×n 上的矩阵范数. 设 f 是 C n×n 上的范数, 如果 f 还满足 (4) f(AB) ≤ f(A)f(B), ∀ A, B ∈ C n×n 则称 f 是相容的矩阵范数. † 在本讲义中, 如果不加特别指出, 所涉及的矩阵范数都是指相容的矩阵范数. 一类常用的矩阵范数就是由向量范数导出的算子范数. 引理 1.3 (算子范数, 诱导范数, 导出范数) 设 ∥ · ∥ 是 R n 上的向量范数, 则 ∥A∥ ≜ sup x∈Rn, x̸=0 ∥Ax∥ ∥x∥ = max ∥x∥=1 ∥Ax∥ 是 R n×n 上的范数, 称为算子范数, 或诱导范数, 导出范数. 例 1.8 常见的矩阵范数: • F-范数 ∥A∥F = vuut ∑n i=1 ∑n j=1 |aij | 2 ; • p-范数 (算子范数) ∥A∥p = sup x̸=0 ∥Ax∥p ∥x∥p
1.2向量范数与矩阵范数.15.引理1.4可以证明：(I)1-范数(列范数):All1max(2)00-范数（行范数)：Aloomaxi<(3)2-范数：IAll2=VP(ATA)计算2-范数时需要求谱半径，因此通常比计算1-范数和00-范数更困难.但在某些情况下可以用下面的范数等价性来估计二个矩阵的2-范数定理1.12（矩阵范数的等价性）Rnxn空间上的所有范数都是等价的，特别地，有14 4I2 V IA,114 [4/2 1 ,IIA≤IAli≤n/Allo:h1IA≤A≤VAl2Vn除此之外，我们还有下面的性质引理15设ARx，则A≤A1·A且,fl)4l2,(l)1<is定理1.13范数的性质：(1)对任意相容范数II·I,有IIA*I≤IA;(2)对任意算子范数II·I,有IIA≤IIAl·Iil,IIABI≤IIAI·BI,即算子范数是相容范数;(3)Ar2≤AlF·l2,ABF≤AF·BF，即F-范数是相容范数；(4)F-范数不是算子范数；(5）·2和I·IlF是酉不变范数，即对任意酉矩阵U,V,有[UA|2=[IAVI2=|UAV2=IIA2,UAF=AVF=UAVIF=IAlF(6)AT2=A2,AT=IA0;(7）若A是正规矩阵，则A2=p(A),因此，A2≤A,其中-是任意算子范数
1.2 向量范数与矩阵范数 · 15 · 引理 1.4 可以证明: (1) 1-范数 (列范数): ∥A∥1 = max 1≤j≤n (∑n i=1 |aij | ) ; (2) ∞-范数 (行范数): ∥A∥∞ = max 1≤i≤n ∑n j=1 |aij | ; (3) 2-范数: ∥A∥2 = √ ρ(A⊺A) . 计算 2-范数时需要求谱半径, 因此通常比计算 1-范数和 ∞-范数更困难. 但在某些情况下可以用下面的 范数等价性来估计一个矩阵的 2-范数. 定理 1.12 (矩阵范数的等价性) R n×n 空间上的所有范数都是等价的, 特别地, 有 1 √ n ∥A∥1 ≤ ∥A∥2 ≤ √ n ∥A∥1, 1 √ n ∥A∥∞ ≤ ∥A∥2 ≤ √ n ∥A∥∞, 1 n ∥A∥∞ ≤ ∥A∥1 ≤ n ∥A∥∞, 1 √ n ∥A∥1 ≤ ∥A∥F ≤ √ n ∥A∥2. 除此之外, 我们还有下面的性质. 引理 1.5 设 A ∈ R n×n, 则 ∥A∥ 2 2 ≤ ∥A∥1 · ∥A∥∞, 且 max 1≤i,j≤n {|aij |} ≤ ∥A∥2 ≤ n max 1≤i,j≤n {|aij |}. 定理 1.13 范数的性质: (1) 对任意相容范数 ∥ · ∥, 有 ∥Ak∥ ≤ ∥A∥ k ; (2) 对任意算子范数 ∥ · ∥, 有 ∥Ax∥ ≤ ∥A∥ · ∥x∥, ∥AB∥ ≤ ∥A∥ · ∥B∥, 即算子范数是相容范数; (3) ∥Ax∥2 ≤ ∥A∥F · ∥x∥2, ∥AB∥F ≤ ∥A∥F · ∥B∥F , 即 F-范数是相容范数; (4) F-范数不是算子范数; (5) ∥ · ∥2 和 ∥ · ∥F 是酉不变范数, 即对任意酉矩阵 U, V , 有 ∥UA∥2 = ∥AV ∥2 = ∥UAV ∥2 = ∥A∥2 , ∥UA∥F = ∥AV ∥F = ∥UAV ∥F = ∥A∥F (6) ∥A⊺∥2 = ∥A∥2, ∥A⊺∥1 = ∥A∥∞ ; (7) 若 A 是正规矩阵, 则 ∥A∥2 = ρ(A), 因此, ∥A∥2 ≤ ∥A∥, 其中 ∥ · ∥ 是任意算子范数
第一讲线性代数基础.16.1.2.3序列的收敛首先给出向量序列收敛的定义定义1.9(向量序列的收敛）设（(k)]%-，是Cn中的一个向量序列.如果存在向量=[r1，F2,..anJTECn使得lima(k)=,i=1,2..,n,其中()表示(K)的第i个分量.则称(r()) (按分量)收敛到,即工是(k)的极限,记为lim a(k),=T→相类似地，我们可以给出矩阵序列收敛的定义定义1.10（矩阵序列的收敛）设【A(#)=[a()])是Cmxn中的一个矩阵序列.如果存在矩阵A：[aij] e Cmxn 使得lim a)=aj,i=1,2,...,m, j=1,2,..,n,则称A(K)收敛到A,即A是A()的极限，记为lim A(k) = A.ko0关于向量序列和矩阵序列的收敛性，我们有下面的结论[82]定理1.14设向量序列 (r(k))%=0 CC",矩阵序列[A(k)=[a)])C Cmxn,则r(k)=一lim()-=0,其中·为任一向量范数;(1)imA(k)=A一limA(k)-A=0,其中I·为任一矩阵范数;(2)Iimlim A(k)=0 lim A(k)=0,VrERn(3)-下面是关于收敛速度的定义定义1.11设点列(e)0=,收敛，且limE=0.若存在一个有界常数0<c<00,使得-[=k+1]limC400EkP则称点列eI是P次（渐进)收敛的.若1<P<2或P=1且C=0,则称点列是超线性收敛的1.3矩阵与投影1.3.1特征值与特征向量
· 16 · 第一讲 线性代数基础 1.2.3 序列的收敛 首先给出向量序列收敛的定义. 定义 1.9 (向量序列的收敛) 设 { x (k) }∞ k=1 是 C n 中的一个向量序列. 如果存在向量 x = [x1, x2, . . . , xn] ⊺ ∈ C n 使得 lim k→∞ x (k) i = xi , i = 1, 2, . . . , n, 其中 x (k) i 表示 x (k) 的第 i 个分量. 则称 { x (k) } (按分量) 收敛到 x, 即 x 是 x (k) 的极限, 记为 lim k→∞ x (k) = x. 相类似地, 我们可以给出矩阵序列收敛的定义. 定义 1.10 (矩阵序列的收敛) 设 { A(k) = [ a (k) ij ]}∞ k=0 是 C m×n 中的一个矩阵序列. 如果存在矩阵 A = [aij ] ∈ C m×n 使得 lim k→∞ a (k) ij = aij , i = 1, 2, . . . , m, j = 1, 2, . . . , n, 则称 A(k) 收敛到 A, 即 A 是 A(k) 的极限, 记为 lim k→∞ A (k) = A. 关于向量序列和矩阵序列的收敛性, 我们有下面的结论 [82]. 定理 1.14 设向量序列 {x (k)}∞ k=0 ⊂ C n, 矩阵序列 { A(k) = [ a (k) ij ]}∞ k=0 ⊂ C m×n, 则 (1) lim k→∞ x (k) = x ⇐⇒ lim k→∞ ∥x (k) − x∥ = 0, 其中 ∥ · ∥ 为任一向量范数; (2) lim k→∞ A(k) = A ⇐⇒ lim k→∞ ∥A(k) − A∥ = 0, 其中 ∥ · ∥ 为任一矩阵范数; (3) lim k→∞ A(k) = 0 ⇐⇒ lim k→∞ A(k)x = 0, ∀ x ∈ R n. 下面是关于 收敛速度 的定义. 定义 1.11 设点列 {εk}∞ k=1 收敛, 且 lim k=∞ εk = 0. 若存在一个有界常数 0 < c < ∞, 使得 lim k→∞ |εk+1| |εk| p = c, 则称点列 {εk} 是 p 次 (渐进) 收敛的. 若 1 < p < 2 或 p = 1 且 c = 0, 则称点列是超线性收敛的. 1.3 矩阵与投影 1.3.1 特征值与特征向量