1.3向量范数与矩阵范数 例1.15R”上由标准内积导出的范数为 x=(,x)克= ② 这就是2范数 例1.16（极化恒等式设·川是R”上由内积(，）导出的范数，则有 (红，)=4(x+2-x-） 1.3.2阵范数 定义1.14矩阵范数)若孟数f:Rm×n→R(或f:Cm×n→R)满足 ()f(A)≥0，VA∈Rmxn(成Cm×m)且等号当且仅当A=0时成立 (2)f(aA)=laf(A),VA∈Rmxn(或Cm×m,a∈R(或C: (3)f(A+B)≤f(A)+f(B),HA,B∈Rmxn(或Cmxm)片 则称f(X)为Rmxm(咸Cmxm)上的矩阵范数，通常记作X: 设∫是Rn×m(咸Cn×m)上的矩阵范数，如果∫还满足 (④fAB)≤f(A)f(B),VA,BERnxn(或Cmxm), 则称∫是相容的矩阵范数. 注记 在本讲义中，如果不加特别指出，所使用的矩阵范数都是指相容的矩阵范数， 设‖·‖是Rmxn(或Cmxm)上的矩阵范数，若对任意A∈Rmxn(或Cmxm)和任意x∈R”(或 Cm,有 则称矩阵范数·‖与向量范数l和a相容，这里的·a和l3分别为Rm和R"(咸Cm 和C上的向量范数. 一类常用的矩阵范数是由向量范数导出的算子范数. 引哩1.36算了范数)设‖·川是R”(或Cm)上的向量范数，则 A色e器骨-器 是Rnxm(或Cmxm)上的矩阵范数，称为算子范数，有时也称为诱导范数或导出范数.（板书） http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 1.3 向量范数与矩阵范数 · 21 · 例 1.15 R n 上由标准内积导出的范数为 ∥x∥ = (x, x) 1 2 = Xn i=1 x 2 i !1 2 . 这就是 2-范数. 例 1.16 (极化恒等式) 设 ∥ · ∥ 是 R n 上由内积 (·, ·) 导出的范数, 则有 (x, y) = 1 4 ∥x + y∥ 2 − ∥x − y∥ 2 . 1.3.2 矩阵范数 定义 1.14 (矩阵范数) 若函数 f : R m×n → R (或 f : C m×n → R) 满足 (1) f(A) ≥ 0, ∀ A ∈ R m×n (或 C m×n ) 且等号当且仅当 A = 0 时成立; (2) f(αA) = |α| f(A), ∀ A ∈ R m×n (或 C m×n ), α ∈ R (或 C); (3) f(A + B) ≤ f(A) + f(B), ∀A, B ∈ R m×n (或 C m×n ); 则称 f(X) 为 R m×n (或 C m×n ) 上的矩阵范数, 通常记作 ∥X∥. 设 f 是 R n×n (或 C n×n ) 上的矩阵范数, 如果 f 还满足 (4) f(AB) ≤ f(A)f(B), ∀ A, B ∈ R n×n (或 C n×n ), 则称 f 是相容的矩阵范数. 注记 在本讲义中, 如果不加特别指出, 所使用的矩阵范数都是指相容的矩阵范数. 设 ∥ · ∥ 是 R m×n (或 C m×n ) 上的矩阵范数, 若对任意 A ∈ R m×n (或 C m×n ) 和任意 x ∈ R n (或 C n ), 有 ∥Ax∥α ≤ ∥A∥ ∥x∥β, 则称矩阵范数 ∥ · ∥ 与向量范数 ∥ · ∥α 和 ∥ · ∥β 相容, 这里的 ∥ · ∥α 和 ∥ · ∥β 分别为 R m 和 R n (或 C m 和 C n ) 上的向量范数. 一类常用的矩阵范数是由向量范数导出的算子范数. 引理 1.36 (算子范数) 设 ∥ · ∥ 是 R n (或 C n ) 上的向量范数, 则 ∥A∥ ≜ sup x∈Rn, x̸=0 ∥Ax∥ ∥x∥ = max ∥x∥=1 ∥Ax∥ 是 R n×n (或 C n×n ) 上的矩阵范数, 称为算子范数, 有时也称为诱导范数或导出范数. (板书) http://math.ecnu.edu.cn/~jypan
22 第一讲线性代数基础 白相应地，可以定义Rmxn(或Cmx)上的算子范数，此时涉及Rm和Rn(或Cm和C)上的 向量范数 例1.17设A∈Rnxn(或Cmxm),常见的矩阵范数有 ·范数算子范数) =男p21 ·Frobenius范数，简称F-范数 =1=1 (留作课外自习，验证满足4条性质 引理1.37可以证明： (3)矩阵2范数：Al2=√同AA: (④矩阵F-范数：川AF=√r(AA (板书，以0范数和2-范数为例，其他留作练习) 计算2范数时需要求谱半径，因此通常比计算1范数和0范数更困难.但在某些情况下可 以用下面的范数等价性来估计一个矩阵的2范数 定理138（矩阵范数的等价）Rmxm(成Cnxm)上的所有范数都是等价的，特别地，有 A:≤IA≤VA, A≤A≤aA. (留作练习) 阵范数的更多性质 设A∈Rxn(咸Cmxm),工eR"(咸C"). ()对任意矩阵范数·，有A1≤A: (2)对任意算子范数·L,有IA≤A·x,IABI≤IA‖·IB (3)IAxl2≤IAlF·Izl2,ABlF≤IAlF·IBF ()F范数不是算子范数 http://math.ecnu.edu.cn/-ypan
仅供课堂教学使用，请勿外传 · 22 · 第一讲 线性代数基础 b 相应地, 可以定义 R m×n (或 C m×n ) 上的算子范数, 此时涉及 R m 和 R n (或 C m 和 C n ) 上的 向量范数. 例 1.17 设 A ∈ R n×n (或 C n×n ), 常见的矩阵范数有: • p-范数 (算子范数) ∥A∥p = sup x̸=0 ∥Ax∥p ∥x∥p , p ≥ 1. • Frobenius 范数, 简称 F-范数 ∥A∥F = vuut Xn i=1 Xn j=1 |aij | 2 ; (留作课外自习, 验证满足 4 条性质) 引理 1.37 可以证明: (1) 矩阵 1-范数 (列范数): ∥A∥1 = max 1≤j≤n Xn i=1 |aij | ! ; (2) 矩阵 ∞-范数 (行范数): ∥A∥∞ = max 1≤i≤n Xn j=1 |aij | ; (3) 矩阵 2-范数: ∥A∥2 = p ρ(A∗A); (4) 矩阵 F-范数: ∥A∥F = p tr(A∗A) (板书, 以 ∞-范数和 2-范数为例, 其他留作练习) 计算 2-范数时需要求谱半径, 因此通常比计算 1-范数和 ∞-范数更困难. 但在某些情况下可 以用下面的范数等价性来估计一个矩阵的 2-范数. 定理 1.38 (矩阵范数的等价性) R n×n (或 C n×n ) 上的所有范数都是等价的, 特别地, 有 1 √ n ∥A∥1 ≤ ∥A∥2 ≤ √ n ∥A∥1, 1 √ n ∥A∥∞ ≤ ∥A∥2 ≤ √ n ∥A∥∞. (留作练习) 矩阵范数的更多性质 设 A ∈ R n×n (或 C n×n ), x ∈ R n (或 C n ). (1) 对任意矩阵范数 ∥ · ∥, 有 ∥Ak∥ ≤ ∥A∥ k ; (2) 对任意算子范数 ∥ · ∥, 有 ∥Ax∥ ≤ ∥A∥ · ∥x∥, ∥AB∥ ≤ ∥A∥ · ∥B∥; (3) ∥Ax∥2 ≤ ∥A∥F · ∥x∥2, ∥AB∥F ≤ ∥A∥F · ∥B∥F ; (4) F-范数不是算子范数; http://math.ecnu.edu.cn/~jypan
1.3向量范数与矩阵范数 .23 (⑤)·2和·下是西不变范数，即对任意西矩阵（或正交矩阵）U,V,有 IIUAll2 AVIl2=lUAVI2=IlAll2 IIU AllF IIAVIF IU AVIIF IIAllF (6)IAIl2=IAll2,IA"Il IAll; (⑦若A是正规矩阵，则Al2=p(A), (留作课外自习) 凸在数据处理和机器学习等学科中经常会用到下面的范数 ·向量0范数： xlox中非零元素的个数，∈R”(或C) 需要指出的是，上式定义的范数并不满足向量范数定义中的条件(2).该范数主要用 于衡量向量的稀硫性，是压缩感知和稀疏优化中的研究对象 )矩阵核范数Nuclear Norm): A,o,其中：为A的所有奇异值，A∈Rm×n(或Cmxm). 关于矩阵奇异值的定义见3.12)根据奇异值的性质，核范数也可以定义为 IlAll.A) 矩阵直和 设A4eRm×n(或Cmxm,i=1,2,.,k,定义直和 ⊕4=AAA 即以A:为对角块的块对角矩阵。可以验证 ⊕4=AP=12, (1.7 。 1.3.3谱半径与范数 定理1.39（谱半径与范数的关系）设A∈Rnxn(成Cmxm),则 ()对任意算子范数，有p(A)≤IAl: (2)反之，对任意e>0,都存在一个算子范数e,使得4le≤A)+,其中范数‖·e依 赖于A和e.所以，若p(A)<1,则存在算子范数‖·le,使得Ale<1 (板书 http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 1.3 向量范数与矩阵范数 · 23 · (5) ∥ · ∥2 和 ∥ · ∥F 是酉不变范数, 即对任意酉矩阵 (或正交矩阵) U, V , 有 ∥UA∥2 = ∥AV ∥2 = ∥UAV ∥2 = ∥A∥2 , ∥UA∥F = ∥AV ∥F = ∥UAV ∥F = ∥A∥F (6) ∥A∗∥2 = ∥A∥2, ∥A∗∥1 = ∥A∥∞ ; (7) 若 A 是正规矩阵, 则 ∥A∥2 = ρ(A). (留作课外自习) b 在数据处理和机器学习等学科中经常会用到下面的范数: • 向量 ℓ0 范数: ∥x∥0 ≜ x 中非零元素的个数, x ∈ R n (或 C n ). 需要指出的是, 上式定义的 ℓ0 范数并不满足向量范数定义中的条件 (2). 该范数主要用 于衡量向量的稀疏性, 是压缩感知和稀疏优化中的研究对象. • 矩阵 核范数 (Nuclear Norm): ∥A∥∗ ≜ Xσi , 其中 σi 为 A 的所有奇异值, A ∈ R m×n (或 C m×n ). (关于矩阵奇异值的定义见 3.12) 根据奇异值的性质, 核范数也可以定义为 ∥A∥∗ ≜ tr √ A ⊺A . 矩阵直和 设 Ai ∈ R ni×ni (或 C ni×ni ), i = 1, 2, . . . , k, 定义直和 M k i=1 Ai = A1 ⊕ A2 ⊕ · · · ⊕ Ak ≜ A1 A2 . . . Ak , 即以 Ai 为对角块的块对角矩阵. 可以验证 M k i=1 Ai p = max 1≤i≤k ∥Ai∥p, p = 1, 2, ∞. (1.7) 1.3.3 谱半径与范数 定理 1.39 (谱半径与范数的关系) 设 A ∈ R n×n (或 C n×n ), 则 (1) 对任意算子范数, 有 ρ(A) ≤ ∥A∥; (2) 反之, 对任意 ε > 0, 都存在一个算子范数 ∥ · ∥ε, 使得 ∥A∥ε ≤ ρ(A) + ε, 其中范数 ∥ · ∥ε 依 赖于 A 和 ε. 所以, 若 ρ(A) < 1, 则存在算子范数 ∥ · ∥ε, 使得 ∥A∥ε < 1. (板书) http://math.ecnu.edu.cn/~jypan
24. 第一讲线性代数基础 凸事实上，定理1.39中的结论()对任意矩阵范数都成立，见习题2. 除此之外，我们还有下面的性质 推论1.40设A∈Rmxm(或Cxm),则A服≤Al1‖A,且 1器a}≤4e≤n,器a} (留作练习) 1.3.4最佳通近与正交投影 下面是关于正交投影变换的一个常用性质，可以直接通过2范数的定义证明。 定理1.41设P∈Rmxn(咸Cmxm)是正交投影矩阵，则P2=1,且对Vx∈R”(咸C"),有 lll=lIPxll2+ll(I-P)zll2. 正交投影可用于描述最佳逼近问题的解。 定理1.42设S是R”(或C)的子空间，z∈R"(或C)是一个给定的向量，则最佳逼近问题 mig lle-ll2 的唯一解为 x.=乃s 即S中距离z最近（在2-范数意义下）的向量是：在S中的正交投影 (留作练习) 上述定理中的2-范数可以推广到一般的能量范数 推论l.43设A∈Rmxn(Cmxm)对称正定（Hermite正定），S是R”(C)的子空间，给定 z∈R”(或C”),则，是最佳逼近问题 -4 的解的充要条件是 x.eS且A(x.-)⊥S. 此处能量范数‖A的定义为：z-2A兰√口-2)”Ar-可. (留作练习) http://math.ecnu.edu.cn/-jypar
仅供课堂教学使用，请勿外传 · 24 · 第一讲 线性代数基础 b 事实上, 定理 1.39 中的结论 (1) 对任意矩阵范数都成立, 见习题 ??. 除此之外, 我们还有下面的性质. 推论 1.40 设 A ∈ R n×n (或 C n×n ), 则 ∥A∥ 2 2 ≤ ∥A∥1 ∥A∥∞, 且 max 1≤i,j≤n {|aij |} ≤ ∥A∥2 ≤ n max 1≤i,j≤n {|aij |}. (留作练习) 1.3.4 最佳逼近与正交投影 下面是关于正交投影变换的一个常用性质, 可以直接通过 2-范数的定义证明. 定理 1.41 设 P ∈ R n×n (或 C n×n ) 是正交投影矩阵, 则 ∥P∥2 = 1, 且对 ∀ x ∈ R n (或 C n ), 有 ∥x∥ 2 2 = ∥P x∥ 2 2 + ∥(I − P)x∥ 2 2 . 正交投影可用于描述最佳逼近问题的解. 定理 1.42 设 S 是 R n (或 C n ) 的子空间, z ∈ R n (或 C n ) 是一个给定的向量, 则最佳逼近问题 min x∈S ∥x − z∥2 的唯一解为 x∗ = PSz. 即 S 中距离 z 最近 (在 2-范数意义下) 的向量是 z 在 S 中的正交投影. (留作练习) 上述定理中的 2-范数可以推广到一般的能量范数. 推论 1.43 设 A ∈ R n×n (或 C n×n ) 对称正定 (或 Hermite 正定), S 是 R n (或 C n ) 的子空间, 给定 z ∈ R n (或 C n ), 则 x∗ 是最佳逼近问题 min x∈S ∥x − z∥A 的解的充要条件是 x∗ ∈ S 且 A(x∗ − z) ⊥ S. 此处能量范数 ∥ · ∥A 的定义为: ∥x − z∥A ≜ p (x − z) ∗A(x − z). (留作练习) http://math.ecnu.edu.cn/~jypan
1.4矩阵标准型 .25 1.4矩阵标准型 1.4.1 Jordan标准型 在计算矩阵的特征值时，一个基本的思想是通过相似变换，将其转化成一个形式尽可能简单 的矩阵，使得其特征值更易于计算.Jordan标准型则是矩阵在相似变化下的最简形式. 定理1.44设A∈Cmxm(咸Rnxm)有p个互不相同的特征值，则存在非奇异矩阵X∈Cnxm,使 得 X-AX= (1.8) 其中的维数等于入的代数重数，且具有下面的结构 这里的为,的几何重数，称为（对应于的）Jordan块，J就称为A的Jordan标准型 凸该定理可以通过入矩阵来证明（见高等代数教材），也可以通过后面的Schu“分解来证明 凸除了Jordan块的排列次序外，Jordan标准型是唯一确定的. 凸可以证明，对于每一个Jordan块，都存在一个列满秩矩阵X使得 AX(k)=x(k)() Jordan标准型的基本性质 ·Jordan块的个数等于A的线性无关的特征向量的个数： ·A可对角化的充要条件是每个Jordan块都是1×1的，此时X的列向量就是A的特征向 量 根据Jordan标准型和特征值的连续性，我们可以得到下面的结论.。 推论1.45所有可对角化矩阵组成的集合在所有矩阵组成的集合中是稠密的，即任何一个矩阵 都可以通过可对角化矩阵来逼近. Jordan标准型的一个重要应用是可以用来计算矩阵的最小多项式 定理1.46设1,2，，p为A∈Cmxm的互不相等的特征位，则A的最小多项式为 =-A严 http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 1.4 矩阵标准型 · 25 · 1.4 矩阵标准型 1.4.1 Jordan 标准型 在计算矩阵的特征值时, 一个基本的思想是通过相似变换, 将其转化成一个形式尽可能简单 的矩阵, 使得其特征值更易于计算. Jordan 标准型则是矩阵在相似变化下的最简形式. 定理 1.44 设 A ∈ C n×n (或 R n×n ) 有 p 个互不相同的特征值, 则存在非奇异矩阵 X ∈ C n×n , 使 得 X−1AX = J1 J2 . . . Jp ≜ J, (1.8) 其中 Ji 的维数等于 λi 的代数重数, 且具有下面的结构 Ji = J (1) i J (2) i . . . J (νi) i , J(k) i = λi 1 . . . . . . λi 1 λi . 这里的 νi 为 λi 的几何重数, J (k) i 称为 (对应于 λi 的) Jordan 块, J 就称为 A 的 Jordan 标准型. b 该定理可以通过 λ- 矩阵来证明 (见高等代数教材), 也可以通过后面的 Schur 分解来证明. b 除了 Jordan 块的排列次序外, Jordan 标准型是唯一确定的. b 可以证明, 对于每一个 Jordan 块 J (k) i , 都存在一个列满秩矩阵 X (k) i 使得 AX(k) i = X (k) i J (k) i . Jordan 标准型的基本性质 • Jordan 块的个数等于 A 的线性无关的特征向量的个数; • A 可对角化的充要条件是每个 Jordan 块都是 1 × 1 的, 此时 X 的列向量就是 A 的特征向 量. 根据 Jordan 标准型和特征值的连续性, 我们可以得到下面的结论. 推论 1.45 所有可对角化矩阵组成的集合在所有矩阵组成的集合中是稠密的, 即任何一个矩阵 都可以通过可对角化矩阵来逼近. Jordan 标准型的一个重要应用是可以用来计算矩阵的最小多项式. 定理 1.46 设 λ1, λ2, . . . , λp 为 A ∈ C n×n 的互不相等的特征值, 则 A 的最小多项式为 p(λ) = Y q i=1 (λ − λi) ri , http://math.ecnu.edu.cn/~jypan