.16 第一讲线性代数基础 定理1.23设A∈Rnxn,X∈Rnxk且rank(X)=k,则span(X)是A的不变子空间的充要条件 是存在一个矩阵B∈Rkxk使得 AX =XB, 此时，B的特征值都是A的特征值， (板书) 推论1.24设A∈Rnx”,X∈Rnxk且rank(X)=k.若存在一个矩阵B∈Rxk使得AX= XB,则（以）是B的一个特征对当且仅当(，X)是A的一个特征对 (留作课外自习》 1.2.5投影变换 设S1和S2是内积空间S的两个子空间，且S=S1⊕S2,则S中的任意向量x都可唯一表示 为 t=I1+2,T1 ES1:T2 ES2. 我们称1为x沿S2到S1上的投影，记为xs,· 需要指出的是，由于S1的补空间不唯一，因此在讨论投影时一定要明确给定S2. 例1.12设S1=span{e1,S2=span{e2h,S2=pan{eh,其中e1=1,0T,e2=0,1T,e=1,1T 于是有 R2=S1⊕S2=S1⊕S2. 向量x=2,3T沿S2到S1上的投影是2,0T,而它沿2到S1上的投影是-1,0T 定义线性变换P:S→S如下： Pr=xls,Hx∈s. 称P是从S沿S2到S1上的投影变换（也称投影算子），对应的矩阵称为投影矩阵 儿点注记 ·对于给定的子空间S1和S2(构成直和S=S1⊕S),投影变换是唯一的. ·线性变换在不同的基下对应不同的变换矩阵.在不加特别指出时，本讲义中如果线性空间 是R"或Rnxn,我们采用自然基，即{e1,e2,,en}和{e州= ·为了书写方便，我们这里使用P既表示投影变换也表示其对应的投影矩阵 设P是从S沿S2到S1上的投影变换，则对任意x∈S都有Pzx=x.因此，S1CRan(P).又 由定义可知Ran(P)SS,所以 S1=Ran(P). 类似地，我们也可以验证 S2=Ker(P). 于是存在直和分解 S=Ran(P)Ker(P). http://math.ecnu.edu.cn/-ypan
仅供课堂教学使用，请勿外传 · 16 · 第一讲 线性代数基础 定理 1.23 设 A ∈ R n×n , X ∈ R n×k 且 rank(X) = k, 则 span(X) 是 A 的不变子空间的充要条件 是存在一个矩阵 B ∈ R k×k 使得 AX = XB, 此时, B 的特征值都是 A 的特征值. (板书) 推论 1.24 设 A ∈ R n×n , X ∈ R n×k 且 rank(X) = k. 若存在一个矩阵 B ∈ R k×k 使得 AX = XB, 则 (λ, v) 是 B 的一个特征对当且仅当 (λ, Xv) 是 A 的一个特征对. (留作课外自习) 1.2.5 投影变换 设 S1 和 S2 是内积空间 S 的两个子空间, 且 S = S1 ⊕ S2, 则 S 中的任意向量 x 都可唯一表示 为 x = x1 + x2, x1 ∈ S1, x2 ∈ S2. 我们称 x1 为 x 沿 S2 到 S1 上的投影, 记为 x|S1 . 需要指出的是, 由于 S1 的补空间不唯一, 因此在讨论投影时一定要明确给定 S2. 例 1.12 设 S1 = span{e1}, S2 = span{e2}, S˜ 2 = span{e}, 其中 e1 = [1, 0]⊺ , e2 = [0, 1]⊺ , e = [1, 1]⊺ . 于是有 R 2 = S1 ⊕ S2 = S1 ⊕ S˜ 2. 向量 x = [2, 3]⊺ 沿 S2 到 S1 上的投影是 [2, 0]⊺ , 而它沿 S˜ 2 到 S1 上的投影是 [−1, 0]⊺ . 定义线性变换 P : S → S 如下: P x = x|S1 , ∀ x ∈ S. 称 P 是从 S 沿 S2 到 S1 上的投影变换 (也称投影算子), 对应的矩阵称为投影矩阵. 几点注记 • 对于给定的子空间 S1 和 S2 (构成直和 S = S1 ⊕ S2), 投影变换是唯一的. • 线性变换在不同的基下对应不同的变换矩阵. 在不加特别指出时, 本讲义中如果线性空间 是 R n 或 R n×n , 我们采用自然基, 即 {e1, e2, . . . , en} 和 {eij} n i,j=1. • 为了书写方便, 我们这里使用 P 既表示投影变换也表示其对应的投影矩阵. 设 P 是从 S 沿 S2 到 S1 上的投影变换, 则对任意 x ∈ S1 都有 P x = x. 因此, S1 ⊆ Ran(P). 又 由定义可知 Ran(P) ⊆ S1, 所以 S1 = Ran(P). 类似地, 我们也可以验证 S2 = Ker(P). 于是存在直和分解 S = Ran(P) ⊕ Ker(P). http://math.ecnu.edu.cn/~jypan
1.2矩阵与投影 若S=R”,则立即可以得到下面的结论. 引理1.25设P∈Rnxn是一个投影矩阵，则 R"=Ran(P)⊕Kcr(P), 1.3 多思考：对于一般的矩阵A∈Rm×m,结论Rn=Ran(A)⊕Ker(A是否成立： 下面的性质表明，投影矩阵由其像空间和零空间所唯一确定 定理126设R”=S1⊕S2,则存在唯一的投影矩阵卫，使得 Ran(P)=S1,Ker(P)=S2, 即对任意向量工∈R”,有 Pr ES1,-Pr ES2. 例1.13若S1=Rn,则S2={0,所对应的投影矩阵即为单位矩阵1. 反之，若S1={0,则S2=R”,此时所对应的投影矩阵即为零矩阵」 引哩1.27设P∈Rnxn是一个投影矩阵，则 )I-p也是一个投影矩阵，且Kcr(P)=Ran(I-P: (2)PT也是一个投影矩阵. (留作练习)】 下面给出投影矩阵的判别定理.首先，根据定义，P是沿S2到S1的投影变换的充要条件是： 对任意x∈S有Px=x,而对任意工∈S有Px=0. 定理1,28矩阵P∈Rmxn是投影矩阵的充要条件是P2=尸，即P是冪等矩阵 (板书》 思考：（①）在证明充分性时，为什么只需证明Ran(P)+Ker(P)=R (2)该结论在Cmxn中是否成立： 设S1和S2是R”的两个m维子空间且R=S1⊕S时，则存在唯一的投影变换P,使得 Ran(P)=S1,Ker(P)=S 此时，我们称P是S1上与S2正交的投影变换. 令，2，，m和1,2，，m分别是S1和S2的一组基，则P可以由这两组基来表示 http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 1.2 矩阵与投影 · 17 · 若 S = R n , 则立即可以得到下面的结论. 引理 1.25 设 P ∈ R n×n 是一个投影矩阵, 则 R n = Ran(P) ⊕ Ker(P). (1.3) 思考：对于一般的矩阵 A ∈ R n×n , 结论 R n = Ran(A) ⊕ Ker(A) 是否成立? 下面的性质表明, 投影矩阵由其像空间和零空间所唯一确定. 定理 1.26 设 R n = S1 ⊕ S2, 则存在唯一的投影矩阵 P, 使得 Ran(P) = S1, Ker(P) = S2, 即对任意向量 x ∈ R n , 有 P x ∈ S1, x − P x ∈ S2. 例 1.13 若 S1 = R n , 则 S2 = {0}, 所对应的投影矩阵即为单位矩阵 I. 反之, 若 S1 = {0}, 则 S2 = R n , 此时所对应的投影矩阵即为零矩阵. 引理 1.27 设 P ∈ R n×n 是一个投影矩阵, 则 (1) I − P 也是一个投影矩阵, 且 Ker(P) = Ran(I − P); (2) P ⊺ 也是一个投影矩阵. (留作练习) 下面给出投影矩阵的判别定理. 首先, 根据定义, P 是沿 S2 到 S1 的投影变换的充要条件是: 对任意 x ∈ S1 有 P x = x, 而对任意 x ∈ S2 有 P x = 0. 定理 1.28 矩阵 P ∈ R n×n 是投影矩阵的充要条件是 P 2 = P, 即 P 是幂等矩阵. (板书) 思考： (1) 在证明充分性时, 为什么只需证明 Ran(P) + Ker(P) = R n ? (2) 该结论在 C n×n 中是否成立? 设 S1 和 S2 是 R n 的两个 m 维子空间且 R n = S1 ⊕ S ⊥ 2 , 则存在唯一的投影变换 P, 使得 Ran(P) = S1, Ker(P) = S ⊥ 2 . 此时, 我们称 P 是 S1 上与 S2 正交的投影变换. 令 v1, v2, . . . , vm 和 w1, w2, . . . , wm 分别是 S1 和 S2 的一组基, 则 P 可以由这两组基来表示. http://math.ecnu.edu.cn/~jypan
.18. 第一讲线性代数基础 定理1.29设P∈Rm×n是S1上与S2正交的投影矩阵，则 P=V(WTV)-IWT (1.4) 其中V=,2,,ml,W=四1,2，，0m (留作练习) 白提示：先证明P是投影矩阵，再证明Ran(P)=S1,Ker(P)=S时 白虽然投影矩阵P由S1和S2唯一确定，但其矩阵表示形式(1，④并不唯一(W和V不唯一). 思考：对于一般的投影变换，即P是沿S2到S1上的投影变换，如何给出P的表达式： 设S是内积空间S的一个子空间，则由定理1.6可知S=S1⊕S时.因此，任意x∈s都可唯 一分解成 r=西1+x2,∈S1,x2∈S. 我们称x1称为x在S1中的正交投影. 若P是从S沿S到S1上的投影变换，则称P为子空间S1上的正交投影变换（他称正交投 影算子，orthogonal projecor,)对应的矩阵称为正交投影阵)，记为乃·如果P不是正交投影变 换，则称为斜投影变换(oblique projector)). 由定理1.29可立即得到下面的结论. 推论1.30设P是子空间S1上的正交投影变换，{，2，，m}是S1的一组标准正交基，则 P=VVT (1.5) 定理131投影矩阵P∈Rmx是正交投影矩阵的充要条件pT=P (留作练习) 思考：正交投影矩阵P的特征值可能取值有哪些 http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 · 18 · 第一讲 线性代数基础 定理 1.29 设 P ∈ R n×n 是 S1 上与 S2 正交的投影矩阵, 则 P = V (W ⊺ V ) −1W ⊺ , (1.4) 其中 V = [v1, v2, . . . , vm], W = [w1, w2, . . . , wm]. (留作练习) b 提示: 先证明 P 是投影矩阵, 再证明 Ran(P) = S1, Ker(P) = S ⊥ 2 . b 虽然投影矩阵 P 由 S1 和 S2 唯一确定, 但其矩阵表示形式 (1.4) 并不唯一 (W 和 V 不唯一). 思考：对于一般的投影变换, 即 P 是沿 S2 到 S1 上的投影变换, 如何给出 P 的表达式? 设 S1 是内积空间 S 的一个子空间, 则由定理 1.6 可知 S = S1 ⊕ S ⊥ 1 . 因此, 任意 x ∈ S 都可唯 一分解成 x = x1 + x2, x1 ∈ S1, x2 ∈ S ⊥ 1 . 我们称 x1 称为 x 在 S1 中的正交投影. 若 P 是从 S 沿 S ⊥ 1 到 S1 上的投影变换, 则称 P 为子空间 S1 上的正交投影变换 (也称正交投 影算子, orthogonal projector), 对应的矩阵称为正交投影矩阵), 记为 PS1 . 如果 P 不是正交投影变 换, 则称为斜投影变换 (oblique projector). 由定理 1.29 可立即得到下面的结论. 推论 1.30 设 P 是子空间 S1 上的正交投影变换, {v1, v2, . . . , vm} 是 S1 的一组标准正交基, 则 P = V V ⊺ . (1.5) 定理 1.31 投影矩阵 P ∈ R n×n 是正交投影矩阵的充要条件 P ⊺ = P. (留作练习) 思考：正交投影矩阵 P 的特征值可能取值有哪些? http://math.ecnu.edu.cn/~jypan
1.3向量范数与矩阵范数 .19 1.3向量范数与矩阵范数 1.3.1向量范数 定义1.12向量范数)若西数f:Rn→R(或f:C”→)满足 (①)f(e)≥0，x∈R”(成C"),等号当且仅当x=0时成立 (2)f(aax)=la·f(x),VzER"(成C"),a∈R(或C: (3)fx+)≤f(z)+f(,x,y∈Rn(或C 则称f(x)为Rn(或Cm)上的范数(norm),通常记作x 如果f只满足f)≥0，以及(2)和(3)，则称为半范数((seminorm) 例1.14R”和C上常见的向量范数： ·1-范数：xl1=+2+…+n ·2-范数：zl2=√e2+r22+…+n下 ·o心范数e=器啡 ·n范数=（）.p之1 凸容易验证，1-范数、2-范数和-范数就是p-范数在p=1,2,∞的特殊情形 p-范数也称为H6lder范数[14或p范数， 定理1.32范数的连续性)设‖是R”(或C)上的一个向量范数，则f)z是R”(成 Cm)上的连续岳数 (留作课外自习，利用范数的三角不等式) 定义1.13（范数的等价性）设a与‖a是R”(或C)上的两个向量范数，若存在正常数c c2,使得 cillzlla≤xla≤c2lxla 对任意x∈R”(成C)都成立，则称‖·a与·B是等价的 定理133R”(成C)上的所有向量范数都是等价的，特别地，有 lz2≤lzl≤√元lxl2, lzle≤zlh≤n lllo lxlo≤xl2≤V元lxlo (板书，以”为例，只证明等价性，三个不等式留作练习) http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 1.3 向量范数与矩阵范数 · 19 · 1.3 向量范数与矩阵范数 1.3.1 向量范数 定义 1.12 (向量范数) 若函数 f : R n → R (或 f : C n → R) 满足 (1) f(x) ≥ 0, ∀ x ∈ R n (或 C n ), 等号当且仅当 x = 0 时成立; (2) f(αx) = |α| · f(x), ∀ x ∈ R n (或 C n ), α ∈ R (或 C); (3) f(x + y) ≤ f(x) + f(y), ∀ x, y ∈ R n (或 C n ); 则称 f(x) 为 R n (或 C n ) 上的 范数 (norm), 通常记作 ∥x∥. b 如果 f 只满足 f(x) ≥ 0, 以及 (2) 和 (3), 则称为 半范数 (seminorm). 例 1.14 R n 和 C n 上常见的向量范数: • 1-范数: ∥x∥1 = |x1| + |x2| + · · · + |xn|; • 2-范数: ∥x∥2 = p |x1| 2 + |x2| 2 + · · · + |xn| 2; • ∞-范数: ∥x∥∞ = max 1≤i≤n |xi |; • p-范数: ∥x∥p = Pn i=1 |xi | p 1/p , p ≥ 1. b 容易验证, 1-范数、2-范数和 ∞-范数就是 p-范数在 p = 1, 2, ∞ 的特殊情形. b p-范数也称为 Hölder 范数 [145] 或 ℓp 范数. 定理 1.32 (范数的连续性) 设 ∥ · ∥ 是 R n (或 C n ) 上的一个向量范数, 则 f(x) ≜ ∥x∥ 是 R n (或 C n ) 上的连续函数. (留作课外自习, 利用范数的三角不等式) 定义 1.13 (范数的等价性) 设 ∥ · ∥α 与 ∥ · ∥β 是 R n (或 C n ) 上的两个向量范数, 若存在正常数 c1, c2, 使得 c1∥x∥α ≤ ∥x∥β ≤ c2∥x∥α 对任意 x ∈ R n (或 C n ) 都成立, 则称 ∥ · ∥α 与 ∥ · ∥β 是等价的. 定理 1.33 R n (或 C n ) 上的所有向量范数都是等价的, 特别地, 有 ∥x∥2 ≤ ∥x∥1 ≤ √ n ∥x∥2, ∥x∥∞ ≤ ∥x∥1 ≤ n ∥x∥∞, ∥x∥∞ ≤ ∥x∥2 ≤ √ n ∥x∥∞. (板书, 以 R n 为例, 只证明等价性, 三个不等式留作练习) http://math.ecnu.edu.cn/~jypan
.20 第一讲线性代数基础 白更一般地，根据Jensen不等式71小： 1/ >0,0<p< 我们有 lxlp2xg,1≤p≤q: 凸事实上，有限维赋范线性空间上的所有范数都是等价的[149， 定理1.34(Cauchy-Schwarz不等式设(，）是R”(或C)上的内积，则对任意工，影∈Cm(线 R”),有 (红，2≤(e,)·(,)或（红，川≤xl 且等号成立的充要条件是x与y线性相关，其中川‖为内积导出范数，即x=√伍，工. (板书) 么注记：Cauchy-Schwarz不等式在有的文献中也称为Cauchy-Bunyakovski不等式或Cauchy Schwarz-Bunyakovski不等式[102.中学数学中的Cauchy不等式 (a1+a2b+…+anbn)2≤(a好+a+…+a2)(b好+号+…+b),(a4,b∈R) 是Cauchy-Schwarz不等式的特例. 更一般地，我们有下面的Holder不等式. 定理1.35 Holder不等式设(，）是R"(线C)上的标准内积，则对任意工，y∈C(或R"),有 (e,gl≤xllp, (留作课外自习) 内积导出范数 设s是内积空间，对任意x∈S,定义 llzll () 1.6 则可以验证，是S上的范数.这就是由内积导出的范数 凸任意一个内积都可以导出一个相应的范数 http://math.ecnu.edu.cn/-ypan
仅供课堂教学使用，请勿外传 · 20 · 第一讲 线性代数基础 b 更一般地, 根据 Jensen 不等式 [71]: Xn i=1 x p i !1/p > Xn i=1 x q i !1/q , xi > 0, 0 < p < q, 我们有 ∥x∥p ≥ ∥x∥q, ∀ 1 ≤ p ≤ q. b 事实上, 有限维赋范线性空间上的所有范数都是等价的 [149]. 定理 1.34 (Cauchy-Schwarz 不等式) 设 (·, ·) 是 R n (或 C n ) 上的内积, 则对任意 x, y ∈ C n (或 R n ), 有 |(x, y)| 2 ≤ (x, x) · (y, y) 或 |(x, y)| ≤ ∥x∥ · ∥y∥, 且等号成立的充要条件是 x 与 y 线性相关, 其中 ∥ · ∥ 为内积导出范数, 即 ∥x∥ = p (x, x). (板书) b 注记: Cauchy-Schwarz 不等式在有的文献中也称为 Cauchy-Bunyakovski 不等式或 CauchySchwarz-Bunyakovski 不等式 [102]. 中学数学中的 Cauchy 不等式 (a1b1 + a2b2 + · · · + anbn) 2 ≤ a 2 1 + a 2 2 + · · · + a 2 n b 2 1 + b 2 2 + · · · + b 2 n , (ai , bi ∈ R) 是 Cauchy-Schwarz 不等式的特例. 更一般地, 我们有下面的 Holder 不等式. 定理 1.35 (Holder 不等式) 设 (·, ·) 是 R n (或 C n ) 上的标准内积, 则对任意 x, y ∈ C n (或 R n ), 有 |(x, y)| ≤ ∥x∥p · ∥y∥q, 其中 p, q > 0, 且 1 p + 1 q = 1. (留作课外自习) 内积导出范数 设 S 是内积空间, 对任意 x ∈ S, 定义 ∥x∥ ≜ (x, x) 1 2 , (1.6) 则可以验证, ∥x∥ 是 S 上的范数. 这就是由内积导出的范数. b 任意一个内积都可以导出一个相应的范数. http://math.ecnu.edu.cn/~jypan