6. 第一讲线性代数基础 (3)分配律：(a+)·x=a·x十B,x,Ha,B∈F,x∈S (④分配律：a(z+)=a·x+a,a∈F,五，y∈S 为了表示方便，通常省略数乘符号，即将a·x写成am, 例12常见的线性空间： ·Rn,所有维实向量组成的集合，是史上的线性空间 。C→所有n维复向量组成的集合，是C上的线性空间。 ·Rmx”→所有m×n阶实矩阵组成的集合，是R上的线性空间. ·Cmxn→所有m×n阶复矩阵组成的集合，是C上的线性空间. ·Pn→所有次数不超过n的多项式组成的集合. ·C[a,)→区间[a,上所有连续函数组成的集合 ·CP[a,→区间a,)上所有p次连续可微函数组成的集合， 凸为了表述方便，线性空间的元素通常称为向量 线性相关性和维数 设S是数域F上的一个线性空间，工1,2，，k是s中的一组向量.如果存在k个不全为零 的数a1,a2,,a∈区，使得 a1x1+a2x2+…+0xk=0, 则称工1,2，，4线性相关，否则就是线性无关 设1,2，，xk是S中的一组向量.如果x∈S可以表示为 x=01x1+02x2+··+0kxk 其中a1,a2,,k∈风，则称x可以由x1,2,,xk线性表示，或者称x是1,2，，k的线性 组合，1，Q2,,0%称为线性表出系数 设向量组{1,2， ,工m,如果存在其中的r≤m个线性无关向量，，，使得 所有向量都可以由它们线性表示，则称1,2，…，，为向量组{1，x2,,xm}的一个极大线 性无关组，并称这组向量的秩为r,记为rank({1,2,,xm)=r 设1,2 ,n是S中的一组线性无关向量.如果S中的任意一个向量都可以由x1,2,, xn线性表示，则称x1,x2,,m是s的一组基，并称S是n维的，即S的维数为n,记为dim(S)= n.如果S中可以找到任意多个线性无关向量，则称S是无限维的. 子空间 设S是一个线性空间，W是S的一个非空子集合.如果W关于S上的加法和数乘也构成 个线性空间，则称W为S的一个线性子空间，简称子空间。 http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 · 6 · 第一讲 线性代数基础 (3) 分配律: (α + β) · x = α · x + β · x, ∀ α, β ∈ F, x ∈ S; (4) 分配律: α · (x + y) = α · x + α · y, ∀ α ∈ F, x, y ∈ S. 为了表示方便, 通常省略数乘符号, 即将 α · x 写成 αx. 例 1.2 常见的线性空间: • R n → 所有 n 维实向量组成的集合, 是 R 上的线性空间. • C n → 所有 n 维复向量组成的集合, 是 C 上的线性空间. • R m×n → 所有 m × n 阶实矩阵组成的集合, 是 R 上的线性空间. • C m×n → 所有 m × n 阶复矩阵组成的集合, 是 C 上的线性空间. • Pn → 所有次数不超过 n 的多项式组成的集合. • C[a, b] → 区间 [a, b] 上所有连续函数组成的集合. • C p [a, b] → 区间 [a, b] 上所有 p 次连续可微函数组成的集合. b 为了表述方便, 线性空间的元素通常称为向量. 线性相关性和维数 设 S 是数域 F 上的一个线性空间, x1, x2, . . . , xk 是 S 中的一组向量. 如果存在 k 个不全为零 的数 α1, α2, . . . , αk ∈ F, 使得 α1x1 + α2x2 + · · · + αkxk = 0, 则称 x1, x2, . . . , xk 线性相关, 否则就是线性无关. 设 x1, x2, . . . , xk 是 S 中的一组向量. 如果 x ∈ S 可以表示为 x = α1x1 + α2x2 + · · · + αkxk, 其中 α1, α2, . . . , αk ∈ F, 则称 x 可以由 x1, x2, . . . , xk 线性表示, 或者称 x 是 x1, x2, . . . , xk 的线性 组合, α1, α2, . . . , αk 称为 线性表出系数. 设向量组 {x1, x2, . . . , xm}, 如果存在其中的 r (r ≤ m) 个线性无关向量 xi1 , xi2 , . . . , xir , 使得 所有向量都可以由它们线性表示, 则称 xi1 , xi2 , . . . , xir 为向量组 {x1, x2, . . . , xm} 的一个极大线 性无关组, 并称这组向量的秩为 r, 记为 rank({x1, x2, . . . , xm}) = r. 设 x1, x2, . . . , xn 是 S 中的一组线性无关向量. 如果 S 中的任意一个向量都可以由 x1, x2, . . . , xn 线性表示, 则称 x1, x2, . . . , xn 是 S 的一组基, 并称 S 是 n 维的, 即 S 的维数为 n, 记为 dim(S) = n. 如果 S 中可以找到任意多个线性无关向量, 则称 S 是无限维的. 子空间 设 S 是一个线性空间, W 是 S 的一个非空子集合. 如果 W 关于 S 上的加法和数乘也构成一 个线性空间, 则称 W 为 S 的一个线性子空间, 简称子空间. http://math.ecnu.edu.cn/~jypan
1.1线性空间与内积空间 例1.3设S是一个线性空间，则由零向量组成的子集{0)是S的一个子空间，称为零子空间.另 外，S本身也是S的子空间.这两个特殊的子空间称为S的平凡子空间，其他子空间都是非平凡 子空向 定理1.1（千空间的判别设S是数城F上的一个线性空间，W是S的一个非空子集合则W是 S的一个子空间的充要条件是W关于加法和数乘封闭，即 ()对任意工，影EW,有x十y∈W (2)对任意aeF和任意xeW,有aueW. 设S,S2是线性空间S的两个子空间，则它们的和定义为 S1+S2+:ES1,ES2) 容易证明S1+S也是S的子空间.下面是关于子空间的维数的一个重要性质。 定理1.2维数公式)设S1,S2是线性空间S的两个有限维子空间，则S1+S2和S1nS2也都是 S的子空间，且 dim(S1+S)+dim(SInS2)=dim(S1)+dim(S2) 直和 设S1,S2是线性空间S的两个子空间，如果S1+S2中的任一元素x都可以唯一表示成 x=x1+x2,xh1∈，2∈S2, 则称S1+S为直和，记为S⊕S2. 关于子空间的直和的判定，有下面的结论 定理1.3设S1,2是线性空间S的两个子空间，则下面的论述等价 ()S1+S2是直和 (2)S1+S2中的零元素表示方法唯一，即若0=T1+2,x1∈S1,2eS2,则x1=2=0 (3)S1nS2={0: (4)dim(S1)+dim(S2)=dim(S1+S2). 定理1.4设S1是线性空间S的一个子空间，则存在S的另一个子空间S2,使得 S=S1⊕S2. 我们称S是S关于S的补空间.显然S1也是S2的补空间，因此它们是互补的 思考：补空间是否唯一 http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 1.1 线性空间与内积空间 · 7 · 例 1.3 设 S 是一个线性空间, 则由零向量组成的子集 {0} 是 S 的一个子空间, 称为零子空间. 另 外, S 本身也是 S 的子空间. 这两个特殊的子空间称为 S 的平凡子空间, 其他子空间都是非平凡 子空间. 定理 1.1 (子空间的判别) 设 S 是数域 F 上的一个线性空间, W 是 S 的一个非空子集合, 则 W 是 S 的一个子空间的充要条件是 W 关于加法和数乘封闭, 即 (1) 对任意 x, y ∈ W, 有 x + y ∈ W; (2) 对任意 α ∈ F 和任意 x ∈ W, 有 αx ∈ W. 设 S1, S2 是线性空间 S 的两个子空间, 则它们的和定义为 S1 + S2 ≜ { x + y : x ∈ S1, y ∈ S2 }. 容易证明 S1 + S2 也是 S 的子空间. 下面是关于子空间的维数的一个重要性质. 定理 1.2 (维数公式) 设 S1, S2 是线性空间 S 的两个有限维子空间, 则 S1 + S2 和 S1 ∩ S2 也都是 S 的子空间, 且 dim(S1 + S2) + dim(S1 ∩ S2) = dim(S1) + dim(S2). 直和 设 S1, S2 是线性空间 S 的两个子空间, 如果 S1 + S2 中的任一元素 x 都可以唯一表示成 x = x1 + x2, x1 ∈ S1, x2 ∈ S2, 则称 S1 + S2 为直和, 记为 S1 ⊕ S2. 关于子空间的直和的判定, 有下面的结论. 定理 1.3 设 S1, S2 是线性空间 S 的两个子空间, 则下面的论述等价: (1) S1 + S2 是直和; (2) S1 + S2 中的零元素表示方法唯一, 即若 0 = x1 + x2, x1 ∈ S1, x2 ∈ S2, 则 x1 = x2 = 0; (3) S1 ∩ S2 = {0}; (4) dim(S1) + dim(S2) = dim(S1 + S2). 定理 1.4 设 S1 是线性空间 S 的一个子空间, 则存在 S 的另一个子空间 S2, 使得 S = S1 ⊕ S2. 我们称 S2 是 S1 关于 S 的补空间. 显然 S1 也是 S2 的补空间, 因此它们是互补的. 思考：补空间是否唯一? http://math.ecnu.edu.cn/~jypan
…8 第一讲线性代数基础 1.1.2内积空间 内积空间就是带有内积运算的线性空间. 定义1.3（内积空间）设S是数域F(C或)上的一个线性空间，定义一个从S×S到F的代数 运算，记为“(·，)”，即对任意工，y∈S,都存在唯一的∫∈，使得f=(任，).如果该运算满足 ()(,x)=(E,,工，影∈S (2)(e+,2=(包，)+(，2，,别2S (3)(az,)=a(x,,Va∈F,x,y∈S (④)（红，x)≥0，等号当且仅当x=0时成立 则称(~，·)为S上的一个内积((inner product),定义了内积的线性空间称为内积空间 白内积有时也称为标量积(scalar product. 定义在实数域R上的内积空间称为做氏空间(Euclidean space,)定义在复数域C上的内积盆 间称为西空间。 白工表示（红，）的共轭.当卫=R时，条件(1)即为(，)=(z,. 白内积可以看作是从线性空间S到数域的二元函数。 例14设(~，)是s上的一个内积则容易验证： (r,a)=a(x,y),a∈F,x,y∈s 例1.5在C上定义内积 则C”构成一个内积空间.类似的，R”上可以定义内积 ea-宫 这种方式定义的内积称为欧儿里得内积(Eudidean innner product,)或点积(dot product)),或标准 内积((standard inner product,)这也是C"/R”上的常用内积7L,page15引. 白C”或R”上的内积由无穷多个.在本讲义中，如果没有特别指出，涉及到Cn或Rn上的内 积时，缺省就是上面定义的内积 例1.6对任意A,B∈Rm×m,定义 (A,B)兰(BTA. 其中()表示矩阵的迹，即对角线元素之和，则可以证明(A,B)是一个内积，因此Rm×m构成 http://math.ecnu.edu.cn/-ypan
仅供课堂教学使用，请勿外传 · 8 · 第一讲 线性代数基础 1.1.2 内积空间 内积空间就是带有内积运算的线性空间. 定义 1.3 (内积空间) 设 S 是数域 F (C 或 R) 上的一个线性空间, 定义一个从 S × S 到 F 的代数 运算, 记为 “(· , ·)”, 即对任意 x, y ∈ S, 都存在唯一的 f ∈ F, 使得 f = (x, y). 如果该运算满足 (1) (y, x) = (x, y), ∀ x, y ∈ S; (2) (x + y, z) = (x, z) + (y, z), ∀ x, y, z ∈ S; (3) (αx, y) = α(x, y), ∀ α ∈ F, x, y ∈ S; (4) (x, x) ≥ 0, 等号当且仅当 x = 0 时成立; 则称 (· , ·) 为 S 上的一个 内积 (inner product), 定义了内积的线性空间称为 内积空间. b 内积有时也称为 标量积 (scalar product). b 定义在实数域 R 上的内积空间称为欧氏空间 (Euclidean space), 定义在复数域 C 上的内积空 间称为酉空间. b (x, y) 表示 (x, y) 的共轭. 当 F = R 时, 条件 (1) 即为 (y, x) = (x, y). b 内积可以看作是从线性空间 S 到数域 F 的二元函数. 例 1.4 设 (· , ·) 是 S 上的一个内积, 则容易验证: (x, αy) = ¯α(x, y), ∀ α ∈ F, x, y ∈ S. 例 1.5 在 C n 上定义内积 (x, y) ≜ y ∗x = Xn i=1 xiy¯i , 则 C n 构成一个内积空间. 类似的, R n 上可以定义内积 (x, y) ≜ y ⊺ x = Xn i=1 xiyi . 这种方式定义的内积称为 欧几里得内积 (Euclidean innner product), 或 点积 (dot product), 或 标准 内积 (standard inner product), 这也是 C n/R n 上的常用内积 [71, page 15]. b C n 或 R n 上的内积由无穷多个. 在本讲义中, 如果没有特别指出, 涉及到 C n 或 R n 上的内 积时, 缺省就是上面定义的内积. 例 1.6 对任意 A, B ∈ R m×n , 定义 (A, B) ≜ tr(B ⊺ A), 其中 tr(·) 表示矩阵的迹, 即对角线元素之和, 则可以证明 (A, B) 是一个内积, 因此 R m×n 构成一 http://math.ecnu.edu.cn/~jypan
1.1线性空间与内积空间 9 个欧氏空间. (留作练习) 1.13正交与正交补 有了内积以后，我们就可以定义正交 定义1.4G正设S是内积空间，工，y∈S,如果（亿，）=0，则称x与y正交，记为x山5 设S1是S的子空间，x∈S,如果对任意y∈S1都有(：，)=0，则称x与S1正交，记为x⊥S 设S1,S2是S的两个子空间，如果对任意∈S1,都有xS2,则称S1与S2正交，记为S1⊥S2 定理15设S1,S2是内积空间S的两个子空间，如采S11S2,则S1+S2是直和. (留作课外自习】 定义1.5(G正交补)设S1是内积空间S的一个子空问，则S1的正交补定义为 StArES rLS1, 即S中所有与S正交的元素组成的集合 容易验证，S叶也是S的一个子空间.另外，我们还可以得到下面的结论 定理1.6设S1是内积空问S的一个有限维子空问，则S时存在唯一，且 S=S1⊕S. 例1.7设1,2，，n∈Rn.若1,2，…，n线性无关，则{1,2，，n}构成R"的一组 基.进一步，如果x1,x2,工n相互正交，即 (4,x)=x=0,i,j=1,2,,n 则称它们是一组正交基.如果还满足 (r,x)=x=1,i=1,2,n, 则称它们是一组标准正交基或规范正交基.特别地，记e为单位矩阵的第i列，则{e1,2,,en} 构成R”的一组标准正交基，这组基通常称为自然基. 么任何一组基都可以通过Gram-Schmidt正交化过程构造出一组标准正交基。 http://math.ecnu.edu.cn/-jypan
仅供课堂教学使用，请勿外传 1.1 线性空间与内积空间 · 9 · 个欧氏空间. (留作练习) 1.1.3 正交与正交补 有了内积以后, 我们就可以定义正交. 定义 1.4 (正交) 设 S 是内积空间, x, y ∈ S, 如果 (x, y) = 0, 则称 x 与 y 正交, 记为 x⊥y; 设 S1 是 S 的子空间, x ∈ S, 如果对任意 y ∈ S1 都有 (x, y) = 0, 则称 x 与 S1 正交, 记为 x⊥S1; 设 S1, S2 是 S 的两个子空间, 如果对任意 x ∈ S1, 都有 x⊥S2, 则称 S1 与 S2 正交, 记为 S1⊥S2. 定理 1.5 设 S1, S2 是内积空间 S 的两个子空间, 如果 S1⊥S2, 则 S1 + S2 是直和. (留作课外自习) 定义 1.5 (正交补) 设 S1 是内积空间 S 的一个子空间, 则 S1 的正交补定义为 S ⊥ 1 ≜ x ∈ S : x⊥S1 , 即 S 中所有与 S1 正交的元素组成的集合. 容易验证, S ⊥ 1 也是 S 的一个子空间. 另外, 我们还可以得到下面的结论. 定理 1.6 设 S1 是内积空间 S 的一个有限维子空间, 则 S ⊥ 1 存在唯一, 且 S = S1 ⊕ S ⊥ 1 . 例 1.7 设 x1, x2, . . . , xn ∈ R n . 若 x1, x2, . . . , xn 线性无关, 则 {x1, x2, . . . , xn} 构成 R n 的一组 基. 进一步, 如果 x1, x2, . . . , xn 相互正交, 即 (xi , xj ) = x ⊺ j xi = 0, i, j = 1, 2, . . . , n, 则称它们是一组正交基. 如果还满足 (xi , xi) = x ⊺ i xi = 1, i = 1, 2, . . . , n, 则称它们是一组标准正交基或规范正交基. 特别地, 记 ei 为单位矩阵的第 i 列, 则 {e1, e2, . . . , en} 构成 R n 的一组标准正交基, 这组基通常称为自然基. b 任何一组基都可以通过 Gram-Schmidt 正交化过程构造出一组标准正交基. http://math.ecnu.edu.cn/~jypan
.10. 第一讲线性代数基础 1.2矩阵与投影 注记 为了讨论方便，如果没有特别指出，本节仅考虑实数情形，对于复数情形，我们可以得到类似的 结论. 12.1的秩 设A∈Rmxn,则称A的列向量组的秩为A的列秩，称A的行向量组的秩为A的行秩.可以 验证，矩阵A的列秩与行秩是相等的.因此我们统一称它们为矩阵A的秩，记为rak(A). 定理1.7设A∈Rmxn,则ank(A)=k(0≤k<min{m,n)的充要条件是A存在非奇异的k 阶子矩阵，且所有k十1阶子矩阵都奇异 (留作课外自习，可参见137) 关于矩阵的秩，我们有下面的基本性质。 定理1.8设A,B∈Rmxn,则 ·rank(A)≤min{m,n}; ·rank(AT)=rank(A); .rank(ATA)rank(AA)=rank(A); ·rank(A+B)≤ank(A)+rank(B: ·对任意非奇异矩阵P∈Rmxm和Q∈Rnxn,有 rank(PA)=rank(AQ)=rank(PAQ)=rank(A). 下面是关于矩阵的秩的一些常用性质， 定理1.9（秩分解）设rank(A)=,则存在非奇异矩阵P∈Rmxm和Q∈Rmxn使得 a-pI 0o 00 进一步，rank(A)=rank(B)当且仅当存在非奇异矩阵P∈Rmxm和Q∈Rnxn使得A=PBQ 推论1.l0(满秩分解)设rank(A)=(,则存在非奇异矩阵F∈Rmxt和G∈Rxn使得 A=FG. 定理1.11设A∈Rmx%,B∈Rkxm,则 rank(A)+rank(B)-k rank(AB)<minfrank(A),rank(B)} http://math.ecnu.edu.cn/-ypan
仅供课堂教学使用，请勿外传 · 10 · 第一讲 线性代数基础 1.2 矩阵与投影 注记 为了讨论方便, 如果没有特别指出, 本节仅考虑实数情形, 对于复数情形, 我们可以得到类似的 结论. 1.2.1 矩阵的秩 设 A ∈ R m×n , 则称 A 的列向量组的秩为 A 的列秩, 称 A 的行向量组的秩为 A 的行秩. 可以 验证, 矩阵 A 的列秩与行秩是相等的. 因此我们统一称它们为矩阵 A 的秩, 记为 rank(A). 定理 1.7 设 A ∈ R m×n , 则 rank(A) = k (0 ≤ k ≤ min{m, n}) 的充要条件是 A 存在非奇异的 k 阶子矩阵, 且所有 k + 1 阶子矩阵都奇异. (留作课外自习, 可参见 [137]) 关于矩阵的秩, 我们有下面的基本性质. 定理 1.8 设 A, B ∈ R m×n , 则 • rank(A) ≤ min{m, n} ; • rank(A ⊺ ) = rank(A) ; • rank(A ⊺A) = rank(AA⊺ ) = rank(A) ; • rank(A + B) ≤ rank(A) + rank(B); • 对任意非奇异矩阵 P ∈ R m×m 和 Q ∈ R n×n , 有 rank(P A) = rank(AQ) = rank(P AQ) = rank(A). 下面是关于矩阵的秩的一些常用性质. 定理 1.9 (秩分解) 设 rank(A) = ℓ, 则存在非奇异矩阵 P ∈ R m×m 和 Q ∈ R n×n 使得 A = P " Iℓ 0 0 0# Q. 进一步, rank(A) = rank(B) 当且仅当存在非奇异矩阵 P ∈ R m×m 和 Q ∈ R n×n 使得 A = P BQ. 推论 1.10 (满秩分解) 设 rank(A) = ℓ, 则存在非奇异矩阵 F ∈ R m×ℓ 和 G ∈ R ℓ×n 使得 A = F G. 定理 1.11 设 A ∈ R m×k , B ∈ R k×n , 则 rank(A) + rank(B) − k ≤ rank(AB) ≤ min{rank(A), rank(B)}. http://math.ecnu.edu.cn/~jypan