第一讲线性代数基础这里介绍本讲义所涉及的线性代数基础知识，特别是线性空间和矩阵的相关基础知识本讲主要参考文献R.A.Horn and C.R.Johnson,MatrixAnalysis,1985.2nd edition,2013.[73]R.A.Horn and C.R.Johnson, Topics in Matrix Analysis, 1991. [74]>戴华，矩阵论，2001.[144]1.1线性空间与内积空间线性空间1.1.1线性空间是线性代数最基本的概念之一，它是定义在某个数域上并满足一定条件的集合，我们首先给出数域的概念定义1.1（数域）设F是包含0和1的一个数集，如果F中的任意两个数的和，差，积，商（除数不为O)仍然在F中，则称F为一个数域例1.1常见的数域有：有理数域Q，实数域R和复数域C本讲义只考虑实数域R和复数域C定义1.2(线性空间）设S是一个非空集合，F是一个数域（C或R).在S上定义一种代数运算称为加法,记为“+”(即对任意,yE S,都存在唯一的ES,使得z=+y),并定义一个从F×S到S的代数运算，称为数乘，记为"”（即对任意αEF和任意ES,都存在唯一的yES,使得y=α).如果这两个运算满足下面的规则，则称(S,+，）是数域F上的一个线性空间（通常简称S是数域F上的一个线性空间)：·加法四条规则()交换律：a+y=y+a,Va,yes;(2)结合律：(+y)+z=+(y+z)，r,y,zS;(3)零元素：存在一个元素0,使得+0=，VES;(4)逆运算：对任意aES,都存在负元素yES,使得a+y=0,记y=-r;·数乘四条规则(1)单位元:1=,1eF,VrS;(2)结合律:Q(β-)=(αβ)-,Vα,BEF,ES;4
第一讲 线性代数基础 这里介绍本讲义所涉及的线性代数基础知识, 特别是线性空间和矩阵的相关基础知识. 本讲主要参考文献 ▶ R. A. Horn and C. R. Johnson, Matrix Analysis, 1985. 2nd edition, 2013. [73] ▶ R. A. Horn and C. R. Johnson, Topics in Matrix Analysis, 1991. [74] ▶ 戴华, 矩阵论, 2001. [144] 1.1 线性空间与内积空间 1.1.1 线性空间 线性空间是线性代数最基本的概念之一, 它是定义在某个数域上并满足一定条件的集合. 我 们首先给出数域的概念. 定义 1.1 (数域) 设 F 是包含 0 和 1 的一个数集, 如果 F 中的任意两个数的和, 差, 积, 商 (除数不 为 0) 仍然在 F 中, 则称 F 为一个数域. 例 1.1 常见的数域有: 有理数域 Q, 实数域 R 和复数域 C. b 本讲义只考虑实数域 R 和复数域 C. 定义 1.2 (线性空间) 设 S 是一个非空集合, F 是一个数域 (C 或 R). 在 S 上定义一种代数运算, 称为加法, 记为 “+” (即对任意 x, y ∈ S, 都存在唯一的 z ∈ S, 使得 z = x + y), 并定义一个从 F × S 到 S 的代数运算, 称为数乘, 记为 “·” (即对任意 α ∈ F 和任意 x ∈ S, 都存在唯一的 y ∈ S, 使得 y = α · x). 如果这两个运算满足下面的规则, 则称 (S, +, ·) 是数域 F 上的一个线性空间 (通 常简称 S 是数域 F 上的一个线性空间): • 加法四条规则 (1) 交换律: x + y = y + x, ∀ x, y ∈ S; (2) 结合律: (x + y) + z = x + (y + z), ∀ x, y, z ∈ S; (3) 零元素: 存在一个元素 0, 使得 x + 0 = x, ∀ x ∈ S; (4) 逆运算: 对任意 x ∈ S, 都存在负元素 y ∈ S, 使得 x + y = 0, 记 y = −x; • 数乘四条规则 (1) 单位元: 1 · x = x, 1 ∈ F, ∀ x ∈ S; (2) 结合律: α · (β · x) = (αβ) · x, ∀ α, β ∈ F, x ∈ S; 4
1.1线性空间与内积空间.5.(3)分配律:(Q+)=a-+β.,Va,βeF,ES;(4)分配律:q(r+y)=a.a+a.y,VaeF,a,yES.为了表示方便，通常省略数乘符号，即将α·写成αr例1.2常见的线性空间：·R"→所有n维实向量组成的集合，是R上的线性空间·Cn一→所有n维复向量组成的集合，是C上的线性空间·Rmxn一所有m×n阶实矩阵组成的集合，是R上的线性空间·Cmxn→所有m×n阶复矩阵组成的集合，是C上的线性空间，·Pn→所有次数不超过n的多项式组成的集合.·C[a,]→区间[a,]上所有连续函数组成的集合·CP[a,b]→区间[a,b]上所有p次连续可微函数组成的集合为了表述方便，线性空间的元素通常称为向量线性相关性和维数设S是数域F上的一个线性空间，1,C2...,是S中的一组向量.如果存在k个不全为零的数α1Q2....,QkF，使得Q11+022+.+=0则称1,2....，Ek线性相关，否则就是线性无关设1,2,,是S中的一组向量.如果ES可以表示为=0121+Q22+..+Qk其中Q1,2..，KF，则称可以由1,2，...，线性表示，或者称是1,2，...，的线性组合，Q1,Q2，...,Q称为线性表出系数设向量组（ri,2,..,Em),如果存在其中的r(r≤m)个线性无关向量ri，i2Cir，使得所有向量都可以由它们线性表示，则称ai，i2.,i为向量组[a1,2，am）的一个极大线性无关组，并称这组向量的秩为r，记为rank([a1,2,...，m))=r.设1,2...,n是S中的一组线性无关向量.如果S中的任意一个向量都可以由1，2,……an线性表示，则称a1,c2,.,an是S的一组基，并称S是n维的，即S的维数为n,记为dim(S)=n.如果S中可以找到任意多个线性无关向量，则称S是无限维的子空间设S是一个线性空间，W是S的一个非空子集合.如果W关于S上的加法和数乘也构成一个线性空间，则称W为S的一个线性子空间，简称子空间
1.1 线性空间与内积空间 · 5 · (3) 分配律: (α + β) · x = α · x + β · x, ∀ α, β ∈ F, x ∈ S; (4) 分配律: α · (x + y) = α · x + α · y, ∀ α ∈ F, x, y ∈ S. 为了表示方便, 通常省略数乘符号, 即将 α · x 写成 αx. 例 1.2 常见的线性空间: • R n → 所有 n 维实向量组成的集合, 是 R 上的线性空间. • C n → 所有 n 维复向量组成的集合, 是 C 上的线性空间. • R m×n → 所有 m × n 阶实矩阵组成的集合, 是 R 上的线性空间. • C m×n → 所有 m × n 阶复矩阵组成的集合, 是 C 上的线性空间. • Pn → 所有次数不超过 n 的多项式组成的集合. • C[a, b] → 区间 [a, b] 上所有连续函数组成的集合. • C p [a, b] → 区间 [a, b] 上所有 p 次连续可微函数组成的集合. b 为了表述方便, 线性空间的元素通常称为向量. 线性相关性和维数 设 S 是数域 F 上的一个线性空间, x1, x2, . . . , xk 是 S 中的一组向量. 如果存在 k 个不全为零 的数 α1, α2, . . . , αk ∈ F, 使得 α1x1 + α2x2 + · · · + αkxk = 0, 则称 x1, x2, . . . , xk 线性相关, 否则就是线性无关. 设 x1, x2, . . . , xk 是 S 中的一组向量. 如果 x ∈ S 可以表示为 x = α1x1 + α2x2 + · · · + αkxk, 其中 α1, α2, . . . , αk ∈ F, 则称 x 可以由 x1, x2, . . . , xk 线性表示, 或者称 x 是 x1, x2, . . . , xk 的线性 组合, α1, α2, . . . , αk 称为 线性表出系数. 设向量组 {x1, x2, . . . , xm}, 如果存在其中的 r (r ≤ m) 个线性无关向量 xi1 , xi2 , . . . , xir , 使得 所有向量都可以由它们线性表示, 则称 xi1 , xi2 , . . . , xir 为向量组 {x1, x2, . . . , xm} 的一个极大线 性无关组, 并称这组向量的秩为 r, 记为 rank({x1, x2, . . . , xm}) = r. 设 x1, x2, . . . , xn 是 S 中的一组线性无关向量. 如果 S 中的任意一个向量都可以由 x1, x2, . . . , xn 线性表示, 则称 x1, x2, . . . , xn 是 S 的一组基, 并称 S 是 n 维的, 即 S 的维数为 n, 记为 dim(S) = n. 如果 S 中可以找到任意多个线性无关向量, 则称 S 是无限维的. 子空间 设 S 是一个线性空间, W 是 S 的一个非空子集合. 如果 W 关于 S 上的加法和数乘也构成一 个线性空间, 则称 W 为 S 的一个线性子空间, 简称子空间
.6.第一讲线性代数基础例1.3设S是一个线性空间，则由零向量组成的子集(0)是S的一个子空间，称为零子空间.另外，S本身也是S的子空间.这两个特殊的子空间称为S的平凡子空间，其他子空间都是非平凡子空间.定理11（子空间的判别）设S是数域F上的一个线性空间，W是S的一个非空子集合，则W是S的一个子空间的充要条件是W关于加法和数乘封闭，即(1)对任意r,yeW,有a+yeW;(2)对任意aEF和任意EW,有arEW.设S1S2是线性空间S的两个子空间，则它们的和定义为SI+Sar+y:rESI.yESl容易证明S1十S2也是S的子空间下面是关于子空间的维数的一个重要性质定理 1.2 (维数公式）设 S1,S2是线性空间 S 的两个有限维子空间,则 S1 +S2 和 Si n S2 也都是S的子空间，且dim(S1 + S2) + dim(Si n S2) = dim(S1) + dim(S2)直和设S1S2是线性空间S的两个子空间，如果S1+S2中的任一元素都可以唯一表示成=+2,S12S2则称S1+S2为直和，记为SiS2关于子空间的直和的判定，有下面的结论定理1.3设S1,S2是线性空间S的两个子空间，则下面的论述等价：(1)S1+S2是直和;(2)S1+S2中的零元素表示方法唯—,即若0=1+2,1ES1,2ES2,则1=2=0;(3) Si n S2 = [0];(4) dim(Si) + dim(S2) = dim(Si + S2)定理1.4设S1是线性空间S的一个子空间，则存在S的另一个子空间S2,使得S = S1 S2.我们称S2是Si关于S的补空间.显然S1也是S2的补空间，因此它们是互补的.思考：补空间是否唯一？
· 6 · 第一讲 线性代数基础 例 1.3 设 S 是一个线性空间, 则由零向量组成的子集 {0} 是 S 的一个子空间, 称为零子空间. 另 外, S 本身也是 S 的子空间. 这两个特殊的子空间称为 S 的平凡子空间, 其他子空间都是非平凡 子空间. 定理 1.1 (子空间的判别) 设 S 是数域 F 上的一个线性空间, W 是 S 的一个非空子集合, 则 W 是 S 的一个子空间的充要条件是 W 关于加法和数乘封闭, 即 (1) 对任意 x, y ∈ W, 有 x + y ∈ W; (2) 对任意 α ∈ F 和任意 x ∈ W, 有 αx ∈ W. 设 S1, S2 是线性空间 S 的两个子空间, 则它们的和定义为 S1 + S2 ≜ { x + y : x ∈ S1, y ∈ S2 }. 容易证明 S1 + S2 也是 S 的子空间. 下面是关于子空间的维数的一个重要性质. 定理 1.2 (维数公式) 设 S1, S2 是线性空间 S 的两个有限维子空间, 则 S1 + S2 和 S1 ∩ S2 也都是 S 的子空间, 且 dim(S1 + S2) + dim(S1 ∩ S2) = dim(S1) + dim(S2). 直和 设 S1, S2 是线性空间 S 的两个子空间, 如果 S1 + S2 中的任一元素 x 都可以唯一表示成 x = x1 + x2, x1 ∈ S1, x2 ∈ S2, 则称 S1 + S2 为直和, 记为 S1 ⊕ S2. 关于子空间的直和的判定, 有下面的结论. 定理 1.3 设 S1, S2 是线性空间 S 的两个子空间, 则下面的论述等价: (1) S1 + S2 是直和; (2) S1 + S2 中的零元素表示方法唯一, 即若 0 = x1 + x2, x1 ∈ S1, x2 ∈ S2, 则 x1 = x2 = 0; (3) S1 ∩ S2 = {0}; (4) dim(S1) + dim(S2) = dim(S1 + S2). 定理 1.4 设 S1 是线性空间 S 的一个子空间, 则存在 S 的另一个子空间 S2, 使得 S = S1 ⊕ S2. 我们称 S2 是 S1 关于 S 的补空间. 显然 S1 也是 S2 的补空间, 因此它们是互补的. 思考：补空间是否唯一?
1.1线性空间与内积空间.7.1.1.2内积空间内积空间就是带有内积运算的线性空间定义1.3（内积空间）设S是数域FC或R）上的一个线性空间，定义一个从S×S到F的代数运算，记为“（，)”,即对任意r,yES,都存在唯一的fEF,使得f=(a,y).如果该运算满足(1) (y,r) =(r,y), Vr,yES;(2) (r+y,z) = (r,z)+(y,z), Va,y,zeS;(3) (αr,y) =a(r,y), VqEF, r,yES;(4)(r,α)≥0,等号当且仅当=0时成立；则称（·，）为S上的一个内积(innerproduct),定义了内积的线性空间称为内积空间内积有时也称为标量积(scalarproduct)。定义在实数域R上的内积空间称为欧氏空间(Euclidean space),定义在复数域C上的内积空间称为酉空间(,表示（a,y)的共轭.当F=R时，条件(1)即为(y,a)=(r,g).内积可以看作是从线性空间S到数域F的元函数例1.4设（，）是S上的一个内积，则容易验证：(r,ay) =a(r,y), VaeF, a,yes.例1.5在Cn上定义内积2riji,(r,y)=yr=i=1则Cn构成一个内积空间.类似的，R"上可以定义内积(r,y)yTa=riyii=1这种方式定义的内积称为欧几里得内积(Euclideaninnnerproduct),，或点积(dotproduct)，或标准内积(standard innerproduct),这也是Cn/IRn上的常用内积[73,page15].Cn或Rn上的内积由无穷多个.在本讲义中，如果没有特别指出，涉及到Cn或Rn上的内积时，缺省就是上面定义的内积例1.6 对任意 A,B eRmxn,定义(A, B) ≤ tr(BTA),其中tr(-)表示矩阵的迹,即对角线元素之和,则可以证明（A,B)是一个内积,因此Rmxn构成一
1.1 线性空间与内积空间 · 7 · 1.1.2 内积空间 内积空间就是带有内积运算的线性空间. 定义 1.3 (内积空间) 设 S 是数域 F (C 或 R) 上的一个线性空间, 定义一个从 S × S 到 F 的代数 运算, 记为 “(· , ·)”, 即对任意 x, y ∈ S, 都存在唯一的 f ∈ F, 使得 f = (x, y). 如果该运算满足 (1) (y, x) = (x, y), ∀ x, y ∈ S; (2) (x + y, z) = (x, z) + (y, z), ∀ x, y, z ∈ S; (3) (αx, y) = α(x, y), ∀ α ∈ F, x, y ∈ S; (4) (x, x) ≥ 0, 等号当且仅当 x = 0 时成立; 则称 (· , ·) 为 S 上的一个 内积 (inner product), 定义了内积的线性空间称为 内积空间. b 内积有时也称为 标量积 (scalar product). b 定义在实数域 R 上的内积空间称为欧氏空间 (Euclidean space), 定义在复数域 C 上的内积空 间称为酉空间. b (x, y) 表示 (x, y) 的共轭. 当 F = R 时, 条件 (1) 即为 (y, x) = (x, y). b 内积可以看作是从线性空间 S 到数域 F 的二元函数. 例 1.4 设 (· , ·) 是 S 上的一个内积, 则容易验证: (x, αy) = ¯α(x, y), ∀ α ∈ F, x, y ∈ S. 例 1.5 在 C n 上定义内积 (x, y) ≜ y ∗x = Xn i=1 xiy¯i , 则 C n 构成一个内积空间. 类似的, R n 上可以定义内积 (x, y) ≜ y Tx = Xn i=1 xiyi . 这种方式定义的内积称为 欧几里得内积 (Euclidean innner product), 或 点积 (dot product), 或 标准 内积 (standard inner product), 这也是 C n/R n 上的常用内积 [73, page 15]. b C n 或 R n 上的内积由无穷多个. 在本讲义中, 如果没有特别指出, 涉及到 C n 或 R n 上的内 积时, 缺省就是上面定义的内积. 例 1.6 对任意 A, B ∈ R m×n , 定义 (A, B) ≜ tr(B TA), 其中 tr(·) 表示矩阵的迹, 即对角线元素之和, 则可以证明 (A, B) 是一个内积, 因此 R m×n 构成一
.8.第一讲线性代数基础个欧氏空间（留作练习）1.1.3正交与正交补有了内积以后，我们就可以定义正交定义1.4(正交）设s是内积空间，a,yeS,如果(r,y)=0,则称与y正交，记为ry;设 Si是 S的子空间, ES,如果对任意yE Si都有(c,y)=0,则称与 Si正交,记为rlSi;设S1,S2是S的两个子空间，如果对任意ESi,都有lS2，则称Si与S2正交，记为SilS2定理1.5设S1,S2是内积空间S的两个子空间，如果SiIS2，则S1+S2是直和（留作课外自习）定义 1.5(正交补)设 Si 是内积空间 S 的一个子空间,则 Si 的正交补定义为Sta(reS:rISi)即S中所有与S1正交的元素组成的集合容易验证，S也是S的一个子空间.另外，我们还可以得到下面的结论定理1.6设S1是内积空间 S的一个有限维子空间,则 S存在唯一,且S-Si@st例1.7设1,C2....,nERn.若C1,2....n线性无关，则[1,2,..,n构成Rn的一组基.进一步，如果1.22.....n相互正交，即(ri,)=rfri=0, i,j=1,2,...,n,则称它们是一组正交基.如果还满足(ri,i)=r,ri=l,i=l,2,...,n,则称它们是一组标准正交基或规范正交基.特别地,记e,为单位矩阵的第i列,则(e1,e2，...,en}构成Rn的一组标准正交基，这组基通常称为自然基任何一组基都可以通过Gram-Schmidt正交化过程构造出一组标准正交基
· 8 · 第一讲 线性代数基础 个欧氏空间. (留作练习) 1.1.3 正交与正交补 有了内积以后, 我们就可以定义正交. 定义 1.4 (正交) 设 S 是内积空间, x, y ∈ S, 如果 (x, y) = 0, 则称 x 与 y 正交, 记为 x⊥y; 设 S1 是 S 的子空间, x ∈ S, 如果对任意 y ∈ S1 都有 (x, y) = 0, 则称 x 与 S1 正交, 记为 x⊥S1; 设 S1, S2 是 S 的两个子空间, 如果对任意 x ∈ S1, 都有 x⊥S2, 则称 S1 与 S2 正交, 记为 S1⊥S2. 定理 1.5 设 S1, S2 是内积空间 S 的两个子空间, 如果 S1⊥S2, 则 S1 + S2 是直和. (留作课外自习) 定义 1.5 (正交补) 设 S1 是内积空间 S 的一个子空间, 则 S1 的正交补定义为 S ⊥ 1 ≜ x ∈ S : x⊥S1 , 即 S 中所有与 S1 正交的元素组成的集合. 容易验证, S ⊥ 1 也是 S 的一个子空间. 另外, 我们还可以得到下面的结论. 定理 1.6 设 S1 是内积空间 S 的一个有限维子空间, 则 S ⊥ 1 存在唯一, 且 S = S1 ⊕ S ⊥ 1 . 例 1.7 设 x1, x2, . . . , xn ∈ R n . 若 x1, x2, . . . , xn 线性无关, 则 {x1, x2, . . . , xn} 构成 R n 的一组 基. 进一步, 如果 x1, x2, . . . , xn 相互正交, 即 (xi , xj ) = x T j xi = 0, i, j = 1, 2, . . . , n, 则称它们是一组正交基. 如果还满足 (xi , xi) = x T i xi = 1, i = 1, 2, . . . , n, 则称它们是一组标准正交基或规范正交基. 特别地, 记 ei 为单位矩阵的第 i 列, 则 {e1, e2, . . . , en} 构成 R n 的一组标准正交基, 这组基通常称为自然基. b 任何一组基都可以通过 Gram-Schmidt 正交化过程构造出一组标准正交基