西安电子科技大学：《数字通信理论与系统》课程教学课件（研究生）第2章 数字通信的数学基础

第2章数字通信的数学基础 (仔)实内积空间与西空间 符合上述内积定义及其性质的所有可能的N维矢量构成一个N维复内积空间，复内积空 间又称为酉空间。如果这些矢量的各个元素的值只有实部，而虚部值恒等于0，那它们所构 成的是N维实内积空间。内积空间属于线性空间。 (4)内积空间的范数 定义一种范数来衡量内积空间中一个矢量的长度，并基于此范数定义一种失真测度来衡 量该内积空间中两个矢量差异的大小，就可构成一个赋范线性空间。范数有多种形式的定义， 以1，范数为例 Ivl∑v,Pe (2-2-19) 当p=1,2,∞时分别对应于：取绝对值之和、求平方和后再开平方、取最大绝对值等三种 不同的范数。对应于所定义的范数，可定义相应的失真测度来衡量两个矢量之间差异的大小： 例如：基于！，范数的失真测度为 dvv)-v,=2.-.f (2-2-20) 由于基于！，范数的失真测度的定义能满足距离测度所要求的三个条件，即非负性 d(v,v2)≥0、对称性d(v,v2)=d(v2,v)和三角不等式d(y,y2)+d(v2,y)≥d(v,v)成立，因 而它是一种距离测度，即欧几里德距离测度。由三角不等式还可推导出Cauchy-Schwart亿不 等式，即 kx(),()入≤Ix()l.Ix(O川 (2-2-21) 注：当x,()=ax)(其中a为任意复数)时等式成立 因此，定义了l,范数的N维实内积空间是N维欧氏(Euclid距离空间。 凡是定义了内积的线性空间都称为欧氏空间；欧氏空间是欧氏距离空间概念的推广，歌 氏距离空间所赋予的范数是！，范数，采用欧氏距离衡量其空间中两点（或两矢量）的差异；一般 欧氏空间可赋予其它任一种范数和相应的失真测度，因此我们应该从更一般意义上来理解多 维空间中的矢量以及它们的度量。 (⑤)内积空间的正交基 N维内积空间中任意N个相互正交的矢量{e,C,ew},即 -6 1j=12N (2-2-22) 可以构成一个正交基。如果这N个矢量都是单位长度的，则构成的是标准正交基。如果该空 间中任意一个矢量ⅴ都可以表示为某个正交基中N个正交基矢量的加权和，即 v=.]'=∑ (2-2-23 西电子科技大学

第 2 章 数字通信的数学基础 西电子科技大学 6 (3)实内积空间与酉空间 符合上述内积定义及其性质的所有可能的 N 维矢量构成一个 N 维复内积空间，复内积空 间又称为酉空间。如果这些矢量的各个元素的值只有实部，而虚部值恒等于 0，那它们所构 成的是 N 维实内积空间。内积空间属于线性空间。 (4)内积空间的范数 定义一种范数来衡量内积空间中一个矢量的长度，并基于此范数定义一种失真测度来衡 量该内积空间中两个矢量差异的大小，就可构成一个赋范线性空间。范数有多种形式的定义， 以 pl 范数为例 || ||lp v  1 1/ [ | |] N n n p p v = ∑ (2-2-19) 当 p =1，2，∞时分别对应于：取绝对值之和、求平方和后再开平方、取最大绝对值等三种 不同的范数。对应于所定义的范数，可定义相应的失真测度来衡量两个矢量之间差异的大小； 例如：基于 2l 范数的失真测度为 1 2 d(, ) v v  2 1 2 || || − l vv = 1 1 2 1/2 2 [ | |] N n n n v v = ∑ − (2-2-20) 由于基于 2l 范数的失真测度的定义能满足距离测度所要求的三个条件，即非负性 1 2 d(, ) v v ≥ 0、对称性 1 2 d(, ) v v = 2 1 d(,) v v 和三角不等式 1 2 d(, ) v v + 2 3 d(,) v v ≥ 1 3 d(, ) v v 成立，因 而它是一种距离测度，即欧几里德距离测度。由三角不等式还可推导出 Cauchy-Schwartz 不 等式，即 1 2 | ( ), ( ) | < > x txt ≤ 1 2 || ( ) || .|| ( ) || x t xt 注：当 2 x ( )t = a 1 x ( )t (其中a 为任意复数)时等式成立 (2-2-21) 因此，定义了 2l 范数的 N 维实内积空间是 N 维欧氏(Euclid)距离空间。 凡是定义了内积的线性空间都称为欧氏空间；欧氏空间是欧氏距离空间概念的推广，欧 氏距离空间所赋予的范数是 2l 范数，采用欧氏距离衡量其空间中两点(或两矢量)的差异；一般 欧氏空间可赋予其它任一种范数和相应的失真测度，因此我们应该从更一般意义上来理解多 维空间中的矢量以及它们的度量。 (5)内积空间的正交基 N 维内积空间中任意 N 个相互正交的矢量{ 1 2 , ,., N ee e }，即 1 , 0 i j i j i j = < >= ≠ ⎧ ⎨ ⎩ e e ij N , 1, 2,., = (2-2-22) 可以构成一个正交基。如果这 N 个矢量都是单位长度的，则构成的是标准正交基。如果该空 间中任意一个矢量 v都可以表示为某个正交基中 N 个正交基矢量的加权和，即 v =[ ] 1 2 . N T vv v = 1 N n n n v = ∑ e (2-2-23)

第2章数字通信的数学基础 其中vn是v在第n个基矢量c,上的投影，即y=<en,v>,那么这个正交基是完备的。 标准正交基有无穷多种；例如采用单位矩阵I,中的N个列向量，就可以构成N维欧氏 空间中一个简单而直观、且完备的标准正交基。 2.2.4矩阵 矩阵是由若干个数按行和列排列而成的二维阵列，也可以说是若干个列矢量或行矢量的 组合。因此矩阵不仅可以表示多维信号，而且可以描述进行多维信号处理的线性系统。矩阵 理论是多维信号处理的强有力数学工具，其主要应用是用来表示线性变换或线性映射。如矩 阵m×n的矩阵A可将R"空间的矢量x映射为R"空间的矢量y=Ax。矩阵的乘积可以表示两 种线性变换的组合；线性方程组表示为矩阵形式非常简洁；下面简要介绍矩阵理论中一些重 要内容，例如：矩阵的运算、特征值与特征矢量、对角分解和奇异值分解等。 一个M行N列的矩阵X可表示为： X=[,]s- (2-2-24) 其中的x表示矩阵的元素，i表示行下标，j表示列下标。 (矩阵的一般运算法则 数乘： x=[c (2-2-25a) 加法： X+Y=[x+yJo (2-2-25b) 转置： (2-2-25c) Lxw.x .xi 共轭转置： x”=[x]w (2-2-25d xi.xi 相乘： n-klbl-[②n (2-2-25e 点积 v-[sl·[l22x (2-2-250 (2)矩阵的内积 矩阵的内积有两种不同的定义方法。一种是将两个同样大小的矩阵，例如M×N的矩 西安电子科技大学

第 2 章 数字通信的数学基础 西安电子科技大学 7 其中 n v 是 v在第n 个基矢量 n e 上的投影，即 n v = , n < e v > ，那么这个正交基是完备的。 标准正交基有无穷多种；例如采用单位矩阵 N N× I 中的 N 个列向量，就可以构成 N 维欧氏 空间中一个简单而直观、且完备的标准正交基。 2.2.4 矩阵 矩阵是由若干个数按行和列排列而成的二维阵列，也可以说是若干个列矢量或行矢量的 组合。因此矩阵不仅可以表示多维信号，而且可以描述进行多维信号处理的线性系统。矩阵 理论是多维信号处理的强有力数学工具，其主要应用是用来表示线性变换或线性映射。如矩 阵 m×n 的矩阵 A 可将 Rn空间的矢量 x 映射为 Rm空间的矢量 y=Ax。矩阵的乘积可以表示两 种线性变换的组合；线性方程组表示为矩阵形式非常简洁；下面简要介绍矩阵理论中一些重 要内容，例如：矩阵的运算、特征值与特征矢量、对角分解和奇异值分解等。 一个 M 行 N 列的矩阵 X 可表示为： 11 12 1 21 22 2 1 2 N N ij M N M M MN x x x xx x x xx x × ⎡ ⎤ ⎢ ⎥ = = ⎡ ⎤ ⎣ ⎦ ⎣ ⎦ X " " # ### " (2-2-24) 其中的 ij x 表示矩阵的元素，i 表示行下标， j 表示列下标。 (1)矩阵的一般运算法则 数乘： ij M N c cx × = ⎡ ⎤ ⎣ ⎦ X (2-2-25a) 加法： ij ij M N x y × += + ⎡ ⎤ ⎣ ⎦ X Y (2-2-25b) 转置： 11 1 1 M T ji N M N MN x x x x x × ⎡ ⎤ ⎢ ⎥ = = ⎡ ⎤ ⎣ ⎦ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ X " #% # " (2-2-25c) 共轭转置： * * 11 1 * * * 1 M H ji N M N MN x x x x x × ⎡ ⎤ ⎢ ⎥ = = ⎡ ⎤ ⎣ ⎦ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ " #% # " X (2-2-25d) 相乘： [] [] M N K k ij M K ij K N ik kj XY x y x y = × × × ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = = ∑ 1 (2-2-25e) 点积： X Y• = ij M K x × ⎡ ⎤ ⎣ ⎦ • ij M K y × ⎡ ⎤ ⎣ ⎦ 1 1 M K ij ij i j x y = = = ∑∑ (2-2-25f) (2) 矩阵的内积 矩阵的内积有两种不同的定义方法。一种是将两个同样大小的矩阵，例如 M × N 的矩

第2章数字通信的数学基础 阵X=[x,],和Y=-[,]N,看作是两个M×N维的矢量，采用如上所述矢量内积定义 的方式进行定义，即 <xY-22 (2-2-26a) 其值是一个实数或复数。 另一种定义方法是，将两个行数相同的矩阵，例如X=[]和Y=[l’分 别看成是N,和N,个M维列矢量的集合，而将二者的内积定义为N,N,对矢量的内积，即 x[2 j=1,2.N:k=1,2,N2(2-2-26b) 内积运算所得结果是一个N,×N,的矩阵，其中各个元素的值为实数或复数值。 (③)矩阵的特征值与特征矢量 设A为N×N的矩阵，如果存在一个非零矢量v和某个相应的常数元，满足 Avv (2-2-27) 那么1和ⅴ分别称为A的特征值和特征矢量。 此外，矩阵的迹等于特征值之和，矩阵的行列式值等于特征值之积，即 Tr()=∑ de(4)=Π2 (④)正交矩阵与正交变换 正交变换：N维歌氏空间（实内积空间）P”中的线性变换T,如果它满足 <xx>=<I,>,则称T为正交变换。T为正交变换的充要条件是：对于VW中任意两个矢 量x和y的变换都有<x,y>=<Ty>。可以看出，正交变换具有内积不变性，而且对于标准 正交矩阵T,正交变换不改变矢量的长度及矢量间的夹角。 正交矩阵：如果实数方阵Q∈Rw满足QQ=Iwww或Q'=Q,那么Q为正交矩阵：正 交矩阵的列矢量都是两两正交的单位矢量。 (⑤)酉矩阵与酉变换 酉变换：N维酉空间（复内积空间）V中的线性变换T,如果满足<x,x>=<Tx,T>,则 称T为酉变换。T为酉变换的充要条件是，对于V中任意两个向量x和y都有 <xy>=<TxTy>。 西矩阵：如果复数方阵Q∈R满足Q“Q=QQ”=Iww,那么Q为西矩阵：酉矩阵的逆 也是西矩阵，两个西矩阵的乘积还是西矩阵。 西电子科技大学 8

第 2 章 数字通信的数学基础 西电子科技大学 8 阵 X = ij M N x × ⎡ ⎤ ⎣ ⎦ 和Y = ij M N y × ⎡ ⎤ ⎣ ⎦ ，看作是两个M × N 维的矢量，采用如上所述矢量内积定义 的方式进行定义，即 * 1 1 , . ij M N ij i j x y = = < >= X Y ∑∑ (2-2-26a) 其值是一个实数或复数。 另一种定义方法是，将两个行数相同的矩阵，例如 X = 1 ij M N x × ⎡ ⎤ ⎣ ⎦ 和Y =[ ] 2 ik M N y × ，分 别看成是 N1和 N2 个 M 维列矢量的集合，而将二者的内积定义为 N1 . N2 对矢量的内积，即 1 2 * 1 , . ik M ij i N N x y = × < >= ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ X Y ∑ 1 2 j Nk N = = 1, 2,., ; 1, 2,., (2-2-26b) 内积运算所得结果是一个 N1× N2 的矩阵，其中各个元素的值为实数或复数值。 (3) 矩阵的特征值与特征矢量 设 A 为 N × N 的矩阵，如果存在一个非零矢量 v和某个相应的常数λ ，满足 A v =λ v (2-2-27) 那么λ 和 v分别称为 A 的特征值和特征矢量。 此外，矩阵的迹等于特征值之和，矩阵的行列式值等于特征值之积，即 ( ) i i Tr A = ∑ λ det( ) i i A =∏ λ (4) 正交矩阵与正交变换 正交变换： N 维欧氏空间 ( 实内积空间 ) N V 中的线性变换 T ，如果它满足 < >=< > xx x x , , T T ，则称T 为正交变换。T 为正交变换的充要条件是：对于 N V 中任意两个矢 量x 和y 的变换都有< >=< > x, , y T T x y 。可以看出，正交变换具有内积不变性，而且对于标准 正交矩阵 T，正交变换不改变矢量的长度及矢量间的夹角。 正交矩阵：如果实数方阵Q ∈ N N R × 满足 T Q Q = N N× I 或 −1 Q = T Q ，那么Q 为正交矩阵；正 交矩阵的列矢量都是两两正交的单位矢量。 (5) 酉矩阵与酉变换 酉变换： N 维酉空间(复内积空间) N V 中的线性变换T ，如果满足< >=< > xx x x , , T T ，则 称 T 为酉变换。 T 为酉变换的充要条件是，对于 N V 中任意两个向量 x 和 y 都 有 < >=< > x, , y T T x y 。 酉矩阵：如果复数方阵Q ∈ N N R × 满足 H Q Q =Q H Q = N N× I ，那么Q为酉矩阵；酉矩阵的逆 也是酉矩阵，两个酉矩阵的乘积还是酉矩阵

第2章数字通信的数学基础 (⑥)正交变换和酉变换矩阵 N维欧氏空间VN中正交变换T在标准正交基下的变换矩阵为NxN的正交矩阵： N维酉空间VN中西变换T在标准正交基下的变换矩阵为N×N西矩阵。 设Q∈C是N维酉空间W中完备的标准正交基下的酉变换矩阵，它有 Q"Q=QQ”=I,w:那么对于任意N维矢量x∈PW,其酉变换为y=Qx∈P*,y的逆变换为 x=Q"y. 【例】表示完备正交基下的N点离散傅立叶变换(DFT)的矩阵为： 11 1e2 e-JeIN e-j2r(N-IN Q= I e (2-2-28) I e-p-IyN e-J4rAN-IyN e-Bax-iN 如果忽略常数因子1/√N,这个变换矩阵是一个酉矩阵。对于输入矢量x∈VW的N点DF门 就是y=Qx∈VW,重构原信号x的N点逆DFT就是：x=Q”y。 ()基于正交矩阵和酉矩阵的对角矩阵分解 设非奇异方阵A∈Cw的特征值为乙，2，∈C,则存在酉矩阵Q,使得 QAQ=Q-AQ= (2-2-29) 如果A为实数矩阵，则存在正交矩阵P和Q,使得 p'AQ=Diag(2,x） (2-2-30a) 或者等价地有 A=P Diag(.2.)Q (2-2-30b) 这就是实矩阵A的正交对角分解。 如果A为共轭对称矩阵（或实数对称矩阵），即A”=A,并且其特征值都为实数，即 A,x∈R,则存在酉矩阵（或正交矩阵）P,使得 p#A P=Diag() (2-2-31a) 等价地，有矩阵A的正交对角分解： A=P Diag(.N)P" (2-2-31b) 西安电子科技大学

第 2 章 数字通信的数学基础 西安电子科技大学 9 (6) 正交变换和酉变换矩阵 N 维欧氏空间 N V 中正交变换T 在标准正交基下的变换矩阵为 N × N 的正交矩阵； N 维酉空间 N V 中酉变换T 在标准正交基下的变换矩阵为 N × N 酉矩阵。 设 Q ∈ N N C × 是 N 维酉空间 N V 中完备的标准正交基下的酉变换矩阵，它有 H H N N× Q Q QQ I = = ；那么对于任意 N 维矢量x ∈ N V ，其酉变换为y =Q x ∈ N V ，y 的逆变换为 x = H Q y 。 【例】表示完备正交基下的 N 点离散傅立叶变换(DFT)的矩阵为： Q = 2 2 / 4 / 2 ( 1)/ 4 / 8 / 4 ( 1)/ 2 ( 1)/ 4 .( 1)/ 2 ( 1) / 1 1 1 . 1 1 . 1 1 . . . . . . 1 . jN jN jN N jN jN jN N jNN j NN jN N ee e ee e N ee e ππ π ππ π ππ π − − −− − − −− −− − − −− ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ (2-2-28) 如果忽略常数因子1 / N ，这个变换矩阵是一个酉矩阵。对于输入矢量x ∈ N V 的 N点 DFT 就是y =Q x ∈ N V ，重构原信号x 的 N 点逆 DFT 就是：x = H Q y 。 (7) 基于正交矩阵和酉矩阵的对角矩阵分解 设非奇异方阵 A ∈ N N C × 的特征值为 1 2 , ,., λ λ λN ∈ C ，则存在酉矩阵Q，使得 T Q A Q = −1 Q A Q = 1 2 * . * * : . * N λ λ λ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ (2-2-29) 如果 A 为实数矩阵，则存在正交矩阵P 和Q，使得 T P A Q =Diag( 1 2 , ,., λ λ λN ) (2-2-30a) 或者等价地有 A = P Diag( 1 2 , ,., σ σ σ N ) T Q (2-2-30b) 这就是实矩阵 A 的正交对角分解。 如果 A 为共轭对称矩阵(或实数对称矩阵) ，即 H A = A ，并且其特征值都为实数，即 1 2 , ,., λ λ λN ∈ R ，则存在酉矩阵(或正交矩阵) P ，使得 H P A P =Diag( 1 2 , ,., λ λ λN ) (2-2-31a) 等价地，有矩阵 A 的正交对角分解： A = P Diag( 1 2 , ,., σ σ σ N ) H P (2-2-31b)

第2章数字通信的数学基础 (⑧)矩阵的奇异值与奇异值分解 ·矩阵的奇异值 设A∈C,W是一个秩为非零整数r的MxN复数矩阵，则A“A为N×N的共轭对称矩阵， 并且其秩与A相同，即Rak(A“A)=RankA;设A”A的特征值为 12222,>1=.=x=0 则称a,=√及，i=1,2,N为A奇异值。由此可见A的奇异值个数等于列数N,其中非零奇异 值的个数等于RakA。最大及最小奇异值之比称为条件数，可以用于表示矩阵A的奇异性 条件数越大，矩阵越接近奇异。对于对称阵，特征值等于奇异值。 ●矩阵的奇异值分解 设A∈C,“(r>0),则存在M阶酉矩阵U和N阶酉矩阵V,使得 UPAV-E 0] Lo o] (2-2-32a) 其中Σ=diag(o,02,g,),而o,02,0,为A的非零奇异值：上式可改写为 A-68r (2-2-32b) 这就是A的奇异值分解。通过比较可以看出，特征值分解针对方阵，而奇异值分解可以对任 何矩阵进行分解， 二者都用于揭示矩阵或线性变换的一些重要特征。 2.2.5连续波信号的空间表示 ()连续波复信号的内积空间 设x,()和x,()为定义在某个区间[a,b]上的两个能量有限的连续波复信号，二者的内积 定义为 <x),x,(0>=[x,)x)d (2-2-33a) 内积的性质与(2-2-16)式矢量内积性质的表达式完全相同。 信号x)的范数定义为1，范数，即 Ix)非[1xPd] (2-2-33b) 于是也有与前述多维酉空间中表达形式相同的三角不等式和Cauchy-Schwartz不等式成立： Ix,(0+x2()I≤Ix,()+lx()川 (2-2-34a) Kx(),x2()>≤|x,()lx2()l (2-2-34b) 注：当x,)=ax,()(其中a为任意复数)时等式成立 西电子科技大学

第 2 章 数字通信的数学基础 西电子科技大学 10 (8) 矩阵的奇异值与奇异值分解 z 矩阵的奇异值 设A ∈ M N Cr × 是一个秩为非零整数r 的M × N 复数矩阵，则 H A A 为 N × N 的共轭对称矩阵， 并且其秩与A 相同，即 ( ) H Rank Rank AA A = ；设 H A A 的特征值为 12 1 . . 0 λ ≥ ≥≥ > == = λ λλ λ rr N + 则称σ i i = λ ，i N = 1, 2,., 为A 奇异值。由此可见A 的奇异值个数等于列数 N ，其中非零奇异 值的个数等于 RankA 。最大及最小奇异值之比称为条件数，可以用于表示矩阵 A 的奇异性， 条件数越大，矩阵越接近奇异。对于对称阵，特征值等于奇异值。 z 矩阵的奇异值分解 设A ∈ M N Cr × (r >0)，则存在M 阶酉矩阵U 和 N 阶酉矩阵V ，使得 H U AV = 0 0 0 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ Σ (2-2-32a) 其中Σ =diag( 1 2 , ,., σ σ σ r )，而 1 2 , ,., σ σ σ r 为A 的非零奇异值；上式可改写为 A = U 0 0 0 ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ Σ H V (2-2-32b) 这就是 A 的奇异值分解。通过比较可以看出，特征值分解针对方阵，而奇异值分解可以对任 何矩阵进行分解，二者都用于揭示矩阵或线性变换的一些重要特征。 2.2.5 连续波信号的空间表示 (1) 连续波复信号的内积空间 设 1 x ( )t 和 2 x ( )t 为定义在某个区间[,] a b 上的两个能量有限的连续波复信号，二者的内积 定义为 * 1 2 12 ( ), ( ) ( ) ( ) b a < >= t t t t dt ∫ x x xx (2-2-33a) 内积的性质与(2-2-16)式矢量内积性质的表达式完全相同。 信号x( )t 的范数定义为 2l 范数，即 2 1/2 || ( ) || [ | ( ) | ] b a t t dt = ∫ x x (2-2-33b) 于是也有与前述多维酉空间中表达形式相同的三角不等式和 Cauchy-Schwartz 不等式成立： 1 2 || ( ) ( ) || x x t t + ≤ 1 2 || ( ) || || ( ) || x x t t + (2-2-34a) 12 1 2 | ( ), ( ) | || ( ) ||.|| ( ) || < >≤ xx x x tt t t 注：当 2 x ( )t = a 1 x ( )t (其中a 为任意复数)时等式成立 (2-2-34b)