第3章通信信源与信源编码 第3章通信信源与信源编码 3.1信源特性及信源分类 3.1.1信源的基本特性 通信信源是通信系统的源端，它所产生的输出信号是一种随机过程。 信源可分为有记忆和无记忆两大类，也可以分为连续和离散两大类。 无记忆信源在不同时刻所产生的输出是相互独立的，它在任意不同时刻的两个样点都是两 个互不相关的随机变量。 有记忆信源在不同时刻所产生的输出值是相互关联的，当前输出值的概率分布与前面出现 的值有关，例如：那些可用马尔可夫过程、短时平稳过程或循环平稳过程描述的信号，都可 以看作是由有记亿信源所产生的输出。 通信信源所产生的输出是用来携带信息进行通信的：因此无论是离散信源还是连续信源， 一般都是利用收发两端共知的一个由有限个信源字符etter或symbol)组成的字符集 (alphabet)来表示信息的：按表达信息内容的需要，一次又一次地从字符集中选择一个适当 的字符作为输出来携带信息进行传输。这些信源字符的传输和存储，一般采用某种物理量（例 如：声、光、电)的一组数值或一种波形来表现，因此有些表现为离散信源，有些表现为连续 信源。 3.1.2离散信源 一个离散信源所发出的信源字符，一般属于一个字符数目有限的字符集，例如汉字的国标 一级字表，共有3763个常用汉字。一个通信系统的发端和收端都利用同一个字符集，以便进 行编码和译码。 无记忆离散信源的统计特性可以用字符集中各种字符出现的概率分布来描述：当它为均匀 分布时携带信息的效率最高。 有记忆离散信源当前输出什么字符，与过去或将来输出的字符统计相关。这种相关性在时 域表现为马尔可夫性，在频域表现为功率密度谱不平坦，即自相关函数不是6函数。有记忆 信源的统计特性的描述，需要采用多维随机变量的联合概率分布及自相关函数来描述。信源 的记忆性或相关性反映信息的冗余性，因此同样大小信源字符集的信源，无记忆信源携带信 息的效率高于有记忆信源 西安电子科技大学
第 3 章 通信信源与信源编码 西安电子科技大学 1 第 3 章 通信信源与信源编码 3.1 信源特性及信源分类 3.1.1 信源的基本特性 通信信源是通信系统的源端，它所产生的输出信号是一种随机过程。 信源可分为有记忆和无记忆两大类，也可以分为连续和离散两大类。 无记忆信源在不同时刻所产生的输出是相互独立的，它在任意不同时刻的两个样点都是两 个互不相关的随机变量。 有记忆信源在不同时刻所产生的输出值是相互关联的，当前输出值的概率分布与前面出现 的值有关，例如：那些可用马尔可夫过程、短时平稳过程或循环平稳过程描述的信号，都可 以看作是由有记忆信源所产生的输出。 通信信源所产生的输出是用来携带信息进行通信的；因此无论是离散信源还是连续信源， 一般都是利用收发两端共知的一个由有限个信源字符(letter 或 symbol)组成的字符集 （alphabet）来表示信息的；按表达信息内容的需要，一次又一次地从字符集中选择一个适当 的字符作为输出来携带信息进行传输。这些信源字符的传输和存储，一般采用某种物理量(例 如：声、光、电)的一组数值或一种波形来表现，因此有些表现为离散信源，有些表现为连续 信源。 3.1.2 离散信源 一个离散信源所发出的信源字符，一般属于一个字符数目有限的字符集，例如汉字的国标 一级字表，共有 3763 个常用汉字。一个通信系统的发端和收端都利用同一个字符集，以便进 行编码和译码。 无记忆离散信源的统计特性可以用字符集中各种字符出现的概率分布来描述；当它为均匀 分布时携带信息的效率最高。 有记忆离散信源当前输出什么字符，与过去或将来输出的字符统计相关。这种相关性在时 域表现为马尔可夫性，在频域表现为功率密度谱不平坦，即自相关函数不是 δ 函数。有记忆 信源的统计特性的描述，需要采用多维随机变量的联合概率分布及自相关函数来描述。信源 的记忆性或相关性反映信息的冗余性，因此同样大小信源字符集的信源，无记忆信源携带信 息的效率高于有记忆信源
第3章通信信源与信源编码 3.13连续信源 连续信源产生的输出是一种连续随机过程，如果它是频带有限的，那么可以以适当的采 样间隔采样为离散随机过程。 3.1.4采样定理 ()随机过程的采样 如果随机过程X)是频带有限的，设带宽小于等于W,那么X()可以用一个以随机变量 序列{X(n/2W),n=-0,-l,0,l,∞}为系数的级数表示： X()=x(nl2W)Sine(2W(-n/2W)) (3-1-10 =2Xa12mm2-n12m】 2xW(t-n/2W) 其中{X(m/2)}为X)以时间间隔T=1《2)采样得到的样点序列；它是X)在正交基 函数族{Sinc(2xWt-n/2W》:n=0,-1,0,l,o}上的投影。 (2)确知信号的采样 【采样定理1】设连续信号x()的频谱X)是频带有限的，即当川≥人时X)-0;那么对 它进行均匀间隔采样得到离散信号{x(m)},如果采样间隔T满足T<12f),则由{x)}可以精 确地重构x),即： 0=2切1-n0 号(t-nT) (3-1-2a) 并且其频谱xX(刀也可由离散信号{x()}或其频谱)唯一确定，即 =72ms=0[品别 (3-1-2b) 【采样定理2】以T为采样间隔采样连续信号x()得到的离散信号{x(m)},无论是否满 足采样定理1的条件，二者的颜谱都存在如下关系： 0=Σxw+ (3-1-3) 西安电子科技大学
第 3 章 通信信源与信源编码 西安电子科技大学 2 3.1.3 连续信源 连续信源产生的输出是一种连续随机过程，如果它是频带有限的，那么可以以适当的采 样间隔采样为离散随机过程。 3.1.4 采样定理 (1)随机过程的采样 如果随机过程 X ( )t 是频带有限的，设带宽小于等于W ，那么 X ( )t 可以用一个以随机变量 序列{ X ( /2 ) n W ，n = −∞ − ∞ ,., 1, 0,1,., }为系数的级数表示： X ( )t = ( / 2 ) (2 ( / 2 )) n X n W Sinc W t n W π ∞ =−∞ ∑ − = sin[2 ( / 2 )] ( /2 ) n 2 ( /2 ) Wt n W Xn W Wt n W π π ∞ =−∞ − − ∑ (3-1-1) 其中{ X ( /2 ) n W }为 X ( )t 以时间间隔T W = 1/(2 ) 采样得到的样点序列；它是 X ( )t 在正交基 函数族{Sinc(2 ( / 2 )) πWt n W − ；n = −∞ − ∞ ,., 1,0,1,., }上的投影。 (2)确知信号的采样 【采样定理 1】设连续信号 x(t)的频谱 X ( ) f 是频带有限的，即当|f| c ≥ f 时 X ( ) f =0；那么对 它进行均匀间隔采样得到离散信号{ x( ) n }，如果采样间隔T 满足 1/(2 )c T < f ，则由{ x( ) n }可以精 确地重构 x( )t ，即： sin ( ) ( ) ( ) ( ) T n T t nT x n t nT x t π π +∞ =−∞ − − = ∑ (3-1-2a) 并且其频谱 X ( ) f 也可由离散信号{ x( ) n }或其频谱 X ( ) f 唯一确定，即 X ( ) f = 2 1 1 , 2 2 () ( ) j fnT n f T T T xne X f π +∞ − =−∞ − = ∈ ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ ∑ (3-1-2b) 【采样定理 2】 以 T 为采样间隔采样连续信号 x( )t 得到的离散信号{ x( ) n }，无论是否满 足采样定理 1 的条件，二者的频谱都存在如下关系： () ( ) m m Xf Xf T +∞ =−∞ = + ∑ (3-1-3)
第3章通信信源与信源编码 3 这个定理的(3-l-3)式给出了因不满足采样定理1而产生频谱混叠失真(aliasing)的规律。 【推论】设采样率为的离散信号{(m)}的频谱为求)，对{m)}进行g:1的下采样后得 到采样率为5/g离散信号{礼m)},其颜谱为)，则这两个频谱总存在以下关系： 0=∑U+mM1g) (3-1-4) (f)的周期为方，而)的周期为51q。 【采样定理3】设x()是一个下界频率为f和上界频率为的带通实信号，且满足 人>m2:若采样频率了=1/T满足 m=12,3. (3-1-5 其中m为某个合适的正整数，那么x)可用其采样信号{()}和∫，精确地重构而无混叠失真： 如果x()是一个频带为(，了m)的带通解析信号，那么重构信号不出现混叠失真的充分必要条 件是：fr>(m-) 定理证明的要点： 1)对x()以时间间隔T进行采样，相当于用一个周期为T周期性的Kroneker6函数与它 相乘，频域为二者之卷积；而周期性的Kroneker6函数的频谱函数是一个周期为l/T的6函 数。要想使二者的卷积不出现频谱混叠现象，只要在卷积过程中任何时刻都没有两个6脉冲同 时对准x()的正频率频谱和它的镜像频谱就行。 2)如果对于x()的复解析信号x()进行采样，即正交采样，则只要采样频率大于1/T, 在卷积过程中就没有两个δ脉冲同时对准频谱的现象，因为它没有镜像频谱。 3)当带通实信号的边界频率不满足f>f,2时，就找不到比2∫还低的采样频率，因此 不能采用上述定理。 采样信号的频谱是周期为的周期性频谱，每个周期中包含有一个正频率频谱X()的复 本和它的镜像的复本，如图3-1-1所示。 4X0成0 (m+1>24 图3-11带通信号及其采样信号的频谱 西安电子科技大学
第 3 章 通信信源与信源编码 西安电子科技大学 3 这个定理的(3-1-3)式给出了因不满足采样定理 1 而产生频谱混叠失真（aliasing）的规律。 【推论】设采样率为 Tf 的离散信号{x( ) n }的频谱为 X ( ) f ，对{x( ) n }进行q :1的下采样后得 到采样率为 / T f q 离散信号{ x( ) m }，其频谱为 X ( ) f ，则这两个频谱总存在以下关系： 1 0 () ( ) / q m T X f X f mf q − = = + ∑ (3-1-4) X ( ) f 的周期为 Tf ，而 X ( ) f 的周期为 / T f q 。 【采样定理 3】设 x(t) 是一个下界频率为 Lf 和上界频率为 Hf 的带通实信号，且满足 Lf > Hf /2；若采样频率 T f =1/ T 满足 2 2 1 H L T f f f m m < < + m =1,2,3,. (3-1-5) 其中m 为某个合适的正整数，那么 x(t)可用其采样信号{x( ) n }和 Lf 精确地重构而无混叠失真； 如果 x(t)是一个频带为(, ) L H f f 的带通解析信号，那么重构信号不出现混叠失真的充分必要条 件是： Tf ( ) H L > − f f 。 定理证明的要点： 1）对 x(t)以时间间隔T 进行采样，相当于用一个周期为T 周期性的 Kroneker δ 函数与它 相乘，频域为二者之卷积；而周期性的 Kroneker δ 函数的频谱函数是一个周期为 1/T 的δ 函 数。要想使二者的卷积不出现频谱混叠现象，只要在卷积过程中任何时刻都没有两个δ 脉冲同 时对准 x(t)的正频率频谱和它的镜像频谱就行。 2）如果对于 x(t)的复解析信号x( )t 进行采样，即正交采样，则只要采样频率大于 1/T ， 在卷积过程中就没有两个δ 脉冲同时对准频谱的现象，因为它没有镜像频谱。 3）当带通实信号的边界频率不满足 Lf > Hf /2 时，就找不到比 2 Hf 还低的采样频率，因此 不能采用上述定理。 采样信号的频谱是周期为 Tf 的周期性频谱，每个周期中包含有一个正频率频谱 X ( ) f 的复 本和它的镜像的复本，如图 3-1-1 所示。 . . -fT -fT fT fT -kfT -kfT kfT kfT fL fL fH fH -(k+1)fT -(k+1)fT (k+1)fT (k+1)fT mfT<2fL (m+1)fT>2fH f f X(f)/X(f) 图 3-1-1 带通信号及其采样信号的频谱
第3章通信信源与信源编码 3.2信息的度量和信源熵 3.2.1信息量的度量单位 ·信息的度量和单位： 因此用L0g(1/P)来衡量信源字符集中第1个信源字符所携带的信息量。 当Log,1/P)-1时，该字符所携带的信息量定义为1比特(bi): 当LI/P)=1时，该字符所携带的信息量定义为1奈特Nat: 当Logo(1/P)=1时，该字符所携带的信息量定义为1哈特Hart): 1nate1.44bit,1Hart3.32bit:数字通信中通常以二进制为基础，因此采用比特作为信息量 单位最为常用。 。互信息： 设两个离散随机变量X和Y的取值范围分别为{：，书，x}和{，2，y),其概率分布分 别为{P(x,P(x,P(x)}和{P(y )P(y,PUy)}:如果二者存在相关性，定义Ay)为在出现 事件了=y,的条件下事件X=x出现的概率，那么事件y=y,的出现提供关于事件X=x的信息 量定义为： Ixy)=Log[P(x,Iy,)/Px】 (3-2-1) I(xy,)称为X=x和Y=y,之间的互信息。 ·平均互信息： 离散随机变量X和Y之间的平均互信息为： P(xy) xn-2Mux)-22us品 (3-2-2) X和y之间的平均互信息可以用条件熵来表示： I(X:Y)=H()-H(XY)=H(Y)-H(YX) (3-2-3) 3.2.2信源熵 一个信源的熵定义为该信源每发送一个字符所携带信息量的平均值。 ()无记忆离散信源的熵 如果一个信源共有n个信源符号{x,x2,xn},各个符号的概率分布为 西安电子科技大学
第 3 章 通信信源与信源编码 西安电子科技大学 4 3.2 信息的度量和信源熵 3.2.1 信息量的度量单位 z 信息的度量和单位： 因此用 (1/ ) Log Pi 来衡量信源字符集中第i 个信源字符所携带的信息量。 当 2 og (1/ ) L Pi =1 时，该字符所携带的信息量定义为 1 比特(bit)； 当 (1/ ) Ln Pi =1 时，该字符所携带的信息量定义为 1 奈特(Nat)； 当 10 og (1/ ) L Pi =1 时，该字符所携带的信息量定义为 1 哈特(Hart)； 1nat≈1.44bit，1Hart≈3.32bit；数字通信中通常以二进制为基础，因此采用比特作为信息量 单位最为常用。 z 互信息： 设两个离散随机变量 X 和Y 的取值范围分别为 1 2 { , ,., }n x x x 和 1 2 { , ,., ) m y y y ，其概率分布分 别为{ 1 2 ( ), ( ),., ( ) Px Px Pxn }和{ 1 2 ( ), ( ),., ( ) Py Py Pym }；如果二者存在相关性，定义 ( | ) i j P x y 为在出现 事件Y = j y 的条件下事件 X = i x 出现的概率，那么事件Y = j y 的出现提供关于事件 X = i x 的信息 量定义为： ( ; ) [ ( | ) / ( )] ij i j i I x y Log P x y P x = (3-2-1) (; ) i j I x y 称为 X = i x 和Y = j y 之间的互信息。 z 平均互信息： 离散随机变量 X 和Y 之间的平均互信息为： 1 1 ( ; ) ( , )( ; ) n m ij ij i j IXY Px y Ix y = = = ∑∑ 1 1 (, ) ( , ). ()( ) n m i j i j i j i j Px y P x y Log = = Px Py = ∑∑ (3-2-2) X 和Y 之间的平均互信息可以用条件熵来表示： I XY H X H X Y HY HY X ( ;) ( ) ( | ) () ( | ) = − =− (3-2-3) 3.2.2 信源熵 一个信源的熵定义为该信源每发送一个字符所携带信息量的平均值。 (1) 无记忆离散信源的熵 如果一个信源共有 n 个信源符号 { n x , x ,., x 1 2 } ，各个符号的概率分布为
第3章通信信源与信源编码 P(X=x)=p,i=1,2,n,并且n+p,++p。=1;那么其痛为： HX=-∑p,logp, (3-2-4) (2)有记忆信源的熵 有记忆随机过程的统计特性要用联合概率来描述，因此记忆长度为L的信源，其熵也应该 用L维联合概率分布函数P(X,X,X,)来计算，则相邻L个字符的熵为： H(X.X)=->P(X.X.X)log P(X.X:) (3-2-5) 平均每个字符的嫡为： H(X)=H(X.X.X)/L (3-2-6) 如果把前面L-1个随机变量作为条件，则可求得最后一个变量的熵，称为条件熵 H,(X2IX,X2,X)。那么，H(X)可表示为 H,(X)=[H(X)+H(X1X)+H(XlX,X)+.+H,(XzIX,X,X-/L(3-2-7) 条件概率空间的概率分布一般要比无条件概率空间的概率分布更集中，因此条件熵小于 无条件熵：条件越多其熵值越小，再考虑到平稳性，则有如下递增关系： H(XX.Xx)sHXX)=HXX) H(XX.X.X)=H(XIX.X:.X) ≤HXlX.XX=HXlX,XX4) (3-2-8) ≤HXIX)sHX) 由此可见(3-2-)式给出的平均每个字符的熵H,(X)的值，介于无条件熵HX)与条件熵 H(X2lX.X,X4)之间。 (仔)离散马尔可夫信源的熵 如果一个信源字符樂大小为的一阶马尔可夫信源所产生的输出是一个各态历经的一阶 平稳马尔可夫链，那么其极限分布（即各个信源字符出现的概率）可由下述K-C方程求得： p,=∑P,P j=12n (3-2-9) 其中{P,j=L,2,n}为状态转移概率矩阵，P:为前一步处于状态1，而当前一步转移到状态 西安电子科技大学
第 3 章 通信信源与信源编码 西安电子科技大学 5 ( ) 1, 2,., P Xx pi n i i == = ，并且 1 2 . 1 n pp p + ++ = ；那么其熵为： 1 ( ) log n i i i HX p p = = −∑ (3-2-4) (2) 有记忆信源的熵 有记忆随机过程的统计特性要用联合概率来描述，因此记忆长度为 L 的信源，其熵也应该 用 L 维联合概率分布函数 P( 1 2 , ,., X X XL )来计算，则相邻 L 个字符的熵为： 12 12 12 ( , ,., ) ( , ,., ) log ( , ,., ) HX X X PX X X PX X X L L L = −∑ (3-2-5) 平均每个字符的熵为： ( ) H X L = 1 2 ( , ,., ) / HX X X L L (3-2-6) 如果把前面 L −1个随机变量作为条件，则可求得最后一个变量的熵，称为条件熵 12 1 ( | , ,., ) HX XX X LL L− 。那么， ( ) H X L 可表示为： ( ) H X L = 1 [( ) H X + 2 1 HX X (|) + 3 12 HX X X (|,)+.+ 12 1 ( | , ,., )]/ HX XX X L LL L− (3-2-7) 条件概率空间的概率分布一般要比无条件概率空间的概率分布更集中，因此条件熵小于 无条件熵；条件越多其熵值越小，再考虑到平稳性，则有如下递增关系： 12 1 ( | , ,., ) HX XX X LL L− 23 1 ( | , ,., ) HX X X X L L− ≤ = 1 12 2 ( | , ,., ) HX X X X L L − − 1 23 2 ( | , ,., ) HX X X X L L − − ≤ = 2 12 3 ( | , ,., ) HX X X X L L − − 2 23 3 ( | , ,., ) HX X X X L L − − ≤ = 3 12 4 ( | , ,., ) HX X X X L L − − . 2 1 ≤ HX X (|) 1 ≤ H X( ) (3-2-8) 由此可见(3-2-7)式给出的平均每个字符的熵 ( ) H X L 的值，介于无条件熵 1 H X( ) 与条件熵 12 1 ( | , ,., ) HX XX X LL L− 之间。 (3) 离散马尔可夫信源的熵 如果一个信源字符集大小为 n 的一阶马尔可夫信源所产生的输出是一个各态历经的一阶 平稳马尔可夫链，那么其极限分布(即各个信源字符出现的概率)可由下述 K-C 方程求得： p j = ij n i ∑ pi p =1 j n = 1, 2,., (3-2-9) 其中{ pij ，ij n , 1, 2,., = }为状态转移概率矩阵, pij 为前一步处于状态 i,而当前一步转移到状态