本章内容 >第二章基础理论 >2.1信道编码定理 >2.2硬判决与软判决 >2.3基本信道模型及其信道容量 >2.4MAP与ML算法 >2.5因子图与和积算法 2
本章内容 第二章 基础理论 2.1 信道编码定理 2.2 硬判决与软判决 2.3 基本信道模型及其信道容量 2.4 MAP与ML算法 2.5 因子图与和积算法 2
2.1信道编码定理 >信道编码定理：对于一个有噪信道，信道容量为C,只要数 据传输速率R<C,总会存在一种编码方法，使编码错误概率 p随着码长的增加，按指数下降到任意小的值（用最大似然 译码)。即可以通过编码使通信过程实际上不发生错误，或 使错误控制在允许的数值下。 >根据信息论，信道容量是由输入和输出的最大互信息量决定 的，即C=maxI(X,Y) p(x) 其中X和Y分别代表信道的输入和输出；p(x)是X的概率密度 函数；IX,Y)为变量X和Y的互信息，其定义将根据具体信道 类型(BSC、AWGN等)的不同有所区别。 3
2.1 信道编码定理 信道编码定理：对于一个有噪信道，信道容量为C，只要数 据传输速率R<C，总会存在一种编码方法，使编码错误概率 p随着码长n的增加，按指数下降到任意小的值（用最大似然 译码）。即可以通过编码使通信过程实际上不发生错误，或 使错误控制在允许的数值下。 根据信息论，信道容量是由输入和输出的最大互信息量决定 的，即 其中X和Y分别代表信道的输入和输出；p(x)是X的概率密度 函数；I(X,Y)为变量X和Y的互信息，其定义将根据具体信道 类型（BSC、AWGN等）的不同有所区别。 ( ) max ( , ) p x C I X Y 3
2.2硬判决和软判决 >假设X和Y分别为q元符号和Q元符号，对于离散信道，输入 变量X和输出变量Y之间的互信息IX,Y)定义为： 1x,D=22px,)p0y1x)1o8. p(yx,) j=0i=0 p(y) 对上式取最大值，就得到硬判决的信道容量Chard。当输入输 出均为二元离散符号时，信道就可以用BSC模型来描述。 >若系统采用软判决译码，信道译码器的输入为连续值，即 y∈（∞，+∞），则信道等效为离散输入连续输出信道，X和 Y之间的互信息IX,Y)为： 1X,Y)）=∑p0x,)pyx,)log p(yx) p(y) 其中p(yk)表示发送x时解调器输出y的概率密度函数。对上 式取最大值，就得到软判决时的信道容量Co
2.2 硬判决和软判决 假设X和Y分别为q元符号和Q元符号，对于离散信道，输入 变量X和输出变量Y之间的互信息I(X,Y)定义为： 对上式取最大值，就得到硬判决的信道容量Chard。当输入输 出均为二元离散符号时，信道就可以用BSC模型来描述。 若系统采用软判决译码，信道译码器的输入为连续值，即 ，则信道等效为离散输入连续输出信道，X和 Y之间的互信息I(X,Y)为： 其中p(y|xj )表示发送xj时解调器输出y的概率密度函数。对上 式取最大值，就得到软判决时的信道容量Csoft。 1 1 2 0 0 ( | ) ( , ) ( ) ( | )log ( ) q Q i j j i j j i i p y x I X Y p x p y x p y y ( , )1 2 0 ( | ) ( , ) ( ) ( | )log ( ) q j j j j p y x I X Y p x p y x dy p y 4
2.3基本信道模型及其信道容量 2.3.1BSC信道 1-p >设传错概率为p,二进制对称信道(BSc)模型为： 其信道容量为： ()p.los.1+plog,(p)+-plo.(1-) j=0i=0 p(y) 我们知道，对于一个集合X,其熵为：H(X)=∑p(x)log 因此，BSC的信道容量为：C=maxI(X,Y)=1-H(p) p(x) 即每个信息比特携带1一H(p)的信息。若采用码率为R的编码，在传输错 误概率为p时，每个码字比特携带的信息量为R(1-H(p),它不能超过信道 容量，因此有： C R(1-H(p)≤C→R≤ 1-H(p) 张忠培等著，《现代编码理论与应用》，国防工业出版社，2007 5
2.3 基本信道模型及其信道容量 我们知道，对于一个集合X，其熵为： 因此，BSC的信道容量为： 即每个信息比特携带1－H(p)的信息。若采用码率为R的编码，在传输错 误概率为p时，每个码字比特携带的信息量为R(1-H(p))，它不能超过信道 容量，因此有： 0 1 0 p 1 p 1-p 1-p 1 1 2 2 2 ( ) 0 0 ( | ) max ( , ) ( ) ( | )log 1 log ( ) (1 )log (1 ) ( ) i j j i j p x j i i p y x C I X Y p x p y x p p p p p y 1 ( ) ( )log x X ( ) H X p x p x ( ) max ( , ) 1 ( ) p x C I X Y H p (1 ( )) 1 ( ) C R H p C R H p 5 张忠培等著，《现代编码理论与应用》，国防工业出版社，2007 设传错概率为p，二进制对称信道(BSC)模型为： 其信道容量为： 2.3.1 BSC信道
>对于AWGN信道，采用BPSK调制时BSC信道传输错误概率p为： -震 >若要卫→0，则实际信噪比只需大于R→0时的信噪比（临界点） 即可。 liml-p》=lmS=lim 1+plog2(p)+(1-p)log2(1-p) 进行求导 p->0 R0RR→0 R ln(p)的导数为p'1p】 lo.2o.(-P)+) > 错误概率p腿一个0函数，()-2元e”小，其导数为： -REb b一e No 2VπRWo 6
对于AWGN信道，采用BPSK调制时BSC信道传输错误概率p为： 若要 ，则实际信噪比只需大于 时的信噪比（临界点） 即可。 由于 错误概率p是一个Q函数， ，其导数为： 6 0 0 2 2 E RE s b p Q Q N N p 0 R 0 2 2 0 0 0 2 2 0 1 log ( ) (1 )log (1 ) lim(1 ( )) lim lim 1 1 lim log ( ) log (1 ) (1 ) ( ) (ln 2) ( ln( ) / ln 2)(1 ) p R R R C p p p p H p R R p p p p p p p p p p p p p 进行求导 的导数为 0 0 0 2 1 lim lim 2 b R R RE p Q N 2 1 / 2 ( ) 2 y x Q x e dy 0 0 1 2 REb Eb N p e RN