《信息论与编码 Information Theory and Coding》课程教学资源（课件讲稿）第3章 信道模型和信道容量

(4)根据信道物理组成划分 可分为很多类，较常见的有：有线信 道、无线信道、光纤信道等 (5)根据信道的用户类型划分 两端（单用户）信道只有一个输入 端和一个输出端的单向信道。 多端（多用户）信道有多个输入端 和多个输出端的单向或双向信道。 第三章信道模型和信道 信息理论与编码 6 容量

第三章 信道模型和信道 容量 信息理论与编码 6 （4）根据信道物理组成划分 可分为很多类，较常见的有：有线信 道、无线信道、光纤信道等 （5）根据信道的用户类型划分 两端（单用户）信道 只有一个输入 端和一个输出端的单向信道。 多端（多用户）信道 有多个输入端 和多个输出端的单向或双向信道

2、离散无记忆信道（DMC, discrete memoryless channel X DMC {a1,42,…,a,} 6,b2…,b} 噪声干扰 DMC的数学模型记为 X,Bu,Y 第三章信道模型和信道 信息理论与编码 7 容量

第三章 信道模型和信道 容量 信息理论与编码 7 2、离散无记忆信道（DMC，discrete memoryless channel） DMC的数学模型记为 X Y 噪声干扰 DMC 1 2 { , , , }r a a a 1 2 { , , , }s b b b PY X| | { , , } X P Y Y X

转移（概率)矩阵 b b b P(ba)P(b2a) P(b,la) a P(ba) P(ba2)…P(ba2) [Px]= P(bla,)P(bIa,） P(b,a,) a, 信道加一个输入，必然会产生一个 输出，因比， 转移矩阵中各行$个转移概 率自身是完备的，即各行$个转移概率之和 为1。 ∑Pb,1a,)=1,i=1,2,r 第三章信道模型和信道 信息理论与编码 8 容量

第三章 信道模型和信道 容量 信息理论与编码 8 转移（概率）矩阵 信道加一个输入，必然会产生一个 输出，因此，转移矩阵中各行s个转移概 率自身是完备的，即各行s个转移概率之和 为1。 1 2 1 1 2 1 1 1 1 2 2 2 2 2 | 1 2 ( | ) ( | ) ( | ) ( | ) ( | ) ( | ) [ ] ( | ) ( | ) ( | ) s s s Y X r r s r r b b b P b a P b a P b a a P b a P b a P b a a P P b a P b a P b a a              1 ( | ) 1 , 1, 2, , s j i j P b a i r    

3、概率关系 输入概率：P(a,);i=1,2，…,r 输出概率：P(b,)；方=1,2，…，s 联合概率：P(a,b)i=1,2,…,rj=1,2,…s 转移概率：P(亿a,),i=1,2,…,rj=1,2,s 后验概率：P(a,b)i=1,2,…,T,=1,2,…,S 根据概率的乘法公式： P(a,b)=P(a,)P(b,l a,)=P(b,)P(a,b) 第三章信道模型和信道 信息理论与编码 9 容量

第三章 信道模型和信道 容量 信息理论与编码 9 3、概率关系 输入概率： 输出概率： 联合概率： 转移概率： 后验概率： 根据概率的乘法公式： ( ) ; 1, 2, , P a i r i  ( ) ; 1, 2, , P b j s j  ( , ) ; 1, 2, , ; 1, 2, , P a b i r j s i j   ( | ) ; 1, 2, , ; 1, 2, , P b a i r j s j i   ( | ) ; 1, 2, , ; 1, 2, , P a b i r j s i j   ( , ) ( ) ( | ) ( ) ( | ) P a b P a P b a P b P a b i j i j i j i j  

得到联合概率矩阵： b b P(a,b)P(a,b)… P(a,b,) a P(a,b) [Px]= P()P(az,b) P(a,b)P(a,,b2) .P(a,b) a [Px的第i行元素相加得输入概率P(a) 的第j列元素相加得输出概率Pb) 将[Px的第j列除以Pb),得到后验概率矩阵： 第三章信道模型和信道 信息理论与编码 10 容量

第三章 信道模型和信道 容量 信息理论与编码 10 得到联合概率矩阵： 的第i行元素相加得输入概率 的第j列元素相加得输出概率 将 的第j列除以 ，得到后验概率矩阵： 1 2 1 1 1 2 1 1 2 1 2 2 2 2 1 2 ( , ) ( , ) ( , ) ( , ) ( , ) ( , ) [ ] ( , ) ( , ) ( , ) s s s XY r r r s r b b b P a b P a b P a b a P a b P a b P a b a P P a b P a b P a b a              [ ] PXY ( ) P ai ( ) P bj [ ] PXY ( ) P bj