第4章离散无记忆信源无失真 编码 2010年7月21日1时4分 信息理论与编码 1
2010年7月21日1时4分 信息理论与编码 1 第4章 离散无记忆信源无失真 编码
主要内容 1、基本概念 2、码的唯一可译性 3、定长编码定理和定长编码方法 4、变长编码定理 5变长编码方法 6几种实用的无失真信源编码 第四章离散无记忆信源 信息理论与编码 2 无失真编码
第四章 离散无记忆信源 无失真编码 信息理论与编码 2 主要内容 1、基本概念 2、码的唯一可译性 3、定长编码定理和定长编码方法 4、变长编码定理 5 变长编码方法 6 几种实用的无失真信源编码
1、基本概念 信源发出的消息序列通常不能直接送 给信道传输，需要经过信源编码和信道编 码。 信道编码的目的是降低差错率，提高 传送的可靠性。 信源编码的目的是为了降低冗余度 提高通信的有效性 编码是一种映射，是将输入符号映射 成码字。无失真编码，映射一一对应，可 逆 第四章离散无记忆信源 信息理论与编码 3 无失真编码
第四章 离散无记忆信源 无失真编码 信息理论与编码 3 1、基本概念 信源发出的消息序列通常不能直接送 给信道传输，需要经过信源编码和信道编 码。 信道编码的目的是降低差错率，提高 传送的可靠性。 信源编码的目的是为了降低冗余度， 提高通信的有效性。 编码是一种映射，是将输入符号映射 成码字。无失真编码，映射一一对应，可 逆
编码器模型： 信 W 源 编码器 4,42,,2g} {w02…,wg} X {x12,X,} 码长：码字所含码元的个数 定长编码：所有码字均有相同的码长，对应 的码叫做定长码(FLC,Fixed Length code);否则为变长编码。 第四章离散无记忆信源 信息理论与编码 4 无失真编码
第四章 离散无记忆信源 无失真编码 信息理论与编码 4 编码器模型： 码长：码字所含码元的个数 定长编码：所有码字均有相同的码长，对应 的码叫做定长码(FLC，Fixed Length code)；否则为变长编码。 编码器 1 2 { , , , }q u u u 1 2 { , , , }r x x x U W 1 2 { , , , } w w wq X 信 源
平均码长：码中所有码字码长的统计平均， 即7-之Pw为-之PU,Y 码元/符号 编码效率：编码后的实际信息率与编码后的 最大信息率之比 R H(X)H(U)T H(U) max 0X logr llogr 冗余度： Ye =1-nc 第四章离散无记忆信源 信息理论与编码 5 无失真编码
第四章 离散无记忆信源 无失真编码 信息理论与编码 5 平均码长：码中所有码字码长的统计平均， 即 码元/符号 编码效率：编码后的实际信息率与编码后的 最大信息率之比 冗余度： 1 1 ( ) ( ) q q i i i i i i l P w l P u l max max ( ) ( ) ( ) ( ) log log c R H X H U H U l R H X r l r c c 1