第三章无失真信源编码 无失真编码概述 ●是长信源编码多 变长信源编码 实用的无失真信源编码方法举 例
第三章无失真信源编码 无失真编码概述 定长信源编码 变长信源编码 实用的无失真信源编码方法举 例
§3H无失真编码概述-1 ●通信中信息传输所要解决的基本问题是: 有效性和可靠性 在不失真或允许一定失真条件下,如何用尽 可能烧得符号来传送信源信息以提高信息传 输率 信源编码 ●在信道受干扰情况下,如何增加信号的抗干 扰能力同时又使得信息传输率最大—信道 编码
§3.1无失真编码概述-1 通信中信息传输所要解决的基本问题是： 有效性和可靠性 ⚫ 在不失真或允许一定失真条件下，如何用尽 可能烧得符号来传送信源信息以提高信息传 输率－－－信源编码 ⚫ 在信道受干扰情况下，如何增加信号的抗干 扰能力同时又使得信息传输率最大——信道 编码
§3H无失真编码概述-2 离散、无失真、无记忆信源编码的—般模型 入 出 X={x1,x2.n} 信源 总组合数 编码 总码组合数: Y∈{yt,y2…ym
§3.1无失真编码概述-2 离散、无失真、无记忆信源编码的一般模型： 总组合数： 总码组合数： L n K m 入 出 信源 编码 X={x1,x2…xn} Y=(Y1,Y2,.Yk) Y∈{y1,y2….ym}
§3.1无失真编码概述-3 ●问题:能否进行无失真编码,怎样进行无失真编码 若:不考虑信源统计特性 ●应满足条件:(无失真:n≤h 相互矛盾 有效:n≥m 由n 09n ogn 结论:①当n=m时,K>L不有效 ②当K=L时,mn,亦不满足有效性 ·解决办法:引入信源统计特性
§3.1无失真编码概述-3 问题：能否进行无失真编码，怎样进行无失真编码 若：不考虑信源统计特性： 应满足条件： 相互矛盾！ L K L n m n 有效： 无失真： K m log log L K KL n n m L m 由 • 结论：①当 n = m 时，K≥L 不有效。 ②当K = L 时，m≥n，亦不满足有效性 • 解决办法： 引入信源统计特性
§3H无失真编码概述-4 考察无失真条件 K gm 分别表示等概条件下的消息熵H(X)gn与码字熵HY=1gm之比, 考虑信源的实际统计特性(非等概),实际消息熵为(X)=∑ p, log p 代入无失真条件得:k少 此时:即使m=n,只要gm>H(Y)就有可能实现K<L 即无失真与有效性同时满足。 ●具体实现时:定长与变长编码
§3.1无失真编码概述-4 考察无失真条件： 分别表示等概条件下的消息熵 与码字熵 之比， 考虑信源的实际统计特性（非等概），实际消息熵为： 代入无失真条件得： 此时：即使m=n,只要 就有可能实现KL<L。 即无失真与有效性同时满足。 具体实现时：定长与变长编码 log log L KL KL n n m L m ( ) log i i i H X p p = − ( ) log KL H X L m log ( ) m H X H(X)=logn H(Y)=logm