信息论与编码技术第5章无失真信源编码2024
2024
无失真信源编码算法5.1香农编码5.2费诺编码5.3哈夫曼编码5.4常用的变长编码算法2/信息论与编码技术-无失真信源编码定理
信息论与编码技术-无失真信源编码定理 2/ 5.1 香农编码 5.2 费诺编码 5.3 哈夫曼编码 5.4 常用的变长编码算法
5.1香农编码设有离散无记忆信源XiX2xZp(x)=1p(x)p(x2)i=11i= 1,2....ql;logp(s;)L< H,(S)+1r--码元符号数()时(a;为整数)只有当信源符号概率筛呈现L才能达到极限值,(S)33/信息论与编码技术-无失真信源编码定理
信息论与编码技术-无失真信源编码定理 3/ 3 = = n i i n n p x p x p x p x x x x 1 2 1 1 2 , ( ) 1 ( ) ( ) . ( ) . 设有离散无记忆信源 L H S 1 i 1 2 q p s 1 l r i i + = = ( ) , ,., ( ) log ( ). ( ), L H S a r 1 r i ai 才能达到极限值 只有当信源符号概率分布呈现（ ） 时 为整数 r-码元符号数
香农编码方法的步骤按信源符号的概率从大到小的顺序排队不妨设 p(x)≥ p(x)≥ ......≥ p(x,)令p(xo)=0，用pa(x,),j=i+l表示第i个码字的累加概率(x;)=乞p(x;)i=1-log2p(xi) ≤ ki < 1 - log2p(xi)把pa(xi)用二进制数表示，用小数点后的k位作为x;的码字
4 1 2 3 4 香农编码方法的步骤 按信源符号的概率从大到小的顺序排队 ( ) ( ) . ( ) 1 2 n 不妨设 p x p x p x 表示第 个码字的累加概率 令 ，用 i p x p x j i ( 0 ) = 0 a ( j ), = +1 = − = j 1 i 1 pa x j p xi ( ) ( ) 把𝑝𝑎 𝑥𝑖 用二进制数表示，用小数点后的𝑘𝑖 位作为𝑥𝑖的码字 −log2𝑝 𝑥𝑖 ≤ 𝑘𝑖 < 1 − log2𝑝 𝑥𝑖
例设有一单符号离散无记忆信源Xx1X2XsX3X40.20.10.250.150.050.25P(X)试对该信源编二进制香农码
5 例 = ( ) 0.25 0.25 0.2 0.15 0.1 0.05 2 3 4 5 6 x1 x x x x x P X X 设有一单符号离散无记忆信源 试对该信源编二进制香农码