2.2.2变长码 若要实现无失真编码,不但要求信源符号与每个符号 的码字一一对应,而且要求码符号序列与信源符号序 列也一一对应。也就是要求所编的码为惟一可译码。 我们首先分析等长编码,再分析变长编码,以做比较
2．2．2 变长码 若要实现无失真编码，不但要求信源符号与每个符号 的码字一一对应，而且要求码符号序列与信源符号序 列也一一对应。也就是要求所编的码为惟一可译码。 我们首先分析等长编码，再分析变长编码，以做比较
等长码基本问题 等长码特点:4= 要求: (1)s;4>o 惟一可铧鸸 (2)高效 问题: 例1.「S P(s)u2141/81/161/16 等长竭鸸 C1=0.01010120big奇异码 C2=(00010101701g
一、等长码基本问题 等长码特点： C2={000,001,100,101,111}，l 2 =3 code/sig i l l = 要求： i i (1)s 问题： l =？ 例1． 1 2 3 4 5 1 2 1 4 1 8 1 16 1 16 i S s s s s s P( s ) / / / / / = C1={00,01,10,11,10}，l 1=2 code/sig (2)高效
等长码基本问题 要求:可能的码字数消息数 消息数 对基本信源编码:S∈{1…,SW} 码字数念r(ogA) W=(x1x12…x) ∈x 1 (对例1,q=5,…∴要求:225,即1≥3) 对N长源编码:S={a1,a2,…}分团=(x,…x ∴r≌q(LNog,q)
一、等长码基本问题 可能的码字数≥消息数 对基本信源编码： 对N长源编码： 1 { , , } { } S s s W q i 1 1 2 { , , , } { ( , , )} N l N S x x = = q i i i 消息数 码字数：r l 1 2 1 ( ) { , } i i i il ij r W x x x x x x = ∴ r l≥q (l≥logr q) （对例1，q=5, ∴要求：2 l≥5，即l ≥ 3） ∴ r l≥q N (l/N≥logr q)
、等长码基本问题 例1(续) S的三次扩展:s:{(1=(ss,…,2=(s55 则,q=53=125种<128-27 7 code/ sigs 平均码长:IN=7/3=233 code/sig<l2 ※等长码码长要求lN≥logA(保证唯一可译码,无失真) ※logg为下限 ※扩展信源编码的平均码长<基本源编码的平均码长
一、等长码基本问题 则，q=5 3=125种<128=2 7 ∴ l=7 code/3_sigs 平均码长：l/N=7/3=2.33 code/sig <l 2 例1（续） S的三次扩展： ※ 等长码码长要求l/Nlogr q（保证唯一可译码，无失真） ※ logr q为下限 ※ 扩展信源编码的平均码长<基本源编码的平均码长 3 3 1 1 1 1 5 5 5 5 S s s s s s s : ( ), , ( ) = =
等长码基本问题 例2.英文源S:{26个字母+空格符号},q=27 由q=27<2,得l B5 code/sig 寨效率 H(S=1.4 bit/sig ∴编码后信息传输率:R=H(S)∥=1.4/5=0.28 bitcode 二元信源0,1:H(X)ma2=1 bit/code 編鸡觉余熹式
一、等长码基本问题 例2．英文源S：{26个字母+空格符号} ，q=27 由q=27≤2 l ，得l≥5 code/sig ∴编码后信息传输率：R=H(S)/l=1.4/5=0.28 bit/code 二元信源[0,1]：H(X)max =1 bit/code ➢ H∞ (S)=1.4 bit/sig 平均码长太 长