5.1编码器、各种码的定义1. 二元(代)码：码符号集为X=[0.1]，所得码字都是一些二元序列则为二元码.它是数字通信和计算机系统中最常用的一种码。2.同价（代）码：若码符号集X:{x1,X2",x}]中每个码符号x所占的传输时间相同,则所得的码C为同价码.一般二元码是同价码.电报中常用的摩尔斯码是非同价码，其码符号()和划一)所占的传输时间不同11/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 11/ 各种码的定义 1.二元(代)码: 码符号集为X={0,1},所得码字都是一些二元序列, 则为二元码.它是数字通信和计算机系统中最常用的一 种码。 2.同价(代)码: 若码符号集X:{x1 ,x2 ,.,xr }中每个码符号x所占的传输时 间相同,则所得的码C为同价码.一般二元码是同价码.电报 中常用的摩尔斯码是非同价码，其码符号(·)和划(－)所占 的传输时间不同
3.等长码（固定长度码或定长码）若一组码中所有(码字的)码长都相等（即L=L(i=12",q)),则称为等长码。如下表中的码1。码表信源特号出现概率信源符号p(s;)S;码2码1100p(s)S10110p(s2)S210101p(s3)S311111p(s)S44.变长码：码中的码字长短不一，如上图中的码2。12/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 12/ 3. 等长码(固定长度码或定长码): 若一组码中所有(码字的)码长都相等,(即Li=L(i=1,2,.,q)),则称为等长 码。如下表中的码1。 4.变长码: 码中的码字长短不一， 如上图中的码2。 信源符号 si 信源符号出现概率 p(si ) 码表 码1 码2 s1 p(s1 ) 00 1 s2 p(s2 ) 01 10 s3 p(s3 ) 10 101 s4 p(s4 ) 11 111
5.非奇异码：一组码中所有的码字都不相同。即S w,w,ew.S,+s,W,+Wj, S,s,es6.奇异码：一组码中有相同的码字，即S;+$, 但W,=W,码1奇异，码2非奇异。码3码1码2码4信源符符号出现的号S;概率p(s)00111/2S11/411100110S21/80000100001S31/8110110000001S413/信息论与编码技术无失真信源编码定理
信息论与编码技术-无失真信源编码定理 13/ 5.非奇异码： 一组码中所有的码字都不相同。即 s s W W , s ,s S W ,W W. i j i j i j i j 6.奇异码：一组码中有相同的码字，即 i j Wi Wj s s，但 = 码1奇异，码2非奇异。 信源符 号 si 符号出现的 概率p(si ) 码1 码2 码3 码4 s1 1/2 0 0 1 1 s2 1/4 11 10 10 01 s3 1/8 00 00 100 001 s4 1/8 11 01 1000 0001
7.码的N次扩展码码C把信源S中的符号s：一一变换成码C中的码字W则码C的N次扩展码是所有N个码字组成的码字序列的集合。若码C={W, W,. W,), 其中 s, eSα>W,={x,g.,h, x, eX则N次扩展码为B={B, ={W,W,...Wl (i,i... in = ,...q) i=l... qN)每个码字B，与N次扩展信源SN中每个信源符号序列α,={s,S,S子一一对应。例子：信源S的概率空间如下，二元信道传输，S>0或1码表信源待号信源待号出SSS4S2S3现概率S;P(s)]=Lp(si)p(s2)p(s3)p(s4))码1码2p(s,)100S1p(s)Zl-1p(s:)= 10110p(s2)S210101p(ss)S311111p(s)S414/信息论与编码技术-无失真信源编码定理
信息论与编码技术-无失真信源编码定理 14/ 7.码的N次扩展码 码C把信源S中的符号si一一变换成码C中的码字Wi,则码C的N次扩展码是 所有N个码字组成的码字序列的集合。 若码 C = {W1，W2，.，W q }, 其中 s S W { x x x }, x X i l i l i i = i i . i i 1 2 则N次扩展码为 B {B {W W W }| i i i q i q } N = i = i 1 i 2 . i N ( 1 , 2 ,., N =1,., ) =1,.， 每个码字Bi 与N次扩展信源S N中每个信源符号序列 {s s s } N i i i i . 1 2 = 一一对应。 例子：信源S的概率空间如下，二元信道传输，si→0或1 = p(s ) p(s ) p(s ) p(s ) s s s s P(s) S 1 2 3 4 1 2 3 4 p(s ) 1 q i=1 i = 信源符号 si 信源符号出 现概率 p(si ) 码表 码1 码2 s1 p(s1 ) 00 1 s2 p(s2 ) 01 10 s3 p(s3 ) 10 101 s4 p(s4 ) 11 111
，可以求得信源S的任意N次扩展码、码1的二次扩展码。1）信源S的二次扩展信源S2=[β1=S1S1,β2=S1S2,β3=S1S3,β16=S4S4]，共qN=42=16个符号。2）S的二次扩展码信源巷号码字信源号码字信源待号信源待号出码表βiB;βiB;现概率Si码1p(s)β10000=W,W,=B.....00p(s)S1β2βs0001=W,W2=B01p(s2)S2β3βs0010=W,Ws=B310p(s3)S3β4β161111=W,W=B160011=W,W=B411p(ss)S415/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 15/ 可以求得信源S的任意N次扩展码。 码1的二次扩展码: ◦ 1)信源S的二次扩展信源 S 2={𝛽1=s1s1,𝛽2=s1s2,𝛽3=s1s3,.𝛽16=s4s4}，共q N=42=16个符号 ◦ 2）S的二次扩展码 信源符号 𝛽i 码字 Bi 信源符号 𝛽i 码字 Bi 𝛽1 0000=W1W1=B1 . . 𝛽2 0001=W1W2=B2 𝛽5 𝛽3 0010=W1W3=B3 𝛽5 𝛽4 0011=W1W4=B4 𝛽16 1111=W4W4=B16 信源符号 si 信源符号出 现概率 p(si ) 码表 码1 s1 p(s1 ) 00 s2 p(s2 ) 01 s3 p(s3 ) 10 s4 p(s4 ) 11