11111111111111111111112、2率失真函数的定义11在B,中寻求一个pm（即寻求一个特定的编码器）使I(U;V)最小，这个最小的平均互信息量称为信息率失真函数，简称率失真函数，记为R(D)，即/L111R(D)= min I(U;V)=min( I(U;V);D≤D)/111当最小值不存在时，可用下界值代替：11R(D)= inf I(UV)1111PuLB.对于离散信源,R(D)可表示成11111111111P(y, lu,)R(D)(), )g11111mB台R(D)是保真度准则（D≤D）下所必须传输的信息率，也是压缩编码器输出可能达到的最低率。11111111[11111111111景1111111111
在 中寻求一个 （即寻求一个特定的编码器）使 最小，这个最 小的平均互信息量称为信息率失真函数，简称率失真函数，记为 ，即 当最小值不存在时，可用下界值代替： 对于离散信源， 可表示成 是保真度准则（ ）下所必须传输的信息率，也是熵压缩编码器 输出可能达到的最低熵率。 11 2、率失真函数的定义 BD PV|U I(U;V ) R(D) R(D) = min PV|U ÎBD I(U;V ) = min{I(U;V );D £ D} R(D) = inf PV|U ÎBD I(U;V ) R(D) R(D) = min PV|U ÎBD P(ui )P(vj | ui )log P(vj | ui ) P(vj ) j=1 s å i=1 r å R(D) D £ D
111113、序列的信息率失真函数在序列情形下，可用N次扩展信源U和次扩展信道(UPVM讨论。试验信道为所有满足保真度准则D(N)≤ND的信道的集合，这些试验信道的转移概率组成集合BNp：1Bup = [ Purux; D(N)≤ ND)BNp必存在一个转移概率（代表某个试验信道）使I(UN;V)最小，这个最小值就是N次扩展信源u的信息率失真函数，记为R(ND)：11R(ND)=,min I(UN;VN)=min[I(UN;VN);D(N)≤ND)1111PN.NLBN11若信源和信道均无记忆，则有11111111R(ND)=min[I(UN;V");D(N)≤ND)=min[ NI(U;V);D≤ D)1111111NR(D)编码后的信息率R就是通过信道的平均互信息量I(U;V，为便于传输和处理，希望将信息率R压缩到最小，其最小值就是R(D)。11若R<R(D)，就不能满足保真度准则了111121
在序列情形下，可用 次扩展信源 和 次扩展信道 讨论。 试验信道为所有满足保真度准则 的信道的集合，这些试验信道 的转移概率组成集合 ： 必存在一个转移概率（代表某个试验信道）使 最小，这个最 小值就是 次扩展信源 的信息率失真函数，记为 ： 若信源和信道均无记忆，则有 编码后的信息率 就是通过信道的平均互信息量 ，为便于传输和 处理，希望将信息率 压缩到最小，其最小值就是 。 若 ，就不能满足保真度准则了 12 3、序列的信息率失真函数 N U N N {U N ,P V N |U N ,V N } D(N) £ ND BND BND = P V N |U N { ;D(N) £ ND} BND I(U N ;V N ) N U N R(ND) R(ND) = min P V N|U N ÎBND I(U N ;V N ) = min I(U N ;V N { );D(N) £ ND} R(ND) = min I(U N ;V N { );D(N) £ ND} = min{NI(U;V );D £ D} = NR(D) R I(U;V ) R R(D) R < R(D)
116.2.2信息率失真函数的性质11111、信息率失真函数的定义域1111R(D)定义域是[0,Damx]由于D是失真度d(u,）的统计平均，而d(u,)非负，因此p也非负，其下界是零，对应于无失真情况。由R(D)的定义式可知其非负，下限值为零，取满足R(D)=0的所有D中最小者为R(D)定义域的上限值Dmx。R(D)=意味着I(U;V)=0，这时试验信道输入与输出是互相统计独立，即P(ylu)=P(y)，这时平均失真为111D-ZZP(u,)P(y,)d(u,y)1/1111111取上式D的最小值为Dmx1E11111=mnP(u)P(y)d(u,)福1111-=minP() P(u,)d(u,y,)11111E.(=l111[111福111111111311111111
定义域是 由于 是失真度 的统计平均，而 非负，因此 也非负，其下 界是零，对应于无失真情况。 由 的定义式可知其非负，下限值为零，取满足 的所有D中最 小者为 定义域的上限值 。 意味着 ，这时试验信道输入与输出是互相统计独立， 即 ，这时平均失真为 取上式 的最小值为 ， 13 6.2.2 信息率失真函数的性质 1、信息率失真函数的定义域 R(D) [0,D max ] D d(ui ,vj ) d(ui ,vj ) D R(D) R(D) = 0 R(D) D max R(D) = 0 I(U;V) = 0 P(vj |ui ) = P(vj ) D = P(ui )P(vj )d(ui ,vj ) j=1 s å i=1 r å D D max Dmax = min P(ui )P(vj )d(ui ,vj ) j=1 s åi=1 r å = min P(vj ) P(ui )d(ui ,vj ) i=1 r å j=1 s å
重1例6.2设输入概率和失真矩阵分别为Ui0201-ui1[d][Pu] = ［1/32/3］1/0u21求Dmax1-解由式（6-2-11）得ZP(v,) P(u;)d(ui,0,)Dmaxmih=minP(>[×0+×]+P()[×1+×])(号P(u)+P(a))min3根据概率的完备性，即P(u) +P(V2 )1有1P(u)Dmax=min33当P()=,即[P,]=[01时，得到最小值111工P(u1)KO-Dmax=min3333314蒙1
14
2、信息率失真函数是D的下凸函数若有孔、2及D、D、D，满足+2=1和D=2D+2D，则有R(D)≤2,R(D)+2,R(D,)证明：设Pvu）是达到R(D）的转移概率，设P（vu）是达到R(D）的转移概率，针对同一信源，两种转移概率下的平均互信息量分别设为I(U:V）和IU:V），则由率失真函数的定义有I(U:V) = R(D)E(d,(u,v)) < Di(6-2-12)I(U;V2) =R(D2)Eldz(u,))<D现在定义一个新的转移概率1P(lu)=入iPi(u/u)+入2P2(u/u)1111/1111?15111111111
若有 、 及 、 、 ，满足 和 ，则有 15 2、信息率失真函数是 D的下凸函数 l1 l 2 D1 D2 D l1 + l2 =1 D = l1D1 + l2D2 R(D) £ l1 R(D1 )+ l2 R(D2 )