41平均失真和信息率失真函数 例1:d(x,y 0当x1=y;这种失真成为汉明失真 当x;≠y 失真矩阵为: D 0 在二元情况下: 10 D
4.1 平均失真和信息率失真函数 例1： 0 ( , ) 1 i j d x y = = i j i j 当x y 当x y 失真矩阵为： 0 1 ... 1 1 0 ... 1 ... 1 1 ... 0 D = 这种失真成为汉明失真 在二元情况下： 1 0 0 1 D =
41平均失真和信息率失真函数 2、平均失真度 D=Eld(xi,y) 若已知试验信道的传递概率,则平均失真度为: b=∑P(x,y)(x,y)=∑∑P(x)P(1/x)d(x,y i=1j=1 若平均失真度D不大于我们所允许的失真D,我们称此为 保真度准则 D D 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合,用符号P表示
4.1 平均失真和信息率失真函数 2、平均失真度 [ ( , )] D E d x y = i j 若已知试验信道的传递概率，则平均失真度为： , 1 1 ( , ) ( , ) ( ) ( / ) ( , ) n m i j i i j X Y i j D P x y d x y P x P y x d x y = = = = 若平均失真度 不大于我们所允许的失真D，我们称此为 保真度准则。 D D D 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号 PD 表示
41平均失真和信息率失真函数 3、信息率失真函数 当信源和失真函数给定后,我们总希望在满足保真度准则 下寻找平均互信息的最小值。也就是在P中找一个信道,使 给定的信源经过此信道传输后,互信息取极小值。这个最小 值就是在D≤D的条件下,信源必须传输的最小平均信息量。 R(D)=minI(X; Y)) X; Y)=>>P(x)P(y, /x,)log P(,/x, P(y,) R(D)为信息率失真函数,也叫率失真函数 改变试验信道求平均互信息的最小值,实质上是选择一种编码 方式使信息传输率为最小
4.1 平均失真和信息率失真函数 3、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则 下寻找平均互信息的最小值。也就是在 中找一个信道，使 给定的信源经过此信道传输后，互信息取极小值。这个最小 值就是在 的条件下，信源必须传输的最小平均信息量。 PD ( ) min{ ( ; )} PD R D I X Y = D D R(D)为信息率失真函数，也叫率失真函数. 改变试验信道求平均互信息的最小值，实质上是选择一种编码 方式使信息传输率为最小。 1 1 ( / ) ( ; ) ( ) ( / )log ( ) n m j i i j i i j j p y x I X Y p x p y x = = p y =
41平均失真和信息率失真函数 4、信息率失真函数的性质 1)、R(D)的定义域是(0,Dm) (1)、Dn和R(Dn) 允许失真度D的最小值为0,即不允许有失真,这要求失真 矩阵中每行至少有一个为0 Dm=min∑∑P(x,)P(/x)d(x1,y) ∑P(x)min∑P(y/ xdd(x y
4.1 平均失真和信息率失真函数 4、信息率失真函数的性质 1)、R(D)的定义域是 max (0, ) D (1)、 Dmin 和 min R D( ) 允许失真度D的最小值为0，即不允许有失真，这要求失真 矩阵中每行至少有一个为0。 min 1 1 1 1 min[ ( ) ( / ) ( , )] ( ) min[ ( / ) ( , )] n m i j i i j i j n m i j i i j j i j D P x P y x d x y P x P y x d x y = = = = = =
41平均失真和信息率失真函数 我们选择这样的试验信道,它满足 ∑P(y/x)=1所有(xy)=最小值的y (y/x)=0d(x,y)≠最小值的y 则可得信源的最小失真度为 min ∑ P(x) mind(xy)
4.1 平均失真和信息率失真函数 min 1 ( ) min ( , ) n i i j j i D P x d x y = = ( / ) 1 j j i y P y x = ( / ) 0 P y x j i = 我们选择这样的试验信道，它满足 所有 最小值的yj ( , ) i j d x y = ( , ) i j d x y 最小值的yj 则可得信源的最小失真度为