第九章率失真函数
第九章 率失真函数
无失真信源编码和有噪信道编码告诉我们：只要信道的 信息传输速率小于信道容量，总能找到一种编码方法，使得 在该信道上的信息传输的差错概率任意小；反之，若信道 的信息传输速率大于信道容量，则不可能使信息传输差错 概率任意小。 问题：若信息速率大于信道容量，怎么办？ 无失真的编码并非总是必要的。 引入失真，允许失真大，信息率可以越低。P248例
无失真信源编码和有噪信道编码告诉我们：只要信道的 信息传输速率小于信道容量，总能找到一种编码方法,使得 在该信道上的信息传输的差错概率任意小；反之，若信道 的信息传输速率大于信道容量，则不可能使信息传输差错 概率任意小。 问题：若信息速率大于信道容量，怎么办？ 无失真的编码并非总是必要的。 引入失真，允许失真大，信息率可以越低。P248例
香农首先定义了信息率失真函数RD),并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散 无记忆信源。 首先给出信源的失真度和信息率失真函数的定义与性质； 然后讨论离散信源和连续信源的信息率失真函数计算；在这基 础上论述保真度准测下的信源编码定理
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散 无记忆信源。 首先给出信源的失真度和信息率失真函数的定义与性质； 然后讨论离散信源和连续信源的信息率失真函数计算；在这基 础上论述保真度准则下的信源编码定理
失真测度 一、 失真度 ·从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。 ·所以信息传输率与信源编码所引起的失真（或误差） 是有关的
失真测度 一、失真度 ⚫ 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。 ⚫ 所以信息传输率与信源编码所引起的失真(或误差) 是有关的
失真测度 离散无记忆信源U,信源变量U={u1,u2,u}, 概率分布为P(u)=[P(u),P(2).P(ur】。 信源符号通过信道传输到某接收端，接收端的 接收变量V=V1,V2,Vs}。 对应于每一对(u,V),我们指定一个非负的函数： 0 i=j d()= a(>0)i≠j 称为单个符号的失真度（或失真函数）。 通常较小的d值代表较小的失真，而d(uy)=0 表示没有失真
离散无记忆信源U，信源变量U＝{u1 ,u2 ,…ur }， 概率分布为P(u)＝[P(u1 ),P(u2 ),…P(ur )] 。 信源符号通过信道传输到某接收端，接收端的 接收变量V＝ {v1 ,v2 ,…vs } 。 对应于每一对(u,v)，我们指定一个非负的函数： 称为单个符号的失真度(或失真函数)。 通常较小的d值代表较小的失真，而d(ui ,vj)＝0 表示没有失真。 i j i j d u v i j = = ( 0) 0 ( , ) 失真测度