4.2.2信息熵及基本概 1.信息量与信息熵 ◆信息量是指从N个相等的可能事件中选出一个事件所需要的信息度量或含量 也就是在辨识N个事件中特定的一个事件的过程中所需要提问“是或否”的最 少次数。 ◆设从N个数中选定任一个数x的概率为p(x),假定选定任意一个数的概率都 相等,即p(x1)=,因此定义信息量见公式4-5。定义信息量见公式45。 I(xi )=log 2 N=-IoE, N G=-log2 p(x=/lp(x) (4-5) 如果将信源所有可能事件的信息量进行平均,就得到了信息的“熵”, 即信息熵。 式中,P(×)是信源X发出×的概率。I(x)的含义是,信源X发出×这个消息 (随机事件)后,接收端收到信息量的量度
4.2.2 信息熵及基本概念 1．信息量与信息熵 信息量是指从N个相等的可能事件中选出一个事件所需要的信息度量或含量， 也就是在辨识N个事件中特定的一个事件的过程中所需要提问“是或否”的最 少次数。 设从N个数中选定任一个数xj的概率为p（xj），假定选定任意一个数的概率都 相等，即p（ xj ）＝ ，因此定义信息量见公式4-5。定义信息量见公式4-5。 如果将信源所有可能事件的信息量进行平均，就得到了信息的“熵” ， 即信息熵。 log ( ) [ ( )] 1 ( j ) log 2 log 2 2 j j p x I p x N I x = N = − = − = 式中，P(xj)是信源X发出xj的概率。I(xj)的含义是，信源X发出xj这个消息 （随机事件）后，接收端收到信息量的量度。 （4-5）
◆信源X发出的x(j=1,2,…n)共n个随机事件的自信息统计平均,即 H(X)=E(I(x))=->P().log2 P(x,) (4-6) HX)称为信源X的“熵”,即信源X发出任意一个随机变量的平均信息量。 ◆其中:等概率事件的熵最大,假设有N个事件,由(46)式得此时熵为 (X)=∑ lo 1og x g N N 当P(x1)=1时,P(x2)=P(x3)=…=P(x)=0,由(46)式得此时熵为 H(X)=-P(x1)lg2P(x1)=0 由上可得熵的范围为: 0≤H(X)≤bog2N
信源X发出的xj（j=1,2,…,n）共n个随机事件的自信息统计平均，即 H(X)称为信源X的“熵” ，即信源X发出任意一个随机变量的平均信息量。 其中：等概率事件的熵最大，假设有N个事件，由（4-6）式得此时熵为： = = = − n j j j j H X E I x P x P x 1 2 ( ) { ( )} ( ) log ( ) （4-6） N N N H X N j 2 2 1 log 1 log 1 ( ) = − = = 当P(x1 )＝1时，P(x2 )＝P(x3 )＝…＝P(xj )＝0，由（4-6）式得此时熵为 H(X) = −P(x1 )log 2 P(x1 ) = 0 由上可得熵的范围为： 0 H(X) log 2 N
◆在编码中用熵值来衡量是否为最佳编码。若以LC表示编码器输岀码字 的平均码长,则当 七c≥HQX)有元余,不是最佳 Lc<HQXQ)不可能。 Lc=HX)最佳编码(LC稍大于H(X)。 墒值为平均码长Lc的下限。 平均码长LC的计算公式为: ∑P(x)L(x)(j=1,2,n)(47) 其中:P(×j)是信源X发出×的概率,L(×)为×的编码长
在编码中用熵值来衡量是否为最佳编码。若以Lc表示编码器输出码字 的平均码长，则当 Lc≥H(X) 有冗余，不是最佳。 Lc＜H(X) 不可能。 Lc＝H(X) 最佳编码（Lc稍大于H(X)）。 熵值为平均码长Lc的下限。 平均码长Lc的计算公式为： = = n j c j j L P x L x 1 ( ) ( ) （j=1,2,…,n） （4-7） 其中：P(xj) 是信源X发出xj的概率，L(xj)为xj的编码长
2.冗余度、编码效率与压缩比 在数字图像通信系统中,冗余度、编码效率与压缩比是衡量信源特性 以及编解码设备性能的重要指标。 ◆设原图像的平均码长为L,熵为HxX),压缩后图像的平均码长为C,则定 义冗余度为(见公式48): L R (4-8) H(X ◆编码效率(见公式49): H(X 7 L 1+R (4-9) ◆压缩比(见公式4-10) (4-10)
2．冗余度、编码效率与压缩比 设原图像的平均码长为L，熵为H(X)，压缩后图像的平均码长为Lc，则定 义冗余度为（见公式4-8）： （4-8） 编码效率（见公式4-9）： （4-9） 压缩比（见公式4-10）： （4-10） 在数字图像通信系统中，冗余度、编码效率与压缩比是衡量信源特性 以及编解码设备性能的重要指标。 1 ( ) = − H X L R L R H X + = = 1 ( ) 1 Lc L C =
4.23信息熵编码 ◆信息熵编码也称为统计编码,是利用信息源岀现的概率来进行编 中码,目前较常见的信息熵编码包括哈夫曼编码、香农-范诺编码、 行程编码和算术统计编码等。 1.哈夫曼编码 基本原理 依据信源字符出现的概率大小来构造代码,对出现概率较大的信源 字符,给予较短码长,而对于出现概率较小的信源字符,给予较长的码 长,最后使得编码的平均码字最短
4.2.3 信息熵编码 信息熵编码也称为统计编码，是利用信息源出现的概率来进行编 码，目前比较常见的信息熵编码包括哈夫曼编码、香农-范诺编码、 行程编码和算术统计编码等。 1．哈夫曼编码 基本原理 依据信源字符出现的概率大小来构造代码，对出现概率较大的信源 字符，给予较短码长，而对于出现概率较小的信源字符，给予较长的码 长，最后使得编码的平均码字最短