数据压技术的分类 无损压缩是指使用压缩后的数据进行重构(或 者叫做还原,解压缩),重构后的数据与原来 的数据完全相同;无损压缩用于要求重构的信 号与原始信号完全一致的场合。 有损压缩是指使用压缩后的数据进行重构, 重构后的数据与原来的数据有所不同,但不影 响人对原始资料表达的信息造成误解。有损压 缩适用于重构信号不一定非要和原始信号完全 相同的场合
无损压缩是指使用压缩后的数据进行重构(或 者叫做还原，解压缩)，重构后的数据与原来 的数据完全相同；无损压缩用于要求重构的信 号与原始信号完全一致的场合。 有损压缩是指使用压缩后的数据进行重构， 重构后的数据与原来的数据有所不同，但不影 响人对原始资料表达的信息造成误解。有损压 缩适用于重构信号不一定非要和原始信号完全 相同的场合。 数据压缩技术的分类
统计编码方法(信息论) 信源 X1.Ⅹ2.X3.Ⅹ4 令信源被抽象为一个随机变量序列(随机过程) 令如果信源输出的随机变量取值于某一连续区间 就叫做连续信源。比如语音信号X(t。 令如果信源输出的随机变量取值于某一离散符号 集合,就叫做离散信源。比如平面图像X(x, y)和电报
统计编码方法（信息论） ❖ 信源被抽象为一个随机变量序列（随机过程）。 ❖ 如果信源输出的随机变量取值于某一连续区间， 就叫做连续信源。比如语音信号X(t)。 ❖ 如果信源输出的随机变量取值于某一离散符号 集合，就叫做离散信源。比如平面图像X(x， y)和电报。 信源 X1, X2, X3, X4……
统计编码理论(信息量和) 香农信息论把一个随机事件(字符a1)所携带的信息量定义为: I(al)=log2 (1/p)=-log2 p (bit) 其中p为事件发生(字符出现)的概率 令I(a1)即随机变量X取值为a1时所携带的信息量,也是编码a1所 需要的位数 令各个随机事件组成的序列的信息量也是一个随机变量,所以要研 究它的统计特性。其数学期望为: H(x)=∑n*1(a1)=∑P*logP 称HQ为一阶信息熵或者简称为熵( Entropy)
统计编码理论（信息量和熵） ❖ 香农信息论把一个随机事件（字符a1）所携带的信息量定义为： I(a1) = log2 (1/p) = -log2 p (bit) 其中p为事件发生（字符出现）的概率 ❖ I(a1)即随机变量X取值为a1时所携带的信息量，也是编码a1所 需要的位数 ❖ 各个随机事件组成的序列的信息量也是一个随机变量，所以要研 究它的统计特性。其数学期望为： ❖ 称H(X)为一阶信息熵或者简称为熵(Entropy) = = = = − m j m j j aj pj pj H x p I 1 1 ( ) ( ) log
信源的概率分布与的关系 令熵的大小与信源的概率模型有着密切的关系。 今最大离散熵定理:当与信源对应的字符集中的 各个字符为等概率分布时,熵具有极大值 logzmo m为字符集中字符个数。 H(x)=∑P1*logP
信源的概率分布与熵的关系 ❖ 熵的大小与信源的概率模型有着密切的关系。 ❖ 最大离散熵定理：当与信源对应的字符集中的 各个字符为等概率分布时，熵具有极大值 log2m。m为字符集中字符个数。 = = − m j pj pj H x 1 ( ) log
平均码长与 如果对字符a的编码长度为Lj,则X的平均码长为: Z=∑ 根据前面对二进制信源的分析,有: H(X ≤1→L≥H(X) ∑ P1*,≥ ∑p1*log2P 在L=-logp时,平均码长取得极小值H(x)
平均码长与熵 ❖ 如果对字符aj的编码长度为Lj，则X的平均码长为： ❖ 根据前面对二进制信源的分析，有： = = m j L pj Lj 1 1 ( ) ( ) L H X L H X = = − m j j j j m j pj L p p 1 2 1 log 在Lj ＝ －log2pj时，平均码长取得极小值H(X)