第二章无失真信源编码 ■信息量、熵和互信息 ■信源编码定理 霍夫曼码及其他编码方法 算术编码 游程编码 改进的霍夫曼码 通用编码
第二章 无失真信源编码 ◼ 信息量、熵和互信息 ◼ 信源编码定理 ◼ 霍夫曼码及其他编码方法 ◼ 算术编码 ◼ 游程编码 ◼ 改进的霍夫曼码 ◼ 通用编码
第二章无失真信源编码 无失真编码:保证信源产生的全部信息无失真地 传递给信宿。(只有对离散信源可以实现无失真 信源编码。)实质上是一种概率匹配编码。 狠失真信源编码:在确定标准和准则的条件下, 信源所必须传递的最小信息量。也称信息率失真 函数(限定波形失真——波形编码,限定特性参 量失真——参量编码)
第二章 无失真信源编码 ◼ 无失真编码：保证信源产生的全部信息无失真地 传递给信宿。（只有对离散信源可以实现无失真 信源编码。）实质上是一种概率匹配编码。 ◼ 限失真信源编码：在确定标准和准则的条件下， 信源所必须传递的最小信息量。也称信息率失真 函数（限定波形失真——波形编码，限定特性参 量失真——参量编码）
第二章无失真信源编码 信源中的统计多余度主要取决于以下两个 主要因素 是消息概率分布的非均匀性, 另一个是消息间的相关性。 对无记忆信源主要取决于概率分布的非均 匀性,但是,对于有记忆信源,两者都起 作用,且相关性更加重要
第二章 无失真信源编码 ◼ 信源中的统计多余度主要取决于以下两个 主要因素： 一是消息概率分布的非均匀性， 另一个是消息间的相关性。 对无记忆信源主要取决于概率分布的非均 匀性，但是，对于有记忆信源，两者都起 作用，且相关性更加重要
第二章无失真信源编码 口统计匹配编码:是根据信源的不同概率分 布而选用与之相匹配的编码,以达到的系 统同中传信速率最小,且满足在信宿复制 时无失真或低于某一允许的失真限度值
第二章 无失真信源编码 ◼ 统计匹配编码：是根据信源的不同概率分 布而选用与之相匹配的编码，以达到的系 统同中传信速率最小，且满足在信宿复制 时无失真或低于某一允许的失真限度值
2.1信息量、熵和互信息量 时间发生的概率越小,不确定性就越大, 给人的信息量就越小;发生的概率越大, 不确定性就越小,给人的信息量就越大
2．1 信息量、熵和互信息量 ◼ 时间发生的概率越小，不确定性就越大， 给人的信息量就越小；发生的概率越大， 不确定性就越小，给人的信息量就越大