信息论与编码技术第2章离散信源及其信息测度2024
2024
本章内容2.1信源的数学模型及分类2.2离散信源的信息熵2.3信息的基本性质和定理2.4离散无记忆的扩展信源2.5离散平稳信源2.6马尔可夫信源2.7信源剩余度与自然语言的熵2/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 2/159 2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质和定理 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 信源剩余度与自然语言的熵
2.1信源的数学模型及分类信源一一消息或消息序列一包含信息，关注信源的各种可能的输出以及输出各消息的不确定性信源描述：概率空间（样本空间+概率测度）随机变量描述消息随机矢量描述消息随机过程描述消息3/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 3/159 信源 消息或消息序列 包含信息 关注信源的各种可能的输出以及输出各消息的不确 定性 信源描述：概率空间（样本空间+概率测度） ◦ 随机变量描述消息 ◦ 随机矢量描述消息 ◦ 随机过程描述消息
2.1.1随机变量描述信源消息1）一维离散信源，适用场景：信源可能输出的消息数是有限或可数的，且每次只输出一个消息。，例子：扔一颗质地均匀的殷子，研究下落后朝上一面的点数。。特点：1.每次实验只出现一个点数（消息）：2.每个点数的出现是随机的；3.点数必定为1,2,3,4,5,6中的某一个：。表示：，符号集A={a1,a2，a3，a4，as，a6}表示基本消息集合；离散型随机变量x描述信源输出的消息，其样本空间为A：的概率分布即为各消息出现的先验概率：P(X= a1)=P(X= a2)=...P(X= a)=1/64/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 4/159 1）一维离散信源 适用场景：信源可能输出的消息数是有限或可数的，且每次 只输出一个消息。 例子：扔一颗质地均匀的骰子，研究下落后朝上一面的点数。 ◦ 特点： 1.每次实验只出现一个点数（消息）； 2.每个点数的出现是随机的； 3.点数必定为1,2,3,4,5,6中的某一个； ◦ 表示： 符号集A= {a1 , a2 , a3 , a4 , a5 , a6 } 表示基本消息集合；离散型随机变量X描 述信源输出的消息，其样本空间为A; X的概率分布即为各消息出现的先 验概率: P(X= a1 )=P(X= a2 )=.P(X= a6 )=1/6
2.1.1随机变量描述信源消息、因此，该信源的数学模型为：a21aata,as-ag，，6P(a,) =10≤P(a)≤1,i=1,2,..6-15/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 5/159 因此，该信源的数学模型为：