《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.1 信源模型 2.2 信息的描述 2.3 确定性与信息

三、几种常见的信源有记忆信源X中各随机变量统计相关。统计特性：Fx(Xi,..-Xn)= P(X, ≤xi,... X,.≤xn

三、几种常见的信源  有记忆信源 {Xtk}中各随机变量统计相关。 1 1 1 1 ( , ) ( , ) t tN N F x x P X x X x X X N t t N    统计特性：

·平稳信源■特点：有记忆信源；■N阶平稳信源：N维分布函数与时间的起点无关；平稳X,X,...Xn信源(Xi,X2*..X) = Fx. in(Xi,X2 XN)tN+Tt1+t

•平稳信源  特点：有记忆信源；  N阶平稳信源：N维分布函数与时间的 起点无关； 平稳 信源 X X X 1 2 N 1 1 1 2 1 2 ( , ) ( , ) t t t t N N F x x x F x x x X X N X X N     

·无记忆信源■特点：各个时刻的输出随机变量相互独立最简单的独立同分布信源：各随机变量概率分布相同X无记忆信源

•无记忆信源  特点：各个时刻的输出随机变量相互 独立 最简单的独立同分布信源：各随 机变量概率分布相同 无记忆信 源 X

2.2信息的描述一、概念离散无记忆信源DMS1(DiscreteMemoryless Source)：时间离散，空间离散

2.2 信息的描述 一、概念 1) 离散无记忆信源DMS (Discrete Memoryless Source)： 时间离散，空间离散

2）先验概率（先验分布）信源符号的概率P(x)是事先已知的称为先验概率

2) 先验概率（先验分布） ( ) 信源符号的概率P xk 是事先已知的， 称为先验概率