第二章离散信源及其信息测度 第一节信源的数学模型及分类 第二节离散信源的信息熵 第三节信息熵的基本性质 第四节离散无记忆的扩展信源 第五节离散平稳信源 第六节马尔可夫信源 第七节信源剩余度与自然语言的熵
第二章 离散信源及其信息测度 第一节 信源的数学模型及分类 第二节 离散信源的信息熵 第三节 信息熵的基本性质 第四节 离散无记忆的扩展信源 第五节 离散平稳信源 第六节 马尔可夫信源 第七节 信源剩余度与自然语言的熵
第一节信源的数学模型及分类 在通信系统中,收信者在未收到信息以前, 对信源发出什么样的消息是不确定的,是随机的, 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息,或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类
第一节 信源的数学模型及分类 在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类
第一节信源的数学模型及分类 1、离散信源 数学模型如下: X q P P ∑ B1=1 i=1 集合Ⅹ中,包含该信源包含的所有可能输出 的消息,集合P中包含对应消息的概率密度,各 个消息的输出概率总和应该为1。 例:天气预报
第一节 信源的数学模型及分类 1、离散信源 数学模型如下： 1 2 1 2 ... ... q n X a a x P p p p = 1 1 q i i p = = 集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：天气预报
第一节信源的数学模型及分类 2、连续信源 数学,模型如下: X (a,b) b p(x) p(x) p(x)dx=1 每次只输出一个消息,但消息的可能数目是无穷 多个 例:电压、温度等
第一节 信源的数学模型及分类 2、连续信源 数学，模型如下： ( , ) ( ) ( ) X a b p x p x = ( ) 1 b a p x dx = 每次只输出一个消息，但消息的可能数目是无穷 多个。 例：电压、温度等
第二节离散信源的信息熵 1、自信息 我们认为,一个字符它所携带的信息量是和该字符 出现的概率有关,概率可以表征自信息量的大小 /(a1)=f[P(a1) 根据客观事实和人们的习惯概念,应满足 以下条件:
第二节 离散信源的信息熵 1、自信息 我们认为，一个字符它所携带的信息量是和该字符 出现的概率有关，概率可以表征自信息量的大小 ( ) [ ( )] i i I a f P a = 根据客观事实和人们的习惯概念，应满足 以下条件: