2.1.3随机过程描述信源消息 随机波形信源 信源输出的消息是时间(或空间)上和取值上都是连续的 用随机过程{x(t描述 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 16/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 16/159 随机波形信源 ◦ 信源输出的消息是时间（或空间）上和取值上都是连续的 ◦ 用随机过程{x(t)}描述
21信源的数学模型及分类 离散曾源:可能输出的阴息数是有限成可数的每fx 1·42· 魔机变量X 分尾次只疆出一个捐息即两两不容 P[Pr4),N2)…,A吗小 描述值 (量化 输出的两息(媒源,可能雄出的息数是无限的或 (a,b) 不可数的每次只输出一个消息 Pr) 或px) 随机序列x 仨输出的荫息 非平,擂述信源输出息的随机序列x是非平毽随机序列一一再尔可夫信 量按一定概事选 输出的随枫序列x中各随机交爱之闻有依赖关蒹,但记忆 的符号序列 长度有限,井足斗东丐夫链的条件式(28 (时间成空间高 敏的随机序列 平信,描述信源输出消息的随轨/散平喜馏源:输出的随机序列X=(xx“) 序列F是平稳的随机序列,中每个随机变盖x(-1,…取值是离散韵 散无记忆信瀑的N次扩信源 井且帆矢量【的吝维甑率分布不随时间平 移酯改交 物出的平褪随机序列中各随机 取定 变量院计独文(无依赖关系),著每 个髓杭变量x取值于问一率空 间x,则满足式(25 有限记忆信露 输的随机序列X中各随机变量之 庭机过程(x():机波形源一 逼蠕平信,雄出的随机序列X=(x1k2…X 间有依赖关系,但记忆长度有限 催家轴出的洲急是时阁(成空鳄) 中每个随帆变量x(=1,…,N)偏是连续的 上和取色上都是连纔的函数 并且随机失意X的各螳概率密度函數不随时 问平移而改变 图21信源的分类图 mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 17/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 17/159
2.2离散信源的信息熵 221自信息 22,2信息熵 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 18/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 18/159 2.2.1 自信息 2.2.2 信息熵
2.2.1自信息 单符号离散信源 P(ai)P(ai), P(a2),P(aq) 其中0≤P(a)≤1,i=1,2,q 且 1该信源能输出多少信息? 2每个消息的出现携带多少信息量? ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 19/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 19/159 单符号离散信源 ( ) 1 0 ( ) 1, 1,2,... ( ), ( ),..., ( ) , , ..., ( ) 1 1 2 1 2 = = = = q i i i q q i P P i q P P P P X 且 其中 1.该信源能输出多少信息？ 2.每个消息的出现携带多少信息量？
2.2.1自信息 信息量与不确定性 信源中某一消息发生的不确定性越大,一旦它发 生,并为收信者收到后,消除的不确定性就越大, 获得的信息也就越大。 由于种种原因(例如噪声太大),收信者接收到 受干扰的消息后,对某信息发生的不确定性依然 存在或者一点也未消除时,则收信者获得较少的 信息或者说一点也没有获得信息 Schaal al Computer Scieuce& technologe ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 20/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 20/159 信息量与不确定性 ◦ 信源中某一消息发生的不确定性越大，一旦它发 生，并为收信者收到后，消除的不确定性就越大， 获得的信息也就越大。 ◦ 由于种种原因（例如噪声太大），收信者接收到 受干扰的消息后，对某信息发生的不确定性依然 存在或者一点也未消除时，则收信者获得较少的 信息或者说一点也没有获得信息