2.1.3随机过程描述信源消息、随机波形信源。信源输出的消息是时间（或空间）上和取值上都是连续的。用随机过程(t)描述16/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 16/159 随机波形信源 ◦ 信源输出的消息是时间（或空间）上和取值上都是连续的 ◦ 用随机过程{x(t)}描述
信源的数学模型及分类2.11高敏信源，可能给出的游息数是有限或可数的，每[A][rnng] Era--24次只输出一个消息，即两两不都客，随机究量X分屋播连信讯（量化）翰出的消息连给馈冻，可能始出的消您数是无限的或[]-[] []厂(rdx-1mpd不可数的，每次只始出一个满急随机序列X非平徐锁理，植选信源检出消血的随机序到文是掌平题随机序列一马尔可夫信酬住源出的消息输出的随机序列Y中各随机变量之间有依慢关系，但记忆是族一定聚选长度有限，井横足与尔码夫缝的条件式（.8）率的得号序列（时问成空间离平静信难，插达信源物出消息的随机实敢平稳信源，输出的殖机列X（XXX)敬的随机序开）序列X是平稳的随机序列中鲜个随机变益X(i=1.，N）取值是高散的高收无记亿能惠的N次扩费信源1非且随机失量X的各缓事分布不随时间平输出的平稳随机序列中各随机多配改变，收整景统计独文（无饮模关系）若制样A个随就变量X使于同一鼠率空取分定间X.则满足式（25)佛原理有票纪忆信源特出的随机序列X中各随机生益之施机过程（z（0)）：随机液形饮源送端平稳信课，拍用的随机序列XXX同有依物关系，但记忆长度有限、信氧物出的消急是时间（成空间）中都个随机变量X（=1.…，N）取值些续的上和取值上部是连续的承数，并且随机失×的各难极率密寒雨败不随时闯平移而改变，图2-1信源的分类图17/159信息论与编码技术-离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 17/159
2.2离散信源的信息、2.2.1自信息￥2.2.2信息炳18/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 18/159 2.2.1 自信息 2.2.2 信息熵
2.2.1自信息、单符号离散信源Xα1Q2 :αgP(α) / -/P(α), P(α2),.., P(αg)其中0 ≤ P(α) ≤ 1,i = 1,2,...q-且Z=, P(α) = 11.该信源能输出多少信息？2.每个消息的出现携带多少信息量？19/159信息论与编码技术-离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 19/159 单符号离散信源 ( ) 1 0 ( ) 1, 1,2,. ( ), ( ),., ( ) , , ., ( ) 1 1 2 1 2 = = = = q i i i q q i P P i q P P P P X 且 其中 1.该信源能输出多少信息？ 2.每个消息的出现携带多少信息量？
2.2.1自信息>信息量与不确定性信源中某一消息发生的不确定性越大，一日它发生，并为收信者收到后，消除的不确定性就越大获得的信息也就越大。由于种种原因（例如噪声太大），收信者接收到受干扰的消息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息20/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 20/159 信息量与不确定性 ◦ 信源中某一消息发生的不确定性越大，一旦它发 生，并为收信者收到后，消除的不确定性就越大， 获得的信息也就越大。 ◦ 由于种种原因（例如噪声太大），收信者接收到 受干扰的消息后，对某信息发生的不确定性依然 存在或者一点也未消除时，则收信者获得较少的 信息或者说一点也没有获得信息