总复习 第一章概论 信息与消息和信号的区别 消息:是指包含有信息的语言、文字和图像等,可表 达客观物质运动和主观思维活动的状态。 信号:把消息变换成适合信道传输的物理量,这种物 理量称为信号(如电信号、光信号、声音信号等)。 2021/2/2
总复习 2021/2/23 1 ⚫ 信息与消息和信号的区别 ⚫ 消息：是指包含有信息的语言、文字和图像等，可表 达客观物质运动和主观思维活动的状态。 ⚫ 信号：把消息变换成适合信道传输的物理量，这种物 理量称为信号（如电信号、光信号、声音信号等）。 第一章 概 论
总复习 第一章概论 信息是该事物运动的状态和状态改变的方式 研究信息论的目的:它的主要目的是提高信息系统的 可靠性、有效性和安全性以便达到系统最优化。所谓可 靠性高,就是要使信源发出的消息经过信道传输以后, 尽可能准确地、不失真地再现在接收端。而所谓有效性 高,就是经济效果好,即用尽可能短的时间和尽可能少 的设备来传送一定数量的信息 °狭义信息论(香农信息论) 信息的测度、信道容量、信源和信道编码理论 广义信息论 所有与信息相关的邻域 2021/2/2
总复习 2021/2/23 2 ⚫ 信息是该事物运动的状态和状态改变的方式 ⚫ 研究信息论的目的：它的主要目的是提高信息系统的 可靠性、有效性和安全性以便达到系统最优化。所谓可 靠性高，就是要使信源发出的消息经过信道传输以后， 尽可能准确地、不失真地再现在接收端。而所谓有效性 高，就是经济效果好，即用尽可能短的时间和尽可能少 的设备来传送一定数量的信息。 ⚫ 狭义信息论（香农信息论） 信息的测度、信道容量、信源和信道编码理论 ⚫ 广义信息论 所有与信息相关的邻域 第一章 概 论
总复习 第二章信源熵 单符号离散信源 自信息量 用概率测度定义信息量 X 设离散信源X,其概率空间为[P(X)(p(x)p(x2)…pP(x) 如果知道事件x已发生,则该事件所含有的自信息定义为 I(i)=log p(x2) 当事件x;发生以前:表示事件x;发生的不确定性。 当事件x;发生以后:表示事件x所含有(或所提供)的信息量 2021/2/2
总复习 2021/2/23 3 单符号离散信源 ⚫ 自信息量 ⚫ 用概率测度定义信息量 ⚫ 设离散信源X，其概率空间为 ⚫ 如果知道事件xi 已发生，则该事件所含有的自信息定义为 ⚫ 当事件xi 发生以前：表示事件xi 发生的不确定性。 ⚫ 当事件xi 发生以后：表示事件xi 所含有（或所提供）的信息量 第二章 信源熵
总复习 第二章信源熵 联合自信息量 XY x2.y1… X2 v P(x)1p(xn)…,p(xm)p(x1)…,p(xm12…p(x1)…,pnyn I(x yi )=log p(r,)p(y 当X和Y相互独立时,p(x)=p(xm(y) 2p(x1) +lo p(x1)p(y1) P(yi) I(x;)+I(
总复习 2021/2/23 4 ⚫ 联合自信息量 ⚫ 当 X 和 Y 相互独立时，p(xiyj )=p(xi )p(yj ) 第二章 信源熵
总复习 第二章信源熵 条件自信息量:已知y的条件下x;仍然存在的不确定度。 I(ri / yi) log2 p(xiyi I(; / xi)=log2 p(y/xi 自信息量、条件自信息量和联合自信息量之间的关系 I(xiyi) log2 p( xp(yi/xi) (x)+I(y;/x) log P(p(x/yi (0y)+I(x2/y;) 2021/2/2
总复习 2021/2/23 5 ⚫ 条件自信息量：已知yj 的条件下xi 仍然存在的不确定度。 ⚫ 自信息量、条件自信息量和联合自信息量之间的关系 第二章 信源熵