第2章 信息论初步 王有政 微波与数字通信国家重点实验室
第2章 信息论初步 王有政 微波与数字通信国家重点实验室
信息论的研究对象 信源信源编码信道编码→调制]→发射 传输媒质 值宿←[倍源解吗[道译←[解四、[接收 内容涉及到信源编码和信道容量 2021年2月19日
2021年2月19日 2 信息论的研究对象 内容涉及到信源编码和信道容量 信源 信源编码 信道编码 调制 发射 传输媒质 信宿 信源解码 信道译码 解调 接收
中。内容 信息的度量 1信息的概念 2消息的统计特性及描述方法 3离散信源的信息量 4离散信源的熵〔平均信息量)与互信息 5连续信源的信息量 二、信道容量和香农公式 1信道的定义 2信道的数学模型 3信道容量(离散信道和连续信道) 4香农公式讨论 2021年2月19日 3
2021年2月19日 3 内容 一、信息的度量 1.信息的概念 2.消息的统计特性及描述方法 3.离散信源的信息量 4.离散信源的熵 (平均信息量) 与互信息 5.连续信源的信息量 二、信道容量和香农公式 1.信道的定义 2.信道的数学模型 3.信道容量 (离散信道和连续信道) 4.香农公式讨论
1.1信息的基本概念 信息:是消息的内容 息:是信息的形式 6 Hartley和香农(CE. Shannon从消息的统 计特性出发,从信息的不确定性和概率 测度的角度定义了通信中信息量的概念, 开给出了信息度量的方法。 2021年2月19日 4
2021年2月19日 4 1.1 信息的基本概念 信息：是消息的内容 消息：是信息的形式 Hartley和香农(C.E.Shannon)从消息的统 计特性出发，从信息的不确定性和概率 测度的角度定义了通信中信息量的概念， 并给出了信息度量的方法
1.2消息的统计特性 6描述方法:随机过程 消息 产生源 描述 统计特性 离散消息离散信源离散型随机过程|概率分布率X~P(x) 连续消息连续信源连续型随机过程|概率密度函数和概率分布函数 2021年2月19日
2021年2月19日 5 1.2 消息的统计特性 描述方法：随机过程 消息 产生源 描述 统计特性 离散消息 离散信源 离散型随机过程 概率分布率 ~ ( ) i X P x 连续消息 连续信源 连续型随机过程 概率密度函数和概率分布函数