差错控制：针对某一特定的数据传输或 存贮系统，应用纠错或检错的编码及其 相应的其他技术（如反馈重传）来提高 整个系统的传输可靠性的方法。 信道编码概念小结： 目的：降低错误译码概率 PE。 对象：信息序列（设码元间彼此无关且 等概出现）

结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大

一、无失真压缩(Huffman编码、游程编码)

《信息论与编码基础》课程教学资源（教案讲义）第五章（5-3）香农编码

变换编码基本思想： 先对信源输出进行某种变换，将 其从一种信号表示空间变换为另一 种信号表示空间，使新的信号空间中 各信号分量相关性很小或互不相关， 然后再对变换后的分量进行编码，以 达到压缩数据的目的

信源编码：将信源输出的消息进行有效 变换，使其成为适合信道传输的符号序 列，且使该序列组成的新信源的剩余度 尽量减少

定理 3-1：对于固定信道，平均互信息 I(X;Y) 是信源概率分布 p(x)的∩型凸函 数。 定理 3-2：对于固定信源分布，平均互信息 I(X;Y)是信道传递概率 p(y|x)的∪型凸函 数。 定理 3-3：设离散信道的输入序列 X＝ (X1X2…XN)通过信道传输，接收到的随机序 列为 Y=( Y1Y2…YN)，而信道的转移概率为 p(y∣x)

定义 2-2：信源输出各消息的自信息量 I(ai) 的数学期望为信源的平均自信息量

信息论：是一门应用概率论、 随机过程、数理统计和近世代 数的方法，来研究广义的信息 传输、提取和处理系统中一般 规律的科学；它的主要目的是 提高信息系统的有效性和可靠 性，最优化；其主要内容（或 分支）包括：香农理论、编码 理论、维纳理论、检测和估计 理论、信号设计与估计理论、 调制理论和随机噪声理论

华中科技大学：《模拟电子技术》教学资源_图题 2.4.3（a）