第三节具有最大熵的连续信源 通常我们最感兴趣的是两种情况:一种是信源的输出值 受限;一种是信源的输出平均功率受限。 峰值功率受限条件下信源的最大值 若某信源输出信号的峰值功率受限为,它等价于信源输 出的连续随机变量X的取值幅度受限,限于[a,b]内取值。在 约束条件「P(x)x=下信源的最大相对熵。 定理61若信源输出的幅度被限定在a,b]区域内,则当输出信 号的概率密度是均匀分布时信源具有最大熵。其值等 于og(b-a)。若当N维随机矢量取值受限时,也只有随 机分量统计独立并均匀分布时具有最大熵
第三节 具有最大熵的连续信源 通常我们最感兴趣的是两种情况：一种是信源的输出值 受限；一种是信源的输出平均功率受限。 峰值功率受限条件下信源的最大值 若某信源输出信号的峰值功率受限为，它等价于信源输 出的连续随机变量X的取值幅度受限，限于[a,b]内取值。在 约束条件 下信源的最大相对熵。 定理6.1 若信源输出的幅度被限定在[a,b]区域内，则当输出信 号的概率密度是均匀分布时信源具有最大熵。其值等 于log(b-a)。若当N维随机矢量取值受限时，也只有随 机分量统计独立并均匀分布时具有最大熵。 ( ) 1 a b p x dx =
第三节具有最大熵的连续信源 平均功率受限条件下信源的最大值 定理62若一个连续信源输出信号的平均功率被限定为P 则其输出信号幅度的概率密度分布是高斯分布时, 信源有最大熵,其值为log2zeP 对于N维连续平稳信源来说,若其输出的N维随机序列的协 方差矩阵C被限定,则N维随机为正态分布时信源的熵最大, N维高斯信源的熵最大,其值为og+lg2zeP 这一结论说明,当连续信源输出信号的平均功率受限 时,只有信号的统计特性与高斯统计特性一样时,才会有 最大的熵值
第三节 具有最大熵的连续信源 平均功率受限条件下信源的最大值 定理6.2 若一个连续信源输出信号的平均功率被限定为P， 则其输出信号幅度的概率密度分布是高斯分布时， 信源有最大熵，其值为 。 对于N维连续平稳信源来说，若其输出的N维随机序列的协 方差矩阵C被限定，则N维随机为正态分布时信源的熵最大， N维高斯信源的熵最大，其值为 。 这一结论说明，当连续信源输出信号的平均功率受限 时，只有信号的统计特性与高斯统计特性一样时，才会有 最大的熵值。 1 log 2 2 eP 1 log log 2 2 2 N C eP +