2.1信息的度量 定义离散消息Xi的信息量I(i) I(Xi)=log(1/p(Xi))=-log(p(Xi)) 信息量的单位与对数的低有关: log以2为底时,单位为比特:bit; og以e为底时,单位为奈特:nit 事件Xi出现的概率越小,信息量越大; 信息量具有“相加性”。 2001 Copyright SCUT DT&P Labs 6
2001 Copyright SCUT DT&P Labs 6 2.1 信息的度量 ◼ 定义离散消息Xi的信息量I(Xi): I(Xi)= log(1/p(Xi))= -log(p(Xi)) 信息量的单位与对数的低有关： log以2为底时，单位为比特：bit； log以e为底时，单位为奈特：nit。 ◼ 事件Xi出现的概率越小，信息量越大； ◼ 信息量具有“相加性”
21信息的度量 ■两个离散信源的联合信息量I(XiYj) 设Xi∈X,Yj∈Y I(XiYi)=-log(P(XiYi))=-log(P(Xi/Yi)P(Y) =log(P(Xi/YD)-log(P(Yi 若X与Y统计独立: I(XiYi)=-log(P(Xi))-log(P(YD) I(Xi)+I(YD) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 7 2.1 信息的度量 ◼ 两个离散信源的联合信息量 I(XiYj) 设 Xi∈X, Yj∈Y， I(XiYj)= -log(P(XiYj))= -log(P(Xi/Yj)P(Yj)) = -log(P(Xi/Yj)) – log(P(Yj)) 若X与Y统计独立： I(XiYj)= -log(P(Xi)） – log(P(Yj)) ＝ I(Xi)＋I(Yj)
21信息的度量 ■离散通信系统的信息传递--互信息量 设X为发送符号集,Y为接收符号集 pQX)的分布通常已知,称为先验概率; 收到Yj后,估计X出现的概率,成为后验概率: p(Xi/Yn 定义互信息量 I(Xi, Yi)=log(p(Xi/yi)/p(Xi) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 8 2.1 信息的度量 ◼ 离散通信系统的信息传递－－互信息量 设 X为发送符号集, Y为接收符号集 p(Xi)的分布通常已知，称为先验概率； 收到Yj后，估计Xi出现的概率，成为后验概率: p(Xi/Yj)。 定义互信息量： I(Xi,Yj)= log(p(Xi/Yj)/ p(Xi))
21信息的度量 ▲若Y的出现必可推出X的出现:pxi/Yj)=1 I(XL,Y=I(Xi) (理想信道情况) ▲若Y的出现与X是否出现无关,则pXi/Nj)=pX I(Xi, Y=0 (信道受严重干扰无法通信的情况) ▲可以证明,互信息具有对称性: I(Xi,Y]=I(Y],Xi) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 9 2.1 信息的度量 ▲ 若Yj的出现必可推出Xi的出现：p(Xi/Yj)＝ 1 I(Xi,Yj) ＝ I(Xi) (理想信道情况) ▲ 若Yj的出现与Xi是否出现无关，则p(Xi/Yj)＝p(Xi) I(Xi,Yj) ＝ 0 （信道受严重干扰无法通信的情况） ▲ 可以证明，互信息具有对称性： I(Xi,Yj) ＝ I(Yj，Xi)
2.2离散信源的平均信息量--信源的熵 定义,陪散信源X的熵为: H(X)=∑P)log(pX) 离散信源的熵是统计意义上的平均信息量。 利用信源的熵,可以方便地估算消息序列所包含的总信息量。 (比较例2-3与例2-5) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 10 2.2 离散信源的平均信息量－－信源的熵 ◼ 定义，离散信源X的熵为： H(X)= ∑p(Xi)log(p(Xi)) 离散信源的熵是统计意义上的平均信息量。 ◼ 利用信源的熵，可以方便地估算消息序列所包含的总信息量。 （比较例2－3与例2－5）