●●●●● ●●●● 非平均互信息量 ●●0 ●●● ●●●● 输入消息码字p(x) 收到0 收到01收到011 X1 000 1/8 1/6 〈2 001 14 1/3 0 X3 010 1/8 1/6 1/3 4 011 14 1/3 2/3 X5 100 1/16 6 101 1/16 X7 110 1/16 0000 0 00010000 X8 111 1/16 0
非平均互信息量 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16 1/6 1/3 1/6 1/3 0 0 0 0 0 0 1/3 2/3 0 0 0 0 0 0 0 1 0 0 0 0
●●●●● ●●●● 非平均互信息量 ●●0 ●●● ●●●● ●例2.1.2 输入消息|码字p(x)收到0收到01收到011 X1 000 1/2 1-p 1/2 1-p X2 111 1/2 p 1/2 p -p 0 1-p
非平均互信息量 ⚫ 例2.1.2 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 000 111 1/2 1/2 1-p p 1/2 1/2 1-p p 1-p 1-p 0 0 1 1 p p
●●●●● ●●●● 非平均互信息量 ●●0 ●●● ●●●● I(xk; yi)=f(q(xk),p(xk l yi)) I(k,yi)=1(xk; yi)+1(;yi2 lyD) +1(x;y3|yny2) pOr y) (xk, yi)=log p(y; lxk 10g I(i,xk)
非平均互信息量 ( ; ) ( ( ), ( | )) k j k k j I x y = f q x p x y ( ; | ) ( ; ) ( ; ) ( ; | ) 3 1 2 1 2 1 k j j j k j k j k j j I x y y y I x y I x y I x y y + = + ( ; ) ( ) ( | ) log ( ) ( | ) ( ; ) log j k j j k a k k j k j a I y x y p y x q x p x y I x y = = =
●●●●● ●●●● 条件互信息和联合事件互信息 ●●0 ●●● ●●●● 个事件集的条件互信息定义为 (;22)=bgp(l4|22) (123) p(41|l3) p(41|2)pD(l23) 可以推广到任意有限多个空间情况
条件互信息和联合事件互信息 ⚫ 三个事件集的条件互信息定义为 ⚫ 可以推广到任意有限多个空间情况 ( | ) ( | ) ( | ) log ( | ) ( | ) ( ; | ) log 1 3 2 3 1 2 3 1 3 1 2 3 1 2 3 p u u p u u p u u u p u u p u u u I u u u = =
●●●●● ●●●● 互信息的可加性 ●●0 ●●● ●●●● 2 系统 系统 3 (1;1222=/(1;2)+(l1;1242) =/(1;l3)+(1;l23)
互信息的可加性 系统 u1 u2 u3 系统 u1 u2 u3 ( ; ) ( ; | ) ( ; ) ( ; ) ( ; | ) 1 3 1 2 3 1 2 3 1 2 1 3 2 I u u I u u u I u u u I u u I u u u = + = +