●●● ●●●● ●●●●● ●●●● 非平均互信息量 ●●●●● ●●●● 输入消息码字p(x) 收到0 收到01收到011 X1 000 1/8 1/6 0 X2 001 1/4 1/3 0 0 X3 010 1/8 1/6 1/3 X4 011 1/4 1/3 2/3 100 1/16 X6 101 1/16 X7 110 1/16 0000 0000 X8 111 1/16
非平均互信息量 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16 1/6 1/3 1/6 1/3 0 0 0 0 0 0 1/3 2/3 0 0 0 0 0 0 0 1 0 0 0 0
●●● ●●●● ●●●●● ●●●● 非平均互信息量 ●●●●● ●●●● ●例2.1.2 输入消息码字|p4)收到0收到01收到01 X1 0001/2 p 1/2 1-p X2 1111/2 1/2 1-p 0 0 p
非平均互信息量 ⚫ 例2.1.2 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 000 111 1/2 1/2 1-p p 1/2 1/2 1-p p 1-p 1-p 0 0 1 1 p p
●●● ●●●● ●●●●● ●●●● 非平均互信息量 ●●●●● ●●●● I(: yi)=f(q(k),P(xklyi)) I(xk: y=l(xk;yi1+I(xk; yi2 +I( k2vj3 Vivir) kiVi)=lg p(r k a qxp) PO lxk Lloga a(,)
非平均互信息量 ( ; ) ( ( ), ( | )) k j k k j I x y = f q x p x y ( ; | ) ( ; ) ( ; ) ( ; | ) 3 1 2 1 2 1 k j j j k j k j k j j I x y y y I x y I x y I x y y + = + ( ; ) ( ) ( | ) log ( ) ( | ) ( ; ) log j k j j k a k k j k j a I y x y p y x q x p x y I x y = = =
●●● ●●●● ●●●●● ●●●● 条件互信息和联合事件互信息 ●●●●● ●●● 个事件集的条件互信息定义为 /(41;l213)=log p(,u3 pD(l423) p(l4|3) (4|2)D(243) 可以推广到任意有限多个空间情况
条件互信息和联合事件互信息 ⚫ 三个事件集的条件互信息定义为 ⚫ 可以推广到任意有限多个空间情况 ( | ) ( | ) ( | ) log ( | ) ( | ) ( ; | ) log 1 3 2 3 1 2 3 1 3 1 2 3 1 2 3 p u u p u u p u u u p u u p u u u I u u u = =
●●● ●●●● ●●●●● ●●●● 互信息的可加性 ●●●●● ●●●● 系统 系统 (1:12)=/(1:2)+(1;12412) =f(l1:13)+(l1;212
互信息的可加性 系统 u1 u2 u3 系统 u1 u2 u3 ( ; ) ( ; | ) ( ; ) ( ; ) ( ; | ) 1 3 1 2 3 1 2 3 1 2 1 3 2 I u u I u u u I u u u I u u I u u u = + = +