必须掌握的概率论知识 条件概率 P (AIB) P(AB) P(B) (B14)P(AB) P(A) 联合概率 P (AB)=P(B)P(AI B) P (AB)=P(A)P(B A)
◼ 条件概率 ◼ 联合概率 必须掌握的概率论知识 ( ) ( ) | P B P AB p（A B）= ( ) ( ) | P A P AB p（B A）= p（AB）= P(B) p(A | B) p（AB）= P(A) p(B | A)
必须掌握的概率论知识 全概率 设B1,B2,…是一列互不相容的事件(BzB;=0), 且有B1UB2U..=9(样本空间) p(B1)>0,i=1,2,…,则对任一事件A,有 (A)=∑n(B,)(41B1)=∑以AB)
必须掌握的概率论知识 全概率： 设 B 1 , B 2 , … 是一列互不相容的事件(Bi B j = 0）， 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： = = i i i p(A) p(Bi ) p(A| Bi ) p(AB )
必须掌握的概率论知识 4) Bayes公式 设B1,B2,…,是一列互不相容的事件(BiB 0) 且有B1∪B2U..=9(样本空间); p(B1)>0,i=1,2,…,则对任一事件A,有: P(B: IA= P(B )P(AIB) P(B P(A1B: ∑p(B)p(AB P(A)
必须掌握的概率论知识 4)Bayes公式: 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j= 0）， 且有 B 1 ∪ B 2∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： ( ) ( ) ( | ) ( ) ( | ) ( ) ( | ) ( | ) 1 P A p B P A B p B p A B p B P A B p B A i i i i i i i i = = =
2.1信息量、熵和互信息量 信息量定义: 个离散无记忆信源是由n个符号消息组成的集合:X={x1, x2…xn},这个件号消息的概率分布为: 称为符号x的先验概率,散信源数学模型表示为: 12 P」Lp(x1)p(x2)P(x3)…p(xn) 称为概率空间,其中p(x)20.∑x)+1 从概率的角度看,可以将符号消息x看一个随机事 件。因此x具有不确定性
一个离散无记忆信源是由n个符号消息组成的集合:X={ x1， x2 ···xn }，这n个符号消息的概率分布为了： 称为符号xi 的先验概率, 散信源数学模型表示为： 称为概率空间, 其中 从概率的角度看，可以将符号消息 xi 看一个随机事 件。因此 xi 具有不确定性。 2．1 信息量、熵和互信息量 ◼ 信息量定义： { ( ), ( ), ( )} p = p x1 p x2 p xn = ( ) ( ) ( ) ( ) 1 2 3 1 2 3 n n p x p x p x p x x x x x P X = = n i p xi p xi 1 ( ) 0, ( ) 1
2.1信息量、熵和互信息量 信息量定义: 美国科学家 L VR. Hartley于1928年给出了信息的度量方法。 定义若信源发出一符号x,由于信道存在干扰,收到 的不是x而是y,从y冲获取有关x信息量用I Xi;y)表示,称为互信息量 定义上述情况,若信道无干扰,收到的就是x/本身, 这样I(x;y就可以用I(x;XD表示,或简单记 作I(XD,并称为自信息量
2．1 信息量、熵和互信息量 ◼ 信息量定义： 美国科学家L.V.R.Hartley 于1928年给出了信息的度量方法。 定义 若信源发出一符号xi ，由于信道存在干扰，收到 的不是 x i 而是 y i ，从 y i中获取有关 x i的信息量用 I ( x i ；y i) 表示，称为互信息量。 定义 上述情况，若信道无干扰，收到的就是x i 本身， 这样I (x i ；y i) 就可以用 I (x i ；x i) 表示，或简单记 作 I( x i)，并称为自信息量