条件概率（conditionalprobability）若已知A=ao，则B发生b,的概率称为条件概率，记为(P(b,lao)，其中P(b,lao)表示“给定A=ao后B=b的概率”P(ao,b,) = P(b;lao) P (ao) P (ai,b) = P (b;lai) P (ai)→ P(b;) =P(ai, bi) = P(bilai) P(ai) P(ai,b) =P (ailb,) P (b,)b1/4Ab- P(ai) =P(ai,bj) = P(ailb;)P(b))a1/2b1/2b2/3概率树（probabilitytree）1/3bla.11bP(a2) :e.g.P(a1)=P(a3) =2361/b1/311P(b3a1) :P(bila1) =P(b2a1) =ba44"P(a,)1/3b111P(a1,bi)=24-8P(b;la,)
条件概率（conditional probability） 若已知 A=a0，则B 发生 bj 的概率称为条件概率，记为 {P (bj | a0 )} ， 其中 P (bj | a0 ) 表示“给定 A=a0 后 B=bj 的概率” 概率树（probability tree） e.g
贝叶斯定理（Baves theorem）P (b;lai) P (ai)P(ailb,) =or P(aib;) α P(b;lai) P(ai)TWOEVENTS:P(6Priorknownknowledge(fixed)THREEEVENTS:P (ai,bi,Ck) = P(ai|bi,Ck) P (bi,Ck) = P (aibi, Ck) P(b,lck) P(ck)= P(ai, bilck)P(ck) = P(ailbi, Ck) P(b;lck)P(ck)P(bi,Chlai) P(ai)P(ai|bj, Ck) = For P(ailbj,ck) α P(bj, chlai)P(ai)P(bi,ck)Priorknownknowledge (fixed)类似可得到多个事件的贝叶斯定理
THREE EVENTS： Prior known knowledge (fixed) 类似可得到多个事件的贝叶斯定理。 贝叶斯定理（Bayes’ theorem） TWO EVENTS： Prior known knowledge (fixed)
例:EachmorningIwalktowork,choosingbetweena longanda shortroute.IfIchoosetheshortroutethenIalways arriveontime,but if ItakethelongroutethenIarrive ontimewithprobability3/4.Thelongrouteisscenic,soIrisktakingitonedayinfour.Ifyouseemearriving ontime,whatprobabilitywouldyouinferformehavingtakenthelongroute?YP (bolat) = 24P(at) =a:远路bo:准时P(bo)7aoA：路线选择B：迟到与否P(bo|as) = 1P(aas：近路bl:迟到33P(as)=l-Pal)P(atlbo)α P(bola)P (az)41615P(bo)=P(bolas)P(as)+P(bola)P(a)316P(asbo)x P(bolas)P(as)4P（ab）元1P(bolat)P(a)P(ailbo)=115P(bo)4天三大P(aslbo)=andP (aalbo)4P(bolas)P(as)5P(aabo):1-P(albo）5P(bo)
例：Each morning I walk to work, choosing between a long and a short route. If I choose the short route then I always arrive on time, but if I take the long route then I arrive on time with probability 3/4 . The long route is scenic, so I risk taking it one day in four. If you see me arriving on time, what probability would you infer for me having taken the long route? al：远路 as：近路 A：路线选择 B：迟到与否 bO：准时 bL：迟到
A.信息的物理本质a.2信息和滴信息是概率的函数，是概率分布对应的摘事件A的所有观测结果为(a)。简单若ao必然发生P(ao)=1→观测给不出信息推理若P(a+ao）很小观测到A≠ao给出大量信息维信息量记为h[P（ai）】口确定A的取值时，若取值概率越小，信息量h越大口对独立事件A和B，若知道A=a,后，进一步知道B=b,值会提供额外的信息（信息量的可加性）（非负）h[P(ai)] = -K log P(ai)h[P(ai,b,)] =h[P(ai) P(b;)] =h[P(ai)] +h[P(b;)]口事件A的信息总量（由A的所有结果的完全集决定）称为信息H(A) =-P(a) logP(a), BitsH(A) =ZP(ai) h[P(ai)He=Hln2000He(A)=-P(ai) lnP(ai), Nats
A.信息的物理本质 a.2 信息和熵 ➢ 信息是概率的函数，是概率分布对应的熵。 事件 A 的所有观测结果为 {ai } 。 若 a0 必然发生 → P(a0 )=1 → 观测给不出信息 若 P(ai ≠a0 )很小 → 观测到 A≠ a0给出大量信息 简单 推理 信息量记为 确定 A 的取值时，若取值概率越小，信息量 h 越大 对独立事件 A 和 B，若知道A=ai 后，进一步知道 B=bj值会提供额外的信息（信息量的可加性） (非负) 事件 A 的信息总量（由 A 的所有结果的完全集决定）称为信息熵