独立和条件独立 ·独立 定义:P(A,B=P(A)xP(B)→P(AB=P(A P(BA=PB) 条件独立 定义: P(A BCHP(ABC)×P(BC=P(AC)×P(BC SP(AB, C=P(AC), P(BA, C=P(BC) Naive baiysian:假定各特征之间条件独立 °P(A12A2,AnB=1P(AB) 避免一个错误:P(ABC=P(AB)xP(AC)
独立和条件独立 • 独立 – 定义：P(A,B)=P(A)P(B)P(A|B)=P(A), P(B|A)=P(B) • 条件独立 – 定义：P(A,B|C)=P(A|B,C)P(B|C)=P(A|C)P(B|C) P(A|B,C)=P(A|C), P(B|A,C)=P(B|C) – Naïve Baiysian：假定各特征之间条件独立 • P(A1 ,A2 ,…,An |B)=i=1,…,nP(Ai |B) – 避免一个错误：P(A|B,C)=P(A|B) P(A|C)
独立和条件独立 独立不意味着条件独立 举例:色盲和血缘关系 A:甲是色盲 B:乙是色盲 C:甲和乙有血缘关系 °P(A,B)P(A)×P(B) P(A,BC)≠P(ACxP(BC 条件独立不意味着独立 P(肺癌买雪茄吸烟)-P(肺癌吸烟)×P(买雪茄吸烟) P(肺癌,买雪茄)=P(肺癌)P(买雪茄)
独立和条件独立 • 独立不意味着条件独立 – 举例：色盲和血缘关系 • A：甲是色盲 • B：乙是色盲 • C：甲和乙有血缘关系 • P(A,B)=P(A)P(B) • P(A,B|C) P(A|C)P(B|C) • 条件独立不意味着独立 – P(肺癌,买雪茄|吸烟)=P(肺癌|吸烟)P(买雪茄|吸烟) – P(肺癌,买雪茄)P(肺癌)P(买雪茄)
Bayes rule 根据乘法原理: P(AB)=P(A)×P(BA)=P(B)×P(AB) 得到贝叶斯原理:PAB=PA× PBAIP(B) 应用1 argmaxAP(AB)=argmaxAP(A)P(BA)/P(B) -argmaXAP(A)PBA) 应用2 小A2,A是特征,B是结论 A BA12A22A)=P(A1,A2…A1B)P(B)P(A1A2… A 其中:P(A1,A2A_B)=∏=1nP(AB)
Bayes’ Rule • 根据乘法原理： – P(A,B)=P(A)P(B|A)=P(B)P(A|B) – 得到贝叶斯原理：P(A|B)=P(A)P(B|A)/P(B) • 应用1 – argmaxAP(A|B)=argmaxAP(A)P(B|A)/P(B) =argmaxAP(A)P(B|A) • 应用2 – A1 ,A2 ,…,An是特征，B是结论 – P(B|A1 ,A2 ,…,An )=P(A1 ,A2 ,…,An |B)P(B)/P(A1 ,A2 ,…, An ) – 其中：P(A1 ,A2 ,…,An |B)=i=1,nP(Ai |B)
Bayes举例 应用3 英汉统计机器翻译 P(CWI,, CWMEWI,EWn P(EWI.EWnCWI, CWmXP(CWI,. CWm/P(E WIEW 汉语句子CW1CWm 英语句子EW1,EWn 翻译模型:P(EW12, EWnICW1,CWn) 目标语语言模型:P(CW1,CWm
Bayes举例 • 应用3 – 英汉统计机器翻译 – P(CW1 ,…,CWm|EW1 ,…,EWn )= P(EW1 ,…,EWn |CW1 ,…,CWm)P(CW1 ,…,CWm)/P(E W1 ,…,EWn ) – 汉语句子CW1 ,…,CWm – 英语句子EW1 ,…,EWm – 翻译模型： P(EW1 ,…,EWn |CW1 ,…,CWm) – 目标语语言模型： P(CW1 ,…,CWm)
随机变量( Random variable) 随机变量是一个函数XΩ2→R。Ω是样本空间, R是实数集合 人们常常关心和样本点有关的数量指标 数值也比事件更易于处理,举例打靶的环数 ·举例 [x=0]{T};[X=1}={TH,HT};[x=2]={HH} Ⅹ是两次掷硬币面朝上的次数 数值可以是连续值,也可以是离散值 Px(x)=P(X=x)=dP(A),Ax={a∈2Xa)x},通 常简写作P(x)
随机变量(Random Variable) • 随机变量是一个函数X:→R。是样本空间， R是实数集合 – 人们常常关心和样本点有关的数量指标 – 数值也比事件更易于处理，举例打靶的环数 • 举例： – [X=0]={TT}；[X=1]={TH,HT} ；[X=2]={HH} – X是两次掷硬币面朝上的次数 • 数值可以是连续值，也可以是离散值 • PX(x)=P(X=x)=dfP(Ax ), Ax={a:X(a)=x}，通 常简写作P(x)