62贝叶斯概率基础 (5)贝叶斯公式。贝叶斯公式也叫后验概率公 式,亦叫逆概率公式,其用途很广。设先验概率为 P(B),调查所获的新附加信息为P(AB)(i=12,…,; 产=1,2,…,m则贝叶斯公式计算的后验概率为 P(B|A)=P(B)P(4B)∑P(B)P(4B)(6.5) k=1 该公式于1763年由贝叶斯( Bayes)给出。它 是在观察到事件4已发生的条件下,寻找导致4 发生的每个原因的概率
6.2 贝叶斯概率基础 = = m k P Bi Aj P Bi P Aj Bi P Bi P Ak Bi 1 ( | ) ( ) ( ｜ ) ( ) ( ｜ ) 该公式于1763年由贝叶斯(Bayes)给出。它 是在观察到事件A已发生的条件下，寻找导致A 发生的每个原因的概率。 (5)贝叶斯公式。贝叶斯公式也叫后验概率公 式，亦叫逆概率公式，其用途很广。设先验概率为 P(Bi )，调查所获的新附加信息为P(Aj |Bi ) (i=1,2,…,n; j=1,2,…,m), 则贝叶斯公式计算的后验概率为 (6.5)
贝叶斯规则 p(AJB)-P(A,B-P(B A)p(A) p(B) p(B) p(A, IF- P(EIAi)P(A)_P(E A P(A) E pE)∑pE|A)A)A6 5 ●基于条件概率的定义 p(八E)是在给定证据下的后验概率 p(A)是先验概率 P(∈EA)是在给定A下的证据似然 p(E)是证据的预定义后验概率 2021/8/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 22 贝叶斯规则 ⚫ 基于条件概率的定义 ⚫ p(Ai |E) 是在给定证据下的后验概率 ⚫ p(Ai ) 是先验概率 ⚫ P(E|Ai ) 是在给定Ai下的证据似然 ⚫ p(E) 是证据的预定义后验概率 = = i i i i i i i i p(E | A )p(A ) p(E | A )p(A ) p(E) p(E | A )p(A ) p(A |E) = = p(B) p(B | A)p(A) p(B) p(A,B) p(A |B) A1 A2 A3 A4 A6 A5 E
贝叶斯网络的概率解释 任何完整的概率模型必须具有表示(直接或间接)该领域变量联合分 布的能力。完全的枚举需要指数级的规模(相对于领域变量个数) 贝叶斯网络提供了这种联合概率分布的紧凑表示:分解联合分布为几 个局部分布的乘积: P(x,.x,…x)=IP(x|Pa) 从公式可以看出,需要的参数个数随网络中节点个数呈线性增长,而 联合分布的计算呈指数增长 网络中变量间独立性的指定是实现紧凑表示的关键。这种独立性关系 在通过人类专家构造贝叶斯网中特别有效。 2021/8/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 23 贝叶斯网络的概率解释 ⚫ 任何完整的概率模型必须具有表示（直接或间接）该领域变量联合分 布的能力。完全的枚举需要指数级的规模（相对于领域变量个数） ⚫ 贝叶斯网络提供了这种联合概率分布的紧凑表示：分解联合分布为几 个局部分布的乘积： ⚫ 从公式可以看出，需要的参数个数随网络中节点个数呈线性增长，而 联合分布的计算呈指数增长。 ⚫ 网络中变量间独立性的指定是实现紧凑表示的关键。这种独立性关系 在通过人类专家构造贝叶斯网中特别有效。 = i P(x1, x2,xn) P(xi | pai)
6.4简草贝叶斯学习模型 简单贝叶斯( naive Bayes或 simple Bayes)学习模型 将训练实例玢解成特征向量X和决策类别变量C简单贝 叶斯模型假定特征向量的各分量间相对于决策变量是相对 独立的,也就是说各分量独立地作用于决策变量。尽管这 一假定一定程度上限制了简单贝叶斯模型的适用范围,然 而在实际应用中,不仅以指数级降低了贝叶斯网络构建的 复杂性,而且在许多领域,在违背这种假定的条件下,简 单贝叶斯也表现出相当的健壮性和高效性1,它已经成 功地应用到分类、聚类及模型选择等数据挖掘的任务中。 目前,许多研究人员正致力于改善特征变量间独立性的限 制[54,以使它适用于更大的范围。 2021/8/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 24 6.4 简单贝叶斯学习模型 简单贝叶斯（naïve Bayes或simple Bayes）学习模型 将训练实例I分解成特征向量X和决策类别变量C。简单贝 叶斯模型假定特征向量的各分量间相对于决策变量是相对 独立的，也就是说各分量独立地作用于决策变量。尽管这 一假定一定程度上限制了简单贝叶斯模型的适用范围，然 而在实际应用中，不仅以指数级降低了贝叶斯网络构建的 复杂性，而且在许多领域，在违背这种假定的条件下，简 单贝叶斯也表现出相当的健壮性和高效性[111]，它已经成 功地应用到分类、聚类及模型选择等数据挖掘的任务中。 目前，许多研究人员正致力于改善特征变量间独立性的限 制[54]，以使它适用于更大的范围
简单贝叶斯 Naive Bayesian F n- F PODIF.Fn=P(D)*I li P(F,ID) 结构简单一只有两层结构 推理复杂性与网络节点个数呈线性关系 20218/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 25 简单贝叶斯 Naïve Bayesian ▪结构简单－只有两层结构 ▪推理复杂性与网络节点个数呈线性关系