第18章贝叶斯估计简介
第18章 贝叶斯估计简介
主要内容 中贝叶斯估计的思想 ◆贝叶斯定理 ◆贝叶斯估计的一个例子 ◆基于后验分布的统计推断 ◆先验分布的选择 ◆多元回归的贝叶斯分析 ◆马尔可夫链蒙特卡罗法
2 主要内容 贝叶斯估计的思想 贝叶斯定理 贝叶斯估计的一个例子 基于后验分布的统计推断 先验分布的选择 多元回归的贝叶斯分析 马尔可夫链蒙特卡罗法
18.1贝叶斯估计的思想 在统计学中有两派,主流是“频率学派”,也称 “古典学派”,即数理统计课的常规内容; 另一派是“贝叶斯学派”,由18世纪英国统计学家 贝叶斯创立。 二者的主要区别在于,频率学派假设总体服从某个 分布,比如f(x;θ),其中θ为待估计、未知、给定的参 数 (或参数向量)。 贝叶斯学派认为,既然θ有不确定性,应将θ本身也 视为随机变量(或随机向量),并用概率分布来描述。 由于的分布在研究者看到数据之前就有,故称为 “先验分布
3 18.1 贝叶斯估计的思想 在统计学中有两派，主流是“频率学派” ，也称 “古典学派” ，即数理统计课的常规内容； 另一派是“贝叶斯学派” ，由18世纪英国统计学家 贝叶斯创立。 二者的主要区别在于，频率学派假设总体服从某个 分布，比如𝑓(𝑥; 𝜃ሻ，其中𝜃为待估计、未知、给定的参 数 (或参数向量)。 贝叶斯学派认为，既然𝜃有不确定性，应将𝜃本身也 视为随机变量(或随机向量)，并用概率分布来描述。 由于𝜃的分布在研究者看到数据之前就有，故称为 “先验分布”
18.1贝叶斯估计的思想 得到样本数据后,可根据贝叶斯定理将先验分布更新为 后验分布,并以后验分布作为统计推断的依据。 由于先验分布的主观性,有些学者对贝叶斯学派持有保 留意见。但在大样本中,先验分布的作用将变得很小。 还可使用“相对不含信息”的先验分布,并对后验分布 对于先验分布的依赖性进行“敏感度分析
4 18.1 贝叶斯估计的思想 得到样本数据后，可根据贝叶斯定理将先验分布更新为 后验分布，并以后验分布作为统计推断的依据。 由于先验分布的主观性，有些学者对贝叶斯学派持有保 留意见。但在大样本中，先验分布的作用将变得很小。 还可使用“相对不含信息”的先验分布，并对后验分布 对于先验分布的依赖性进行“敏感度分析”
18.1贝叶斯估计的思想 贝叶斯估计的主要优点: (1)古典学派一般通过最优化(比如,MLE,OLS)进行参 数估计,但有时不易求得最优解。贝叶斯学派只要反复使 用贝叶斯定理即可,不需要进行最优化。虽然贝叶斯分析常 没有解析解,随着计算方法的发展,这已基本不成问题。 (2)古典学派需要用不同的统计量来估计期望、方差、 中位数、分位数等,而贝叶斯学派可以直接得到参数的整个 后验分布。从后验分布,可容易地算出其各阶矩。 (3)对于古典学派的统计量,常常不易找出其“精确的 有限样本分布”,故只能退而求其次,推导大样本渐近分布。 贝叶斯学派一般可直接计算精确的有限样本分布,不需要渐 近理论
5 18.1 贝叶斯估计的思想 贝叶斯估计的主要优点： (1) 古典学派一般通过最优化(比如，MLE，OLS)进行参 数估 计，但有时不易求得最优解。贝叶斯学派只要反复使 用贝叶斯定理即可，不需要进行最优化。虽然贝叶斯分析常 没有解析解，随着计算方法的发展，这已基本不成问题。 (2) 古典学派需要用不同的统计量来估计期望、方差、 中位数、分位数等，而贝叶斯学派可以直接得到参数的整个 后验分布。从后验分布，可容易地算出其各阶矩。 (3) 对于古典学派的统计量，常常不易找出其“精确的 有限样本分布” ，故只能退而求其次，推导大样本渐近分布。 贝叶斯学派一般可直接计算精确的有限样本分布，不需要渐 近理论