内容提要上次课的回顾1最小二乘估计（LSE）矩估计(ME)1小结与应用实例
内容提要 上次课的回顾 最小二乘估计（ 最小二乘估计（LSE ） 矩估计(ME) 小结与应用实例 小结与应用实例
Review ofthelast lecture上次课的回顾MLE介绍MLE的性质MLE的数值确定线性模型的MLE
上次课的回顾 MLE介绍 MLE的性质 MLE的数值确定 线性模型的MLE Review of the last lecture Review of the last lecture
最大似然估计原理最大似然估计常用来估计未知的非随机参量，它定义为使似然函数最大的0值作为估计量。对于未知非随机被估计量A，观测矢量x的概率密度函数p(x;の)，称之为似然函数。最大似然估计的基本原理是对于某个选定的θ，考虑x落在一个小区域内的概率p(x;0)dx，取p(x;)dx 最大的那个对应的é，作为估计量
最大似然估计原理 最大似然估计常用来估计未知的非随机参 最大似然估计常用来估计未知的非随机参 量，它定义为使似然函数最大的 量，它定义为使似然函数最大的 值作为估 计量。 对于未知非随机被估计量 对于未知非随机被估计量 ，观测矢量 的 概率密度函数 ，称之为似然函数。 ，称之为似然函数。 最大似然估计的基本原理是对于某个选定 最大似然估计的基本原理是对于某个选定 的 ，考虑 落在一个小区域内的概 落在一个小区域内的概 率 ，取 最大的那个对应 最大的那个对应 的 作为估计量 。 θ θ x p(; ) x θ θ x p d (; ) x x θ p(; ) x x θ d ˆθ ML
最大似然估计量的构造根据最大似然估计原理，如果已知似然函数p(x,①）那么最大似然估计量,可由方程a ln p(x;0)p(x; 0)=0=0or0=00=0MLa0a0MI解得，该方程称为最大似然方程。最大似然估计也适用于随机参量，但主要是对于不知道先验PDF情况的估计。或者在随机参量情况下，虽然知道被估计量的先验PDF但不用，而用最大似然估计构造估计量也是可以的
最大似然估计量的构造 根据最大似然估计原理，如果已知似然函 根据最大似然估计原理，如果已知似然函 数 , 那么最大似然估计量 那么最大似然估计量 可由方程 解得，该方程称为最大似然方程。 解得，该方程称为最大似然方程。 最大似然估计也适用于随机参量 最大似然估计也适用于随机参量 ，但主要是对 于不知道先验PDF情况的估计。或者在随机参量 情况的估计。或者在随机参量 情况下，虽然知道被估计量的先验 情况下，虽然知道被估计量的先验PDF但不用， 而用最大似然估计构造估计量也是可以的。 而用最大似然估计构造估计量也是可以的。 p(; ) x θ ˆθ ML ˆ ˆ (; ) ln ( ; ) 0 0 ML ML p p or θ θ θ θ θ θ θ θ = = ∂ ∂ = = ∂ ∂ x x θ
Maximumlikelihoodestimation最大似然估计基于最大似然原理的估计，是人们获得实用估计的最通用的方法。该方法在MVU估计量不存在或者存在但不能求解的情况下是很有效的。利用它可以简便地实现对复杂的估计问题的求解。对于绝大多数适用的最大似然估计，当观测数据足够多时，其性能是最优的，非常接近于MVU估计量。几乎所有适用的估计都是基于最大似然原理
最大似然估计 基于最大似然原理的估计，是人们获得实用估 基于最大似然原理的估计，是人们获得实用估 计的最通用的方法。该方法在 计的最通用的方法。该方法在MVU估计量不存 在或者存在但不能求解的情况下是很有效的。 在或者存在但不能求解的情况下是很有效的。 利用它可以简便地实现对复杂的估计问题的求 利用它可以简便地实现对复杂的估计问题的求 解。 对于绝大多数适用的最大似然估计，当观测数 对于绝大多数适用的最大似然估计，当观测数 据足够多时，其性能是最优的，非常接近于 据足够多时，其性能是最优的，非常接近于 MVU估计量。 几乎所有适用的估计都是基于最大似然原理。 几乎所有适用的估计都是基于最大似然原理。 Maximum likelihood estimation Maximum likelihood estimation