第六章极大似然法辨识 矿极大似然法是现代辨识的参数估计方法 之一。它是由Fshe发展起来的,基本思 想可追溯到高斯(1809年)。 矿思路:构造一个以观测值和未知参数为 自变量的似然函数,并通过极大化这个 似然函数来获得模型的参数估值
第六章 极大似然法辨识 极大似然法是现代辨识的参数估计方法 之一。它是由Fisher发展起来的，基本思 想可追溯到高斯（1809年）。 思路：构造一个以观测值和未知参数为 自变量的似然函数，并通过极大化这个 似然函数来获得模型的参数估值
611用极大似然法求估计量 设X1,X2,…X是总体的一个样本 19 2,",x,为样本的观测值,则兰体 X的分布律P{X=x}=p(x)或分布密度 p(x)冲中含有未知参数时, 记p(x)=p(x;, 称(O)= (x;O为似然函数,而称使 L()取极大的估计值为e极大似然 估计值
6.1.1 用极大似然法求估计量 设X1 , X2 , , Xn 是总体X的一个样本， x1 , x2 , , xn 为样本的观测值，则当总 体 X的分布律P{X = x} = p(x)或分布密度 p(x)中含有未知参数时， 记p(x) = p(x; ), 称 为似然函数，而称使 = = n i L p x 1 ( ) ( ; ) L( )取极大的估计值 ˆ L 为的极大似然 估计值
一般步骤: (1)构成似然函数L(0); (2)写出nL(0); (3)以0为自变量求nL(0的导数或偏导数; (4)令nL(0的导数或偏导数等于零解方程;
一般步骤： (1) 构成似然函数L(θ)； (2) 写出lnL(θ)； (3)以θ为自变量求lnL(θ)的导数或偏导数； (4)令lnL(θ)的导数或偏导数等于零解方程；
例1:已知独立同分布的随机过程1x0),在参数 条件下随机变量x的概率密度为p(x|)=2xe-,0>0 求参数O的极大似然估计。 解设x=[x()x(2)…x(N)表示随机变量x的N 个观测值向量,则随机变量x在参数O条件下的似然 函数为 (x10)=∏lx(4)0)=02∏x(k,cx-0>xk =1 k=1 对上式等号两边取对数,可得 hL(x|6)=2Nh+∑hx(k)-0∑x) k=1 k=1 求上式对θ的偏导数,并且令偏导数等于0,可得 an L(0) 2N y ∑x(k)=0 k=1
例1：已知独立同分布的随机过程 ，在参数 条件下随机变量 的概率密度为 求参数 的极大似然估计。 解 设 表示随机变量 的N 个观测值向量，则随机变量 在参数 条件下的似然 函数为 对上式等号两边取对数，可得 求上式对 的偏导数，并且令偏导数等于0，可得 {x(t)} = = = = = − N k N k N k N N L x p x k x k x k 1 1 1 2 ( |) ( ( ) |) ( ) exp ( ) x ( | ) , 0 2 = − x p x x e T xN = [x(1) x(2) x(N)] x x = = = + − N k N k N L x N x k x k 1 1 ln ( | ) 2 ln ln ( ) ( ) ( ) 0 ln ( | ) 2 1 = − = = N k N x k L x N
因而可得参数θ的极大似然估计 2N ML ∑x() 了又由于 8hn L(x 8 2N <0 ae 2 0M 了故m使似然函数达到了最大值。因此Bm是参 数的极大似然估计
因而可得参数 的极大似然估计 又由于 故 使似然函数达到了最大值。因此 是参 数 的极大似然估计。 = = N k ML x k N 1 ^ ( ) 2 0 ln ( | ) 2 2 ^ 2 2 ^ = − ML L xN N M L ML ^ ML ^