7.2估计理论基础16定义7.2.4设连续型随机变量X的概率密度为f（x），若积分J-℃xf(x)dx绝对收敛，则称[℃xf(x)dx为随机变量X的数学期望，记为E(X)，即+0E(X) =xf(x)dx-8定义7.2.5设X为随机变量，若E[X一E(X)12)存在，则D(X) = E[X -E(X12)称为随机变量X的方差。西安交大机械学
西 安 交 大 机械 学 院 7 16 .2 估计理论基础 §定义7.2.4 设连续型随机变量�的概率密度为�(�)，若积 分 −∞ +∞ ��(�)��绝对收敛，则称 −∞ +∞ ��(�)��为随机变量� 的数学期望，记为�(�)，即 �(�) = −∞ +∞ ��(�)�� §定义7.2.5 设�为随机变量，若� [� − �(�)]2 存在，则 �(�) = � [� − �(�)]2 称为随机变量�的方差
7.2估计理论基础17定义7.2.6设xERn是一个未知参数向量，量测y是一个m维的随机向量，而y的一组容量为N得样本是(y1，Y2，…，ynJ，设对它的统计量为x(N) = (βp(yi, y2, ", yn)称其为对x的一个估计量，其中()称为统计规则或估计算法。■定义7.2.7设对于式（7.2.1），所得估计量如果满足E(X(N) = x则称x(N)是对参数x的一个无偏估计;如果满足lim E((N)) = xn-00则称x(M)是对参数x的一个渐进无偏估计。西安交大机械学
西 安 交 大 机械 学 院 7 17 .2 估计理论基础 §定义7.2.6 设� ∈ ℝ�是一个未知参数向量，量测�是一个m 维的随机向量，而�的一组容量为N得样本是 �1，�2 ，⋯，�� ，设对它的统计量为 � (�) = �(�1，�2，⋯，��) 称其为对�的一个估计量，其中�(∙)称为统计规则或估计 算法。 §定义7.2.7 设对于式(7.2.1)，所得估计量如果满足 � � (�) = � 则称� (�)是对参数�的一个无偏估计； 如果满足 lim �→∞ � � (�) = � 则称� (�)是对参数�的一个渐进无偏估计
7.2估计理论基础18【例7.1】■设y是任意随机变量，期望E(y)=m，方差var(y)=2；而y的一组容量为N的样本是(y1，Y2，…，yn，假定它们之间相互独立且同分布：设有它的两个统计量分别为NNZ，%=INyi-mmNi=1i=1其中NZE(mN)E(yi)(N·m）=mNNi=1所以m是m的一个无偏估计；西安交大机械学
西 安 交 大 机械 学 院 18 u 【例7.1】 §设�是任意随机变量，期望�(�) = �，方差var(�) = � 2 ；而y的一组容量为N的样本是 �1，�2，⋯，�� ，假定 它们之间相互独立且同分布；设有它的两个统计量分别 为 �� = 1 � �=1 � �� ，σ� 2 = 1 � �=1 � �� 2 − �� 2 其中 �(��) = 1 � �=1 � �(��) = 1 � (� ∙ �) = � 所以��是�的一个无偏估计； 7.2 估计理论基础
7.2估计理论基础19【例7.1】N之E(G)E(y) -E(m2) = E(y2) - E(m2)=i=1(信之= E(y2) - EyiNN1Z√yiE= E(y2yiyjN2i=1j1N-N-11m2=E(y)E1NNN所以是2的一个渐进无偏估计。西安交大机械学
西 安 交 大 机械 学 院 19 u 【例7.1】 �(σ� 2 ) = 1 � �=1 � � �� 2 − �(�� 2 ) = �(� 2 ) − �(�2 ) = �(� 2 ) − � 1 � �=1 � �� 2 = �(� 2 ) − 1 �2 � �=1 � �� 2 + �≠� � ���� = �(� 2 ) − 1 � �(� 2 ) − � − 1 � �2 = � − 1 � � 2 所以σ� 2 是� 2的一个渐进无偏估计。 7.2 估计理论基础
7.2估计理论基础20定义7.2.8对于式（7.2.1）所得估计量如果依概率收敛于真值，即lim x(N) =xn-0则称x(M)是对参数x的一个一致估计量。■定义7.2.9设(N)是参数的一个正规无偏估计，则其估计误差的协方差阵满足如下Cramer-Rao不等式cov(X) ≤ E(xxT) ≥ M1其中xx(M)一x是估计误差，而Mx是Fisher信息矩阵（注意标量对向量求导取行向量），定义为alogp(y|x) [alogp(y|x)Mx=Eaxax其中p(ylx是给定x时y的条件概率密度函数。西安交大机械学
西 安 交 大 机械 学 院 7 20 .2 估计理论基础 §定义7.2.8 对于式(7.2.1)所得估计量如果依概率收敛于真 值，即 lim �→∞ � (�) � � 则称� (�)是对参数�的一个一致估计量。 §定义7.2.9 设� (�)是参数的一个正规无偏估计，则其估计 误差的协方差阵满足如下Cramer-Rao不等式 𝑐�(�) ≜ �(�� �) ≥ ��−1 其中� ≜ � (�) − �是估计误差，而��是Fisher信息矩阵 （注意标量对向量求导取行向量），定义为 �� ≜ � �log�(�|�) �� � �log�(�|�) �� 其中�(�|�)是给定�时�的条件概率密度函数