粒子物理与核物理实验中的 数据分析 陈少敏 清华大学 第九讲：最小二乘法
粒子物理与核物理实验中的 数据分析 陈少敏 清华大学 第九讲：最小二乘法
本讲要点 最小二乘法与最大似然法的关系 线性情况下的最小二乘估计 非线性情况下的最小二乘估计 约束情况下的最小二乘法 检验最小二乘法的拟合优度 应用最小二乘法处理分区数据 不等精度关联实验结果的并合问题 2
2 本讲要点 最小二乘法与最大似然法的关系 线性情况下的最小二乘估计 非线性情况下的最小二乘估计 约束情况下的最小二乘法 检验最小二乘法的拟合优度 应用最小二乘法处理分区数据 不等精度关联实验结果的并合问题
最小二乘法与最大似然法 假设有高斯随机变量：，=1，…，N,其平均值为 E[y,]=,=(x;0) 1.5 这里，x,,xw与[y,]=o2 已知。 为了估计参数，可以用曲线 λ，9) 0.5 拟合所有的测量点（见右图） 。 对于独立的高斯变量y,联合概率密度函数为 s0G,-1,om 2o7 求1ogL(0)的最大值等 效于求x2的最小值。 对应的对数似然函数（去掉与0无关的项）为 z(0-2少-x.07 i=1
3 最小二乘法与最大似然法 假设有高斯随机变量: yi, i=1,…, N ,其平均值为 对于独立的高斯变量 yi，联合概率密度函数为 [ ] ( ; ) E yi i i = = λ λ θ x G 2 1,..., [ ] N i i 这里，x x 与 V y = σ 已知。 ∏= ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − − = N i i i i i y g y 1 2 2 2 2 2 ( ) exp 2 1 ( ; , ) σ λ πσ λ σ G G G 对应的对数似然函数 (去掉与 θ 无关的项 ) 为 2 2 1 1 [ ( ; ) ] lo g ( ) 2 N i i i i y x L λ θ θ = σ − = − ∑ G G 2 2 2 1 [ ( ; ) ] ( ) N i i i i y x λ θ χ θ = σ − = ∑ G G 2 lo g L (θ ) χ G 求 的最大值等 效于求 的最小值。 θ G 为了估计参数 ，可以用曲线 拟合所有的测量点(见右图)
最小二乘估计量的定义 如果y是一多维高斯变量，协方差矩阵为V,满足 80”2pm6-r-6-】 那么其对数似然函数为 oe40=-22y-:1W-,y-,a) 也就是说，我们应求下式的最小值 x2(0)=∑y-x:0IW-,[y,-(x,:0) i,i=l 它的最小值定义了最小二乘法的估计量0，即使y不是高斯变量，该定 义依然适用。（实际上，y通常是高斯的，因为中心极限定理会导出测量 误差也是高斯的。)
4 最小二乘估计量的定义 如果 yi是一多维高斯变量，协方差矩阵为V ，满足 ( ) ( ) ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = − − − − λ λ π λ G G G G G G y V y V g y V T N 1 / 2 1/ 2 2 1 exp ( 2 ) | | 1 ( ; , ) 那么其对数似然函数为 1 1 1 lo g ( ) [ ( ; ) ] ( ) [ ( ; ) ] 2 N i i ij j j i L y θ λ θ x V y λ x θ − = = − ∑ − − G G G 也就是说，我们应求下式的最小值 2 1 , 1 ( ) [ ( ; ) ] ( ) [ ( ; ) ] N i i ij j j i j χ θ λ y x θ V y λ x θ − = = − ∑ − G G G 它的最小值定义了最小二乘法的估计量 θ ，即使 yi不是高斯变量，该定 义依然适用。 (实际上， yi 通常是高斯的，因为中心极限定理会导出测量 误差也是高斯的。 )
线性最小二乘法估计 如果(x,0)是0的线性函数，最小二乘法有一些简单的特殊性质， cx=2a,(x)9, 没有偏置，而且得到的方差 i=1 最小（高斯-马尔可夫定理）。 这里a(x)是x的任意线性独立函数。 用矩阵来表示时，令Aa(x),有 x2(0)=(-元)YV-(-元)=(5-A0)V-(-A0) 对0，求偏微分，并令结果等于零，有 VX2=-2(AV-)-AV-A0)=0 解方程得到最小二乘法的估计量 估计量0，是测量 6=(AV1A)AV≡ 量y的线性函数。 5
5 线性最小二乘法估计 这里 aj (x ) 是 x 的任意线性独立函数。 λ θ ( ; x ) θ G G 如果 是 的线性函数，最小二乘法有一些简单的特殊性质， ∑= = m j j j x a x 1 λ( ;θ ) ( ) θ G ˆ θ G 没有偏置，而且得到的方差 最小(高斯-马尔可夫定理)。 用矩阵来表示时，令 Aij = aj (xi)，有 ( ) ( ) ( ) ( ) ( ) 2 1 1 χ θ λ λ θ θ G G G G G G G G G y V y y A V y A T T = − − = − − − − 对 θ i 求偏微分，并令结果等于零，有 2 ( ) 0 2 1 1 ∇ = − − = − − χ θ G G A V y A V A T T 解方程得到最小二乘法的估计量 ˆ 1 1 1 ( ) T T θ A V A A V y By − − − = ≡ G G G ˆ i i y 估计量 θ 是测量 量 的线性函数