55方差分析 通常在分析估计回归直线的性能和自变量对 最终回归的影响时用方差分析方法。 方差分析是一种主要用于线性回归模型中值 非零的情况下的识别方法。假设用最小二乘法 已求出参数的值,那么观察到的输出值和拟 合值的差异是残差。 RFyrNxi) >对数据集中的m个样本,残差的大小和方差 σ2的大小是有联系的。方差可用下式估计
5.5 方差分析 ►通常,在分析估计回归直线的性能和自变量对 最终回归的影响时,用方差分析方法。 ►方差分析是一种主要用于线性回归模型中β值 非零的情况下的识别方法。假设用最小二乘法 已求出参数β的值，那么观察到的输出值和拟 合值的差异是残差。 Ri=yi -f(xi ) ►对数据集中的m个样本，残差的大小和方差 σ２的大小是有联系的。方差可用下式估计：
s=1(-f(x)3](m-(n-1) 式中分子是残差和,分母是残差的自由度。 分析步骤: 首先,计算模型所有输入的S2,然后 删除这些输入,若删除一个有用的输入,S2
[ ( ( )) ]/( ( 1)) 1 2 2 = − − − = m n i f x i S y m i 式中分子是残差和，分母是残差的自由度。 •分析步骤： •首先，计算模型所有输入的Ｓ2，然后一一 删除这些输入，若删除一个有用的输入,Ｓ2
的估计值将会大幅度上升,若删除一个多余 的输入,估计值不会有太大的变化 在上述步骤的迭代过程中,引入F比率和F 统计检验,形式如下 2 F=S2/ S new old 若—个输入被删除后,F接近于1,新模型 合适;若F值明显大于1,说明新模型不合 适。应用迭代的方差分析方法,能识别哪 个输入和输出的相关的,哪些是不相关的
的估计值将会大幅度上升，若删除一个多余 的输入，估计值不会有太大的变化。 •在上述步骤的迭代过程中，引入Ｆ比率和Ｆ 统计检验，形式如下： 2 2 / F = Snew Sold •若一个输入被删除后，Ｆ接近于１，新模型 合适；若Ｆ值明显大于１，说明新模型不合 适。应用迭代的方差分析方法，能识别哪一 个输入和输出的相关的，哪些是不相关的
下表是有3个输入的数据集的方差分析 情况 输入集 S F 1×2-×3 3.56 X1X 3.98 21 X1X 6.22 F 31 1.75 4 8.34 F41=2.34 9.02 52=227 6 9.89 F52=2.48 2 6
•下表是有３个输入的数据集的方差分析 情况 输入集 Si 2 Ｆ １ x1 ,x2 ,x3 3.56 ２ x1 ,x2 3.98 F21=1.12 ３ x1 ,x3 6.22 F31=1.75 ４ x2 ,x3 8.34 F41=2.34 ５ X1 9.02 F52=2.27 ６ X2 9.89 F62=2.48
上述分析结果,只有删除3,F没有明显变 化,其他情況F比值显著增加,因此可以删 除,不影响模型的性能。 方差的多元分析是方差分析的一个推广,解 决了输出不是单个数值而是一个向量的数据 分析问题。方差的多元分析基于这样一个假 设,输出变量间相互独立,采用一个多元线 性模型来建模 =a+月·x1+B2·x21+B3x1+…+Bn·xm+
►上述分析结果，只有删除x3，F没有明显变 化，其他情况Ｆ比值显著增加，因此可以删 除，不影响模型的性能。 ►方差的多元分析是方差分析的一个推广，解 决了输出不是单个数值而是一个向量的数据 分析问题。方差的多元分析基于这样一个假 设，输出变量间相互独立，采用一个多元线 性模型来建模： i j j j n n j j Y = + x + x + x +...+ x + 1 1 2 2 3 3