R(k)=a1R(k-1)+…+anR(0),(k≥1) (11.10 这个方程与(11.10)是一样的,其差别仅在于:(1l.10)是为了用求来偏相关系数及定阶,所以未知 数实际上有无穷多个,而如今假定已知其阶为p,未知数就只有P个,方程虽然有无穷多个,却 只有p个是线性无关的.所以是有限个方程.又显见(11.10)的解恰好是此时间序列的前p 个偏相关系数.只要在(1l.10)’中用R()(≤p)代替R((j≤p),就得到相应的自回归 系数(a1…,an)的如下估计a=(a1…,ap) r b 其中 R=LY r 这个估计一般称为 Yule-Walker估计.实际上,它正好是前面得到的估计a1=a1"(i≤p) 此外,也可以用最小二乘估计,即令 N-1 SN-P-2LN>>p, a (1112) 用方程0=5在a1|+…+|apk1的条件下的约束最小二乘解(参见第一章),作为自回归 系数O的估计(最粗略的处理约束方法是对建模误差加上一个惩罚项,例如C(∑a4|-1)”, 其中C是一个很大的正数上标的符号表示取正部即a=alo(a) 残差方差的估计 ,立刻可以残差的方差2=EE2的估计 ∑(5n-a15 a, 5nm-p)=R(O) b=R(O-br b n=p+1 [注1]如前所述,如果自回归残差En服从正态分布,就可以对自回归系数及条件方差作最 大似然估计,进而还可以对它们作区间估计.在应用中一般地自回归残差并不服从正态分布,但 是如果无视是否有正态性强行按正态分布作最大似然估计与区间估计,也能得到较粗的参考信 [注2]与统计领域中不同,在经济类的一些有关时间序列的书籍与文献中,11.7)代之以 p Sm-p=boEn+b,e, ba (11.7) 并且也称之为ARMA(pq模型。这种扩展增加了一个常数项φω’这种模型出自经济研究.当 ao>0,a1≥0,…,an20.a1+…+an<1时,可以证明此时间序列是渐近平稳的 注3]由理论上可以证明,在给定相关函数列的p+1个值R(0)R(1),…,R(P)的所有平稳序列中,使
294 ( ) ( 1) (0),( 1) R k = a1R k - +L+ a pR k ³ . (11. 10)’ 这个方程与(11. 10)是一样的, 其差别仅在于: (11. 10)是为了用求来偏相关系数及定阶, 所以未知 数实际上有无穷多个, 而如今假定已知其阶为 p , 未知数就只有 p 个, 方程虽然有无穷多个, 却 只有 p 个是线性无关的．所以是有限个方程．又显见(11. 10)’的解恰好是此时间序列的前 p 个偏相关系数. 只要在(11. 10)’中用 ( )( ) ^ R j j £ p 代替 R( j)( j £ p) , 就得到相应的自回归 系数( , , ) 1 p a L a 的如下估计 D = ^ a T (a , , a p ) ^ 1 ^ L : ^ ^ ^ a R b -1 = , 其中 = ^ R ÷ ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç ç è æ - - - - ^ ^ p ^ p ^ p ^ ^ ^ p ^ ^ 1 1 0 1 0 2 0 1 1 g g g g g g g g g L L L L L L L , = ^ b T p ( , , ) ^ ^ 2 ^ 1 g g Lg . 这个估计一般称为 Yule-Walker 估计. 实际上, 它正好是前面得到的估计 ( ) ^ ( ) ^ a i p p i = ai £ . 此外, 也可以用最小二乘估计, 即令 ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ >> = ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ = ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ = - - - - - + - p p N N p N N p p N N A N p a a a q x x x x x x x x x x M L M M L L M 2 1 1 2 2 1 1 1 , , , . （11.12） 用方程 Aq = x 在| | | | 1 a1 +L+ a p < 的条件下的约束最小二乘解 (参见第一章), 作为自回归 系数q 的估计. (最粗略的处理约束方法是对建模误差加上一个惩罚项, 例如 å= + - p k C k 1 ( | a | 1) , 其中 C 是一个很大的正数, 上标的符号表示取正部, 即 ( ) [0, ) a aI a ¥ + = ). 残差方差的估计 由 n n p n p n x - a x - - a x = e 1 -1 L - , 立刻可以残差的方差 2 2 E n s = e 的估计 ( 1 1 ^ 2 å - = + = N N p n p s 2 ^ 1 ^ 1 ) n n p n p a a - - - - - x x L x = - ^ R(0) ^ a T ^ b = - ^ R(0) ^ b ^ 1 ^ R b - . [注 1] 如前所述, 如果自回归残差 n e 服从正态分布, 就可以对自回归系数及条件方差作最 大似然估计, 进而还可以对它们作区间估计. 在应用中一般地自回归残差并不服从正态分布, 但 是如果无视是否有正态性, 强行按正态分布作最大似然估计与区间估计, 也能得到较粗的参考信 息. ［注 2］ 与统计领域中不同，在经济类的一些有关时间序列的书籍与文献中，11. 7）代之以 n n p n p n n q n q a a a b b b - - - - - - = + - + + - x x L x e e L e 0 1 1 0 1 1 , （11. 7）* 并且也称之为 ARMA(p,q)模型。这种扩展增加了一个常数项 0 a ，这种模型出自经济研究．当 0, 0, , 0, 1 a0 > a1 ³ L a p ³ a1 +L+ a p < 时, 可以证明此时间序列是渐近平稳的． [注 3] 由理论上可以证明, 在给定相关函数列的 p +1个值 R(0),R(1),L, R( p) 的所有平稳序列中, 使
c=inf E 达到极大的平稳序列是AR(P)模型这里的co称为平稳序列的一步预测的(均方)误差这就是说AR(P)模型 给出了在这种限制下,平稳序列的一步预测的误差的上界,即给出了最坏的可能.此外,人们还证明了几乎在同 样的条件下,在具有谱密度的所有平稳序列中,只有正态AR(P)平稳序列{n}满足:对于任意N>p (51…5N)的联合分布的熵最大这也给出了不确定性最大时的建模,也最坏的可能 5.3MA模型的定阶与参数估计 容易验证以下准则: 准则11.23宽平稳序列5n为MA(q),当且仅当,R(q)≠0,R(k)=0(kq) 由此可以通过由实测数据估计相关系数R(k),观察它的大小,以给出q的粗估计.但是更 为使用的是在下面5.4段注1中的AIC估计法与BC估计法 滑动平均系数(b1…,b)的粗估计 在假定q已估计得到的前提下,由模型的定义有R(k)=a2∑bbk,(0≤k≤q).由求解 次方程Rk)=a2∑x,(0≤k≤q)得到的(xn,x…x),就是(b。b2…b)的估计 求解二次方程Rk)=∑bb,(0≤k≤q),即求解非线性方程 R(0)=a(bo+…+b), R(k)=0(bbk+b1bk…+b-b),(1≤k<q),R(q)=bb,(112) 此方程组的解可由如下的迭代近似 R(O)=[(b)2+(b{)2…+(b0)2] R(k)=a[b"b+b”b…+bb],(1≤k<q),Rq)=σ2bb 得到,另外,他们也可由求解优化问题mA,∑Rk)-2∑bbP得到近似值,不 幸的是这些方法都过于繁琐,在实际计算时,只在q<5时作数值求解才比较合适 MA模型估计的经验实际操作常常是,先拟合一个AR模型,得到残差的粗估计,然后把MA 模型的估计简化为求解一个线性方程组.这是一种纯粹经验性的方法,只有直观根据.其具体 作如下 假定由一段样本51…,5N,经过下面的5.4段注1中的AC或BC法已经估计好了MA 模型的阶q·取s满足q<s<N.先用此数据拟合一个AR(s模型.由这个拟合了的模型, 算出残差的估计E,1,…,EN(其中E=5k-(a05k+…+a,5k=,))最后求方程 5k=-(bEk+…+bEk-q) 的最小二乘解(b,b,…,b),作为MA(q)的模型参数估计 295
295 å= - D = - k j k E n j n j c k 1 2 , , ,, 2 0 inf | | 1 x g x g L g 达到极大的平稳序列是 AR( p )模型. 这里的 0 c 称为平稳序列的一步预测的(均方)误差. 这就是说, AR( p )模型 给出了在这种限制下, 平稳序列的一步预测的误差的上界, 即给出了最坏的可能. 此外, 人们还证明了几乎在同 样的条件下, 在具有谱密度的所有平稳序列中, 只有正态 AR( p )平稳序列{ }n x 满足： 对于任意 N > p , ( , ) 1 N x Lx 的联合分布的熵最大. 这也给出了不确定性最大时的建模, 也最坏的可能. 5. 3 MA模型的定阶与参数估计 容易验证以下准则： 准则１１．２３ 宽平稳序列 n x 为 MA(q), 当且仅当, R(q) ¹ 0,R(k) = 0(| k |³ q) . 由此可以通过由实测数据估计相关系数 R(k ) , 观察它的大小, 以给出q 的粗估计. 但是更 为使用的是在下面 5. 4 段注 1中的 AIC估计法与 BIC估计法． 滑动平均系数( , , ) 1 q b L b 的粗估计 在假定 q 已估计得到的前提下, 由模型的定义有 ( ) ,(0 ) 2 R k b b k q q j k = å j j k £ £ = s - ．由求解 二次方程 ( ) ,(0 ) 2 ^ R k x x k q q j k = å j j k £ £ = s - 得到的( , , , ) 0 1 q x x L x , 就是( , , , ) 0 1 q b b L b 的估计. 求解二次方程 ( ) ,(0 ) ^ R k b b k q q j k = å j j k £ £ = - , 即求解非线性方程 (0) ( ) 2 2 0 2 ^ ^ R = s b +L + bq , ( ) ( ) 0 1 1 ^ 2 ^ k k q k q R k b b b b b b = s + + L+ - , (1 £ k < q) , q R q b b0 2 ^ ^ ( ) = s , （11.12） 此方程组的解可由如下的迭代近似: (0) [( ) ( ) ( ) ] ( ) 2 ( ) 2 1 ( 1) 2 0 2 ^ ^ n q n n R = b + b + b s + L , ( ) [ ] ( ) ( ) ) 1 ( ) 1 ( 1) ( 1) 0 ^ 2 ^ n q n q k n k n n k n R k b b b b b b + - + + = s + L + , (1£ k < q) , ( 1) ( 1) 0 ^ 2 ^ ( ) + + = n q n R q s b b 得到．另外, 他们也可由求解优化问题 å å = = - - q k q j k b b b j j k R k b b q 1 2 ^ , , , inf | ( ) | 0 1 ２ L s 得到近似值．不 幸的是这些方法都过于繁琐, 在实际计算时，只在q < 5 时作数值求解才比较合适． MA 模型估计的经验实际操作常常是, 先拟合一个 AR 模型，得到残差的粗估计，然后把 MA 模型的估计简化为求解一个线性方程组．这是一种纯粹经验性的方法,只有直观根据．其具体 操作如下： 假定由一段样本 N x , ,x 1 L ，经过下面的 5. 4 段注 1 中的 AIC或 BIC 法已经估计好了 MA 模型的阶q ．取 s 满足 q << s << N . 先用此数据拟合一个 AR(s)模型. 由这个拟合了的模型, 算出残差的估计 ^ ^ 1 , , s N e L e + (其中 ( ) ^ 1 ^ 0 ^ k k k s k s a a = - - + + - e x x L x ). 最后求方程 ( ) ^ ^ k 0 k q k q b b = - + + - x e L e 的最小二乘解( , , , ) 0 1 q b b L b , 作为 MA(q)的模型参数估计．
5.4ARMA模型的定阶与参数估计 对于ARMA(pq) 5n-a15 a,5n_p =ben+ben-+.+b,En 的粗定阶与估计,我们有 准则11.24宽平稳序列5n为ARMA(p,q)当且仅当,存在多项式 A(-)=1-a2-…-an1=-an2在1无零点,且对于任意m>q有 R(m)=∑aRm-k 在条件满足时(a1,…,a)就是这个自回归滑动和的AR部分的系数 自回归系数(a12…,an)与滑动平均系数(bo,b,…,b)的粗估计 第1步:用宽平稳序列ξn的样本计算相关函数序列的估计R(m) R(q+1 第2步:对于q=12,…,看是否存在P≥1及充分大的m使 能近似地能由 R(q+1-k) (k≤p)线性表出,如果对于某个q(取尽量小存在这样的近似线性表出则这 R(q+m-k 样的(Pq)就可取为此ARMA模型的阶,而这个线性表出的系数就可以作为(a,…,ap)的估计 (a1,…,an) 第3步:对于上面确定的(pq)及(a4…an),把下述最小值问题 R()-∑a4R(-k 取到最小值的位置(x1…,x)作为(bo,b1,…,b)的估计(bo,…bq) [注1]以上的第2步与第3步在实际中很难使用.在实用中更常用的ARMA模型的经验定阶法有 (1)AIC( Akaike information criterion)法(这是 Akaike.用相对熵导出的定阶原则) 51…,5N是来自正态ARMA模型的一段观测值.对于指定的k(例如取可能的阶的一个上界,或 者取它为与hN同阶的一个整数)及固定的(p,q),(0≤p,q≤k),记相应的σ2的最大似然估计为 (P,q).记 AlC(p, q)=Ino(p, 9)+2(p+q) 取(P,q),使 C(p, q=min AlC(p, q
296 5. 4 ARMA模型的定阶与参数估计 对于 ARMA(p,q) n n p n p n n q n q a a b b b - - - - - = + - + + - x x L x e e L e 1 1 0 1 1 的粗定阶与估计, 我们有 准则１１．２４ 宽平稳序列 n x 为 ARMA(p,q), 当且仅当，存在多项式 A(z) = p p p p - a z - -a z - a z - - 1 1 1 L 1 在| z |£ 1无零点, 且对于任意m > q 有 å= = - p k k R m a R m k 1 ( ) ( )． （１１．１３） 在条件满足时( , , ) 1 p a L a 就是这个自回归滑动和的 AR部分的系数． 自回归系数( , , ) 1 p a L a 与滑动平均系数( , , , ) 0 1 q b b L b 的粗估计 第 1 步： 用宽平稳序列 n x 的样本计算相关函数序列的估计 ( ) ^ R n ． 第 2 步：对于 q = 1,2,L, 看是否存在 p ³ 1及充分大的m 使 ÷ ÷ ÷ ÷ ø ö ç ç ç ç è æ + + ( ) ( 1) ^ ^ R q m R q M 能近似地能由 ( ) ( ) ( 1 ) ^ ^ k p R q m k R q k £ ÷ ÷ ÷ ÷ ø ö ç ç ç ç è æ + - + - M 线性表出, 如果对于某个 q (取尽量小)存在这样的近似线性表出, 则这 样的( p,q) 就可取为此 ARMA模型的阶, 而这个线性表出的系数就可以作为 ( , , ) 1 p a L a 的估计 ( , , ) ^ ^ 1 p a L a ． 第 3 步： 对于上面确定的(p, q) 及 ( , , ) ^ ^ 1 p a L a , 把下述 最小值问题 2 1 1 ^ ^ ^ , , , inf | ( ) ( ) | 0 1 å å å= - = = - - - q j m j j m q l p k x x x k R l a R l k x x L q 取到最小值的位置( , , ) 1 q x L x 作为( , , , ) 0 1 q b b L b 的估计( , , ) ^ ^ 0 q b L b ． [注 1] 以上的第２步与第３步在实际中很难使用． 在实用中更常用的 ARMA 模型的经验定阶法有： （１） AIC（Akaike Information Criterion）法 (这是 Akaike采用相对熵导出的定阶原则) 设 N x , ,x 1 L 是来自正态 ARMA模型的一段观测值． 对于指定的k （例如取可能的阶的一个上界，或 者取它为与ln N 同阶的一个整数）及固定的 ( p,q),(0 £ p, q £ k) , 记相应的 2 s 的最大似然估计为 ( , ) 2 ^ s p q ．记 N p q AIC p q p q 2( ) ( , ) ln ( , ) 2 ^ + = s + ． 取 ( , ) ^ ^ p q , 使 ( , ) min ( , ) 0 . ^ ^ AIC p q AIC p q £p q £k =