2.3自相关函数以上介绍了随机过程的几种模型。实际中单凭对时间序列的观察很难确定其属于哪一种模型,而自相关函数和偏自相关函数是分析随机过程和识别模型的有力工具。1.自相关函数定义在给出自相关函数定义之前先介绍自协方差函数概念。由第一节知随机过程x中的每一个元素x,1=1,2,…都是随机变量。对于平稳的随机过程,其期望为常数,用μ表示,即(2.25)E(x)=μ, t=1,2, ..随机过程的取值将以μ为中心上下变动。平稳随机过程的方差也是一个常量Var(x) =E [(xr- E(x)]=E [(xr- μ)°]= o?, 1= 1, 2, ..(2.26)2用来度量随机过程取值对其均值的离散程度。相隔k期的两个随机变量x与xt-的协方差即滞后k期的自协方差,定义为(2.27)= Cov (xi, X1-)=E[(x -μ) (Xr--μ))自协方差序列,k=0,1,..K称为随机过程x的自协方差函数。当k=0时20 = Var (x) = 0.2自相关系数定义Cov(X,Xf-x)(2.28)Pk=Var(x,) /Var(x-)因为对于一个平稳过程有Var (x) = Var (xt- ) = α?(2.29)所以(2.28)可以改写为P=Cor- -4= (2.30)o0.2Yo当k=0时,有eo=1。以滞后期k为变量的自相关系数列(2.31)Pk,k=0,1,...,K称为自相关函数。因为pk=p.k即Cov(xt-k,x)=Cov(xx+k),自相关函数是零对称的,所以实际研究中只给出自相关函数的正半部分即可。2.自回归过程的自相关函数(1)平稳AR(1)过程的自相关函数AR(1)过程如下x,=x-+u,<1已知E(x)=0。用xi-k同乘上式两侧X,X-A= OX-IX-A+u,X-k上式两侧同取期望,1
2.3 自相关函数 以上介绍了随机过程的几种模型。实际中单凭对时间序列的观察很难确定其属于哪一种 模型,而自相关函数和偏自相关函数是分析随机过程和识别模型的有力工具。 1. 自相关函数定义 在给出自相关函数定义之前先介绍自协方差函数概念。由第一节知随机过程{xt}中的每 一个元素 xt,t = 1, 2, . 都是随机变量。对于平稳的随机过程,其期望为常数,用 μ 表示, 即 E(x t) = μ, t = 1, 2, . (2.25) 随机过程的取值将以 μ 为中心上下变动。平稳随机过程的方差也是一个常量 Var(xt) = E [(xt - E(xt))2 ] = E [(xt - μ) 2 ] = σx 2 , t = 1, 2, . (2.26) σx 2 用来度量随机过程取值对其均值 μ 的离散程度。 相隔 k 期的两个随机变量 xt 与 xt - k 的协方差即滞后 k 期的自协方差,定义为 γk = Cov (xt, x t - k ) = E[(xt - μ ) (xt - k - μ ) ] (2.27) 自协方差序列 γk , k = 0, 1, ., K, 称为随机过程 {xt} 的自协方差函数。当 k = 0 时 γ0 = Var (xt) = σx 2 自相关系数定义 ρk = )()( ),( t kt ktt xVarxarV xxCov − − (2.28) 因为对于一个平稳过程有 Var (xt) = Var (xt - k) = σx 2 (2.29) 所以(2.28)可以改写为 ρk = 2 ),( x ktt xxCov σ − = 2 x k σ γ = 0 γ γ k (2.30) 当 k = 0 时,有 ρ 0 = 1。 以滞后期 k 为变量的自相关系数列 ρk, k = 0, 1, ., K (2.31) 称为自相关函数。因为ρk = ρ- k 即 Cov (xt - k , xt ) = Cov (xt, xt + k ),自相关函数是零对称的, 所以实际研究中只给出自相关函数的正半部分即可。 2.自回归过程的自相关函数 (1) 平稳 AR(1)过程的自相关函数 AR(1) 过程如下 xt = φ1 xt-1 + ut , |φ1| < 1 已知 E(xt) = 0。用 xt- k 同乘上式两侧 xt xt- k = φ1 xt-1 xt- k + ut xt- k 上式两侧同取期望, 1
=K-1其中E(xtu)=0(u,与其t-k期及以前各项都不相关)。两侧同除%得,Pk=0Pk-1=010Pk-2=...=0po因为p%=1。所以有Pk=*,(k≥0)对于平稳序列有|<1。所以当为正时,自相关函数按指数衰减至零(过阻尼情形),当为负时,自相关函数正负交错地指数衰减至零。见图2.6。因为对于经济时间序列,Φ一般为正,所以第一种情形常见。指数衰减至零的表现形式说明随着时间间隔的加长,变量之间的关系变得越来越弱。0.50.0-0.524681012141618202224246810121416182022241>>0(经济问题中常见,5gener1)-1<<0图2.6AR(I)过程的自相关函数同理,对于=1和1情形即非平稳和强非平稳过程的自相关函数如下图。=1.1(强非平稳过程)=1(随机游走过程)phi=1e-10--15MM-20.252500150200n
γk = φ1 γk -1 其中 E(xt- k ut) = 0(ut 与其 t - k 期及以前各项都不相关)。两侧同除 γ0 得, ρk = φ1 ρk -1 = φ1 φ1 ρk -2 = . = φ1 k ρ0 因为 ρo = 1。所以有 ρk = φ1 k , (k ≥ 0) 对于平稳序列有 | φ1| < 1。所以当 φ1 为正时,自相关函数按指数衰减至零(过阻尼情形), 当 φ1 为负时,自相关函数正负交错地指数衰减至零。见图 2.6。因为对于经济时间序列,φ1 一般为正,所以第一种情形常见。指数衰减至零的表现形式说明随着时间间隔的加长,变量 之间的关系变得越来越弱。 -1.0 -0.5 0.0 0.5 1.0 2 4 6 8 10 12 14 16 18 20 22 24 -1.0 -0.5 0.0 0.5 1.0 2 4 6 8 10 12 14 16 18 20 22 24 1> φ1 > 0 (经济问题中常见,5gener1) -1<φ1 < 0 图 2.6 AR(1) 过程的自相关函数 同理,对于φ1 =1和φ1 >1情形即非平稳和强非平稳过程的自相关函数如下图。 -4 -3 -2 -1 0 1 2 3 4 2 4 6 8 10 12 14 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2 4 6 8 10 12 14 φ1 = 1.1(强非平稳过程) φ1 = 1(随机游走过程) -25 -20 -15 -10 -5 0 5 50 100 150 200 250 300 phi=1 2
phi=0.8ao15050100200250300phi=0.43.50100150200250300100150200*250300AR(1)过程不同自回归系数的序列图与自相关函数比较(file:5gener1))(2)AR(p)过程的自相关函数用xt-k,(k>0)同乘平稳的p阶自回归过程(2.32)X,=01x-1+02Xi-2+..+0pX-p+u的两侧,得(2.33)X,-x,=orXf-Xf-1+ Xf-kx-2+...+opXf-kx-p+x,-ku对上式两侧分别求期望得=k-I+k-2+..+k-p,k>0(2.34)上式中对于k>0,xt-发生在ut之前,所以xt-与u不相关,有E(xi-u)=0。3
-6 -4 -2 0 2 4 6 8 50 100 150 200 250 300 phi=0.8 -3 -2 -1 0 1 2 3 4 50 100 150 200 250 300 phi=0.4 -4 -3 -2 -1 0 1 2 3 4 50 100 150 200 250 300 phi=0 AR(1) 过程不同自回归系数的序列图与自相关函数比较(file:5gener1) (2)AR(p) 过程的自相关函数 用 xt - k , (k > 0) 同乘平稳的 p 阶自回归过程 xt = φ 1 xt -1 + φ 2 xt -2 +.+ φ p xt - p + ut (2.32) 的两侧,得 xt - k xt = φ1 xt - k xt -1 + φ2 xt - k xt -2 + . + φp xt - k xt - p + xt - k ut (2.33) 对上式两侧分别求期望得 γk = φ1 γk -1 + φ2 γk -2 + . + φp γk - p , k > 0 (2.34) 上式中对于 k > 0,xt - k 发生在 ut 之前,所以 xt - k 与 ut 不相关,有 E(xt - k ut ) = 0。 3
用%分别除(2.34)式的两侧得Yule-Walker方程Pe=Pk-1+Pk-2+...+pPkp,>0(2.35)令L)=(1-L--.-LP)其中L为k的滞后算子,则上式可表达为d(L) pr= 0因d(L)可因式分解为,α(L)=II(1-G,L),i=l则(2.35)式的通解(证明见附录,不要求掌握)是Pk=A1G*+ A2G2*+.. + ApGk(2.36)其中Aii=1...为待定常数。这里Gi",i=1,2,,P是特征方程L)=(1--L-...-P)=0的根。为保证随机过程的平稳性,要求IGl<1,i=1,2.…,P。这会遇到如下两种情形。①当G,为实数时,(2.36)式中的A,G*将随着k的增加而几何衰减至零,称为指数衰减(过阻尼情形)。小虚轴T38实轴a②当G,和G,表示一对共轭复数根时,设G,=α+bi,G=a-bi,则G和G,的极座标形b式分别表示为G,=Reio和G,=Re-i0,其中R=Va?+b2表示G,和G,的模,Q=arctga、b分别表示该共轭复数根的实部与虚部。则A,G+A,G表示为AGK+AG(23)由于G,和G,是共轭复数,所以,尽管A,A是任意数,但必须是共轭复数以保证p(h)是实数。令A=Be',A=Be-,其中B表示A和A的模,Φ=arctg,d、c分别表示该共轭复数根的实部与虚部。于是有,AG+AG=Be'9 Rkeiko + Be-iΦ Rke-iko=BRk(ei(ka+) +e-i(ko+0))由三角公式eia+e-iα=2cosα,上式得,AG+AG*=BR*(e(k0+0) +e-(k0+0)=2BR* cos(k0+0)其中B,是任意实数。是初相角,用弧度表示。4
用 γ0 分别除(2.34)式的两侧得 Yule-Walker 方程 ρk = φ1 ρk -1 + φ2 ρk -2 + . + φp ρk -p , k > 0 (2.35) 令 Φ(L) = (1 - φ1 L - φ2 L2 - . - φp Lp )其中 L 为 k 的滞后算子,则上式可表达为 Φ(L) ρk = 0 因 Φ(L) 可因式分解为, Φ(L) =∏ , = p i iLG 1 ) -(1 则(2.35)式的通解(证明见附录,不要求掌握)是 ρk = A1 G1 k + A2 G2 k + . + Ap Gp k . (2.36) 其中 Ai, i = 1, . p 为待定常数。这里 Gi -1, i = 1, 2, ., p 是特征方程 Φ(L) = (1 - φ1 L - φ2 L2 - . - φp Lp ) = 0 的根。为保证随机过程的平稳性,要求 | Gi | < 1, i = 1, 2, ., p。这会遇到如下两种情形。 ① 当 Gi为实数时,(2.36) 式中的 Ai Gi k 将随着 k 的增加而几何衰减至零,称为指数衰 减(过阻尼情形)。 ②当 Gi和 Gj表示一对共轭复数根时,设 Gi = a + bi, Gj= a – bi,则 Gi 和 Gj的极座标形 式分别表示为 和 ,其中 R= iθ i = eRG iθ j eRG − = 22 + ba 表示 Gi 和 Gj 的模, ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = a b θ arctg , a、b 分别表示该共轭复数根的实部与虚部。则 Ai Gi k + Aj Gjk 表示为 A Gi k + A Gjk (23) 由于 Gi 和 Gj 是共轭复数,所以,尽管 A, A 是任意数,但必须是共轭复数以保证ρk (h) 是实数。令 ,iφ = BeA iφ BeA − = ,其中 B 表示 A 和 A 的模, ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = d c φ arctg ,d、c 分别表示 该共轭复数根的实部与虚部。于是有, A Gi k + A Gjk = = ikki ikki θφθφ eRBeeRBe −− + ( ) φθ +−+ φθ )()( + kik ki eeBR 由三角公式 ee −ii αα =+ cos2 α ,上式得, A Gi k + A Gjk = ( ) = φθ +−+ φθ )()( + kik ki eeBR kBR +φθ )cos(2 k 其中 B,φ是任意实数。φ是初相角,用弧度表示。 4
对于平稳过程,由于模R<1,所以随着k的增加,R*越来越小,角度k越来越大,p(h)逆时针螺旋式朝着原点收敛。若从滞后时间k轴上看,则是一个震荡式衰减过程。注意:当B,橄值不同时,只改变变化幅度和初相角,但不改变衰减的形式。实际中由于平稳自回归过程的根可能包括实数根和复数根,自相关函数常是由指数衰减和正弦衰减两部分叠加而成。1.L0.5DD00.52468101214161820222424681012141618202224c.两个复根p=(0.8)Cos(0)d.两个复根p=(0.8)Cos(t+2)100.50.0n-0.524681012141618202224c.两个特征根为实根(px=(0.7)+(-0.5)file:5correfunction)图2.6AR(2)过程的自相关函数③从(2.36)式可以看出,当特征方程的根取值远离单位圆时,k不必很大,自相关函数就会衰减至零。④有一个实数根接近1时,自相关函数将衰减的很慢,近似于线性衰减。当有两个以上的根取值接近1时,自相关函数同样会衰减的很慢。3.移动平均过程的自相关函数(1)MA(1)过程的自相关函数。对于MA(1)过程x,=us+ut-1有=E(x, xf-)=E [(u,+ Of ut-1) (ut-#+ Of u-k-1))当k=0时,%=E(x x.) = E [(u+ O ur-I) (u,+ ut-1)]= E (u? + O u u-1+ 1 ur uti+ 0 url?)=(1 + 0) α2当k=1时= E(x Xxi-1) = E [(ur + ur-I) (ut-1+ 1 u-2)]=E(u, ut-1 + , u-2+ f u, ut-2+ 0 ut- ut-2)=O,E(ut-)2= O 2当k>1时, =E [(u,+ ur-1)(ut-+ ut-k-I)]=0综合以上三种情形,MA(1)过程自相关函数为5
对于平稳过程,由于模 R<1,所以随着 k 的增加,Rk 越来越小,角度 kθ越来越大,ρk (h) 逆时针螺旋式朝着原点收敛。若从滞后时间 k 轴上看,则是一个震荡式衰减过程。 注意:当 B,φ取值不同时,只改变变化幅度和初相角,但不改变衰减的形式。 实际中由于平稳自回归过程的根可能包括实数根和复数根,自相关函数常是由指数衰减 和正弦衰减两部分叠加而成。 -1.0 -0.5 0.0 0.5 1.0 2 4 6 8 10 12 14 16 18 20 22 24 -1.0 -0.5 0.0 0.5 1.0 2 4 6 8 10 12 14 16 18 20 22 24 c. 两个复根ρk = (0.8)k Cos(t) d. 两个复根ρk = (0.8)k Cos(t+2) -1.0 -0.5 0.0 0.5 1.0 2 4 6 8 10 12 14 16 18 20 22 24 c. 两个特征根为实根(ρk= (0.7)k + (-0.5)k file:5correfunction) 图 2.6 AR(2) 过程的自相关函数 ③ 从(2.36)式可以看出,当特征方程的根取值远离单位圆时,k 不必很大,自相关函 数就会衰减至零。 ④ 有一个实数根接近 1 时,自相关函数将衰减的很慢,近似于线性衰减。当有两个以 上的根取值接近 1 时,自相关函数同样会衰减的很慢。 3. 移动平均过程的自相关函数 (1) MA(1) 过程的自相关函数。 对于 MA(1)过程 xt = ut + θ1 ut-1 有 γk = E(xt xt- k) = E [(ut + θ1 ut -1) (ut - k + θ1 ut -k -1)] 当 k = 0 时, γ0 = E(xt xt) = E [(ut + θ1 ut -1) (ut + θ1 ut -1)] = E (ut 2 + θ1 ut ut-1 + θ1 ut ut-1 + θ1 2 ut-1 2 ) = (1 + θ1 2 ) σ 2 当 k = 1 时 γ1 = E(xt xt- 1) = E [(ut + θ1 ut -1) (ut – 1 + θ1 ut – 2 )] = E (ut ut -1 + θ1 ut -1 2 + θ1 ut ut -2 + θ1 2 ut -1 ut -2) = θ1 E (ut -1) 2 = θ1 σ 2 当 k > 1 时, γk = E [(ut + θ1 ut -1) (ut – k + θ1 ut – k -1)] = 0 综合以上三种情形,MA(1)过程自相关函数为 5