中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 第一章随机过程及其分类 在概率论中,我们研究了随机变量,n维随机向量。在极限 定理中我们研究了无穷多个随机变量,但局限在它们相互独立的 情形。将上述情形加以推广,即研究一族无穷多个、相互有关的 随机变量,这就是随机过程。 1.随机过程的概念 定义:设(9ΣP)是一概率空间,对每一个参数t∈T,X(t,o) 是一定义在概率空间(g,Σ,P)上的随机变量,则称随机变量族 X1={X(1,0),t∈7}为该概率空间上的一随机过程。其中TcR是 实数集,称为指标集或参数集。 随机过程的两种描述方法: 用映射表示X, X(t,O):T×→>R 即x(,)是一定义在T×g上的二元单值函数,固定t∈T,X(t,)是 定义在样本空间g上的函数,即为一随机变量;对于固定的 O∈Ω,X(,O)是一个关于参数t∈T的函数,通常称为样本函数, 或称随机过程的一次实现。记号X(t,O)有时记为X(o)或简记为 X(t) 参数T一般表示时间或空间。参数常用的一般有:(1) T=N={0,12,…};(2)T=和0±1,+2…};(3)T=[a,b,其中a可
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 第一章 随机过程及其分类 在概率论中，我们研究了随机变量， n 维随机向量。在极限 定理中我们研究了无穷多个随机变量，但局限在它们相互独立的 情形。将上述情形加以推广，即研究一族无穷多个、相互有关的 随机变量，这就是随机过程。 1． 随机过程的概念 定义：设 (, , P) 是一概率空间，对每一个参数 t T ， X (t,) 是一定义在概率空间 (, , P) 上的随机变量，则称随机变量族 X {X (t, ); t T} T = 为该概率空间上的一随机过程。其中 T R 是 一实数集，称为指标集或参数集。 随机过程的两种描述方法： 用映射表示 XT ， X(t,): T → R 即 X ( , ) 是一定义在 T 上的二元单值函数，固定 t T ， X (t, ) 是 一定义在样本空间 上的函数，即为一随机变量；对于固定的 ， X ( ,) 是一个关于参数 t T 的函数，通常称为样本函数， 或称随机过程的一次实现。记号 X (t,) 有时记为 () Xt 或简记为 X (t)。 参数 T 一般表示时间或空间。参数常用的一般有：（1） {0,1,2, } T = N0 = ；（2） T ={0,1,2, } ；（3） T =[a,b] ，其中 a 可
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 以取0或-∞,b可以取+∞。当参数取可列集时,一般称随机过 程为随机序列。 随机过程{X(,t∈T}可能取值的全体所构成的集合称为此随 机过程的状态空间,记作S。S中的元素称为状态。状态空间可 以由复数、实数或更一般的抽象空间构成。 例1:抛掷一枚硬币,样本空间为S={H,},现借此定义: X()=oszt,当出现H时 2,当出现T时 t∈(-∞,+∞) 其中P{H}=P{T}=1/2,则{X(t),t∈(-∞,+∞)}是一随机过程。试 考察其样本函数和状态空间。 例2:设 X(1)=Acos(ot+b),t∈(-∞,+∞) 其中A和o是正常数,O~U(0,2)。试考察其样本函数和状态空 间 例3:质点在直线上的随机游动,令X为质点在n时刻时所 处的位置,试考察其样本函数和状态空间。 例4:考察某“服务站”在[0,上到达的“顾客”数,记为N(t), 则{N(功),t≥0}是一随机过程,试考察其样本函数和状态空间。若 记S为第n个“顾客”到达的时刻,则{Sn,n=12,…}为一随机序 列,我们自然要关心{Sn,n=1,2,…的情况以及它与{N(,t≥0}的 关系,这时要将两个随机过程作为一个整体来研究其概率特性 例5:布朗运动
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 以取 0 或 − ， b 可以取 + 。当参数取可列集时，一般称随机过 程为随机序列。 随机过程 {X(t); t T} 可能取值的全体所构成的集合称为此随 机过程的状态空间，记作 S 。S 中的元素称为状态。状态空间可 以由复数、实数或更一般的抽象空间构成。 例 1：抛掷一枚硬币，样本空间为 S ={H,T} ，现借此定义： = ， 当出现 时 当出现 时 2 T cos , H ( ) t t X t t (− , + ) 其中 P{H}= P{T}=1/ 2 ，则 {X(t), t (−,+ )} 是一随机过程。试 考察其样本函数和状态空间。 例 2：设 X(t) = Acos(t +), t (−,+ ) 其中 A 和 是正常数， ~U(0,2) 。试考察其样本函数和状态空 间。 例 3：质点在直线上的随机游动，令 X n 为质点在 n 时刻时所 处的位置，试考察其样本函数和状态空间。 例 4：考察某“服务站”在 [0, t] 上到达的“顾客”数，记为 N(t) ， 则 {N(t), t 0} 是一随机过程，试考察其样本函数和状态空间。若 记 S n 为第 n 个“顾客”到达的时刻，则 {S , n =1,2, } n 为一随机序 列，我们自然要关心 {S , n =1,2, } n 的情况以及它与 {N(t), t 0} 的 关系，这时要将两个随机过程作为一个整体来研究其概率特性。 例 5：布朗运动
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 2.随机过程的分类 随机过程的分类一般有两种方法:(1)以参数集和状态空间 的特征来分类;(2)以统计特征或概率特征来分类。我们分述如 下 (一)以参数集和状态空间的特性分类: 以参数集T的性质,随机过程可分为两大类:(1)T可列;(2) T不可列。 以状态空间S的性质,即X()所取的值的特征,随机过程也可 以分为两大类:(1)离散状态,即X(1)所取的值是离散的;(2) 连续状态,即X(1)所取的值是连续的。 由此可将随机过程分为以下四类: (a)离散参数离散型随机过程; (b)连续参数离散型随机过程 (c)连续参数连续型随机过程; (d)离散参数连续型随机过程。 (二)以随机过程的统计特征或概率特征分类: 以随机过程的统计特征或概率特征的分类,一般有以下一些: (a)独立增量过程; (b) Markov过程;
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 2． 随机过程的分类 随机过程的分类一般有两种方法：（1）以参数集和状态空间 的特征来分类；（2）以统计特征或概率特征来分类。我们分述如 下： （一） 以参数集和状态空间的特性分类： 以参数集 T 的性质，随机过程可分为两大类：（1） T 可列；（2） T 不可列。 以状态空间 S 的性质，即 X (t) 所取的值的特征，随机过程也可 以分为两大类：（1）离散状态，即 X (t) 所取的值是离散的；（2） 连续状态，即 X (t) 所取的值是连续的。 由此可将随机过程分为以下四类： （a） 离散参数离散型随机过程； （b） 连续参数离散型随机过程； （c） 连续参数连续型随机过程； （d） 离散参数连续型随机过程。 （二） 以随机过程的统计特征或概率特征分类： 以随机过程的统计特征或概率特征的分类，一般有以下一些： （a） 独立增量过程； （b） Markov 过程；
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (c)二阶矩过程; (d)平稳过程; (e)鞅 (f)更新过程 (g) Poission过程 (h)维纳过程。 以上对随机过程的分类并不是独立的,比如,我们以后要讨 论的 Markov过程,就有参数离散状态空间离散的 Markov过程, 即 Markov链,也要讨论参数连续状态离散的 Markov过程,即 纯不连续的 Markov过程。下面几章我们将研究几种重要的、应 用非常广泛的随机过程。 3.随机过程的数字特征 (一)单个随机过程的情形 设{X(),t∈T}是一随机过程,为了刻画它的统计特征,通常要 用到随机过程的数字特征,即随机过程的均值函数、方差函数、 协方差函数和相关函数。下面我们给出它们的定义 (a)均值函数:随机过程{X();t∈T}的均值函数定义为:(假 设是存在的) 12(t)=m(1)=E{X(D)} (b)方差函数:随机过程{X(1),t∈T}的方差函数定义为:(假 设是存在的)
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 （c） 二阶矩过程； （d） 平稳过程； （e） 鞅； （f） 更新过程； （g） Poission 过程； （h） 维纳过程。 以上对随机过程的分类并不是独立的，比如，我们以后要讨 论的 Markov过程，就有参数离散状态空间离散的 Markov过程， 即 Markov 链，也要讨论参数连续状态离散的 Markov 过程，即 纯不连续的 Markov 过程。下面几章我们将研究几种重要的、应 用非常广泛的随机过程。 3． 随机过程的数字特征 （一）单个随机过程的情形 设 {X(t); t T} 是一随机过程，为了刻画它的统计特征，通常要 用到随机过程的数字特征，即随机过程的均值函数、方差函数、 协方差函数和相关函数。下面我们给出它们的定义。 （a） 均值函数：随机过程 {X(t); t T} 的均值函数定义为：（假 设是存在的） (t) ˆ m(t) E{X (t)} X = = （b） 方差函数：随机过程 {X(t); t T} 的方差函数定义为：（假 设是存在的）
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (t)=D(t)=E{[Y(t)-2()2 (c)(自)协方差函数:随机过程{X(t),t∈T}的(自)协方 差函数定义为 Cx(S,D)E{[X(s)-4x(s)[X(t)-42()} (d)(自)相关函数:随机过程{X(1),t∈T}的(自)相关函 数定义为: R (s, t)=EX(SX(t) (e)特征函数:记: 中2(u2,2,…,lnt1212…,tn)=E!exp{v1X(t1)+…+unX(tn)}} 称{(u,u12…,un;t,l2…,tn),t,l2,…,tn∈T,n21}为随机过程 X(1),t∈T的有限维特征函数族。 数字特征之间的关系 Cx(S,1)=E{LX(s)-12(s)川X(t)-2()} E{X(s)X()}-42(s)·12(t) =R1(S,1)-x(s)p2() x()=D3(1)=Cx(t,D)=Rx(11)-[2(D) 例6:考察上面的例1,(1)写出X(1)的一维分布列 X(1/2),X(1);(2)写出X()的二维分布列(X(12),X();(3)求 该过程的均值函数和相关函数。 例7:求例2中随机过程的均值函数和相关函数。 (二)两个随机过程的情形 设{X(1),t∈7}、{Y();t∈T}是两个随机过程,它们具有相同的 参数集,对于它们的数字特征,除了有它们自己的数字特征外
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 ( ) ˆ ( ) {[ ( ) ( )] } 2 2 t D t E X t t X = X = − X （c） （自）协方差函数：随机过程 {X(t); t T} 的（自）协方 差函数定义为： C (s,t) ˆ E{[X (s) (s)][X (t) (t)]} X = − X − X （d） （自）相关函数：随机过程 {X(t); t T} 的（自）相关函 数定义为： R (s,t) ˆ E{X (s)X (t)} X = （e） 特征函数：记： ( , , , ; , , , ) ˆ {exp{ [ ( ) ( )]}} X 1 2 n 1 2 n 1 1 n n u u u t t t = E j u X t ++ u X t 称 X (u1 ,u2 , ,u n ; t 1 ,t 2 , ,t n ), t 1 ,t 2 , ,t n T, n 1 为 随 机 过 程 {X(t); t T} 的有限维特征函数族。 数字特征之间的关系： ( , ) ( ) ( ) { ( ) ( )} ( ) ( ) ( , ) ˆ {[ ( ) ( )][ ( ) ( )]} R s t s t E X s X t s t C s t E X s s X t t X X X X X X X X = − = − = − − 2 2 (t) D (t) C (t,t) R (t,t) [ (t)] X = X = X = X − X 例 6：考察上面的例 1，（ 1）写出 X (t) 的一维分布列 X(1/ 2), X (1) ；（2）写出 X (t) 的二维分布列 (X(1/ 2), X(1)) ；（3）求 该过程的均值函数和相关函数。 例 7：求例 2 中随机过程的均值函数和相关函数。 （二） 两个随机过程的情形 设 {X(t); t T}、{Y(t); t T} 是两个随机过程，它们具有相同的 参数集，对于它们的数字特征，除了有它们自己的数字特征外