1.3随机变量和分布函数 -13- 1.3随机变量和分布函数 内容提要 口随机变量 口特征函数 口分布函数 定义1.11.Borel a代数 设=R.由所有半无限区间(-∞，x)生成的σ代数（即包含集族{(-Oo,x),x∈R} 的最小o代数)称为R上的Borel o代数，记为B(R),其中的元素称为Borel集合 类似地，可定义Rn上的Borel a代数B(R"). 定义1.12.随机变量 设(2，下，P)是完备的概率空间，X是定义在2上取值于实数集R的函数，如果对 任意实数a∈R,{w:X(w)<a}∈F,则称X()是F上的随机变量. F(a)=P(w:X(w)<a),-oo<a<oo 称为随机变量X的分布函数 注：习惯上将{w:X(w)≥a}记为{X≥a}.回顾概率空间的逻辑图： 理解1.8.概幸空间的逻辑 感共患的集色(，月)可以认识的李件（们，厂，P)可认识李件的度量大小随机变量 也就是可测集 可测事件的概率大小 理解1.9.随机变量 在我们定义了概率空间（①，下，P)后，我们更感兴趣的是在上面定义一些变量来 描述更一般的事物。例如定义一个变量来描述一天气温可能的随机变化；定义一 个变量来描述明天的股票可能的收盘价；定义一个变量来描述一段时间内股票订 单的数量等。但是，并不是所有这些定义出来的变量都是我们能够认识和研究的。 我们需要这些变量关于我们的知识，即某个σ代数F是可测的。 但是对于可测性，我们在前面只定义了一个集合如果属于σ代数下，则我们称她 关于F可测。因此，对于定义的变量，我们希望她取某一个值，或者在一个区间 内的值我们都可以认识。 在定义随机变量X时，对于任意固定的实属a,{w:X()<a}表示所有在样 本空间D中满足{X(w)<a}的点w。把满足条件所有这些点放在一起就成了 样本空间2的一个子集，这实际就是{X<}在的原像。因此，我们要求 {w:X()<a}是属于σ代数F,这样我们才能够判断随机变量是否是小于某一
1.3 随机变量和分布函数 – 13 – 1.3 随机变量和分布函数 内容提要 h 随机变量 h 分布函数 h 特征函数 定义 1.11. Borel σ 代数 ♣ 设 Ω = R. 由所有半无限区间 (−∞, x) 生成的 σ 代数 (即包含集族 {(−∞, x), x ∈ R} 的最小 σ 代数) 称为 R 上的 Borel σ 代数, 记为 B(R), 其中的元素称为 Borel 集合. 类似地，可定义 R n 上的 Borel σ 代数 B(R n ). 定义 1.12. 随机变量 ♣ 设 (Ω, F, P) 是完备的概率空间，X 是定义在 Ω 上取值于实数集 R 的函数, 如果对 任意实数 a ∈ R, {ω : X(ω) < a} ∈ F，则称 X(ω) 是 F 上的随机变量. F(a) = P(ω : X(ω) < a), −∞ < a < ∞ 称为随机变量 X 的分布函数. 注：习惯上将 {ω : X(ω) ≥ a} 记为 {X ≥ a}. 回顾概率空间的逻辑图： 理解 1.8. 概率空间的逻辑 ♣ Ω 感兴趣的集合 −−−−−−−−→ (Ω, F) 可以认识的事件 −−−−−−−−−→ 也就是可测集 (Ω, F, P) 可认识事件的度量大小 −−−−−−−−−−−−−→ 可测事件的概率大小 随机变量 理解 1.9. 随机变量 在我们定义了概率空间 (Ω, F, P) 后，我们更感兴趣的是在上面定义一些变量来 描述更一般的事物。例如定义一个变量来描述一天气温可能的随机变化；定义一 个变量来描述明天的股票可能的收盘价；定义一个变量来描述一段时间内股票订 单的数量等。但是，并不是所有这些定义出来的变量都是我们能够认识和研究的。 我们需要这些变量关于我们的知识，即某个 σ 代数 F 是可测的。 但是对于可测性，我们在前面只定义了一个集合如果属于 σ 代数 F，则我们称她 关于 F 可测。因此，对于定义的变量，我们希望她取某一个值，或者在一个区间 内的值我们都可以认识。 在定义随机变量 X 时，对于任意固定的实属 a, {ω : X(ω) < a} 表示所有在样 本空间 Ω 中满足 {X(ω) < a} 的点 ω。把满足条件所有这些点放在一起就成了 样本空间 Ω 的一个子集，这实际就是 {X < a} 在 Ω 的原像。因此，我们要求 {ω : X(ω) < a} 是属于 σ 代数 F，这样我们才能够判断随机变量是否是小于某一
1.3随机变量和分布函数 -14 个固定的值a山 在定义随机变量X时，虽然只要求对于任意固定的实数a,{w:X(d)<a}∈F。 但利用如下等式 {a1≤X<a2}={X<a2H{X<a1}∈F, x==iia-≤X<a+eF 十0 n n=1 {X≥a}=2{X<a}∈F. 由此我们可以看到随机变量取一个固定的值{X=a}或者大于一个值{X≥a}都 是可测的。 理解1.10.随机变量 如果一个变量X只取有限个离散的值{，2，·，N}。则只需要对于任意的取值 都有 {X=}∈F 则X是关于下的随机变量。并称X为离散型随机变量。 2 xla.b)ef twn,w,fws.twr- 图1.7：随机变量 笔记更直观的可以这样理解随机变量：左图表示对一个映射，如果从实数轴上随意选一个区间 (,b),我们去找这个映射在的原像都是关于下可测的，我们就称为随机变量。对于右图所示 的离散随机变量，如果我们看到取值，就能用F判断是什么发生了，那么就是随机变量。 例1.14设2={w1,w2,w3},F={0,2,{1,w2},{w3}.定义如下的两个变量X,Y. ,y= 1 {w} {a3 2 {w2,w3} 容易计算， {X=1}={w,w2}∈F,{X=2}={w3}∈F {Y=1}={w}年F,{X=2}={w2,3}F
1.3 随机变量和分布函数 – 14 – ♣ 个固定的值 a!! 在定义随机变量 X 时，虽然只要求对于任意固定的实数 a, {ω : X(ω) < a} ∈ F。 但利用如下等式 {a1 ≤ X < a2} = {X < a2}\{X < a1} ∈ F, {X = a} = + ∩∞ n=1 {a − 1 n ≤ X < a + 1 n } ∈ F, {X ≥ a} = Ω\{X < a} ∈ F. 由此我们可以看到随机变量取一个固定的值 {X = a} 或者大于一个值 {X ≥ a} 都 是可测的。 理解 1.10. 随机变量 ♣ 如果一个变量 X 只取有限个离散的值 {y1, y2, · · · , yN }。则只需要对于任意的取值 yi 都有 {X = yi} ∈ F 则 X 是关于 F 的随机变量。并称 X 为离散型随机变量。 图 1.7: 随机变量 笔记 更直观的可以这样理解随机变量：左图表示对一个映射，如果从实数轴上随意选一个区间 (a, b)，我们去找这个映射在 Ω 的原像都是关于 F 可测的，我们就称为随机变量。对于右图所示 的离散随机变量，如果我们看到取值 yi，就能用 F 判断是什么发生了，那么就是随机变量。 例 1.14 设 Ω = {ω1, ω2, ω3}, F = {∅, Ω, {ω1, ω2}, {ω3}}. 定义如下的两个变量 X, Y . X = 1, {ω1, ω2} 2, {ω3} , Y = 1, {ω1} 2, {ω2, ω3} 容易计算， {X = 1} = {ω1, ω2} ∈ F, {X = 2} = {ω3} ∈ F, {Y = 1} = {ω1} ∈ F/ , {X = 2} = {ω2, ω3} ∈ F/
1.3随机变量和分布函数 -15 由此可见X是关于F的随机变量，而Y则不是。如果定义一个新的σ代数产 手={0,2，{w1,{w2h,{w3h,{w1,w2,{w1,w3,{w2,w3} 容易看到X和Y都是关于的随机变量。因此，在谈论是否是随机变量时需要说明时 相对于什么σ代数。 命题13 分布函数F(x)的性质如下： 1.F(x)是单调不减函数。 2.0≤F(x)≤1,1imz-ooF(x)=0,limz+eoF(x)=1. 3.F(x)是左连续函数，即x∈R,F(x-)=F(x) 证明1.2.两条性质都是显然的。注意到： <x- ={X<x} 由概率测度的从下连续可得： F(x) =1 lim P({X<x- 》=F-) 7十● 因此F(x)是左连续函数。 ■ 笔记如果我们定义随机变量的分布函数为 F(a)=P(w:X(w)≤a),-o<a<∞ 则分布函数F是一个右连续函数。但对我们研究，这两种定义方式都可以，只要保持一 致就行。 定义1.13.连续型和离散型随机变量 如果存在函数(x),满足 F(x)= f(t)dt 则称f(x)为随机变量X或其分布函数F(x)的分布密度.如果X具有分布密度， 则称X为连续型随机变量；如果X最多以正概率取可数多个值，则称X为离散型 随机变量 在随机过程中，我们往往感兴趣的是随机变量或者随机过程的概率性质。因此对于 如果两个变量，如果他们不相等部分是一个零测集，我们可以认为她们是一样的。 定义1.14.等价随机变量 两个随机变量X与Y,如果满足P(w∈2：X(w)≠Y(w)=0,则称它们是等价的 注：对于两个等价的随机变量，我们视为同一
1.3 随机变量和分布函数 – 15 – 由此可见 X 是关于 F 的随机变量，而 Y 则不是。如果定义一个新的 σ 代数 Fb Fb = {∅, Ω, {ω1}, {ω2}, {ω3}, {ω1, ω2}, {ω1, ω3}, {ω2, ω3}}. 容易看到 X 和 Y 都是关于 Fb 的随机变量。因此，在谈论是否是随机变量时需要说明时 相对于什么 σ 代数。 命题 1.3 ♠ 分布函数 F(x) 的性质如下： 1. F(x) 是单调不减函数。 2. 0 ≤ F(x) ≤ 1, limx→−∞ F(x) = 0, limx→+∞ F(x) = 1. 3. F(x) 是左连续函数, 即 ∀x ∈ R, F(x−) = F(x). 证明 1.2. 两条性质都是显然的。注意到： ∪∞ n=1 { X < x − 1 n } = {X < x} 由概率测度的从下连续可得： F(x) = P({X < x}) = P (∪∞ n=1 {X < x − 1 n } ) = lim n→+∞ P({X < x − 1 n }) = F(x−). 因此 F(x) 是左连续函数。 ■ 笔记 如果我们定义随机变量的分布函数为 F(a) = P(ω : X(ω) ≤ a), −∞ < a < ∞ 则分布函数 F 是一个右连续函数。但对我们研究，这两种定义方式都可以，只要保持一 致就行。 定义 1.13. 连续型和离散型随机变量 ♣ 如果存在函数 f(x), 满足 F(x) = ∫ x −∞ f(t)dt 则称 f(x) 为随机变量 X 或其分布函数 F(x) 的分布密度. 如果 X 具有分布密度, 则称 X 为连续型随机变量; 如果 X 最多以正概率取可数多个值, 则称 X 为离散型 随机变量. 在随机过程中，我们往往感兴趣的是随机变量或者随机过程的概率性质。因此对于 如果两个变量，如果他们不相等部分是一个零测集，我们可以认为她们是一样的。 定义 1.14. 等价随机变量 ♣ 两个随机变量 X 与 Y , 如果满足 P(ω ∈ Ω : X(ω) ̸= Y (ω)) = 0, 则称它们是等价的. 注：对于两个等价的随机变量，我们视为同一
1.3随机变量和分布函数 -16- 例1.15在某一概率空间(2，下，P)上， F={0,2,{w1,w2},{w3},{w4},…,P({w,w2})=0.2,P({w3})=0.8,P(w4)=0. 1,{w1,w2} 1,{w1,w2} X= 2, {w3} {w3} 3, {w4} -1, {w4} 虽然X,Y在w4上面并不相等，但是P(4)=0。因此，我们仍然称X,Y等价随机变量。 在前面随机变量的定义中，我们定义了小于任意固定常数都是可测的。但在实际应 用中，我们往往还需要考虑随机变量的取值范围或者大于一个值。下面定理告诉我们这 些事情都是可测的。 定理1.4.随机变量等价定义 下列命题等价： 1.X是随机变量； 2.{w:Xw)≥a}∈F,Ha∈R 3.{w:X(w)>a}∈F,Ha∈R; 4.{w:X(w)<a}∈F,a∈R. 下面定义告诉我们对随机变量进行四则运算和求极限的结果依然还是随机变量。这 就保证了，我们在讨论随机变量求和，以及以后考虑收敛性是有意义的。 定理1.5.随机变量之间的性质 1.若X,Y是随机变量，则{X<Y},{X≤Y},{X=Y}及{≠Y}都属于 F; 2.若X,Y是随机变量，则X+Y,X-Y与XY亦然； 3.若{Xn}是随机变量序列，则supn Xn,infn Xn, lim supn-Xn和lim infn→oXn都是随机变量. 9 证明1和2.记(n)为所有的有理数。则有： {X+Y<a}={X<a-Y} =U{X<rn}n{a-y≥rn}eF n=1 {X2<a}{X<va}n{x>-va}EF. XY (X+Y)2-(X-Y2 4 3.对于任意的实数a,注意到 {sup Xn<a=∩HXn<a}∈F, 6 {inf Xn>a=∩{Xn>a}eF
1.3 随机变量和分布函数 – 16 – 例 1.15 在某一概率空间 (Ω, F, P) 上, F = {∅, Ω, {ω1, ω2}, {ω3}, {ω4}, · · · }, P({ω1, ω2}) = 0.2, P({ω3}) = 0.8, P(ω4) = 0. X = 1, {ω1, ω2} 2, {ω3} 3, {ω4} Y = 1, {ω1, ω2} 2, {ω3} −1, {ω4} 虽然 X, Y 在 ω4 上面并不相等，但是 P(ω4) = 0。因此，我们仍然称 X, Y 等价随机变量。 在前面随机变量的定义中，我们定义了小于任意固定常数都是可测的。但在实际应 用中，我们往往还需要考虑随机变量的取值范围或者大于一个值。下面定理告诉我们这 些事情都是可测的。 定理 1.4. 随机变量等价定义 ♡ 下列命题等价： 1. X 是随机变量； 2. {ω : X(ω) ≥ a} ∈ F, ∀ a ∈ R； 3. {ω : X(ω) > a} ∈ F, ∀ a ∈ R； 4. {ω : X(ω) < a} ∈ F, ∀ a ∈ R. 下面定义告诉我们对随机变量进行四则运算和求极限的结果依然还是随机变量。这 就保证了，我们在讨论随机变量求和，以及以后考虑收敛性是有意义的。 定理 1.5. 随机变量之间的性质 ♡ 1. 若 X, Y 是随机变量，则 {X < Y }, {X ≤ Y }, {X = Y } 及 {X ̸= Y } 都属于 F； 2. 若 X, Y 是随机变量，则 X + Y , X − Y 与 XY 亦然； 3. 若 {Xn} 是随机变量序列, 则 supn Xn, infn Xn, lim supn→∞ Xn 和 lim infn→∞ Xn 都是随机变量. 证明 1 和 2. 记 (rn) 为所有的有理数。则有： {X + Y < a} = {X < a − Y } = ∪∞ n=1 {X < rn} ∩ {a − Y ≥ rn} ∈ F. {X2 < a} = {X < √ a} ∩ {X > − √ a} ∈ F. XY = (X + Y ) 2 − (X − Y ) 2 4 . 3. 对于任意的实数 a, 注意到 {sup n Xn < a} = ∩∞ n {Xn < a} ∈ F, {inf n Xn > a} = ∩∞ n {Xn > a} ∈ F
1.3随机变量和分布函数 -17- 因此，supn Xn,infn Xn都是随机变量。同时 lim sup Xn inf sup Xk EF, n→00 1≤k≤n lim inf Xn sup inf Xk ∈F. n→00 1≤k≤n 因此，limsupn-→eoXn和liminfn-→oXn都是随机变量。 ■ 13.1数字特征 有了随机变量的分布后，我们对一个随机变量的认识还不够，同时在应用和证明中 只知道分布往往还不够直观和便利。因此，我们刻画随机变量更深刻的一些性质。 定义1.15.随机变量一些特征 (1)取值为{sk}的离散型随机变量X的数学期望（简称为期望）数学期望EX)定 义为 E[X]=∑SPk=∑skP(X=S) k 如果∑引SkPk<o (2)连续型随机变量X的数学期望(Expectation)E[X]定义为 (oo E[X]=xdF(x)=xf(c)dx -00 如果∫ldF(c)<oo,这里F(x)是X的分布函数，f()是其密度函数. 利用Riemann-Stieltjes积分，我们可以对离散型随机变量和连续型随机变量的期望 给出一个统一的表达式： EX]= xdF(x) (3)设X为任一随机变量，对正整数k,称m=E[X]为X的k阶原点矩.数学 期望是一阶原点矩 (④)设X为任一随机变量，对正整数k,称ck=E[X-E[X]为X的k阶中心 矩(k-th moment function).方差是二阶原，点矩. (⑤)设X,Y为两个随机变量，对正整数k,l,称EX-E[X][Y-Y]为X 的k十1阶混合中心矩.协方差是二阶混合中心矩 1.3.2矩函数Moment Generating Function) 定义1.16.矩函数 若随机变量X的分布函数为FX(x),则称 ox(t)=Eletx]= etdFx(x) (1.5)
1.3 随机变量和分布函数 – 17 – 因此，supn Xn, infn Xn 都是随机变量。同时 lim sup n→∞ Xn = inf n→∞ ( sup 1≤k≤n Xk ) ∈ F, lim inf n→∞ Xn = sup n→∞ ( inf 1≤k≤n Xk ) ∈ F. 因此，lim supn→∞ Xn 和 lim infn→∞ Xn 都是随机变量。 ■ 1.3.1 数字特征 有了随机变量的分布后，我们对一个随机变量的认识还不够，同时在应用和证明中 只知道分布往往还不够直观和便利。因此，我们刻画随机变量更深刻的一些性质。 定义 1.15. 随机变量一些特征 ♣ (1) 取值为 {sk} 的离散型随机变量 X 的数学期望 (简称为期望) 数学期望 E[X] 定 义为 E[X] = ∑ k skpk = ∑ k skP(X = sk) 如果 ∑|sk|pk < ∞. (2) 连续型随机变量 X 的数学期望 (Expectation) E[X] 定义为 E[X] = ∫ ∞ −∞ xdF(x) = ∫ ∞ −∞ xf(x)dx 如果 ∫ ∞ −∞ |x|dF(x) < ∞, 这里 F(x) 是 X 的分布函数,f(x) 是其密度函数. 利用 Riemann-Stieltjes 积分，我们可以对离散型随机变量和连续型随机变量的期望 给出一个统一的表达式： E[X] = ∫ +∞ −∞ xdF(x) (3) 设 X 为任一随机变量，对正整数 k，称 mk = E[Xk ] 为 X 的k 阶原点矩. 数学 期望是一阶原点矩. (4) 设 X 为任一随机变量，对正整数 k，称 ck = E[X − E[X]]k 为 X 的k 阶中心 矩 (k-th moment function). 方差是二阶原点矩. (5) 设 X, Y 为两个随机变量，对正整数 k, l，称 E[X − E[X]]k [Y − E[Y ]]l 为 X 的k + l 阶混合中心矩. 协方差是二阶混合中心矩. 1.3.2 矩函数 (Moment Generating Function) 定义 1.16. 矩函数 若随机变量 X 的分布函数为 FX(x), 则称 ϕX(t) = E[e tX] = ∫ ∞ −∞ e txdFX(x) (1.5)