二随机变量与分布西数 6 例1.14Pola模型 坛子里有一些球,b黑r红,先摸出一个记下颜色后放回,并且再放入c个同色球。记Bn表示第n次 抽到黑球,求概率。 观察可发现,n次抽取抽中长次黑球,任意给定次序概率相同,为D,=+-+四 6+r+ic b+kc 本空间,因此为1,因此B+1= *c=-1即为无放回,c=0即为有放回。 二 随机变量与分布函数 S2.1随机变量 万万2为?上的σ域,可验证其交亦为σ域。更一般地,给定某指标集I,万,ieI的交集亦为g域。 R上Bor©l域定义为包含所有(a,,a,b∈R的最小o域(最小定义:所有包含的取交),记为B(R)。 {=∩(b-元b∈B(R),类似知(a,b),a,,a,)∈BR). B(R")为包含所有左开右闭区间笛卡尔积形成的矩形的最小a域,Borl域中的集合称Bor©l集。 定义2.1随机变量、概率分布函数 (但,F,P)中,称X:→R为一个随机变量,若红∈R,有{u∈:X)≤}∈F。 此时记后方集合为{X≤x,称F()=P({X≤x)为随机变量X的(慨率)分布函数。 例2.1均匀硬币 D=H,T,X:2+R.X(H)=1,X(T)=-1 1 x21 P({X≤x)={0.5-1≤x<1 0 x<-1 定理2.1分布函教F(x)性质 1.单调增 2.负无穷极限Q,正无穷极限1 3.右连续,1imFz+o)=F() 证明: 1.利用包含关系说明。 2.取一列数趋向正/负无穷,利用概率的极限等于极限的概率知结论。 3.类似2,取子列说明。 注: (1)若某函数这三条性质,一定为某随机变量的概率分布函数,因此,一般将满足三条性质的函数称为分 布函数。 (②另 一种定义分布函数的方式:G()=P(X<x),此时其具有左连续性, 一二两条不变 (3)分布函数丢失了关于样本空间的信息,与样本空间无关。 例2.2若X=c概率为1,称X几乎处处常值,则F()= ∫1x2c 0 z<c
二 随机变量与分布函数 6 例 1.14 Polya 模型 坛子里有一些球,b 黑 r 红,先摸出一个记下颜色后放回,并且再放入 c 个同色球。记 Bn 表示第 n 次 抽到黑球,求概率。 观察可发现,n 次抽取抽中 k 次黑球,任意给定次序概率相同,为 Dk(b) = Qk−1 i=0 (b + ic) Qn−k−1 i=0 (r + ic) Qn−1 i=0 b + r + ic , 有 Bn+1 = Xn k=0 C k nDk(b) b + kc b + r + nc = b b + r Xn k=0 C k nDk(b + r),而由概率含义 Xn k=0 C k nDk(b + r) 构成整个样 本空间,因此为 1,因此 Bn+1 = b b + r 。 *c = −1 即为无放回,c = 0 即为有放回。 二 随机变量与分布函数 §2.1 随机变量 F1, F2 为 Ω 上的 σ 域,可验证其交亦为 σ 域。更一般地,给定某指标集 I,Fi , i ∈ I 的交集亦为 σ 域。 R 上 Borel 域定义为包含所有 (a, b], a, b ∈ R 的最小 σ 域 (最小定义:所有包含的取交),记为 B(R)。 {b} = \ n b − 1 n , b ∈ B(R),类似知 (a, b), [a, b], [a, b) ∈ B(R)。 B(R n ) 为包含所有左开右闭区间笛卡尔积形成的矩形的最小 σ 域,Borel 域中的集合称 Borel 集。 定义 2.1 随机变量、概率分布函数 (Ω, F, P) 中,称 X : Ω → R 为一个随机变量,若 ∀x ∈ R,有 {ω ∈ Ω : X(ω) ≤ x} ∈ F。 此时记后方集合为 {X ≤ x},称 F(x) = P({X ≤ x}) 为随机变量 X 的 (概率) 分布函数。 例 2.1 掷均匀硬币 Ω = {H, T}, X : Ω → R, X(H) = 1, X(T) = −1 P({X ≤ x}) = 1 x ≥ 1 0.5 −1 ≤ x < 1 0 x < −1 定理 2.1 分布函数 F(x) 性质 1. 单调增 2. 负无穷极限 0,正无穷极限 1 3. 右连续 lim σ→0+ F(x + σ) = F(x) 证明: 1. 利用包含关系说明。 2. 取一列数趋向正/负无穷,利用概率的极限等于极限的概率知结论。 3. 类似 2,取子列说明。 注: (1) 若某函数这三条性质,一定为某随机变量的概率分布函数,因此,一般将满足三条性质的函数称为分 布函数。 (2) 另一种定义分布函数的方式:G(x) = P({X < x}),此时其具有左连续性,一二两条不变。 (3) 分布函数丢失了关于样本空间的信息,与样本空间无关。 例 2.2 若 X = c 概率为 1,称 X 几乎处处常值,则 F(x) = 1 x ≥ c 0 x < c
二随机变量与分布函数 例2.3 Bernoulli两点分布 1x21 若P(X=1)=p,P(X=0)=,p+g=1,则F() 90≤x<1 0xr<0 特别地,A∈F,示性函数IA(u) 上心∈A亦为随机变量,满足Bemo版两点分布,且有P一 0w生A 1)=P(A). 定理22随机变量性质 1.P(X>x)=1-F(x 2.Px<X≤)=F()-F() 3.P(X=x)=F(x)-F(x) 定理2.3设X为(但,F,P)上随机变量,则任意Bol集的原象为事件城中元素。 证明:记A={AcR:X-(A∈F}.由于X-(49)=X-(A,X-1UAn=x-(A)分别验 证三条性质可知A为R上o域,·因此,(a,=(-0,创-(-0,a∈A,进一步可知BR)CA,即可 得证。 *随机变量相加后仍为随机变量 证明:令rn为一切有理数的一个排列,证出{X+Y≤=∩({X≤rn}UY≤x-rn》即可说明结 论。 右包含左易证,故只需证明w不属于左侧时亦不属于右侧。若其不屈于左侧,取m使X(w)>rm>Y() 即发现其不属于右侧。 S2.2随机向量 定义2.2离散型随机变量 随机变量X取值至多可列个2,则称X为高型随机变量。 记%=P(X=x),则{P}为X的分布列,此时分布画数F(四)=∑P%在处跳跃,又称原子 分布 定义2.3连续型随机变量 若随机变量X的分布函数F()=厂fu)u,其中非负可积,则称X为连续型随机变量,称了为 -0 X的密度函数。 注: (1)密度函数含义:当x=xo为∫连续点时,△z→0,则P(xo<X≤x0+△x)=f(xo)△x。 (②)密度函数改变有限多个值仍为密度函数。 (③)P(X=a)≤ f(u)du→0,因此X在任意有限多个点取值概率为0。 (④若F连续且除去有限多个点外F(x)存在且连续,则X为连续型随机变量,且F可作为一个密度 函数。 (⑤)X为连续型随机变量,则F绝对连续。 例2.4钟表指针
二 随机变量与分布函数 7 例 2.3 Bernoulli 两点分布 若 P(X = 1) = p, P(X = 0) = q, p + q = 1,则 F(x) = 1 x ≥ 1 q 0 ≤ x < 1 0 x < 0 特别地,A ∈ F,示性函数 IA(ω) = 1 ω ∈ A 0 ω ∈/ A 亦为随机变量,满足 Bernoulli 两点分布,且有 P(IA = 1) = P(A)。 定理 2.2 随机变量性质 1. P(X > x) = 1 − F(x) 2. P(x < X ≤ y) = F(y) − F(x) 3. P(X = x) = F(x) − F(x −) 定理 2.3 设 X 为 (Ω, F, P) 上随机变量,则任意 Borel 集的原象为事件域中元素。 证明:记 A = {A ⊂ R : X−1 (A) ∈ F},由于 X−1 (A c ) = X−1 (A) c , X−1 [ n An ! = [ n X−1 (An) 分别验 证三条性质可知 A 为 R 上 σ 域,。因此,(a, b] = (−∞, b] − (−∞, a] ∈ A,进一步可知 B(R) ⊂ A,即可 得证。 * 随机变量相加后仍为随机变量 证明:令 rn 为一切有理数的一个排列,证出 {X + Y ≤ x} = \∞ n=1 ({X ≤ rn} ∪ {Y ≤ x − rn}) 即可说明结 论。 右包含左易证,故只需证明 ω 不属于左侧时亦不属于右侧。若其不属于左侧,取 m 使 X(ω) > rm > Y (ω) 即发现其不属于右侧。 §2.2 随机向量 定义 2.2 离散型随机变量 随机变量 X 取值至多可列个 x1, x2, . . . ,则称 X 为离散型随机变量。 记 pk = P(X = xk),则 {pk} 为 X 的分布列,此时分布函数 F(x) = X k:xk≤x pk 在 xk 处跳跃,又称原子 分布。 定义 2.3 连续型随机变量 若随机变量 X 的分布函数 F(x) = Z x −∞ f(u)du,其中 f 非负可积,则称 X 为连续型随机变量,称 f 为 X 的密度函数。 注: (1) 密度函数含义:当 x = x0 为 f 连续点时,∆x → 0,则 P(x0 < X ≤ x0 + ∆x) = f(x0)∆x。 (2) 密度函数改变有限多个值仍为密度函数。 (3) P(X = a) ≤ Z a a−1/n f(u)du → 0,因此 X 在任意有限多个点取值概率为 0。 (4) 若 F 连续且除去有限多个点外 F ′ (x) 存在且连续,则 X 为连续型随机变量,且 F ′ 可作为一个密度 函数。 (5) X 为连续型随机变量,则 F 绝对连续。 例 2.4 钟表指针
三离散型随机变量 ,A指勒贝格测度 令X(四)=,Y(w)=w,则 x<00 x<00 Fx(z)= 12 x∈(0,2x],F(e)= 12r x∈(0,4r],求导知fx,y. x≥2x1 x≥4x21 分布函数F性质 (1)单调→不连续点至多可数 (②)勒贝格分解F=GFa十c2F。+cE其中C≥0,∑c=1,Fa为离散型随机变量的分布函数,F为 连续型随机变量的分布函数,F。为奇异的。 定义2.4随机向量 X,,Xm为(但,F,P)上的随机变量,称X=(X,,X)为n维随机向量,F工)=P(X≤ x1,,Xn≤n)为了的联合分布函数。 高散型:了取值至多可列多个,联合分布列(z1,,xn)=P(X=西1,Xn=工n 连铁型:F,2)=…f代,ud1d,∫非负可积,称f为X的联合常度雨数。 定理2.4考虑二维随机向量的联合分布函数F(x,) 1.F(x.关于x.y均单调增 2.F(口,)关于工,y均右连续 3.F(红,)在工,趋近负无穷时极限均为O,x,均趋近正无穷时极限为1. 4.x1≤x2.h≤p时F(x2.h)-F(x1.2)-F(x2,h1)+F(x1.1)=P(XE(x1.x2.YE(h1,2)≥0 注: (1)取极限可发现4蕴含1,反之不然(举例:F(x)= 1x+y之0满足1,23但不满足4. 0x+y<0 (②)若某二元函数满足2,3,4三条性质,一定为某随机向量的联合分布函数。 Fx)=PX≤)=,mF,)称为边际分布。 连续随机支量R=厂fd,= f(工,)d知称为边际密度。 例2.5三项分布 ={H,T,E,均匀“三面硬币”,设扔n次后三种次数分别为H,Tn,En,有Hn十En十Tn=n,则 P(Hn工nEn)=h,te)=ia3 例2.6GCR”为有限区城,则联合密度画数f)=阿2G 1 特别地,G=0,1P时,f红,)= 1(e,)∈G 0(a,0生G 三离散型随机变量 S3.1分布列与独立性 回顾:离散型随机变量X取值至多可列个1,2,,记%=P(X=x),则{:}为X的分布列
三 离散型随机变量 8 Ω = [0, 2π), F = B(R) ∩ Ω, P(A) = |A| 2π ,|A| 指勒贝格测度。 令 X(ω) = ω, Y (ω) = ω 2,则 FX(x) = x < 0 0 x 2π x ∈ (0, 2π] x ≥ 2π 1 , FY (x) = x < 0 0 √y 2π x ∈ (0, 4π 2 ] x ≥ 4π 2 1 ,求导知 fX, fY 。 分布函数 F 性质: (1) 单调 → 不连续点至多可数 (2) 勒贝格分解 F = c1Fd + c2Fc + c3Fs 其中 ci ≥ 0, X i ci = 1,Fd 为离散型随机变量的分布函数,Fc 为 连续型随机变量的分布函数,Fs 为奇异的。 定义 2.4 随机向量 X1, . . . , Xn 为 (Ω, F, P) 上的随机变量,称 X⃗ = (X1, . . . , Xn) 为 n 维随机向量,F(x1, . . . , xn) = P(X1 ≤ x1, . . . , Xn ≤ xn) 为 X⃗ 的联合分布函数。 离散型:X⃗ 取值至多可列多个,联合分布列f(x1, . . . , xn) = P(X1 = x1, . . . , Xn = xn)。 连续型:F(x1, . . . , xn) = Z x1 −∞ · · · Z xn −∞ f(u1, . . . , un)du1 . . . dun,f 非负可积,称 f 为 X 的联合密度函数。 定理 2.4 考虑二维随机向量的联合分布函数 F(x, y): 1. F(x, y) 关于 x, y 均单调增。 2. F(x, y) 关于 x, y 均右连续。 3. F(x, y) 在 x, y 趋近负无穷时极限均为 0,x, y 均趋近正无穷时极限为 1。 4. x1 ≤ x2, y1 ≤ y2 时 F(x2, y2) − F(x1, y2) − F(x2, y1) + F(x1, y1) = P(X ∈ (x1, x2], Y ∈ (y1, y2]) ≥ 0 注: (1) 取极限可发现 4 蕴含 1,反之不然 (举例:F(x) = 1 x + y ≥ 0 0 x + y < 0 满足 1,2,3 但不满足 4)。 (2) 若某二元函数满足 2,3,4 三条性质,一定为某随机向量的联合分布函数。 FX(x) = P(X ≤ x) = lim y→+∞ F(x, y) 称为边际分布。 连续型随机变量 FX(x) = Z x −∞ Z +∞ −∞ f(u, v)dvdu,fX(x) = Z +∞ −∞ f(x, v)dv 称为边际密度。 例 2.5 三项分布 Ω = {H, T, E},均匀“三面硬币”,设扔 n 次后三种次数分别为 Hn, Tn, En,有 Hn + En + Tn = n,则 P (Hn, Tn, En) = (h, t, e) = n! h!t!e! 1 3 n 例 2.6 G ⊂ R n 为有限区域,则联合密度函数 f(x1, . . . , xn) = 1 |G| , ⃗x ∈ G 特别地,G = [0, 1]2 时,f(x, y) = 1 (x, y) ∈ G 0 (x, y) /∈ G 三 离散型随机变量 §3.1 分布列与独立性 回顾:离散型随机变量 X 取值至多可列个 x1, x2, . . . ,记 pk = P(X = xk),则 {pk} 为 X 的分布列
三离散型随机变哥 例3.1二项分布 P(x==Cpgn-k,p+q=1时称X符合二项分布,记为XB(n,p)。 背景:抛n次硬币,X为正面向上次数 例3.2几何分布 P(X==-P+q=1时称X符合几何分布,此时P(X>)= 背景:抛n次硬币,X为第一次正面向上时抛的次数。 几何分布具有无记忆性:P(X-m=kX>m)=P(X=)。反之,若取值为N”的某随机变量满足无 记忆性,即对任意m,k符合上式,则必须服从几何分布, 例3.3泊松分布 P(X=k=e入,A>0时称X符合泊松分布,记为X~P() 背景:网站访问量、百科新词条 放射性粒子数:体积为V的小物块分为n等份每一小块△=,假设每一小块在7内放出1个 a粒子的概率为P=4·△",放出更多概率为0,且各小块放出与否相互独立。 分析:n块共放出k个概率符合二项分布,令入=V,则 ,固定k,令n趋向无穷,此式极限 即为点c入、由此可知,二项分布可以通近泊松分布: 定义3.1独立性 若红,∈R,P(X=玉,Y=)=P(X=x)P(Y=),则称离散型随机变量X,Y独立。 更一般,称X1,Xn相互独立,若∈R,PX=西1,,Xn=n)=P(X1=x)小…P(Xn=) 定理3.1离散型随机变量X,Y独立,当且仅当P(X≤x,Y≤)=P(X≤x)P(Y≤别)÷F(红,)= Ex(az)Fy(w). 证明:利用分布列(红,)与分布函数F(红,)关系,利用求和可证明仅当,利用左极限可证明当。 例3.4泊松翻转 抛均匀硬币1次,记X,Y为正反出现的次数,计算客易发现不独立。 地款有我NP.升年a功=PK=Y三N中功=e一器器 z+ -()()到-∑e-(),南如x 定理3.2离散型随机变量X,Y独立,9,h是R上的Bol可测函数,则g(X),h(Y)独立。 证明:P(g(X)=a,hY)=)=PU{X=x,UY=)分解球和。 h(v)=a S3.2数学期望 定义3.2数学期望 离散型随机变量X对应分布列∫,∑x)若绝对收敛,则称为X的数学期望,记为E[X] r:f()>0 E=∑(原则上五互不相同,事实上相同不会影响计算)
三 离散型随机变量 9 例 3.1 二项分布 P(x = k) = C k np k q n−k , p + q = 1 时称 X 符合二项分布,记为 X ∼ B(n, p)。 背景:抛 n 次硬币,X 为正面向上次数, 例 3.2 几何分布 P(X = k) = q k−1 p, p + q = 1 时称 X 符合几何分布,此时 P(X > k) = q k。 背景:抛 n 次硬币,X 为第一次正面向上时抛的次数。 几何分布具有无记忆性:P(X − m = k|X > m) = P(X = k)。反之,若取值为 N ∗ 的某随机变量满足无 记忆性,即对任意 m, k 符合上式,则必须服从几何分布。 例 3.3 泊松分布 P(X = k) = λ k k! e −λ , λ > 0 时称 X 符合泊松分布,记为 X ∼ P(λ)。 背景:网站访问量、百科新词条 * 放射性粒子数:体积为 V 的小物块分为 n 等份,每一小块 ∆v = V n ,假设每一小块在 7.5s 内放出 1 个 α 粒子的概率为 p = µ · ∆v,放出更多概率为 0,且各小块放出与否相互独立。 分析:n 块共放出 k 个概率符合二项分布,令 λ = µV ,则 P(X = k) = C k np k (1 − p) n−k = n . . .(n − k + 1) k! λ n k 1 − λ n n−k ,固定 k,令 n 趋向无穷,此式极限 即为 λ k k! e −λ。由此可知,二项分布可以逼近泊松分布。 定义 3.1 独立性 若 ∀x, y ∈ R, P(X = x, Y = y) = P(X = x)P(Y = y),则称离散型随机变量 X, Y 独立。 更一般,称 X1, . . . , Xn 相互独立,若 ∀xi ∈ R, P(X1 = x1, . . . , Xn = xn) = P(X1 = x1)· · · P(Xn = xn)。 定理 3.1 离散型随机变量 X, Y 独立,当且仅当 P(X ≤ x, Y ≤ y) = P(X ≤ x)P(Y ≤ y) ⇔ F(x, y) = FX(x)FY (y)。 证明:利用分布列 f(x, y) 与分布函数 F(x, y) 关系,利用求和可证明仅当,利用左极限可证明当。 例 3.4 泊松翻转 抛均匀硬币 1 次,记 X, Y 为正反出现的次数,计算容易发现不独立。 抛 N 枚均匀硬币,N ∼ P(λ),计算 f(x, y) = P(X = x, Y = y, N = x + y) = λ x+y (x + y)!e −λ C x x+y 2 x+y = λ 2 x e −λ/2 x! λ 2 y e −λ/2 y! ,注意到 fX(x) = X y f(x, y) = λ 2 x e −λ/2 x! ,由此知 X, Y 独立。 定理 3.2 离散型随机变量 X, Y 独立,g, h 是 R 上的 Borel 可测函数,则 g(X), h(Y ) 独立。 证明:P(g(X) = a, h(Y ) = b) = P [ g(x)=a {X = x}, [ h(y)=a {Y = y} 分解求和。 §3.2 数学期望 定义 3.2 数学期望 离散型随机变量 X 对应分布列 f, X x:f(x)>0 xf(x) 若绝对收敛,则称为 X 的数学期望,记为 E[X]。 *E[x] = X k xkpk(原则上 xi 互不相同,事实上相同不会影响计算)
三离散型随机变量 10 定理3.3佚名统计学家公式 g为R上函数,Y=g(X),X分布列为∫,则EY]=)g(x)f(x)(假定右侧绝对收敛 证明:考虑Y分布列即可 定义3.3赞字持任 离散型随机变量X的k阶矩为m=EX],k阶中心矩%=EX-m)内。 方差Var(X)为二阶中心矩,Var(X)=∑(x-m)Pfr)=EX-2m1EX+m=EX1-E2X]. 标准差定义为√Var(X河 例3.5 Bernoulli分布 P(X=1)=p.P(X=0)=q.p+q=1=E[X]=p.Var(X)=p-p2= 例3.6二项分X~B(n,P) EX灯=∑kCg-k=m∑C-1pg-1-k=m k=0 k=0 E[X(X-1刃-∑kk-1)CDq-*=n(n-1)p E[x2]np(np+q).Var(X)=npq 定理3.4数学期望性质 1.非负性:X≥0→E[X)≥0 2.归一性:E1=1 3.线性性:EaX+bY]=aE[X]+bEY] 由此,E可以看作一个期望算子. 线性性证明:令示性函数A,={X=x,则X-∑x山Ae,EX=∑xP(A,对Y用B,类似处理 则aX+Y=∑xlA,+∑la,=∑IAlB, +B *观点:扩展至量子物理、非线性期望 定理3.5X,Y独立且期望存在,EXY]=EX)]EY]。 证明:EW=∑A,EM=∑la→EXY=∑lA,A 定理3.6方差性盾 1.Var(aX+6)=a2Var(X) 2.Var(X+Y)=Var(X)+Var(Y)+2(E(XY)-E(X)E(Y),X,Y独立时即可加。 例3.7期望不存在的例子 PX=)=京,=(-小,不绝对收:,∑=-h2,而期望不存在 若P(X=)=2-1,可发现期望趋向于无穷
三 离散型随机变量 10 定理 3.3 佚名统计学家公式 g 为 R 上函数,Y = g(X),X 分布列为 f,则 E[Y ] = X x g(x)f(x)(假定右侧绝对收敛)。 证明:考虑 Y 分布列即可。 定义 3.3 数字特征 离散型随机变量 X 的 k 阶矩为 mk = E[Xk ],k 阶中心矩 σk = E[(X − m1) k ]。 方差 Var(X) 为二阶中心矩,Var(X) = X x (x − m1) 2 f(x) = E[X2 ] − 2m1E[X] + m2 1 = E[X2 ] − E 2 [X]。 标准差定义为 p Var(X) 例 3.5 Bernoulli 分布 P(X = 1) = p, P(X = 0) = q, p + q = 1 ⇒ E[X] = p, Var(X) = p − p 2 = pq 例 3.6 二项分 X ∼ B(n, p) E[X] = Xn k=0 kC k np k q n−k = npXn−1 k=0 C k n−1p k q n−1−k = np E[X(X − 1)] = Xn k=0 k(k − 1)C k np k q n−k = n(n − 1)p 2 E[X2 ] = np(np + q), Var(X) = npq 定理 3.4 数学期望性质 1. 非负性:X ≥ 0 ⇒ E[X] ≥ 0 2. 归一性:E[1] = 1 3. 线性性:E[aX + bY ] = aE[X] + bE[Y ] 由此,E 可以看作一个期望算子。 线性性证明:令示性函数 Ax = {X = x},则 X = X x xIAx , E[X] = X x xP(Ax),对 Y 用 By 类似处理, 则 aX + bY = X x xIAx + X y yIBy = X Ax+By IAx IBy。 * 观点:扩展至量子物理、非线性期望 定理 3.5 X, Y 独立且期望存在,E[XY ] = E[X]E[Y ]。 证明:E[X] = X x xIAx , E[Y ] = X y yIBy ⇒ E[X]E[Y ] = X x,y xyIAxBy。 定理 3.6 方差性质 1. Var(aX + b) = a 2 Var(X) 2. Var(X + Y ) = Var(X) + Var(Y ) + 2(E(XY ) − E(X)E(Y )),X, Y 独立时即可加。 例 3.7 期望不存在的例子 P(X = xk) = 1 2 k ,xk = (−1)k 2 k k ,不绝对收敛,X k xkpk = − ln 2,而期望不存在。 若 P(X = xk) = 2k−1,可发现期望趋向于无穷