《概率论》课程教学资源（学习笔记）概率论笔记

概率论课堂笔记 原生生物 斗满人概，人满天概。一管子 目录 一概米空间与独立性 S1.1事件与概率 3 S1.2条件概率与独立性 S1.3概率模型 二随机变量与分布函数 6 $2.1随机变量 S2.2随机向量 三离散型随机变量 甲 S3.1分布列与独立性 8 S3.2数学期望 3.3协方差 12 S3.5随机游走 12 S3.6母函数 14 四连续型随机变量 15 S4.1独立性 S4.2期望.，. 公 S4.3多元正态分布....... 五中心极限定理 9 S5.1一般随机变量的期望 19 S5.2特征函数 20 53反转与连续性定理···。·。。·。·······…··················· $5.4极限定理.，，. 23 六几种收敛 6 $6.1四种收敛方式 6.2重要结论 S6.3强大数律 1

概率论 课堂笔记 原生生物 斗满人概，人满天概。——管子 目录 一 概率空间与独立性 3 §1.1 事件与概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 §1.2 条件概率与独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 §1.3 概率模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 二 随机变量与分布函数 6 §2.1 随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 §2.2 随机向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 三 离散型随机变量 8 §3.1 分布列与独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 §3.2 数学期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 §3.3 协方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 §3.4 条件分布与条件期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 §3.5 随机游走 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 §3.6 母函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 四 连续型随机变量 15 §4.1 独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 §4.2 期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 §4.3 多元正态分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 五 中心极限定理 19 §5.1 一般随机变量的期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 §5.2 特征函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 §5.3 反转与连续性定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 §5.4 极限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 六 几种收敛 25 §6.1 四种收敛方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 §6.2 重要结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 §6.3 强大数律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1

目录 七概米论外篇 $71信息熵. S7.2 Linderberg替换理论。。。。· S7.3随机矩阵 ·。。。。…。。。·…·,。…。。·。·。。。。。。。。。… 30

目录 2 七 概率论外篇 28 §7.1 信息熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 §7.2 Linderberg 替换理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 §7.3 随机矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

概率空间与独立性 一概率空间与独立性 S1.1事件与概率 样本点-具体结果样本空向2-样本点的全体事件A样本空间的子集 例1.1掷硬币={H,TA={H 电子自旋2=↑，1}，A=↑} 掷骰子={1,2,3,4,5,6，A={2,4,6} *上方的例子中，样本点均只有有限多个。 例1.2道琼斯指敦样本点-连续钱x(),t∈0，T]样本空间={()eC0,T 事件运算←一→集合运算 事件A发生←→试验结果如∈A A=@不能车件A=必然事件 事件交.并、余 →AnB,AUB,A 事件的交两事件均发生事件的并两事件至少发生一个事件的余-事件未发生 *可记AOB为AB A与A称对立事件。 A发生则B亦发生←→ACB AnB=②时称A,B不相容。 *由此亦可定义A,,A,…互不相容 问题：是否要将的所有子集定义为随机事件？ *良好定义的随机事件为？的一个子集族，且至少要求对交、并、余三种运算封闭。 例13掷硬币第一次正面向上的时刻=1,2…}此时样本空间为无限集合，有限交并性质不足！ 定义1.1下为？某些子集构成的子集族，称其为事件城6战)，若： 1.EF 2.A∈F→A∈F 3.AneF,new→A.EF 并称（但，刀为一个可测空间。 例1.4最大g战，2的暴集 最小F={,a 中间城，如A≠②，时F={,，AA 定义概率：直观想法频率稳定性（重复试验后计数发生次数） 六太能提高同 =c,记c为P(A)明显牲质：P(@)=0,P()=1。 定义1.2P:F→R为（但，F)上的概率测度，若： 1.非负性P(A)≥0 2.规范性P(2)=1 又可列可加性若4}互不相客，则P(UAn)=∑P(A) 并称（但，，P)为一个概率空问

一 概率空间与独立性 3 一 概率空间与独立性 §1.1 事件与概率 样本点-具体结果 样本空间 Ω-样本点的全体 事件 A-样本空间的子集 例 1.1 掷硬币 Ω = {H, T}, A = {H} 电子自旋 Ω = {↑, ↓}, A = {↑} 掷骰子 Ω = {1, 2, 3, 4, 5, 6}, A = {2, 4, 6} * 上方的例子中，样本点均只有有限多个。 例 1.2 道琼斯指数 样本点-连续曲线 x(t), t ∈ [0, T] 样本空间 Ω = {x(t) ∈ C[0, T]} 事件运算 ←→ 集合运算 事件 A 发生 ←→ 试验结果 ω ∈ A A = ∅ 不可能事件 A = Ω 必然事件 事件交、并、余 ←→ A ∩ B, A ∪ B, Ac 事件的交-两事件均发生 事件的并-两事件至少发生一个 事件的余-事件未发生 * 可记 A ∩ B 为 AB A 与 A c 称对立事件。 A 发生则 B 亦发生 ←→ A ⊂ B A ∩ B = ∅ 时称 A, B 不相容。 * 由此亦可定义 A1, . . . , An, . . . 互不相容 问题：是否要将 Ω 的所有子集定义为随机事件？ * 良好定义的随机事件为 Ω 的一个子集族，且至少要求对交、并、余三种运算封闭。 例 1.3 掷硬币第一次正面向上的时刻 Ω = {1, 2, . . . } 此时样本空间为无限集合，有限交并性质不足！ 定义 1.1 F 为 Ω 某些子集构成的子集族，称其为事件域 (σ 域)，若： 1. Ω ∈ F 2. A ∈ F =⇒ A c ∈ F 3. An ∈ F, n ∈ N ∗ =⇒ [∞ n=1 An ∈ F 并称 (Ω, F) 为一个可测空间。 例 1.4 最大 σ 域，Ω 的幂集 最小 F = {Ω, ∅} 中间域，如 A ̸= ∅, Ω 时 F = {Ω, ∅, A, Ac } 定义概率：直观想法-频率稳定性 (重复试验后计数发生次数) 重复 N 次，A 发生 NA 次，经验表明 lim N→∞ NA N = c，记 c 为 P(A)。明显性质：P(∅) = 0, P(Ω) = 1。 若 A ∩ B = ∅，NA∪B = NA + NB =⇒ P(A ∪ B) = P(A) + P(B) 定义 1.2 P : F → R 为 (Ω, F) 上的概率测度，若： 1. 非负性 P(A) ≥ 0 2. 规范性 P(Ω) = 1 3. 可列可加性 若 {An} 互不相容，则 P [ n An  = X n P(An) 并称 (Ω, F, P) 为一个概率空间

一概率空间与独立性 4 例1.5掷硬币={，T,F=2,P({H)=,P({T)=4,P+q=1 例1.6=1,2,3456，F=20假定公平，则P=因 样本点有限，且每个样本点等概率发生，则称古典概型 定理1.1概率测度基本性质 1.PA)=1-P(A 2.AcB时P(B)=P(B\A)+P(A≥P(A) 3.P(AUB)=P(B)+P(A)-P(AB) 4 Jordan公式P(UA）=∑∑（←l-pAa…A) 1<<i 定理1.2概率测度连续性 L单调增事件列C…CAC,记A=U4=，则P(=PA)片 2.单调减事件列B…Bn…,记B=∩B,=lim B,则P(B)=1imP(B). 证明：A=AU(A2\A)UU(AnA-1)U…·此处的并均为无交并，因此可由定义与引理计算即得 结果。对于B,取余即可化为A的情况。 S1.2条件概率与独立性 想法重复试，B发生Nm次，B发生条件下A发生次数N,次数足够多时条件概率可看作 NR 定义1.3条件概率 证间>0B发生条件下A的多件其车P代同=圆 变形有乘法公式P(AB)=P(B)P(AB) *B,,B为2的互不相容子集，且UB=,则称其为的一个划分 定理1.3全概率公式 B,,Bn为的-个划分，P(B)>0,则A=An2=UB,nA)→P(A=UP(B)P(AB,) 例17坛子里有3白2红共5个球，每次无放回摸出一个球，A=(第二次摸到白球，按第一次抽到白 或红划分可知P()=号+后=往意到，在每个轮次出白球的概率一 定理1.4贝叶斯公式 AA为的-个划分，PA)>0,则PB)>0时PAB周=PAPA P(A)P(BA) 例1.8发出s时，收到s概率为0.8，收到t概率为0.2：发出t时，收到s规率为0.1，收到t概率为 09.且发出9概率为06，发出1概率为胎0.8 收到s的情况下，发出的概率为：0608十040=0923 掷硬币，B代表第一次正面，A代表第二次正面，则P(AB)=P(A),即P(AB)=P(A)P(B),由此引 出定义：

一 概率空间与独立性 4 例 1.5 掷硬币 Ω = {H, T}, F = 2Ω , P({H}) = p, P({T}) = q, p + q = 1 例 1.6 Ω = {1, 2, 3, 4, 5, 6}, F = 2Ω 假定公平，则 P(A) = |A| 6 样本点有限，且每个样本点等概率发生，则称古典概型。 定理 1.1 概率测度基本性质 1. P(A c ) = 1 − P(A) 2. A ⊂ B 时 P(B) = P(B\A) + P(A) ≥ P(A) 3. P(A ∪ B) = P(B) + P(A) − P(AB) 4. Jordan 公式 P  [n i=1 Ai  = Xn k=1 X i1<···<ik (−1)k−1P(Ai1 . . . Aik) 定理 1.2 概率测度连续性 1. 单调增事件列 A1 ⊂ · · · ⊂ An ⊂ · · · ，记 A = [∞ i=1 Ai = limn→∞ An，则 P(A) = limn→∞ P(An)。 2. 单调减事件列 B1 ⊃ · · · ⊃ Bn ⊃ · · · ，记 B = \∞ i=1 Bi = limn→∞ Bn，则 P(B) = limn→∞ P(Bn)。 证明：A = A1 ∪ (A2\A1) ∪ · · · ∪ (An\An−1) ∪ · · · 。此处的并均为无交并，因此可由定义与引理计算即得 结果。对于 B，取余即可化为 A 的情况。 §1.2 条件概率与独立性 直观想法-重复试验，B 发生 NB 次，B 发生条件下 A 发生次数 NAB，次数足够多时条件概率可看作 NAB NB 。 定义 1.3 条件概率 设 P(B) > 0，B 发生条件下 A 的条件概率 P(A|B) = P(AB) P(B) 变形有乘法公式 P(AB) = P(B)P(A|B) *B1, . . . , Bn 为 Ω 的互不相容子集，且 [ i Bi = Ω，则称其为 Ω 的一个划分。 定理 1.3 全概率公式 B1, . . . , Bn 为 Ω 的一个划分，P(Bi) > 0，则 A = A ∩ Ω = [ i (Bi ∩ A) ⇒ P(A) = [ i P(Bi)P(A|Bi)。 例 1.7 坛子里有 3 白 2 红共 5 个球，每次无放回摸出一个球，A ={第二次摸到白球}，按第一次抽到白 或红划分可知 P(A) = 3 5 · 1 2 + 2 5 · 3 4 = 3 5 (注意到，在每个轮次抽出白球的概率一致)。 定理 1.4 贝叶斯公式 A1, . . . , An 为 Ω 的一个划分，P(Ai) > 0，则 P(B) > 0 时 P(Ai |B) = P(Ai)P(B|Ai) P j P(Aj )P(B|Aj ) 例 1.8 发出 s 时，收到 s 概率为 0.8，收到 t 概率为 0.2；发出 t 时，收到 s 概率为 0.1，收到 t 概率为 0.9。且发出 s 概率为 0.6，发出 t 概率为 0.4。 收到 s 的情况下，发出 s 的概率为： 0.6 · 0.8 0.6 · 0.8 + 0.4 · 0.1 = 0.923 掷硬币，B 代表第一次正面，A 代表第二次正面，则 P(A|B) = P(A)，即 P(AB) = P(A)P(B)，由此引 出定义：

一报率空间与立 5 定义1.4独立性 称A,B独立，若P(AB)=P(A)P(B) 更一般，称A1,,An相互独立是指2≤k≤n,i1<…<i,P(Aa)=ΠP(A)片 两两独立是指只需k=2时满足。 两两独立与相互独立不同，举例如下： 例1.9古典概型中，2={1,2,3,4，A={1,3},B={1,2,C={1,4. 计算可知A.B,C两两独立，但不相互独立。 定理1.5若AB独立，则A与B,A与B,A与B独立。更一般地，若一些事件相互独立，将其 中部分改为其对立事件后仍然相互独立。 证明：两事件时，由对称，只需证明A与B独立。由P(AB)+P(AB)=P(A)可算出结果。多事件时 类似两事件一个个调整即可。 例1.10“重复独立试验，小概率事件必发生” 记事件为A,A=第k次试验中A发生人，则UA表示前k次试验中A发生} P(UA)=1-P(∩A),由独立性，此式为1-Π1-P(A),由此知结采。 S1.3概率模型 例111对称随机游走 赌徒财富k,庄家N一k,掷均匀硬币，正面则赌徒赢庄家1，否则庄家赢赌徒1，赌至一方输光，问赌 徒拾光概率。 4专学誉+ma- 计数向题 例1.12坛子里有4白6红共10个球，随机取4个，求2白2红概率。 样本点数目C。,事件发生的样本点数目CC哈，结果为· *古典概型重要应用：排列组合计算样本点数目 经典问题：n个对象中选m个，问选法种数（是否可重复？是否考虑顺序？）。 有序不重复：An无序不重复：Cm有序可重复：nm 无序可重复：插板法，看作m个小球n个盒子(-1个挡板)，知结梁为C1+m 例1.13将n个小球投入到N≥n个盒子中，投法等可能，求前n个盒子中各一个球的藏率球是否可 分辨？盒子是否有容量限制？) (①)球可区分，盒子无限制（麦克斯韦-玻尔兹曼统计）：样本点个数N,合要求个数，概率 (②)球不可区分，盒子无限制（破色：爱因斯坦统计）：化为无序可重复，样本点个数C%+N-1,合要求个数 1,概率C+N- 同球不可区分，盒子容量一（费米秋拉克统计）：样本点个数吸，合要求个数1，福率为医

一 概率空间与独立性 5 定义 1.4 独立性 称 A, B 独立，若 P(AB) = P(A)P(B) 更一般，称 A1, . . . , An 相互独立是指 ∀2 ≤ k ≤ n, i1 < · · · < ik, P( Y k j=1 Aik ) = Y k j=1 P(Aik )； 两两独立是指只需 k = 2 时满足。 两两独立与相互独立不同，举例如下： 例 1.9 古典概型中，Ω = {1, 2, 3, 4}, A = {1, 3}, B = {1, 2}, C = {1, 4}。 计算可知 A, B, C 两两独立，但不相互独立。 定理 1.5 若 A, B 独立，则 A 与 B c，A c 与 B，A c 与 B c 独立。更一般地，若一些事件相互独立，将其 中部分改为其对立事件后仍然相互独立。 证明：两事件时，由对称，只需证明 A 与 B c 独立。由 P(ABc ) + P(AB) = P(A) 可算出结果。多事件时 类似两事件一个个调整即可。 例 1.10“重复独立试验，小概率事件必发生” 记事件为 A，Ak ={第 k 次试验中 A 发生}，则 [n k=1 Ak 表示 {前 k 次试验中 A 发生}。 P( [n k=1 Ak) = 1 − P( \n k=1 A c k )，由独立性，此式为 1 − Yn k=1 (1 − P(Ak))，由此知结果。 §1.3 概率模型 例 1.11 对称随机游走 赌徒财富 k，庄家 N − k，掷均匀硬币，正面则赌徒赢庄家 1，否则庄家赢赌徒 1，赌至一方输光，问赌 徒输光概率。 记赌徒初始为 k 且输光的事件为 Ak，B 为首局正面，由此 P(Ak) = P(B)P(Ak|B) + P(B c )P(Ak|B c ) = P(Ak−1) + P(Ak+1) 2 ，且 P(A0) = 1, P(AN ) = 0，由等差数列知 P(Ak) = N − k N 。 计数问题 例 1.12 坛子里有 4 白 6 红共 10 个球，随机取 4 个，求 2 白 2 红概率。 样本点数目 C 4 10，事件发生的样本点数目 C 2 4C 2 6，结果为 3 7 。 * 古典概型重要应用：排列组合计算样本点数目 经典问题：n 个对象中选 m 个，问选法种数 (是否可重复？是否考虑顺序？)。 有序不重复：A m n 无序不重复：C m n 有序可重复：n m 无序可重复：插板法，看作 m 个小球 n 个盒子 (n − 1 个挡板)，知结果为 C m n−1+m 例 1.13 将 n 个小球投入到 N ≥ n 个盒子中，投法等可能，求前 n 个盒子中各一个球的概率 (球是否可 分辨？盒子是否有容量限制？)。 (1) 球可区分，盒子无限制 (麦克斯韦-玻尔兹曼统计)：样本点个数 N n，合要求个数 n!，概率 n! Nn (2) 球不可区分，盒子无限制 (玻色-爱因斯坦统计)：化为无序可重复，样本点个数 C n n+N−1，合要求个数 1，概率 1 Cn n+N−1 (3) 球不可区分，盒子容量一 (费米-狄拉克统计)：样本点个数 C n N，合要求个数 1，概率为 1 Cn N