USTC概率论习题课讲义（试用版）2022秋、2023春-刘党政班作者：宗语轩时间：2023年8月版本：0.6ProbabilityTheory is Measure Theory with a Soul.MarkKac
USTC 概率论习题课讲义 (试用版) 2022 秋、2023 春-刘党政班 作者：宗语轩 时间：2023 年 8 月 版本：0.6 Probability Theory is Measure Theory with a Soul. ——Mark Kac
前言概率论，是研究随机现象并揭示随机现象中的结构和规律的数学分支，同时也为统计理论与方法提供理论基础概率论起源于17世纪帕斯卡与费马有关机会性游戏的研究，后经伯努利，拉普拉斯，棣莫弗，高斯与李雅普诺夫等人的发展，出现了一般形式的大数定律与中心极限定理.1933年Kolmogorov在其专著《概率论基础》中提出的基于测度论的概率公理化体系，标志着现代概率论的建立.之后受数理金融与统计力学发展的驱动,Lévy，Ito，Doob等人发展了随机过程理论，形成了如今完善的鞅论与随机分析.其后概率论及其应用一直蓬勃发展，同时也一直与其他数学分支及其他学科领域相互交叉渗透直至现在，概率论已成为一门能够“项天立地”的学科在2022年秋季学期，笔者有幸担任刘党政老师班级的概率论课程助教，也是笔者首次担任小班教学课程的助教.在笔者担任助教期间，发现不少同学尤其在期中之后的概率论学习出现一定困难。一方面，概率论本身内容比较杂，很多概念初学起来并不容易理解，以及大部分同学初学概率论都会有“项碎”之感，尤其体现在处理概率问题中运用的各种技巧和技术上，因此，初学概率论时出现瓶颈也是非常正常的现象：另一方面，很多同学自始至终对概率空间的理解不够深刻，以及对分析中最常见最基本的technique和最基本的测度论知识不熟悉，从部分同学的作业和考试中也体现出概念使用混乱，概率语言不会表述或表述不当等问题.基于笔者担任助教期间的积累，同时为了让后人更好地适应课程体系，加深概念理解，总结及延伸一些重要的technique及idea，并适当开拓视野，笔者在原有的习题课讲义基础上编写了此份《USTC概率论习题课讲义》合集，本课程对应的教材内容为：Grimmett，Stirzaker:ProbabilityandRandomProcess，Chapter1-3，4.1-4.105.1，5.6-5.10，7.1-7.6.本讲义的内容编排基本参照教材内容的顺序，但也补充了一部分拓展知识.另外，由于科大数院的本科培养方案进行了改革，至2022年春季学期起，本课程从原有的4学分调整至现在的3学分，因此现在的3学分课程在原有的4学分课程的基础上主要在随机游走、正态分布下的样本均值与样本方差、矩方法与组合计数、用Linderberg替换术证明Linderberg-Feller中心极限定理、摘、随机矩阵初步等内容以及一些例子上作了删减（其中一部分内容会放在1学分的课程概率论进阶中讲授）但笔者认为这些删去的大部分内容都是概率和统计甚至和其相关方向中比较重要的内容及idea，因此这些删去的内容也补充至本讲义中，特此说明本讲义以“专题选讲”的形式为大家呈现。由于本讲义是习题课讲义，从定位上可以看作课堂内容的补充、延伸和拓展，同时也结合各位读者的需求，笔者在讲义的编排上主要分为“基本内容”、“进阶内容”两部分：。基础内容主要侧重于课堂内容的整理或补充，包括课堂内容的整合加工，以及对已学过的概念进行适度延伸等，有助于对课堂内容进一步理解以及知识框架的建立：除此之外，还补充了一些基本的工具及从所学内容延伸出的一些方法、technique或idea，这也是笔者认为大家需要了解的部分。进阶内容主要侧重于课堂内容的拓展．一部分是一些既与课内相关度较大，又和其他领域有一定关联的“趣味”问题，这部分所涉及到的知识点和证明的技术使用往往会比较综合，旨在让读者了解概率论在其他领域上的一些“渗透”现象.还有一部分是从课内内容出发拓展一些实实在在的知识或方法，不仅对这些内容有助于更深刻的理解，同时也跟概统的后续课程起到了过渡和衔接的作用.此外，在一些章节最后补充了适量的练习题，大家要做到合理选用。部分练习题提示与解答附在本讲义第三部分，以供大家参考
前 言 概率论, 是研究随机现象并揭示随机现象中的结构和规律的数学分支, 同时也为统计理论与方法提 供理论基础. 概率论起源于 17 世纪帕斯卡与费马有关机会性游戏的研究, 后经伯努利, 拉普拉斯, 棣莫 弗, 高斯与李雅普诺夫等人的发展, 出现了一般形式的大数定律与中心极限定理. 1933 年 Kolmogorov 在 其专著《概率论基础》中提出的基于测度论的概率公理化体系, 标志着现代概率论的建立. 之后受数理 金融与统计力学发展的驱动, Lévy，Ito，Doob 等人发展了随机过程理论, 形成了如今完善的鞅论与随机 分析. 其后概率论及其应用一直蓬勃发展, 同时也一直与其他数学分支及其他学科领域相互交叉渗透. 直至现在, 概率论已成为一门能够 “顶天立地” 的学科. 在 2022 年秋季学期, 笔者有幸担任刘党政老师班级的概率论课程助教, 也是笔者首次担任小班教 学课程的助教. 在笔者担任助教期间, 发现不少同学尤其在期中之后的概率论学习出现一定困难. 一方 面, 概率论本身内容比较杂, 很多概念初学起来并不容易理解, 以及大部分同学初学概率论都会有 “琐 碎” 之感, 尤其体现在处理概率问题中运用的各种技巧和技术上, 因此, 初学概率论时出现瓶颈也是非常 正常的现象. 另一方面, 很多同学自始至终对概率空间的理解不够深刻，以及对分析中最常见最基本的 technique 和最基本的测度论知识不熟悉, 从部分同学的作业和考试中也体现出概念使用混乱, 概率语言 不会表述或表述不当等问题. 基于笔者担任助教期间的积累, 同时为了让后人更好地适应课程体系, 加 深概念理解, 总结及延伸一些重要的 technique 及 idea, 并适当开拓视野, 笔者在原有的习题课讲义基础 上编写了此份《USTC 概率论习题课讲义》合集. 本课程对应的教材内容为: Grimmett, Stirzaker: Probability and Random Process, Chapter 1-3, 4.1-4.10, 5.1, 5.6-5.10, 7.1-7.6. 本讲义的内容编排基本参照教材内容的顺序, 但也补充了一部分拓展知识. 另外, 由于科大数院的本科培养方案进行了改革, 至 2022 年春季学期起, 本课程从原有的 4 学分调整至现在 的 3 学分, 因此现在的 3 学分课程在原有的 4 学分课程的基础上主要在随机游走、正态分布下的样本均 值与样本方差、矩方法与组合计数、用 Linderberg 替换术证明 Linderberg-Feller 中心极限定理、熵、随 机矩阵初步等内容以及一些例子上作了删减 (其中一部分内容会放在 1 学分的课程概率论进阶中讲授). 但笔者认为这些删去的大部分内容都是概率和统计甚至和其相关方向中比较重要的内容及 idea, 因此 这些删去的内容也补充至本讲义中, 特此说明. 本讲义以 “专题选讲” 的形式为大家呈现. 由于本讲义是习题课讲义, 从定位上可以看作课堂内容 的补充、延伸和拓展, 同时也结合各位读者的需求, 笔者在讲义的编排上主要分为 “基本内容”、“进阶内 容”两部分: 基础内容主要侧重于课堂内容的整理或补充, 包括课堂内容的整合加工, 以及对已学过的概念进 行适度延伸等, 有助于对课堂内容进一步理解以及知识框架的建立; 除此之外, 还补充了一些基本 的工具及从所学内容延伸出的一些方法、technique 或 idea, 这也是笔者认为大家需要了解的部分. 进阶内容主要侧重于课堂内容的拓展. 一部分是一些既与课内相关度较大, 又和其他领域有一定 关联的 “趣味” 问题, 这部分所涉及到的知识点和证明的技术使用往往会比较综合, 旨在让读者了 解概率论在其他领域上的一些 “渗透” 现象. 还有一部分是从课内内容出发拓展一些实实在在的 知识或方法, 不仅对这些内容有助于更深刻的理解, 同时也跟概统的后续课程起到了过渡和衔接 的作用. 此外, 在一些章节最后补充了适量的练习题, 大家要做到合理选用. 部分练习题提示与解答附在本 讲义第三部分, 以供大家参考
iUSTC概率论习题课讲义特别感谢刘党政老师对笔者助教工作的支持和鼓励，特别感谢班级里的所有同学提供的问题、解法及各种资料，同时特别感谢本科19级数院何家志同学提供的本课程往年笔记，为本讲义的撰写提供了极大的帮助.由于笔者水平有限，加之时间紧迫，部分内容未免片面或有所疏漏，笔误亦在所难免，请广大读者批评指正，感激不尽！中国科学技术大学本科2019级数学科学学院宗语轩2022年12月于合肥参考书目：[1] Grimmett, Stirzaker:Probability andRandomProcess,2001.[2] Rick Durrett: Probability:Theory and Examples, fifth edition, 2019[3]李贤平：《概率论基础》第三版，高等教育出版社,2010.[4]李贤平，陈子毅：《概率论基础学习指导书》，高等教育出版社，2011.[5]吴昊：清华大学《概率论1》课程讲义(IntroductiontoProbabilityTheory)[6]苏淳，冯群强：《概率论》第三版，科学出版社，2020.[7] E. Kowalski: An introduction to probabilistic number theory, 2021.[8] Hardy,G.H.,Wright, E.M.:AnIntroduction to theTheory ofNumbers(6th ed.),OxfordUniversityPress,2008[9] Noga Alon, Joel H.Spencer:The Probabilistic Method, 4th Edition, 20160欢迎访问个人主页：http://home.ustc.edu.cn/-zyx240014/闻道有先后，内容有疏漏.发现错误欢迎联系我：zyx240014@mail.ustc.edu.cn
USTC 概率论习题课讲义 ii 特别感谢刘党政老师对笔者助教工作的支持和鼓励, 特别感谢班级里的所有同学提供的问题、解法 及各种资料, 同时特别感谢本科 19 级数院何家志同学提供的本课程往年笔记, 为本讲义的撰写提供了 极大的帮助. 由于笔者水平有限, 加之时间紧迫, 部分内容未免片面或有所疏漏, 笔误亦在所难免, 恳请广大读者 批评指正, 感激不尽! 中国科学技术大学 本科 2019 级数学科学学院 宗语轩 2022 年 12 月于合肥 参考书目: [1] Grimmett, Stirzaker: Probability and Random Process, 2001. [2] Rick Durrett: Probability: Theory and Examples, fifth edition, 2019. [3] 李贤平: 《概率论基础》第三版, 高等教育出版社, 2010. [4] 李贤平, 陈子毅: 《概率论基础学习指导书》, 高等教育出版社, 2011. [5] 吴昊: 清华大学《概率论 1》课程讲义 (Introduction to Probability Theory). [6] 苏淳, 冯群强: 《概率论》第三版, 科学出版社, 2020. [7] E. Kowalski: An introduction to probabilistic number theory, 2021. [8] Hardy, G.H., Wright, E.M.: An Introduction to the Theory of Numbers (6th ed.), Oxford University Press, 2008. [9] Noga Alon, Joel H. Spencer: The Probabilistic Method, 4th Edition, 2016. 0欢迎访问个人主页: http://home.ustc.edu.cn/~zyx240014/ 闻道有先后, 内容有疏漏. 发现错误欢迎联系我: zyx240014@mail.ustc.edu.cn
目录前言i1第1章基本内容11.1组合恒等式21.2随机事件（集合）的运算61.3条件概率的应用81.4随机变量与分布函数101.5离散型及期望方差141.6示性函数与概率论1.7条件期望151.8概率母函数18201.9一维简单随机游走241.10连续型随机变量281.11多元正态分布1.12正态分布下的样本均值与样本方差301.13期望浅谈32351.14特征函数371.15矩方法与组合计数391.16中心极限定理（CLT)1.17随机变量列的收敛与极限定理43431.17.1基本工具与技术471.17.2浅谈四种收敛531.17.3结论拾零及应用571.17.4用截尾术证明弱大数律591.17.5再谈a.s.收敛和强大数律64第2章进阶内容642.1乘积空间浅引642.2互素概率问题浅谈662.3概率方法举例2.4一维简单随机游走的双吸收壁模型及其应用68702.5zd上简单对称随机游走的常返性722.6特征函数与矩742.7连续性定理与弱收敛762.8用Linderberg替换术证明Linderberg-Feller中心极限定理782.9利用Kolmogorov三级数定理证明强大数律812.10信息（entropy）
目录 前言 i 第 1 章 基本内容 1 1.1 组合恒等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 随机事件 (集合) 的运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 条件概率的应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.4 随机变量与分布函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.5 离散型及期望方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.6 示性函数与概率论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.7 条件期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.8 概率母函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.9 一维简单随机游走 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.10 连续型随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.11 多元正态分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.12 正态分布下的样本均值与样本方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.13 期望浅谈 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 1.14 特征函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.15 矩方法与组合计数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 1.16 中心极限定理 (CLT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.17 随机变量列的收敛与极限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 1.17.1 基本工具与技术 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 1.17.2 浅谈四种收敛 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 1.17.3 结论拾零及应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 1.17.4 用截尾术证明弱大数律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 1.17.5 再谈 a.s. 收敛和强大数律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 第 2 章 进阶内容 64 2.1 乘积空间浅引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 2.2 互素概率问题浅谈 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 2.3 概率方法举例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 2.4 一维简单随机游走的双吸收壁模型及其应用 . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.5 Z 𝑑 上简单对称随机游走的常返性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 2.6 特征函数与矩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 2.7 连续性定理与弱收敛 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 2.8 用 Linderberg 替换术证明 Linderberg-Feller 中心极限定理 . . . . . . . . . . . . . . . . . . 76 2.9 利用 Kolmogorov 三级数定理证明强大数律 . . . . . . . . . . . . . . . . . . . . . . . . . . 78 2.10 信息熵 (entropy) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
目录USTC概率论习题课讲义iv852.11随机矩阵初步852.11.1起源862.11.2高斯正交系综(GaussianOrthogonalEnsemble,GOE)2.11.3半圆律872.11.4Wishart矩阵模型9192第3章音部分练习题提示与解答100附录A一些可以忽略的定理证明
USTC 概率论习题课讲义 目录 iv 2.11 随机矩阵初步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 2.11.1 起源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 2.11.2 高斯正交系综 (Gaussian Orthogonal Ensemble,GOE) . . . . . . . . . . . . . . . . . 86 2.11.3 半圆律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 2.11.4 Wishart 矩阵模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 第 3 章 部分练习题提示与解答 92 附录 A 一些可以忽略的定理证明 100