通信原理讲义 前言 ■概率论与随机过程的重要性 口信源信息的不确定性 第二章概率论与 口噪声的不确定性,不可控性 口多用户通信中的随机性 随机过程 zhuyu@fudan.edu.cn 孩k季 通信原理 21概率论回顾 样本空间 CP2.1.1 21.1概率( Concept of probability) 个随机试验E的所有可能结果所组成的 ■随机试验〔 random experiment) 集合称为随机试验E的样本空间,记为S E1抛出一个骰子,观察出现的点子数 E2记录某蜂窝小区一分钟内通话的用户数 样本点5 口试验可以在相同的条件下重复进行; 口每次试验的可能结果不止一个,并且能事先明 例:若试验是将一枚硬币抛掷两次,观察正 确试验的所有可能的结果; 面出现的次数:则样本空间 口进行一次试验之前不能确定哪一个结果会出现 S={0,1,2} 通信原理 後大手 通信原理 4後k手隐
通信原理讲义 zhuyu@fudan.edu.cn 第二章 概率论与 随机过程 通信原理 2 前言 ◼ 概率论与随机过程的重要性 信源信息的不确定性 噪声的不确定性，不可控性 多用户通信中的随机性 试验可以在相同的条件下重复进行; 每次试验的可能结果不止一个,并且能事先明 确试验的所有可能的结果; 进行一次试验之前不能确定哪一个结果会出现 2.1 概率论回顾 2.1.1概率(Concept of probability) ◼ 随机试验 (random experiment) E1: 抛出一个骰子，观察出现的点子数 E2: 记录某蜂窝小区一分钟内通话的用户数 样本空间 ◼ 一个随机试验E的所有可能结果所组成的 集合称为随机试验E的样本空间, 记为 S. S 例: 若试验是将一枚硬币抛掷两次, 观察正 面出现的次数: 则样本空间 S = {0, 1, 2} CP 2.1.1 样本点 通信原理 3 通信原理 4
随机事件( Random Event) CP2.1.1 事件间的关系与事件的运算 CP2.1 ■试验E的样本空间S的子集称为E的随机事 件,随机事件简称事件,常用A,B,C等表示 儿B A B 如在掷骰子试验中,观察掷出的点数 A∩B.AB AOB) AB=o 互斥 事件A={掷出3点}={3} a-B 事件B={掷出偶数点}={2,4,6} A 对立事件 事件C={出现的点数小于4}={1,2,3} 通信原理 通信原理 概率与频率 概率的公理化定义 CP2.1.1 ■频率:设在N次重复试验中(独立且客观条件相 同),事件A出现了N(4)次,则称下列比值为事件 ■设E是随机试验S是其样本空间,对于E A在N次试验中出现的频率 的每一个事件A赋予一个实数P(4),称之为 (4)=N 事件A的概率,如果它满足下列三个条件 N 口非负性:P(4)≥0 ■在不变的一组条件下进行大量的重复试验随机事 口规范性:P(S)=1 件出现的频率会稳定地在某个固定的数值附近摆 动,我们称这个稳定值为随机事件A的概率 口可加性:对于两两互斥事件A,A2,有 N P(41+A+…)=P(A4)+P(4)+ A N 通信原理 後sk季 通信原理
通信原理 5 随机事件 (RandomEvent) ◼ 试验 E 的样本空间 S的子集称为 E的随机事 件, 随机事件简称事件,常用 A, B, C 等表示. 如在掷骰子试验中，观察掷出的点数. 事件A = {掷出3点} = {3} 事件B = {掷出偶数点} = {2, 4, 6} 事件C = {出现的点数小于4} = {1, 2, 3} CP 2.1.1 通信原理 6 事件间的关系与事件的运算 A B A B A B A B A− B = AB A B A B, AB A B A B AB = 互斥 A A A 对立事件 CP 2.1.1 概率与频率 ◼ 频率：设在 N 次重复试验中（独立且客观条件相 同）, 事件 A 出现了 N(A) 次, 则称下列比值为事件 A 在 N 次试验中出现的频率 ◼ 在不变的一组条件下进行大量的重复试验, 随机事 件出现的频率会稳定地在某个固定的数值附近摆 动, 我们称这个稳定值为随机事件A 的概率 N f N (A) = N (A) N (A) N→ N P(A) = lim CP 2.1.1 概率的公理化定义 CP 2.1.1 ◼ 设 E 是随机试验, S 是其样本空间,对于 E 的每一个事件 A赋予一个实数 P(A),称之为 事件 A 的概率, 如果它满足下列三个条件: 非负性: P(A) 0 规范性: P(S )= 1 可加性:对于两两互斥事件A1, A2 , … ,有 P(A1+ A2+) = P(A1 )+ P(A2 )+ 通信原理 7 通信原理 8
条件概率 CP2.1.1 条件概率 CP2.1 考虑从一副牌中连续抽两张牌,定义事件A为第 ■在事件M发生条件下A发生的概率 一张牌为‘K,事件B为第二张牌为‘K.显然 B发生的概率要受到第一张牌结果的影响 P()=2C AM P(M) 在事件A发生条件下B发生的概率P(B|A ■P(4)称为先验概率( a priori probabilit!y) P(AB)=P(AP(B1A P(4|M)称为后验概率( a posteriori probability) ■若一个试验重复N次,其中A发生了n次, 在这n次试验里,事件B发生了n2次 A n1 通信原理 通信原理 後且k手 全概率公式一由原因推结果 贝叶斯( Bayes)定理一由结果找原因 CP2.1.1 定义:设试验的样本空间为S,设A1,A2,,An是对 ■若事件A1,,A2组成对S的划分,B是任意 S的一个样本划分,满足 事件 口A两两互斥 P(4|B) P(A)P(B/A ∑P(A)P(B/A) ■定理:若A1,A2,…,An是对样本空间S的一个划分 是任意一个事件,那么有 ■该公式于1763年由贝叶斯( Bayes)给出 它是在观察到事件B已发生的条件下,寻找 P(B)=∑P(4)P(B14) 导致B发生的每个原因的概率 每一原因都可能导致B发生,故B发生的概率是 各原因引起B发生概率的总和即全概率公式 後大手 通信原理 12孩人手
通信原理 9 条件概率 考虑从一副牌中连续抽两张牌, 定义事件 A 为第 一张牌为‘K’, 事件 B 为第二张牌为‘K’. 显然 B 发生的概率要受到第一张牌结果的影响. ◼ 在事件 A 发生条件下 B发生的概率 P(B | A) P(AB) = P (A)P(B | A) ◼ 若一个试验重复 N次, 其中 A 发生了 n1 次, 在这 n1 次试验里, 事件 B 发生了 n2 次 N→ N N→ N n P ( AB) = lim n2 = lim n1 n2 1 CP 2.1.1 通信原理 10 条件概率 ◼ 在事件 M 发生条件下 A发生的概率 P(A M )= P(AM ) CP 2.1.1 P (M) ◼P(A) 称为先验概率(a priori probability) P(A M )称为后验概率(a posteriori probability) M A M S S A 全概率公式—由原因推结果 ◼ 定义: 设试验的样本空间为 S, 设A1, A2 , …, An 是对 S 的一个样本划分, 满足 Ai两两互斥 n i =1 A i =S n ◼ 定理: 若A1, A2 , …, An是对样本空间 S 的一个划分, B是任意一个事件, 那么有 P(B) = P (Ai)P (B | Ai) i=1 每一原因都可能导致 B 发生, 故 B 发生的概率是 各原因引起 B 发生概率的总和, 即全概率公式. CP 2.1.1 贝叶斯(Bayes)定理—由结果找原因 ◼ 若事件 A1,…, An 组成对 S 的划分, B 是任意 一事件 ◼ 该公式于1763年由贝叶斯(Bayes) 给出. 它是在观察到事件B已发生的条件下,寻找 导致 B 发生的每个原因的概率 i P( Ai )P(B Ai) P( Aj )P(B Aj) j=1 P( A | B) = n CP 2.1.1 通信原理 11 通信原理 12
独立性 CP2.1.1 CP2.1 ■定义:事件A,B称为独立,如果有 ■随机试验、样本空间、随机事件 P(AB)=P(AP(B 事件间的关系与事件的运算 ■即便我们知道B发生了,但对判断A发生与 频率 否没有帮助 概率的公理化定义 P(4|B)=P(AB)/P(B)=P(4) 条件概率 例:从一副不含大小王的扑克牌中任取一张, 全概率公式 记A={抽到K} 贝叶斯公式 B={抽到的牌是黑色的} ■独立性 通信原理 sk手 通信原理 後三k季 212随机变量( Random variable,R 引入随机变量的意义 CP2.12 ■将随机试验的结果用数量来表示,一个随机变量就是将 ■有了随机变量,随机试验中的各种事件, 个试验的每一个结果用一个数来表征 口“其值随机会而定”的变量,是试验结果的函数 就可以通过随机变量的关系式表达出来 (1)有些试验结果本身与数值有关(本身就是一个数) (2)在有些试验中,试验结果看来与数值无关,但我们可以 ■如:每次上课的学生数用X表示,它是一个 引进一个变量来表示它的各种结果.也就是说,把试验 结果数值化 随机变量 口事件{来了不少于30名学生} R 口事件{没有学生来听课} X() x X=0 後大手 通信原理 6後人手
通信原理 13 独立性 ◼ 定义: 事件 A, B 称为独立, 如果有 P(AB) = P(A) P(B) ◼ 即便我们知道 B发生了,但对判断 A 发生与 否没有帮助 P(A | B) = P(AB) P(B) = P(A) 例: 从一副不含大小王的扑克牌中任取一张， 记 A = {抽到 K}, B = {抽到的牌是黑色的} CP 2.1.1 通信原理 14 小结 ◼ 随机试验、样本空间、随机事件 ◼ 事件间的关系与事件的运算 ◼ 频率 ◼ 概率的公理化定义 ◼ 条件概率 ◼ 全概率公式 ◼ 贝叶斯公式 ◼ 独立性 CP 2.1.1 R s 2.1.2 随机变量(Random Variable, RV) ◼ 将随机试验的结果用数量来表示, 一个随机变量就是将一 个试验的每一个结果用一个数来表征. “其值随机会而定”的变量, 是试验结果的函数 (1)有些试验结果本身与数值有关 (本身就是一个数) (2)在有些试验中, 试验结果看来与数值无关, 但我们可以 引进一个变量来表示它的各种结果. 也就是说, 把试验 结果数值化. x X ( ) X 引入随机变量的意义 ◼ 有了随机变量, 随机试验中的各种事件, 就可以通过随机变量的关系式表达出来. ◼ 如: 每次上课的学生数用 X 表示,它是一个 随机变量 事件{来了不少于30名学生} X 30 事件{没有学生来听课} X=0 CP 2.1.2 通信原理 15 通信原理 16
离散型随机变量 Discrete rv) CP2.12 概率分布函数 Cumulative distribution function)c212 ■取值是有限多个,或虽则在理论上讲能取无限个值, ■若X是一个随机变量,那么称 但这些值可以毫无遗漏地一个接一个排列出来,即 F(x)=P(X≤x) 可数( countable) 为X的CDF ■定义:设xk(k=12…)是离散型随机变量X所取 的一切可能值,称 ■如果将X看作数轴上随机点的坐标,那么分布函 P=P(X=x)k=1,2 数Fx(x)的值就表示x落在区间(-∞x]内的 概率 为x的概率质量函数( probability mass function) 通信原理 孩照大手 通信原理 後大季 概率分布函数的性质 P2.12 连续型随机变量 CP2.12 ■全部可能取值不仅是无穷多,而且还不能无 Fx(∞)= I and Fx(-∞)=0 遗漏地逐一排列,且充满一个区间 2.Ifx1≤x2, then F(x)≤Fx(x2) ■不能象离散型随机变量那样,以指定它取每 个值概率的方式,去给出其概率分布,而是 通过给出所谓“概率密度函数”的方式 Note: 1 and 2 imply that Os F(x)s1 ■取某一个值的概率为0.对于连续型随机变 3. Fr(r)is continuous from the right, 量而言,有意义的不是X=x,的概率,而是 .,F(r)=F(r) where F(r)=limF,(+lD) 个区间x<X≤x+Ax上的概率 4. P(,<Xs x2)=F(x2)-F(.) P(x<X sx+Ax)=Fx(r+Ax)-Fx() 通信原理 後sk季 通信原理 0後人手
通信原理 17 离散型随机变量(Discrete RV) ◼ 取值是有限多个, 或虽则在理论上讲能取无限个值, 但这些值可以毫无遗漏地一个接一个排列出来, 即 可数(countable). ◼ 定义: 设 xk (k = 1,2,) 是离散型随机变量X 所取 的一切可能值, 称 为 X 的概率质量函数 (probability mass function) pk = P (X = xk ) k =1, 2, X 1 2 k x x x pk p1 p2 pk CP 2.1.2 通信原理 18 数 概率 概率分布函数(Cumulative distribution function) ◼ 若 X 是一个随机变量, 那么称 FX (x) = P (X x) 为 X 的CDF. ◼ 如果将 X 看作数轴上随机点的坐标, 那么分布函 FX (x) CP 2.1.2 x 的值就表示 X 落在区间 (− x 内的 FX (x) 1 概率分布函数的性质 4. 2. If x1 x2 , then FX (x1 ) FX (x2 ) 1. FX () =1 and FX (−) =0 Note: 1 and 2 imply that 0≤F(x)≤1 3. FX ( x)is continuous from the right, X ( ) + →0 X ( ) ( ) ( ) x + X X + i.e., F x = F x where F x = limF P(x1 X x2 )= FX (x2 )− FX (x1 ) CP 2.1.2 连续型随机变量 ◼ 全部可能取值不仅是无穷多, 而且还不能无 遗漏地逐一排列,且充满一个区间. ◼ 不能象离散型随机变量那样, 以指定它取每 个值概率的方式, 去给出其概率分布, 而是 通过给出所谓“概率密度函数”的方式. ◼ 取某一个值的概率为 0. 对于连续型随机变 量而言,有意义的不是 X =x i 的概率,而是 一个区间 x X x + x 上的概率. P(x X x + x) = FX (x + x) − FX (x) CP 2.1.2 通信原理 19 通信原理 20