复旦大学：《通信原理（A）》PPT教学课件_2015_02 第二章 概率论与随机过程

通信原理讲义 前言 ■概率论与随机过程的重要性 口信源信息的不确定性 第二章概率论与 口噪声的不确定性,不可控性 口多用户通信中的随机性 贿机讨程 zhuyu@fudan.edu.cn 孩季 通信原理 後sk季 21概率论回顾 样本空间 CP2.1.1 21.1概率( Concept of probability) 个随机试验E的所有可能结果所组成的 随机试验( random experiment) 集合称为随机试验E的样本空间,记为S E1抛出一个骰子,观察出现的点子数 E2记录某蜂窝小区一分钟内通话的用户数 样本点与 冂试验可以在相同的条件下重复讲行 口每次试验的可能结果不止一个,并且能事先明 例:若试验是将一枚硬币抛掷两次,观察正 确试验的所有可能的结果 面出现的次数:则样本空间 口进行一次试验之前不能确定哪一个结果会出现 S={0,1,2} 通信原理 ,後sk手 通信原理

通信原理讲义 第二章 概率论与 随机过程 zhuyu@fudan.edu.cn 前言 ◼ 概率论与随机过程的重要性 信源信息的不确定性 噪声的不确定性，不可控性 多用户通信中的随机性 通信原理 2 2.1 概率论回顾 2.1.1概率(Concept of probability) ◼ 随机试验 (random experiment) 试验可以在相同的条件下重复进行; E1: 抛出一个骰子，观察出现的点子数 E2: 记录某蜂窝小区一分钟内通话的用户数 每次试验的可能结果不止一个,并且能事先明 确试验的所有可能的结果; 进行一次试验之前不能确定哪一个结果会出现 样本空间 CP 2.1.1 ◼ 一个随机试验E的所有可能结果所组成的 集合称为随机试验E的样本空间, 记为 S. S 样本点  例: 若试验是将一枚硬币抛掷两次, 观察正 面出现的次数: 则样本空间 S = {0, 1, 2} 通信原理 3 通信原理 4

随机事件( Random Event) CP2.1.1 事件间的关系与事件的运算 CP2.1.1 ■试验E的样本空间S的子集称为E的随机事 件,随机事件简称事件,常用A,B,C等表示 A UB A A→B 如在掷骰子试验中,观察掷出的点数 A∩B,AB AR 互斥 事件A={掷出3点}={3} 事件B={掷出偶数点}={2,4,6} 事件C={出现的点数小于4}={1,2,3} 通信原理 通信原理 後k手 概率与频率 P2.1.1 概率的公理化定义 CP2.1.1 ■频率:设在N次重复试验中(独立且客观条件相 同),事件A出现了N(A)次,则称下列比值为事件 设E是隋机试验S是其样木窄间对干F A在N次试验中出现的频率 的每一个事件A赋予一个实数P4),称之为 NA 事件A的概率,如果它满足下列三个条件: fN (A) N 口非负性:P()≥0 ■在不变的一组条件下进行大量的重复试验随机事 口规范性:P(S)=1 件出现的频率会稳定地在某个固定的数值附近摆 动,我们称这个稳定值为随机事件A的概率 口可加性对于两两互斥事件A,A2,,有 (4+A2+…)=P(A)+P(4)+ 通信原理 後k手 通信原理

随机事件 (RandomEvent) CP 2.1.1 ◼ 试验 E 的样本空间 S的子集称为 E的随机事 件, 随机事件简称事件,常用 A, B, C 等表示. 如在掷骰子试验中，观察掷出的点数. 事件A = {掷出3点} = {3} 事件B = {掷出偶数点} = {2, 4, 6} 事件C = {出现的点数小于4} = {1, 2, 3} 通信原理 5 事件间的关系与事件的运算 CP 2.1.1 A B A B A  B A B AB, AB AB = A B A B 互斥 A A B A A− B = AB A 对立事件 通信原理 6 概率与频率 CP 2.1.1 ◼ 频率：设在 N 次重复试验中（独立且客观条件相 同）, 事件 A 出现了 N(A) 次, 则称下列比值为事件 A 在 N 次试验中出现的频率 N A N fN (A) = ◼ 在不变的一组条件下进行大量的重复试验, 随机事 件出现的频率会稳定地在某个固定的数值附近摆 动, 我们称这个稳定值为随机事件 A 的概率 N A N→ N P (A)= lim 概率的公理化定义 CP 2.1.1 ◼ 设 E 是随机试验, S 是其样本空间, 对于 E 的每一个事件 A赋予一个实数 P(A),称之为 事件 A 的概率, 如果它满足下列三个条件: 非负性: P(A)  0 规范性: P(S )= 1 可加性:对于两两互斥事件A1, A2 , … ,有 P(A1+ A2+) = P(A1 )+ P(A2 )+ 通信原理 7 通信原理 8

条件概率 CP2.1.1 条件概率 CP2.1 考虑从一副牌中连续抽两张牌,定义事件A为第 ■在事件M发生条件下A发生的概率 张牌为‘K,事件B为第二张牌为‘K^.显然 P(4M) PAM B发生的概率要受到第一张牌结果的影响 ■在事件A发生条件下B发生的概率P(B|A) ■P(4)称为先验概率( a priori probabili!y P(AB)=P(4)P(B|4 P(4M称为后验概率( a posteriori probability) ■若一个试验重复N次,其中A发生了n次 在这n次试验里,事件B发生了n2次 P(AB)=lim M n, 通信原理 通信原理 後sk季 全概率公式一由原因推结果 P2.1.1 贝叶斯( Bayes)定理一由结果找原因 CP2.1.1 定义:设试验的样本空间为S,设A1,A2,,An是对 ■若事件A1,,A2组成对S的划分,B是任意 S的一个样本划分,满足 事件 口A两两互斥 P(AIR P(A)P(B/A,) ∑P(4)P(B4 ■定理:若A1,A2,…,An是对样本空间S的一个划分 B是仟意一个事件那么有 ■该公式于1763年由贝叶斯( Bayes)给出 P(B)=∑P(4)P(214) 它是在观察到事件B已发生的条件下,寻找 导致B发生的每个原因的概率 每一原因都可能导致B发生,故B发生的概率是 各原因引起B发生概率的总和即全概率公式 通信原理 後sk季 通信原理 12孩k手

条件概率 CP 2.1.1 考虑从一副牌中连续抽两张牌, 定义事件 A 为第 一张牌为‘K’, 事件 B 为第二张牌为‘K’. 显然 B 发生的概率要受到第一张牌结果的影响. ◼ 在事件 A 发生条件下 B发生的概率 P(B | A) P(AB) = P (A)P(B | A) ◼ 若一个试验重复 N次, 其中 A 发生了 n1 次, 在这 n1 次试验里, 事件 B 发生了 n2次 N→ N N→ N n P ( AB) = lim n2  = lim n1 n2           1  通信原理 9 条件概率 CP 2.1.1 ◼ 在事件 M 发生条件下 A发生的概率 P(M ) P (A M )= P AM ◼P(A) 称为先验概率(a priori probability) P(A M 称为后验概率(a posteriori probability) S S A M A M 通信原理 10 全概率公式—由原因推结果 CP 2.1.1 ◼ 定义: 设试验的样本空间为 S, 设A1, A2 , …, An 是对 S 的一个样本划分, 满足  Ai两两互斥 n i =1   A i =S ◼ 定理: 若A1, A2 , …, An是对样本空间 S 的一个划分, B是任意一个事件, 那么有 n P(B) =  P (Ai)P(B | Ai) i=1 每一原因都可能导致 B 发生, 故 B 发生的概率是 各原因引起 B 发生概率的总和, 即全概率公式. 贝叶斯(Bayes)定理—由结果找原因 CP 2.1.1 ◼ 若事件 A1,…, An 组成对 S 的划分, B 是任意 一事件 i n P( Ai )P(B Ai) P( A | B) = P( Aj )P(B Aj) j=1 ◼ 该公式于1763年由贝叶斯(Bayes) 给出. 它是在观察到事件B已发生的条件下,寻找 导致 B 发生的每个原因的概率 通信原理 11 通信原理 12

独立性 CP2.1.1 CP2.1 ■定义:事件A,B称为独立,如果有 ■随机试验、样本空间、随机事件 P(AB)=P(AP(B 事件间的关系与事件的运算 ■即便我们知道B发生了,但对判断A发生与 泫 否没有帮助 ■概率的公理化定义 P(4|B)=P(4B)/P(B)=P( ■条件概率 仝趣索八式 例:从一副不含大小王的扑克牌中任取一张 记A={抽到K} 贝叶斯公式 B={抽到的牌是黑色的} ■独立性 通信原理 通信原理 後k手隐 212随机变量( Random Variable,RV 引入随机变量的意义 CP2.12 ■将随机试验的结果用数量来表示,一个随机变量就是将 个试验的每一个结果用一个数来表征 ■有了随机变量,随机试验中的各种事件, 口“其值随机会而定”的变量,是试验结果的函数 就可以通过随机变量的关系式表达出来 (1)有些试验结果本身与数值有关(本身就是一个数) (2)在有些试验中,试验结果看来与数值无关,但我们可以 ■如:每次上课的学生数用X表示,它是一个 引进一个变量来表示它的各种结果.也就是说,把试验 结果数值化 随机变量 口事件{来了不少于30名学生} 门事件{没有学生来听课} 通信原理 後k手 通信原理 16孩k手

独立性 CP 2.1.1 ◼ 定义: 事件 A, B 称为独立, 如果有 P(AB) = P(A) P(B) ◼ 即便我们知道 B发生了,但对判断 A 发生与 否没有帮助 P(A | B) = P(AB) P(B) = P(A) 例: 从一副不含大小王的扑克牌中任取一张， 记 A = {抽到 K}, B = {抽到的牌是黑色的} 通信原理 13 小结 CP 2.1.1 ◼ 随机试验、样本空间、随机事件 ◼ 事件间的关系与事件的运算 ◼ 频率 ◼ 概率的公理化定义 ◼ 条件概率 ◼ 全概率公式 ◼ 贝叶斯公式 ◼ 独立性 通信原理 14 2.1.2 随机变量 (Random Variable, RV) ◼ 将随机试验的结果用数量来表示, 一个随机变量就是将一 个试验的每一个结果用一个数来表征.  “其值随机会而定”的变量, 是试验结果的函数 (1)有些试验结果本身与数值有关 (本身就是一个数) (2)在有些试验中, 试验结果看来与数值无关, 但我们可以 引进一个变量来表示它的各种结果. 也就是说, 把试验 结果数值化. X R  s X x ( ) 引入随机变量的意义 CP 2.1.2 ◼ 有了随机变量, 随机试验中的各种事件, 就可以通过随机变量的关系式表达出来. ◼ 如: 每次上课的学生数用 X 表示,它是一个 随机变量 事件{来了不少于30名学生} X  30 事件{没有学生来听课} X=0 通信原理 15 通信原理 16

离散型随机变量 Discrete rv) cP2.12 概率分布函数 Cumulative distribution function)c212 ■取值是有限多个,或虽则在理论上讲能取无限个值, ■若ⅹ是一个随机变量,那么称 但这些值可以毫无遗漏地一个接一个排列出来,即 Fxx=PX≤x 可数( countable) 为X的CDF ■定义:设xk=1,2,,是离散型随机变量X所取 的一切可能值,称 ■如果将X看作数轴上随机点的坐标,那么分布函 k=1.2 数F(x)的值就表示x落在区间(-x]内 概率 为X的概率质量函数( probability mass function) F 通信原理 通信原理 後k手 概率分布函数的性质 P2.12 连续型随机变量 CP2.12 ■全部可能取值不仅是无穷多,而且还不能无 Fx(∞= 1 and F(-∞=0 遗漏地逐一排列,且充满一个区间 2.Ifx≤x2, then F(x1)≤F(x2) ■不能象离散型随机变量那样,以指定它取每 个值概率的方式,去给出其概率分布,而是 通过给出所谓“概率密度函数”的方式 Note: 1 and 2 imply that OsF(xjs1 3. F(x)is continuous from the right, ■取某一个值的概率为0.对于连续型随机变 量而言,有意义的不是X=x,的概率,而是 .,F(r)=F(r) where F(r)=limF,(+lD) 个区间x<X≤x+Ax上的概率 4. P(,<Xs x2)=F(x2)-F(, PCx<X )=Fx(x+△x)-Fx(x) 通信原理 1,孩k手 通信原理

离散型随机变量(Discrete RV) CP 2.1.2 ◼ 取值是有限多个, 或虽则在理论上讲能取无限个值, 但这些值可以毫无遗漏地一个接一个排列出来, 即 可数(countable). 的一切可能值, 称 ◼ 定义: 设 xk k = 1,2, 是离散型随机变量X 所取 为 X 的概率质量函数 (probability mass function) k k p = P (X = x ) k =1, 2, X 1 2 k x x  x  pk p1 p2  pk  通信原理 17 概率分布函数(Cumulative distribution function) CP 2.1.2 ◼ 若 X 是一个随机变量, 那么称 FX x = P X  x 为 X 的CDF. ◼ 如果将 X 看作数轴上随机点的坐标, 那么分布函 数 FX (x) 的值就表示 X 落在区间 (− x 内 的概率 FX (x) 1 通信原理 18 x 概率分布函数的性质 CP 2.1.2 2. If x1  x2 , then FX (x1 ) FX (x2 ) 1. FX ( = 1 and FX (− = 0 Note: 1 and 2 imply that 0≤F(x)≤1 3. FX ( x)is continuous from the right, X ( ) + →0 X ( ) ( ) ( ) x +  X X + i.e., F x = F x where F x = limF 4. P(x1  X  x2 )= FX (x2 )− FX (x1 ) 连续型随机变量 CP 2.1.2 ◼ 全部可能取值不仅是无穷多, 而且还不能无 遗漏地逐一排列,且充满一个区间. ◼ 不能象离散型随机变量那样, 以指定它取每 个值概率的方式, 去给出其概率分布, 而是 通过给出所谓“概率密度函数”的方式. ◼ 取某一个值的概率为 0. 对于连续型随机变 量而言,有意义的不是 X =x i 的概率,而是 一个区间 x  X  x + x 上的概率. P(x  X  x + x) = FX (x + x) − FX (x) 通信原理 19 通信原理 20