24CHAPTER1.预备知识1.2.3.3二项分布n重Bernoulli试验表示独立地重复进行n次Bernoulli试验，设事件A在每次试验中出现（成功）的概率均为p，0≤p≤1，以X记事件A出现（成功）的次数，X的可能取值为0,1,2.…，n，其对应的概率为P[X =k] =ph(1-p)n-k, h=0,1,.,n,则称之为以n和p为参数的二项分布，简记为X～B(n,p)其中（）是从n个不同号码中选取k个的不同取法，称为n取k的组合数，计算公式为n!(nkl(n-k)!k1.2.3.4泊松分布若随机变量X可取一切非负整数值，且1kPIX=:>,k=0,1,...K!其中入>O，则称X服从（速率）参数为入的泊松分布（Poisson分布），记为 X ~Pois()1.2.3.5几何分布在独立重复的Bernoulli试验中，设事件A在每次试验中出现的概率均为p,0<p<1，以X记事件A首次出现（成功）时的试验次数，X的可能取值为1,2，..，其对应的概率分布为P[X = k) = p(1 - p)k-1, k = 1, 2, .,则称X服从几何分布1.2.3.6Pascal分布在独立重复的Bernoulli试验中，设事件A在每次试验中出现的概率均为p,0<p<1，以X记事件A第r次出现（成功）时的试验次数，X的可能取值为r,r+1，..，其概率分布为P(X =h) = ()pr(1-p)-r, k=r,r+1,..称X服从Pascal分布
24 CHAPTER 1. 预备知识 1.2.3.3 二项分布 𝑛 重 Bernoulli 试验表示独立地重复进行 𝑛 次 Bernoulli 试验，设事件 𝐴 在每 次试验中出现（成功）的概率均为 𝑝, 0 ≤ 𝑝 ≤ 1，以 𝑋 记事件 𝐴 出现（成功） 的次数，𝑋 的可能取值为 0, 1, 2, . , 𝑛，其对应的概率为 𝑃 {𝑋 = 𝑘} = (𝑛 𝑘 )𝑝𝑘 (1 − 𝑝)𝑛−𝑘, 𝑘 = 0, 1, . , 𝑛, 则称之为以 𝑛 和 𝑝 为参数的二项分布，简记为 𝑋 ∼ B(𝑛, 𝑝). 其中 ( 𝑛 𝑘 ) 是从 𝑛 个不同号码中选取 𝑘 个的不同取法，称为 𝑛 取 𝑘 的组合数， 计算公式为 ( 𝑛 𝑘 ) = 𝑛! 𝑘!(𝑛 − 𝑘)!. 1.2.3.4 泊松分布 若随机变量 𝑋 可取一切非负整数值，且 𝑃 {𝑋 = 𝑘} = 𝜆 𝑘 𝑘! 𝑒 −𝜆, 𝑘 = 0, 1, . , 其中 𝜆 > 0，则称 𝑋 服从（速率）参数为 𝜆 的泊松分布（Poisson 分布），记 为 𝑋 ∼ Pois(𝜆). 1.2.3.5 几何分布 在独立重复的 Bernoulli 试验中，设事件 𝐴 在每次试验中出现的概率均为 𝑝, 0 < 𝑝 < 1，以 𝑋 记事件 𝐴 首次出现（成功）时的试验次数，𝑋 的可能取值为 1, 2, . ,，其对应的概率分布为 𝑃 {𝑋 = 𝑘} = 𝑝(1 − 𝑝)𝑘−1, 𝑘 = 1, 2, . , 则称 𝑋 服从几何分布. 1.2.3.6 Pascal 分布 在独立重复的 Bernoulli 试验中，设事件 𝐴 在每次试验中出现的概率均为 𝑝, 0 < 𝑝 < 1，以 𝑋 记事件 𝐴 第 𝑟 次出现（成功）时的试验次数，𝑋 的可能取 值为 𝑟, 𝑟 + 1, .，其概率分布为 𝑃 {𝑋 = 𝑘} = (𝑘 − 1 𝑟 − 1)𝑝𝑟 (1 − 𝑝)𝑘−𝑟, 𝑘 = 𝑟, 𝑟 + 1, . , 称 𝑋 服从 Pascal 分布
251.2.随机变量与分布函数1.2.3.7负二项分布在独立重复的Bernoulli试验中，设事件A在每次试验中出现的概率均为p,0<p<1，以X记事件A第r次出现时已经失败的试验次数，则X的可能取值为0,1,…，其概率分布为(k+r-lpr(1-p)*,k=0,1,..P[X = k] =k称X服从负二项分布。这时X+r服从Pascal分布。负二项分布通常用于替换泊松分布。同泊松分布一样，它也在非负整数上取值，但因为它包含两个参数，相比泊松分布其变化更灵活泊松分布的方差和均值相等，但负二项分布的方差大于均值，这说明当某类数据集观测到的方差大于均值时，负二项分布要比泊松分布更合适，1.2.3.8离散均匀分布如果随机变量X的分布列为1P= P(X =) =, k=1,2,..,n,n称X服从{a1.，an）上的离散均匀分布1.2.3.9均匀分布如果随机变量X有如下密度函数：[，若abf(a)=[o，其他，其中a<b，则称之为区间[a,b]上的均匀分布，记作X～U(a,b)。注意对连续型分布，单个或者有限个点的密度函数值对于分布函数值没有影响，所以区间[a,b]是否包含左右端点不重要。1.2.3.10正态分布如果X有如下密度函数11 (r-μ),TERf(r) =exp(-22V2元g
1.2. 随机变量与分布函数 25 1.2.3.7 负二项分布 在独立重复的 Bernoulli 试验中，设事件 𝐴 在每次试验中出现的概率均为 𝑝, 0 < 𝑝 < 1，以 𝑋 记事件 𝐴 第 𝑟 次出现时已经失败的试验次数，则 𝑋 的可能 取值为 0, 1, ., 其概率分布为 𝑃{𝑋 = 𝑘} = (𝑘 + 𝑟 − 1 𝑘 )𝑝𝑟 (1 − 𝑝)𝑘 , 𝑘 = 0, 1, . , 称 𝑋 服从负二项分布。这时 𝑋 + 𝑟 服从 Pascal 分布。 负二项分布通常用于替换泊松分布. 同泊松分布一样，它也在非负整数上取值， 但因为它包含两个参数，相比泊松分布其变化更灵活. 泊松分布的方差和均值 相等，但负二项分布的方差大于均值，这说明当某类数据集观测到的方差大于 均值时，负二项分布要比泊松分布更合适. 1.2.3.8 离散均匀分布 如果随机变量 𝑋 的分布列为 𝑝𝑘 = 𝑃 (𝑋 = 𝑥𝑘 ) = 1 𝑛 , 𝑘 = 1, 2, . , 𝑛, 称 𝑋 服从 {𝑥1 , . , 𝑥𝑛} 上的离散均匀分布. 1.2.3.9 均匀分布 如果随机变量 𝑋 有如下密度函数： 𝑓(𝑥) = ⎧{ ⎨{⎩ 1 𝑏−𝑎 , 若 𝑎 ≤ 𝑥 ≤ 𝑏 0, 其他, 其中 𝑎 < 𝑏，则称之为区间 [𝑎, 𝑏] 上的均匀分布，记作 𝑋 ∼ U(𝑎, 𝑏)。 注意对连续型分布，单个或者有限个点的密度函数值对于分布函数值没有影响， 所以区间 [𝑎, 𝑏] 是否包含左右端点不重要。 1.2.3.10 正态分布 如果 𝑋 有如下密度函数： 𝑓(𝑥) = 1 √ 2𝜋𝜎 exp {−1 2 (𝑥 − 𝜇)2 𝜎 2 } , 𝑥 ∈ ℝ
26CHAPTER1.预备知识则称X服从为参数为μ和2的正态分布，也称为高斯分布，记为X～N(μ,α2).N(0,1)称为标准正态分布，分布密度为1e-,rERd(r) =V2元分布函数为d(a)=Φ(u)du。1.2.3.11多元正态分布设μ=（μ1",μn)，是n阶正定对称矩阵，并且其行列式为如果随机向量X有如下联合密度函数：1()-(),rER"f(r)=(2元)n/2[21/2 exp /L2则称X服从为n维(n元)正态分布，记为X～N(μ,)或X～N,(μ,)多元正态分布推广的定义和性质见节7.1.2。1.2.3.12Gamma分布如果X有如下密度函数：rs-le-ar, ≥0,T(f(r) =10,<0,则称X服从以s>0，入>0为参数的Gamma分布（伽马分布），s称为形状参数，入称为速率参数，其中I函数定义为s-1e-dr,s>0I(s) =Jo1.2.3.13指数分布如果在Gamma分布中令s=1，即密度函数为[Ae-ar, r≥0,f(r) =(o,a<0,则称X服从（速率）参数为入的指数分布，记为X～Exp(入)。X服从指数分布，当且仅当P(X >r) =e-X, Vr > 0
26 CHAPTER 1. 预备知识 则称 𝑋 服从为参数为 𝜇 和 𝜎 2 的正态分布，也称为高斯分布，记为 𝑋 ∼ N(𝜇, 𝜎2 ). N(0, 1) 称为标准正态分布，分布密度为 𝜙(𝑥) = 1 √ 2𝜋 𝑒 − 1 2 𝑥 2 , 𝑥 ∈ ℝ, 分布函数为 Φ(𝑥) = ∫ 𝑥 −∞ 𝜙(𝑢) 𝑑𝑢。 1.2.3.11 多元正态分布 设 𝜇 = (𝜇1 , ⋯ , 𝜇𝑛) 𝑇，Σ 是 𝑛 阶正定对称矩阵，并且其行列式为 |Σ|. 如果随 机向量 𝑋 有如下联合密度函数： 𝑓(𝑥) = 1 (2𝜋)𝑛/2|Σ|1/2 exp {−1 2 (𝑥 − 𝜇)𝑇 Σ −1(𝑥 − 𝜇)} , 𝑥 ∈ ℝ𝑛, 则称 𝑋 服从为 𝑛 维 (𝑛 元) 正态分布，记为 𝑋 ∼ N(𝜇, Σ) 或 𝑋 ∼ N𝑛(𝜇, Σ). 多元正态分布推广的定义和性质见节7.1.2。 1.2.3.12 Gamma 分布 如果 𝑋 有如下密度函数： 𝑓(𝑥) = ⎧{ ⎨{⎩ 𝜆 𝑠 Γ(𝑠)𝑥 𝑠−1𝑒 −𝜆𝑥, 𝑥 ≥ 0, 0, 𝑥 < 0, 则称 𝑋 服从以 𝑠 > 0，𝜆 > 0 为参数的 Gamma 分布（伽马分布），𝑠 称为形 状参数，𝜆 称为速率参数，其中 Γ 函数定义为 Γ(𝑠) = ∫∞ 0 𝑥 𝑠−1𝑒 −𝑥 𝑑𝑥, 𝑠 > 0. 1.2.3.13 指数分布 如果在 Gamma 分布中令 𝑠 = 1，即密度函数为 𝑓(𝑥) = ⎧{ ⎨{⎩ 𝜆𝑒−𝜆𝑥, 𝑥 ≥ 0, 0, 𝑥 < 0, 则称 𝑋 服从（速率）参数为 𝜆 的指数分布, 记为 𝑋 ∼ Exp(𝜆)。 𝑋 服从指数分布，当且仅当 𝑃 (𝑋 > 𝑥) = 𝑒−𝜆𝑥, ∀𝑥 > 0
271.3.数字特征、矩母函数与特征函数1.2.3.14卡方分布如果在Gamma分布中取s=号，n是正整数，入=，即密度函数为1r-le-，r>0()=2号(号)则称X服从自由度为n的卡方分布，记为X～x2(n）1.3数字特征、矩母函数与特征函数1.3.1Riemann-Stieltjes积分设g(a),F(a)为有限区间(a,b)上的实值函数，a=o<ai<…<n=b为(a,的一个分割，令AF(ar)=F(r)-F(ri-1),s,E[i-1,a;],1<i≤n入=maxin(-ai-1)，如果当入→0时，极限Jim Zg(s.)AF(r:)10存在，且与分割的选择以及E;E[i-1,r]的取法无关，则称该极限值为函数g(r）关于F(r）在（a,b)上的Riemann-Stieltjes积分，记为A6g(r)dF(r) = lim g(s)△F(r)X0台当F（）=时，Riemann-Stieltjes积分即为Riemann积分Riemann-Stieltjes积分可以看成是求曲线g(r）下方的面积问题的推广，用△F(ri）=F(ai)-F(zi-1）作为小区间（a-1,al的广义长度，以g(s）近似曲边梯形的高度，用矩形面积近似曲边梯形面积。关于Riemann-Stieltjes积分存在的条件，这里不做更进一步的讨论，只给出一个简单的充分条件：若函数g(r）连续，F(ar）单调，则Riemann-Stieltjes积分存在.本书中用到的g(r）为连续函数，F(r）为分布函数，因此积分的存在性不成问题
1.3. 数字特征、矩母函数与特征函数 27 1.2.3.14 卡方分布 如果在 Gamma 分布中取 𝑠 = 𝑛 2 , 𝑛 是正整数, 𝜆 = 1 2，即密度函数为 𝑓(𝑥) = 1 2 𝑛 2 Γ( 𝑛 2 ) 𝑥 𝑛 2 −1𝑒 − 𝑥 2 , 𝑥 > 0, 则称 𝑋 服从自由度为 𝑛 的卡方分布，记为 𝑋 ∼ 𝜒2 (𝑛). 1.3 数字特征、矩母函数与特征函数 1.3.1 Riemann-Stieltjes 积分 设 𝑔(𝑥), 𝐹(𝑥) 为有限区间 (𝑎, 𝑏] 上的实值函数，𝑎 = 𝑥0 < 𝑥1 < ⋯ < 𝑥𝑛 = 𝑏 为 (𝑎, 𝑏] 的一个分割，令 Δ𝐹(𝑥𝑖 ) = 𝐹(𝑥𝑖 ) − 𝐹(𝑥𝑖−1), 𝜉𝑖 ∈ [𝑥𝑖−1, 𝑥𝑖 ], 1 ≤ 𝑖 ≤ 𝑛, 𝜆 = max1≤𝑖≤𝑛(𝑥𝑖 − 𝑥𝑖−1), 如果当 𝜆 → 0 时，极限 lim 𝜆→0 𝑛 ∑ 𝑖=1 𝑔(𝜉𝑖 )Δ𝐹(𝑥𝑖 ) 存在，且与分割的选择以及 𝜉𝑖 ∈ [𝑥𝑖−1, 𝑥𝑖 ] 的取法无关，则称该极限值为函数 𝑔(𝑥) 关于 𝐹(𝑥) 在 (𝑎, 𝑏] 上的 Riemann-Stieltjes 积分，记为 ∫ 𝑏 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥) = lim 𝜆→0 𝑛 ∑ 𝑖=1 𝑔(𝜉𝑖 )Δ𝐹(𝑥𝑖 ). 当 𝐹(𝑥) = 𝑥 时，Riemann-Stieltjes 积分即为 Riemann 积分. RiemannStieltjes 积分可以看成是求曲线 𝑔(𝑥) 下方的面积问题的推广，用 Δ𝐹(𝑥𝑖 ) = 𝐹(𝑥𝑖 ) − 𝐹(𝑥𝑖−1) 作为小区间 (𝑥𝑘−1, 𝑥𝑖 ] 的广义长度，以 𝑔(𝜉𝑖 ) 近似曲边梯形的 高度，用矩形面积近似曲边梯形面积。 关于 Riemann-Stieltjes 积分存在的条件，这里不做更进一步的讨论，只给出一 个简单的充分条件：若函数 𝑔(𝑥) 连续，𝐹(𝑥) 单调，则 Riemann-Stieltjes 积 分存在. 本书中用到的 𝑔(𝑥) 为连续函数，𝐹(𝑥) 为分布函数，因此积分的存在 性不成问题
28CHAPTER1.预备知识定义1.10（有界变差函数).设f(c)是定义在[s,)的实值函数，作分割△：s=to<ti<<tn=t,记VIf(ti+1)-f(t)lVA=i=0令/(f)=sup(v:△为[s,t)]的任意分割)并称其为f在[s,t]的全变差；如果V(f)<o，则称f(r)是[s,t]上的有界变差函数，记作fEBV([s,t))。BV([s,t))构成一个线性空间。有界变差函数可以写成两个增函数的差，几乎处处可微。闭区间上连续可微函数必为有界变差。定理1.5.若对任意的[a,b]上连续函数g(r),关于F(r）都是在[a,b]Riemann-Stieltjes可积的，则F(r）是a,bl上的有界变差函数。反之，连续函数关于有界变差函数Riemann-Stieltjes可积的。为了后面的需要，将积分推广到无限区间上：rbg(r) dF(r)=, limg(r)dF(r),g(r)dF(r) = limg(r)dF(r),6g(r)dF(r) =limg(r) dF(r).00.b.与Riemannan积分不同的是dF(r) = limdF(r) = F(a)-F(a-),S当F(r)在=a处有跳跃时，上式的值等于F(）在a点的跳跃高度．当F(r）是一个阶梯函数时，Riemann-Stieltjes积分成为一个级数，即设F(r）在=，处有跳跃高度，i=1,2,，则g(r)dF(r)=)Lg(r)pii-1
28 CHAPTER 1. 预备知识 定义 1.10 (有界变差函数). 设 𝑓(𝑥) 是定义在 [𝑠, 𝑡] 的实值函数，作分割 Δ ∶ 𝑠 = 𝑡0 < 𝑡1 < ⋯ < 𝑡𝑛 = 𝑡，记 𝜈Δ = 𝑛−1 ∑ 𝑖=0 |𝑓(𝑡𝑖+1) − 𝑓(𝑡𝑖 )|, 令 𝑡 ⋁ 𝑠 (𝑓) = sup{𝜈Δ ∶ Δ为[𝑠, 𝑡]的任意分割}, 并称其为 𝑓 在 [𝑠, 𝑡] 的全变差；如果 ⋁ 𝑡 𝑠 (𝑓) < ∞，则称 𝑓(𝑥) 是 [𝑠, 𝑡] 上的有界 变差函数，记作 𝑓 ∈ BV([𝑠, 𝑡])。 BV([𝑠, 𝑡]) 构成一个线性空间。 有界变差函数可以写成两个增函数的差，几乎处处可微。 闭区间上连续可微函数必为有界变差。 定理 1.5. 若对任意的 [𝑎, 𝑏] 上连续函数 𝑔(𝑥)，关于 𝐹(𝑥) 都是在 [𝑎, 𝑏] RiemannStieltjes 可积的，则 𝐹(𝑥) 是 [𝑎, 𝑏] 上的有界变差函数。反之，连续函数关于有 界变差函数 Riemann-Stieltjes 可积的。 为了后面的需要，将积分推广到无限区间上： ∫ ∞ 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥) = lim 𝑏→+∞ ∫ 𝑏 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥), ∫ 𝑏 −∞ 𝑔(𝑥) 𝑑𝐹(𝑥) = lim 𝑎→−∞ ∫ 𝑏 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥), ∫ ∞ −∞ 𝑔(𝑥) 𝑑𝐹(𝑥) = lim 𝑎→−∞,𝑏→+∞ ∫ 𝑏 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥). 与 Riemannan 积分不同的是 ∫ 𝑎 𝑎− 𝑑𝐹(𝑥) = lim 𝛿→0+ ∫ 𝑎 𝑎−𝛿 𝑑𝐹(𝑥) = 𝐹(𝑎) − 𝐹(𝑎−), 当 𝐹(𝑥) 在 𝑥 = 𝑎 处有跳跃时，上式的值等于 𝐹(𝑥) 在 𝑎 点的跳跃高度. 当 𝐹(𝑥) 是一个阶梯函数时，Riemann-Stieltjes 积分成为一个级数，即设 𝐹(𝑥) 在 𝑥 = 𝑥𝑖 处有跳跃高度 𝑝𝑖 , 𝑖 = 1, 2, .，则 ∫ ∞ −∞ 𝑔(𝑥) 𝑑𝐹(𝑥) = ∞ ∑ 𝑖=1 𝑔(𝑥𝑖 )𝑝𝑖