291.3.数字特征、矩母函数与特征函数如果F(）是分布函数，对于离散型和连续型这两种常用情形，有[=1g(z)(r)，离散情形,g(a)dF(r) =连续情形Ug(r)f(r)de,其中f()为F(r）的概率质量函数或者概率密度函数。Riemann-Stieltjes积分的一些基本性质：(1)线性性质：91(r)dF(r)+β[αgi(r) + βg2(r)) dF(r) =α92(r)dF(r).1n(2)区间可加性：(g(n) dF(n)= / g(r) dF(r)+ g(r) dF(r), c (a,b)(3)广义长度：dF(r) = F(b) - F(a)其中a，b均可为有限数或无穷大(4)测度可加性：g(r)dFi(r) + βg()d[αFi() +βF2(r) =g(r)dF2(r)(5)若 g(r)≥0,F(r)单调不减, b>a, 则 g(r)dF(α)≥ 01.3.2数字特征定义1.11.设X,Y为随机变量。(1)设X的分布函数为F(r)，若E(X)adF(r)存在，称E(X）为随机变量X的数学期望。EXI总存在，等于有限值或+αo：当EX<o时E(X）必存在且为有限值，这时称X一阶矩有限或可积。当
1.3. 数字特征、矩母函数与特征函数 29 如果 𝐹(𝑥) 是分布函数，对于离散型和连续型这两种常用情形，有 ∫ 𝑏 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥) = ⎧{ ⎨{⎩ ∑ ∞ 𝑖=1 𝑔(𝑥𝑖 )𝑓(𝑥𝑖 ), 离散情形, ∫ 𝑏 𝑎 𝑔(𝑥)𝑓(𝑥) 𝑑𝑥, 连续情形. 其中 𝑓(⋅) 为 𝐹(𝑥) 的概率质量函数或者概率密度函数。 Riemann-Stieltjes 积分的一些基本性质： (1) 线性性质: ∫ 𝑏 𝑎 [𝛼𝑔1 (𝑥) + 𝛽𝑔2 (𝑥)] 𝑑𝐹(𝑥) = 𝛼 ∫𝑏 𝑎 𝑔1 (𝑥) 𝑑𝐹(𝑥) + 𝛽 ∫𝑏 𝑎 𝑔2 (𝑥) 𝑑𝐹(𝑥). (2) 区间可加性： ∫ 𝑏 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥) = ∫𝑐 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥) + ∫𝑏 𝑐 𝑔(𝑥) 𝑑𝐹(𝑥), 𝑐 ∈ (𝑎, 𝑏). (3) 广义长度： ∫ 𝑏 𝑎 𝑑𝐹(𝑥) = 𝐹(𝑏) − 𝐹(𝑎) 其中 𝑎, 𝑏 均可为有限数或无穷大. (4) 测度可加性： ∫ 𝑏 𝑎 𝑔(𝑥)𝑑[𝛼𝐹1 (𝑥) + 𝛽𝐹2 (𝑥)] = 𝛼 ∫𝑏 𝑎 𝑔(𝑥)𝑑𝐹1 (𝑥) + 𝛽 ∫𝑏 𝑎 𝑔(𝑥)𝑑𝐹2 (𝑥). (5) 若 𝑔(𝑥) ≥ 0，𝐹(𝑥) 单调不减, 𝑏 > 𝑎, 则 ∫ 𝑏 𝑎 𝑔(𝑥) 𝑑𝐹(𝑥) ≥ 0. 1.3.2 数字特征 定义 1.11. 设 𝑋, 𝑌 为随机变量。 (1) 设 𝑋 的分布函数为 𝐹(𝑥)，若 𝐸(𝑋) = ∫∞ −∞ 𝑥 𝑑𝐹(𝑥) 存在，称 𝐸(𝑋) 为随机变量 𝑋 的数学期望。𝐸|𝑋| 总存在，等于有限值或 +∞； 当 𝐸|𝑋| < ∞ 时 𝐸(𝑋) 必存在且为有限值，这时称 𝑋 一阶矩有限或可积。当
30CHAPTER1.预备知识EX=+但 6℃dF()<或LdF()<之一成立时，E(X)也有定义。如果bdF()=fdF()=+o0，称E(X)不存在。当X为离散型随机变量时，设概率分布列为P(X=k)=Pk，k=1,2.，则0ooaPk=-P(X=n).E(X) =)ik=1（若上述级数收敛）。当X为密度f（）的连续型随机变量时，E(X) =af(r)dr（若上述积分存在)。(2)对正整数k，称mk=E(Xk）为X的阶原点矩.数学期望是一阶原点矩.(3)设X为随机变量，若E[[X-E(X)})存在，则称E[X-E(X)}2)为X的方差，记为Var(X)，即Var(X) =[r - E(X))2 dF(r)(4)对正整数 k，称 ck=E([X-E(X)^ 为X的 k阶中心矩.方差是二阶中心矩。(5)若E{[X-E(X)][Y-E(Y)])存在，则称之为X与Y的协方差，记为Cov(X,Y)，可知Cov(X,Y) = E([X -E(X)[Y -E(Y)]}) =E(XY) -E(X)E(Y)(6)对正整数k,l，称E[[X-E(X)}[Y-E(Y)}"}为X,Y的+1阶混合中心矩.协方差是二阶混合中心矩数学期望的性质：设X,Y为随机变量，期望存在有限，a,b为实数
30 CHAPTER 1. 预备知识 𝐸|𝑋| = +∞ 但 ∫ ∞ 0 𝑥 𝑑𝐹(𝑥) < ∞ 或 ∫ 0 −∞ |𝑥| 𝑑𝐹(𝑥) < ∞ 之一成立时，𝐸(𝑋) 也有定义。如果 ∫ ∞ 0 𝑥 𝑑𝐹(𝑥) = ∫ 0 −∞ |𝑥| 𝑑𝐹(𝑥) = +∞，称 𝐸(𝑋) 不存在。 当 𝑋 为离散型随机变量时，设概率分布列为 𝑃 (𝑋 = 𝑥𝑘 ) = 𝑝𝑘 , 𝑘 = 1, 2, .，则 𝐸(𝑋) = ∞ ∑ 𝑘=1 𝑥𝑘𝑝𝑘 = ∞ ∑ 𝑘=1 𝑥𝑘𝑃(𝑋 = 𝑥𝑘 ). （若上述级数收敛）。 当 𝑋 为密度 𝑓(𝑥) 的连续型随机变量时， 𝐸(𝑋) = ∫∞ −∞ 𝑥𝑓(𝑥) 𝑑𝑥. （若上述积分存在）。 (2) 对正整数 𝑘，称 𝑚𝑘 = 𝐸(𝑋𝑘 ) 为 𝑋 的 𝑘 阶原点矩. 数学期望是一阶原点 矩. (3) 设 𝑋 为随机变量，若 𝐸{[𝑋 − 𝐸(𝑋)]2} 存在，则称 𝐸{[𝑋 − 𝐸(𝑋)]2} 为 𝑋 的方差，记为 Var(𝑋)，即 Var(𝑋) = ∫∞ −∞ [𝑥 − 𝐸(𝑋)]2 𝑑𝐹(𝑥). (4) 对正整数 𝑘，称 𝑐𝑘 = 𝐸{[𝑋 − 𝐸(𝑋)]𝑘} 为 𝑋 的 𝑘 阶中心矩. 方差是二阶 中心矩。 (5) 若 𝐸{[𝑋 − 𝐸(𝑋)][𝑌 − 𝐸(𝑌 )]} 存在，则称之为 𝑋 与 𝑌 的协方差，记为 Cov(𝑋, 𝑌 )，可知 Cov(X,Y) = 𝐸{[𝑋 − 𝐸(𝑋)][𝑌 − 𝐸(𝑌 )]} = 𝐸(𝑋𝑌 ) − 𝐸(𝑋)𝐸(𝑌 ). (6) 对正整数 𝑘, 𝑙，称 𝐸{[𝑋 − 𝐸(𝑋)]𝑘 [𝑌 − 𝐸(𝑌 )]𝑙} 为 𝑋, 𝑌 的 𝑘 + 𝑙 阶混合 中心矩. 协方差是二阶混合中心矩. 数学期望的性质：设 𝑋, 𝑌 为随机变量，期望存在有限，𝑎, 𝑏 为实数
311.3.数字特征、矩母函数与特征函数(1）E(X)存在有限一EX/<0;(2)线性：E[aX+bY)=aE(X)+bE(Y)(3)若X≥0,a.s.,则E(X) ≥ 0.(4)若X≤Y,则E(X) ≤E(Y)方差的性质：(1) Var(X) = E(X2) -[E(X))2(2) Var(a + bX) = b2Var(X). = Var(X,) +2 Cov(X,X,).(3) VarX.i=1i<ii=1定理1.6.设X为随机变量，分布函数为F(r)，函数g为X的值域到R的Borel函数，满足lg(r)|dF(a)<0，则E[g(X)存在有限且E[g(X)] =g(r)dF(r).对离散分布的X有Zg(r)P(X =),E[g(X)] =k=1对连续分布的X有E[g(X)] =g(r)f(r)dr证明略。参见(Shreve2004）定理1.5.1。例1.16.设X服从标准均匀分布U[0,1]，求E(X4)。解：E(X4) =a4dr=10
1.3. 数字特征、矩母函数与特征函数 31 (1) 𝐸(𝑋)存在有限 ⟺ 𝐸|𝑋| < ∞; (2) 线性： 𝐸[𝑎𝑋 + 𝑏𝑌 ] = 𝑎𝐸(𝑋) + 𝑏𝐸(𝑌 ). (3) 若𝑋 ≥ 0, a.s., 则 𝐸(𝑋) ≥ 0. (4) 若𝑋 ≤ 𝑌 , 则 𝐸(𝑋) ≤ 𝐸(𝑌 ). 方差的性质： (1) Var(𝑋) = 𝐸(𝑋2 ) − [𝐸(𝑋)]2 . (2) Var(𝑎 + 𝑏𝑋) = 𝑏2Var(𝑋). (3) Var ( 𝑛 ∑ 𝑖=1 𝑋𝑖) = 𝑛 ∑ 𝑖=1 Var(𝑋𝑖 ) + 2 ∑ 𝑖<𝑗 Cov(𝑋𝑖 , 𝑋𝑗 ). 定理 1.6. 设 𝑋 为随机变量，分布函数为 𝐹(𝑥)，函数 𝑔 为 𝑋 的值域到 ℝ 的 Borel 函数，满足 ∫ ∞ −∞ |𝑔(𝑥)| 𝑑𝐹(𝑥) < ∞，则 𝐸[𝑔(𝑋)] 存在有限且 𝐸[𝑔(𝑋)] = ∫∞ −∞ 𝑔(𝑥) 𝑑𝐹(𝑥). 对离散分布的 𝑋 有 𝐸[𝑔(𝑋)] = ∞ ∑ 𝑘=1 𝑔(𝑥𝑘 )𝑃 (𝑋 = 𝑥𝑘 ). 对连续分布的 𝑋 有 𝐸[𝑔(𝑋)] = ∫∞ −∞ 𝑔(𝑥)𝑓(𝑥) 𝑑𝑥. 证明略。参见 (Shreve 2004) 定理 1.5.1。 例 1.16. 设 𝑋 服从标准均匀分布 U[0, 1]，求 𝐸(𝑋4 )。 解： 𝐸(𝑋4 ) = ∫1 0 𝑥 4 𝑑𝑥 = 1 5
32CHAPTER1.预备知识定理1.7（Cauchy-Schwarz不等式），若X，Y二阶矩有限，则(1.1)[E(XY)/≤VE(X2)E(Y2),ICou(X,Y)/≤VVar(X) Var(Y)(1.2)(1.1)中等号成立当且仅当存在不全为零的常数a,b使得P(aX + bY = 0) =1.(1.2)中等号成立当且仅当存在不全为零的常数a,b以及常数c使得P(aX +bY = c) = 1.证明：若E(X2)=0，则P(X=0)=1，E(XY)=0，不等式成立（一定是等式成立），且这时P(X+0Y=0)=1。设E(X2)>0,则0<E(Y +tX)2=E(Y2) +2E(XY)t + E(X2)t?, Vt,从而判别式4[E(XY))2-4E(X2)E(Y2)≤ 0,不等式成立。易见P(aX+bY=0)=1时等号成立：反之，若等号成立，则判别式等于0，存在实数t使得E(Y +tX)? = E(Y2) +2E(XY)t + E(X2)t? = 0,即P(Y+tX=0)=1。(1.2)是(1.1)的推论。对定义在开区间I上的实值函数()，如果,yEI,<α<1，都有Φ(ar+(1-a)y)≤ao(r)+(1-a)d(y)则称(）为凸函数。若(r）二阶可微且二阶导数非负，则(r)为凸函数。例如：
32 CHAPTER 1. 预备知识 定理 1.7 (Cauchy-Schwarz 不等式). 若 𝑋, 𝑌 二阶矩有限，则 |𝐸(𝑋𝑌 )| ≤√𝐸(𝑋2)𝐸(𝑌 2), (1.1) |Cov(𝑋, 𝑌 )| ≤√Var(𝑋)Var(𝑌 ) (1.2) (1.1)中等号成立当且仅当存在不全为零的常数 𝑎, 𝑏 使得 𝑃 (𝑎𝑋 + 𝑏𝑌 = 0) = 1, (1.2)中等号成立当且仅当存在不全为零的常数 𝑎, 𝑏 以及常数 𝑐 使得 𝑃(𝑎𝑋 + 𝑏𝑌 = 𝑐) = 1. 证明：若 𝐸(𝑋2 ) = 0，则 𝑃(𝑋 = 0) = 1，𝐸(𝑋𝑌 ) = 0，不等式成立（一定是 等式成立），且这时 𝑃 (𝑋 + 0𝑌 = 0) = 1。 设 𝐸(𝑋2 ) > 0，则 0 ≤𝐸(𝑌 + 𝑡𝑋)2 =𝐸(𝑌 2 ) + 2𝐸(𝑋𝑌 )𝑡 + 𝐸(𝑋2 )𝑡2 , ∀𝑡, 从而判别式 4[𝐸(𝑋𝑌 )]2 − 4𝐸(𝑋2 )𝐸(𝑌 2 ) ≤ 0, 不等式成立。 易见 𝑃(𝑎𝑋 + 𝑏𝑌 = 0) = 1 时等号成立；反之，若等号成立，则判别式等于 0， 存在实数 𝑡 使得 𝐸(𝑌 + 𝑡𝑋)2 = 𝐸(𝑌 2 ) + 2𝐸(𝑋𝑌 )𝑡 + 𝐸(𝑋2 )𝑡2 = 0, 即 𝑃 (𝑌 + 𝑡𝑋 = 0) = 1。 (1.2)是(1.1)的推论。 对定义在开区间 𝐼 上的实值函数 𝜙(𝑥)，如果 ∀𝑥, 𝑦 ∈ 𝐼, 0 < 𝛼 < 1，都有 𝜙(𝛼𝑥 + (1 − 𝛼)𝑦) ≤ 𝛼𝜙(𝑥) + (1 − 𝛼)𝜙(𝑦), 则称 𝜙(⋅) 为凸函数。若 𝜙(𝑥) 二阶可微且二阶导数非负，则 𝜙(𝑥) 为凸函数。例 如：
331.3.数字特征、矩母函数与特征函数: 0(r) =r2, -00<r<8;.0()=,00<<00:: (a) =rt=max(r,0), -00<r<0;. Φ(r)=1, 2>0。定理1.8(Jensen不等式).设E|X|<oo，Φ(r）是凸函数，则E[(X)] ≥ Φ(E(X)证明略。典型例子：E[X2] ≥[E(X)]2例1.17.设随机变量X≥0且EX<80，证明E[In(X)] ≤ In(E(X).证明：令(z)=-ln(r),>0，则d(r)为凸函数。于是E[(X)] ≥ Φ(E(X)),得证。例1.18.设随机变量X满足E|X|<00，则E[eX] ≥eE(X),证明：()=e是凸函数。例1.19（对数正态分布的期望和方差).若随机变量X>0，满足lnX~N(μ,α2)，则称X服从对数正态分布LN(μ,α2)。求EX和Var(X)
1.3. 数字特征、矩母函数与特征函数 33 • 𝜙(𝑥) = 𝑥2 , −∞ < 𝑥 < ∞; • 𝜙(𝑥) = |𝑥|, −∞ < 𝑥 < ∞； • 𝜙(𝑥) = 𝑥+ = max(𝑥, 0), −∞ < 𝑥 < ∞; • 𝜙(𝑥) = 1 𝑥 , 𝑥 > 0。 定理 1.8 (Jensen 不等式). 设 𝐸|𝑋| < ∞，𝜙(𝑥) 是凸函数，则 𝐸[𝜙(𝑋)] ≥ 𝜙(𝐸(𝑋)). 证明略。典型例子： 𝐸[𝑋2 ] ≥ [𝐸(𝑋)]2 . 例 1.17. 设随机变量 𝑋 ≥ 0 且 𝐸𝑋 < ∞，证明 𝐸[ln(𝑋)] ≤ ln(𝐸(𝑋)). 证明：令 𝜙(𝑥) = − ln(𝑥), 𝑥 > 0，则 𝜙(𝑥) 为凸函数。于是 𝐸[𝜙(𝑋)] ≥ 𝜙(𝐸(𝑋)), 得证。 例 1.18. 设随机变量 𝑋 满足 𝐸|𝑋| < ∞, 则 𝐸[𝑒𝑋] ≥ 𝑒𝐸(𝑋) . 证明：𝜙(𝑥) = 𝑒𝑥 是凸函数。 例 1.19 (对数正态分布的期望和方差). 若随机变量 𝑋 > 0，满足 ln 𝑋 ∼ N(𝜇, 𝜎2 )，则称 𝑋 服从对数正态分布 LN(𝜇, 𝜎2 )。求 𝐸𝑋 和 Var(𝑋)