目录第七章重假设检验187.1基本概念和问题的提法187.1.1零假设,对立假设,两类错误,拒绝域,显著性水平,功效1$7.1.2原假设的提法4检验统计量的选取及假设检验的步骤$7.1.34i
8 ¹ 1ÔÙ bu 1 §7.1 ÄVgÚ¯KJ{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 §7.1.1 "b, éáb, üaØ, áý, wÍ5Y², õ . . . . . . . 1 §7.1.2 bJ{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 §7.1.3 uÚOþÀ9buÚ½ . . . . . . . . . . . . . . . . . . 4 i
第七章假设检验教学目的:1)理解假设检验的一些基本概念:零假设、对立假设、两类错误、拒绝域、显著性水平、功效2)学会将实际问题转化成假设检验问题来处理3)一样本和两样本正态总体均值和方差的假设检验4)0-1分布参数的假设检验5)拟合优度检验、列联表的独立性和齐一性检验87.1基本概念和问题的提法87.1.1零假设,对立假设,两类错误,拒绝域,显著性水平,功效在参数估计问题中,常常在抽样前先对未知总体作一些假定.例如假定总体X服从正态分布,假定某个正态总体的方差为一个已知值等等.在数理统计中,关于总体分布的概率性质的假定称为(统计)假设.抽样前所作出的假设是否与实际符合,可以用样本所提供的信息来检查,检查的方法与过程称为(统计)检验.假设检验问题就是研究如何根据抽样后获得的样本来检验抽样前所作出的假设.首先,由一个例子引出一些基本概念.例7.1.1.某厂产品出厂检验规定:某批产品次品率p不超过4%才能出厂。现从某批产品10000件中任意抽查12件发现4件次品,问该批产品能否出厂?若抽得结果是1件次品呢?解:若以p表示此批产品的次品率,则问该批产品能否出厂等价于即要检验次品率p是否不超过4%。我们假设“p≤4%”,并记Y为12件中的次品数,由于总产品数很大,故可以认为Y~B(12,p),此时当p≤0.04时P(Y = 4) = (12)pg< (12)0.040.968 = 0.0009141
1ÔÙ bu Æ8: 1) n)bu ÄVg: "b!éáb!üaØ!áý!wÍ5Y ²!õ. 2) Ƭò¢S¯K=z¤bu¯K5?n. 3) ÚüoNþÚbu. 4) 0-1 ©Ùëêbu. 5) [Ü`Ýu!éLÕá5Úà5u. §7.1 ÄVgÚ¯KJ{ §7.1.1 "b, éáb, üaØ, áý, wÍ5Y², õ 3ëêO¯K¥, ~~3ÄckéoN b½. ~Xb½oNX Ñl ©Ù, b½,oN®. 3ênÚO¥, 'uoN©Ù VÇ5b½¡(ÚO) b. Äc¤Ñb´Ä¢SÎÜ, ±^ ¤Jø&E5u, u{L§¡(ÚO) u. bu¯KÒ´ïÄXÛ âļ5uÄc¤Ñb. Äk, d~fÚÑ ÄV g. ~ 7.1.1. ,¬Ñu5½µ,1¬g¬ÇpØL4%âUÑ"yl,1 ¬10000¥?¿Ä12uy4g¬§¯T1¬UÄѺeÄ(J´1g¬ Qº ): e±pL«d1¬g¬Ç§K¯T1¬UÄÑdu=ug¬ Çp´ÄØL4%"·b/p ≤ 4%0§¿PY 12¥g¬ê§duo¬êé§ ±@Y ∼ B(12, p)§dp ≤ 0.04§ P(Y = 4) = 12 4 p 4 q 8 < 12 4 0.044 0.968 = 0.000914 1
这是一个小概率事件,即当p0.04时,12件产品中有4件是次品的概率不到1/1000,这样的事件在一次试验中几乎是不可能发生的,但确实发生了(我们观察到了4件次品),因此更倾向于怀疑假设“p≤0.04”的正确性,即认为它不成立。而由于P(Y = 1) ≤ ()0.04'0.9612 = 0.306即此时当假设“p≤0.04”成立时,“12个产品中有一个次品”这一事件的概率最大为0.306,这个事件不是小概率事件。因此我们没有足够的证据支持原假设不成立这一说法。例7.1.2.某饮料厂在自动流水线上罐装饮料:在正常生产情况下,每瓶饮料的容量(单位:毫升)X服从正态分布N(500,102)(由以往的经验得知).经过一段时间之后,有人觉得每瓶饮料的平均容量减小到490,于是抽取了9瓶样品,称得它们的平均值为=492毫升.试问此断言是否正确?即问平均每瓶饮料的容量仍是500毫升还是变成490毫升?假定标准差10毫升不变在这个问题中,设经过一段时间后罐装饮料容量X的平均值为μ,则由题意可设X~N(μ,102).记1,,rg为取自这个正态总体X的一组样本观测值,则==1=492.我们需要在“饮料平均容量为500毫升”与“饮料平均容量为490毫升”之间作判断即在“μ=500"和"μ=490"之间作判断.数理统计中,把它们看成两个假设.习惯上,称前者为原假设或零假设,记作Ho;后者称为备择假设或对立假设,记作Hi或H。:所谓检验Ho:μ=500→Hi:μ=490.就是要根据样本判断究竟是“Ho成立还是“Hi成立”.断言“Ho成立"称为接受Ho;断言“Hi成立”称为拒绝Ho下面讨论如何检验上述假设,即给定一个接受或者拒绝零假设的准则.设从总体中抽取一个样本Xi,*,Xn,我们可以用极大似然估计T=x(称之为检验统计量)来估计μ.由于该估计值接近μ(尤其是当样本量较大时),故当T的绝对值小的时候有利于H而不利于Ho,此时应该拒绝Ho.我们可以事先取定一个常数t,称之为临界值,当T的取值小于该临界值时拒绝Ho.即样本满足W = (X<T)中时拒绝Ho,称W为拒绝域.即样本的取值落在拒绝域中,就拒绝Ho,否则不能拒绝之一个拒绝域就对应于一个检验方法现在的问题是T应该取多大?这涉及到两类错误2
ù´Vǯ§=p ≤ 0.04§12¬¥k4´g¬VÇØ1/1000§ù ¯3gÁ¥A´ØUu)§(¢u) (·* 4g¬), Ï du~¦b/p ≤ 0.040(5§=@§Ø¤á" du P(Y = 1) ≤ 12 1 0.041 0.9612 = 0.306 =db/p ≤ 0.040¤á§/12¬¥kg¬0ù¯VÇ0.306§ ù¯Ø´Vǯ"Ïd·vkv yâ|±bؤáù`{" ~ 7.1.2. ,Ø3gÄ6Yþ-CØ. 3~)¹e, z´ØNþ(ü : Î,) X Ñl©ÙN(500, 102 ) (d± ²). ²Lãm, k< úz´Ø²þNþ~490, u´Ä 9 ´¬, ¡§²þx¯ = 492 Î,. Á¯däó´Ä(? =¯²þz´ØNþE´500 Î,´C¤490 Î,? b½IO10 Î,ØC. 3ù¯K¥, ²Lãm-CØNþX ²þµ, KdK¿X ∼ N(µ, 102 ). Px1, · · · , x9 gùoNX |*ÿ, Kx¯ = 1 9 P9 i=1 xi = 492. ·I3“زþNþ500 Î,”“زþNþ490 Î,”mä, =3“µ = 500”Ú“µ = 490”mä. ênÚO¥, r§w¤üb. S.þ, ¡ cöb½"b, PH0; ö¡Jb½éáb, PH1 ½Ha. ¤¢u H0 : µ = 500 ↔ H1 : µ = 490. Ò´âäľ´“H0¤á”´“H1¤á”. äó“H0¤á”¡ÉH0; äó“H1¤ ᔡáýH0. e¡?ØXÛuþãb, =½É½öáý"bOK. loN¥ ÄX1, · · · , Xn, ·±^4q,OT = X¯ (¡uÚOþ) 5 Oµ. duTOCµ (cÙ´þ), T ýéÿk|uH1 Ø|uH0, dATáýH0. ·±¯k½~êτ , ¡., T uT.áýH0, =÷v W = {X < τ ¯ } ¥áýH0, ¡W áý. =á3áý¥, ÒáýH0, ÄKØUáý. áýÒéAuu{. y3¯K´τ ATõ? ù9üaØ. 2
事实Ho成立Hi成立决策第II类错误接受Ho不犯错拒绝Ho不犯错第I类错误称“实际上Ho成立但是它被拒绝"这个错误为第I类错误(弃真),而“实际上Ho不成立但是它被接受”这样一类错误为第II类错误(存伪).由于我们的方法是基于观测数据,而观测数据是带有随机误差的,故难免在做出决策的时候犯错,我们能做的是控制犯错的概率,一个理想的检验应该使这两类错误的概率都小,但是在实际问题中不可能使这两类错误一致地小:要让犯第I类错误的概率小,应该让T小,而要让犯第I类错误的概率小,则不能太小.解决这个矛盾的一个方法是在控制I类错误的基础上,尽量少犯第II类错误(在下一小节中我们讨论如何设定假设时会提到,应该将受保护对象设为零假设故犯第I类错误的严重性更大,因此必须尽量避免犯第I类错误).因此,这种在只限制第一类错误的原则下的检验方法,就称为“显著性检验”(SignificanceTest)。具体地,选定一个小的常数α,取使得犯第I类错误的概率,即T小于的概率小于α.称α为显著性水平.理想情况下,取得恰好满足PH(T<T)=Qα.为控制犯第I类错误的发生,通常将取为0.1,0.05,0.01等较小的数,具体取值视实际需要而定,有时候要求α很小,比如在涉及到数十万个基因标记的基因关联分析中,单个位点检验的α一般是10-7这样的量级.现在将问题一般化.设有假设检验问题Ho:0E00-H1:0E01.(7.1.1)其中H为零假设或原假设而H为对立假设或备择假设.构造一个适当的检验统计量T=T(X1,,Xn),其中X1,.,Xn为从总体中抽得的一个样本.根据对立假设的形状构造一个检验的拒绝域W=[T(X1.,Xn)EA}其中A为一个集合,通常是一个区间比如拒绝域可取为T(X1.,Xn)>Tl则称为临界值.如果零假设成立但拒绝了零假设,则称犯了第I类错误,如果对立假设成立但接受零假设,则称犯了第II类错误.如对任意的Eo,犯第I类错误的概率Pe(T(X1,*,Xn)EA)小于或等于某个正的常数α),则称α为显著性水平.显然显著性水平不是唯一的,事实上,如果α是一个显著性水平则任意大于α的数都是显著性水平。实际中通常采用显著性水平最小的那一个,一个检3
P û P ü PPPPPPPPP ¯¢ H0 ¤á H1 ¤á ÉH0 Ø 1II aØ áýH0 1I aØ Ø ¡“¢SþH0 ¤á´§áý”ùØ1I aØ(ïý) , “¢SþH0 Ø¤á ´§É”ùaØ1II aØ(). du·{´Äu*ÿêâ, *ÿêâ´kÅØ, J3Ñûüÿ, ·U´ VÇ. nuAT¦ùüaØVÇÑ, ´3¢S¯K¥ØU¦ùü aØ/: 41I aØVÇ, AT4τ , 41II aØVÇ , Kτ ØU. )ûùgñ{´3IaØÄ:þ, ¦þ1II aØ (3e!¥·?ØXÛ½b¬J, ATòÉoé"b, 1I aØî5, Ïd7L¦þ;1I aØ).Ïd§ù«31 aØKeu{§Ò¡/wÍ5u0(Significance Test)"äN/, À½ ~êα, τ ¦1I aØVÇ, =T uτ VÇuα. ¡α wÍ5 Y². n¹e, τ TÐ÷vPH0 (T < τ ) = α. 1I aØu), Ï~ òα 0.1, 0.05, 0.01 ê, äNÀ¢SI ½, kÿ¦α é, 'X 39êÄÏIPÄÏ'é©Û¥, ü :uα ´10−7 ùþ ?. y3ò¯Kz. kbu¯K H0 : θ ∈ Θ0 ↔ H1 : θ ∈ Θ1. (7.1.1) Ù¥H0 "b½b H1 éáb½Jb. E·uÚOþ T = T(X1, · · · , Xn), Ù¥X1, · · · , Xn loN¥Ä. âéáb/G Euáý W = {T(X1, · · · , Xn) ∈ A}, Ù¥A 8Ü, Ï~´«m. 'Xáý{T(X1, · · · , Xn) > τ}, K¡τ .. XJ"b¤ááý "b , K¡ 1I aØ, XJéáb¤áÉ"b, K¡ 1II aØ. Xé ?¿θ ∈ Θ0, 1I aØVÇPθ(T(X1, · · · , Xn) ∈ A) u½u,~êα), K¡α wÍ5Y². w,wÍ5Y²Ø´, ¯¢þ, XJα ´wÍ5Y², K?¿uα êÑ´wÍ5Y². ¢S¥Ï~æ^wÍ5Y²@. u 3
验对应于一个拒绝域,称β(0)=Pe(Ho被拒绝)为检验的功效函数.如果检验的显著性水平为α,则当时,β()≤α.而当E1时,我们希望功效值越大越好(这样犯第II类错误的概率1一β(0)就越小),所以功效可以作为评价一个检验优劣的准则87.1.2原假设的提法在有时候需要自已判断如何提假设检验问题.在建立原假设时有两个原则。原则一:将受保护的对象置为零假设.如我国按照以前的司法制度,公安机关抓到嫌疑犯后,很多情况下要犯人自己证明无罪(有罪推断),这对嫌疑犯很不利,从而容易导致冤案,现在的司法制度则总假定嫌疑犯是无罪的,要司法部门证明其有罪(无罪推断),这样做大大地有利于保护公民的利益,如果要将真正的嫌疑犯绳之以法,则司法部门必须有充分的证据,这样做可以有效保护公民的权益,对司法部门要求也变高了又比如药厂生产出一种新药,在上市前要通过食品与药品监管局的检验.显然使用药品的病人是应该受保护的对象,这时应该设定一个有利于病人的命题作为零假设,这个命题就是“新药不比安慰剂效果好”,以尽量避免病人用无效甚至有副作用的新药.当然,对立假设就是“新药比安慰剂效果好,将检验的显著性水平α设定得较小,以保证零假设不被轻易推翻在实际问题中,如果根据某个合理的检验方法发现零假设被推翻,则有充分的理由认为零假设不成立而对立假设成立,这是因为万一零假设成立而被误据的概率不会超过;另一方面,如果发现零假设未被拒绝,并不表明有充分理由接受零假设,而是因为零假设被保护得较严密以至于未被拒绝原则二:如果你希望“证明”某个命题,就取相反结论或者其中一部分作为零假设(类似于反证法):这种提法往往是在两个假设命题中不太清楚哪个应受保护,此时可以借用司法制度里的“谁主张,谁举证”,即若想用统计方法向人“证明”一个命题,则将那个命题置为对立假设.注意这里的证明不是数学上的严格证明,而是允许犯错的一种统计推断方法,用统计方法证明一个命题不是一件容易的事情,所以如果没有足够把握,人们应该避免用统计方法去证明一个命题上述两原则是统一的:一般不应该让受保护对象去证明一个命题87.1.3检验统计量的选取及假设检验的步骤通过解答例7.1.1来说明假设检验的步骤例7.1.3.(例7.1.1续)能否在显著性水平0.05下认为饮料的平均容量确实减少到490毫升?4
éAuáý, ¡β(θ) = Pθ (H0 áý) uõ¼ê. XJuwÍ5 Y²α, Kθ ∈ Θ0 , β(θ) ≤ α. θ ∈ Θ1 , ·F"õÐ(ù1II aØVÇ1 − β(θ) Ò), ¤±õ±µdu`OK. §7.1.2 bJ{ 3kÿIgCäXÛJbu¯K. 3ïábküK" K: òÉoé"b. X·IUì±ci{Ý, úSÅ'8 v¦, éõ¹e<gCy²Ã(kíä) , ùév¦éØ|, l N´ Y. y3i{ÝKob½v¦´Ã, i{Üy²Ùk(Ãí ä), ù/k|uoú¬|Ã, XJòýv¦-±{, Ki{Ü 7Lk¿©yâ, ù±koú¬Ã, éi{ܦCp . q 'X)Ñ«#, 3þ½cÏL ¬¬i+Ûu. w,¦^¬ ¾<´ATÉoé, ùAT½k|u¾<·K"b, ù·K Ò´“#Ø'S¤JJД, ±¦þ;¾<^Ã$kB^#. , éá bÒ´“#'S¤JJÐ’. òuwÍ5Y²α ½, ±y"bØ ´í. 3¢S¯K¥, XJâ,Ünu{uy"bí, Kk¿ ©nd@"bؤá éáb¤á, ù´Ï"b¤á ØâVÇ Ø¬Lα; ,¡, XJuy"báý, ¿ØL²k¿©ndÉ"b, ´Ï"boî±uáý. K: XJ\F"“y²”,·K, Ò(ؽö٥ܩ"b(a quy{). ù«J{ ´3üb·K¥ØÙ=AÉo, d±/ ^i{Ýp“XÌÜ, XÞy”, =e^ÚO{<“y²” ·K, Kò@ ·Kéáb. 5¿ùpy²Ø´êÆþîy², ´#N«ÚO íä{. ^ÚO{y²·KØ´N´¯, ¤±XJvkv rº, < AT;^ÚO{y²·K. þãüK´Ú: ØAT4Éoéy²·K. §7.1.3 uÚOþÀ9buÚ½ ÏL)~7.1.15`²buÚ½. ~ 7.1.3. (~7.1.1Y) UÄ3wÍ5Y²0.05 e@زþNþ(¢~490 Î ,? 4