統(tǒng)計學(xué)概念和方法第7章

第七章假設(shè)檢驗數(shù)學(xué)與信息科學(xué)學(xué)院王坤TELellowang@163.統(tǒng)計學(xué)概念和方法統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第1頁!主要內(nèi)容作為一個問題的假設(shè)：備擇假設(shè)、回答假設(shè)時的錯誤怎樣回答零假設(shè)所提出的問題：p值假設(shè)檢驗的機制拒絕或接受零假設(shè)顯著水平雙邊檢驗假設(shè)檢驗和構(gòu)造置信區(qū)間不拒絕零假設(shè)意味著什么Excel2007在假設(shè)檢驗方面提供的功能小結(jié)問題統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第2頁!統(tǒng)計推斷包括估計和假設(shè)檢驗。估計的任務(wù)是根據(jù)樣本尋找總體參數(shù)值及其范圍。那么，這樣估計的把握性有多大呢？假設(shè)檢驗的興趣是對任意一個有關(guān)未知分布的假設(shè)。假設(shè)檢驗又分為參數(shù)檢驗和非參數(shù)檢驗。參數(shù)檢驗考慮總體參數(shù)是否等于某個特定的值。非參數(shù)檢驗是考慮利用子樣擬合總體分布。本章只介紹參數(shù)檢驗。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第3頁!例1988年7月28日的紐約時報上刊登了一篇關(guān)于人們地理知識的文章。這篇文章描述了一個調(diào)查公司的研究結(jié)果。研究者們從一些國家抽取許多成年人并請他們鑒別在一個地圖上的16個地方，然后把每個人答對的個數(shù)加起來。四個國家的樣本中答對的個數(shù)的均值為美國6.9墨西哥8.2英國9.0法國9.2上述結(jié)果是一個樣本均值的情況，可以輕易獲得樣本均值差。那么，總體均值是否有差異呢？統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第4頁!記μm為墨西哥的總體均值，μu為美國的總體均值。那么零假設(shè)可以寫成：H0：μm-μu=0H代表假設(shè)，下標0表明是零假設(shè)?！傲恪钡囊馑际羌僭O(shè)內(nèi)容的差異為零。注：希臘字母代表總體參數(shù)。零假設(shè)就是提出一個參數(shù)是否等于某一個特殊值。形式上，零假設(shè)寫成：H0：參數(shù)=值統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第5頁!回答假設(shè)時的錯誤真實狀態(tài)檢驗結(jié)論接受H0拒絕H0H0為真正確類錯誤（棄真，α錯誤）H1為真第二類錯誤（存?zhèn)?，β錯誤）正確零假設(shè)的問題有兩個答案，“是”或者“不是”。但由于樣本所攜帶的信息是來自樣本而不是總體，其信息量會受到限制，就有可能提供錯誤答案。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第6頁!思考一個人因為殺人而受審理。他實際上是有罪的，但法官確認他為無罪。這里零假設(shè)是：一個人是無罪的除非你能證明他有罪。則此案中，法官犯的是類錯誤還是第二類錯誤？法官犯另外一類錯誤的情形是怎樣的？統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第7頁!p值p值（pvalue）就是當原假設(shè)H0為真時所得到的樣本觀察結(jié)果或更極端結(jié)果出現(xiàn)的概率。如果p值很小，說明這種情況的發(fā)生的概率很小，而如果出現(xiàn)了，根據(jù)小概率原理，我們就有理由拒絕原假設(shè)，p值越小，我們拒絕原假設(shè)的理由越充分?？傊琾值越小，表明結(jié)果越顯著。通常，如果p值<0.05，說明樣本結(jié)果是統(tǒng)計顯著的，拒絕H0。如果p值>0.05，說明結(jié)果更傾向于接受假定H0。這里的0.05稱為顯著水平。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第8頁!正態(tài)分布N(μ,σ2)自由度為10的t-分布統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第9頁!拒絕或接受零假設(shè)剛才計算得到的p=0.00001是一個非常非常小的概率。對此情況有兩種解釋：1.零假設(shè)是正確的，但觀測到的數(shù)據(jù)恰好是不常發(fā)生的那一類；2.觀測到的數(shù)據(jù)是常見的那一類，那么零假設(shè)就是錯誤的。由于總體均值相等時樣本均值有1.3的概率為p=0.00001，所以我們選擇第二種解釋，拒絕H0，即認為兩個總體均值差異不是零.統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第10頁!雙邊檢驗正態(tài)分布和t分布是對稱的。上述例子中，備擇假設(shè)為：H1:μm-μu≠0上式中不等于零的意思可以理解為大于零或者小于零，即否定域分配到抽樣分布的兩端故稱為雙邊檢驗。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第11頁!正態(tài)總體均值檢驗：μ0=μ1統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第12頁!7.6假設(shè)檢驗和構(gòu)造置信區(qū)間二者都是與樣本數(shù)據(jù)為基礎(chǔ)，做出關(guān)于參數(shù)值的結(jié)論。設(shè)置信區(qū)間的范圍是從L到U，若果零假設(shè)中相關(guān)的參數(shù)值在L和U之間，那么我們不拒絕零假設(shè)，如果參數(shù)值在這個區(qū)間之外，則拒絕零假設(shè)。置信區(qū)間比假設(shè)檢驗提供更多的信息。因為它給了我們參數(shù)值的可能取值范圍，而假設(shè)檢驗只考慮了一個可能的參數(shù)值。如果總體參數(shù)值不等于這個值，那么我們就不知道它是多少了。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第13頁!關(guān)于合作性與競爭性的心理測試一個心理學(xué)家正在研究對一項工作如何能有效地使一群人在他們的工作策略上進行合作或者競爭。在觀測了8組人群后，有7組人群被劃為合作類。心理學(xué)家想知道這一現(xiàn)象是隨機的還是和工作本身有關(guān)。記π為一群人合作的概率。如果是隨機現(xiàn)象，那么π=0.5，且服從二項分布。于是建立假設(shè)：H0：π=0.5套用二項分布公式=0.0312即p值=0.0312，這個p值大于0.05/2=0.025這個雙邊假設(shè)的檢驗標準，所以接受H0。即每一組合作與否可能完全有運氣決定，與工作本身無關(guān)。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第14頁!這里引用費歇爾的原話：“相信一個假設(shè)已經(jīng)被證明是真的，僅僅是由于該假設(shè)與已知的事實沒有發(fā)生相互矛盾，這種邏輯上的誤解，在統(tǒng)計推斷上是缺乏堅實根基的，在其它類型的科學(xué)推理中也是如此。當顯著性檢驗被準確使用時，只要顯著性檢驗與數(shù)據(jù)相矛盾，這個顯著性檢驗就能夠拒絕或否定這些假設(shè)，但該顯著性檢驗永遠不能確認這些假設(shè)一定是真的，……”所以假設(shè)檢驗的目的在于試圖找到證據(jù)拒絕原假設(shè)，而不在于證明什么是正確的。當沒有足夠證據(jù)拒絕原假設(shè)時，不采用“接受原假設(shè)”的表述，而采用“不拒絕原假設(shè)”的表述。“不拒絕”的表述實際上意味著并未給出明確的結(jié)論，我們沒有說原假設(shè)正確，也沒有說它不正確。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第15頁!統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第16頁!小結(jié)零假設(shè)說參數(shù)等于某個值，名稱的來歷是說參數(shù)值的變化或者差異為零。備擇假設(shè)是零假設(shè)邏輯上的反面假設(shè)，通常描述的是兩個參數(shù)的差別。類錯誤和第二類錯誤。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第17頁!問題1統(tǒng)計顯著是什么意思？樣本數(shù)據(jù)導(dǎo)致拒絕零假設(shè)。2.什么是零假設(shè)？零假設(shè)與備擇假設(shè)有什么不同？二者如何表示？零假設(shè)是某個參數(shù)是否等于一個特定的值。而備擇假設(shè)是問：參數(shù)是否等于所有沒有在零假設(shè)中限定的值。H0和H1。3.一般來說，如果樣本均值與零假設(shè)中所設(shè)的總體均值相差很大，是否應(yīng)該拒絕零假設(shè)？當樣本統(tǒng)計量與零假設(shè)中限定的值相差很大時，我們拒絕零假設(shè)。4.p值能告訴我們什么信息？顯著水平與p值有和區(qū)別？p值表示，當零假設(shè)為真時，從總體得到數(shù)據(jù)時的概率；顯著水平是事先設(shè)定的一個非常小的概率，而p值是由樣本統(tǒng)計量計算出來的。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第18頁!9某英語培訓(xùn)學(xué)校對教學(xué)方法的改進做了一個實驗。在同一門課程中，將18名學(xué)生等分成A組和B組分別采用新舊兩種方法教學(xué)。然后對兩組學(xué)生進行測試。得到A組學(xué)生成績均值為87.65，B組學(xué)生成績均值為87.61，假設(shè)兩組學(xué)生近似正態(tài)且方差相等。那么如何說明新舊兩種方法不同呢？做假設(shè)檢驗：H0:μA=μBH1:μA<μB統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第19頁!7.1作為一個問題的假設(shè)在上述問題中，來自墨西哥和美國的總體均值差異是否為零？零假設(shè)(原假設(shè)）

墨西哥與美國的樣本均值差為8.2-6.8=1.3，這個值是否超出樣本抽樣隨機性解釋范圍？為此，我們可以假設(shè)總體均值相等，即兩個總體的均值之差為零。這就是統(tǒng)計學(xué)中的零假設(shè)(nullhypothesis）。在這個例子里，零假設(shè)就是問這兩個總體均值之差是否等于零。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第20頁!備擇假設(shè)零假設(shè)邏輯上的反面假設(shè)是“兩個參數(shù)的差異不為零”，這種反面假設(shè)稱為備擇假設(shè)(alternativehypothesis)。上述例子中，備擇假設(shè)為：H1:μm-μu≠0顯然，零假設(shè)H0與備擇假設(shè)H1不相容。如果樣本數(shù)據(jù)能證明零假設(shè)提出的問題應(yīng)該否定，那么我們就拒絕零假設(shè)H0，而傾向于備擇假設(shè)H1。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第21頁!犯兩類錯誤的概率當然是越小越好，但是當樣本容量n固定時,α,β不能同時都小，即α變小時,β就變大；而β變小時，α就變大。只有當樣本容量n增大時，才有可能使兩者同時變小。在實際應(yīng)用中,人們常遵循Neyman-Pearson原則：在控制犯類錯誤的概率α的條件下，尋找拒絕域（或檢驗法則），使得犯第二類錯誤的概率β達到最小。不過，基于Neyman-Pearson原則的最優(yōu)檢驗不一定存在。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第22頁!7.2怎樣回答零假設(shè)所提出的問題為了確定1.3這么大的差異是否屬于一類不常見的數(shù)據(jù)集合，我們計算當總體差別為零時，得到一個大于等于1.3的樣本均值之差的概率。這個概率稱為p值。當p值很小，以至于幾乎不可能在零假設(shè)正確時出現(xiàn)目前的樣本數(shù)據(jù)時，我們就拒絕零假設(shè)。p值越小，拒絕零假設(shè)的理由就越充分。著名統(tǒng)計學(xué)家R.Fisher把0.05作為標準，即0.05或者比0.05小的概率被認為是小概率事件。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第23頁!假設(shè)檢驗的機制為了求得p值，我們需要把觀測到的樣本均值之差轉(zhuǎn)換為t=4.25。（這個過程好比把華氏度轉(zhuǎn)換為攝氏度）這里美國的樣本包含了1600個觀測，墨西哥的樣本有1200個觀測。這個例子里，對于觀測數(shù)大于2000的樣本來說，t值大于等于4.25的概率是0.00001。即樣本均值之差大于等于1.3的概率為0.00001，這個結(jié)果是非常非常顯著的。注：統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第24頁!統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第25頁!7.3顯著水平在收集數(shù)據(jù)之前，統(tǒng)計學(xué)家已經(jīng)根據(jù)預(yù)定的小概率確定好一個區(qū)間（拒絕域），這個小概率稱為檢驗的顯著水平（significantlevel），通常選0.05。這個顯著水平通常認為是一個合理的風險。顯著水平為0.05的意思是：在零假設(shè)正確的情況下進行100次抽樣，會有5次錯誤地拒絕零假設(shè)。顯著水平是允許犯類錯誤的最大概率。顯著水平是允許犯第一類錯誤的最大概率。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第26頁!備擇假設(shè)也可改為H1:μm-μu>0這表示墨西哥人的人均水平不低于美國的人均水平。這是一個單邊假設(shè)。通?？梢杂脭?shù)學(xué)方法根據(jù)顯著水平，得到單邊假設(shè)的拒絕域。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第27頁!各種檢驗統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第28頁!7.7統(tǒng)計顯著和實際顯著在一些實際問題場合中，統(tǒng)計顯著性可能是微不足道或者是沒有意義。一個統(tǒng)計顯著的結(jié)果在實際中并不一定是一個顯著結(jié)果。在大樣本中，大多數(shù)結(jié)果都是統(tǒng)計顯著地。一個結(jié)果在實際中顯著與否只有在研究清楚了來龍去脈后才能下結(jié)論。例如，兩個樣本均值相差0.1，并且零假設(shè)被拒絕（統(tǒng)計顯著）。按說我們得承認總體均值有差異，但如果總體數(shù)量很大，一些實際問題中，我們認為實際不顯著。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第29頁!不拒絕零假設(shè)意味著什么P值大于α的時候，結(jié)論到底是什么呢？最早提出這個問題的是：E·皮爾遜問耶日·奈曼，在檢驗一組數(shù)據(jù)是否為正態(tài)分布時，如果沒能得到一個顯著性的P值，那么怎樣才能看這組數(shù)據(jù)是正態(tài)分布的呢？費歇爾其實已經(jīng)間接地回答了這個問題。費歇爾把比較大的P值（代表沒有找到顯著性證據(jù)）解釋為：根據(jù)該組數(shù)據(jù)不能做出充分的判斷。統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第30頁!Excel2007在假設(shè)檢驗方面提供的功能成對觀測值t檢驗；方差相等的雙樣本t檢驗；方差不等的雙樣本t檢驗；兩均值差的z檢驗；雙樣本差的F檢驗；卡方檢驗；方法，在表格區(qū)里錄入兩組數(shù)據(jù)后，點“數(shù)據(jù)”->“數(shù)據(jù)分析”，按提示進行傻瓜式操作即可。Excel2003也可進行假設(shè)檢驗：工具加載宏數(shù)據(jù)分析統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第31頁!統(tǒng)計學(xué)概念和方法第7章共35頁，您現(xiàn)在瀏覽的是第32頁!P值是在零假設(shè)為真（即參數(shù)等于某個值）時觀測到的或比它更極端的數(shù)據(jù)的概率。它給出了在多次抽樣中能得到某種數(shù)據(jù)的機會的大小。它不是零假設(shè)為真的概率。如果p值非常?。ㄒ话阈∮?.05或者0.025）就拒絕零假設(shè)。當一個零假設(shè)被拒絕時，我們可以說樣本結(jié)果是統(tǒng)計顯著的。根據(jù)不同的問題，樣本值須轉(zhuǎn)換