非參數(shù)設檢驗

1、 7.4 非參數(shù)假設檢驗在 7.2 中討論了母體分布類型為已知時的參數(shù)假設檢驗問題.一般在進行參數(shù)假設檢驗之前 ,需要對母體的分布進行推斷.本節(jié)將討論母體分布的假設檢驗問題.因為所用的方法適用于任何分布或者僅有微弱假定分布,實質上是不依賴于分布的.在數(shù)理統(tǒng)計學中不依賴于分布的統(tǒng)計方法統(tǒng)稱為非參數(shù)統(tǒng)計方法.這里所討論的問題就是非參數(shù)假設檢驗問題.這里所研究的檢驗是如何用子樣去似全母體分布,所以又稱為分布擬合擾度檢驗,一般有兩種 :一是擬合母體的分布函數(shù) ;另一是擬合母體分布的概率函數(shù).這里我們只介紹三種檢驗方法:概率圖紙法 .2 -擬合優(yōu)度檢驗和柯爾莫哥洛夫斯米爾諾夫檢驗.一, 概率圖紙法這是一

2、種比較直觀和簡便的檢驗方法.它適合于在現(xiàn)場使用.目前常見的概率圖紙有正態(tài),對數(shù)正態(tài) ,二項分布 ,指數(shù)分布和威布爾分布概率圖紙等 .這里我們只介紹正態(tài)概率圖紙 ,關于其它分布的概率圖紙的構造原理和使用方法都是類似的1. 正態(tài)概率圖紙的構造原理設母體有分布函數(shù)F(x),N(,2 ) 表示正態(tài)分布族 .需要檢驗假設H 0 : F (x)N( , 2)這里和2 均為未知常數(shù) .在原假設 H 0 為真時 ,通過中心化變換1( t)21x2( xF ( x)dte 2 du)e 2 2x22即 ( )服從正態(tài)N(0,1). 函數(shù) u(x) 是 x 的線性函數(shù) .( )(7.13)在(x,u(x) 直角坐

3、標平面上是一條直線.這條直線過 (,0),且斜率為 1.2. 檢驗步驟 .事實上 ,我們知道的不是母體取出的一組子樣觀察值x1 , , xn 由格里汶科定理知道子樣的經(jīng)驗分布函數(shù)Fn (x) 依概率收劍于母體分布函數(shù)F(x). 所以在檢驗母分體布函數(shù)F(x) 是否屬于正態(tài)分布族時,我們以大子樣的經(jīng)驗分布函數(shù)Fn (x) 作為母體分布的近似 .若 H 0 :F(x)N( ,2 ) 為真 ,那末點 ( xi , F ( xi ), i 1, n, 在正態(tài)概率圖紙上應該在一條直線上.所以根據(jù)上述經(jīng)驗分布函數(shù)Fn (x) 是母體分布函數(shù)F(x) 很好的近似 ,點 ( xi , F ( xi ), i

4、1,n,在正態(tài)概率圖紙上也應該近似地在一條直線附近.倘若點列( xi , F ( xi ), 不是近似地在一條直線附近 ,那末只能說明F(x) 不屬于正態(tài)分布族.根據(jù)上述想法,用正態(tài)概率圖紙去檢驗假設H 0 的具體步驟如下 .(1) 整理數(shù)據(jù)(2) 描點(3) 目測這些點的位置 ,3.未知參數(shù)與2 的估計 .若通過概率圖紙檢驗已經(jīng)知道母體服從正態(tài)分布,我們就憑目測在概率圖紙上畫出最靠近各點 ( x(i ) , Fn (x(i ) ), i1, , n, 的一條直線l,因為 ( )服從正態(tài)N(0,1), 所以當( x)0 ,即 x=時對應的概率 F=0.5.因此 ,只要在概率圖紙上面一條F=0.

5、5 的水平直線 .這條直線與直線l 的交點的橫坐標 x0.5 就可以作為參數(shù)為的估計 .又由(x)=1 時所對應的概率 F=0.8413的水平直線 ,這條直線與直線l 的交點的橫坐標為x0.8413 .這個 x0. 8413 顯然滿足x0. 84131即x0. 8413因此可以用差x0.8413x0.5 估計 .0.8413例 7.8 (略 )見 P338二,2 的似體檢驗法前面介紹了直觀而簡便的概率圖紙法,它不需要很多計算就能對母體分布族作出一個統(tǒng)計推斷 ,并且還能對分布所含的參數(shù)作出估計.但是這種方法因人而異,且精度不高 ,又不能控制犯錯誤的概率 .這里介紹2 -擬合檢驗法 ,它能夠像各種

6、顯著性檢驗一樣控制犯第一類錯誤的概率 .設母體的分布函數(shù)為具有明確表達式的F(x),. 我們把隨機變量的值域 R 分成 k 個互不相容的區(qū)間 A1 a0 , a1, A2 a1, a2 , Akak 1 , ak 這些區(qū)間不一定有相同的長度 .設 x1 , xn 是容量為n 的子樣的一組觀測值. ni 為子樣觀測值x1 , , xn 中落入 Ai 的頻nni .數(shù). nin 在這 n 次事件 Ai 出現(xiàn)的頻率為i 1n我們現(xiàn)在檢驗原假設H 0 : F (x)F0 (x) .設在原假設 H 0 成立下 ,母體 落入?yún)^(qū)間 Ai 的概率為 Pi ,即Pi P( Ai ) F0 (ai )F0 ( a

7、i 1 ),i 1,k(7.14)此時 n 個觀察值中 ,恰有 n1個值落入 A1內 , n2 的觀察值落入A2 內,nk 個觀察值落入 Ak 內的概率為n!P1n1 P2n 2Pnn kn1! n2!nk !這是一個多項分布.按大數(shù)定理 ,在 H 0 為真時 ,頻率 ni與概率 Pi 的差異不應太大 .根據(jù)這個思想構造一個統(tǒng)n計量2k( ni nPi )2(7.15)=nPii 1稱做2-統(tǒng)計量 .往后可以看到 ,用2 表示這一統(tǒng)計量不是沒有原因的.因為它的極限分布就是自由度為 k-1的2-分布 .為了能夠把2 -統(tǒng)計量用來作檢驗的統(tǒng)計量,我們必須知道它的抽樣分布.我們先 k=2的簡單情形

8、.在 H 0 成立下 ,P( A1 )Pi , P( A2 )P2其中P1P21這時 ,頻數(shù) n1n2n 我們考察2( n1nP1 )2( n2nP2 ) 2nPnP12令(7.16)Y1 n1 nP1 ,Y2 n2 nP2(7.17)顯然Y1 Y2 n1 n2 n(P1 P2 ) 0(7.18)由此可見 Y1 與 Y2 不是線性獨立 ,且 Y1Y2 .于是2Y12Y22Y12nP1nP2nP1 P22n1nP1(7.19)nP1 (1P1 )根據(jù)德莫弗 -拉普拉斯極限定理,當 n 充分大時 ,隨機變量n1nP1的分布是接近于正nP (1P )11態(tài)的 ,從而推得 k=2 情形的分布 ,當 n

9、 充分大時 ,是接近于自由度為1 的2-分布.對于一般情形有如下的定理 .定理 7.1 當 H 0 為真時 ,即 P1,2, Pk 為母體的真實概率時 ,由 (7.15)式所定義的統(tǒng)計量的漸近分布是自由度為k-1 的2 -分布 ,即密度函數(shù)為1k 3xx 2e 2,k 1kf ( x)2 21(7.20)20,證因為在 n 個觀測值中恰有n1 個觀測值落入A1 內 , n2 的觀察值落入A2 內,nk 個觀察值落入 Ak 內的概率為n!P1n1 P2n2Pnnkn1! n2 ! nk !這里 n1n2nkn .其特征函數(shù)kn2 (t1 ,t k )Pj eit j(7.21)j 1令n jnP

10、j1,2, k(7.22)Yj, jnPj于是有2k(n j nPj )2k2nPjYj(7.23)j1j1和kYjPj =0(7.24)j1由此式看出 ,諸隨機變量 Yj 不是線性獨立的 .(Y1 ,Yk )的聯(lián)合分布的特征函數(shù)具有形狀kkit2j(t1 , tk )expit jnPjPj exp(7.25)j1j1nPj兩邊取對數(shù)得kkit jln(t1 , t n )int jPjn lnPj expnPjj1j1利用指數(shù)數(shù)函和對數(shù)函在t j0處的泰勒展開 :expit j1it jt 2j1np jnPj2nPjn和ln(1x)xx 2( x 2 )2于是ln (t1 ,t k )i

11、n kt jPjnln1ikt jPj1 kt 2jj1n j12n j1ik1k1ik22t jPj(1)nt j Pj2n jt j2n jn j 111當 n時1kk2t 2jln (t1 , tk )t jPj2j 1j 1即1kk2limt j2(t1 , t k )expj 1t jPjn2j 1作一正交變換 :kZ lalj Yj , l 1, , k 1j1Z kkPj Yj1其中 alj應該滿足k1, lraljarj0, ll , r 1, , k 1j1r和kaljPj0,l1, k1j1(7.26)1knt j Pjinj1(7.26)(7.27)由kulaij t y

12、 , l 1,k 1j 1(7.28)kukPjt jj1得到kk2k1t 2jt jPiu 2j(7.29)j 1j 1j1由(7.26) 知 ,當 n時,( Z1, Z k )的特征函數(shù)lim1 k12(u1 , uk )exp2 j1u j .這意味著 Z1, Z k 1 的分布弱收劍于相互n獨立的正態(tài) N(0,1) 分布 ,而 Z k 依概率收劍于0.因此kk2Yj2Z 2jj 1j 1的漸近分布是自由度為k-1 的2-分布 .如果原假設 H 0 只確定母體分布類型,而分布中還含有未知參數(shù)1 , , m 則我們還不能用定理7.1 來作為檢驗的理論依據(jù).費歇證明了如下定理 .從而解決了含

13、未知參數(shù)情形的分布檢驗問題 .定理 7.2設 F(x;1 , ,m )為母體的真實分布,其中 1,m 為 m 個未知參數(shù) .在 F(x;1 , ,m ) 中用 1 , ,m 的極大似然估計,代替 1,m 并且以 F(x;,)mm取代 (7.4)中的 F(x) 得到PiF ( ai ;1 ,m )F (ai 1; 1 , m )(7.30)則將 (7.30)代入 (7.15)所得的統(tǒng)計量2k(nin p )2i(7.31)j1n pi當 n時有自由度為k-m-1 的2-分布.例 7.9 (略 )見 P345由例子來總結一下利用2 -檢驗分布假設的步驟:(1)把母體的值域劃分為k 個互不相交的區(qū)間

14、 ai , ai 1 ), i1, , k, 其中 a1 , ak 可以分別取, ;(2)在 H 0 成立下 ,用極大似然估計法估計分布所含的未知參數(shù);(3) 在 H 0 成立下 ,計算理論概率piF0 ( ai 1 )F0 (ai )并且算出理論頻數(shù)nPi ;(4) 按 照 子 樣 觀 察 值 x1 , x2 , , xn 落 在 區(qū) 間 ai ,ai 1 ) 中 的 個 數(shù) , 即 實 際 頻 數(shù)ni ,i1, k, 和 (3)中算出的理論頻數(shù)nPi ,計算2 ( ni nPi ) nPi的值 ;(5)按照所給出的顯著性水平,查自由度 k-m-1的2-分布表得12 (k m 1) ,其中

15、m 是未知參數(shù)的個數(shù) ;(6)2222,則認為原假設H0成立 .若1 ,則拒絕原假設H0,若1三柯爾莫哥洛夫似合檢驗 - D n 檢驗2 -似合檢驗是比較子樣頻率與母體的概率的.盡管它對于離散型和連續(xù)型母體分布都適用 .但它是依賴于區(qū)間的劃分的.因為即使原假設H 0: F (x)F0 ( x) 不成立 ,在某種劃分下還是可能有F (ai ) F (ai 1 ) F 0( ai )F0 (ai 1 ) Pi ,i1, k 從而不影響(7.5) 中2 的值 ,也就是有可能把不真的原假設 H0 接受過來.由此看到,用2 -檢驗實際上只是檢驗了F0 (ai ) F0 ( ai 1 ) Pi ,i 1,

16、 k, 是否為真 ,而并未真正地檢驗母體分布F(x) 是否為 F0 ( x) .柯爾莫哥洛夫對連續(xù)母體的分布提出了一種方法.一般稱做柯爾莫哥洛夫檢驗或D n -檢驗 .這個檢驗比較子樣經(jīng)驗分布函數(shù)Fn (x) 和母體分布函數(shù)F(x) 的 .它不是在劃分的區(qū)間上考慮Fn (x) 與原假設的分布函數(shù)之間的偏差.而是在每一點上考慮它們之間的偏差.這就克服了2 -檢驗的依賴于區(qū)間劃分的缺點 .但母體分布必須假定為連續(xù) .根據(jù)格里汶科定理,我們可以把子樣經(jīng)驗分布函數(shù)看作實際母體分布函的縮影.如果原假設成立 ,它與 F(x) 的差距一般不應太大.由此柯爾莫哥洛夫提出一個統(tǒng)計量Dnsup| Fn ( x)

17、F ( x) |(7.32)x并且得到這統(tǒng)計量Dn 的精確分布和極限分布K( ).它們都不依賴于母體的分布.這里我們不加證明地引入柯爾莫哥洛夫定理.定理7.3設母體有連續(xù)分布函數(shù)F(x), 從中抽取容量為n 的字樣 ,并設經(jīng)驗分布函數(shù)為Fn (x) ,則Dnsup| Fn ( x) F ( x) |x的分布函數(shù)P D n12n0,當0132 n12n 12n2n2n=132n1f ( y1 , , y n ) dy,02 n2 n2 n2n2n11,2n(7.33)其中f ( y1 ,yn )n!當0y1yn10,其它在時有極限分布函n1) j2 j 2 2 ),當P( nDn)K ( )(e

18、xp(0j(7.34)0,當0在應用柯爾莫哥洛夫檢驗時,應該注意的是 ,原假設的分布的參數(shù)值原則上應是已知的.但在參數(shù)為未知時 ,近年來有人對某些母體分布如正態(tài)分布和指數(shù)分布用下列兩種方法估計.()可用另一個大容量子樣來估計未知參數(shù),(2)如果原來子樣容量很大 , 也可用來估計未知參數(shù) .不過此 D n -檢驗是近似的 .在檢驗時以取 .較大的顯著性水平為宜,一般取=0.10-0.12.Dn -檢驗檢驗母體有連續(xù)分布函數(shù)F(x) 這個假設的步驟如下:(1)從母體抽取容量為n 的子樣 ,并把子樣觀察值按由小到大的次序排列;(2) 算出經(jīng)驗分布函0,當x x(1)nj(x)x( j 1) , j 1, nFn (x),當x( j ) xn1,當kx(3) 在原假設 H 0下,計算觀測值處的理論分布函數(shù)F(x) 的值 ;(4) 對每一個 xi 算出經(jīng)驗分布函數(shù)與理論分布函數(shù)的差的絕對值| Fn ( x(i ) )F (x(i) ) | 與 | Fn ( x(i 1) )F ( x( i ) ) |(5) 由(4) 算出統(tǒng)計量的值(6) 給出顯著性水平,由柯爾莫哥洛夫檢驗的臨界值