第二章非參數(shù)統(tǒng)計分析(研究)20081201課件

第二章

單樣本非參數(shù)檢驗2.1符號檢驗和分位數(shù)推斷2.2Cox-Stuart趨勢檢驗

2.3游程檢驗2.4Wilcoxon符號秩檢驗2.5正態(tài)記分檢驗2.6相對效率比較2.1符號檢驗符號檢驗的統(tǒng)計量為符號檢驗。設(shè)隨機(jī)變量X1，…，Xn是從某個總體X中抽出的簡單隨機(jī)樣本。且分布函數(shù)F(X)在X=0是連續(xù)的。假設(shè)檢驗問題檢驗的統(tǒng)計量可以取在原假設(shè)為真的條件下，有服從參數(shù)為n和0.5的二項分布b(n,0.5)。由于原假設(shè)為真時，B應(yīng)該不太大，也不太小，如果B太大或太小，應(yīng)該拒絕原假設(shè)。對于顯著性，求c1和c2，有拒絕區(qū)域為:

精確的符號檢驗是指檢驗的p值是由精確的概率給出的。我們利用正號和負(fù)號的數(shù)目，來檢驗?zāi)臣僭O(shè)，這是一種最簡單的非參數(shù)方法。

【例】聯(lián)合國人員在世界上66個大城市的生活花費指數(shù)(以紐約市1996年12月為100)按自小至大的次序排列如下(這里北京的指數(shù)為99)。2.1.1.精確中位數(shù)的符號檢驗

667578808181828383

83

83848585

8686

86

868787888888

88

888989

89

8990909191

91

91

9293939696

9697

99100101102103103104104104105106109109110110110111113115116117118155192

這個總體的中間水平是多少？北京使在該水平之上還是之下？（北京為99）通常在正態(tài)總體分布的假設(shè)下，關(guān)于總體均值的假設(shè)檢驗和區(qū)間估計是用與t檢驗有關(guān)的方法進(jìn)行的。然而，在本例中，總體分布是未知的。為此，首先看該數(shù)據(jù)的直方圖從圖中很難說這是什么分布。

假定用總體中位數(shù)來表示中間位置，這意味著樣本點，取大于M的的概率應(yīng)該與取小于M的概率相等。所研究的問題，可以看作是只有兩種可能“成功”或“失敗”。符號檢驗的思路，記成功：X-0大于零，即大于中位數(shù)M，記為“+”；失?。篨-0小于零，即小于中位數(shù)M，記為“-”。令S+=得正符號的數(shù)目

S－=得負(fù)符號得數(shù)目可以知道S+或S—均服從二項分布B（65，0.5）。則可以用來作檢驗的統(tǒng)計量。其假設(shè)為：關(guān)于非參數(shù)檢驗統(tǒng)計量需要說明的問題在非參數(shù)檢驗中，可以得到兩個相互等價的統(tǒng)計量，比如在符號檢驗中，得負(fù)號與得正好的個數(shù)，就是一對等價的統(tǒng)計量，因為S++S-=N。那么我們在檢驗時應(yīng)該用那個呢？對于左側(cè)檢驗，當(dāng)零假設(shè)為真的下，S+

應(yīng)該不大不小。當(dāng)過小，即只有少數(shù)的觀測值大于假定值，則可能假定值太大，目前總體真實中位數(shù)可能要小一些。如果，則拒絕原假設(shè)。所以我們選擇統(tǒng)計量對于右側(cè)檢驗，當(dāng)零假設(shè)為真的下，S+應(yīng)該不大不小。當(dāng)過大，即有多數(shù)的觀測值大于假定值，則可能假定值太小，目前總體的真實中位數(shù)可能要大一些。如果，則拒絕原假設(shè)。我們選擇統(tǒng)計量對于雙側(cè)檢驗，當(dāng)零假設(shè)為真的下，S+應(yīng)該不大不小。當(dāng)其中之一很小，即有觀測值大于或小于假定值，假定值或太小或太大。如果，則拒絕原假設(shè)。我們選擇統(tǒng)計量

檢驗統(tǒng)計量S+=23S+=23P-值

=0.01242=0.0248檢驗的結(jié)果拒絕零假設(shè)拒絕零假設(shè)結(jié)論中位數(shù)小于99中位數(shù)不等于992.1.2.大樣本的情形當(dāng)樣本容量足夠大，我們可以利用二項分布的正態(tài)近似來對該問題進(jìn)行檢驗。因為計數(shù)統(tǒng)計量在原假設(shè)為真時，服從b(n,0.5)。且其均值為0.5n，方差為0.25n。則檢驗的統(tǒng)計量為

當(dāng)B<n/2，+0.5;當(dāng)B>n/2，-0.5。這個加或減一個常數(shù)的原因是使得其估計出的p值更接近近似值。舉例如下。假設(shè)x服從b(20,0.7)，用二項分布和其正態(tài)近似求x小于12的概率比較其結(jié)果。精確概率近似概率計算一:近似概率計算二:2.1.3置信區(qū)間

1.小樣本的置信區(qū)間中位數(shù)M的點估計是樣本的中位數(shù)，因而用順序統(tǒng)計量來構(gòu)造中位數(shù)的置信區(qū)間是很自然的。對于固定的n，前面的符號檢驗表示，大于或小于中位數(shù)M的樣本點的個數(shù)服從二項分布b(n,0.5)，置信度為1-的可以滿足注意到，我們現(xiàn)在關(guān)鍵是確定Xi-1和Xj+1的位置。根據(jù)上面的公式，可以知道區(qū)間作為中位數(shù)M的置信區(qū)間其置信度為只要n>7，則置信度大于99％，然而這并非是最好的，區(qū)間估計中有兩個需要考慮的問題：一個是精度，另一個是置信度。這個估計雖然置信度十分高，但是精度很低。注意到，任取i和j，下面選擇最優(yōu)的區(qū)間，即置信度足夠大，區(qū)間足夠小。例表是16名學(xué)生的體能測試的成績82，53，70，73，103，71，69，80，54，38，87，91，62，75，65，77求其95％的置信區(qū)間。將這16個數(shù)按順序排列，得到16個順序統(tǒng)計量，兩兩搭配可以有120個區(qū)間，留下大于0.95的區(qū)間如下：下限序號上限序號區(qū)間區(qū)間長置信度11138，77390.96157836911238，80420.98934936511338，82440.99789428711438，87490.99972534211538，90520.99996948211638，103650.99998474121153，77240.96133422921253，80270.98910522521353，82290.99765014621453，87340.99948120121553，90370.99972534221653，103500.999740601下限序號上限序號區(qū)間區(qū)間長置信度31154，77230.95950317431254，80260.9872741731354，82280.99581909231454，87230.99765014631554，90360.99789428731654，103490.99790954641162，77150.95095825241262，80180.97872924841362，82200.9872741741462，87250.98910522541562，90280.98934936541662，103410.98936462451265，80150.95095825251365，82170.95950317451465，87220.96133422951565，90250.96157836951665，103380.961593628精確度較優(yōu)的區(qū)間為

[62,77]0.950958252[65,80]0.950958252[65,82]0.959503174綜合起來看，[65,80]（0.950958252）更合理。2.大樣本下的置信區(qū)間因為在樣本容量足夠大的場合。二項分布近似正態(tài)分布，則 置信區(qū)間為一個對稱區(qū)間，假設(shè)區(qū)間為

是第k個順序統(tǒng)計量。置信度為95％。2.2Cox-Stuart趨勢檢驗

人們經(jīng)常要看某項發(fā)展的趨勢．但是從圖表上很難看出是遞增，遞減，還是大致持平．例我國自1985年到1996年出口和進(jìn)口的差額(balance)為(以億美元為單位)—149.0119.737.777.5—66.087.480.543.5122.254.0167.0122.2從這個數(shù)字，我們能否說這個差額總的趨勢是增長，還是減，還是都不明顯呢?下圖為該數(shù)據(jù)的點圖．從圖可以看出，總趨勢似乎是增長，但1993年有個低谷；這個低谷能否說明總趨勢并不是增長的呢?我們希望能進(jìn)行檢驗．三種假設(shè)：

怎么進(jìn)行這些檢驗?zāi)?可以把每一個觀察值和相隔大約n／2的另一個觀察值配對比較；因此大約有n／2個對子．然后看增長的對子和減少的對子各有多少來判斷總的趨勢．具體做法為取和。這里在這個例子中n=12，因而c＝6。這6個對子為(x1,x7)，(x2，x8)，(x3，x9)，(x4，x10)，(x5，xl1)，(x6，x12)用每一對的兩元素差Di=xi-xi+c的符號來衡量增減。令S+為正Di=xi-xi+c的數(shù)目，而令S-為負(fù)的Di=xi-xi+c的數(shù)。顯然當(dāng)正號太多時，即S+很大時(或S-很小時)，有下降趨勢，反之，則有增長趨勢．在沒有趨勢的零假設(shè)下它們應(yīng)服從二項分布b(6,0.5)，這里n為對子的數(shù)目(不包含差為0的對子)．該檢驗在某種意義上是符號檢驗的一個特例．類似于符號檢驗，對于上面1，2，3三種檢驗，分別取檢驗統(tǒng)計量K=S+,K=S-和K=min(S+,S-)．在本例中，這6個數(shù)據(jù)對的符號為5負(fù)1正，所以我們不能拒絕原假設(shè)。假設(shè)統(tǒng)計量

P值K=min(S+,S-)P(K<k)K=min(S+,S-)P(K<k)K=min(S+,S-)2P(K<k)游程檢驗是樣本的隨機(jī)性檢驗，其用途很廣。例如當(dāng)我們要考察生產(chǎn)中出現(xiàn)次品出現(xiàn)是隨機(jī)的，還是成群的，一個時間序列是平穩(wěn)的還是非平穩(wěn)的，模型的隨機(jī)干擾項是否是白噪聲等都可以通過游程檢驗來確定。2.3游程檢驗從生產(chǎn)線上抽取產(chǎn)品檢驗，是否應(yīng)采用頻繁抽取小樣本的方法。在一個剛剛建成的制造廠內(nèi)，質(zhì)檢員需要設(shè)計一種抽樣方法，以保證質(zhì)量檢驗的可靠性。生產(chǎn)線上抽取的產(chǎn)品可以分成兩類，有瑕疵，無瑕疵。檢驗費用與受檢產(chǎn)品數(shù)量有關(guān)。一般情況下，有毛病的產(chǎn)品如果是成群出現(xiàn)的，則要頻繁抽取小樣本，進(jìn)行檢驗。如果有毛病的產(chǎn)品是隨機(jī)產(chǎn)生的，則每天以間隔較長地抽取一個大樣本?，F(xiàn)隨機(jī)抽了30件產(chǎn)品，按生產(chǎn)線抽取的順序排列：0000111111111111110001111111檢驗瑕疵的產(chǎn)品是隨機(jī)出現(xiàn)的嗎？

有瑕疵的產(chǎn)品是隨機(jī)出現(xiàn)有瑕疵的產(chǎn)品是成群出現(xiàn)隨機(jī)抽取的一個樣本，其觀察值按某種順序排列，如果研究所關(guān)心的問題是：被有序排列的兩種類型符號是否隨機(jī)排列，則可以建立雙側(cè)備擇．假設(shè)組為H0：序列是隨機(jī)的

H1：序列不是隨機(jī)的（雙側(cè)檢驗）如果關(guān)心的是序列是否具有某種傾向，則應(yīng)建立單側(cè)備擇，假設(shè)組為H0：序列是隨機(jī)的

H1:序列具有混合的傾向（右側(cè)檢驗）

H0：序列是隨機(jī)的H1:序列具有成群的傾向（左側(cè)檢驗）游程：連續(xù)出現(xiàn)的具有相同特征的樣本點為一個游程。檢驗統(tǒng)計量。在H0為真的情況下，兩種類型符號出現(xiàn)的可能性相等，其在序列中是交互的。相對于一定的m和n，序列游程的總數(shù)應(yīng)在一個范圍內(nèi)。若游程的總數(shù)過少，表明某一游程的長度過長，意味著有較多的同一符號相連，序列存在成群的傾向；若游程總數(shù)過多，表明游程長度很短，意味著兩個符號頻繁交替，序列具有混合的傾向。選擇的檢驗統(tǒng)計量為

R＝游程的總數(shù)目游程R的分布為：可以做如下的考慮：

先在m+n個抽屜里隨機(jī)選擇m個，抽出的抽屜里放入“1”，沒有的放入“0”，所有可能基本的基本事件數(shù)為：有種。

或先在m+n個抽屜里隨機(jī)選擇n個，抽出的抽屜里放入“0”，沒有的放入“1”，所有可能基本的基本事件數(shù)為：有種。1、必定有k+1個由“1”構(gòu)成的游程和k個由“0”構(gòu)成的游程；2、或必定有k+1個由“0”構(gòu)成的游程和k個由“1”構(gòu)成的游程。如果游程數(shù)為奇數(shù)R=2K＋1，這意味著：第一種情形，這就必須在m－1個位置中插入K個“隔離元”，使有“1”有k+1個游程，可以有種，同樣可以在n-1個“0”的n-1個空位上插入K-1個“隔離元”，有種。共有有利基本事件數(shù)。同理，在第二種情形下，有。故：同理備擇假設(shè)P值序列具有混合的傾向右尾概率序列具有聚類的傾向左尾概率序列是非隨機(jī)的較小的左尾概率的兩倍

n1是0的個數(shù),n2是1的個數(shù)。

質(zhì)量檢查人員對某車間生產(chǎn)的螺栓進(jìn)行抽樣檢查，依次檢查了50個。以“0”代表不合格，“1”代表合格。檢查結(jié)果如下：1111110111011111111101011110111111111110111101110

問不合格品的分布是否是隨機(jī)的？a=0.05。

例如，在我國的工業(yè)和商業(yè)企業(yè)隨機(jī)抽出22家進(jìn)行資產(chǎn)負(fù)債率行業(yè)間的差異比較。有如下資料：這兩個行業(yè)的負(fù)債水平是否相等。首先，設(shè)“1”為工業(yè)，“2”為商業(yè)，將兩個行業(yè)的數(shù)據(jù)排序，得行業(yè)編號得游程：1111121111222111222222工業(yè)647655825982707561647383商業(yè)7780806593918491848686人工模擬的白噪聲序列的游程檢驗人工模擬的隨機(jī)游走序列的游程檢驗人工模擬的ar(1)序列的游程檢驗上證指數(shù)xtLn(xt)Ln(xt-1)收益率919.446.82..899.616.806.82-.021803876.506.786.80-.026025898.176.806.78.024423896.416.806.80-.001961906.986.816.80.011723918.406.826.81.012513929.526.836.82.012035907.856.816.83-.023589916.726.826.81.009723915.016.826.82-.001867942.446.856.83.014245收益率是隨機(jī)序列2.4單樣本的Wilcoxon符號秩檢驗2.4.1

Wilcoxon符號秩檢驗

前面幾種推斷的方法都只依賴于數(shù)據(jù)的符號，沒有考慮數(shù)據(jù)的大小，Wilcoxon符號秩檢驗是檢驗關(guān)于中位數(shù)對稱的總體的中位數(shù)是否等于某個特定值，檢驗的假設(shè)：檢驗的步驟:1.計算，它們代表這些樣本點到的距離；2.把上面的n個絕對值排序，并找出它們的n個秩；如果有相同的樣本點，每個點取平均秩(如1，4，4，5的秩為1，2.5，2.5，4)；4.雙邊檢驗,在零假設(shè)下，和應(yīng)差不多．因而，當(dāng)其中之一非常小時，應(yīng)懷疑零假設(shè)；取檢驗統(tǒng)計量T=min(，)；

關(guān)于非參數(shù)統(tǒng)計分析，對統(tǒng)計量選擇的說明：對于左側(cè)檢驗，統(tǒng)計量值很小時，拒絕原假設(shè)。如果左側(cè)檢驗的備擇假設(shè)被接受，W-大，而W＋小，故取W＋為統(tǒng)計量。對于右側(cè)檢驗，統(tǒng)計量的值很大時，拒絕原假設(shè)。如果右側(cè)檢驗的備擇假設(shè)被接受，W＋

大，而W-

小，故取W-

為統(tǒng)計量5.根據(jù)得到的T值，查Wilcoxon符號秩檢驗的分布表以得到在零假設(shè)下P值．如果n很大要用正態(tài)近似：得到一個與T有關(guān)的正態(tài)隨機(jī)變量Z的值，再查表得P值或直接用計算機(jī)得到P值。如生活花費指數(shù)例子，有n=65，W=679，Wilcoxon符號秩檢驗表假設(shè)檢驗的統(tǒng)計量P值

檢驗統(tǒng)計量Z=-2.5725Z=-2.5725P-值=0.0052=0.01檢驗的結(jié)果拒絕零假設(shè)拒絕零假設(shè)結(jié)論中位數(shù)小于99中位數(shù)不等于992.4.2Holdges-Lemmann

估計量定義2.1假設(shè)X1,X2,…,Xn為簡單隨機(jī)樣本，計算任意兩個樣本點的平均數(shù)，從而得到一個樣本長度為n(n+1)/2的新的數(shù)據(jù)，這組數(shù)據(jù)稱為Walsh平均值，即定理由定義2.1，Wilcoxon符號秩統(tǒng)計量W+可以表示為

即W+是Walsh平均值中符號為正的個數(shù)。如果中心是，則定義即W+()是檢驗的的統(tǒng)計量。定義2.2假定假設(shè)X1,X2,…,Xn為F(X－)的簡單隨機(jī)樣本，如果F(X)為對稱，則定義Walsh中位數(shù)如下：

作為的Holdges-Lemmann

估計量。

為了了解垃圾郵件對大型公司決策層工作的影響程度，某個網(wǎng)站收集了19家大型公司的CEO影響每天收到的垃圾郵件件數(shù)，得到如下數(shù)據(jù)：310350370375385400415425440195325295250340295365375360385從平均的意義看，收到的垃圾郵件的數(shù)量的中間位置是否超過了320封。dataa;inputx1-x19;cards;310350370375385400415425440195325295250340295365375360385;%macro

PGI;datab;seta;%doi=1%to19;%doj=&i%to19;walsh=(x&i+X&j)/2;ifwalshthenoutput;keepwalsh;%end;%end;%mend;%PGI;proc

printdata=b;run;proc

sortdata=bout=b2;bywalsh;proc

printdata=b2;run;datab3;setb2;n+1;ifn=95thenoutput;ifn=96thenoutput;elsedelete;proc

printdata=b3;run;

Obs

walshn1355.0952357.596

打結(jié)的情況．在許多情況下，數(shù)據(jù)中有相同的數(shù)字，稱為結(jié)(tie)．結(jié)中數(shù)字的秩為它們按升冪排列后位置的平均值．比如2.5，3.1，3.1，6.3，10.4這五個數(shù)的秩為1，2.5，2.5，4，5。也就是說，處于第二和第三位置的兩個3.1得到秩(2十3)／2＝2.5．這樣的秩稱為中間秩。如果結(jié)多了，零分布的大樣本公式就不準(zhǔn)了。因此，在公式中往往要作修正。其中用τi表示第i個結(jié)的性同觀測值的個數(shù)。用g表示結(jié)的個數(shù)。觀測值2247778999910秩1.51.5355579.59.59.59.512結(jié)統(tǒng)計量τi2—3—4—2.5正態(tài)得分檢驗

(一)思想在各種各樣的秩檢驗中，檢驗的統(tǒng)計量為秩的函數(shù)，而秩本身在沒有結(jié)時是有限個自然數(shù)的排列，它的分布是均勻分布。人們自然會用其他分布的樣本。自然我們會想到正態(tài)分布。正態(tài)記分檢驗的基本思想就是把升冪排列的秩Ri用升冪排列的正態(tài)分位點來替代。我們在Wilcoxon符號檢驗的基礎(chǔ)上，建立線性符號秩統(tǒng)計量。正態(tài)記分檢驗的基本思想就是：把升冪排列的秩用升冪排列的正態(tài)分位點來替代。首先將按升冪排列，記秩為例如Wilcoxon統(tǒng)計量為Wilcoxon記分函數(shù)1n-1n累積概率1/(n+1)(n-1)/(n+1)n/(n+1)正態(tài)記分函數(shù)例如正態(tài)記分檢驗統(tǒng)計量為正態(tài)積分檢驗的統(tǒng)計量為：(二)檢驗

檢驗的假設(shè)為：則檢驗的統(tǒng)計量為

例、下面的數(shù)據(jù)是亞洲10個國家的新生兒死亡率（‰）33

363115964657788

秩

符號秩

平方33110.090909-1.33518-1.335181.78270136220.181818-0.90846-0.908460.82529531330.272727-0.60459-0.604590.365523151940.363636-0.34876-0.348760.12163192550.454545-0.11419-0.114190.01303862860.5454550.1141850.1141850.01303843070.6363640.3487560.3487560.121631653180.7272730.604