非參數(shù)第三章課件

1、第三章 單樣本問題3.1 廣義符號(hào)檢驗(yàn)和有關(guān)的置信區(qū)間例3.1 （數(shù)據(jù)：ExpensiveCities.TXT ）下面是世界上71個(gè)大城市的花費(fèi)指數(shù)按遞增次序排列如下（上海是44位，其指數(shù)為63.5）： 27.8 27.8 29.1 32.2 32.7 32.7 36.4 36.5 37.5 37.7 38.8 41.9 45.2 45.8 46.0 47.6 48.2 49.9 51.8 52.7 54.9 55.0 55.3 55.5 58.2 60.8 62.7 63.5 64.6 65.3 65.3 65.4 66.2 66.7 67.7 71.2 71.7 73.9 74.3 74.

2、5 76.6 76.8 77.7 77.9 79.1 80.9 81.0 82.6 85.7 86.2 86.4 89.4 89.5 90.3 90.8 91.8 92.8 95.2 97.5 98.2 99.1 99.3 100.0 100.6 104.1 104.6 105.0 109.4 122.4 第1頁(yè)，共37頁(yè)。 可以假定這個(gè)樣本是從世界許多大城市中隨機(jī)抽樣得到的，所有大城市的指數(shù)組成了總體.有人說(shuō)64應(yīng)該是這種大城市花費(fèi)指數(shù)的中位數(shù)（median）;而另外有人說(shuō)，64頂多是下四分位數(shù)（first quantile）.這里看上去有兩個(gè)關(guān)于位置參數(shù)的不同檢驗(yàn)問題.（1）樣本中位數(shù)M是

3、否大于64.（2）樣本下四分位點(diǎn)Q0.25是否小于64.由于中位數(shù)也是分位點(diǎn)（0.5分位點(diǎn)）.這兩個(gè)問題實(shí)際上是一個(gè)問題，即關(guān)于分位點(diǎn)的檢驗(yàn)問題.當(dāng)然也出現(xiàn)了求 分位點(diǎn) 的 置信區(qū)間問題.第2頁(yè)，共37頁(yè)。第3頁(yè)，共37頁(yè)。3.1.1 廣義符號(hào)檢驗(yàn)：對(duì)分位點(diǎn)進(jìn)行的檢驗(yàn)所謂的廣義符號(hào)檢驗(yàn)是對(duì)連續(xù)變量 分位點(diǎn) 進(jìn)行的檢驗(yàn)；而狹義的符號(hào)檢驗(yàn)則是僅針對(duì)中位數(shù) 進(jìn)行的檢驗(yàn).假定檢驗(yàn)的零假設(shè)是 ，而備擇假設(shè)則可能為記樣本中小于 的點(diǎn)數(shù)為 ，而大于 的點(diǎn)數(shù)為并且用小寫的 和 分別代表 和 的實(shí)現(xiàn)值.記 第4頁(yè)，共37頁(yè)。在零假設(shè) 下， 應(yīng)該服從二項(xiàng)分布 對(duì) 的檢驗(yàn)，下面變量K 的分布為 ， 為樣本 分位點(diǎn)備

4、擇假設(shè)值使檢驗(yàn)有意義的條件第5頁(yè)，共37頁(yè)。而對(duì)于 的特例，這時(shí) 為中位數(shù)，通常記為M ，則有下面的表.對(duì) 的檢驗(yàn)，變量 的分布為備擇假設(shè) 值第6頁(yè)，共37頁(yè)。例3.1（續(xù)）下面討論例3.1的樣本下四分位點(diǎn) 是否小于64的檢驗(yàn).則檢驗(yàn)問題是第7頁(yè)，共37頁(yè)。再看關(guān)于64是否為中位數(shù)的檢驗(yàn)，大樣本正態(tài)近似第8頁(yè)，共37頁(yè)。3.1.2 基于符號(hào)檢驗(yàn)的中位數(shù)及分位點(diǎn)的置信區(qū)間中位數(shù) 的對(duì)稱置信區(qū)間.首先我們考慮關(guān)于中位數(shù) 的基于符號(hào)檢驗(yàn)的 置信區(qū)間.它定義為：對(duì)于顯著性水平為 的中位數(shù)的雙邊符號(hào)檢驗(yàn) ，不會(huì)使 被拒絕的那些零假設(shè)點(diǎn) 的集合.第9頁(yè)，共37頁(yè)。例3.2（數(shù)據(jù)：tax.txt）下面是隨機(jī)

5、抽取的22個(gè)企業(yè)的納稅額.數(shù)據(jù)已經(jīng)按照升冪排列. 1.00 1.35 1.99 2.05 2.06 2.10 2.30 2.61 2.86 2.95 2.98 3.23 3.73 4.03 4.82 5.24 6.10 6.64 6.81 6.86 7.11 9.00實(shí)際置信度置信區(qū)間0.9999995（1，9）0.999989（1.35，7.11）0.9998789（1.99，6.86）0.9991446（2.05，6.81）0.9830995（2.10，6.10）0.9475212（2.30，5.24）第10頁(yè)，共37頁(yè)。 3.2 Wilcoxon符號(hào)秩檢驗(yàn)，點(diǎn)估計(jì)和區(qū)間估計(jì)Wilcoxo

6、n符號(hào)秩檢驗(yàn)：把觀測(cè)值和零假設(shè)的中心位置之差的絕對(duì)值的秩分別按照不同的符號(hào)相加作為其檢驗(yàn)統(tǒng)計(jì)量.注意，該檢驗(yàn)需要假定樣本點(diǎn) 來(lái)自連續(xù)對(duì)稱總體分布.例3.3 （數(shù)據(jù)：EuroAlc.txt）下面是10個(gè)歐洲城鎮(zhèn)每人每年平均消費(fèi)的酒類相當(dāng)于純酒精數(shù)（單位：升），數(shù)據(jù)已經(jīng)按照升冪排列.4.12 5.81 7.63 9.74 10.39 11.92 12.32 12.89 13.54 14.45 檢驗(yàn)問題是：第11頁(yè)，共37頁(yè)。Wilcoxon符號(hào)秩檢驗(yàn)步驟如下：（1）計(jì)算3.88 2.19 0.37 1.74 2.39 3.92 4.32 4.89 5.54 6.45（2）把上面的n個(gè)絕對(duì)值排序，并

7、找出它們的n個(gè)秩，如果有相同的樣本點(diǎn)，每個(gè)點(diǎn)取平均秩.5 3 1 2 4 6 7 8 9 10（3）令 等于 的 的秩的和. 而 等于 的 的秩的和.注意：第12頁(yè)，共37頁(yè)。（4）對(duì)雙邊檢驗(yàn) ，在零假設(shè)下， 和 應(yīng)該差不多.因而，當(dāng)其中之一很小時(shí)，應(yīng)懷疑零假設(shè).取檢驗(yàn)統(tǒng)計(jì)量 類似的，對(duì) 的單邊檢驗(yàn)取對(duì) 的單邊檢驗(yàn)取 第13頁(yè)，共37頁(yè)。（5）根據(jù)得到的W值，利用統(tǒng)計(jì)軟件或查Wilcoxon符號(hào)秩檢驗(yàn)的分布表以得到在零假設(shè)下的p值.Psignrank(w,10)得到p=0.032（6）如果p值較小，則可以拒絕零假設(shè).如果p值較大則沒有充分證據(jù)來(lái)拒絕零假設(shè)，但不意味著接受零假設(shè). wilcox.

8、test(x-8,alt=greater) Wilcoxon signed rank testdata: x - 8 V = 46, p-value = 0.03223alternative hypothesis: true location is greater than 0 第14頁(yè)，共37頁(yè)。W+在零假設(shè)下的分布.秩符號(hào)的8種組合123 + - - + + - + - + - + - + +- - - + - + + + W+0 1 2 3 3 4 5 6概率注意 W+和 W- Wilcoxon分布的關(guān)系第15頁(yè)，共37頁(yè)。3.2.2 基于Wilcoxon符號(hào)秩檢驗(yàn)的點(diǎn)估計(jì)和區(qū)間估計(jì).首

9、先求每?jī)蓚€(gè)數(shù)的平均 （一共有 個(gè)）來(lái)擴(kuò)大樣本數(shù)目.這樣的平均稱為Walsh平均.可以證明前面的統(tǒng)計(jì)量 W+等于大于零的Walsh平均的個(gè)數(shù).即 如果考慮移位 ，即 ，同樣可以用第16頁(yè)，共37頁(yè)。 對(duì)稱中心 可由Walsh平均的中位數(shù)來(lái)估計(jì)，稱為Hodge-Lehmann估計(jì)量： 利用Walsh平均還可以得到 的置信區(qū)間，先按照升冪排列Walsh平均，記為 ，則 的 置信區(qū)間為這里整數(shù)k由 來(lái)決定. 第17頁(yè)，共37頁(yè)。在大樣本時(shí)，用類似于Wilcoxon檢驗(yàn)的近似得到例3.3歐洲酒精人均消費(fèi)的例子.Walsh平均有55個(gè)值（按照升冪排列）4.120 4.965 5.810 5.875 6.7

10、20 6.930 7.255 7.630 7.775 8.020 8.100 8.220 8.505 8.685 8.830 8.865 9.010 9.065 9.285 9.350 9.675 9.740 9.775 9.975 10.065 10.130 10.260 10.390 10.585 10.830 11.030 11.040 11.155 11.315 11.355 11.640 11.640 11.920 11.965 12.095 12.120 12.320 12.405 12.420 12.605 12.730 12.890 12.930 13.185 13.215 1

11、3.385 13.540 13.670 13.995 14.450第18頁(yè)，共37頁(yè)。3.3 正態(tài)記分檢驗(yàn)考慮線性秩統(tǒng)計(jì)量 ，要按照正態(tài)分布來(lái)定義記分函數(shù)，為了使 ，不用 作為這里的記分，而稍微改變一下記分函數(shù)使其為經(jīng)過相應(yīng)的替換后第19頁(yè)，共37頁(yè)。把 標(biāo)準(zhǔn)化，就得到這里的對(duì)單樣本位置的所謂正態(tài)記分檢驗(yàn)統(tǒng)計(jì)量如果觀測(cè)值的總體分布接近于正態(tài)，或者在大樣本情況下，可以認(rèn)為T近似的有標(biāo)準(zhǔn)正態(tài)分布.實(shí)際上，對(duì)于很小的樣本也適用.如果記 ，則有 大約等于 ，也就是說(shuō)，它和期望正態(tài)記分相近.第20頁(yè)，共37頁(yè)。4.125.187.639.7410.3911.9212.3212.8913.5414.453

12、.882.190.371.742.393.924.324.985.546.4553124678910-0.6045-0.3487-0.11410.22980.47270.74780.90841.09681.33511.69064.125.187.639.7410.3911.9212.3212.8913.5414.458.386.694.872.762.110.580.180.391.041.9510987631245-1.6906-1.3351-1.0968-0.9084-0.7478-0.3487-0.11410.22980.47270.6045Sn=5.41406，T=1.9135，p=0

13、.02783Sn= -4.9346 T= -1.74409 p=0.0405結(jié)論：拒絕零假設(shè)結(jié)論：拒絕零假設(shè)例3.3 的正態(tài)記分檢驗(yàn)第21頁(yè)，共37頁(yè)。正態(tài)記分（NS+）相對(duì)于Wilcoxon符號(hào)秩檢驗(yàn)（W+）對(duì)于不同總體分布的ARE總體分布均勻 正態(tài) Logistic 重指數(shù) CauchyARE（NS+，W+）+ 1.047 0.955 0.847 0.708第22頁(yè)，共37頁(yè)。3.4 Cox-Stuart趨勢(shì)檢驗(yàn)例3.4（數(shù)據(jù)：TJAir.txt ）天津機(jī)場(chǎng)從1995年1月到2003年12月的108個(gè)月旅客吞吐量（人次）54379 45461 55408 59712 60776 57635

14、 63335 71296 70250 76866 75561 66427 61330 58186 67799 76360 86207 75509 83020 89614 75791 80835 72179 61520 66726 60629 68549 73310 80719 67759 70352 82825 70541 74631 68938 53318 62653 58578 63292 69535 73379 62859 72873 87260 67559 76647 70590 58935 58161 64057 63051 58807 63663 57367 70854 79949

15、 66992 80140 62260 55942 58367 56673 61039 74958 85859 67263 87183 97575 79988 88501 68600 58442 68955 56835 67021 81547 85118 70145 95080 106186 86103 88548 70090 65550 69223 85138 89799 99513 98114 68172 97366 116820 95665 109881 87068 75362 88268 85183 87909 79976 27687 50178 100878 131788 116293

16、 120770 104958 109603第23頁(yè)，共37頁(yè)。 plot(x,xlab=Month,ylab=Number of Passenger) lines(x)第24頁(yè)，共37頁(yè)。主要有三種檢驗(yàn)：（1）H0：無(wú)增長(zhǎng)趨勢(shì)； H1：有增長(zhǎng)趨勢(shì).（2）H0：無(wú)減少趨勢(shì)； H1：有減少趨勢(shì).（3）H0：無(wú)趨勢(shì)； H1：有增長(zhǎng)或減少趨勢(shì). 形式上，該檢驗(yàn)問題可以重新敘述為：假定獨(dú)立觀測(cè)值 分別來(lái)自分布為 的總體，這里 對(duì)稱于零點(diǎn).上面第一個(gè)單邊檢驗(yàn)為 ，對(duì) （至少一個(gè)不等式是嚴(yán)格的）.第25頁(yè)，共37頁(yè)?？梢园衙總€(gè)觀測(cè)值和相隔大約 的另一個(gè)觀測(cè)值配對(duì)比較，因此大約有 個(gè)對(duì)子.然后看增長(zhǎng)的對(duì)子和減

17、少的對(duì)子各有多少來(lái)判斷總的趨勢(shì).具體做法為，取 和 組成一對(duì) ，這里用每一對(duì)的兩元素差 的符號(hào)來(lái)衡量增減.令 為正的 的數(shù)目，而令 為負(fù)的 的數(shù)目.顯然當(dāng)正號(hào)太多時(shí)，即 很大時(shí)，有下降趨勢(shì),反之，則有增長(zhǎng)趨勢(shì).第26頁(yè)，共37頁(yè)。類似于符號(hào)檢驗(yàn)，對(duì)于上面1，2，3三種檢驗(yàn)，分別取檢驗(yàn)統(tǒng)計(jì)量 .這里在例3.4中，由于 ，表明可能有增長(zhǎng)的趨勢(shì)，考慮檢驗(yàn)：H0：無(wú)增長(zhǎng)趨勢(shì)； H1：有增長(zhǎng)趨勢(shì).第27頁(yè)，共37頁(yè)。Cox-Stuart趨勢(shì)檢驗(yàn)的過程總結(jié)如下：零假設(shè)：H0備擇假設(shè)：H1檢驗(yàn)統(tǒng)計(jì)量（K）p值H0：無(wú)增長(zhǎng)趨勢(shì)H1：有增長(zhǎng)趨勢(shì)H0：無(wú)減少趨勢(shì)H1：有減少趨勢(shì)H0：無(wú)趨勢(shì)H1：有增長(zhǎng)或減少趨勢(shì)大

18、樣本時(shí)，用近似的正態(tài)統(tǒng)計(jì)量 作出結(jié)論第28頁(yè)，共37頁(yè)。關(guān)于隨機(jī)性的游程檢驗(yàn)（run test） 游程檢驗(yàn)方法是檢驗(yàn)一個(gè)取兩個(gè)值的變量的這兩個(gè)值的出現(xiàn)是否是隨機(jī)的.例1：假定下面是由0和1組成的一個(gè)這種變量的樣本（數(shù)據(jù)run1.sav）：0 0 0 0 1 1 1 1 1 1 0 0 1 0 1 1 1 0 0 0 0 0 0 0 0其中相同的0（或相同的1）在一起稱為一個(gè)游程（單獨(dú)的0或1也算）.這個(gè)數(shù)據(jù)中有4個(gè)0組成的游程和3個(gè)1組成的游程。一共是R=7個(gè)游程。其中0的個(gè)數(shù)為m=15，而1的個(gè)數(shù)為n=10. 第29頁(yè)，共37頁(yè)。例2 （數(shù)據(jù)：run01.txt）假定我們擲一個(gè)硬幣，以概率p

19、出現(xiàn)正面（記為1），以概率1-p出現(xiàn)反面（記為0）；這是一個(gè)Bernoulli試驗(yàn)，如果這個(gè)試驗(yàn)是隨機(jī)的，則不大可能出現(xiàn)許多1或許多0連在一起，也不可能0和1交替出現(xiàn)的太頻繁.例如，下面為一例這樣的結(jié)果0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 1 1 1 1 0 0 則上面這組數(shù)中有3個(gè)0游程，2個(gè)1游程，一共5個(gè)游程.0的總個(gè)數(shù)為m=13,1的總個(gè)數(shù)n=10，總的試驗(yàn)次數(shù)N=m+n=23.第30頁(yè)，共37頁(yè)。出現(xiàn)0和1的的這樣一個(gè)過程可以看成是參數(shù)為某未知p的Bernoulli試驗(yàn)。但在給定了m和n之后，在0和1的出現(xiàn)是隨機(jī)的零假設(shè)之下，R的條件分布就和這個(gè)參數(shù)無(wú)關(guān)

20、了。根據(jù)初等概率論，R的分布可以寫成（令N=m+n）第31頁(yè)，共37頁(yè)。關(guān)于隨機(jī)性的游程檢驗(yàn)（run test） 于是就可以算出在零假設(shè)下有關(guān)R的概率，以及進(jìn)行有關(guān)的檢驗(yàn)了。利用上面公式可進(jìn)行精確檢驗(yàn)；也可以利用大樣本的漸近分布和利用Monte Carlo方法進(jìn)行檢驗(yàn)。利用上面數(shù)據(jù)的結(jié)果是 第32頁(yè)，共37頁(yè)。關(guān)于隨機(jī)性的游程檢驗(yàn)（run test） 當(dāng)然，游程檢驗(yàn)并不僅僅用于只取兩個(gè)值的變量，它還可以用于某個(gè)連續(xù)變量的取值小于某個(gè)值及大于該值的個(gè)數(shù)（類似于0和1的個(gè)數(shù)）是否隨機(jī)的問題?？聪旅胬?。例 (run2.sav): 從某裝瓶機(jī)出來(lái)的30盒化妝品的重量如下（單位克） 71.6 71.0 71.8 70.3 70.5 72.9 71.0 71.0 70.1 71.8 71.9 70.3 70.9 69.3 71.2 67.3 67.6 67.7 67.6 68.1 68.0 67.5 69.8 67.5 69.7 70.0 69.1 70.4 71.0 69.9為了看該裝瓶機(jī)是否工作正常，首先需要驗(yàn)證是否大于和小于中位數(shù)的個(gè)