非參數(shù)統(tǒng)計分析

非參數(shù)統(tǒng)計分析參考書《非參數(shù)統(tǒng)計》中國統(tǒng)計出版社吳喜之《非參數(shù)統(tǒng)計》人民大學(xué)出版社王星《非參數(shù)統(tǒng)計講義》北京大學(xué)出版社孫山澤第2頁,共61頁，2024年2月25日，星期天非參數(shù)統(tǒng)計狹義非參數(shù)統(tǒng)計非參數(shù)計量經(jīng)濟學(xué)非參數(shù)模型半?yún)?shù)模型估計總體的分布函數(shù)是否等于已知的分布檢驗兩或以上個總體的分布是否相同，通常是檢驗其中位數(shù)是否相等估計總體的密度函數(shù)的曲線，但是不能寫出解釋式第3頁,共61頁，2024年2月25日，星期天第一章非參數(shù)統(tǒng)計及一些概念第4頁,共61頁，2024年2月25日，星期天教學(xué)中使用的軟件SPSS和R。SPSS的非參數(shù)統(tǒng)計菜單已經(jīng)比較全面了。第5頁,共61頁，2024年2月25日，星期天SPSS非參數(shù)檢驗的過程Chi-Squaretest卡方檢驗（檢驗總體是否服從某個給定的離散分布）2.Binomialtest二項分布檢驗（檢驗總體是否服從二項分布）3.

Runstest游程檢驗（檢驗樣本序列是否隨機）4.

1-SampleKolmogorov-Smirnovtest一個樣本柯爾莫哥洛夫-斯米諾夫檢驗（檢驗總體是否服從某個連續(xù)分布）第6頁,共61頁，2024年2月25日，星期天5.

2independentSamplesTest兩個獨立樣本檢驗（檢驗兩個獨立總體差異性）6.

KindependentSamplesTestK個獨立樣本檢驗（檢驗k個獨立總體的差異性）7.

2relatedSamplesTest兩個相關(guān)樣本檢驗（檢驗兩個相關(guān)總體差異性）8.

KrelatedSamplesTestK個相關(guān)樣本檢驗（檢驗k個相關(guān)總體差異性）第7頁,共61頁，2024年2月25日，星期天思考的要點什么是計數(shù)統(tǒng)計量；什么是秩統(tǒng)計量，為什么要討論秩；為什么要討論秩的分布、秩的期望和方差；什么是符號秩和線性符號秩；線性符號秩的期望和方差。第8頁,共61頁，2024年2月25日，星期天第一節(jié)關(guān)于非參數(shù)統(tǒng)計在參數(shù)統(tǒng)計學(xué)中，最基本的概念是總體、樣本、隨機變量、概率分布、估計和假設(shè)檢驗等。其很大一部分內(nèi)容是建立在正態(tài)分布相關(guān)的理論基礎(chǔ)之上的?？傮w的分布形式或分布族往往是給定的或者是假定了的，所不知道的僅僅是一些參數(shù)的值。于是，人們的任務(wù)就是對一些參數(shù)，比如均值和方差(或標準差)，進行點估計或區(qū)間估計，或者是對某些參數(shù)值進行各種檢驗，比如檢驗正態(tài)分布的均值是否相等或等于零等等．最常見的檢驗為對正態(tài)總體的t—檢驗、F—檢驗和最大似然比檢驗等。又比如，線性回歸分析中，需要估計回歸系數(shù)

j，j稱為參數(shù)，所以線性回歸分析應(yīng)該屬于參數(shù)統(tǒng)計的范疇。第9頁,共61頁，2024年2月25日，星期天

然而，在實際生活中，那種對總體分布的假定并不是能隨便做出的。有時，數(shù)據(jù)并不是來自所假定分布的總體。或者數(shù)據(jù)根本不是來自一個總體，數(shù)據(jù)因為種種原因被嚴重污染。這樣，在假定總體分布的情況下進行推斷的做法就可能產(chǎn)生錯誤的結(jié)論。于是，人們希望在不假定總體分布的情況下，盡量從數(shù)據(jù)本身來獲得所需要的信息。這就是非參數(shù)統(tǒng)計的宗旨。因為非參數(shù)統(tǒng)計方法不利用關(guān)于總體分布的相關(guān)信息，所以，就是在對于總體分布的任何信息都沒有的情況下，它也能很容易而又較為可靠地獲得結(jié)論。這時非參數(shù)方法往往優(yōu)于參數(shù)方法。在臺灣這種方法稱為“無母數(shù)統(tǒng)計”，即不知到總體信息的統(tǒng)計方法。第10頁,共61頁，2024年2月25日，星期天

在不知總體分布的情況下如何利用數(shù)據(jù)所包含的信息呢?一組數(shù)據(jù)最基本的信息就是次序。如果可以把數(shù)據(jù)按大小次序排隊，每一個具體數(shù)目都有它在整個數(shù)據(jù)中(從最小的數(shù)起)的位置或次序，稱為該數(shù)據(jù)的秩(rank)。數(shù)據(jù)有多少個觀察值，就有多少個秩。在一定的假定下，這些秩和秩的統(tǒng)計量的分布是求得出來的，而且和原來的總體分布無關(guān)。這樣就可以進行所需要的統(tǒng)計推斷。注意：非參數(shù)統(tǒng)計的名字中的“非參數(shù)(nonparametric)”意味著其方法不涉及描述總體分布的有關(guān)數(shù)值參數(shù)（均值和方差等）；它被稱為和分布無關(guān)(distribution—free)，是因為其推斷方法和總體分布無關(guān)；不應(yīng)理解為與所有分布(例如有關(guān)秩的分布)無關(guān)。

第11頁,共61頁，2024年2月25日，星期天【例1】在我國的工業(yè)和商業(yè)企業(yè)中隨機抽取22家企業(yè)進行資產(chǎn)負債率行業(yè)差異分析，其某年底的資產(chǎn)負債率（％）如下：工業(yè)647655825982707561647383商業(yè)77808065939184918486

兩個行業(yè)的負債水平是否有顯著性差異a=0.05。這樣的數(shù)據(jù)中有兩個問題：

其一是樣本容量不大；

其二是總體服從何種分布未知。下面我們來構(gòu)造一種檢驗的方法，看他們的資產(chǎn)負債有無顯著性差異。第12頁,共61頁，2024年2月25日，星期天將兩類企業(yè)的資產(chǎn)負債混合排序，并給出其序次，這在統(tǒng)計中稱為“秩”。在這張表中我們有兩個可用的信息。負債率5559616464657073757677秩1234567891011組別11111211112負債率8080828283848486919193秩1213141516171819202122組別22111222222第13頁,共61頁，2024年2月25日，星期天

如果我們將12家工業(yè)企業(yè)的秩相加是94，其平均秩是7.88，將10家商業(yè)企業(yè)的秩相加得159，其平均秩為15.9，這就給我們一個可以考慮的信息，兩種企業(yè)的資產(chǎn)負債是有差異的。他們的平均秩不同。另一個想法是好像工業(yè)排的順序相對靠前，有11111，2，1111，222，111，222222共有6段（相同特點的個案的一段稱為游程）。如果原假設(shè)成立，則兩個行業(yè)的負債水平的分布使相同的，將其混合后，應(yīng)能較為充分、均勻地混合，游程數(shù)R應(yīng)該比較大，反之當(dāng)游程數(shù)R較小，則說明兩個總體的分布可能不同。那么6這個游程數(shù)是大還是小呢？第14頁,共61頁，2024年2月25日，星期天

【例2】模擬一個污染的正態(tài)分布，計算其樣本均值，但是樣本均值非正態(tài)分布了。這個分布是以0.8的概率是標準正態(tài)分布，0.2的概率混進方差為9的正態(tài)分布。workfileau11000seriesjunzhi

for!i=1to1000smpl120seriesy1=rndseriesy2=nrndseriesasmplify1<0.8a=y2smplify1>=0.8a=9*y2smpl120scalarmean=@mean(a)junzhi(!i)=meannextsmpl11000junzhi.hist第15頁,共61頁，2024年2月25日，星期天此數(shù)據(jù)的正態(tài)性檢驗是非正態(tài)。第16頁,共61頁，2024年2月25日，星期天非參數(shù)統(tǒng)計歸納起來有如下的三點優(yōu)點：

1.對總體的假定少；

2.可以處理許多有問題數(shù)據(jù)，比如污染的正態(tài)分布，有奇異值的情形；

3.容易計算，當(dāng)然如果不去證明統(tǒng)計量漸近分布。第17頁,共61頁，2024年2月25日，星期天第二節(jié)計數(shù)統(tǒng)計量

設(shè)是一個隨機變量，對于一個給定的常數(shù)

0，定義隨機變量稱隨機變量

為X按0分段的計數(shù)統(tǒng)計量。即滿足括號里的條件得1，否則得0。一、計數(shù)統(tǒng)計量

第18頁,共61頁，2024年2月25日，星期天最常用的計數(shù)統(tǒng)計量為符號檢驗。設(shè)隨機變量X1，…，Xn是從某個總體X中抽出的簡單隨機樣本。且分布函數(shù)F(X)在X=0是連續(xù)的。假設(shè)檢驗問題，即檢驗0是其中位數(shù)。檢驗的統(tǒng)計量可以取二、計數(shù)統(tǒng)計量的應(yīng)用在原假設(shè)為真的條件下，有服從參數(shù)為n和的二項分布b(n,0.5)。由于原假設(shè)為時，B應(yīng)該不太大，也不太小，如果B太大或太小，應(yīng)該拒絕原假設(shè)。第19頁,共61頁，2024年2月25日，星期天例生產(chǎn)過程是否需要調(diào)整。某企業(yè)生產(chǎn)一種鋼管，規(guī)定長度的中位數(shù)是l0米。現(xiàn)隨機地：從正在生產(chǎn)的生產(chǎn)線上選取10根進行測量，結(jié)果：9.8,10.1,9.7,9.9,9.8,10.0,9.7,10.0,9.9,9.8分析：中位數(shù)是這個問題中所關(guān)心的一個位置參數(shù)。若產(chǎn)品長度真正的中位數(shù)大于或小于10米，則生產(chǎn)過程需要調(diào)整。這是一個雙側(cè)檢驗，應(yīng)建立假設(shè)為了對假設(shè)作出判定，先要得到檢驗統(tǒng)計量或。將調(diào)查得到數(shù)據(jù)分別與10比較，算出各個符號的數(shù)目：=1，=7，n=8。P值=0.0214小于顯著性水平0.05。表明調(diào)查數(shù)據(jù)支持備擇假設(shè)。即生產(chǎn)過程需要調(diào)整。第20頁,共61頁，2024年2月25日，星期天有人說我國國有經(jīng)濟單位15個行業(yè)的1996年職工平均工資的中位數(shù)為7000元。現(xiàn)從15個行業(yè)中抽出樣本，如下表所示。

40384940579861616344661066956709--------6769699278977987854686798701--+++++在顯著性水平a=0.05下，我國國有經(jīng)濟單位15個行業(yè)的1996年職工平均工資的中位數(shù)為7000元嗎？因為，，故接受原假設(shè)。第21頁,共61頁，2024年2月25日，星期天

某自選商場的失竊金額在12個月的逐月記錄（單位：萬元）。經(jīng)理向董事會說月中位數(shù)為10萬元以上。在顯著性水平0.05下，檢驗是否失竊值在10萬元以下。3.6710.56102320.8611.3314.37-+++++12.6911.968.1616.5211.5813.50++-+++接受原假設(shè)，即平均為10萬元以上.第22頁,共61頁，2024年2月25日，星期天第二節(jié)秩統(tǒng)計量

設(shè)來自總體X的樣本，記為樣本點的秩，即Ri為大于等于的的個數(shù)。一、秩統(tǒng)計量

第23頁,共61頁，2024年2月25日，星期天Xi5.61.42.75.22.64.82.3X(i)1.42.32.62.74.85.25.6Ri1234567第24頁,共61頁，2024年2月25日，星期天二、秩統(tǒng)計量的分布和數(shù)字特征

的聯(lián)合分布為:的概率分布為第25頁,共61頁，2024年2月25日，星期天

Ri的數(shù)學(xué)期望：第26頁,共61頁，2024年2月25日，星期天

Ri的方差：第27頁,共61頁，2024年2月25日，星期天Ri和Rj的協(xié)方差由于所以第28頁,共61頁，2024年2月25日，星期天第29頁,共61頁，2024年2月25日，星期天一、絕對秩和符號秩設(shè)隨機變量X1，X2，…，Xn

相互獨立同分布，分布函數(shù)F(x)連續(xù)，關(guān)于y軸為對稱。隨機變量|X1|，|X2|，…，|Xn|對應(yīng)的秩向量記為稱為Xi的絕對秩稱為Xi的符號絕對秩第四節(jié)線性符號秩統(tǒng)計量第30頁,共61頁，2024年2月25日，星期天若X是連續(xù)的隨機變量，分布關(guān)于Y軸為對稱，則隨機變量|X|與計數(shù)統(tǒng)計量

(x)相互獨立。第31頁,共61頁，2024年2月25日，星期天事實上，對于t0，i=1或i=0，顯然有對于t>0，有因為，x關(guān)于0為對稱，則第32頁,共61頁，2024年2月25日，星期天根據(jù)隨機變量獨立的充分必要條件，可知二者是獨立的，同理可證在結(jié)論下，我們有如下結(jié)論。第33頁,共61頁，2024年2月25日，星期天設(shè)隨機變量X1，X2，…，Xn

相互獨立同分布，分布函數(shù)F(x)連續(xù)，關(guān)于y軸為對稱。其絕對秩向量計數(shù)統(tǒng)計量二者相互獨立。第34頁,共61頁，2024年2月25日，星期天二、符號秩統(tǒng)計量擴展若隨機變量X1,X2,…,Xn相互獨立且同連續(xù)的分布，分布關(guān)于軸為對稱。其對應(yīng)的符號秩Wilcoxon符號秩統(tǒng)計量第35頁,共61頁，2024年2月25日，星期天第36頁,共61頁，2024年2月25日，星期天第37頁,共61頁，2024年2月25日，星期天第38頁,共61頁，2024年2月25日，星期天

第39頁,共61頁，2024年2月25日，星期天三、線性秩統(tǒng)計量（一）線性秩序統(tǒng)計量的定義設(shè)X1，X2，

，XN為N個隨機變量，其對應(yīng)的秩向量記為：又設(shè)α(1),α(2),

,α(N)和c(1),c(2),

,c(N)是兩組數(shù)，組內(nèi)的N個數(shù)不全相等。定義統(tǒng)計量為

第40頁,共61頁，2024年2月25日，星期天

S稱為線性秩統(tǒng)計量，α(1),α(2),

,α(N)被稱為分值，c(1),c(2),

,c(N)被稱為回歸常數(shù)。

例二樣本問題。隨機變量X1，X2，

，Xm相互獨立同分布，分布函數(shù)為F(x)；隨機變量y1，y2，

，yn相互獨立同分布，分布函數(shù)為G(y)。混合樣本X1，X2，

，Xm和y1，y2，

，yn對應(yīng)的秩向量，記為第41頁,共61頁，2024年2月25日，星期天取兩組常數(shù)第42頁,共61頁，2024年2月25日，星期天若取兩組數(shù)為：第43頁,共61頁，2024年2月25日，星期天則S為Y總體樣本中，觀測值大于混合中位數(shù)me的個數(shù)。第44頁,共61頁，2024年2月25日，星期天設(shè)a(1),a(2),

,a(N)

是一組，若秩向量在集合

上均勻分布（二）線性秩統(tǒng)計量的數(shù)字特征有定理1（線性秩統(tǒng)計量的數(shù)字特征）第45頁,共61頁，2024年2月25日，星期天第46頁,共61頁，2024年2月25日，星期天第47頁,共61頁，2024年2月25日，星期天第48頁,共61頁，2024年2月25日，星期天設(shè)a(1),a(2),

,a(N)是一組，若秩向量在集合

上均勻分布，則線性秩統(tǒng)計量有數(shù)學(xué)期望定理2（線性秩統(tǒng)計量的數(shù)字特征）第49頁,共61頁，2024年2月25日，星期天有方差其中第50頁,共61頁，20