非參數(shù)統(tǒng)計第1章緒論課件

第一章緒論第一章緒論主要內(nèi)容1.統(tǒng)計的實踐2.非參數(shù)統(tǒng)計方法簡介3.參數(shù)統(tǒng)計過程與非參數(shù)統(tǒng)計的比較4.非參數(shù)統(tǒng)計的歷史5.必要的準備知識主要內(nèi)容1.統(tǒng)計的實踐1.統(tǒng)計的實踐1.統(tǒng)計的實踐我們周圍的世界符號和數(shù)據(jù)就是整個世界。數(shù)據(jù)繁衍，信息匱乏：觀察數(shù)據(jù)激增，設(shè)計數(shù)據(jù)細分。數(shù)據(jù)的復(fù)雜性和不確定性的特點更為突出。數(shù)據(jù)分析方法和手段不足。我們周圍的世界符號和數(shù)據(jù)就是整個世界。統(tǒng)計的方法論就方法論而言，統(tǒng)計分析主要解決兩方面的問題：

尋找數(shù)據(jù)內(nèi)部差異中共同的特征。尋找數(shù)據(jù)之間本質(zhì)的差異。統(tǒng)計分析的目標是從數(shù)據(jù)中發(fā)現(xiàn)比數(shù)據(jù)本身更為有用的知識統(tǒng)計的方法論就方法論而言，統(tǒng)計分析主要解決兩方面的問題：2.非參數(shù)統(tǒng)計方法簡介2.非參數(shù)統(tǒng)計方法簡介參數(shù)方法定義：樣本被視為從分布族的某個參數(shù)族抽取出來的總體的代表，而未知的僅僅是總體分布具體的參數(shù)值，推斷問題就轉(zhuǎn)化為對分布族的若干個未知參數(shù)的估計問題，用樣本對這些參數(shù)做出估計或者進行某種形式的假設(shè)檢驗，這類推斷方法稱為參數(shù)方法。比如：（1）研究保險公司的索賠請求數(shù)時，可能假定索賠請求數(shù)來自泊松分布P(a);（2）研究化肥對農(nóng)作物產(chǎn)量的影響效果時，平均意義之下，每測量單元（可能是）產(chǎn)量服從正態(tài)分布N(a,b).參數(shù)方法定義：樣本被視為從分布族的某個參數(shù)族抽取出來的總體的一個典型的參數(shù)檢驗過程1.總體參數(shù)Example:PopulationMean2.假定數(shù)據(jù)的形態(tài)為

WholeNumbersorFractions

Example:HeightinInches(72,60.5,54.7)3.有很強的假定Example:正態(tài)分布4.例子:ZTest,tTest,2Test一個典型的參數(shù)檢驗過程1.總體參數(shù)一個例子：對兩組學生進行語法測試，如何比較兩組學生的成績是否存在差異？一個例子：對兩組學生進行語法測試，如何比較兩組學生的成績是否原始數(shù)據(jù)秩2530293424251332243032379.514.012.021.07.59.52.017.57.514.017.524.04433228473140303335182135282226.019.55.51.027.016.025.014.019.522.53.04.022.511.05.5原始數(shù)據(jù)秩259.54426.0非參數(shù)檢驗過程1.不涉及總體的分布Example:ProbabilityDistributions,Independence2.數(shù)據(jù)的形態(tài)各異定量數(shù)據(jù)定序數(shù)據(jù)Example:Good-Better-Best名義數(shù)據(jù)Example:Male-Female3.例子:WilcoxonRankSumTest/RunTestF,F,F,F,F,F,F,F,M,M,M,M,M,M,MF,M,F,M,F,M,F,M,F,M,F,M,F,M,F非參數(shù)檢驗過程1.不涉及總體的分布F,F,F,F,F3.參數(shù)統(tǒng)計與非參數(shù)統(tǒng)計比較3.參數(shù)統(tǒng)計與非參數(shù)統(tǒng)計比較對總體假定較少，有廣泛的適用性，結(jié)果穩(wěn)定性較好。1.假定較少2.不需要對總體參數(shù)的假定3.與參數(shù)結(jié)果接近針對幾乎所有類型的數(shù)據(jù)形態(tài)。容易計算在計算機盛行之前就已經(jīng)發(fā)展起來。非參數(shù)檢驗的優(yōu)點對總體假定較少，有廣泛的適用性，結(jié)果穩(wěn)定性較好。非參數(shù)檢驗的1. 可能會浪費一些信息特別當數(shù)據(jù)可以使用參數(shù)模型的時候。Example:ConvertingDataFromRatiotoOrdinalScale2. 大樣本手算相當麻煩3. 一些表不易得到非參數(shù)檢驗的弱點1. 可能會浪費一些信息非參數(shù)檢驗的弱點本學期內(nèi)容結(jié)構(gòu)體系本學期內(nèi)容結(jié)構(gòu)體系非參數(shù)統(tǒng)計的主要內(nèi)容內(nèi)容非參數(shù)檢驗相應(yīng)的參數(shù)檢驗2獨立樣本中位數(shù)檢驗秩和檢驗獨立樣本t檢驗2配對樣本/單一樣本符號檢驗Wilcoxon檢驗成對樣本t-檢驗>2獨立樣本Kruskal-Wallis檢驗單一因素ANOVA兩因素Friedman檢驗雙因素ANOVA相關(guān)性檢驗Spearman秩相關(guān)Pearson相關(guān)性檢驗分布的檢驗Kolmogorov-Smirnov非參數(shù)統(tǒng)計的主要內(nèi)容內(nèi)容非參數(shù)檢驗相應(yīng)的參數(shù)檢驗2獨立樣本中4.非參數(shù)統(tǒng)計的歷史4.非參數(shù)統(tǒng)計的歷史非參數(shù)統(tǒng)計的歷史非參數(shù)統(tǒng)計的形成主要歸功于20世紀40年代～50年代化學家F.Wilcoxon等人的工作。Wilcoxon于1945年提出兩樣本秩和檢驗，1947年Mann和Whitney二人將結(jié)果推廣到兩組樣本量不等的一般情況；Pitman于1948年回答了非參數(shù)統(tǒng)計方法相對于參數(shù)方法來說的相對效率方面的問題；非參數(shù)統(tǒng)計的歷史非參數(shù)統(tǒng)計的形成主要歸功于20世紀40年代～非參數(shù)統(tǒng)計的歷史（續(xù)）60年代中后期，Cox和Ferguson最早將非參數(shù)方法應(yīng)用于生存分析。70年代到80年代，非參數(shù)統(tǒng)計借助計算機技術(shù)和大量計算獲得更穩(wěn)健的估計和預(yù)測，以P.J.Huber以及F.Hampel為代表的統(tǒng)計學家從計算技術(shù)的實現(xiàn)角度，為衡量估計量的穩(wěn)定性提出了新準則。90年代有關(guān)非參數(shù)統(tǒng)計的研究和應(yīng)用主要集中在非參數(shù)回歸和非參數(shù)密度估計領(lǐng)域，其中較有代表性的人物是Silverman和J.Fan。非參數(shù)統(tǒng)計的歷史（續(xù)）60年代中后期，Cox和Ferguso5.必要的準備知識（1）假設(shè)檢驗（2）漸進相對效率（3）秩檢驗統(tǒng)計量（4）U統(tǒng)計量5.必要的準備知識（1）假設(shè)檢驗(1)假設(shè)檢驗回顧問題：(a)新引進的生產(chǎn)過程是否優(yōu)于舊過程？（b）幾種不同的肥料哪一種更有效？（c）大學生的就業(yè)率與城市失業(yè)率之間是否存在關(guān)系？(1)假設(shè)檢驗回顧問題：內(nèi)容（a）假設(shè)的真正涵義和作用（b）如何選擇零假設(shè)和備擇假設(shè)（c）檢驗的p-值和顯著性水平的作用（d）兩類錯誤（e）置信區(qū)間和假設(shè)檢驗之間的關(guān)系內(nèi)容單邊檢驗和雙邊檢驗的p值??單邊檢驗和雙邊檢驗的p值??例2：Poisson分布

H0:>1H1:按照假設(shè)檢驗的步驟，可以選取統(tǒng)計量為檢驗統(tǒng)計量，檢驗的目的是使得

例2：Poisson分布C=5C=7C=5C=7同樣顯著性水平之下的檢驗在

不同樣本量下的勢函數(shù)0.99012630.9997043同樣顯著性水平之下的檢驗在

不同樣本量下的勢函數(shù)0.9901（2）檢驗的相對效率（2）檢驗的相對效率非參數(shù)統(tǒng)計第1章緒論課件漸進效率的概念漸進效率的概念非參數(shù)統(tǒng)計第1章緒論課件非參數(shù)統(tǒng)計第1章緒論課件非參數(shù)統(tǒng)計第1章緒論課件分位數(shù)和非參數(shù)置信區(qū)間分位數(shù)和非參數(shù)置信區(qū)間非參數(shù)統(tǒng)計第1章緒論課件非參數(shù)統(tǒng)計第1章緒論課件秩檢驗統(tǒng)計量秩檢驗統(tǒng)計量無結(jié)點秩的定義例題：某學院本科三年級有9個專業(yè)組成，統(tǒng)計每個專業(yè)學生每月消費數(shù)據(jù)如下，用S-Plus求消費數(shù)據(jù)的秩和順序統(tǒng)計量的現(xiàn)值：300230208580690200263215520

無結(jié)點秩的定義例題：某學院本科三年級有9個專業(yè)組成，統(tǒng)計每個非參數(shù)統(tǒng)計第1章緒論課件2.有結(jié)數(shù)據(jù)的秩設(shè)樣本取自總體X的簡單隨機抽樣，將數(shù)據(jù)排序后,相同的數(shù)據(jù)點組成一個“結(jié)”，稱重復(fù)數(shù)據(jù)的個數(shù)為結(jié)長。例1：3.83.21.21.23.43.23.2解：結(jié)長為3。2.有結(jié)數(shù)據(jù)的秩設(shè)樣本取自總體非參數(shù)統(tǒng)計第1章緒論課件U統(tǒng)計量U統(tǒng)計量核的概念例：總體期望有無偏估計X1，總體期望是1可估的，X1是總體期望的核。核的概念例：總體期望有無偏估計X1，總體期望是1可估的，X對稱核和