應(yīng)用統(tǒng)計學(xué)-緒論2015

馬昕經(jīng)濟學(xué)教研室電話mail:maxin@應(yīng)用統(tǒng)計學(xué)教學(xué)目的：信息時代是數(shù)據(jù)時代。決策已從過去以經(jīng)驗為主轉(zhuǎn)變到科學(xué)決策。如何從大量數(shù)據(jù)中發(fā)現(xiàn)盡可能多的有用信息，從而把握事物特征，為科學(xué)決策提供依據(jù)，這是本課程要解決的問題。本課程是在學(xué)生掌握統(tǒng)計分析的基本知識和技能之后，以進一步深化學(xué)生的量化分析能力為宗旨、以多元統(tǒng)計為中心的一門應(yīng)用性課程。課程內(nèi)容：第一章緒論第二章向量、矩陣與多維正態(tài)分布第三章方差分析第四章回歸分析第五章聚類分析第六章判別分析第七章主成分分析第八章因子分析第九章對應(yīng)分析第十章結(jié)構(gòu)方程模型教材：JamsMLattin等著，《多元數(shù)據(jù)分析》(英文版)，機械工業(yè)出版社參考書何曉群《多元統(tǒng)計分析（第三版）》，中國人民大學(xué)出版社,2012王學(xué)民《應(yīng)用多元分析》，上海財經(jīng)大學(xué)出版社理查德·約翰遜《實用多元統(tǒng)計分析》，清華大學(xué)出版社，2008（英文版）考核方法：讀書報告：30分（考試前交）期末考試（開卷）：70分教學(xué)資源位于：appliedmultistat@126.com(key：ncepuedu2013)：網(wǎng)盤課件課件例題數(shù)據(jù)第一章緒論多元數(shù)據(jù)分析的必要性多元數(shù)據(jù)分析方法概論多元數(shù)據(jù)的描述統(tǒng)計基本知識回顧一、多元數(shù)據(jù)分析的必要性數(shù)據(jù)分析從大量數(shù)據(jù)中發(fā)現(xiàn)盡可能多的有用信息，從而把握事物特征的過程事物特征的描述：變量/指標(biāo)每個變量/指標(biāo)數(shù)據(jù)：反映事物某一方面的特征一般來說事物通常具有多面性，即有多方面特征例：學(xué)生的能力、物種、國家經(jīng)濟實力、企業(yè)競爭力僅從一個方面往往不足以反映事物特性或個體之間的差異必須全面考慮事物的各個方面，才能對其正確認識。統(tǒng)計學(xué)：單變量/雙變量分析描述統(tǒng)計集中趨勢離散趨勢變量分布異常點推斷統(tǒng)計：從樣本統(tǒng)計量推斷總體參數(shù)參數(shù)估計：樣本均值估計總體均值，假設(shè)檢驗：總體均值或方差的檢驗，兩總體均值/方差相等的檢驗雙變量：相關(guān)分析：兩個隨機變量間的（線性）相關(guān)程度一元回歸：一個隨機變量對另一變量間的依存關(guān)系Simpson’sParadoxExample:44%ofmaleapplicantsareadmittedbyauniversity,butonly33%offemaleapplicantsDoesthismeanthereisunfairdiscrimination?UniversityinvestigatesandbreaksdownfiguresforEngineeringandEnglishprogrammesMaleFemaleAccept3520Refuseentry4540Total8060為什么需要多元數(shù)據(jù)-續(xù)兩變量分析有時會得到虛假結(jié)果Simpson’sParadoxNorelationshipbetweensexandacceptanceforeitherprogrammeSonoevidenceofdiscriminationWhy?MorefemalesapplyfortheEnglishprogramme,butitithardtogetintoMoremalesappliedtoEngineering,whichhasahigheracceptanceratethanEnglishMustlookdeeperthansinglecross-tabtofindthisoutEngineeringMaleFemaleAccept3010Refuseentry3010Total6020EnglishMaleFemaleAccept510Refuseentry1530Total2040兩變量分析有時會得到虛假結(jié)果Simpson’sParadoxInthisexample,thebivariateanalysis(cross-tabulationorcorrelation)gavemisleadingresultsIntroducinganothervariablegaveabetterunderstandingofthedataItevenreversedtheinitialconclusions性別錄取率專業(yè)？二、多元數(shù)據(jù)分析過程及方法反映對象行為的、可被觀測的所有特征面精選特征面子集行為數(shù)據(jù)測量模型模式多元分析方法行為—數(shù)據(jù)—結(jié)構(gòu)定比數(shù)據(jù)篩選變量/指標(biāo)SomeCommonPatternsinPointCloudsplanesfilamentsclustersoutliersDataAnalysis:FindingandInterpretingsuchPatterns多元數(shù)據(jù)分析方法概述多元分析的目的：探索數(shù)據(jù)的模式（結(jié)構(gòu)）多元數(shù)據(jù)分析的難點：維度太多使我們難以發(fā)現(xiàn)規(guī)律、把握重點多元分析方法的核心：概要和簡化工具：矩陣代數(shù)、統(tǒng)計軟件（SAS,SPSS,Stata等）具體方法聚類分析：按距離遠近分類判別分析：給定樣本定類——親疏判別主成分分析、因子分析、對應(yīng)分析：找出主要因素，化簡數(shù)據(jù)方差分析多元回歸分析結(jié)構(gòu)方程模型GroupingDiscriminatingPrincipleComponent,Factoring，CorrespondenceInferring推斷exploring探索數(shù)據(jù)模式StructuralEquationModel課程重點強調(diào)方法的應(yīng)用而非理論推導(dǎo)強調(diào)方法的內(nèi)涵與幾何解釋強調(diào)SPSS軟件的應(yīng)用和結(jié)果的解釋牢記：從數(shù)據(jù)中獲取信息沒有確定的方法具體問題具體分析：把握機理三、多元數(shù)據(jù)的描述數(shù)據(jù)的計量尺度(measurementscale)：告訴我們從數(shù)據(jù)中可獲得哪些信息。品質(zhì)數(shù)據(jù)：計算無意義定類尺度：按窮盡和互斥原則將對象某種特征歸類通常用虛擬變量表示：定序尺度對象特征等級或順序差別的測度三、多元數(shù)據(jù)的描述數(shù)值數(shù)據(jù)定距尺度：測度對象特征的間距，不能做絕對比較。定比尺度：即可測度間距，又可做絕對比較。數(shù)值數(shù)據(jù)的矩陣表示：樣本數(shù)n，變量數(shù)p數(shù)據(jù)的矩陣描述注：若無特別說明，向量均指列向量四、統(tǒng)計基本知識回顧：單變量分析描述統(tǒng)計參數(shù)估計假設(shè)檢驗1.描述統(tǒng)計描述數(shù)據(jù)的集中趨勢均值中位數(shù)眾數(shù)描述數(shù)據(jù)的離散趨勢極差方差、標(biāo)準(zhǔn)差變異系數(shù)異常點均值的代表性目的：描述數(shù)據(jù)分布與正態(tài)分布的可能偏離正態(tài)分布具有許多有利于統(tǒng)計的特性一般獨立隨機事件的分布都服從正態(tài)分布人的身高，產(chǎn)品質(zhì)量偏度：用來度量對稱性的指標(biāo)峰度：刻畫一個分布陡峭或平緩程度的指標(biāo)正態(tài)右偏左偏正態(tài)比正態(tài)更陡比正態(tài)平緩分布的偏度與峰度標(biāo)準(zhǔn)化變量對于任意變量x，將觀測值轉(zhuǎn)換成相應(yīng)Z值的過程稱為將該變量標(biāo)準(zhǔn)化，所得到的變量Z稱為標(biāo)準(zhǔn)化變量。

相對度量例：地區(qū)供電局數(shù)據(jù)基本概念2、參數(shù)估計總體樣本變量觀測值華北電大的所有學(xué)生華北電大的所有學(xué)生中所有抽取的100名學(xué)生基本概念（續(xù)）參數(shù)統(tǒng)計量精確度準(zhǔn)確度偏誤標(biāo)準(zhǔn)差：小標(biāo)準(zhǔn)誤：小標(biāo)準(zhǔn)差：大標(biāo)準(zhǔn)誤：小標(biāo)準(zhǔn)誤差standarderror標(biāo)準(zhǔn)差standarddeviation抽樣推斷：從樣本統(tǒng)計量推斷總體參數(shù)參數(shù)估計：在未知總體參數(shù)的情況下，利用樣本統(tǒng)計量來估計總體參數(shù)的方法。參數(shù)點估計參數(shù)區(qū)間估計假設(shè)檢驗：先對總體參數(shù)作一個假設(shè)，然后通過搜集樣本數(shù)據(jù)，用樣本統(tǒng)計量判斷對總體參數(shù)的假設(shè)是否成立參數(shù)估計：總體參數(shù)的點估計假設(shè)在總體X中，θ為未知參數(shù)（均值、方差、成數(shù)等）。由樣本（x1、x2…xn）構(gòu)造統(tǒng)計量來估計未知參數(shù)θ，稱為θ的點估計量。將某次抽樣的樣本觀測值，代入即得該估計量的一個點估計值。方法

矩估計法

極大似然估計法

最小二乘法設(shè)為待估計的總體參數(shù)，為樣本統(tǒng)計量，則的優(yōu)良標(biāo)準(zhǔn)為：點估計量的優(yōu)良性標(biāo)準(zhǔn)指樣本統(tǒng)計量抽樣分布的平均值等于被估計的總體指標(biāo)無偏性

設(shè)和是總體指標(biāo)

的兩個無偏估計量，有效性若，則稱為比更有效的估計量如果隨著樣本容量n的增大，樣本估計量在概率意義下越來越接近于總體真實值，則稱該估計量是待估參數(shù)的一致估計量。一致性一致性是對一個估計量的最起碼要求。“如果你在n趨于無窮大時還不能正確地得到它，那你就不應(yīng)該做這件事”