應(yīng)用統(tǒng)計(jì)學(xué)-緒論2015

馬昕經(jīng)濟(jì)學(xué)教研室電話mail:maxin@應(yīng)用統(tǒng)計(jì)學(xué)教學(xué)目的：信息時(shí)代是數(shù)據(jù)時(shí)代。決策已從過(guò)去以經(jīng)驗(yàn)為主轉(zhuǎn)變到科學(xué)決策。如何從大量數(shù)據(jù)中發(fā)現(xiàn)盡可能多的有用信息，從而把握事物特征，為科學(xué)決策提供依據(jù)，這是本課程要解決的問(wèn)題。本課程是在學(xué)生掌握統(tǒng)計(jì)分析的基本知識(shí)和技能之后，以進(jìn)一步深化學(xué)生的量化分析能力為宗旨、以多元統(tǒng)計(jì)為中心的一門(mén)應(yīng)用性課程。課程內(nèi)容：第一章緒論第二章向量、矩陣與多維正態(tài)分布第三章方差分析第四章回歸分析第五章聚類(lèi)分析第六章判別分析第七章主成分分析第八章因子分析第九章對(duì)應(yīng)分析第十章結(jié)構(gòu)方程模型教材：JamsMLattin等著，《多元數(shù)據(jù)分析》(英文版)，機(jī)械工業(yè)出版社參考書(shū)何曉群《多元統(tǒng)計(jì)分析（第三版）》，中國(guó)人民大學(xué)出版社,2012王學(xué)民《應(yīng)用多元分析》，上海財(cái)經(jīng)大學(xué)出版社理查德·約翰遜《實(shí)用多元統(tǒng)計(jì)分析》，清華大學(xué)出版社，2008（英文版）考核方法：讀書(shū)報(bào)告：30分（考試前交）期末考試（開(kāi)卷）：70分教學(xué)資源位于：appliedmultistat@126.com(key：ncepuedu2013)：網(wǎng)盤(pán)課件課件例題數(shù)據(jù)第一章緒論多元數(shù)據(jù)分析的必要性多元數(shù)據(jù)分析方法概論多元數(shù)據(jù)的描述統(tǒng)計(jì)基本知識(shí)回顧一、多元數(shù)據(jù)分析的必要性數(shù)據(jù)分析從大量數(shù)據(jù)中發(fā)現(xiàn)盡可能多的有用信息，從而把握事物特征的過(guò)程事物特征的描述：變量/指標(biāo)每個(gè)變量/指標(biāo)數(shù)據(jù)：反映事物某一方面的特征一般來(lái)說(shuō)事物通常具有多面性，即有多方面特征例：學(xué)生的能力、物種、國(guó)家經(jīng)濟(jì)實(shí)力、企業(yè)競(jìng)爭(zhēng)力僅從一個(gè)方面往往不足以反映事物特性或個(gè)體之間的差異必須全面考慮事物的各個(gè)方面，才能對(duì)其正確認(rèn)識(shí)。統(tǒng)計(jì)學(xué)：?jiǎn)巫兞?雙變量分析描述統(tǒng)計(jì)集中趨勢(shì)離散趨勢(shì)變量分布異常點(diǎn)推斷統(tǒng)計(jì)：從樣本統(tǒng)計(jì)量推斷總體參數(shù)參數(shù)估計(jì)：樣本均值估計(jì)總體均值，假設(shè)檢驗(yàn)：總體均值或方差的檢驗(yàn)，兩總體均值/方差相等的檢驗(yàn)雙變量：相關(guān)分析：兩個(gè)隨機(jī)變量間的（線性）相關(guān)程度一元回歸：一個(gè)隨機(jī)變量對(duì)另一變量間的依存關(guān)系Simpson’sParadoxExample:44%ofmaleapplicantsareadmittedbyauniversity,butonly33%offemaleapplicantsDoesthismeanthereisunfairdiscrimination?UniversityinvestigatesandbreaksdownfiguresforEngineeringandEnglishprogrammesMaleFemaleAccept3520Refuseentry4540Total8060為什么需要多元數(shù)據(jù)-續(xù)兩變量分析有時(shí)會(huì)得到虛假結(jié)果Simpson’sParadoxNorelationshipbetweensexandacceptanceforeitherprogrammeSonoevidenceofdiscriminationWhy?MorefemalesapplyfortheEnglishprogramme,butitithardtogetintoMoremalesappliedtoEngineering,whichhasahigheracceptanceratethanEnglishMustlookdeeperthansinglecross-tabtofindthisoutEngineeringMaleFemaleAccept3010Refuseentry3010Total6020EnglishMaleFemaleAccept510Refuseentry1530Total2040兩變量分析有時(shí)會(huì)得到虛假結(jié)果Simpson’sParadoxInthisexample,thebivariateanalysis(cross-tabulationorcorrelation)gavemisleadingresultsIntroducinganothervariablegaveabetterunderstandingofthedataItevenreversedtheinitialconclusions性別錄取率專(zhuān)業(yè)？二、多元數(shù)據(jù)分析過(guò)程及方法反映對(duì)象行為的、可被觀測(cè)的所有特征面精選特征面子集行為數(shù)據(jù)測(cè)量模型模式多元分析方法行為—數(shù)據(jù)—結(jié)構(gòu)定比數(shù)據(jù)篩選變量/指標(biāo)SomeCommonPatternsinPointCloudsplanesfilamentsclustersoutliersDataAnalysis:FindingandInterpretingsuchPatterns多元數(shù)據(jù)分析方法概述多元分析的目的：探索數(shù)據(jù)的模式（結(jié)構(gòu)）多元數(shù)據(jù)分析的難點(diǎn)：維度太多使我們難以發(fā)現(xiàn)規(guī)律、把握重點(diǎn)多元分析方法的核心：概要和簡(jiǎn)化工具：矩陣代數(shù)、統(tǒng)計(jì)軟件（SAS,SPSS,Stata等）具體方法聚類(lèi)分析：按距離遠(yuǎn)近分類(lèi)判別分析：給定樣本定類(lèi)——親疏判別主成分分析、因子分析、對(duì)應(yīng)分析：找出主要因素，化簡(jiǎn)數(shù)據(jù)方差分析多元回歸分析結(jié)構(gòu)方程模型GroupingDiscriminatingPrincipleComponent,Factoring，CorrespondenceInferring推斷exploring探索數(shù)據(jù)模式StructuralEquationModel課程重點(diǎn)強(qiáng)調(diào)方法的應(yīng)用而非理論推導(dǎo)強(qiáng)調(diào)方法的內(nèi)涵與幾何解釋強(qiáng)調(diào)SPSS軟件的應(yīng)用和結(jié)果的解釋牢記：從數(shù)據(jù)中獲取信息沒(méi)有確定的方法具體問(wèn)題具體分析：把握機(jī)理三、多元數(shù)據(jù)的描述數(shù)據(jù)的計(jì)量尺度(measurementscale)：告訴我們從數(shù)據(jù)中可獲得哪些信息。品質(zhì)數(shù)據(jù)：計(jì)算無(wú)意義定類(lèi)尺度：按窮盡和互斥原則將對(duì)象某種特征歸類(lèi)通常用虛擬變量表示：定序尺度對(duì)象特征等級(jí)或順序差別的測(cè)度三、多元數(shù)據(jù)的描述數(shù)值數(shù)據(jù)定距尺度：測(cè)度對(duì)象特征的間距，不能做絕對(duì)比較。定比尺度：即可測(cè)度間距，又可做絕對(duì)比較。數(shù)值數(shù)據(jù)的矩陣表示：樣本數(shù)n，變量數(shù)p數(shù)據(jù)的矩陣描述注：若無(wú)特別說(shuō)明，向量均指列向量四、統(tǒng)計(jì)基本知識(shí)回顧：?jiǎn)巫兞糠治雒枋鼋y(tǒng)計(jì)參數(shù)估計(jì)假設(shè)檢驗(yàn)1.描述統(tǒng)計(jì)描述數(shù)據(jù)的集中趨勢(shì)均值中位數(shù)眾數(shù)描述數(shù)據(jù)的離散趨勢(shì)極差方差、標(biāo)準(zhǔn)差變異系數(shù)異常點(diǎn)均值的代表性目的：描述數(shù)據(jù)分布與正態(tài)分布的可能偏離正態(tài)分布具有許多有利于統(tǒng)計(jì)的特性一般獨(dú)立隨機(jī)事件的分布都服從正態(tài)分布人的身高，產(chǎn)品質(zhì)量偏度：用來(lái)度量對(duì)稱(chēng)性的指標(biāo)峰度：刻畫(huà)一個(gè)分布陡峭或平緩程度的指標(biāo)正態(tài)右偏左偏正態(tài)比正態(tài)更陡比正態(tài)平緩分布的偏度與峰度標(biāo)準(zhǔn)化變量對(duì)于任意變量x，將觀測(cè)值轉(zhuǎn)換成相應(yīng)Z值的過(guò)程稱(chēng)為將該變量標(biāo)準(zhǔn)化，所得到的變量Z稱(chēng)為標(biāo)準(zhǔn)化變量。

相對(duì)度量例：地區(qū)供電局?jǐn)?shù)據(jù)基本概念2、參數(shù)估計(jì)總體樣本變量觀測(cè)值華北電大的所有學(xué)生華北電大的所有學(xué)生中所有抽取的100名學(xué)生基本概念（續(xù)）參數(shù)統(tǒng)計(jì)量精確度準(zhǔn)確度偏誤標(biāo)準(zhǔn)差：小標(biāo)準(zhǔn)誤：小標(biāo)準(zhǔn)差：大標(biāo)準(zhǔn)誤：小標(biāo)準(zhǔn)誤差standarderror標(biāo)準(zhǔn)差standarddeviation抽樣推斷：從樣本統(tǒng)計(jì)量推斷總體參數(shù)參數(shù)估計(jì)：在未知總體參數(shù)的情況下，利用樣本統(tǒng)計(jì)量來(lái)估計(jì)總體參數(shù)的方法。參數(shù)點(diǎn)估計(jì)參數(shù)區(qū)間估計(jì)假設(shè)檢驗(yàn)：先對(duì)總體參數(shù)作一個(gè)假設(shè)，然后通過(guò)搜集樣本數(shù)據(jù)，用樣本統(tǒng)計(jì)量判斷對(duì)總體參數(shù)的假設(shè)是否成立參數(shù)估計(jì)：總體參數(shù)的點(diǎn)估計(jì)假設(shè)在總體X中，θ為未知參數(shù)（均值、方差、成數(shù)等）。由樣本（x1、x2…xn）構(gòu)造統(tǒng)計(jì)量來(lái)估計(jì)未知參數(shù)θ，稱(chēng)為θ的點(diǎn)估計(jì)量。將某次抽樣的樣本觀測(cè)值，代入即得該估計(jì)量的一個(gè)點(diǎn)估計(jì)值。方法

矩估計(jì)法

極大似然估計(jì)法

最小二乘法設(shè)為待估計(jì)的總體參數(shù)，為樣本統(tǒng)計(jì)量，則的優(yōu)良標(biāo)準(zhǔn)為：點(diǎn)估計(jì)量的優(yōu)良性標(biāo)準(zhǔn)指樣本統(tǒng)計(jì)量抽樣分布的平均值等于被估計(jì)的總體指標(biāo)無(wú)偏性

設(shè)和是總體指標(biāo)

的兩個(gè)無(wú)偏估計(jì)量，有效性若，則稱(chēng)為比更有效的估計(jì)量如果隨著樣本容量n的增大，樣本估計(jì)量在概率意義下越來(lái)越接近于總體真實(shí)值，則稱(chēng)該估計(jì)量是待估參數(shù)的一致估計(jì)量。一致性一致性是對(duì)一個(gè)估計(jì)量的最起碼要求?！叭绻阍趎趨于無(wú)窮大時(shí)還不能正確地得到它，那你就不應(yīng)該做這件事”