實(shí)用統(tǒng)計(jì)分析方法與應(yīng)用

1、實(shí)用統(tǒng)計(jì)分析方法與應(yīng)用現(xiàn)代統(tǒng)計(jì)學(xué)的研究對(duì)象：統(tǒng)計(jì)方法和統(tǒng)計(jì)邏輯現(xiàn)代統(tǒng)計(jì)學(xué)的分類： 從實(shí)際應(yīng)用中的方法來(lái)區(qū)分可分為現(xiàn)代統(tǒng)計(jì)學(xué)概述1描述統(tǒng)計(jì)以總體全面資料或非隨機(jī)性局部資料為基礎(chǔ)的統(tǒng)計(jì)理論與方法體系統(tǒng)計(jì)總體論）、統(tǒng)計(jì)設(shè)計(jì)、統(tǒng)計(jì)調(diào)查、統(tǒng)計(jì)整理、統(tǒng)計(jì)指數(shù)、動(dòng)態(tài)分析理論、數(shù)理統(tǒng)計(jì)依據(jù)隨機(jī)樣本推斷總體特征的理論與方法體系概率論、經(jīng)典統(tǒng)計(jì)理論、貝葉斯理論、統(tǒng)計(jì)判決理論等R編程可視SAS編程Eviews編程可視Matlab編程可視SPSS可視Stata可視Excel可視。統(tǒng)計(jì)軟件2常用統(tǒng)計(jì)軟件一覽(3種數(shù)據(jù)形態(tài))SPSS的特點(diǎn)：1：可視化操作，界面友好美觀。2：數(shù)據(jù)接口多。3：操作簡(jiǎn)單，用戶體驗(yàn)好。4：較之E

2、xcel數(shù)據(jù)處理能力更強(qiáng)。數(shù)理統(tǒng)計(jì)的基本框架： 3微積分概率論數(shù)理統(tǒng)計(jì)基礎(chǔ)。計(jì)量經(jīng)濟(jì)學(xué)時(shí)間序列數(shù)理統(tǒng)計(jì)的基本框架：微積分：數(shù)學(xué)基礎(chǔ)，為概率論的運(yùn)算以及數(shù)理統(tǒng)計(jì)的統(tǒng)計(jì)量提供基礎(chǔ)。概率論：數(shù)理統(tǒng)計(jì)學(xué)所考察的數(shù)據(jù)都帶有隨機(jī)性（偶然性）的誤差。這給根據(jù)這種數(shù)據(jù)所作出的結(jié)論帶來(lái)了一種不確定性，其量化要借助于概率論的概念和方法。數(shù)理統(tǒng)計(jì)基礎(chǔ)：對(duì)數(shù)據(jù)的結(jié)構(gòu)分析和條件檢驗(yàn)。對(duì)以數(shù)據(jù)為基礎(chǔ)的計(jì)量經(jīng)濟(jì)學(xué)提供前端分析。計(jì)量經(jīng)濟(jì)學(xué)：利用建立模型和優(yōu)化模型解決實(shí)際問題的方法。時(shí)間序列分析：是一種動(dòng)態(tài)數(shù)據(jù)處理的統(tǒng)計(jì)方法。該方法基于隨機(jī)過程理論和數(shù)理統(tǒng)計(jì)學(xué)方法，研究隨機(jī)數(shù)據(jù)序列所遵從的統(tǒng)計(jì)規(guī)律，以用于解決實(shí)際問題。4數(shù)理統(tǒng)

3、計(jì)的基本框架： 5總體所研究對(duì)象的全體。個(gè)體：總體中最小的研究單位?？傮w容量：總體中所包含的個(gè)體個(gè)數(shù)?？傮w中每一個(gè)個(gè)體都具有相同的觀察特征。樣本從總體中抽出若干個(gè)個(gè)體組成的集體樣本容量：樣本中所包含的個(gè)體個(gè)數(shù)。樣本的分類取決于取得樣本的方法。如簡(jiǎn)單隨機(jī)樣本等。隨機(jī)變量對(duì)客觀事物進(jìn)行觀察試驗(yàn)的結(jié)果。隨機(jī)變量是將試驗(yàn)事件數(shù)量化。6隨機(jī)變量的數(shù)學(xué)特征7隨機(jī)變量的數(shù)學(xué)特征隨機(jī)變量的分類定性分類隨機(jī)變量可分為分類變量和有序變量定量分類隨機(jī)變量按數(shù)據(jù)集是否能夠取有限個(gè)或至多可列個(gè)值，可分為離散型變量和連續(xù)型變量。離散型變量：隨機(jī)變量X只可能取有限個(gè)或至多可列個(gè)值連續(xù)型變量：變量可以在某個(gè)區(qū)間內(nèi)取任一實(shí)數(shù)，

4、即變量的取值可以是連續(xù)的隨機(jī)變量的數(shù)學(xué)特征8分布：分布是形容數(shù)據(jù)的一類集體形態(tài)的特征，分布列或分布函數(shù)代表了數(shù)據(jù)出現(xiàn)在不同位置擁有的不同概率。離散型隨機(jī)變量的分布列：表現(xiàn)出每一個(gè)隨機(jī)變量取值及出現(xiàn)的概率例：價(jià)格A1（70萬(wàn)）A2（88萬(wàn)）A3（108萬(wàn)）占比25%50%25%某樓盤當(dāng)期開盤的戶型總價(jià)分布列常見的離散型變量分布：0-1分布，泊松分布隨機(jī)變量的數(shù)學(xué)特征9隨機(jī)變量的數(shù)學(xué)特征10最常用的連續(xù)型隨機(jī)變量分布正態(tài)分布 在統(tǒng)計(jì)中，許多重要的分布都是連續(xù)型分布，其中一種特別重要的連續(xù)型隨機(jī)變量的概率分布就是正態(tài)分布(Normal Distribution)。正態(tài)分布最初為 De Moivre于

5、 1773 年發(fā)現(xiàn)，其后，拉普拉斯(Laplace)和高斯(Gauss)對(duì)它作出了很大的貢獻(xiàn)，尤其是高斯的貢獻(xiàn)最為突出，所以正態(tài)分布又稱為高斯分布。隨機(jī)變量的數(shù)學(xué)特征期望方差協(xié)方差與相關(guān)系數(shù)大數(shù)定律與中心極限定理11隨機(jī)變量的數(shù)學(xué)特征期望：在概率論和統(tǒng)計(jì)學(xué)中，一個(gè)離散型隨機(jī)變量的期望值（或數(shù)學(xué)期望、或均值，亦簡(jiǎn)稱期望）是試驗(yàn)中每次可能結(jié)果的概率乘以其結(jié)果的總和。離散型隨機(jī)變量：12以頻率為權(quán)重的加權(quán)平均 隨機(jī)變量X的數(shù)學(xué)期望，記作E（X），即 13例 某樓盤當(dāng)期開盤的戶型總價(jià)的分布列求整個(gè)項(xiàng)目的平均價(jià)格隨機(jī)變量的數(shù)學(xué)特征 E（X）=70*25%+88*50%+108*25%=88.5價(jià)格A1（

6、70萬(wàn)）A2（88萬(wàn)）A3（108萬(wàn)）占比25%50%25%隨機(jī)變量的數(shù)學(xué)特征14連續(xù)型隨機(jī)變量設(shè)連續(xù)型隨機(jī)變量X的概率密度為 f (x), 則正態(tài)分布的期望數(shù)學(xué)期望的意義15 試驗(yàn)次數(shù)較大時(shí)，X的觀測(cè)值的算術(shù)平均值 在E(X)附近擺動(dòng)數(shù)學(xué)期望又可以稱為期望值(Expected Value)，均值(Mean)E(X)反映了隨機(jī)變量X取值的“概率平均”,是X的可能值以其相應(yīng)概率的加權(quán)平均。方差的引入16E( X1 )=50 20 30 50 70 801/8 1/8 1/2 1/8 1/8E( X2 )=50 總價(jià)（萬(wàn)元）占比 40 50 60 1/4 1/2 1/4設(shè)有兩個(gè)樓盤，其各戶型總價(jià)取

7、值規(guī)律如下： 總價(jià)（萬(wàn)元）占比 兩種個(gè)樓盤的總價(jià)均值是相同的，但樓盤2的波動(dòng)更大方差17均方差（標(biāo)準(zhǔn)差） 設(shè) 是一隨機(jī)變量，如果 存在，則稱為 的方差，記作 或 即 方差的計(jì)算步驟18Step 1: 計(jì)算期望 E(X)Step 2: 計(jì)算 E(X2)Step 3: 計(jì)算 D(X)離散型 連續(xù)型 離散型 連續(xù)型 協(xié)方差 在概率論和統(tǒng)計(jì)學(xué)中，協(xié)方差用于衡量?jī)蓚€(gè)變量的總體誤差。而方差是協(xié)方差的一種特殊情況，即當(dāng)兩個(gè)變量是相同的情況。 直觀上來(lái)看，協(xié)方差表示的是兩個(gè)變量總體的誤差，這與只表示一個(gè)變量誤差的方差不同。 如果兩個(gè)變量的變化趨勢(shì)一致，也就是說如果其中一個(gè)大于自身的期望值，另外一個(gè)也大于自身的

8、期望值，那么兩個(gè)變量之間的協(xié)方差就是正值。 如果兩個(gè)變量的變化趨勢(shì)相反，即其中一個(gè)大于自身的期望值，另外一個(gè)卻小于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是負(fù)值。19相關(guān)系數(shù) 前面說到當(dāng)兩個(gè)變量互為統(tǒng)計(jì)獨(dú)立時(shí)，協(xié)方差COV=0 但反之協(xié)方差COV=0時(shí)，兩個(gè)變量并不一定統(tǒng)計(jì)獨(dú)立 相關(guān)系數(shù)是變量之間相關(guān)程度的指標(biāo)。樣本相關(guān)系數(shù)用r表示,總體相關(guān)系數(shù)用表示,相關(guān)系數(shù)的取值范圍為-1,120定義21樣本與總體引 言22 隨機(jī)變量及其所伴隨的概率分布全面描述了隨機(jī)現(xiàn)象的統(tǒng)計(jì)性規(guī)律。 概率論的許多問題中，隨機(jī)變量的概率分布通常是已知的，或者假設(shè)是已知的，而一切計(jì)算與推理都是在這已知是基礎(chǔ)上得出來(lái)的。 但

9、實(shí)際中，情況往往并非如此，一個(gè)隨機(jī)現(xiàn)象所服從的分布可能是完全不知道的，或者知道其分布概型，但是其中的某些參數(shù)是未知的。例如： 望今緣在開售之前做市場(chǎng)調(diào)查，目標(biāo)總體內(nèi)有購(gòu)房需求客戶的當(dāng)期支付能力或者客戶當(dāng)前對(duì)戶型面積的需求。所得出的數(shù)據(jù)集是服從的分布是未知的。 數(shù)理統(tǒng)計(jì)的任務(wù)則是以概率論為基礎(chǔ)，根據(jù)試驗(yàn)所得到的數(shù)據(jù)，對(duì)研究對(duì)象的客觀統(tǒng)計(jì)規(guī)律性做出合理的推斷。樣本與總體23總體與樣本 在數(shù)理統(tǒng)計(jì)中，把研究對(duì)象的全體稱為總體（population)或母體，而把組成總體的每個(gè)單元稱為個(gè)體。 例如我們做市場(chǎng)調(diào)查，目標(biāo)客戶群體就是總體，每一個(gè)客戶稱為個(gè)體?？傮w：樣本： 在抽取過程中，每抽取一個(gè)個(gè)體，就是對(duì)

10、總體X進(jìn)行一次隨機(jī)試驗(yàn)，每次抽取的n個(gè)個(gè)體 ，稱為總體X的一個(gè)容量為n的樣本（sample）或子樣；其中樣本中所包含的個(gè)體數(shù)量稱為樣本容量n?？傮w是唯一的、確定的，而樣本是不確定的、可變的、隨機(jī)的。 抽樣及抽樣方法24簡(jiǎn)單隨機(jī)抽樣類型抽樣整群抽樣等距抽樣階段抽樣常用抽樣方法定義 從欲研究的全部樣品中抽取一部分樣品單位。其基本要求是要保證所抽取的樣品單位對(duì)全部樣品具有充分的代表性。抽樣的目的是從被抽取樣品單位的分析、研究結(jié)果來(lái)估計(jì)和推斷全部樣品特性，是科學(xué)實(shí)驗(yàn)、質(zhì)量檢驗(yàn)、社會(huì)調(diào)查普遍采用的一種經(jīng)濟(jì)有效的工作和研究方法。簡(jiǎn)單隨機(jī)樣本樣本必須具有的性質(zhì)25代表性即樣本( )的每個(gè)分量 與總體 具有相

11、同的概率分布。 獨(dú)立性即每次抽樣的結(jié)果既不影響其余各次抽樣的結(jié)果，也不受其它各次抽 樣結(jié)果的影響。 滿足上述兩點(diǎn)要求的子樣稱為簡(jiǎn)單隨機(jī)樣本.獲得簡(jiǎn)單隨機(jī)樣本的抽樣方法叫簡(jiǎn)單隨機(jī)抽樣. 樣本（sample）總體（population）抽樣（sampling）總體容量（population size）N=45樣本容量（sample size）n=10 為推斷總體的某些特征，而從總體中按一定方法抽取若干個(gè)體，這一過程稱為抽樣，所抽取的個(gè)體稱為樣本。抽樣方法自有限總體的簡(jiǎn)單隨機(jī)抽樣簡(jiǎn)單隨機(jī)樣本有限總體 總體中每一個(gè)體以相等的概率被抽出，稱簡(jiǎn)單隨機(jī)抽樣。有放回抽樣與無(wú)放回抽樣之分。自有限總體的簡(jiǎn)單隨機(jī)抽

12、樣，特指有放回抽樣。2725213452326282930313336141312111098762120224243449117371635153832394041241834452383257362323129抽樣方法自無(wú)限總體的簡(jiǎn)單隨機(jī)抽樣無(wú)限總體自無(wú)限總體抽取樣本，采用無(wú)放回抽樣。如果滿足以下兩個(gè)條件，則稱簡(jiǎn)單隨機(jī)抽樣：每個(gè)個(gè)體來(lái)自同一個(gè)總體樣本中每個(gè)個(gè)體的抽取是獨(dú)立的簡(jiǎn)單隨機(jī)樣本抽樣方法統(tǒng)計(jì)量計(jì)算總 體確定性樣 本隨機(jī)抽樣隨機(jī)性隨機(jī)性 樣本統(tǒng)計(jì)量做為隨機(jī)變量，具有特定的概率分布。 把握住他們的分布規(guī)律就找到了推斷總體參數(shù)的依據(jù)?？傮w參數(shù)理論上可計(jì)算 確定性抽樣分布30統(tǒng)計(jì)方法參數(shù)估計(jì)

13、31 數(shù)理統(tǒng)計(jì)問題：如何選取樣本來(lái)對(duì)總體的種種統(tǒng)計(jì)特征作出判斷。 參數(shù)估計(jì)問題：知道隨機(jī)變量（總體）的分布類型，但確切的形式不知道，根據(jù)樣本來(lái)估計(jì)總體的參數(shù)，這類問題稱為參數(shù)估計(jì)。參數(shù)估計(jì)的類型點(diǎn)估計(jì)、區(qū)間估計(jì) 點(diǎn)估計(jì)的方法：構(gòu)造一個(gè)統(tǒng)計(jì)量來(lái)對(duì)總體進(jìn)行估計(jì)主要方法：數(shù)字特征法、矩法、極大似然法。 區(qū)間估計(jì)：點(diǎn)估計(jì)總是有誤差的，但沒有衡量偏差程度的量，區(qū)間估計(jì)則是按一定的可靠性程度對(duì)待估參數(shù)給出一個(gè)區(qū)間范圍。顯著性水平置信度顯著性水平下，在1- 置信水平下的置信區(qū)間：置信度置信度,也叫置信水平。它是指特定個(gè)體對(duì)待特定命題真實(shí)性相信的程度.也就是概率是對(duì)個(gè)人信念合理性的量度.概率的置信度解釋表明,

14、事件本身并沒有什么概率,事件之所以指派有概率只是指派概率的人頭腦中所具有的信念證據(jù)。置信水平是指總體參數(shù)值落在樣本統(tǒng)計(jì)值某一區(qū)內(nèi)的概率；而置信區(qū)間是指在某一置信水平下，樣本統(tǒng)計(jì)值與總體參數(shù)值間誤差范圍。置信區(qū)間越大，置信水平越高。是否為大樣本n30值是否已知值是否已知總體是否近似正態(tài)分布用樣本標(biāo)準(zhǔn)差s估計(jì)用樣本標(biāo)準(zhǔn)差s估計(jì)將樣本容量增加到n30以便進(jìn)行區(qū)間估計(jì)是是是是否否否否總體均值區(qū)間估計(jì)程序假設(shè)檢驗(yàn)34引 言 統(tǒng)計(jì)假設(shè)通過實(shí)際觀察或理論分析對(duì)總體分布形式 或?qū)傮w分布形式中的某些參數(shù)作出某種 假設(shè)。假設(shè)檢驗(yàn)根據(jù)問題的要求提出假設(shè)，構(gòu)造適當(dāng)?shù)慕y(tǒng) 計(jì)量，按照樣本提供的信息，以及一定的 規(guī)則，對(duì)

15、假設(shè)的正確性進(jìn)行判斷。基本原則小概率事件在一次試驗(yàn)中是不可能發(fā)生的。假設(shè)檢驗(yàn)35參數(shù)的假設(shè)檢驗(yàn)：已知總體的分布類型，對(duì)分布函數(shù)或密度函數(shù)中的某些 參數(shù)提出假設(shè)，并檢驗(yàn)。思想 ：如果原假設(shè)成立，那么某個(gè)分布已知的統(tǒng)計(jì)量在某個(gè)區(qū)域內(nèi)取值的概率應(yīng)該較小，如果樣本的觀測(cè)數(shù)值落在這個(gè)小概率區(qū)域內(nèi)，則原假設(shè)不正確，所以，拒絕原假設(shè)；否則，接受原假設(shè)。 拒絕域 檢驗(yàn)水平 假設(shè)檢驗(yàn)36基本步驟 1、提出原假設(shè)，確定備擇假設(shè)； 2、構(gòu)造分布已知的合適的統(tǒng)計(jì)量； 3、由給定的檢驗(yàn)水平，求出在H0成立的條件下的 臨界值（上側(cè)分位數(shù)，或雙側(cè)分位數(shù)）；4、計(jì)算統(tǒng)計(jì)量的樣本觀測(cè)值，如果落在拒絕域內(nèi)， 則拒絕原假設(shè)，否則，

16、接受原假設(shè)。37相關(guān)分析 簡(jiǎn)單相關(guān)分析是對(duì)兩個(gè)變量之間的相關(guān)程度進(jìn)行分析。單相關(guān)分析所用的指標(biāo)稱為單相關(guān)系數(shù)，又稱為單相關(guān)系數(shù)、Pearson（皮爾森）相關(guān)系數(shù)或相關(guān)系數(shù)。通常以表示總體的相關(guān)系數(shù)，以表示樣本的相關(guān)系數(shù)38相關(guān)系數(shù)的檢驗(yàn) 在實(shí)際的客觀現(xiàn)象分析研究中，相關(guān)系數(shù)一般都是利用樣本數(shù)據(jù)計(jì)算的，因而帶有一定的隨機(jī)性，樣本容量越小其可信程度就越差。因此也需要進(jìn)行檢驗(yàn)，即對(duì)總體相關(guān)系數(shù)是否等于進(jìn)行檢驗(yàn)。數(shù)學(xué)上可以證明，在與都服從于正態(tài)分布，并且又有的條件下，可以采用檢驗(yàn)來(lái)確定的顯著性。其步驟如下：39關(guān)鍵術(shù)語(yǔ)無(wú)放回抽樣（sampling without replacement）一個(gè)元素一旦選

17、入樣本，就從總體中剔除，不能再次被選入放回抽抽樣（sampling with replacement）一個(gè)元素一旦被選入樣本，仍被放回總體中。先前被選入的元素可能再次被抽到，并且在本樣中可能出現(xiàn)多次抽樣分布（sampling distribution）樣本統(tǒng)計(jì)量所有可能值構(gòu)成的概率分布點(diǎn)估計(jì)（point estimate）用做總體參數(shù)估計(jì)量的值。它是點(diǎn)估計(jì)量的具體的取值點(diǎn)估計(jì)量（point estimator）提供總體參數(shù)點(diǎn)估計(jì)的樣本統(tǒng)計(jì)量標(biāo)準(zhǔn)誤差（standard error）點(diǎn)估計(jì)量的標(biāo)準(zhǔn)差中心極限定理（central limit theorem）當(dāng)樣本容量大的時(shí)候，用正態(tài)分布近似樣本均值的分布和樣本比率的抽樣分布區(qū)間估計(jì)（interval estimate）總體參數(shù)估計(jì)值的一個(gè)范圍，確信該范圍包括參數(shù)的值在內(nèi)抽樣誤差（sample error）無(wú)偏估計(jì)值（如樣本均值）與所估計(jì)的總體值（如總體均值）之差的絕對(duì)值置信水平（confidence level）與區(qū)間估計(jì)相聯(lián)系的置信度邊際誤差（margin error）置信區(qū)間中從點(diǎn)估計(jì)值中所加上或減去的值t分布（