實用統(tǒng)計分析方法與應(yīng)用

實用統(tǒng)計分析方法與應(yīng)用 現(xiàn)代統(tǒng)計學(xué)的研究對象：統(tǒng)計方法和統(tǒng)計邏輯 現(xiàn)代統(tǒng)計學(xué)的分類： 從實際應(yīng)用中的方法來區(qū)分可分為 現(xiàn)代統(tǒng)計學(xué)概述 1 以總體全面資料或非隨機性局部資料為基礎(chǔ)的統(tǒng)計理論與方法體系 統(tǒng)計總體論）、統(tǒng)計設(shè)計、統(tǒng)計調(diào)查、統(tǒng)計整理、統(tǒng)計指數(shù)、動態(tài)分析理論、 描述統(tǒng)計 依據(jù)隨機樣本推斷總體特征的理論與方法體系 概率論、經(jīng)典統(tǒng)計理論、貝葉斯理論、統(tǒng)計判決理論等 數(shù)理統(tǒng)計 R 編程 可視 SAS 編程 Eviews 編程 可視 Matlab 編程 可視 SPSS 可視 Stata 可視 Excel 可視 。 統(tǒng)計軟件 2 常用統(tǒng)計軟件一覽 (3種數(shù)據(jù)形態(tài) ) SPSS的特點： 1：可視化操作，界面友好美觀。 2：數(shù)據(jù)接口多。 3：操作簡單，用戶體驗好。 4：較之 Excel數(shù)據(jù)處理能力更強。 數(shù)理統(tǒng)計的基本框架： 3 微積分 概率論 數(shù)理統(tǒng)計 基礎(chǔ) 。 計量經(jīng)濟學(xué) 時間序列 數(shù)理統(tǒng)計的基本框架： 微積分： 數(shù)學(xué)基礎(chǔ)，為概率論的運算以及數(shù)理統(tǒng)計的統(tǒng)計量提供基礎(chǔ)。 概率論： 數(shù)理統(tǒng)計學(xué)所考察的數(shù)據(jù)都帶有隨機性（偶然性）的誤差。這給根據(jù)這種數(shù)據(jù)所作出的結(jié)論帶來了一種不確定性，其量化要借助于概率論的概念和方法。 數(shù)理統(tǒng)計基礎(chǔ)： 對數(shù)據(jù)的結(jié)構(gòu)分析和條件檢驗。對以數(shù)據(jù)為基礎(chǔ)的計量經(jīng)濟學(xué)提供前端分析。 計量經(jīng)濟學(xué)： 利用建立模型和優(yōu)化模型解決實際問題的方法。 時間序列分析： 是一種動態(tài)數(shù)據(jù)處理的統(tǒng)計方法。該方法基于隨機過程理論和數(shù)理統(tǒng)計學(xué)方法，研究隨機數(shù)據(jù)序列所遵從的統(tǒng)計規(guī)律，以用于解決實際問題。 4 數(shù)理統(tǒng)計的基本框架： 5 總體 所研究對象的全體。 個體：總體中最小的研究單位。 總體容量：總體中所包含的個體個數(shù)。 總體中每一個個體都具有相同的觀察特征。 樣本 從總體中抽出若干個個體組成的集體 樣本容量：樣本中所包含的個體個數(shù)。 樣本的分類取決于取得樣本的方法。如簡單隨機樣本等。 隨機變量 對客觀事物進行觀察試驗的結(jié)果。 隨機變量是將試驗事件數(shù)量化。 6 隨機變量的數(shù)學(xué)特征 7 隨機變量的數(shù)學(xué)特征 隨機變量的分類 定性分類隨機變量可分為 分類變量 和 有序變量 定量分類隨機變量按數(shù)據(jù)集是否能夠取有限個或至多可列個值，可分為 離散型變量 和 連續(xù)型變量 。 離散型變量： 隨機變量 X只可能取有限個或至多可列個值 連續(xù)型變量： 變量可以在某個區(qū)間內(nèi)取任一實數(shù)，即變量的取值可以是連續(xù)的 隨機變量的數(shù)學(xué)特征 8 分布： 分布是形容數(shù)據(jù)的一類集體形態(tài)的特征，分布列或分布函數(shù)代表了數(shù)據(jù)出現(xiàn)在不同位置擁有的不同概率。 離散型隨機變量的分布列： 表現(xiàn)出每一個隨機變量取值及出現(xiàn)的概率 例： 價格 A1（ 70萬） A2（ 88萬） A3（ 108萬） 占比 25% 50% 25% 某樓盤當(dāng)期開盤的戶型總價分布列 常見的離散型變量分布： 0-1分布，泊松分布 隨機變量的數(shù)學(xué)特征 9 隨機變量的數(shù)學(xué)特征 10 最常用的連續(xù)型隨機變量分布 正態(tài)分布 在統(tǒng)計中，許多重要的分布都是連續(xù)型分布，其中一種特別重要的連續(xù)型隨機變量的概率分布就是正態(tài)分布 (Normal Distribution)。正態(tài)分布最初為 De Moivre于 1773 年發(fā)現(xiàn)，其后，拉普拉斯 (Laplace)和高斯 (Gauss)對它作出了很大的貢獻，尤其是高斯的貢獻最為突出，所以正態(tài)分布又稱為高斯分布。 隨機變量的數(shù)學(xué)特征 期望 方差 協(xié)方差與相關(guān)系數(shù) 大數(shù)定律與中心極限定理 11 隨機變量的數(shù)學(xué)特征 期望： 在概率論和統(tǒng)計學(xué)中，一個離散型隨機變量的期望值（或數(shù)學(xué)期望、或均值，亦簡稱期望）是試驗中每次可能結(jié)果的概率乘以其結(jié)果的總和。 離散型隨機變量： 12 以頻率為權(quán)重的加權(quán)平均 1 1 2 2() k k k kkE X p x p x p x p x LL( ) 1 , 2 ,kkP X x p k Lkkkpx若級數(shù) 絕對收斂， 則稱此級數(shù)為隨機變量 X的數(shù)學(xué)期望，記作 E（ X），即 13 例 某樓盤當(dāng)期開盤的戶型總價的分布列 求整個項目的平均價格 隨機變量的數(shù)學(xué)特征 E（ X） =70*25%+88*50%+108*25%=88.5 1 1 2 2 3 3 ) (E X p x p x p x 價格 A1（ 70萬） A2（ 88萬） A3（ 108萬） 占比 25% 50% 25% 隨機變量的數(shù)學(xué)特征 14 連續(xù)型隨機變量 設(shè)連續(xù)型隨機變量 X的概率密度為 f (x), 則 ( ) ( )E X x f x d x 正態(tài)分布的期望 22()2()12xx e d xEX 數(shù)學(xué)期望的意義 15 試驗次數(shù)較大時， X的觀測值的算術(shù)平均值 在 E(X)附近擺動 ()x E X數(shù)學(xué)期望又可以稱為 期望值 (Expected Value)， 均值 (Mean) E(X)反映了隨機變量 X取值的“ 概率平均 ” ,是 X的 可能值以其相應(yīng)概率的加權(quán)平均。 方差的引入 16 E( X1 )=50 20 30 50 70 80 1/8 1/8 1/2 1/8 1/8 E( X2 )=50 總價（萬元） 占比 40 50 60 1/4 1/2 1/4 設(shè)有兩個樓盤，其各戶型總價取值規(guī)律如下： 總價（萬元） 占比 兩種個樓盤的總價均值是相同的，但樓盤 2的波動更大 方差 17 2( ) ( )D X E X E X均方差（標(biāo)準(zhǔn)差） ( ) ( )X D X ()DX ()Var XX設(shè) 是一隨機變量，如果 存在，則稱 為 的方差，記作 或 2()E X E XX即 方差的計算步驟 18 ( ) ( )E X x f x d x Step 1: 計算期望 E(X) 1 1 2 2 ( ) k k k kkE X p x p x p x p x LLStep 2: 計算 E(X2) 22( ) ( )E X x f x d x 22 2 2 21 1 2 2 ) ( k k k kkE X p x p x p x p x LLStep 3: 計算 D(X) 22( ) ( ) ( ) D X E X E X離散型 連續(xù)型 離散型 連續(xù)型 協(xié)方差 在概率論和統(tǒng)計學(xué)中，協(xié)方差用于衡量兩個變量的總體誤差。而方差是協(xié)方差的一種特殊情況，即當(dāng)兩個變量是相同的情況。 直觀上來看，協(xié)方差表示的是兩個變量總體的誤差，這與只表示一個變量誤差的 方差 不同。 如果兩個變量的變化趨勢一致，也就是說如果其中一個大于自身的期望值，另外一個也大于自身的期望值，那么兩個變量之間的協(xié)方差就是正值。 如果兩個變量的變化趨勢相反，即其中一個大于自身的期望值，另外一個卻小于自身的期望值，那么兩個變量之間的協(xié)方差就是負(fù)值。 19 相關(guān)系數(shù) 前面說到當(dāng)兩個變量互為統(tǒng)計獨立時，協(xié)方差 COV=0 但反之協(xié)方差 COV=0時，兩個變量并不一定統(tǒng)計獨立 相關(guān)系數(shù)是變量之間相關(guān)程度的指標(biāo)。樣本相關(guān)系數(shù)用 r表示 ,總體相關(guān)系數(shù)用 表示 ,相關(guān)系數(shù)的取值范圍為 -1,1 20 定義 21 樣本與總體 引 言 22 隨機變量及其所伴隨的概率分布全面描述了隨機現(xiàn)象的統(tǒng)計性規(guī)律。 概率論的許多問題中，隨機變量的概率分布通常是已知的，或者假設(shè)是已知的，而一切計算與推理都是在這已知是基礎(chǔ)上得出來的。 但實際中，情況往往并非如此，一個隨機現(xiàn)象所服從的分布可能是 完全不知道的，或者知道其分布概型，但是其中的某些參數(shù)是未知的。 例如： 望今緣在開售之前做市場調(diào)查，目標(biāo)總體內(nèi)有購房需求客戶的當(dāng)期 支付能力或者客戶當(dāng)前對戶型面積的需求。所得出的數(shù)據(jù)集是服從的 分布是未知的。 數(shù)理統(tǒng)計的任務(wù)則是 以概率論為基礎(chǔ)，根據(jù)試驗所得到的數(shù)據(jù)， 對研究對象的客觀統(tǒng)計規(guī)律性做出合理的推斷。 樣本與總體 23 總體與樣本 在數(shù)理統(tǒng)計中 ， 把研究對象的全體稱為 總體 （ population)或母體 ， 而把組成 總體的每個單元稱為 個體 。 例如我們做市場調(diào)查 ， 目標(biāo)客戶群體就是總體 ， 每一個客戶稱為個體 。 總體： 樣本： 在抽取過程中 ， 每抽取一個個體 ， 就是對總體 X進行一次隨機試驗 ， 每次抽取 的 n個個體 ， 稱為總體 X的一個容量為 n的樣本 （ sample） 或子樣 ；其中樣本中所 包含的個體數(shù)量稱為樣本容量 n。 總體是唯一的、確定的，而樣本是不確定的、可變的、隨機的。 抽樣及抽樣方法 24 1. 簡單隨機抽樣 2. 類型抽樣 3. 整群抽樣 4. 等距抽樣 5. 階段抽樣 常用抽樣方法 定義 從欲研究的全部樣品中抽取一部分樣品單位。其基本要求是要保證所 抽取的樣品單位對全部樣品具有充分的代表性。抽樣的目的是從被抽取樣 品單位的分析、研究結(jié)果來估計和推斷全部樣品特性，是科學(xué)實驗、質(zhì)量 檢驗、社會調(diào)查普遍采用的一種經(jīng)濟有效的工作和研究方法。 簡單隨機樣本樣本必須具有的性質(zhì) 25 代表性 即樣本 ( )的每個分量 與總體 具有 相同的概率分布 。 12, , , nX X XL iX X獨立性 即每次抽樣的結(jié)果既不影響其余各次抽樣的結(jié)果，也不受其它各次抽 樣結(jié)果的影響。 滿足上述兩點要求的子樣稱為 簡單隨機樣本 .獲得簡單隨機樣本的抽樣方法叫 簡單隨 機抽樣 . 樣本（ sample） 總體（ population） 抽樣（ sampling） 總體容量（ population size） N=45 樣本容量（ sample size） n=10 為推斷總體的某些特征，而從總體中按一定方法抽取若干個體，這一過程稱為抽樣，所抽取的個體稱為樣本。 抽樣方法 自有限總體的簡單隨機抽樣 簡單隨機樣本 有限總體 總體中每一個體以相等的概率被抽出，稱簡單隨機抽樣。 有放回抽樣與 無放回抽樣之分 。自有限總體的簡單隨機抽樣，特指 有放回抽樣 。 27 25 2 1 3 4 5 23 26 28 29 30 31 33 36 14 13 12 11 10 9 8 7 6 21 20 22 42 43 44 91 17 37 16 35 15 38 32 39 40 41 24 18 34 45 2 38 3 25 7 36 23 23 12 9 抽樣方法 自無限總體的簡單隨機抽樣 無限總體 自無限總體抽取樣本，采用 無放回抽樣 。如果滿足以下兩個條件，則稱簡單隨機抽樣： 每個個體來自同一個總體 樣本中每個個體的抽取是獨立的 簡單隨機樣本 抽樣方法 統(tǒng)計量 計算 總 體 確定性 樣 本 隨機抽樣 隨機性 隨機性 xps樣本統(tǒng)計量做為隨機變量，具有特定的概率分布。 把握住他們的分布規(guī)律就找到了推斷總體參數(shù)的依據(jù)。 總體參數(shù) XP理論上可計算 確定性 抽樣分布 30 統(tǒng)計方法 參數(shù)估計 31 數(shù)理統(tǒng)計問題：如何 選取樣本 來 對總體 的種種統(tǒng)計特征 作出判斷 。 參數(shù)估計問題：知道隨機變量（總體）的 分布類型 ，但 確切的形式 不知道，根據(jù)樣本來估計總體的參數(shù) ，這類問題稱為 參數(shù)估計 。 參數(shù)估計的類型 點估計、區(qū)間估計 點估計的方法 ：構(gòu)造一個統(tǒng)計量來對總體進行估計 主要方法：數(shù)字特征法、矩法、極大似然法 。 區(qū)間估計 ：點估計總是有誤差的，但沒有衡量偏差程度的量，區(qū)間估計則是按 一定的可靠性程度對待估參數(shù)給出一個區(qū)間范圍。 2Z 2顯著性水平 22 10置信度 22 nZxnZx 2_2_ ,顯著性水平 下， 在 1- 置信水平下的置信區(qū)間： 置信度 置信度 ,也叫置信水平。它是指特定個 體對待特定命題真實性相信的程度 .也 就是概率是對個人信念合理性的量度 . 概率的置信度解釋表明 ,事件本身并沒 有什么概率 ,事件之所以指派有概率只 是指派概率的人頭腦中所具有的信念 證據(jù)。置信水平是指總體參數(shù)值落在 樣本統(tǒng)計值某一區(qū)內(nèi)的概率；而置信 區(qū)間是指在某一置信水平下，樣本統(tǒng) 計值與總體參數(shù)值間誤差范圍。置信 區(qū)間越大，置信水平越高。 是否為大樣本 n30 值是否已知 值是否已知 總體是否近 似正態(tài)分布 用樣本標(biāo)準(zhǔn)差 s 估計 nszx2_nzx 2_nzx 2_nstx2_用樣本標(biāo)準(zhǔn)差 s 估計 將樣本容量 增加到 n30 以便進行區(qū)間 估計 是 是 是 是 否 否 否 否 總體均值區(qū)間估計程序 假設(shè)檢驗 34 引 言 統(tǒng)計假設(shè) 通過實際觀察或理論分析對總體分布形式 或?qū)傮w分布形式中的某些參數(shù)作出某種 假設(shè)。 假設(shè)檢驗 根據(jù)問題的要求提出假設(shè)，構(gòu)造適當(dāng)?shù)慕y(tǒng) 計量，按照樣本提供的信息，以及一定的 規(guī)則，對假設(shè)的正確性進行判斷。 基本原則 小概率事件在一次試驗中是不可能發(fā)生的。 假設(shè)檢驗 35 參數(shù)的假設(shè)檢驗 ：已知總體的分布類型，對分布函數(shù)或密度函數(shù)中的某些 參數(shù)提出假設(shè)，并檢驗。 思想 ：如果原假設(shè)成立，那么某個 分布已知 的 統(tǒng)計量在某個區(qū)域內(nèi)取值的 概率 應(yīng)該較小，如果樣本的觀測數(shù)值落在這個小概率區(qū)域內(nèi)，則原假設(shè)不 正確，所以，拒絕原假設(shè)；否則，接受原假設(shè)。 拒絕域 檢驗水平 假設(shè)檢驗 36 基本步驟 1、 提出原假設(shè)，確定備擇假設(shè) ； 2、 構(gòu)造分布已知的合適的統(tǒng)計量 ； 3、 由給定的檢驗水平 ，求出在 H0成立的條件下的 臨界值（上側(cè) 分位數(shù)，或雙側(cè) 分位數(shù)） ； 4、 計算統(tǒng)計量的樣本觀測值，如果落在拒絕域內(nèi)， 則拒絕原假設(shè)，否則，接受原假設(shè)。 37 相關(guān)分析 簡單相關(guān)分析 是對兩個變量之間的相關(guān)程度進行分析。單相關(guān)分析所用的指標(biāo)稱為單相關(guān)系數(shù)，又稱為單相關(guān)系數(shù)、 Pearson（皮爾森）相關(guān)系數(shù)或相關(guān)系數(shù)。通常以 表示總體的相關(guān)系數(shù)，以表示樣本的相關(guān)系數(shù) 38 相關(guān)系數(shù)的檢驗 在實際的客觀現(xiàn)象分析研究中，相關(guān)系數(shù)一般都是利用樣本數(shù)據(jù)計算的，因而帶有一定的隨機性，樣本容量越小其可信程度就越差。因此也需要進行檢驗，即對總體相關(guān)系數(shù) 是否等于進行檢驗。數(shù)學(xué)上可以證明，在與都服從于正態(tài)分布，并且又有 的條件下，可以采用檢驗來確定的顯著性。其步驟如下： 39 關(guān)鍵術(shù)語 無放回抽樣（ sampling without replacement） 一個元素一旦選入樣本，就從總體中剔除，不能再次被選入 放回抽抽樣（ sampling with replacement） 一個元素一旦被選入樣本，仍被放回總體中。先前被選入的元素可能再次被抽到，并且在本樣中可能出現(xiàn)多次 抽樣分布（ sampling distribution） 樣本統(tǒng)計量所有可能值構(gòu)成的概率分布 點估計（ point estimate） 用做總體參數(shù)估計量的值。它