管理統(tǒng)計學課件：第8章 線性回歸

1、上節(jié)課內(nèi)容回顧相關(guān)分析 7.1 相關(guān)分析 7.2 簡單相關(guān)分析 7.3 偏相關(guān)分析 7.4 距離相關(guān)分析 相關(guān)關(guān)系相關(guān)關(guān)系：變量之間存在著不嚴格，非確定性的依存關(guān)系。相關(guān)關(guān)系也叫統(tǒng)計關(guān)系相關(guān)關(guān)系的變量之間關(guān)系值是不固定的 ，隨機的。它們之間可以是互為因果，也可能僅僅是伴隨出現(xiàn)。因變量的值總是歸繞這期望值有規(guī)律的波動。相關(guān)關(guān)系分類簡單相關(guān)關(guān)系計算相關(guān)關(guān)系：變量之間存在著不嚴格，非確定性的依存關(guān)系。相關(guān)關(guān)系也叫統(tǒng)計關(guān)系簡單相關(guān)系數(shù)。Pearson簡單相關(guān)系數(shù)：Spearman相關(guān)系數(shù)：Kendall相關(guān)系數(shù)：偏相關(guān)系數(shù)的計算偏相關(guān)系數(shù) 分析變量x1和y之間的相關(guān)時，當控制了變量x2的線性作用后，x

2、1和y之間的偏相關(guān)系數(shù)定義為偏相關(guān)系數(shù)的取值范圍及大小含義與相關(guān)系數(shù)相同距離相關(guān)分析距離相關(guān)分析（研究兩樣本近似程度）指對樣本或變量之間相似或不相似程度的一種度量。計算的是一種廣義距離。 距離相關(guān)分析根據(jù)統(tǒng)計量的不同，分為：不相似性測度：通過計算距離來表示，其數(shù)值越大，表示相似程度越弱。 相似性測度：通過計算相關(guān)系數(shù)（如peason相關(guān)系數(shù)）來表示的，其數(shù)值越大，表示相似程度越強。 相關(guān)性分析的spss操作簡單分析的spss操作偏相關(guān)分析的spss操作距離相關(guān)分析的spss操作簡單分析的spss操作道瓊斯工業(yè)平均指數(shù)（DJIA）和標準普爾指數(shù)500（S&P 500）都被用做股市全面動態(tài)的測度。

3、DJIA是基于30種股票的價格動態(tài)；S&P 500是由500種股票組成的指數(shù)。有人說S&P 500是股票市場功能的一種更好的測度，因為它基于更多的股票。右表顯示了DJIA和S&P 500在1997年10周內(nèi)的收盤價。請計算它們之間的樣本相關(guān)系數(shù)。不僅如此，樣本相關(guān)系數(shù)告訴我們DJIA和S&P 500之間的關(guān)系是怎樣的？Step01：打開主菜單，選擇主菜單中的【分析】【相關(guān)】【雙變量】命令，彈出【雙變量相關(guān)】對話框，如下圖，這是簡單相關(guān)檢驗的主操作窗口。單擊選項按鈕，彈出如圖7-2所示的【選項】對話框 。選擇輸出統(tǒng)計量。均值和標準差：將輸出選中的各變量的觀測值數(shù)目、均值和標準差單擊確定按鈕，結(jié)束

4、操作，SPSS軟件自動輸出結(jié)果。偏相關(guān)分析的spss操作在我國的金融市場中，股票市場和債券市場都是其中的重要組成部分。研究它們之間的關(guān)系有利于我們弄清楚金融市場之間的關(guān)聯(lián)特征。右表列出了近幾年我國股票市場、交易所國債市場和銀行間國債市場的綜合指數(shù)，請利用相關(guān)分析研究這三個市場的關(guān)聯(lián)特征 Step01：打開主菜單，選擇主菜單中的【分析】【相關(guān)】【偏相關(guān)】命令，彈出【偏相關(guān)】對話框，如下圖所示。Step2：單擊選項按鈕，彈出如圖所示的【選項】對話框 。選擇輸出統(tǒng)計量。均值和標準差；零階相關(guān)系數(shù)：將輸出選中的各變量的觀測值數(shù)目、均值和標準差，簡單相關(guān)系數(shù)。單擊確定按鈕，結(jié)束操作，SPSS軟件自動輸出

5、結(jié)果。距離相關(guān)分析的spss操作右表列出了我國1991年2005年間居民消費價格指數(shù)、城市居民消費價格指數(shù)、農(nóng)村居民消費價格指數(shù)、商品銷售價格指數(shù)、工業(yè)品出廠價格指數(shù)、原材料等購進價格指數(shù)和固定資產(chǎn)投資價格指數(shù)。請研究這些價格指數(shù)之間的關(guān)系 Step01：打開主菜單選擇主菜單中的【分析】【相關(guān)】【距離】命令，彈出【 距離】對話框，如圖所示單擊確定按鈕，結(jié)束操作，SPSS軟件自動輸出結(jié)果。第8章 線性回歸8.1 回歸分析概述8.2 一元線性回歸8.3 多元線性回歸8.1 回歸分析相關(guān)系數(shù)只能說明變量間相關(guān)關(guān)系的方向和程度，關(guān)系是否密切。但不能說明一個現(xiàn)象發(fā)生一定量的變化，另一個現(xiàn)象一般也會發(fā)生多

6、大變化。回歸分析是研究變量與變量之間相關(guān)關(guān)系的一種統(tǒng)計推斷方法。它是在試驗觀測數(shù)據(jù)的基礎(chǔ)上，以一種確定的函數(shù)關(guān)系去近似替代比較抽象的相關(guān)關(guān)系。回歸分析：是對具有相關(guān)關(guān)系（顯著相關(guān)）的兩個或兩個以上的變量之間所具有的變化規(guī)律進行擬合，確定一個相應(yīng)的數(shù)學表達式（經(jīng)驗公式），通過一個或多個變量的變化去解釋另一變量變化的方法，以便從定量的角度由已知變量推測未知量，為估算預測或控制提供重要依據(jù)。8.1.2 回歸分析步驟確定定回歸方程中的解釋變量和被解釋變量解釋變量（x）；被解釋變量（y）有別于相關(guān)分析（如：父親身高關(guān)于成年兒子身高的回歸分析與成年兒子身高關(guān)于父親身高的回歸分析時完全不同的 ）確定回歸模型

7、：通過觀察散點圖確定應(yīng)通過哪種數(shù)學模型來概括回歸線 建立回歸方程：估計出模型中的各個參數(shù)，得到一個確定的回歸方程 對回歸方程進行各種檢驗 ：檢驗回歸方程時否真實地反映了事物總體間的統(tǒng)計關(guān)系以及回歸方程能否用于預測等 利用回歸方程進行預測：根據(jù)回歸方程對事物的未來發(fā)展趨勢進行預測 8.2 一元線性回歸一元線性回歸分析研究某一現(xiàn)象與影響它的某一最主要因素的影響 假定其他影響因素確定的條件下，分析某一個因素（自變量）是如何影響另一事物（因變量）的過程 比較理想化 舉例如影響糧食產(chǎn)量的因素非常多，但在眾多因素中，施肥量是一個重要的因素，往往需要研究施肥量這一因素與糧食產(chǎn)量之間的關(guān)系 在消費問題的研究中

8、，影響消費的因素很多，但我們可以只研究國民收入與消費額之間的關(guān)系，因為國民收入是影響消費的最主要因素 對所研究的問題首先要收集與它有關(guān)的n組樣本數(shù)據(jù)(xi，yi) ，i=1，2，n。為了直觀地發(fā)現(xiàn)樣本數(shù)據(jù)的分布規(guī)律，把(xi，yi)看成是平面直角坐標系中的點，畫出這n個樣本點的散點圖 例化肥施用量與糧食產(chǎn)量的關(guān)系為準確地定出化肥施用量的單位變化如何影響糧食產(chǎn)量的平均單位變化，進而確定合理的化肥施用量序號糧食產(chǎn)量y化肥施用量x148526.694541.05245110.873637.87340753.792287.49443824.583056.89550890.114883.70646370

9、.883779.30746577.914021.09842947.442989.06941637.213021.901047244.343953.971143061.533212.131247336.783804.761337127.891599.281439515.071998.561546598.043710.561644020.923269.031734866.911017.121837184.141864.231941864.772797.242033717.781.34.09例 人均消費金額和人均國民收入收集到19862005年20年的樣本數(shù)據(jù)年份人均國民收入人均消費金額198696

10、34971987111256519881366788198915197881990164483319911893932199223111116199329981393199440441833199550462355199658462789199764203002199867963159199971593346200078583632200186223869200293984106200310542441120041233649252005140405439人均消費金額和人均國民收入(續(xù))從例9.1和9.2的散點圖看到樣本數(shù)據(jù)點（xi，yi）大致都分別落在一條直線附近說明變量x與y之間具有明顯的

11、線性關(guān)系這些樣本點有不都在一條直線上，表明變量x和y的關(guān)系并沒有確切到給定x就可以唯一確定y的程度對y產(chǎn)生影響的因素還有許多，如人家消費金額不僅受人均國民收入的影響，還與上年的消費水平、銀行利率、商品價格指數(shù)等有關(guān)，這些對y的取值都有隨機影響每個樣本點與直線的偏差可看做是其他隨機因素的影響8.2.1 一元線性回歸模型一元線性回歸模型/簡單線性回歸模型 只有一個解釋變量的線性回歸模型解釋被解釋變量與另一個解釋變量之間的線性關(guān)系建立模型因變量（y）：被預測或被解釋的變量；自變量（x）：預測或解釋因變量的一個或多個變量近似的線性函數(shù)關(guān)系：a+bx 反映了由于x的變化引起的y的線性變化 ：誤差項的隨機

12、變量它反映了除x和y之間的線性關(guān)系之外的隨機因素對y的影響，是不能由x和y之間的線性關(guān)系所解釋的變異性它是未包括在模型中而又影響y的全部變量的替代物 a和b：模型的參數(shù) 8.2.2 估計參數(shù)-最小二乘法一元線性回歸方程（y的期望值是x的線性函數(shù) ） ：y=a+bx總體回歸參數(shù)a和b是未知的 回歸分析的主要任務(wù)：利用樣本數(shù)據(jù)估計a和b用于描述其關(guān)系的直線有多條 ，利用最小二乘法選擇最適合代表兩個變量關(guān)系的一元線性回歸參數(shù)估計推導a,b取多少時，式子取最小值？課堂練習：例 修理時間與原件個數(shù)考察修理（或服務(wù)）時間與計算機中需要修理或更換的元件個數(shù)的關(guān)系（修理時間為因變量，元件數(shù)為自變量）行數(shù)修理時

13、間元件個數(shù)123122923493464457446875796689769109710119811149912145913154101416610修理時間與原件個數(shù)(續(xù))由散點圖，知修理時間和所修理或更換的元件個數(shù)之間具有一定的線性關(guān)系得到：修理時間對元件個數(shù)的估計方程：回歸系數(shù) 表示：元件個數(shù)每增加1個，修理時間平均增加15.509分鐘 在回歸分析中，對截距 常常不能賦予任何真實意義，通常不作實際意義上的解釋 一元線性回歸課堂練習表8-1中的數(shù)據(jù)是7大名牌飲料的廣告支出（百萬美元）與箱銷售量（百萬）的數(shù)據(jù)。請利用回歸分析來分析廣告支出與箱銷售量的關(guān)系。品牌廣告支出銷量廣告支出*銷量廣告支出

14、的平方Coca-Cola Classi131.3 1929.2 253304.0 17239.7 Pepsi-Cola92.4 1384.6 127937.0 8537.8 Diet Coke60.4 811.4 49008.6 3648.2 Sprite55.7 541.5 30161.6 3102.5 Dr. Pepper40.2 536.9 21583.4 1616.0 Mountain Dew29.0 535.6 15532.4 841.0 7-UP11.6 219.5 2546.2 134.6 加和420.6 5958.7 500073.1 35119.7 A=14.42B=-15.

15、42結(jié)果8.2.3 回歸方程的檢驗需要對樣本回歸方程進行各種檢驗（即使一些雜亂無章的散點也可以配出一條直線） 回歸分析中的顯著性檢驗包含兩個方面對回歸直線的擬合優(yōu)度檢驗判定系數(shù)R2和相關(guān)系數(shù)對整個方程線性關(guān)系的顯著性檢驗F檢驗法對回歸系數(shù)的顯著性檢驗t檢驗法對模型真實擬合效果的評價殘差分析法。 8.2.4 一元線性回歸的SPSS操作表8-1中的數(shù)據(jù)是7大名牌飲料的廣告支出（百萬美元）與箱銷售量（百萬）的數(shù)據(jù)。請利用回歸分析來分析廣告支出與箱銷售量的關(guān)系。第一步，通過散點圖看是否存在線性關(guān)系單擊“圖形”-“就對話框”-“散點圖”-“簡單分布”，打開“簡單散點圖對話框”，選擇x，y軸。廣告支出和銷

16、售量的散點圖一元線性回歸分析操作步驟選擇菜單欄中的【分析】【回歸】【線性】命令，彈出【線性回歸】對話框，這是線性回歸分析的主操作窗口。結(jié)果分析8.3 多元線性回歸在實際問題中，影響因變量的因素往往有多個 商品的需求除了受自身價格的影響外，還要受到消費者收入、其他商品的價格、消費者偏好等因素的影響影響水果產(chǎn)量的外界因素有平均氣溫、平均日照時數(shù)、平均濕度等 多元回歸：兩個及兩個以上變量的回歸問題多元線性回歸：一個因變量同多個自變量的回歸問題就是多元回歸，因變量同各自變量之間為線性關(guān)系分析的原理同一元線性回歸的原來基本相同，但計算上要復雜得多，因此需要借助計算機來完成 8.3.1 多元線性回歸模型多

17、元線性回歸模型：描述因變量y如何依賴于自變量 和誤差項的方程 公式：E()=0，Var( )= 2多元線性總體回歸方程：估計的多元線性回歸方程（樣本回歸方程）8.3.2 參數(shù)的最小二乘估計多元線性回歸模型中偏回歸系數(shù)的估同樣采用最小二乘法，通過使用因變量的觀察值與估計值之間的殘差平方和達到最小，來求得通過右邊方程組 確定：8.3.3 多元回歸方程的檢驗和一元回歸方程一樣，多元回歸方程也需要對樣本回歸方程進行各種檢驗（即使一些雜亂無章的散點也可以配出多元方程） 回歸分析中的顯著性檢驗包含兩個方面對回歸方程的擬合優(yōu)度檢驗；對整個方程線性關(guān)系的顯著性檢驗F檢驗法對回歸系數(shù)的顯著性檢驗t檢驗法對多重共

18、線性的判斷。 多重共線性下列情況暗示存在多重共線性模型中各對自變量之間顯著相關(guān) 當模型的線性關(guān)系現(xiàn)在（F檢驗） 顯著時，幾乎所有回歸系數(shù)i的t檢驗卻不顯著 回歸系數(shù)的正負號與預期的相反 解決共線性的措施將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān) 檢驗共線性指標指標名稱檢驗標準容差（Tolerance）若某自變量容忍度小于0.1，則存在共線性問題方差膨脹率（VIF）容忍度的倒數(shù)，越大共線性問題越嚴重特征根（Eigenvalues）若多個維度的特征根等于0，則可能存在共線性問題條件指數(shù)（Condition Index）若某個維度的條件指數(shù)大于30，則可能存在共線性問題8.3.

19、4 變量的篩選策略多元回歸分析中，被解釋變量會受眾多因素的共同影響，需要由多個解釋變量解釋究竟哪些自變量應(yīng)該引入模型？哪些自變量不應(yīng)該引入模型？對自變量進行一定的篩選和控制 希望盡可能用最少的變量來建立模型 解釋變量的篩選三種基本策略 向前篩選向后篩選逐步篩選 篩選策略（續(xù)）向前篩選：解釋變量不斷進入回歸方程的過程 （變量逐漸增多）選擇與被解釋變量具有最高線性相關(guān)系數(shù)的變量進入方程，并進行回歸方程的各種檢驗 在剩余的變量中尋找與解釋變量偏相關(guān)系數(shù)最高并通過檢驗的變量進入回歸方程，并對新建立的回歸方程進行各種檢驗 一直重復這個過程，直到再也沒有可進入方程的變量為止 向后篩選：變量不斷剔除出回歸方

20、程的過程（變量逐漸減少）所有變量全部引入回歸方程，并對回歸方程進行各種檢驗 在回歸系數(shù)顯著性檢驗不顯著的一個或多個變量中，剔除回歸系數(shù)檢驗不顯著的變量，并重新建立回歸方程和進行各種檢驗 直到再也沒有可剔除的變量為止 逐步篩選：向前篩選和向后篩選策略的綜合 （變量先進入回歸方程再判斷篩選）在向前篩選策略的基礎(chǔ)上，結(jié)合向后篩選策略，在每個變量進入方程后再次判斷是否存在可以剔除方程的變量 在引入變量的每一個階段都提供了再剔除不顯著變量的機會 常用的變量篩選策略 多元線性回歸的SPSS操作二元線性回歸時光影劇院公司的老板希望了解公司投放的電視廣告費用和報紙廣告費用對公司收入的影響。以往8周的樣本數(shù)據(jù)如表8-6所示（單位：千美元）。請建立模