管理統(tǒng)計(jì)學(xué)-第九章-回歸分析方法

1、第九章 回歸分析方法“回歸” 一詞的由來 “回歸”英文為“regression”,是由英國著名生物學(xué)家兼統(tǒng)計(jì)學(xué)家Galton（高爾頓）在研究人類遺傳問題時(shí)提出的。 為了研究父代身高（X）與子代身高（Y）的關(guān)系，Galton收集了上千對(duì)父親及其一子的身高數(shù)據(jù)。經(jīng)過對(duì)數(shù)據(jù)的深入分析，發(fā)現(xiàn)了一個(gè)很有趣的現(xiàn)象回歸效應(yīng)。回歸分析的定義 回歸分析是數(shù)理統(tǒng)計(jì)學(xué)的一個(gè)重要組成部分，它的任務(wù)是研究變量之間的相關(guān)關(guān)系，建立變量之間的經(jīng)驗(yàn)公式，以便達(dá)到預(yù)測(cè)和控制的目的。 回歸分析是研究變量間相關(guān)關(guān)系的一門學(xué)科。它通過對(duì)客觀事物中變量的大量觀察或試驗(yàn)獲得的數(shù)據(jù)，去尋找隱藏在數(shù)據(jù)背后的相關(guān)關(guān)系，給出它們的表達(dá)式回歸函數(shù)

2、的估計(jì)。1.相關(guān)關(guān)系在實(shí)際問題中，我們常常遇到多個(gè)變量處于同一個(gè)過程之中，它們相互聯(lián)系、相互制約。 不完全確定關(guān)系：人的身高（X）與體重（Y），人的血壓（Y）與年齡（X）（不能用一個(gè)確定的函數(shù)關(guān)系式表達(dá)出來）這些r、v之間的關(guān)系稱為“相關(guān)關(guān)系”。完全確定函數(shù)關(guān)系：2.回歸分析 為了深入了解事物的本質(zhì)，往往也需要我們?nèi)ふ疫@些變量之間的數(shù)量關(guān)系式。 回歸分析就是為了尋找這類不完全確定的變量間的數(shù)學(xué)關(guān)系式并進(jìn)行統(tǒng)計(jì)推斷的一種方法。3.回歸分析的主要內(nèi)容（1）從一組數(shù)據(jù)出發(fā)，確定這些變量（參數(shù)）間的定量關(guān)系（回歸模型）（2）對(duì)模型的可信度進(jìn)行統(tǒng)計(jì)檢驗(yàn)（3）從有關(guān)的許多變量中，判斷變量的顯著性（即哪些

3、是顯著的，哪些是不顯著的，顯著的保留，不顯著的忽略）（4）應(yīng)用結(jié)果對(duì)實(shí)際問題做出判斷自變量X回歸變量，因變量Y應(yīng)變量（響應(yīng)變量）我們可以設(shè)想：Y的值由兩部分組成一、由X能決定的部分，它是X的函數(shù)，記為(X)二、由其它眾多未加考慮的因素（包括隨機(jī)因素）產(chǎn)生的影響，它被看作隨機(jī)誤差，也是隨即變量，記為于是我們得到如下模型:Y=(X)+9.1一元線性回歸方法1.一般形式一元回歸模型的一般形式記為:并設(shè)觀察值為y，則： , 是未知的待定系數(shù)，稱其為回歸系數(shù) 2.模型分析：假設(shè) ， ，即是相互獨(dú)立的rv，則隨機(jī)變量假設(shè)有一組試驗(yàn)數(shù)據(jù)并假設(shè)其中是相互獨(dú)立的隨機(jī)變量，且若用分別表示的估計(jì)值，則稱為y關(guān)于x的

4、一元線性回歸方程下面我們要研究的問題是（2）如何檢驗(yàn)回歸方程的可信度？解決第一個(gè)問題采用最小二乘估計(jì)解決第二個(gè)問題采用統(tǒng)計(jì)檢驗(yàn)的方法（1）如何根據(jù)來求的估計(jì)值？隨機(jī)誤差的平方和達(dá)到最小9.1.2 參數(shù)的最小二乘估計(jì)最小二乘法估計(jì)，即取的估計(jì)值使若記為使 與 的擬合最佳，則顯然，且關(guān)于可微，則由多元函數(shù)存在極值的必要條件得:此方程為正規(guī)方程組，求解可得到：稱 為 的最小二乘估計(jì)，其中即的性質(zhì)：（1）（2）（3） 三者相互獨(dú)立（4）（5）9.1.3 回歸方程的顯著性檢驗(yàn)前面是根據(jù)回歸方程 求出了估計(jì)值 ，現(xiàn)在的問題是：y與x之間是否存在這種關(guān)系?即回歸方程是否一定有意義？即當(dāng)x變化時(shí)，y是否為這就

5、需要對(duì)回歸方程作出顯著性檢驗(yàn)，實(shí)際上，只要統(tǒng)計(jì)量。從而有一常數(shù)，也就是說這里 是否為0？檢驗(yàn) 是否為真，這就需要建立一個(gè)檢驗(yàn)的之間的差異回歸變量x的變化所引起的誤差，它的大小反映了x的重要程度。先考慮總偏差平方和 ，表示其中 是殘差平方和，表示由隨即誤差和其它未加控制的因素所引起的誤差， 是回歸平方和，表示由事實(shí)上，由正規(guī)方程組知由于每一個(gè)平方和都有一個(gè)自由度（free）(即相互獨(dú)立的不受約束隨機(jī)變量的個(gè)數(shù))，用 表示則總偏差平方和的自由度回歸平方和的自由度殘差平方和的自由度可以證明在 的假設(shè)下，給定一個(gè)模型的顯著性水平通過查表得到F分布的值，記為，若是顯著的，反之是不顯著的。則表明 是小概率

6、事件確實(shí)算出 ，說明 不成立，說明 必不可少。換言之，模型對(duì)水平 而言9.1.4 回歸方程的擬合檢驗(yàn)通過對(duì)回歸方程的顯著性檢驗(yàn)，在顯著的情況下，即說明x對(duì)y的影響是主要的， 但不能肯定y與x的關(guān)系一定是線性的，也可能是非 線性的，也可能還存在其他的影響因素下進(jìn)行重復(fù)試驗(yàn)，檢驗(yàn)回歸方程的擬合問題 假設(shè)對(duì)同一個(gè) ，進(jìn)行 次試驗(yàn)，得到觀測(cè)數(shù)據(jù) ，為此，就需要在同一個(gè)即，共有 組獨(dú)立觀測(cè)數(shù)據(jù)檢驗(yàn)是否為真。為建立統(tǒng)計(jì)量，考慮相應(yīng)的殘差平方和其中為第 i 組試驗(yàn)數(shù)據(jù)的平均值 這有兩種可能：y不是x的線性關(guān)系?；貧w變量的個(gè)數(shù)不夠，需要增加新的變量，究竟屬于哪一種需要找出原因作進(jìn)一步的改進(jìn)。若 ，模型擬合是好

7、的，其它因素所產(chǎn)生的誤差不明顯，不顯著若 ，模型擬合不好，說明其它因素所產(chǎn)生的誤差超過了試驗(yàn)誤差，是顯著的，需要進(jìn)一步改進(jìn)模型9.2 多元線性回歸方法9.2.1多元線性回歸模型（9.2）（9.3）令其中 為隨機(jī)誤差， ， 均為實(shí)際問題的解釋變量，是已知函數(shù)。假設(shè)作了n次試驗(yàn)得到n組觀測(cè)值為：代入（9.3）中可得（9.4）（其中 為第i次試驗(yàn)時(shí)隨機(jī)誤差）該模型關(guān)于回歸系數(shù) 是線性的，u為一般向量，若用矩陣形式，（9.4）變?yōu)椋杭雌渲蠿是模型設(shè)計(jì)矩陣，Y與 是隨機(jī)向量且 ， （I為n階單位陣） 是不可觀測(cè)的隨機(jī)誤差向量， 是回歸系數(shù)構(gòu)成的向量，是未知、待定的常數(shù)向量。9.2.2 回歸系數(shù) 的最小二

8、乘估計(jì)選取 的一個(gè)估計(jì)值 使隨機(jī)誤差 的平方和達(dá)到最小由上式（正規(guī)方程組）記系數(shù)矩陣 ，常數(shù)矩陣 是非負(fù)二次式，是可微的，由多元函數(shù)取得極值的必要條件可得：如果 存在，稱其為相關(guān)矩陣1.可以證明：對(duì)任意給定的X,Y，正規(guī)方程組總有解，雖然當(dāng)X不滿秩時(shí)，其解不唯一，但對(duì)任意一組解 都能是殘差平方和最小，即3.性質(zhì)2.當(dāng)X滿秩時(shí)，即則正規(guī)方程組的解為 ，即為回歸系數(shù)的估計(jì)值9.2.3 回歸分析模型的顯著性檢驗(yàn)主要是檢驗(yàn)?zāi)Ｐ褪欠褚欢ㄅc解釋變量有密切的關(guān)系類似一元情形，考慮回歸分析表來源平方和自由度均方和F值回歸平方和m-1殘差平方和n-m總平方和n-1，回歸與響應(yīng)關(guān)系越密切定義：負(fù)相關(guān)系數(shù)對(duì)于給定顯

9、著水平 ，模型顯著則拒絕 成立，即 與u存在明顯的函數(shù)關(guān)系；當(dāng) ，模型不顯著， 是成立的，即 與u不存在明顯的函數(shù)關(guān)系。9.2.4 回歸模型的擬合性檢驗(yàn) 在模型的檢驗(yàn)顯著的情況下，需要進(jìn)一步地做擬合性檢驗(yàn)，目的是檢驗(yàn)是否一定為（9.2）所給的形式，即是否還存在其他的影響因素沒有考慮到。將回歸變量u的n個(gè)觀測(cè)值 按相同值分為k組，每組個(gè)數(shù)為 ，顯然 ；相應(yīng) 也可以分為k組，即第i組觀測(cè)值為 當(dāng) ，說明模型擬合比較好，是不顯著的，省略所造成誤差不大 當(dāng) ，模型擬合不好，是顯著的，省略所造成的誤差影響不可忽略，需要增加新的變量9.3 回歸模型的選擇方法由上面擬合性檢驗(yàn)結(jié)果：引入新的解釋變量從模型中去

10、掉 模型擬合性檢驗(yàn)是顯著的，即未考慮到的因素的影響不可忽略 模型擬合性檢驗(yàn)是不顯著的，即模型中的解釋變量已經(jīng)足夠了，但是并不足說明模型中所有的變量都是必須的，有可能有多余的變量引入，去掉都涉及到模型的選擇 模型選擇的基本原則：即不遺漏一個(gè)重要的解釋變量，但也不把一個(gè)無用的解釋變量保留在模型中。 用偏回歸平方和的大小來衡量一個(gè)解釋變量在模型中的重要性。假設(shè)給定一組解釋變量，它的殘差平方和為：9.3.1 去掉解釋變量假設(shè)把一個(gè)無用的解釋變量去掉（不妨去掉 ，即 ）相應(yīng)的計(jì)算 ，如果則稱：為解釋變量 的偏回歸平方和，其大小反映了 在模型中的貢獻(xiàn)的大小，即是衡量一個(gè)解釋變量的重要性的定量指標(biāo)，其大小決

11、定了能否去掉這個(gè)解釋變量。9.3.2 增加解釋變量 設(shè)引進(jìn) ，記為 在試驗(yàn)觀測(cè)點(diǎn)的值為：m個(gè)變量的回歸系數(shù)的估計(jì)值取為：相應(yīng)的殘差平方和為：而可以證明： 的偏回歸平方和為9.4 回歸模型的正交設(shè)計(jì)法由前面幾節(jié)知：多元線性回歸有兩個(gè)基本缺點(diǎn)： 一是計(jì)算復(fù)雜，其復(fù)雜程度隨著自變量個(gè)數(shù)的增加而迅速增加 二是由于回歸系數(shù)之間存在相關(guān)性，當(dāng)剔除某個(gè)自變量后，還必須重新計(jì)算回歸系數(shù) 多元線性回歸的兩個(gè)基本缺點(diǎn)是由于系數(shù)矩陣A不是對(duì)角陣造成的，因此如何使A為對(duì)角矩陣是問題的關(guān)鍵所在9.4.1 正交的概念設(shè) 是m個(gè)解釋變量，如果對(duì)于 滿足1）對(duì)角線上的元素不為02）除對(duì)角線上都為0則稱 是正交的如何構(gòu)造正交函

12、數(shù)系呢？ 通常情況下，正交函數(shù)都為正交多項(xiàng)式，首先對(duì)于一維回歸變量u來說明構(gòu)造正交多項(xiàng)式的方法。設(shè)有點(diǎn)列 ，取 ，其中其中由此可以構(gòu)造出任意階的正交多項(xiàng)式我們可以得到正交回歸且第k個(gè)解釋變量的偏回歸平方和為：所以殘差平方和為：9.5 多重線性與有偏估計(jì)我們先引進(jìn)評(píng)價(jià)一個(gè)估計(jì)優(yōu)劣的標(biāo)準(zhǔn)均方誤差（MSE）（Mean Squared Errors）設(shè)Q未知參數(shù)向量， 為 的一個(gè)估計(jì)，定義 的均方誤差為它度量了估計(jì) 與未知參數(shù)向量 平均偏離的大小，故一個(gè)好的估計(jì)應(yīng)該有較小的均方誤差。定理1.這里trA表示方陣A的跡，即A的對(duì)角元素和由于最小二乘估計(jì) 為無偏估計(jì)，在均方差中，第二項(xiàng)值為0，又因?yàn)橛捎?是

13、對(duì)稱正定陣，于是存在mxm正交陣使 對(duì)角化，即這里 為 的特征值記 ，則 分別為對(duì)應(yīng)于的標(biāo)準(zhǔn)正交化特征向量，所以容易驗(yàn)證故從這里可以看出 為 的特征值，再利用 ，以及得所以為病態(tài)方程。 從這個(gè)表達(dá)式中我們可以看出，如果 至少有一個(gè)特征根非常小，即非常接近于零 那么 就會(huì)很大，這時(shí)，從均方誤差的標(biāo)準(zhǔn)來看，這時(shí)的最小二乘估計(jì) 就不是一個(gè)好的估計(jì)，并且稱正規(guī)方程組當(dāng) 很大時(shí)，此時(shí)m個(gè)解釋變量之間具有多重共線性，即也就是說設(shè)計(jì)矩陣X的列向量之間有近似的線性關(guān)系，但非絕對(duì)的線性關(guān)系。衡量多重共線性程度量用來表示1）k100時(shí)，則不存在多重共線性2）100k1000時(shí)，則存在較強(qiáng)的多重共線性3）當(dāng)k100

14、0時(shí)，則存在嚴(yán)重的多重共線性9.5.2 回歸系數(shù)的有偏估計(jì)從上面討論我們知道，當(dāng)設(shè)計(jì)矩陣存在復(fù)共線關(guān)系時(shí)，最小二乘估計(jì)的性質(zhì)不理想，有時(shí)甚至很壞。在這種情況下我們就需要些新的估計(jì)方法，近三十年來，人們提出了許多種新估計(jì)，其中在理論上最有影響并且得到廣泛應(yīng)用的就是嶺估計(jì)?；貧w系數(shù)的嶺估計(jì)定義為：這里k0是可選擇參數(shù)，稱為嶺參數(shù)或偏參數(shù)，當(dāng)k取不同值時(shí)，我們就得到不同的估計(jì)，因此嶺估計(jì) 是一個(gè)估計(jì)量。主成份估計(jì)的方法：1）做正交變換Z=XP，獲得新的自變量，稱為主成份2）做回歸自變量選擇，剔除對(duì)應(yīng)的特征值比較小的那些主成份3）將剩余的主成份對(duì)Y做最小二乘回歸，再返回到原來的參數(shù)，使得到因變量到原始

15、自變量的主成份回歸本章例題：（1）問題研究學(xué)者，得到如下數(shù)據(jù)(i為學(xué)者序號(hào))(見表8.1)。某類研究學(xué)者的年薪工薪階層關(guān)心年薪與哪些因素有關(guān)，以此可制定出它們自己的奮斗目標(biāo)。某科學(xué)基金會(huì)希望估計(jì)從事某研究的學(xué)者的年薪Y(jié)與他們的研究成果（論文、著作等）的質(zhì)量指標(biāo)X1、從事研究工作的時(shí)間X2、能成功獲得資助的指標(biāo)X3之間的關(guān)系，為此按一定的實(shí)驗(yàn)設(shè)計(jì)方法調(diào)查了24位i123456789101112xi13.55.35.15.84.26.06.85.53.17.24.54.9xi29201833311325305472511xi36.16.47.46.77.55.96.04.05.88.35.06.4

16、yi33.240.338.746.841.437.539.040.730.152.938.231.8i131415161718192021222324xi18.06.56.63.76.27.04.04.55.95.64.83.9xi223353921740352333273415xi37.67.05.04.45.57.06.03.54.94.38.05.8yi43.344.142.533.634.248.038.035.940.436.845.235.1表8.1 從事某種研究的學(xué)者的相關(guān)指標(biāo)數(shù)據(jù)試建立Y與X1，X2，X3之間關(guān)系的數(shù)學(xué)模型，并得出有關(guān)結(jié)論和作統(tǒng)計(jì)分析。（2）作出因變量Y與各自變

17、量的樣本散點(diǎn)圖作散點(diǎn)圖的目的主要是觀察因變量Y與各自變量間是否有比較好的線性關(guān)系，以便選擇恰當(dāng)?shù)臄?shù)學(xué)模型形式。圖8.1分別為年薪Y(jié)與成果質(zhì)量指標(biāo)x1、研究工作時(shí)間x2、獲得資助的指標(biāo)x3之間的散點(diǎn)圖，從圖8.1可以看出這些點(diǎn)大致分布在一條直線旁邊，因此，有比較好的線性關(guān)系，可以采用線性回歸。Y與x1的散點(diǎn)圖Y與x2的散點(diǎn)圖Y與x3的散點(diǎn)圖圖8.1 因變量Y與各自變量的樣本散點(diǎn)圖（3）利用Matlab統(tǒng)計(jì)工具得到初步的回歸方程設(shè)回歸方程為：建立m-文件輸入如下程序數(shù)據(jù)：x1=3.5 5.3 5.1 5.8 4.2 6.0 6.8 5.5 3.1 7.2 4.5 4.9 8.0 6.5 6.5 3

18、.7 6.2 7.0 4.0 4.5 5.9 5.6 4.8 3.9;x2=9 20 18 33 31 13 25 30 5 47 25 11 23 35 39 21 7 40 35 23 35 39 21 7 40 35 23 33 27 34 15;x3=6.1 6.4 7.4 6.7 7.5 5.9 6.0 4.0 5.8 8.3 5.0 6.4 7.6 7.0 5.0 4.0 5.5 7.0 6.0 3.5 4.9 4.3 8.0 5.0;Y=33.2 40.3 38.7 46.8 41.4 37.5 39.0 40.7 30.1 52.9 38.2 31.8 43.3 44.1 42

19、.5 33.6 34.2 48.0 38.0 35.9 40.4 36.8 45.2 35.1;n=24; m=3;X=ones(n,1),x1,x2,x3;b,bint,r,rint,s=regress(Y,X,0.05);b,bint,r,rint,s,運(yùn)行后即得到結(jié)果如表8.2所示。表8.2 對(duì)初步回歸模型的計(jì)算結(jié)果回歸系數(shù)回歸系數(shù)的估計(jì)值回歸系數(shù)的置信區(qū)間018.015713.9052 22.126211.08170.3900 1.773320.32120.2440 0.398431.28350.6691 1.8979R2=0.9106 F=67.9195 p0.0001 s2=3.0

20、719計(jì)算結(jié)果包括回歸系數(shù)m-1)計(jì)算。因此我們得到初步的回歸方程為：統(tǒng)計(jì)變量stats，它包含四個(gè)檢驗(yàn)統(tǒng)計(jì)量；相關(guān)系且置信區(qū)間均不包含零點(diǎn)；殘差及置信區(qū)間；p， 的值7.0以前版本 也可由程序sum(r.2)/(n-數(shù)的平方 ，假設(shè)檢驗(yàn)統(tǒng)計(jì)量F，與F對(duì)應(yīng)的概率由結(jié)果對(duì)模型的判斷表明線性相關(guān)性較強(qiáng)。有較強(qiáng)的線性相關(guān)性。本例中R的絕對(duì)值為0.9542 ，值在0.81范圍內(nèi)，可判斷回歸自變量與因變量具相關(guān)系數(shù)R的評(píng)價(jià)：一般地，相關(guān)系數(shù)絕對(duì)驗(yàn)統(tǒng)計(jì)量R、F、p的值判斷該模型是否可用。殘差在零點(diǎn)附近也表示模型較好，接著就是利用檢回歸系數(shù)置信區(qū)間不包含零點(diǎn)表示模型較好，F(xiàn)檢驗(yàn)法：當(dāng) ，即認(rèn)為因變查F分布表

21、或輸入命令finv(0.95,3,20)計(jì)算。系；否則認(rèn)為因變量y與自變量 之間線量y與自變量 之間顯著地有線性相關(guān)關(guān)性相關(guān)關(guān)系不顯著。本例p值檢驗(yàn)：若 （ 為預(yù)訂顯著水平），線性相關(guān)關(guān)系。本例輸出結(jié)果， ，顯然滿則說明因變量y與自變量 之間顯著地有足 。以上三種統(tǒng)計(jì)推斷方法推斷的結(jié)果是一致的，（4）模型的精細(xì)分析和改進(jìn)在模型改進(jìn)時(shí)作為參考。說明因變量y與自變量之間顯著地有線性相關(guān)關(guān)系，所得線性回歸模型可用。 當(dāng)然越小越好，這主要?dú)埐罘治?。殘?，是各種觀測(cè)值 與回歸方程所對(duì)應(yīng)得到的擬合值之差，實(shí)際上，它是線性回歸模型中誤差 的估計(jì)值。 即有零均值和常值方差，利用殘差的這種特性反過來考察模型的

22、合理性就是殘差分析的基本思想。利用Matlab進(jìn)行殘差分析則是通過殘差自變量的高次項(xiàng)及交叉項(xiàng)等問題給出直觀的檢驗(yàn)。差的等方差性以及回歸函數(shù)中是否包含其他自變量、觀察殘差圖，可以對(duì)奇異點(diǎn)進(jìn)行分析，還可以對(duì)誤變量的觀測(cè)值；c.橫坐標(biāo)為因變量的擬合值。通過坐標(biāo)為觀測(cè)時(shí)間或觀測(cè)值序號(hào)；b.橫坐標(biāo)為某個(gè)自其他指定的量為橫坐標(biāo)的散點(diǎn)圖。主要包括：a.橫圖或時(shí)序殘差圖。殘差圖是指以殘差為縱坐標(biāo)，以以觀測(cè)值序號(hào)為橫坐標(biāo)，殘差為縱坐標(biāo)所得到模型為如果作為奇異點(diǎn)看待，去掉后重新擬合，則得回歸第4、12、 19這三個(gè)樣本點(diǎn)的殘差偏離原點(diǎn)較遠(yuǎn)，差大多分布在零的附近，因此還是比較好的，不過語句為rcoplot(r,rint) （見圖8.2）?？梢郧宄吹綒埖纳Ⅻc(diǎn)圖稱為時(shí)序殘差圖，畫出時(shí)序殘差圖的Matlab圖8.2 時(shí)序殘差圖且回歸系數(shù)的置信區(qū)間更小，均不包含原點(diǎn)，統(tǒng)計(jì)得到改進(jìn)。115.5586， 0.0000，比較可知R，