回歸分析方法總結(jié)全面

1、一、什么是回歸分析回歸分析 （Regression Analysis） 是研究變量之間作用關(guān)系的一種統(tǒng)計(jì)分析方法，其基本組成是一個(gè)（或一組）自變量與一個(gè)（或一組）因變量。回歸分析研究的目的是通過收集到的樣本數(shù)據(jù)用一定的統(tǒng)計(jì)方法探討自變量對(duì)因變量的影響關(guān)系，即原因?qū)Y(jié)果的影響程度?；貧w分析是指對(duì)具有高度相關(guān)關(guān)系的現(xiàn)象， 根據(jù)其相關(guān)的形態(tài)， 建立一個(gè)適當(dāng)?shù)臄?shù)學(xué)模型（ 函數(shù)式 ） ，來近似地反映變量之間關(guān)系的統(tǒng)計(jì)分析方法。利用這種方法建立的數(shù)學(xué)模型稱為回歸方程，它實(shí)際上是相關(guān)現(xiàn)象之間不確定、不規(guī)則的數(shù)量關(guān)系的一般化。二、回歸分析的種類1 .按涉及自變量的多少， 可分為一元回歸分析和多元回歸分析一元回

2、歸分析是對(duì)一個(gè)因變量和一個(gè)自變量建立回歸方程。 多元回歸分析是對(duì)一個(gè)因變量和兩個(gè)或兩個(gè)以上的自變量建立回歸方程。2 . 按回歸方程的表現(xiàn)形式不同，可分為線性回歸分析和非線性回歸分析若變量之間是線性相關(guān)關(guān)系，可通過建立直線方程來反映，這種分析叫線性回歸分析。若變量之間是非線性相關(guān)關(guān)系， 可通過建立非線性回歸方程來反映， 這種分析叫非線性回歸分析。三、回歸分析的主要內(nèi)容1. 建立相關(guān)關(guān)系的數(shù)學(xué)表達(dá)式。 依據(jù)現(xiàn)象之間的相關(guān)形態(tài)， 建立適當(dāng)?shù)臄?shù)學(xué)模型， 通過數(shù)學(xué)模型來反映現(xiàn)象之間的相關(guān)關(guān)系，從數(shù)量上近似地反映變量之間變動(dòng)的一般規(guī)律。2. 依據(jù)回歸方程進(jìn)行回歸預(yù)測(cè)。 由于回歸方程反映了變量之間的一般性關(guān)

3、系， 因此當(dāng)自變量發(fā)生變化時(shí)， 可依據(jù)回歸方程估計(jì)出因變量可能發(fā)生相應(yīng)變化的數(shù)值。 因變量的回歸估計(jì)值，雖然不是一個(gè)必然的對(duì)應(yīng)值（ 他可能和系統(tǒng)真值存在比較大的差距） ， 但至少可以從一般性角度或平均意義角度反映因變量可能發(fā)生的數(shù)量變化。3. 計(jì)算估計(jì)標(biāo)準(zhǔn)誤差。 通過估計(jì)標(biāo)準(zhǔn)誤差這一指標(biāo)， 可以分析回歸估計(jì)值與實(shí)際值之間的差異程度以及估計(jì)值的準(zhǔn)確性和代表性， 還可利用估計(jì)標(biāo)準(zhǔn)誤差對(duì)因變量估計(jì)值進(jìn)行在一定把握程度條件下的區(qū)間估計(jì)。四、一元線性回歸分析1.一元線性回歸分析的特點(diǎn)1） 兩個(gè)變量不是對(duì)等關(guān)系，必須明確自變量和因變量。2） 如果 x 和 y 兩個(gè)變量無明顯因果關(guān)系，則存在著兩個(gè)回歸方程：

4、一個(gè)是以 x 為自變量， y為因變量建立的回歸方程；另一個(gè)是以 y 為自變量， x 為因變量建立的回歸方程。若繪出圖形，則是兩條斜率不同的回歸直線。3） 直線回歸方程中，回歸系數(shù) b 可以是正值，也可以是負(fù)值。若0 b > ，表示直線上升，說明兩個(gè)變量同方向變動(dòng)；若0 b < ，表示直線下降，說明兩個(gè)變量是反方向變動(dòng)。2. 建立一元線性回歸方程的條件任何一種數(shù)學(xué)模型的運(yùn)用都是有前提條件的， 配合一元線性回歸方程應(yīng)具備以下兩個(gè)條件：1) 兩個(gè)變量之間必須存在高度相關(guān)的關(guān)系。兩個(gè)變量之間只有存在著高度相關(guān)的關(guān)系，回歸方程才有實(shí)際意義。2) 兩個(gè)變量之間確實(shí)呈現(xiàn)直線相關(guān)關(guān)系。兩個(gè)變量之間

5、只有存在直線相關(guān)關(guān)系，才能配合直線回歸方程。3. 建立一元線性回歸方程的方法一元線性回歸方程是用于分析兩個(gè)變量 (一個(gè)因變量和一個(gè)自變量) 線性關(guān)系的數(shù)學(xué)表達(dá)式，一般形式為：yc=a+bx式中： x 代表自變量；yc代表因變量y的估計(jì)值(又稱理論值)；ab 為回歸方程參數(shù)。其中， a 是直線在 y 軸上的截距，它表示當(dāng)自變量x 等于 0 時(shí)，因變量所達(dá)到的數(shù)值； b 是直線的斜率, 在回歸方程中亦稱為回歸系數(shù), 它表示當(dāng)自變量x 每變動(dòng)一個(gè)單位時(shí)，因變量y 平均變動(dòng)的數(shù)值。一元線性回歸方程應(yīng)根據(jù)最小二乘法原理建立， 因?yàn)橹挥杏米钚《朔ㄔ斫⒌幕貧w方程才可以同時(shí)滿足兩個(gè)條件：1) 因變量的實(shí)

6、際值與回歸估計(jì)值的離差之和為零；2) 因變量的實(shí)際值與回歸估計(jì)值的離差平方和為最小值。只有滿足這兩個(gè)條件，建立的直線方程的誤差才能最小，其代表性才能最強(qiáng)?，F(xiàn)在令要建立的一元線性回歸方程的標(biāo)準(zhǔn)形式為yc=a+bx, 依據(jù)最小二乘法原理， 因變量實(shí)際值y與估計(jì)值yc的離差平方和為最小值，即QW2 (y-y c)2取得最小值。為使QW2 (y-y c)2=最小值根據(jù)微積分中求極值的原理，需分別對(duì)a,b 求偏導(dǎo)數(shù)，并令其為0，經(jīng)過整理，可得到如下方程組：Ey=an+bEx一一 一 2Exy=a Ex+bEx解此方程組，可求得 a,b兩個(gè)參數(shù)4 .計(jì)算估計(jì)標(biāo)準(zhǔn)誤差回歸方程只反映變量 x和y之間大致的、平

7、均的變化關(guān)系。 因此，對(duì)每一個(gè)給定的 x值，回 歸方程的估計(jì)值yc與因變量的實(shí)際觀察值 y之間總會(huì)有一定的離差，即估計(jì)標(biāo)準(zhǔn)誤差。估計(jì)標(biāo)準(zhǔn)誤差是因變量實(shí)際觀察值y與估計(jì)值yc離差平方和的平均數(shù)的平方根，它反映因變量實(shí)際值y與回歸直線上各相應(yīng)理論值yc之間離散程度的統(tǒng)計(jì)分析指標(biāo)。估計(jì)標(biāo)準(zhǔn)誤差：式中：Sy估計(jì)標(biāo)準(zhǔn)誤差；y因變量實(shí)際觀察值；yc因變量估計(jì)值；n-2 自由度如何描述兩個(gè)變量之間線性相關(guān)關(guān)系的強(qiáng)弱？利用相關(guān)系數(shù)r來衡量當(dāng)r>0時(shí)，表示x與y為正相關(guān)；當(dāng)r<0時(shí)，表示x與y為負(fù)相關(guān)。5 .殘差分析與殘差圖：殘差是指觀測(cè)值與預(yù)測(cè)值（擬合值）之間的差，即是實(shí)際觀察值與回歸估計(jì)值的差在

8、研究?jī)蓚€(gè)變量間的關(guān)系時(shí)，a）要根據(jù)散點(diǎn)圖來粗略判斷它們是否線性相關(guān)；b）判斷是否可以用回歸模型來擬合數(shù)據(jù)；c）可以通過殘差來判斷模型擬合的效果，判斷原始數(shù)據(jù)中是否存在可疑數(shù)據(jù)，這方面的分析工作就稱為殘差分析。6 .殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量， 橫軸可以有不同的選擇； 若模型選擇的正確， 殘差圖中的點(diǎn)應(yīng)該分布 在以橫軸為心的帶狀區(qū)域，帶狀區(qū)域的寬度越窄精度越高。對(duì)于遠(yuǎn)離橫軸的點(diǎn)，要特別注意。15 000'loacoH5 000-5 000-O.QDO-15 000s學(xué)生r omo-7 .幾點(diǎn)注解：第一個(gè)樣本點(diǎn)和第 6個(gè)樣本點(diǎn)的殘差比較大，需要確認(rèn)在采集過程中是否有人為的錯(cuò)誤。

9、如果數(shù)據(jù)采集有錯(cuò)誤，就應(yīng)該予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù)采集沒有錯(cuò)誤，則需要尋找其他的原因。另外，殘差點(diǎn)比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型計(jì)較合適，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預(yù)報(bào)精度越高。還可以用判定系數(shù)r2來刻畫回歸的效果，該指標(biāo)測(cè)度了回歸直線對(duì)觀測(cè)數(shù)據(jù)的擬合程度，其計(jì)算公式是：其中：SSR -回歸平方和；SSE -殘差平方和；Sst=ssr+sse總離差平方和。由公式知，R （相關(guān)指數(shù)）的值越大，說明殘差平方和越小，也就是說模型擬合效果越好。在含有一個(gè)解釋變量的線性模型中r2恰好等于相關(guān)系數(shù)r的平方，即R=r2在線性回歸模

10、型中，R2表示解釋變量對(duì)預(yù)報(bào)變量變化的貢獻(xiàn)率。R2越接近1,表示回歸的效R的值來做出選果越好（因?yàn)镽2越接近1,表示解釋變量和預(yù)報(bào)變量的線性相關(guān)性越強(qiáng)）。如果某組數(shù)據(jù)可能采取幾種不同回歸方程進(jìn)行回歸分析，則可以通過比較擇，即選取R2較大的模型作為這組數(shù)據(jù)的模型?？偟膩碚f：相關(guān)指數(shù) F2是度量模型擬合效果的一種指標(biāo)。在線性模型中，它代表自變量刻 畫預(yù)報(bào)變量的能力。五、多元線性回歸分析在一元線性回歸分析中， 因變量y只受某一個(gè)因素的影響， 即只由一個(gè)自變量 x來估計(jì)。但 對(duì)于復(fù)雜的自然界中的問題，影響因素往往很多，在這種情況下，因變量y要用多個(gè)自變量同時(shí)進(jìn)行估計(jì)。例如，某種產(chǎn)品的總成本不僅受原材料

11、價(jià)格的影響，而且也與產(chǎn)品產(chǎn)量、管 理水平等因素有關(guān)； 農(nóng)作物產(chǎn)量的高低受品種、氣候、施肥量等多個(gè)因素的影響。描述因變量與兩個(gè)或兩個(gè)以上自變量之間的數(shù)量關(guān)系的回歸分析方法稱為多元線性回歸分析。它是一 元線性回歸分析的推廣，其分析過程相對(duì)復(fù)雜一些，但基本原理與一元線性回歸分析類似。多元線性回歸方程的一般表達(dá)式為:乂 = J +入內(nèi)+生必+ 4九/為便于分析，當(dāng)自變量較多時(shí)可選用兩個(gè)主要的自變量Xi和X2。其線性回歸方程標(biāo)準(zhǔn)式為:其中：yc為二元回歸估計(jì)值；a為常數(shù)項(xiàng)；bi和b2分別為y對(duì)xi和X2的回歸系數(shù)，bi表示當(dāng) 自變量X2為一定時(shí)，由于自變量 xi變化一個(gè)單位而使 y平均變動(dòng)的數(shù)值，b2表

12、示當(dāng)自變量 xi為一定時(shí)，由于自變量 X2變化一個(gè)單位而使 y平均變動(dòng)的數(shù)值，因此，bi和b2稱為偏回 歸系數(shù)。要建立二元回歸方程，關(guān)鍵問題是求出參數(shù)a, bi和b2的值，求解方法仍用最小二乘法，即分別對(duì)a, bi和b2求偏導(dǎo)數(shù)，并令函數(shù)的一階導(dǎo)數(shù)等于零，可得如下方程組：EE17n 工E ZA,Ai+ +（二）在回歸分析中，通常稱自變量為回歸因子，一般用七，小表示，而稱因變量為指標(biāo),般用表示。預(yù)測(cè)公式：J =卬勺工），稱之為回歸方程?；貧w 模型，按照各種原則可以分為各種模型:1 .當(dāng)n =1時(shí)，稱為一元（單因子）回歸；當(dāng)n > 2時(shí)，稱為多元（多因子）回歸。2 .當(dāng)f為線性函數(shù)時(shí)，稱為線

13、性回歸；當(dāng) f為非線性函數(shù)時(shí)，稱為非線性 （曲線）回歸。最小二乘準(zhǔn)則： 假設(shè)待定的擬合函數(shù)為 ¥ = 另據(jù)m個(gè)數(shù)據(jù)點(diǎn)，相當(dāng)于求解以下規(guī)劃問題:min之八喃J-L即使得總離差平方和最小。 具體在線性擬合的過程中，假設(shè)擬合函數(shù)為y=a+bx,a與b為待定系數(shù)，已知有m個(gè)數(shù)據(jù)點(diǎn)，分別為（耳，小，=1,217限，應(yīng)用最小二乘法，就是要 使：§=E（X - /a）=一5一療達(dá)到最小值。把S看成自變量為a和b的連續(xù)函數(shù)，則根據(jù)連續(xù)函數(shù)達(dá)到及致電的必要條件，于是得到：cb因此，當(dāng)S取得最小值時(shí)，有:工一?工（尤2%b）七 1=1飛一任一與 ji可得方程組為:稱這個(gè)方程組為正規(guī)方程組，解這

14、個(gè)二元一次方程組，得到:如果把已有數(shù)據(jù)描繪成散點(diǎn)圖，而且從散點(diǎn)圖中可以看出， 各個(gè)數(shù)據(jù)點(diǎn)大致分布在一條直線附近，不妨設(shè)他們滿足線性方程：N = o+加+ £其中，x為自變量，y為因變量，a與b為待定系數(shù)；e成為誤差項(xiàng)或者擾動(dòng)項(xiàng)。這里要對(duì)數(shù)據(jù)點(diǎn)做線性回歸分析，從而a和b就是待定的回歸系數(shù)，£為隨機(jī)誤差。不妨設(shè)得到的線性擬合曲線為：卜=1+ 5*這就是要分析的線性回歸方程。一般情況下，得到這個(gè)方程以后，主要是描繪出回歸曲線，并且觀測(cè)擬合效果和計(jì)算一些誤差分析指標(biāo)，例如最大點(diǎn)誤差、總方差和標(biāo)準(zhǔn)差等。這里最缺乏的就是一個(gè)統(tǒng)一的評(píng)價(jià)系統(tǒng)，以下說明從概率角度確立的關(guān)于線性回歸的一套評(píng)價(jià)

15、系統(tǒng)。在實(shí)際的線性回歸分析中，除了估計(jì)出線性回歸系數(shù) a和b,還要計(jì)算y和x的相關(guān)程度，即相關(guān)性檢驗(yàn)。相關(guān)性檢驗(yàn)主要通過計(jì)算相關(guān)系數(shù)來分析，相關(guān)系數(shù)的計(jì)算公式為：二叼丸其中n為數(shù)據(jù)點(diǎn)的個(gè)數(shù)，（$，）為原始數(shù)據(jù)點(diǎn)，r的值能夠很好地反映出線性相關(guān)程度的 高低，一般來說，存在以下一些標(biāo)準(zhǔn)：1 .當(dāng)r -1或者r 一？ 1時(shí)，表示y與x高度線性相關(guān)，于是由原始數(shù)據(jù)描繪出的散點(diǎn) 圖中所有數(shù)據(jù)點(diǎn)都分布在一條直線的附近，分別稱為正相關(guān)和負(fù)相關(guān)；2 .當(dāng)r - 0時(shí)，表示y與x不相關(guān)，由原始數(shù)據(jù)描繪出的散點(diǎn)圖的數(shù)據(jù)點(diǎn)一般呈無規(guī)律 的特點(diǎn)四散分布；3 .當(dāng)？1<r < 0或者0<r<1時(shí)

16、，y與x的相關(guān)程度介于1與2之間；4 .如果r - 1 ,則y與x線性相關(guān)程度越高；反之，如果 r - 0 ,則y與x線性相關(guān)程 度越低。實(shí)際計(jì)算r值的過程中，長(zhǎng)列表計(jì)算，即：字號(hào)國(guó)XJC；才K1馬再凹百7一q%達(dá)以 4“£X：尺 * d im * * fa aair居r VX；y-求和p,J司ZVriv>1f-1在實(shí)際問題中，一般要保證回歸方程有最低程度的線性相關(guān)。 因?yàn)樵S多實(shí)際問題中， 兩個(gè)變 量之間并非線性的相關(guān)關(guān)系， 或者說線性相關(guān)程度不高， 此時(shí)硬給他建立線性回歸方程， 顯 然沒有太大意義，也沒有什么實(shí)用價(jià)值。一般來說，把這個(gè)最低限度的值記為臨界值稱之為相關(guān)性檢驗(yàn)標(biāo)準(zhǔn)

17、。因此，如果計(jì)算出r的值，并且滿足之,則符合相關(guān)性要求，線性回歸方程作用顯著。反之，如果 < 廠 ,則線性回歸方程作用不顯著，就盡量不要采用線性回歸方程。臨界值的數(shù)值表如下:自由宴顯著性水平自由的顯善性水平自由嚏顯著塢水平n-20.050.01n 20.05aoi17-20.050.0150.7540.874150,4H225103810.48760,7070.S34160.46S3003490.449/(16660.7981710 4560.575 1。立f0.4 ISs0.6320.765180.4440,5614003040393g0.6020.735N0,433(1.549450

18、28S0372100.5760.70S?00.4230.537 15010.2730354u0,553Q.&S4210.4 IM0.5261000,1950.254120.5320.6610.4040.5152000.1380.181130.5140.64J230296O.5U53000JJ3OJ4S140,4970.632240.461000OrO620r0fi j其中，自由度可以由原始數(shù)據(jù)點(diǎn)的個(gè)數(shù)減去相應(yīng)的回歸方程的變量個(gè)數(shù)，例如線性回歸方程中有兩個(gè)變量，而數(shù)據(jù)點(diǎn)的個(gè)數(shù)為 n個(gè)，則自由度為n ? 2.自由度一般記為f ，但不要與 一般的函數(shù)發(fā)生混淆。顯著性水平一般取為 ,等，利用它可以計(jì)算 y與x之間相關(guān)關(guān)系的可信程度或者稱為置信水平，計(jì)算公式為：1（1 - U.05） * 00% = 95% （這里取顯著性水平為 & =）現(xiàn)在介紹置信區(qū)間的問題，由于實(shí)際誤差的存在，由線性擬合得到的計(jì)算值跟實(shí)際值之間必然存在一定的差距，其差值就是計(jì)算誤差。假設(shè)原始數(shù)據(jù)點(diǎn)為（工計(jì)算得到的數(shù)據(jù)點(diǎn)為再給定E：附近的一個(gè)區(qū)間： W則實(shí)際值yi可能落在這個(gè)區(qū)間內(nèi)，也可能落在這個(gè)區(qū)間外。如果所有的這些區(qū)間（以為中心，長(zhǎng)度為|2AZ）包含實(shí)際值的個(gè)數(shù)占總數(shù)的比例達(dá)到95碗者以上，則稱這些區(qū)間的置信水平不少于 95%根據(jù)以上的分析，可以知道置信區(qū)間