回歸分析簡答題

1、1、 作多元線性回歸分析時，自變量與因變量之間的影響關(guān)系一定是線性形式的嗎？多元線性回歸分析中的線性關(guān)系是指什么變量之間存在線性關(guān)系？答：作多元線性回歸分析時，自變量與因變量之間的影響關(guān)系不一定是線性形式。當(dāng)自變量與因變量是非線性關(guān)系時可以通過某種變量代換，將其變?yōu)榫€性關(guān)系，然后再做回歸分析。多元線性回歸分析的線性關(guān)系指的是隨機變量間的關(guān)系，因變量y與回歸系數(shù)i間存在線性關(guān)系。多元線性回歸的條件是：1各自變量間不存在多重共線性；2各自變量與殘差獨立；3各殘差間相互獨立并服從正態(tài)分布；4Y與每一自變量X有線性關(guān)系。2、 回歸分析的根本思想與步驟根本思想：所謂回歸分析，是在掌握大量觀察數(shù)據(jù)的根底上

2、，利用數(shù)理統(tǒng)計方法建立因變量與自變量之間的回歸關(guān)系函數(shù)表達(dá)式稱回歸方程式。回歸分析中，當(dāng)研究的因果關(guān)系只涉及因變量和一個自變量時，叫做一元回歸分析；當(dāng)研究的因果關(guān)系涉及因變量和兩個或兩個以上自變量時，叫做多元回歸分析。此外，回歸分析中，又依據(jù)描述自變量與因變量之間因果關(guān)系的函數(shù)表達(dá)式是線性的還是非線性的，分為線性回歸分析和非線性回歸分析。通常線性回歸分析法是最根本的分析方法，遇到非線性回歸問題可以借助數(shù)學(xué)手段化為線性回歸問題處理。步驟：1確定回歸方程中的解釋變量和被解釋變量。2確定回歸模型   根據(jù)函數(shù)擬合方式，通過觀察散點圖確定應(yīng)通過哪種數(shù)學(xué)模型來描述回歸線。如果被解釋變

3、量和解釋變量之間存在線性關(guān)系，那么應(yīng)進(jìn)行線性回歸分析，建立線性回歸模型；如果被解釋變量和解釋變量之間存在非線性關(guān)系，那么應(yīng)進(jìn)行非線性回歸分析，建立非線性回歸模型。3建立回歸方程   根據(jù)收集到的樣本數(shù)據(jù)以及前步所確定的回歸模型，在一定的統(tǒng)計擬合準(zhǔn)那么下估計出模型中的各個參數(shù)，得到一個確定的回歸方程。4對回歸方程進(jìn)行各種檢驗   由于回歸方程是在樣本數(shù)據(jù)根底上得到的，回歸方程是否真實地反映了事物總體間的統(tǒng)計關(guān)系，以及回歸方程能否用于預(yù)測等都需要進(jìn)行檢驗。5利用回歸方程進(jìn)行預(yù)測3、 多重共線性問題、不良后果、解決方法多重共線性是指線性回歸模型中的自變量之間由

4、于存在精確相關(guān)關(guān)系或高度相關(guān)關(guān)系而使模型估計失真或難以估計準(zhǔn)確。常見的是近似的多重共線性關(guān)系，即存在不全為0的p個常數(shù)C1,C2, ,Cp使得C1Xi1+C2Xi2+CpXip0,i=1,2,n不良后果：模型存在完全的多重共線性，那么資料陣X的秩<p+1，從而無法得到回歸參數(shù)的估計量。對于近似多重共線性情況，雖有r(X)=p+1，但|XTX|0，從而矩陣XTX-1的主對角線上的元素很大，使得估計的參數(shù)向量的協(xié)方差陣的對角線上的元素也很大，導(dǎo)致普通最小二乘參數(shù)估計量并非有效。檢驗方法：方差擴大因子VIF法和特征根判定法方差擴大因子表達(dá)式為：VIFi=1/(1-Ri2)，其中Ri為自變量xi

5、對其余自變量作回歸分析的復(fù)相關(guān)系數(shù)。當(dāng)VIFi很大時，說明自變量間存在多重共線性。解決方法：當(dāng)發(fā)現(xiàn)自變量存在嚴(yán)重的多重共線性時，可以通過剔除一些不重要的自變量、增大樣本容量、對回歸系數(shù)做有偏估計如采用嶺回歸法、主成分法、偏最小二乘法等等方法來克服多重共線性。4、 為什么要進(jìn)行回歸方程的顯著性檢驗？答：對于任意給定的一組觀測數(shù)據(jù)(xi1,xi2,.,xip;yi)，(i=1,2,.,n) ,我們都可以建立回歸方程。但實際問題很可能y與自變量x1,x2,.,xp之間根本不存在線性關(guān)系，這時建立起來的回歸方程的效果一定很差，即回歸值yi實際上不能擬合真實的值yi。即使整個回歸方程的效果是顯著的，在多

6、元的情況下，是否每個變量都起著顯著的作用呢？因此還需要對各個回歸系數(shù)進(jìn)行顯著性檢驗，對于回歸效果不顯著的自變量，我們可以從回歸方程中剔除，而只保存起重要作用的自變量，這樣可以使回歸方程更簡練。5、 統(tǒng)計性的依據(jù)是什么？給出一個回歸方程如何做顯著性檢驗？統(tǒng)計性的依據(jù)是方差分析。對于多元線性回歸方程作顯著性檢驗就是要看自變量x1,x2,.xp從整體上對隨機變量y是否有明顯的影響，即檢驗假設(shè)H0：1=2=.=p=0 H1:至少有某個i0，1<=i<=p如果H0被接受，那么說明y與x1,x2,.xp之間不存在線性關(guān)系，為了說明如何進(jìn)行檢驗，我們首先要建立方差分析表。在進(jìn)行顯著性檢驗中，我們

7、可以用F統(tǒng)計量來檢驗回歸方程的顯著性，也可以用P值法做檢驗。F統(tǒng)計量是：F=MSR/MSE=SSR/p/SSE/(n-p-1) 當(dāng)H0為真時，F(xiàn)F(p,n-p-1)。給定顯著性水平，查F分布表得臨界值F1-(p,n-p-1)，計算F的觀測值，假設(shè)F0<= F1-(p,n-p-1)，那么接受H0，即認(rèn)為在顯著性水平之下，認(rèn)為y與x1,x2,.xp之間線性關(guān)系不顯著。利用P值法做顯著性檢驗十分方便，這里的P值是P(F>F0)，定顯著性水平，假設(shè)p<，那么拒絕H0，反之接受H0。6、 回歸系數(shù)的顯著性檢驗回歸方程通過了顯著性檢驗并不意味著每個自變量xi都對y有顯著影響。而回歸系數(shù)的

8、顯著性檢驗的目的就是從回歸方程中剔除那些對y的影響不顯著的自變量，從而建立一個較為有效的回歸方程。如果自變量xi對y無影響，那么在線性模型中，i=0檢驗xi的影響是否顯著等價于檢驗假設(shè)H0：i=0，H1：i0對給定的顯著性水平，當(dāng)|ti|>t/2(n-p-1)時，拒絕H0。反之，那么接受H0。7、 數(shù)據(jù)的中心化和標(biāo)準(zhǔn)化目的：解決利用回歸方程分析實際問題時遇到的諸多自變量量綱不一致的問題。數(shù)據(jù)中心化處理的幾何意義：相當(dāng)于將坐標(biāo)原點移至樣本中心，而坐標(biāo)系的平移并不改變直線的斜率，只改變了截距。8、 通過對殘差進(jìn)行分析，可以在一定程度上答復(fù)以下問題：1回歸函數(shù)線性假定的可行性；2誤差項的等方差

9、假設(shè)的合理性；3誤差項獨立性假設(shè)的合理性；4誤差項是否符合正態(tài)分布；5觀測值中是否存在異常值；6是否在模型中遺漏了某些重要的自變量。9、 標(biāo)準(zhǔn)化回歸方程與非標(biāo)準(zhǔn)化回歸方程有何不同？在怎樣的情況下需要將變量標(biāo)準(zhǔn)化？標(biāo)準(zhǔn)化回歸方程 就是將自變量因變量都標(biāo)準(zhǔn)化后的方程。在spss輸出的回歸系數(shù)中有一列是標(biāo)準(zhǔn)化的回歸系數(shù)，由于都標(biāo)準(zhǔn)化了，因此標(biāo)準(zhǔn)化方程中沒有常數(shù)項了。對數(shù)據(jù)標(biāo)準(zhǔn)化，即將原始數(shù)據(jù)減去相應(yīng)變量的均數(shù)后再除以該變量的標(biāo)準(zhǔn)差，計算得到的回歸方程稱為標(biāo)準(zhǔn)化回歸方程，相應(yīng)的回歸系數(shù)為標(biāo)準(zhǔn)化回歸系數(shù)。一般情況下的回歸，并不必須標(biāo)準(zhǔn)化，直接回歸即可。在做主成分分析包括因子分析時，那么必須標(biāo)準(zhǔn)化。10、

10、 回歸分析和相關(guān)分析的區(qū)別和聯(lián)系相關(guān)分析和回歸分析都是對客觀事物數(shù)量依存關(guān)系的分析，均有一元和多元，線性與非線性之分，在應(yīng)用中相互結(jié)合滲透，但仍有差異，主要是：1相關(guān)分析主要刻畫兩類變量間線性相關(guān)的密切程度，而回歸分析那么是揭示一個變量如何與其他變量相聯(lián)系，并可由回歸方程進(jìn)行控制和預(yù)測2在相關(guān)分析中，變量y與x處于平等的地位，在回歸分析中，因變量y處于被解釋的特殊地位3在相關(guān)分析中所涉及的變量y與x完全是隨機變量；而在回歸分析中因變量y是隨機變量，自變量可以是隨機變量也可以是非隨機變量。一般來說，只有存在相關(guān)關(guān)系才可以進(jìn)行回歸分析，相關(guān)程度越高，回歸分析的結(jié)果就越可靠。11、 回歸方程的根本假

11、定？1回歸函數(shù)的線性假設(shè)2誤差項的等方差假設(shè)3誤差項的獨立性假設(shè)4誤差項的正態(tài)分布假設(shè)12、 運用回歸分析解決問題時，回歸變量的選擇理論依據(jù)的什么？選擇回歸變量時應(yīng)注意哪些問題？1從擬合角度考慮，可以采用修正的復(fù)相關(guān)系數(shù)到達(dá)最大的準(zhǔn)那么準(zhǔn)那么1：修正的復(fù)相關(guān)系數(shù)Ra2到達(dá)最大。因為：Ra2=1-MSE/(SST/(n-1)從這個關(guān)系式容易看出，Ra2到達(dá)最大時，MSE到達(dá)最小。2從預(yù)測的角度考慮，可以采用預(yù)測平方和到達(dá)最小的準(zhǔn)那么及Cp準(zhǔn)那么準(zhǔn)那么2：預(yù)測平方和PRESSp到達(dá)最小準(zhǔn)那么3：Cp準(zhǔn)那么3從極大似然估計角度考慮，可以采用赤池信息量化準(zhǔn)那么AIC準(zhǔn)那么準(zhǔn)那么4：赤池信息量到達(dá)最小A

12、IC=nln(SSEp)+2p選擇AIC值最小的回歸方程為最優(yōu)回歸方程自變量的選擇問題可以看成是應(yīng)該采用全模型還是選模型的問題全模型正確誤用選模型：全模型相應(yīng)參數(shù)為有偏估計，選模型預(yù)測也是有偏的。選模型的參數(shù)估計和預(yù)測殘差以及均方差都有較小的方差。選模型正確誤用全模型，全模型參數(shù)估計和預(yù)測是有偏估計，而全模型預(yù)測值的方差和均方差大于選模型相應(yīng)的方差。上述結(jié)論說明丟掉那些對應(yīng)變量影響不大的，或雖有影響，但難于觀測的自變量是有利的。 13、 逐步回歸方法的根本思想與步驟根本思想：有進(jìn)有出。具體做法是將變量一個一個引入，引入變量的條件是通過了偏F統(tǒng)計量的檢驗，同時，每引入一個新變量后，對已入選方程的老變量進(jìn)行檢測，將經(jīng)檢驗認(rèn)為不顯著的變量剔除，此過程經(jīng)過假設(shè)干步，直到既不能引入新變量又不能剔除老變量為止。根本步驟：1對于每個自變量xi(1im)，擬合m個一元線性回歸模型，假設(shè)Fi1(1)>FE，那么所選擇含有自變量xi1的回歸模型為當(dāng)前模型，否那么，沒有變量引入模型，選擇過程結(jié)束，即認(rèn)為所有自變量對y的影響均不顯著。2在第一步的根底上，再將其余的m-1個自變量分別參加此模型中，得到m-1個二元回歸方程，假設(shè)假設(shè)Fi1(2)>FE那么將自變量xi2引入模型，進(jìn)一