回歸分析簡答題

1、1、作多元線性回歸分析時，自變量與因變量之間的影響關(guān)系一定是線性形式的嗎 多元線性回歸分析中的線性關(guān)系是指什么變量之間存在線性關(guān)系答：作多元線性回歸分析時，自變量與因變量之間的影響關(guān)系不一定是線性形式。 當(dāng)自變量與因變量是非線性關(guān)系時可以通過某種變量代換，將其變?yōu)榫€性關(guān)系，然 后再做回歸分析。多元線性回歸分析的線性關(guān)系指的是隨機變量間的關(guān)系，因變量y與回歸系數(shù)B i間 存在線性關(guān)系。多元線性回歸的條件是：（1）各自變量間不存在多重共線性；（2）各自變量與殘差獨立；（3）各殘差間相互獨立并服從正態(tài)分布；（4）Y與每一自變量X有線性關(guān)系。2、回歸分析的基本思想與步驟基本思想：所謂回歸分析，是在掌握

2、大量觀察數(shù)據(jù)的基礎(chǔ)上，利用數(shù)理統(tǒng)計方法建立因變量 與自變量之間的回歸關(guān)系函數(shù)表達式（稱回歸方程式）?；貧w分析中，當(dāng)研究的因 果關(guān)系只涉及因變量和一個自變量時，叫做一元回歸分析；當(dāng)研究的因果關(guān)系涉 及因變量和兩個或兩個以上自變量時，叫做多元回歸分析。此外，回歸分析中， 又依據(jù)描述自變量與因變量之間因果關(guān)系的函數(shù)表達式是線性的還是非線性的，分 為線性回歸分析和非線性回歸分析。通常線性回歸分析法是最基本的分析方 法，遇 到非線性回歸問題可以借助數(shù)學(xué)手段化為線性回歸問題處理。步驟：1）確定回歸方程中的解釋變量和被解釋變量。2）確定回歸模型根據(jù)函數(shù)擬合方式，通過觀察散點圖確定應(yīng)通過哪種數(shù)學(xué)模型來描述回歸

3、線。 如果被解釋變量和解釋變量之間存在線性關(guān)系，則應(yīng)進行線性回歸分析，建立線 性回歸模型；如果被解釋變量和解釋變量之間存在非線性關(guān)系，則應(yīng)進行非線性 回歸分析，建立非線性回歸模型。3）建立回歸方程根據(jù)收集到的樣本數(shù)據(jù)以及前步所確定的回歸模型，在一定的統(tǒng)計擬合準(zhǔn)則下 估計出模型中的各個參數(shù)，得到一個確定的回歸方程。4）對回歸方程進行各種檢驗由于回歸方程是在樣本數(shù)據(jù)基礎(chǔ)上得到的，回歸方程是否真實地反映了事 物總 體間的統(tǒng)計關(guān)系，以及回歸方程能否用于預(yù)測等都需要進行檢驗。5）利用回歸方程進行預(yù)測3、多重共線性問題、不良后果、解決方法多重共線性是指線性回歸模型中的自變量之間由于存在精確相關(guān)關(guān)系或高度相

4、 關(guān)關(guān)系而使模型估計失真或難以估計準(zhǔn)確。常見的是近似的多重共線性關(guān)系，即 存在不全為0的p個常數(shù)Ci, C2,Cp使得GXi+CX2+CpXip0, i=l, 2,n不良后果：模型存在完全的多重共線性，則資料陣X的秩p+1,從而無法得到回歸參 數(shù)的估計量。對于近似多重共線性情況，雖有r(X)二p+1,但|fx -0,從而矩陣(XTX)"的主對角線上的元素很大，使得估計的參數(shù)向量的協(xié)方差陣的對角線上 的元素也很大，導(dǎo)致普通最小二乘參數(shù)估計量并非有效。檢驗方法：方差擴大因子(VIF)法和特征根判定法方差擴大因子表達式為：VIFl心-R 12),其中R為自變量xi對其余自變量作回歸分 析的

5、復(fù)相關(guān)系數(shù)。當(dāng)VIFi很大時，表明自變量間存在多重共線性。解決方法：當(dāng)發(fā)現(xiàn)自變量存在嚴(yán)重的多重共線性時，可以通過剔除一些不重要的 自變量、增大樣本容量、對回歸系數(shù)做有偏估計(如采用嶺回歸法、主成分法、偏最 小二乘法等)等方法來克服多重共線性。4、為什么要進行回歸方程的顯著性檢驗答：對于任意給定的一組觀測數(shù)據(jù)(xil, xi2,，xip;yi) ,(i=l, 2, . . . , n),我們都可以建立回歸方程。但實際問題很可能y與自變量xl,x2,.,xp 之間根本 不存在線性關(guān)系，這時建立起來的回歸方程的效果一定很差，即回歸值yi實際上不 能擬合真實的值yi。即使整個回歸方程的效果是顯著的，在

6、多元的情況下，是否每 個變量都起著顯著的作用呢因此還需要對各個回歸系數(shù)進行顯著性檢驗，對于回歸 效果不顯著的自變量，我們可以從回歸方程中剔除，而只保留起重要作用的自變 量，這樣可以使回歸方程更簡練。5、統(tǒng)計性的依據(jù)是什么給出一個回歸方程如何做顯著性檢驗統(tǒng)計性的依據(jù)是方差分析。對于多元線性回歸方程作顯著性檢驗就是要看自變量xl, x2, . . . xp 從整體上對 隨機變量y是否有明顯的影響，即檢驗假設(shè)H0B仁B 2二.二B p二0 H1:至少 有某個B i 工 0,1二i二p如果H0被接受，則表明y與xl,x2,.xp 之間不存在線性關(guān)系，為了說明如何 進行檢驗，我們首先要建立方差分析表。在

7、進行顯著性檢驗中，我們可以用F統(tǒng)計量來檢驗回歸方程的顯著性，也可以用P值 法做檢驗。F 統(tǒng)計量是：F二MSR/MSE二SSR/p/SSE/(n-p-l)當(dāng)H0為真時，F(xiàn)、F(p, n-p-1) o給定顯著性水平"查F分布表得臨界值Fl-a (p, n-p-1),計算F的觀測值，若F0<= Fl- a (p, n-p-1),貝U接受HO,即認(rèn)為在顯著性水平 &之卜，認(rèn)為y與xl, x2,. xp之間線性關(guān)系不顯著。利用P值法做顯著性檢驗十分方便，這里的P值是P(FFO),定顯著性水平 若pa,則拒絕H0,反之接受H0。6、回歸系數(shù)的顯著性檢驗回歸方程通過了顯著性檢驗并不意

8、味著每個自變量xi都對y有顯著影響。而回歸系 數(shù)的顯著性檢驗的目的就是從回歸方程中剔除那些對y的影響不顯著的自變量，從而建立一個較為有效的回歸方程。如果自變量xi對y無影響，則在線性模型中，B i=0檢驗xi的影響是否顯著等價于檢驗假設(shè)HO： B i=0 , Hl： B i 工 0對給定的顯著性水平a,當(dāng)|ti|>t a 12(h-p-1)時，拒絕HO反之，則接受Hd 7、數(shù)據(jù)的 中心化和標(biāo)準(zhǔn)化目的：解決利用回歸方程分析實際問題時遇到的諸多自變量量綱不一致的問題。數(shù) 據(jù)中心化處理的幾何意義：相當(dāng)于將坐標(biāo)原點移至樣本中心，而坐標(biāo)系的平移 并不 改變直線的斜率，只改變了截距。8、通過對殘差進

9、行分析，可以在一定程度上回答下列問題:1) 回歸函數(shù)線性假定的可行性；2) 誤差項的等方差假設(shè)的合理性；3) 誤差項獨立性假設(shè)的合理性；4) 誤差項是否符合正態(tài)分布；5) 觀測值中是否存在異常值；6) 是否在模型中遺漏了某些重要的自變量。9、標(biāo)準(zhǔn)化回歸方程與非標(biāo)準(zhǔn)化回歸方程有何不同在怎樣的情況下需要將變量標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化回歸方程 就是將自變量因變量都標(biāo)準(zhǔn)化后的方程。在SPSS輸出的回歸系數(shù)中有一列是標(biāo)準(zhǔn)化的回歸系數(shù)，由于都標(biāo)準(zhǔn)化了，因此標(biāo)準(zhǔn)化方程中沒有常數(shù)項了。對數(shù)據(jù)標(biāo)準(zhǔn)化，即將原始數(shù)據(jù)減去相應(yīng)變量的均數(shù)后再除以該變量的標(biāo)準(zhǔn)差，計算得到的回歸方程稱為標(biāo)準(zhǔn)化回歸方程，相應(yīng)的回歸系數(shù)為標(biāo)準(zhǔn)化回歸系 數(shù)

10、。一般情況下的回歸，并不必須標(biāo)準(zhǔn)化，直接回歸即可。在做主成分分析包括因 子分析時，則必須標(biāo)準(zhǔn)化。10、回歸分析和相關(guān)分析的區(qū)別和聯(lián)系相關(guān)分析和回歸分析都是對客觀事物數(shù)量依存關(guān)系的分析，均有一元和多元，線性與非線性之分，在應(yīng)用中相互結(jié)合滲透，但仍有差別，主要是：(1) 相關(guān)分析主要刻畫兩類變量間線性相關(guān)的密切程度，而回歸分析則是揭示 一個變量如何與其他變量相聯(lián)系，并可由回歸方程進行控制和預(yù)測(2) 在相關(guān)分析中，變量y與x處于平等的地位，在回歸分析中，因變量y處于被 解釋的特殊地位(3) 在相關(guān)分析中所涉及的變量y與x完全是隨機變量；而在回歸分析中因變量 y是隨機變量，自變量可以是隨機變量也可以

11、是非隨機變量。一般來說，只有 存 在相關(guān)關(guān)系才可以進行回歸分析，相關(guān)程度越高，回歸分析的結(jié)果就越可靠。11、回歸方程的基本假定1）回歸函數(shù)的線性假設(shè)2）誤差項的等方差假設(shè)3）誤差項的獨立性假設(shè)4）誤差項的正態(tài)分布假設(shè)12、運用回歸分析解決問題時，回歸變量的選擇理論依據(jù)的什么選擇回歸變 量時應(yīng)注意哪些問題（1）從擬合角度考慮，可以采用修正的復(fù)相關(guān)系數(shù)達到最大的準(zhǔn)則準(zhǔn)則1：修正的復(fù)相關(guān)系數(shù)Ra2達到最大。因為：R2=1-MSE/ （SST/ （n-1）從這個關(guān)系式容易看出，F(xiàn)達到最大時,MSE達到最?。?）從預(yù)測的角度考慮，可以采用預(yù)測平方和達到最小的準(zhǔn)則及Cp準(zhǔn)則準(zhǔn)則2:預(yù)測平方和PRESp達到

12、最小準(zhǔn)則3： （Cp準(zhǔn)則）（3）從極大似然估計角度考慮，可以采用赤池信息量化準(zhǔn)則（AIC準(zhǔn)則）準(zhǔn)則 4：赤池信息量達到最小AlCnln （SSEP） +2p選擇AIC值最小的回歸方程為最優(yōu)回歸方程自變量的選擇問題 可以看成是應(yīng)該采用全模型還是選模型的問題全模型正確誤用選模型：全模型相應(yīng)參數(shù)為有偏估計，選模型預(yù)測也是有偏的。選模型的參數(shù)估計和預(yù)測殘差以及均方差都有較小的方差。選模型正確誤用全模型，全模型參數(shù)估計和預(yù)測是有偏估計，而全模型預(yù)測值的 方差和均方差大于選模型相應(yīng)的方差。上述結(jié)論說明丟掉那些對應(yīng)變量影響不大 的，或雖有影響，但難于觀測的自變量是有利的。13、 逐步回歸方法的基本思想與步驟

13、基本思想：有進有出。具體做法是將變量一 個一個引入，引入變量的條件是通過了偏F統(tǒng)計量的檢驗，同時，每引入一個新 變量后，對已入選方程的老變量進行 檢測，將經(jīng)檢驗認(rèn)為不顯著的變量剔除，此過程經(jīng)過若干步，基本步驟：直到既不能引入新變量又不能剔除老變量為止。（1）對于每個自變量心（1 < 1 < m）,擬合ni個一元線性回歸模型，若R（l）Fe, 則所選擇含有自變量x11的回歸模型為當(dāng)前模型，否則，沒有變量引入模型，選 擇過 程結(jié)束，即認(rèn)為所有自變量對y的影響均不顯著。（2）在第一步的基礎(chǔ)上，再將其余的曠1個自變量分別加入此模型中，得到曠1 個二元回歸方程，若若F/2）Fe則將自變量X遼引入模