多元回歸模型

1、多元線性回歸分析1多元回歸分析 多元回歸分析是研究因變量對(duì)兩個(gè)或兩個(gè)以上解釋變量的統(tǒng)計(jì)依賴關(guān)系。 多元回歸模型是具有兩個(gè)或兩個(gè)以上解釋變量的回歸模型。2多元線性回歸分析 很少有經(jīng)濟(jì)現(xiàn)象能夠只用一個(gè)解釋變量來解釋。比如：消費(fèi)水平、股票價(jià)格、工資水平、破產(chǎn)率、新生嬰兒死亡率等等。因此，要解釋這些復(fù)雜經(jīng)濟(jì)現(xiàn)象或經(jīng)濟(jì)相關(guān)現(xiàn)象，那么在建立回歸模型的時(shí)候必須納入多個(gè)解釋變量，以充分反映多種因素對(duì)因變量的影響。3多元回歸模型的一般形式總體回歸函數(shù)的隨機(jī)形式總體回歸函數(shù)的確定形式4二元回歸實(shí)例 研究美國(guó)非農(nóng)業(yè)未償還抵押貸款余額與個(gè)人收入和抵押貸款費(fèi)用的關(guān)系。Y ：美國(guó)非農(nóng)業(yè)未償還抵押貸款余額(億美元)。X2

2、：個(gè)人收入總水平(億美元)。X3 ：抵押貸款費(fèi)用（%）56矩陣X稱為“數(shù)據(jù)矩陣”，是由k-1個(gè)解釋變量的n組觀測(cè)值加上n個(gè)常變量1構(gòu)成。7經(jīng)典正態(tài)線性回歸模型基本假定89101112樣本回歸模型樣本回歸函數(shù)的隨機(jī)形式樣本回歸函數(shù)的確定形式1314 最小二乘原理構(gòu)造合適的估計(jì)量，使得殘差平方和最小。估計(jì)方法：最小二乘法15OLS估計(jì)量的推導(dǎo)16171819202122232425最小二乘估計(jì)量的決定式26三變量模型回歸系數(shù)的OLS估計(jì)量27偏回歸系數(shù)的含義偏回歸系數(shù)體現(xiàn)的是解釋變量對(duì)因變量的凈影響或直接影響。一元回歸模型中的回歸系數(shù)體現(xiàn)的是解釋變量對(duì)因變量的總影響，包括直接影響和間接影響。28驗(yàn)

3、證偏回歸系數(shù)的含義29最小二乘估計(jì)量的優(yōu)良性質(zhì) 高斯馬爾可夫定理 在經(jīng)典線性回歸模型的假定條件下，最小二乘估計(jì)量，在所有無偏線性估計(jì)量中，具有最小方差，也就是說，它們是最優(yōu)線性無偏估計(jì)量。 最優(yōu)線性無偏估計(jì)量(BLUE) Best linear unbiased estimator 同時(shí)滿足“線性”、“無偏”、“方差最小”三個(gè)優(yōu)良性質(zhì)的估計(jì)量。 30OLS估計(jì)量的精度方差和標(biāo)準(zhǔn)差31OLS估計(jì)量的方差的矩陣表達(dá)形式32三變量模型OLS估計(jì)量方差的代數(shù)公式33 OLS估計(jì)量的方差協(xié)方差矩陣對(duì)角線上的元素就是相應(yīng)的回歸系數(shù)估計(jì)量的方差，方差的正平方根即是標(biāo)準(zhǔn)差。其他位置上的元素，是回歸系數(shù)估計(jì)量的

4、協(xié)方差。3435 隨機(jī)干擾項(xiàng)的方差通常是未知的，因此，回歸系數(shù)估計(jì)量真正的方差協(xié)方差矩陣也就不能確定。 通常用模型的回歸標(biāo)準(zhǔn)誤去替代隨機(jī)干擾項(xiàng)的標(biāo)準(zhǔn)差，則可以得到回歸系數(shù)估計(jì)量的樣本方差協(xié)方差矩陣。根據(jù)此矩陣，可以得到回歸系數(shù)估計(jì)量的樣本方差和樣本標(biāo)準(zhǔn)誤。36OLS估計(jì)量的概率分布 知道了統(tǒng)計(jì)量的概率分布，并且根據(jù)樣本數(shù)據(jù)能夠計(jì)算出具體的統(tǒng)計(jì)值，從而可以很方便地進(jìn)行回歸系數(shù)的區(qū)間估計(jì)和假設(shè)檢驗(yàn)。37檢驗(yàn)一：回歸系數(shù)顯著性檢驗(yàn) 檢驗(yàn)單個(gè)回歸系數(shù)的顯著性。檢驗(yàn)方法與雙變量模型的回歸系數(shù)顯著性檢驗(yàn)沒有本質(zhì)區(qū)別，但需要特別注意t統(tǒng)計(jì)量的自由度個(gè)數(shù)。38檢驗(yàn)二：回歸模型的擬合優(yōu)度檢驗(yàn)稱為“多元判定系數(shù)”39“判定系數(shù)”的含義和性質(zhì)判定系數(shù)度量了因變量的總變異在多大比例上可以由回歸模型來解釋，體現(xiàn)了回歸模型對(duì)樣本觀測(cè)值的擬合優(yōu)度，在一定程度上反映了模型的優(yōu)良程度。判定系數(shù)在0到1之間。4041檢驗(yàn)三：方程顯著性檢驗(yàn)（ F檢驗(yàn)）把模型作為一個(gè)整體進(jìn)行假設(shè)檢驗(yàn)，檢驗(yàn)?zāi)Ｐ椭幸蜃兞颗c解釋變量之間的線性關(guān)系是否顯著成立。檢驗(yàn)方案：42檢驗(yàn)思路：方差分析對(duì)TSS的組成部分進(jìn)行研究叫做方差分析。TSS自由度n-1ESS自由度k-1RSS自由度n-k43F檢驗(yàn)的拒絕域4445多元回歸模型假設(shè)檢驗(yàn)的一般方法檢驗(yàn)回歸系數(shù)的某個(gè)線性約束是否成立。464748構(gòu)造檢驗(yàn)統(tǒng)