總結(jié)線性回歸分析的基本步驟

1、線性回歸分析的基本步驟步驟一、建立模型知識(shí)點(diǎn)：1、總體回歸模型、總體回歸方程、樣本回歸模型、樣本回歸方程總體回歸模型：研究總體之中自變量和因變量之間某種非確定依賴關(guān)系的計(jì)量模型。特點(diǎn)：由于隨機(jī)誤差項(xiàng)U的存在，使得Y和X不在一條直線/平面上。例1：某鎮(zhèn)共有60個(gè)家庭，經(jīng)普查，60個(gè)家庭的每周收入（X）與每周消費(fèi)（Y）數(shù)據(jù)如下：每周收入（X）每周消費(fèi)支出（Y）8055606570751006570748085881207984909498140809395103108113115160102107110116118125180110115120130135140200120136140144145

2、220135137140152157160162240137145155165175189260150152175178180185191作出其散點(diǎn)圖如下：總體回歸方程（線）：由于假定，因此因變量的均值與自變量總處于一條直線上，這條直線就稱為總體回歸線（方程）?？傮w回歸方程的求法：以例1的數(shù)據(jù)為例1）對(duì)第一個(gè)Xi，求出E(Y|Xi)。每周收入（X）每周消費(fèi)支出（Y）E(Y|Xi)8055606570756510065707480858877120798490949889140809395103108113115101160102107110116118125113180110115120130

3、135140125200120136140144145137220135137140152157160162149240137145155165175189161260150152175178180185191173由于，因此任意帶入兩個(gè)Xi和其對(duì)應(yīng)的E(Y|Xi)值，即可求出，并進(jìn)而得到總體回歸方程。如將代入可得：以上求出反映了E(Y|Xi)和Xi之間的真實(shí)關(guān)系，即所求的總體回歸方程為：，其圖形為：樣本回歸模型：總體通常難以得到，因此只能通過(guò)抽樣得到樣本數(shù)據(jù)。如在例1中，通過(guò)抽樣考察，我們得到了20個(gè)家庭的樣本數(shù)據(jù)：每周收入（X）每周消費(fèi)支出（Y）8055100657012079841408

4、093160102107110180110200120136220135137240137145260150152175那么描述樣本數(shù)據(jù)中因變量Y和自變量X之間非確定依賴關(guān)系的模型就稱為樣本回歸模型。樣本回歸方程（線）：通過(guò)樣本數(shù)據(jù)估計(jì)出，得到樣本觀測(cè)值的擬合值與解釋變量之間的關(guān)系方程稱為樣本回歸方程。如下圖所示：四者之間的關(guān)系：總體回歸模型建立在總體數(shù)據(jù)之上，它描述的是因變量Y和自變量X之間的真實(shí)的非確定型依賴關(guān)系；樣本回歸模型建立在抽樣數(shù)據(jù)基礎(chǔ)之上，它描述的是因變量Y和自變量X之間的近似于真實(shí)的非確定型依賴關(guān)系。這種近似表現(xiàn)在兩個(gè)方面：一是結(jié)構(gòu)參數(shù)是其真實(shí)值的一種近似估計(jì)；二是殘差是隨機(jī)誤

5、差項(xiàng)U的一個(gè)近似估計(jì)；：總體回歸方程是根據(jù)總體數(shù)據(jù)得到的，它描述的是因變量的條件均值E(Y|X)與自變量X之間的線性關(guān)系；樣本回歸方程是根據(jù)抽樣數(shù)據(jù)得到的，它描述的是因變量Y樣本預(yù)測(cè)值的擬合值與自變量X之間的線性關(guān)系。：回歸分析的目的是試圖通過(guò)樣本數(shù)據(jù)得到真實(shí)結(jié)構(gòu)參數(shù)的估計(jì)值，并要求估計(jì)結(jié)果足夠接近真實(shí)值。由于抽樣數(shù)據(jù)有多種可能，每一次抽樣所得到的估計(jì)值都不會(huì)相同，即的估計(jì)量是一個(gè)隨機(jī)變量。因此必須選擇合適的參數(shù)估計(jì)方法，使其具有良好的統(tǒng)計(jì)性質(zhì)。2、隨機(jī)誤差項(xiàng)U存在的原因：非重要解釋變量的省略人的隨機(jī)行為數(shù)學(xué)模型形式欠妥歸并誤差（如一國(guó)GDP的計(jì)算）測(cè)量誤差等3、多元回歸模型的基本假定隨機(jī)誤差

6、項(xiàng)的期望值為零隨機(jī)誤差項(xiàng)具有同方差性隨機(jī)誤差項(xiàng)彼此之間不相關(guān)解釋就變量X1,X2,···,Xk為確定型變量，與隨機(jī)誤差項(xiàng)彼此不相關(guān)。解釋就變量X1,X2,···,Xk之間不存在精確的（完全的）線性關(guān)系，即解釋變量的樣本觀測(cè)值矩陣X為滿秩矩陣：rank(X)=k+1<n隨機(jī)誤差項(xiàng)服從正態(tài)分布，即：uiN(0,s2)，i=1,2,···,n步驟二、參數(shù)估計(jì)知識(shí)點(diǎn)：1、最小二乘估計(jì)的基本原理：殘差平方和最小化。2、參數(shù)估計(jì)量： 一元回歸： 多元回歸：3、最小二乘估計(jì)量的性質(zhì)（Gauss-Markov定理）

7、：在滿足基本假設(shè)的情況下，最小二乘估計(jì)量是的最優(yōu)線性無(wú)偏估計(jì)量（BLUE估計(jì)量）步驟三、模型檢驗(yàn)1、經(jīng)濟(jì)計(jì)量檢驗(yàn)（后三章內(nèi)容）2、統(tǒng)計(jì)檢驗(yàn)擬合優(yōu)度檢驗(yàn)知識(shí)點(diǎn)：擬合優(yōu)度檢驗(yàn)的作用：檢驗(yàn)回歸方程對(duì)樣本點(diǎn)的擬合程度：擬合優(yōu)度的檢驗(yàn)方法：計(jì)算（調(diào)整的）樣本可決系數(shù)，注意掌握離差平方和、回歸平方和、殘差平方和之間的關(guān)系以及它們的自由度。計(jì)算方法：通過(guò)方差分析表計(jì)算方差來(lái)源符號(hào)計(jì)算公式自由度(d.f.)均方值(MSS)離差平方和TSSn-1/n-1回歸平方和RSSk/k殘差平方和ESSn-k-1/ n-k-1例2：下表列出了三變量（二元）模型的回歸結(jié)果：方差來(lái)源平方和（SS）自由度均方值離差平方和TSS6

8、604214回歸平方和RSS65965殘差平方和ESS1） 樣本容量為多少？解：由于TSS的自由度為n-1，由上表知n-114，因此樣本容量n=15。2） 求ESS解：由于TSSESSRSS，故ESSTSSRSS773） ESS和RSS的自由度各為多少？解：對(duì)三變量模型而言，k=2，故ESS的自由度為n-k-112RSS的自由度為k24） 求解：，回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）目的：檢驗(yàn)?zāi)Ｐ椭械囊蜃兞颗c自變量之間是否存在顯著的線性關(guān)系步驟：1、提出假設(shè)：2、構(gòu)造統(tǒng)計(jì)量：3、給定顯著性水平，確定拒絕域4、計(jì)算統(tǒng)計(jì)量值，并判斷是否拒絕原假設(shè)例3：就例2中的數(shù)據(jù)，給定顯著性水平，對(duì)回歸方程進(jìn)行顯著性

9、檢驗(yàn)。解：由于統(tǒng)計(jì)量值，又，而故拒絕原假設(shè)，即在1%的顯著性水平下可以認(rèn)為回歸方程存在顯著的線性關(guān)系。附：檢驗(yàn)的關(guān)系：由于解釋變量的顯著性檢驗(yàn)（t檢驗(yàn)）目的：檢驗(yàn)?zāi)Ｐ椭械淖宰兞渴欠駥?duì)因變量存在顯著影響。知識(shí)點(diǎn)：多元回歸：，其中為中位于第i+1行和i+1列的元素；一元回歸：變量顯著性檢驗(yàn)的基本步驟：1、提出假設(shè)：2、構(gòu)造統(tǒng)計(jì)量：3、給定顯著性水平，確定拒絕域4、計(jì)算統(tǒng)計(jì)量值，并判斷是否拒絕原假設(shè)例4：根據(jù)19個(gè)樣本數(shù)據(jù)得到某一回歸方程如下：試在5%的顯著性水平下對(duì)變量的顯著性進(jìn)行檢驗(yàn)。解：由于，故t檢驗(yàn)的拒絕域?yàn)椤?duì)自變量而言，其t統(tǒng)計(jì)量值為，落入拒絕域，故拒絕的原假設(shè)，即在5%的顯著性水平下，

10、可以認(rèn)為自變量對(duì)因變量有顯著影響；對(duì)自變量而言，其t統(tǒng)計(jì)量值為，未落入拒絕域，故不能拒絕的原假設(shè)，即在5%的顯著性水平下，可以認(rèn)為自變量對(duì)因變量Y的影響并不顯著?；貧w系數(shù)的置信區(qū)間目的：給定某一置信水平，構(gòu)造某一回歸參數(shù)的一個(gè)置信區(qū)間，使落在該區(qū)間內(nèi)的概率為基本步驟：1、構(gòu)造統(tǒng)計(jì)量2、給定置信水平，查表求出水平的雙側(cè)分位數(shù)3、求出的置信度為的置信區(qū)間例5：根據(jù)例4的數(shù)據(jù)，求出的置信度為95%的置信區(qū)間。解：由于，故的置信度為95%的置信區(qū)間為：3、經(jīng)濟(jì)意義檢驗(yàn)?zāi)康模簷z驗(yàn)回歸參數(shù)的符號(hào)及數(shù)值是否與經(jīng)濟(jì)理論的預(yù)期相符。例6：根據(jù)26個(gè)樣本數(shù)據(jù)建立了以下回歸方程用于解釋美國(guó)居民的個(gè)人消費(fèi)支出：其中：

11、Y為個(gè)人消費(fèi)支出（億元）；X1為居民可支配收入（億元）；X2為利率（%）1） 先驗(yàn)估計(jì)的符號(hào)；解：由于居民可支配收入越高，其個(gè)人消費(fèi)水平也會(huì)越高，因此預(yù)期自變量X1回歸系數(shù)的符號(hào)為正；而利率越高，居民儲(chǔ)蓄意愿越強(qiáng)，消費(fèi)意愿相應(yīng)越低，因此個(gè)從消費(fèi)支出與利率應(yīng)該存在負(fù)相關(guān)關(guān)系，即應(yīng)為負(fù)。2） 解釋兩個(gè)自變量回歸系數(shù)的經(jīng)濟(jì)含義；解：表示，居民可支配收入每增加1億元，其個(gè)人消費(fèi)支出相應(yīng)會(huì)增加0.93億元，即居民的邊際消費(fèi)傾向MPC0.93；表示，利率提高1個(gè)百分點(diǎn)，個(gè)人消費(fèi)支出將減少2.09億元。截距項(xiàng)表示居民可支配收入和利率為零時(shí)的個(gè)人消費(fèi)支出為-10.96億元，它沒(méi)有明確的經(jīng)濟(jì)含義。3） 檢驗(yàn)是否

12、顯著不為1；（）解：1）提出假設(shè)：2）構(gòu)造統(tǒng)計(jì)量：3）給定顯著性水平，查表得，故拒絕域?yàn)?）計(jì)算統(tǒng)計(jì)量值：由于則，落入拒絕域。故拒絕的原假設(shè)。即在5%的顯著性水平下，可認(rèn)為邊際消費(fèi)傾向MPC顯著不為1。4） 檢驗(yàn)顯否顯著不為零；（）解：1）提出假設(shè)：2）構(gòu)造統(tǒng)計(jì)量：3）給定顯著性水平，查表得，故拒絕域?yàn)?）計(jì)算統(tǒng)計(jì)量值：由于，落入拒絕域，故拒絕原假設(shè)。即在5%的顯著性水平下，可以認(rèn)為顯著異于零。5） 計(jì)算值；解：由于6） 計(jì)算每個(gè)回歸系數(shù)的標(biāo)準(zhǔn)差；解：由于7） 給出置信水平為95%的置信區(qū)間；解：由于，故置信水平為95%的置信區(qū)間為8） 對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)；解：提出假設(shè)：構(gòu)造統(tǒng)計(jì)量確定拒絕域：計(jì)算統(tǒng)計(jì)量并進(jìn)行判斷：由于故拒絕原假設(shè)，即在5%的顯著性水平下認(rèn)為回歸方程的線性關(guān)系顯著成立。步驟四：經(jīng)濟(jì)預(yù)測(cè)點(diǎn)預(yù)測(cè)：可以看著是Y的條件均值和個(gè)別值的預(yù)測(cè)值，分別稱為均值預(yù)測(cè)和個(gè)值預(yù)測(cè)；性質(zhì)：是和的一個(gè)無(wú)偏估計(jì)量。區(qū)間預(yù)測(cè)：均值的區(qū)間預(yù)測(cè)預(yù)測(cè)步驟：1）確定統(tǒng)計(jì)量：其中2）給定置信水平，確定的預(yù)測(cè)區(qū)間為：個(gè)值的區(qū)間預(yù)測(cè)預(yù)測(cè)步驟：1）確定統(tǒng)計(jì)量：其中2）給定置信水平，確定的預(yù)測(cè)區(qū)間為：作業(yè)：為解釋某地對(duì)酒的消費(fèi)，根據(jù)20年的樣本數(shù)據(jù)得到了如下回歸方程：其中：每一成年人每年對(duì)酒的消費(fèi)量（升）；：酒類的平均價(jià)格（元）；：個(gè)人可支配收