最小二乘法原理

1、三、最小二乘法 最小二乘法是根據(jù)最小二乘準(zhǔn)則，利用樣本數(shù)據(jù)估計(jì)回歸方程的一種方法。 （一）殘差 設(shè) 是被解釋變量的第 次樣本觀測(cè)值， 是相應(yīng)的第 次樣本估計(jì)值。將 與 之間的偏差記作 稱 為第 次樣本觀測(cè)值的殘差。 （二）最小二乘準(zhǔn)則 使全部樣本觀測(cè)值的殘差平方和達(dá)到最小，即 來確定未知參數(shù) 估計(jì)量的準(zhǔn)則，稱為最小二乘準(zhǔn)則。 （三）最小二乘估計(jì)量 未知參數(shù) 的最小二乘估計(jì)量 的計(jì)算公式為 最小二乘估計(jì)量的推導(dǎo) 設(shè)殘差平方和 其中 它是 階殘差列向量。 為了得到最小二乘估計(jì)量 ，我們對(duì)上式進(jìn)行極小化 移項(xiàng)后，得正規(guī)方程組 根據(jù)基本假定5.， 存在，用 左乘正規(guī)方程組兩邊，得 的最小二乘估計(jì)量 式

2、 （四） 的無偏估計(jì)量 隨機(jī)誤差項(xiàng) 的方差 的無偏估計(jì)量為 稱作回歸估計(jì)的均方誤差，而 稱作回歸估計(jì)的標(biāo)準(zhǔn)誤差。 （五） 的方差 其中， ，于是每個(gè) 的方差為 ，而 是矩陣 對(duì)角線上對(duì)應(yīng)的第 個(gè)元素， 。 （六） 方差的估計(jì)量 方差的估計(jì)量為 則每個(gè) 方差的估計(jì)量為 ， 標(biāo)準(zhǔn)差的估計(jì)量為 ， 四、擬合優(yōu)度檢驗(yàn) 擬合優(yōu)度檢驗(yàn)是樣本回歸方程 對(duì)樣本觀測(cè)值 擬合程度的檢驗(yàn)。 （一）總離差平方和的分解公式 其中 總離差平方和， 回歸平方和， 殘差平方和。于是，可以將平方和的分解公式寫成離差形式 （二）多元樣本決定系數(shù) 1.多元樣本決定系數(shù) 所謂多元樣本決定系數(shù) ，也稱多元樣本判定系數(shù)或多元樣本可決系數(shù)

3、，是指被解釋變量 中的變異性能被樣本回歸方程解釋的比例，即 2. 修正的樣本決定系數(shù) 與 有如下關(guān)系： 在樣本容量一定的情形下，可以看出 有性質(zhì)： (1) ， ； （2） 可能出現(xiàn)負(fù)值。例如， ， ， 時(shí)， 。顯然負(fù)的擬合優(yōu)度沒有任何意義，在這種情形時(shí)，我們?nèi)?。 （三）三個(gè)平方和的計(jì)算公式 于是有 因?yàn)?，所以 。 作為度量回歸值 對(duì)樣本觀測(cè)值 擬合優(yōu)度的指標(biāo)，顯然 的數(shù)值越大越好。 的數(shù)值越接近于1，表示 中的變異性能被估計(jì)的回歸方程解釋的部分越多，估計(jì)的回歸方程對(duì)樣本觀測(cè)值就擬合的越好；反之， 的數(shù)值越接近于0，表示 中的變異性能被估計(jì)的回歸方程解釋的部分越少，估計(jì)的回歸方程對(duì)樣本觀測(cè)值

4、就擬合的越差。五、 檢驗(yàn) 檢驗(yàn)是對(duì)回歸方程總體顯著性的檢驗(yàn)，就是從總體上檢驗(yàn)解釋變量 對(duì)被解釋變量 是否有顯著影響的一種統(tǒng)計(jì)檢驗(yàn)方法。 ： ； ：至少有一個(gè) 不等于零。 檢驗(yàn)的統(tǒng)計(jì)量 否定規(guī)則 如果檢驗(yàn)的統(tǒng)計(jì)量 ，則否定 ，即認(rèn)為在 顯著性水平下，被解釋變量 與解釋變量 之間存在顯著的線性關(guān)系；否則，不否定 。這里 是 水平的分子自由度為 ，分母自由度為 的 分布的上側(cè)分位數(shù)。六、 檢驗(yàn) 檢驗(yàn)是對(duì)線性回歸模型的系數(shù)進(jìn)行顯著性檢驗(yàn)，也就是說是檢驗(yàn)?zāi)Ｐ偷拿總€(gè)解釋變量 是否對(duì)被解釋變量 有影響顯著的一種統(tǒng)計(jì)檢驗(yàn)方法。 ： ： ， 檢驗(yàn)的統(tǒng)計(jì)量 其中， 是 標(biāo)準(zhǔn)差的估計(jì)量，而 是矩陣 對(duì)角線上對(duì)應(yīng)的第

5、 個(gè)元素， 。 否定規(guī)則 如果 或者 ，則否定 ，即認(rèn)為在 顯著性水平下，第 個(gè)解釋變量 對(duì)被解釋變量 存在顯著的影響；否則，不否定 。這里 是 水平的自由度為 的 分布的雙側(cè)分位數(shù)。七、預(yù)測(cè) 多元線性回歸分析的一個(gè)重要應(yīng)用是利用樣本回歸方程進(jìn)行預(yù)測(cè)。預(yù)測(cè)分為點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)兩種情形。 （一）點(diǎn)預(yù)測(cè) 點(diǎn)預(yù)測(cè)就是對(duì)于給定的解釋變量 的一組特定值 估計(jì)對(duì)應(yīng)的被解釋變量 的值。假設(shè)利用最小二乘法建立的樣本回歸方程為 其中 ， 將 代入樣本回歸方程中，得 就是被解釋變量 的點(diǎn)預(yù)測(cè)值或點(diǎn)估計(jì)值。 （二）區(qū)間預(yù)測(cè) 在實(shí)際應(yīng)用中，人們不僅關(guān)心被解釋變量 的估計(jì)值，而且希望得到一個(gè)以相當(dāng)大的概率包含 真值的區(qū)

6、間。這個(gè)區(qū)間就是數(shù)理統(tǒng)計(jì)中的置信區(qū)間，我們稱為預(yù)測(cè)區(qū)間或估計(jì)區(qū)間。 的置信度為 預(yù)測(cè)區(qū)間為 ， 其中， 是預(yù)測(cè)誤差 標(biāo)準(zhǔn)差的估計(jì)量， 是回歸估計(jì)標(biāo)準(zhǔn)誤差， 是自由度為 ，水平為 的 分布的雙側(cè)分位數(shù)。 的置信度為 預(yù)測(cè)區(qū)間的推導(dǎo) 對(duì)于給定的解釋變量 的一組特定值 根據(jù)多元線性回歸模型，有 其中， 。根據(jù)估計(jì)的樣本回歸模型，有 其中， 若將 看作是 的個(gè)別值 的點(diǎn)估計(jì)值時(shí)，它們的預(yù)測(cè)誤差記為 因?yàn)?= 所以， 是 的個(gè)別值 的無偏估計(jì)量。 接著我們考察 的方差。因?yàn)?與 有關(guān)，而 只與 有關(guān)，所以根據(jù)隨機(jī)誤差項(xiàng)彼此之間不相關(guān)的基本假定 3.， 與 也不相關(guān)。于是有 = = 因?yàn)?， = ，所以

7、= = 于是， 方差的估計(jì)量為 因?yàn)?和 都服從正態(tài)分布，因此 也服從正態(tài)分布，即 所以有 由于 是未知的，我們用它的無偏估計(jì)量 代替，則由概率統(tǒng)計(jì)知識(shí)有 對(duì)于預(yù)先給定的顯著性水平 ，可從 分布表中查出自由度為 ，水平為 的雙側(cè)分位數(shù) ，使 即 或者 于是有 最后，得 的置信度為 預(yù)測(cè)區(qū)間 式 ， 即 ， 八、案例分析 例8.12 我國(guó)19881998年的城鎮(zhèn)居民人均全年耐用消費(fèi)品支出、人均全年可支配收入和耐用消費(fèi)品價(jià)格指數(shù)的統(tǒng)計(jì)資料如下表所示。試建立城鎮(zhèn)居民人均全年耐用消費(fèi)品支出 關(guān)于可支配收入 和耐用消費(fèi)品價(jià)格指數(shù) 的回歸模型，并進(jìn)行回歸分析。表8.8 我國(guó)19881998年間城鎮(zhèn)居民人均

8、全年耐用消費(fèi)品支出、人均全年可支配收入和耐用消費(fèi)品價(jià)格指數(shù)的統(tǒng)計(jì)資料年 份人均耐用消費(fèi)品支出 (元)人均全年可支配收入 (元)耐用消費(fèi)品價(jià)格指 (1987年=100)1988137.161181.4115.961989124.561375.7133.351990107.911510.2128.211991102.961700.6124.851992125.242026.6122.491993162.452577.4129.861994217.433496.2139.521995253.424283.0140.441996251.074838.9139.121997285.855160.3133

9、.351998 327.265425.1126.39 資料來源：中國(guó)統(tǒng)計(jì)年鑒 解 根據(jù)經(jīng)濟(jì)理論和對(duì)實(shí)際情況的分析可以知道，城鎮(zhèn)居民人均全年耐用消費(fèi)品支出 依賴于可支配收入 和耐用消費(fèi)品價(jià)格指數(shù) 的變化，因此我們?cè)O(shè)定回歸模型為 1. 估計(jì)模型未知參數(shù) 由原始數(shù)據(jù)，計(jì)算得 ， ， ， ， ， ， ， ， 將上述計(jì)算結(jié)果代入公式 ，得 即 ， ， 。最后，得估計(jì)的回歸方程 接著，計(jì)算殘差平方和 = 所以 的無偏估計(jì)量為 從而得到回歸估計(jì)標(biāo)準(zhǔn)誤差為 2. 經(jīng)濟(jì)意義檢驗(yàn) ，表示城鎮(zhèn)居民全年人均耐用消費(fèi)品支出是隨著可支配收入的增長(zhǎng)而增加，并且介于0和1之間，因此該回歸系數(shù)的符號(hào)、大小都與經(jīng)濟(jì)理論和人們的經(jīng)驗(yàn)期