回歸分析2回歸方程的檢驗(yàn)課件

§2.4回歸方程的顯著性檢驗(yàn)及精度估計(jì)

回歸方程的顯著性檢驗(yàn)原因：雜亂無(wú)序，無(wú)相關(guān)關(guān)系的散點(diǎn)也可以擬合成一條直線或曲線，但無(wú)意義。內(nèi)容：回歸方程擬合度的檢驗(yàn)

回歸方程線性關(guān)系顯著性檢驗(yàn)

回歸變量的顯著性檢驗(yàn)§2.4回歸方程的顯著性檢驗(yàn)及精度估計(jì)

回歸方程的顯著性1§2.4回歸方程的顯著性檢驗(yàn)及精度估計(jì)

在解決工程實(shí)際問(wèn)題時(shí)，一般說(shuō)來(lái)，事先并不能斷言與間一定具有線性關(guān)系。因此，當(dāng)我們按線性回歸模型來(lái)處理后，所得到的關(guān)于的線性回歸方程是否能代表實(shí)際問(wèn)題呢?這就是統(tǒng)計(jì)上常說(shuō)的假設(shè)檢驗(yàn)問(wèn)題，即要檢驗(yàn)線性回歸方程是否有顯著意義。如果顯著，我們就可以用線性回歸模型代表實(shí)際問(wèn)題，否則該模型不能代表實(shí)際問(wèn)題。

模型合適嗎？§2.4回歸方程的顯著性檢驗(yàn)及精度估計(jì)

在解2此外，在檢驗(yàn)得知線性回歸方程是顯著之后，我們還可以進(jìn)一步判斷在線性回歸方程中，哪些變量是影響的重要變量，哪些變量是不重要變量，由此分析可對(duì)回歸方程作更進(jìn)一步簡(jiǎn)化，從而得到最優(yōu)回歸方程。這就是所謂的對(duì)每個(gè)變量要進(jìn)行顯著性檢驗(yàn)問(wèn)題。

§2.4回歸方程的顯著性檢驗(yàn)及精度估計(jì)

此外，在檢驗(yàn)得知線性回歸方程是顯著之后，我們還可以進(jìn)一步判斷3

設(shè)是已求得的回歸方程。是第個(gè)試驗(yàn)點(diǎn)代入回歸方程所求的回歸值。這里稱試驗(yàn)值（觀察值）與其平均值的離差平方和為總離差平方和。記為§2.4回歸方程的顯著性檢驗(yàn)——方差分析

設(shè)4§2.4回歸方程的顯著性檢驗(yàn)——方差分析

§2.4回歸方程的顯著性檢驗(yàn)——方差分析

5這里作為樣本函數(shù)即統(tǒng)計(jì)量，其自由度為。如果觀測(cè)值給定，是確定的?，F(xiàn)將進(jìn)行分解?！?.4回歸方程的顯著性檢驗(yàn)——方差分析

這里作為樣本函數(shù)即統(tǒng)計(jì)量，其自由度6其中，，事實(shí)上，由式（2.8)可知§2.4回歸方程的顯著性檢驗(yàn)——方差分析

其中，，事7

又由式（2.5）知，上式最后等式右端每一項(xiàng)均等于0，于是因此式（2.12）中，記稱為回歸平方和。（2.12）

§2.4回歸方程的顯著性檢驗(yàn)——方差分析

又由式（2.5）知，上式最后等式右端每一項(xiàng)（2.128它反映了自變量的變化所引起的對(duì)的波動(dòng)。其自由度為。

式（2.12）中，記稱為剩余平方和（或殘差平方和），它是由試驗(yàn)誤差以及其他因素引起的。它的大小反映了試驗(yàn)誤差及其他因素對(duì)試驗(yàn)結(jié)果的影響程度，其自由度為?！?.4回歸方程的顯著性檢驗(yàn)——方差分析

它反映了自變量的變化所引9

于是由式（2.13），我們可對(duì)所建立的回歸方程能否代表實(shí)際問(wèn)題作一個(gè)判斷。這是因?yàn)樵谑剑?.13）中，當(dāng)確定時(shí)，越小，越大，則就越接近。于是，我們可用是否趨近于1來(lái)判斷回歸方程的回歸效果好壞。

（2.13）

§2.4回歸方程的顯著性檢驗(yàn)——方差分析

于是（2.13）§2.4回歸方程的顯著性檢驗(yàn)——方差10由式（2.13）定義為復(fù)相關(guān)系數(shù)，顯然。越接近1，回歸效果就越好。

∴§2.4回歸方程的顯著性檢驗(yàn)——方差分析

由式（2.13）∴§2.4回歸方程的顯著性檢驗(yàn)——方差分11然而在實(shí)際工程計(jì)算中，當(dāng)實(shí)驗(yàn)樣本點(diǎn)較小時(shí)，計(jì)算出的一般都較接近1，這給我們判斷所建的回歸方程的回歸效果是否顯著帶來(lái)麻煩，因此在實(shí)際計(jì)算中應(yīng)注意變量個(gè)數(shù)與樣本個(gè)數(shù)的適當(dāng)比例，一般認(rèn)為樣本個(gè)數(shù)至少應(yīng)是變量個(gè)數(shù)的5到10倍?！?.4回歸方程的顯著性檢驗(yàn)——方差分析

然而在實(shí)際工程計(jì)算中，當(dāng)實(shí)驗(yàn)樣本點(diǎn)較§2.4回歸方程的顯12

由于在解決實(shí)際問(wèn)題時(shí)，我們往往不能事先斷言變量與變量之間是否確有線性關(guān)系，在建立數(shù)學(xué)模型時(shí)，往往是先假定實(shí)際問(wèn)題可能具有線性性，由此建立起線性回歸模型。顯然在這樣的假設(shè)前提下所建立起的線性回歸模型到底能否代表實(shí)際問(wèn)題，或者通俗地說(shuō)所建立的線性回歸方程能否用于實(shí)際問(wèn)題，需要判定（檢驗(yàn)），該如何檢驗(yàn)?zāi)?這是統(tǒng)計(jì)學(xué)中假設(shè)檢驗(yàn)問(wèn)題?！?.4回歸方程的顯著性檢驗(yàn)——F檢驗(yàn)

由于在解決實(shí)際問(wèn)題時(shí)，我們往往不能事先斷言變量13我們是這樣考慮的，如果線性回歸模型能代表實(shí)際問(wèn)題（也就是線性回歸模型顯著），我們可以認(rèn)為線性回歸模型的系數(shù)不全為零；如果線性回歸模型不顯著，我們認(rèn)為線性模型系數(shù)全為零。于是按統(tǒng)計(jì)假設(shè)檢驗(yàn)原則提出假設(shè)：為此應(yīng)用統(tǒng)計(jì)量不全為零，(

)§2.4回歸方程的顯著性檢驗(yàn)——F檢驗(yàn)

我們是這樣考慮的，如果線性回歸模型能代表實(shí)際問(wèn)題（也就是線性14

對(duì)于給定檢驗(yàn)水平，查分布表可得臨界值，并由檢驗(yàn)，作出如下判斷：如果由統(tǒng)計(jì)量計(jì)算所得的數(shù)值有，則表示在檢驗(yàn)水平下，拒絕，從而認(rèn)為線性回歸模型有顯著意義，即線性回歸模型能代表實(shí)際問(wèn)題，工程中可大膽使用該模型。如果，則在檢驗(yàn)水平下，接受，即認(rèn)為線性回歸模型不顯著，即線性回歸模型不能代表實(shí)際問(wèn)題，該模型在工程實(shí)際問(wèn)題中不能使用。§2.4回歸方程的顯著性檢驗(yàn)——F檢驗(yàn)

對(duì)于給定檢驗(yàn)水平，查分布表可得臨15

在多元線性回歸模型中，我們并不滿足于線性回歸方程是顯著的這個(gè)結(jié)論。因?yàn)榛貧w方程顯著并不意味著每個(gè)自變量對(duì)因變量的影響都重要，也就是并不能說(shuō)這個(gè)變量在模型中都重要。換句話說(shuō)模型中個(gè)自變量中有重要的，也有不重要的自變量，一種自然的想法就是在模型中保留重要變量，剔除不重要或者可有可無(wú)的變量，按照這種思想來(lái)建立模型，實(shí)際上是對(duì)原線性回歸模型進(jìn)行精簡(jiǎn)?！?.4回歸方程的顯著性檢驗(yàn)——F檢驗(yàn)

在多元線性回歸模型中，我們并不滿足于線§2.4回歸16具體操作該如何進(jìn)行呢？我們是這樣考慮的，如果某個(gè)自變量對(duì)的作用不顯著，也就是說(shuō)對(duì)不重要（或可有可無(wú)），則認(rèn)為它前面的系數(shù)應(yīng)取零值，因此檢驗(yàn)自變量是否顯著（重要），就是等價(jià)于檢驗(yàn)假設(shè)為此，應(yīng)用統(tǒng)計(jì)量§2.4回歸方程的顯著性檢驗(yàn)——F檢驗(yàn)

具體操作該如何進(jìn)行呢？我們是這樣考慮的，如果某個(gè)自變量17其中，為式（2.10）中的對(duì)角線上第個(gè)元素。對(duì)于給定的檢驗(yàn)水平，查分布表可得臨界值，并由檢驗(yàn)作出如下判斷：如果由統(tǒng)計(jì)量計(jì)算所得的數(shù)值則拒絕，即認(rèn)為對(duì)是重要變量，應(yīng)留在模型中；如果，則在水平之下接受，認(rèn)為對(duì)不重要，可從模型中剔除。一般一次檢驗(yàn)只剔除一個(gè)自變量，且這個(gè)自變量是所有不顯著自變量中值最小值，然后再建立回歸模型，并繼續(xù)進(jìn)行檢驗(yàn)，直到建立的回歸模型及各個(gè)自變量均顯著為止?！?.4回歸方程的顯著性檢驗(yàn)——F檢驗(yàn)

其中，為式（2.10）中18§2.5線性回歸模型預(yù)測(cè)精度估計(jì)

通過(guò)對(duì)模型及變量的顯著性檢驗(yàn)后，我們可用所建立的回歸模型進(jìn)行預(yù)測(cè)或控制。但用模型進(jìn)行預(yù)測(cè)，所得結(jié)果的精度如何?即真值（實(shí)際值）與模型預(yù)測(cè)值的誤差有多大?這是我們關(guān)心的問(wèn)題，應(yīng)該作出估計(jì)，為此給出剩余標(biāo)準(zhǔn)差

式中，為進(jìn)入回歸模型的變量個(gè)數(shù)。

§2.5線性回歸模型預(yù)測(cè)精度估計(jì)通過(guò)對(duì)模型及變量的19由統(tǒng)計(jì)學(xué)區(qū)間估計(jì)理論知，在隨機(jī)變量服從正態(tài)分布情況下，任一給定的自變量值，所對(duì)應(yīng)因變量的真值，以95％的概率落在區(qū)間是的回歸值，即預(yù)測(cè)值與真值之差有95%的概率，使得，所以越小其預(yù)測(cè)精度就越高。§2.5線性回歸模型預(yù)測(cè)精度估計(jì)

由統(tǒng)計(jì)學(xué)區(qū)間估計(jì)理論知，在隨機(jī)變量服從正態(tài)分布情況下，任一給20YY——X代入由B為回歸系數(shù)的方程后得到的因變量矩陣；U——回歸平方和；Q——剩余平方和；R——復(fù)相關(guān)系數(shù)；F——F檢驗(yàn)值，即回歸方差與剩余方差之比；SS——剩余標(biāo)準(zhǔn)差；Y1,Y2,Y3,f1，f2——中間變量。

YY——X代入由B為回歸系數(shù)的方程后得到的因變量矩陣；212．Matlab函數(shù)：inv（）——矩陣求逆；mean（）——求均值；sum（）——求和；sqrtm（）——開(kāi)方。2．Matlab函數(shù)：22§2.4.2程序（略）§2.4.3例題例2.2

平爐煉鋼過(guò)程的熔化期中，總的去碳量與所加的兩種礦料（天然礦石與燒結(jié)礦料）的量，及熔化時(shí)間有關(guān)，熔化時(shí)間愈長(zhǎng)則去碳量愈多。經(jīng)實(shí)測(cè)某平爐的49組數(shù)據(jù)見(jiàn)表2.2，求對(duì)、、的線性回歸方程。§2.4.2程序（略）23

表2.2平爐煉鋼過(guò)程的數(shù)據(jù)編號(hào)編號(hào)123456789101112131415161718192021222324254.333.654.485.555.503.115.113.884.674.955.005.275.375.484.605.666.083.225.814.734.683.132.613.723.8927512l3367030860371660940921891432012175823161841421141201615061701604046436440643937556049505151515648455240324744392627282930313233343536373839404142434445464748492.705.635.815.315.394.464.664.524.875.364.612.383.874.595.169126l205406410459655827410346513724121520161741413813812613810517153951414761374945424848363651541004463555045406472預(yù)測(cè)建立回歸模型表2.2平爐煉鋼過(guò)程的數(shù)據(jù)編號(hào)編號(hào)14.3324解

打開(kāi)數(shù)據(jù)文件dd2data.mat，將因變量數(shù)據(jù)錄入一維數(shù)據(jù)矩陣Y1×n中，將自變量數(shù)據(jù)錄入m×n維數(shù)據(jù)矩陣Xm×n中，本題中自變量數(shù)m=3，樣本容量n=49。執(zhí)行程序如下：>>loaddd1data>>dd1（X,Y,3,49）計(jì)算機(jī)運(yùn)行結(jié)果如下：B=%回歸方程系數(shù)0.98380.16440.11730.0279解打開(kāi)數(shù)據(jù)文件dd2data.mat，將因變量數(shù)據(jù)錄入25U=%回歸平方和14.2843Q=%剩余平方和30.8513R=%復(fù)相關(guān)系