線性回歸建模過程.docx

模型的建立：多元線性回歸分析的模型為 （3-1）其中：都是與無關(guān)的未知參數(shù)，稱為回歸系數(shù)?，F(xiàn)得到個(gè)獨(dú)立觀測(cè)數(shù)據(jù)，其中為的觀測(cè)值， 分別為的觀測(cè)值，由式（1）得 （3-2）記 （3-3）式（6）表為 （3-4）其中：為階單位矩陣。1. 參數(shù)估計(jì)模型（1）中的參數(shù)用最小二乘法估計(jì)，即應(yīng)選取估計(jì)值，使當(dāng)時(shí)，誤差平方和 (3-5)達(dá)到最小。為此，令得 (3-6)經(jīng)整理化為以下正規(guī)方程組： (3-7)正規(guī)方程組的矩陣形式為 (3-8)當(dāng)矩陣列滿秩時(shí), 為可逆方陣，式 的解為 (3-9)將代回原模型得到的估計(jì)值，而這組數(shù)據(jù)的擬合值為 (3-10)記擬合誤差稱為殘差，可作為隨機(jī)誤差的估計(jì)，殘差平方和為2.統(tǒng)計(jì)分析不加證明地給出以下結(jié)果：（1）是的線性無偏最小方差估計(jì)。指的是是的線性函數(shù)；的期望等于，在的線性無偏估計(jì)中，的方差最小。（2）服從正態(tài)分布 (3-11)記（3）對(duì)殘差平方和,，且 (3-12)由此得到的無偏估計(jì) (3-13)是剩余方差（殘差的方差），稱為剩余標(biāo)準(zhǔn)差。（4）對(duì)總平方和進(jìn)行分解，有, (3-14)其中殘差平方和，反映隨機(jī)誤差對(duì)的影響，稱為回歸平方和，反映自變量對(duì)的影響。上面的分解中利用了正規(guī)方程組?；貧w模型的檢驗(yàn)，因變量與自變量之間是否存在線性關(guān)系是需要檢驗(yàn)的，顯然，如果所有的都很小，與的線性關(guān)系就不明顯，所以可令原假設(shè)為當(dāng)成立時(shí)由分解式(34)定義的滿足 (3-15)在顯著性水平下有上分位數(shù)，若,接受；否則，拒接。注意 接受只能說明與自變量的線性關(guān)系不明顯，可能存在非線性關(guān)系，如平方關(guān)系。還有一些衡量與自變量相關(guān)程度的指標(biāo)，如用回歸平方和在總平方中的比值定義復(fù)判定系數(shù) (3-16)稱為復(fù)相關(guān)系數(shù)，越大，與自變量相關(guān)關(guān)系越密切，通常，大于0.8（或大于0.9）才認(rèn)為相關(guān)關(guān)系成立?；貧w系數(shù)的假設(shè)檢驗(yàn)和區(qū)間估計(jì)當(dāng)上面的被拒絕時(shí)，不全為零，但是不排除其中若干個(gè)等于零。所以應(yīng)進(jìn)行一步作如下個(gè)檢驗(yàn)：,是中的第元素，用代替，由（3-11）-（3-13）式,當(dāng)成立時(shí) (3-17)對(duì)給定的，若，接受；否則，拒絕。（3-17）式也可以用于對(duì)作區(qū)間估計(jì)，在置信水平下，的置信區(qū)間為 (3-18)其中3.利用回歸模型進(jìn)行預(yù)測(cè)當(dāng)回歸模型和系數(shù)通過檢驗(yàn)后，可由給定的預(yù)測(cè)，是隨機(jī)的，顯然其預(yù)測(cè)值（點(diǎn)估計(jì)）為 (3-19)給定可以算出的預(yù)測(cè)區(qū)間（區(qū)間估計(jì)），結(jié)果較復(fù)雜，但當(dāng)較大時(shí)且接近平均值時(shí)，的預(yù)測(cè)區(qū)間可簡(jiǎn)化為 (3-20)其中是標(biāo)準(zhǔn)正態(tài)分布的上分位數(shù)。對(duì)的區(qū)間估計(jì)方法可用于給出已知數(shù)