多元線性回歸模型的參數(shù)估計(jì)

多元線性回歸模型的參數(shù)估計(jì)1/29/2023第一頁(yè)，共三十頁(yè)，2022年，8月28日相關(guān)分析：提供了現(xiàn)象之間相關(guān)關(guān)系的方向和相關(guān)的密切程度方面的信息，但不提供現(xiàn)象之間如何關(guān)聯(lián)方面的信息回歸分析：提供現(xiàn)象之間如何關(guān)聯(lián)的信息

原則上：回歸分析是在相關(guān)分析的基礎(chǔ)上進(jìn)行的

一、回歸分析與相關(guān)分析1/29/2023第二頁(yè)，共三十頁(yè)，2022年，8月28日19世紀(jì)末，英國(guó)著名統(tǒng)計(jì)學(xué)家FrancisGalton研究孩子及他們父母的身高時(shí)發(fā)現(xiàn)，身材高的父母，他們的孩子也高，但這些孩子平均起來(lái)并不像他們的父母那樣高；對(duì)于比較矮的父母，他們的孩子比較矮，但這些孩子的平均身高要比他們的父母的平均身高高。Galton把這種孩子的身高向中間值靠近的趨勢(shì)稱之為一種回歸效應(yīng)?；貧w這個(gè)術(shù)語(yǔ)便開始傳播開來(lái)。現(xiàn)在的回歸分析已經(jīng)沒(méi)有原來(lái)的含義，但這種說(shuō)法一直沿襲下來(lái)，重在表明這是研究數(shù)值變量之間關(guān)系的方法。回歸的來(lái)歷：1/29/2023第三頁(yè)，共三十頁(yè)，2022年，8月28日“因變量”或“被解釋變量”（dependentvariable）“解釋變量”或“自變量”（independentvariables）隨機(jī)變量回歸的方法：建立回歸模型用一個(gè)恰當(dāng)?shù)拇鷶?shù)式來(lái)表達(dá)變量

與隨機(jī)變量

的依存關(guān)系：

1/29/2023第四頁(yè)，共三十頁(yè)，2022年，8月28日一個(gè)自變量?jī)蓚€(gè)及兩個(gè)以上自變量回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸回歸模型的類型：1/29/2023第五頁(yè)，共三十頁(yè)，2022年，8月28日二、多元線性回歸模型解釋變量xi

是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)，即無(wú)多重共線性。隨機(jī)誤差項(xiàng)具有0均值和同方差1.模型的假設(shè)特殊的：隨機(jī)誤差項(xiàng)服從0均值、同方差的正態(tài)分布1/29/2023第六頁(yè)，共三十頁(yè)，2022年，8月28日2.多元模型的解析表達(dá)式行坐標(biāo)——表示第幾次觀察列坐標(biāo)——表示第幾個(gè)自變量解釋變量xi

是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)，即無(wú)多重共線性。1/29/2023第七頁(yè)，共三十頁(yè)，2022年，8月28日線性回歸模型”中的“線性”一詞在這里有兩重含義：一是被解釋變量y與解釋變量x之間為線性關(guān)系，即解釋變量x僅以一次方的形式出現(xiàn)在模型之中。用數(shù)學(xué)語(yǔ)言表示為：二是被解釋變量y與參數(shù)之間為線性關(guān)系，即參數(shù)僅以一次方的形式出現(xiàn)在模型之中。用數(shù)學(xué)語(yǔ)言表示為：1/29/2023第八頁(yè)，共三十頁(yè)，2022年，8月28日3.多元模型的矩陣表達(dá)式1/29/2023第九頁(yè)，共三十頁(yè)，2022年，8月28日三.多元線性回歸模型的參數(shù)估計(jì)(OLS)參數(shù)值估計(jì)參數(shù)估計(jì)量的性質(zhì)偏回歸系數(shù)的含義正規(guī)方程樣本容量問(wèn)題1/29/2023第十頁(yè)，共三十頁(yè)，2022年，8月28日1.參數(shù)值估計(jì)(最小二乘估計(jì)----OLS)1.剩余平方和：2.最小二乘估計(jì)原理：剩余平方和達(dá)到最小值1/29/2023第十一頁(yè)，共三十頁(yè)，2022年，8月28日3.得到下列方程組求參數(shù)估計(jì)值的實(shí)質(zhì)是求一個(gè)k+1元方程組1/29/2023第十二頁(yè)，共三十頁(yè)，2022年，8月28日4.剩余平方和表示成矩陣形式1/29/2023第十三頁(yè)，共三十頁(yè)，2022年，8月28日7.最小二乘估計(jì)量的性質(zhì)（1）線性（估計(jì)量都是被解釋變量觀測(cè)值的線性組合）1/29/2023第十四頁(yè)，共三十頁(yè)，2022年，8月28日（2）無(wú)偏性（估計(jì)量的數(shù)學(xué)期望=被估計(jì)的真值）1/29/2023第十五頁(yè)，共三十頁(yè)，2022年，8月28日（3）有效性（估計(jì)量的方差是所有線性無(wú)偏估計(jì)中最小的）1/29/2023第十六頁(yè)，共三十頁(yè)，2022年，8月28日這一性質(zhì)表明系數(shù)向量的各個(gè)分量間一般也是相關(guān)的．1/29/2023第十七頁(yè)，共三十頁(yè)，2022年，8月28日這一性質(zhì)表明殘差向量的各個(gè)分量間一般也是相關(guān)的．1/29/2023第十八頁(yè)，共三十頁(yè)，2022年，8月28日注解：k與k+1凡是按解釋變量的個(gè)數(shù)為k的，那么共有k+1個(gè)參數(shù)要估計(jì)。而按參數(shù)個(gè)數(shù)為k的，則實(shí)際有k-1個(gè)解釋變量。總之兩者相差1而已！要小心所用的k是什么意思！所以如果本來(lái)是用解釋變量個(gè)數(shù)的k表示的要轉(zhuǎn)換成參數(shù)個(gè)數(shù)的k則用k-1代換原來(lái)的k就可以了！1/29/2023第十九頁(yè)，共三十頁(yè)，2022年，8月28日6.偏回歸系數(shù)的意義偏回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個(gè)單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動(dòng)多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)1/29/2023第二十頁(yè)，共三十頁(yè)，2022年，8月28日7.正規(guī)方程由最小二乘法得到的用以估計(jì)回歸系數(shù)的線性方程組，稱為正規(guī)方程1/29/2023第二十一頁(yè)，共三十頁(yè)，2022年，8月28日正規(guī)方程的結(jié)構(gòu)Y——被解釋變量觀測(cè)值nx1X——解釋變量觀測(cè)值（含虛擬變量nx(k+1)）X`X——設(shè)計(jì)矩陣（實(shí)對(duì)稱(k+1)x(k+1)矩陣）X`Y——正規(guī)方程右端（k+1)x11/29/2023第二十二頁(yè)，共三十頁(yè)，2022年，8月28日8.最小二乘估計(jì)（OLS）下回歸線的性質(zhì)1/29/2023第二十三頁(yè)，共三十頁(yè)，2022年，8月28日1/29/2023第二十四頁(yè)，共三十頁(yè)，2022年，8月28日9.多元回歸模型參數(shù)估計(jì)中的樣本容量問(wèn)題樣本是一個(gè)重要的實(shí)際問(wèn)題，模型依賴于實(shí)際樣本。獲取樣本需要成本，企圖通過(guò)樣本容量的確定減輕收集數(shù)據(jù)的困難。最小樣本容量：滿足基本要求的樣本容量1/29/2023第二十五頁(yè)，共三十頁(yè)，2022年，8月28日最小樣本容量n≥k+11/29/2023第二十六頁(yè)，共三十頁(yè)，2022年，8月28日滿足基本要求的樣本容量一般經(jīng)驗(yàn)認(rèn)為：n≥30或者n≥3(k+1)才能滿足模型估計(jì)的基本要求。n≥3(k+1)時(shí)，t分布