第五章回歸分析

第五章回歸分析回歸分析一元線性回歸

在現(xiàn)實問題中處于同一個過程中的一些變量往往是相互依賴和相互制約的，它們之間的相互關(guān)系大致可分為兩種：(1)確定性關(guān)系--函數(shù)關(guān)系

(2)非確定性關(guān)系--相關(guān)關(guān)系：變量之間有一定的依賴關(guān)系，但這種關(guān)系并不完全確定。可控變量：可以在某范圍內(nèi)隨意地取指定數(shù)值-自變量不可控變量:可以觀測但不可控制(隨機變量)--因變量回歸分析：研究一個隨機變量與一個（或幾個）可控變量之間相關(guān)關(guān)系地統(tǒng)計方法。

只有一個自變量的回歸分析叫做一元回歸分析；多于一個自變量的回歸分析叫做多元回歸分析。

回歸分析主要內(nèi)容:提供建立有相關(guān)關(guān)系的變量之間的數(shù)學(xué)關(guān)系式(經(jīng)驗公式)的一般方法;(2)判別所建立的經(jīng)驗公式是否有效;(3)利用所得到的經(jīng)驗公式進行預(yù)測和控制.5.1一元線性回歸(一)一元線性回歸模型

設(shè)與有相關(guān)關(guān)系,當(dāng)自變量時,因變量并不取固定的值與其對應(yīng).如果要用函數(shù)關(guān)系近似與的相關(guān)關(guān)系,很自然想到,應(yīng)該以作為與相對應(yīng)的數(shù)值.（5－1）其中為常數(shù)，則稱與之間存在線性相關(guān)關(guān)系，稱（5－1）為一元正態(tài)線性回歸模型，簡稱一元線性模型，其回歸函數(shù)記為稱為對的線性回歸，稱為回歸常數(shù)，稱為回歸系數(shù)。

由（5－1）得，可知取不同數(shù)值時，便得到不同的正態(tài)變量。其中為未知的常數(shù)。由獨立知道也相互獨立，且稱為獨立樣本的一個（或一組）樣本觀測值，其中為取固定值時，對進行一次試驗所得到的觀測值。利用獨立樣本及其樣本值可得的估計量及估計值和從而得到回歸函數(shù)的估計稱為對的經(jīng)驗回歸方程或經(jīng)驗公式。把樣本值作為平面直角坐標(biāo)系的個點描出來，構(gòu)成實驗的散點圖。根據(jù)散點圖，適當(dāng)?shù)剡x擇一個函數(shù)使得在一定意義下最好地吻合于觀測結(jié)果常用的是最小二乘法，即.......二、未知參數(shù)的估計1.正規(guī)方程組、回歸系數(shù)的點估計根據(jù)最小二乘法求線性回歸函數(shù)的估計就是求使得取得最小值的即根據(jù)微分學(xué)中的二元函數(shù)極值的充分條件,將分別對求一階偏導(dǎo)數(shù)并令其為零經(jīng)過整理后得到線性方程組其中正規(guī)方程組解此方程組即得使取得最小值的分別稱為的最小二乘估計值.于是,得到對的經(jīng)驗回歸方程注:用最小二乘法得到的經(jīng)驗回歸直線通過已知個數(shù)據(jù)點的幾何重心把估計值中的分別用來代替,就得到了參數(shù)的估計量.為了方便,我們引進幾個常用的記號則參數(shù)估計量回歸方程定理1:

在一元線性回歸模型中,

和相互獨立.證明:即與不相關(guān).但與都是獨立正態(tài)變量的線性組合,因此,與的聯(lián)合分布為正態(tài)分布.對于正態(tài)隨機向量來說不相關(guān)和相互獨立是等價的.證畢定理2:

在一元線性回歸模型中,的最小二乘估計量的數(shù)學(xué)期望和方差為證明:證畢.由定理2可看出,當(dāng)時,取最小值;與成反比.所以,為了提高和的估計精度,最好選擇使,并且應(yīng)比較分散.注:

的最小二乘估計量與極大似然估計量相等.2.參數(shù)的點估計當(dāng)?shù)臉O大似然估計量已得到后,的估計量可由似然方程可得的極大似然估計量為記即是的極大似然估計量.定理3:

在一元線性模型中證明:而又于是有證畢.由定理3可得是的無偏估計.3.估計量和的分布定理4:在一元線性模型中(1)(2)(3)(4)(5)相互獨立.4.未知參數(shù)和的區(qū)間估計定理5.

在一元線性模型中證明:由定理4,得由定理4的(5)可知,分別相互獨立,再由t分布的定義,即得證畢由定理5及t分布的分位數(shù),得即得的置信區(qū)間為類似,的置信區(qū)間為由易得的置信區(qū)間為三、線性回歸效果的顯著性檢驗

我們在求Y對x的線性回歸之前，必須判斷Y與x的關(guān)系是否滿足一元線性回歸模型。理論上講，這要求檢驗（1）對x取任一固定值時，Y都服從正態(tài)分布，而且方差相同；（2）x在某一范圍取值時，EY是x的線性函數(shù)；（3）在x取各個不同值時，相應(yīng)的Y是相互獨立的。但要檢驗這三條不僅需要大量的試驗，還要進行大量的計算，實際上很難辦到。（1）x對Y沒有顯著影響，應(yīng)丟掉自變量x；（2）x對Y有顯著影響，但不能用線性相關(guān)關(guān)系來表示；（3）除x外還有其它不可忽略的變量對Y也有顯著影響，從而削弱了x對Y的影響，應(yīng)考慮多元線性回歸。1.F檢驗法考慮令計算后可得一元線性模型中的平方和分解公式：總偏差平方和回歸平方和殘差平方和總偏差（離差）平方和回歸平方和因為剩余平方和（或殘差平方和）平方和分解公式：（1）由于x對Y的線性相關(guān)關(guān)系而引起的Y的分散性。（2）剩余因素引起的Y的分散性。定理6：證明：對于檢驗證畢2.t檢驗法由定理5知3.r檢驗法為了檢驗Y與x是否有線性相關(guān)性，也可用統(tǒng)計量相關(guān)系數(shù)進行檢驗兩邊平方得于是得到即這說明Y與x之間不存在線性相關(guān)關(guān)系。(2