應(yīng)用線性回歸分析第一章課件

1、教材S.Weisberg著應(yīng)用線性回歸分析，王靜 龍等譯，中國統(tǒng)計出版社。 參考書SANFORD WEISBERG Applied Linear Regression JOHN WILEY & SONS,1985陳希孺， 王松桂 近代回歸分析 安徽教育出版社，1987線性統(tǒng)計模型，王松桂，陳敏，陳立萍，高等教育出版社。Regression Analysis by Example (Fourth Edition). Authors: Samprit Chatterjee and Ali S. Hadi. Published by Wiley Series in Probability a

2、nd Statistics.統(tǒng)計學(xué)， David Freedman,等著，魏宗舒等譯，中國統(tǒng)計出版社，1997回歸分析的一般介紹一、變量間的統(tǒng)計關(guān)系 在客觀世界中普遍存在著變量間的關(guān)系。變量間的關(guān)系一般來說可分為兩大類型：一類是變量間有確定性關(guān)系，它們之間的關(guān)系可以用函數(shù)關(guān)系來表達。另一類是變量之間有非確定性關(guān)系，且有統(tǒng)計規(guī)律。 在實際問題中，變量間存在大量非確定關(guān)系，它們之間雖存在密切，但其密切程度不是由確定關(guān)系能夠刻畫的。 例如：人的血壓與年齡之間也存在著關(guān)系。但相同年齡的人血壓往往不相同。 子女的身高和父母的身高有很強的關(guān)系。一般來說，父母身高越高，孩子身高也高，但是父母身高相同，子女的

3、身高可以不相同。 在這種非確定性關(guān)系中，自變量（如：年齡、父母的身高）取確定值時，因變量的值（如：血壓、子女的身高）是不確定的，但兩者有一定聯(lián)系。這種不完全確定的變量間的關(guān)系稱為統(tǒng)計相關(guān)關(guān)系。統(tǒng)計相關(guān)關(guān)系。 更確切地說，若一個變量X取某一個可能值時，對應(yīng)地隨機變量Y有一個確定的且與有關(guān)的分布（或條件分布）存在，則稱Y與X有統(tǒng)計相關(guān)關(guān)系統(tǒng)計相關(guān)關(guān)系（這里X和Y也可以是向量）。二、回歸模型的一般形式Y(jié): 因變量、響應(yīng)變量或被解釋變量； ：自變量、預(yù)報變量或解釋變量。統(tǒng)計模型： ，其中， 稱為隨機誤差；回歸函數(shù)：12,px xx12( ,)pyf x xx12( ,)pf x xx線性回歸模型： 回

4、歸常數(shù)： ；回歸系數(shù)： 。01 122ppyxxx0012,p 設(shè)樣本觀察值為 ，則線性回歸模型可表示為 參數(shù)估計：經(jīng)驗回歸方程： ；Y的預(yù)測值：01122,1,2, .iiipipiyxxxin12(,;),1,2,iiipixxxyin01,;p01 1ppyxx y三、回歸模型的基本假設(shè)（1）自變量是非隨機變量，觀察值 是常數(shù)；（2）高斯-馬爾科夫（Gauss-Markov)條件：非線性回歸模型（3）正態(tài)分布的假定條件為12,iiipxxx2()0,1, 2,0,(,),iijEinijC ovij2(0 ,)iidiN 回歸分析目前是所有統(tǒng)計分支中應(yīng)用最廣泛的一門學(xué)科，它被用于幾乎所有

5、的研究領(lǐng)域及工農(nóng)業(yè)生產(chǎn)，包括產(chǎn)品的統(tǒng)計質(zhì)量管理，市場預(yù)測，自動控制中數(shù)學(xué)模型的建立、氣象預(yù)報、地質(zhì)勘探、醫(yī)學(xué)衛(wèi)生等等?；貧w分析研究的范圍大致如下：四、回歸分析研究內(nèi)容一 元 線 性 回 歸線 性 回 歸多 元 線 性 回 歸多 因 變 量 多 元 線 性 回 歸如 何 從 數(shù) 據(jù) 推 斷 模 型 假 設(shè) 的 合 理 性當(dāng) 基 本 假 定 不 成 立 時 如 何 對 數(shù) 據(jù) 進 行 修 正回 歸 診 斷判 定 回 歸 方 程 的 擬 合 效 果選 擇 回 歸 函 數(shù) 的 形 式自 變 量 選 擇 的 準(zhǔn) 則回 歸 變 量 的 選 擇逐 步 回 歸 分 析 法回 歸 分 析嶺 回 歸參 數(shù) 估 計

6、 的 改 進主 成 分 回 歸偏 最 小 二 乘 法一 元 非 線 性 回 歸非 線 性 回 歸分 段 回 歸多 元 非 線 性 回 歸自 變 量 含 定 型 變 量 的 情 況含 有 定 性 變 量 的 回 歸因 變量 是 定 性 變 量 的 情 況 在回歸分析中，當(dāng)自變量給定x的值時，y的值不能確定，只能通過一定的概率分布來描述。 用F(y|x)表示當(dāng)X=x時，所對應(yīng)的Y的分布函數(shù)。若Y的數(shù)學(xué)期望E(Y|x)存在，則它的值隨x取值而定，是x的函數(shù)，記為 f(x).稱f(x)=E(y|x)為y關(guān)于x的均值回歸函數(shù)。五、回歸方程與回歸名稱的由來 回歸分析的方法以至“回歸”這個名稱的起源，統(tǒng)計史

7、上一般歸功于英國生物學(xué)家兼統(tǒng)計學(xué)家F.Galton（18221911）。Galton是一個英國紳士科學(xué)家之一。他是一個上層英格蘭人，在劍橋?qū)W醫(yī)。他在開始遺傳學(xué)研究之前，他探索了非洲大陸。在1859年出版的巨著物種的起源的Ohnrles Dorwin是他的侄子。六、建立實際回歸模型的過程1.具體實際問題2.設(shè)置指標(biāo)變量3.收集整理數(shù)據(jù)4.構(gòu)造理論模型5.估計模型參數(shù)6.模型檢驗7.模型應(yīng)用：因素分析、變量控制、決策與預(yù)測修改1.在回歸分析的應(yīng)用中，定性分析和定量分析相結(jié)合。 回歸方程在一定程度上揭示了兩個相關(guān)變量x和y之間的規(guī)律。 但仔細(xì)研究回歸直線計算公式時就會發(fā)現(xiàn)，在計算過程中，并不需要事先

8、假定兩個變量之間一定要具有線性相關(guān)關(guān)系。這就是說，就方法本身而言，即使是對平面上一堆雜亂無章的點，也可以用最小二乘法給它們配一條直線來近似表示x和y之間的關(guān)系。如果x和y之間根本不存在線性相關(guān)關(guān)系，這樣求出的回歸方程其實是沒有意義的。通常情況下，希望因變量與自變量有因果關(guān)系。 2.自變量選擇原則：少而精。自變量太多，會出現(xiàn)共線性和隨機誤差增大，影響計算精度；漏掉主要變量肯定會影響模型效果。3.數(shù)據(jù)收集：時間序列數(shù)據(jù)、橫截面數(shù)據(jù)、面板數(shù)據(jù)。如何掉調(diào)整統(tǒng)一統(tǒng)計口徑，如何折算、差分、取對數(shù)、標(biāo)準(zhǔn)化、補缺、處理異常值、處理異方差數(shù)據(jù)。4.模型的檢驗：放在實踐中去檢驗；統(tǒng)計檢驗包含模型檢驗與回歸系數(shù)的檢

9、驗。5.回歸模型的應(yīng)用：下結(jié)論。好的模型可用來進行分析、控制和預(yù)測。6.回歸分析，隨著自變量的增加，計算會變得相當(dāng)復(fù)雜，所以在計算機出現(xiàn)以前，它的應(yīng)用受到了一定的限制。隨著計算機的不斷發(fā)展，速度成倍增加，回歸分析的復(fù)雜的計算問題已經(jīng)基本解決。目前世界上有許多能進行回歸分析的統(tǒng)計軟件：如SAS、SPSS、S-PLUS、R等等。有關(guān)理論模型數(shù)據(jù)統(tǒng)計技術(shù)有關(guān)假定參數(shù)估計置信域檢驗統(tǒng)計量圖形表示輸入輸出計算回歸診斷、檢驗、模型選擇思考題1.通過閱讀文獻回答：（1）什么是SD線？（2）回歸線與SD線的區(qū)別？（3）舉例說明回歸謬誤。2.回歸分析與相關(guān)分析的區(qū)別于聯(lián)系是什么？3.回歸模型中隨機誤差項的意義是

10、什么？4.線性回歸模型的基本假設(shè)是什么？第一章簡單線性回歸1.1一元線性回歸模型一元線性回歸模型回歸分析由許多步驟組成。如：數(shù)據(jù)的收集、模型的確定、模型的修正等等。我們這里主要在理論上研究回歸模型，包括參數(shù)的估計，模型的檢驗等等。 例1.1 Forbes 數(shù)據(jù)為了研究水的沸點和氣壓之間的關(guān)系，測得17個地方的數(shù)據(jù)如下表：編號沸點氣壓Log(氣壓）100log（氣壓）1194.520.971.3179131.792194.320.791.3179131.793197.922.401.3502135.024198.422.671.3555135.555199.423.151.3646136.466

11、199.923.351.3683136.837200.923.891.3782137.828201.123.991.3800138.009201.424.021.3806138.0610201.324.011.3805138.0511203.625.141.4004140.0412204.626.571.4244142.4413209.528.491.4547145.4714208.627.761.4434144.3415210.729.041.4630146.3016211.929.881.4754147.5417212.230.061.4780147.80 | | | A144 + | |

12、 | | | A142 + | | | | |140 + A | | | | |138 + AB | A | | | A | A136 + | A | | A | |134 + | | | | |132 + | AA | | | |130 + | -+-+-+-+-+-+-+-+-+-+-+- 194 196 198 200 202 204 206 208 210 212 2140.050.100.150.20X40455055Y1.2 參數(shù)的最小二乘估計參數(shù)的最小二乘估計1.3 估計估計22=1=122=( - )2nniiiiiSSEey ySSEn記模型的殘差平方和為則的估計為2計算22

13、2122()-=-(475.29570589)=427.76281177-530.78235294=2.153322.15332 =0.1435517-2xyyyyyxxxxlSSEllll1.4 最小二乘估計的性質(zhì)最小二乘估計的性質(zhì)1.5 回歸方程的顯著性檢驗回歸方程的顯著性檢驗2.SSESSE與SSR的獨立性（即和 是相互獨立）。1.6 測定系數(shù)，2R222221=1=.xyxxxyyyxx yySSRSSERSSTSSTllRrll l 1.7 回歸系數(shù)的區(qū)間估計 1.8 預(yù)測與殘差擬合值的估計：0010001021020=+ y =+(- )1sefit(y )=(+)xxEyxxx xnl0在給定x 的值，均值的估計為其標(biāo)準(zhǔn)誤為殘差i= - , =1,iiiiey y iney殘差提供了關(guān)于誤差項的假設(shè)及模型合適度的信息。任何完整的數(shù)據(jù)分析都要求考察殘差。