應(yīng)用回歸課程綜述

應(yīng)用回歸分析課程綜述材料回歸分析的基本思想和方法及“回歸”名稱的由來歸功于英國(guó)統(tǒng)計(jì)學(xué)家F.Galton。目前回歸分析已是統(tǒng)計(jì)學(xué)中一個(gè)非常重要的分支，在自然科學(xué)、管理科學(xué)和社會(huì)經(jīng)濟(jì)，生物科技，軍事國(guó)防等領(lǐng)域均有著非常廣泛的應(yīng)用。本學(xué)期學(xué)習(xí)由何曉群，劉文卿兩位學(xué)者編著的《應(yīng)用回歸分析》第三版，此書共有十章內(nèi)容。第一章到第十章由淺入深，循序漸進(jìn)地講述了回歸分析的建模過程。本書概括起來可分為五大部分，分別為：回歸分析概述、線性回歸、回歸診斷及方法改進(jìn)、非線性回歸以及含定性變量的回歸。下面將一次從這五個(gè)部分對(duì)本課程進(jìn)行綜述。應(yīng)用回歸分析是統(tǒng)計(jì)學(xué)中的一個(gè)非常重要的分支，通過建立統(tǒng)計(jì)模型可以研究變量間相互關(guān)系的密切程度!結(jié)構(gòu)狀態(tài)以及模型預(yù)測(cè)”因此，應(yīng)用回歸分析在自然科學(xué)!管理科學(xué)和社會(huì)經(jīng)濟(jì)等領(lǐng)域應(yīng)用十分廣泛”目前國(guó)內(nèi)高校統(tǒng)計(jì)專業(yè)使用的回歸分析教材大致分兩類:一類面向數(shù)學(xué)系純數(shù)理類統(tǒng)計(jì)專業(yè)，這類教材結(jié)構(gòu)嚴(yán)謹(jǐn)，注重闡述回歸分析的理論和數(shù)學(xué)公式的推導(dǎo)。一類面向經(jīng)濟(jì)類統(tǒng)計(jì)專業(yè)，其內(nèi)容系統(tǒng)實(shí)用，注重對(duì)統(tǒng)計(jì)思想的分析和討論，我們目前使用的教材屬于后一類，是由何曉群、劉文卿主編的普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材。該教材的重點(diǎn)是結(jié)合SPSS軟件講述回歸分析中的各種方法，比較各種方法的適用條件，并正確解釋分析結(jié)果，僅對(duì)一些基本的公式和定理給出了推導(dǎo)和證明。本文主要介紹應(yīng)用回歸分析課程的目的、學(xué)習(xí)的主要內(nèi)容、該課程在實(shí)踐中的應(yīng)用以及學(xué)習(xí)該課程之后的心得體會(huì)，以求對(duì)應(yīng)用回歸分析有更深一步的理解和掌握。寫作的指導(dǎo)思想是在不失嚴(yán)謹(jǐn)?shù)那疤嵯?，明顯不同于純數(shù)理類教材，努力突出實(shí)際案例的應(yīng)用和統(tǒng)計(jì)思想的滲透，結(jié)合統(tǒng)計(jì)軟件全面系統(tǒng)地介紹回歸分析的實(shí)用方法，盡量結(jié)合中國(guó)社會(huì)經(jīng)濟(jì)、自然科學(xué)等領(lǐng)域的研究實(shí)例，把回歸分析的方法與實(shí)際應(yīng)用結(jié)合起來，注意定性分析與定量分析的緊密結(jié)合，努力把同行以及我們?cè)趯?shí)踐中應(yīng)用回歸分析的經(jīng)驗(yàn)和體會(huì)融入其中?；貧w分析是統(tǒng)計(jì)學(xué)中的一個(gè)非常重要的分支。它在自然科學(xué)、管理科學(xué)和社會(huì)、經(jīng)濟(jì)等領(lǐng)域應(yīng)用十分廣泛?；貧w分析是以概率論與數(shù)理統(tǒng)計(jì)為基礎(chǔ)，主要對(duì)隨機(jī)現(xiàn)象統(tǒng)計(jì)資料進(jìn)行分析和推斷。通過本課程的教學(xué)，使學(xué)生掌握應(yīng)用統(tǒng)計(jì)的一些基本理論與方法，初步掌握利用回歸分析解決實(shí)際問題的能力。教學(xué)要求回歸分析研究具有相關(guān)關(guān)系的變量間的統(tǒng)計(jì)規(guī)律性，通過對(duì)本課程的系統(tǒng)學(xué)習(xí)，讓學(xué)生獲得回歸分析的基本知識(shí)，掌握基本應(yīng)用技能。要求學(xué)生掌握用經(jīng)典的線性回歸分析建模的方法，掌握回歸診斷的方法，并利用相關(guān)知識(shí)和方法解決現(xiàn)實(shí)中的實(shí)際問題。一、回歸分析概述變量間的統(tǒng)計(jì)關(guān)系要認(rèn)識(shí)和掌握客觀經(jīng)濟(jì)規(guī)律就必須探求經(jīng)濟(jì)想象間的經(jīng)濟(jì)變量之間的變化規(guī)律，變量間的統(tǒng)計(jì)關(guān)系是經(jīng)濟(jì)變量變化規(guī)律的重要特征。變量間的統(tǒng)計(jì)關(guān)系分為兩種：函數(shù)關(guān)系和相關(guān)關(guān)系（統(tǒng)計(jì)關(guān)系）。函數(shù)關(guān)系是一種極端的情況，即一個(gè)變量能完全決定另一個(gè)變量的變化，相關(guān)關(guān)系則不能完全決定。由此對(duì)兩種關(guān)系的研究已形成兩個(gè)重要的分支，叫做回歸分析和相關(guān)分析。兩種分析的方法，側(cè)重點(diǎn)不同，但又相互依存。回歸模型的建立過程修改模型應(yīng)用經(jīng)濟(jì)因素分析 I 經(jīng)濟(jì)變量控制 I 經(jīng)濟(jì)預(yù)測(cè)決策1）設(shè)置指標(biāo)變量回歸模型的一般形式如果變量七，氣，…,x與隨機(jī)變量y之間存在相關(guān)關(guān)系，則隨機(jī)變量 y與相關(guān)變量x,X,...,X之間的概率模型為TOC\o"1-5"\h\z1 2\o"CurrentDocument"y=f（x,x,...,x）+8 （1）重要知識(shí)點(diǎn)：古典線性回歸模型的基本假設(shè)1）解釋變量x，x，…，x是非隨機(jī)變量，觀測(cè)值x，x，…，x是常數(shù)。1 2 p i1i2 ip2） 等方差及不相關(guān)假定條件3） 正態(tài)分布的假定條件4） 通常為了便于數(shù)學(xué)上的處理，還要求n>P，即樣本量的個(gè)數(shù)要多于解釋變量的個(gè)數(shù)?；貧w分析應(yīng)用與發(fā)展迄今為止，回歸分析已有200年的歷史且應(yīng)用領(lǐng)域十分廣泛。在發(fā)展過程中，矩陣?yán)碚摵陀?jì)算機(jī)技術(shù)的發(fā)展為回歸分析的應(yīng)用提供了極大的方便;很多統(tǒng)計(jì)學(xué)方法也豐富回歸分析的理論和方法研究。如：時(shí)間序列分析、判別分析、主成分分析、因子分析、典型相關(guān)分析。目前自變量的選擇、穩(wěn)健回歸、回歸診斷、投影尋蹤、分位回歸、非參數(shù)回歸等。仍是統(tǒng)計(jì)學(xué)家研究的熱點(diǎn)話題。近年來新的研究方法也在不斷出現(xiàn)，如非參數(shù)統(tǒng)計(jì)、自助法、刀切法、經(jīng)驗(yàn)貝葉斯估計(jì)等方法都對(duì)回歸分析起著滲透和促進(jìn)的作用。二、線性回歸線性回歸中主要描述了一元線性回歸模型和多元線性回歸模型及其相關(guān)知識(shí)。一元線性回歸（1） 一元線性理論回歸模型即僅考慮兩個(gè)變量之間的關(guān)系，描述工與y之間的線性關(guān)系的數(shù)學(xué)形式為TOC\o"1-5"\h\zy=p+px+s （2）0 1則式（2）即為變量y對(duì)x的一元線性理論回歸模型。一般稱x為解釋變量（自變量），y為被解釋變量（因變量），p,p是未知參數(shù)，p為回歸常數(shù)，p為回歸系數(shù)，0 1 0 1s表示其他隨機(jī)因素的影響，通常滿足古典假定中零期望等方差的條件。（2） 回歸方程E（y|x）=p0+p1x （3）對(duì)式（2）兩邊同時(shí)求條件期望，可得式（3）。（3） 參數(shù)估計(jì)本書中參數(shù)估計(jì)的方法主要介紹普通最小二乘估計(jì)和極大似然估計(jì)。此外，參數(shù)估計(jì)的方法還有矩估計(jì)等經(jīng)典估計(jì)方法。1） 普通最小二乘估計(jì)2） 極大似然估計(jì)（4） 最小二乘估計(jì)的性質(zhì)1） 線性性性質(zhì)2） 無偏性3） 方差有效性（5） 回歸方程的統(tǒng)計(jì)學(xué)檢驗(yàn)參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)），回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)），相關(guān)系數(shù)的顯著性檢驗(yàn)，擬合優(yōu)度的檢驗(yàn)（R2）（6） 殘差分析1） 殘差圖識(shí)別2） 殘差的三個(gè)性質(zhì)（7） 預(yù)測(cè)和控制（8） 本章評(píng)注多元線性回歸分析（1）多元線性回歸的一般形式（2） 多元線性回歸模型的基本假定（3） 回歸參數(shù)的估計(jì)（4） 參數(shù)估計(jì)量的性質(zhì)（5） 回歸方程的統(tǒng)計(jì)學(xué)檢驗(yàn)（6） 中心化和標(biāo)準(zhǔn)化（7） 相關(guān)陣和偏回歸系數(shù)樣本相關(guān)陣即為樣本觀測(cè)值之間的簡(jiǎn)單相關(guān)系數(shù)矩陣。偏決定系數(shù)：偏決定系數(shù)測(cè)量在回歸方程中已包含若干個(gè)變量時(shí)，再引入某一個(gè)新的變量時(shí)，y的剩余殘差的相對(duì)減少量，它衡量的是自變量對(duì)y的變差減少的邊際貢獻(xiàn)。偏相關(guān)系數(shù)：在多元線性回歸分析中，當(dāng)其他變量被固定后，給定的任兩個(gè)變量之間的相關(guān)系數(shù)叫做偏相關(guān)系數(shù)。偏決定系數(shù)的平方根稱為偏相關(guān)系數(shù)。（8） 本章評(píng)注三、回歸診斷異方差性（1） 背景原因（2） 產(chǎn)生后果（3） 檢驗(yàn)方法（4） 消除異方差性的方法自相關(guān)性（1） 背景原因（2） 產(chǎn)生后果（3） 檢驗(yàn)方法（4） 消除自相關(guān)性性的方法多重共線性（1） 背景原因（2） 產(chǎn)生后果（3） 檢驗(yàn)方法（4） 消除多重共線性的方法1） 提出一些不重要的解釋變量2） 增大樣本容量3） 逐步回歸法4） 嶺回歸法5） 主成分回歸法6） 偏最小二乘法4.自變量的選擇（1） 全模型和選模型（2） 自變量選