《回歸分析》 課件 第1章 緒論

緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注回歸分析之緒論應(yīng)用回歸分析李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院

1/47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注統(tǒng)計學(xué)與回歸分析圖

1:統(tǒng)計學(xué)研究思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院2

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注目錄緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院3

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院4

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起“回歸”的概念最早出現(xiàn)在生物遺傳學(xué)領(lǐng)域，其中作出巨大貢獻的兩位學(xué)者就是達爾文（Darwin）和他的表弟高爾頓（Galton）。

1859年，達爾文發(fā)表了《OntheOriginofSpecies》（《物種起源》）一書，開創(chuàng)了生物學(xué)發(fā)展史上的新紀元，引起了整個人類思想的巨大革命。圖

2:Darwin(1809-1882)（左）

Galton(1822-1911)（右）李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院5

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起在自然選擇理論思想的引導(dǎo)下，達爾文的表弟高爾頓（Galton）先后完成了兔子模型、甜豌豆模型等論證實驗，試圖對人類遺傳規(guī)律進行研究。圖

3:甜豌豆模型實驗（左）兔子模型實驗（右）李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院6

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起1885

年,通過允諾保密并提供獎金的方式,高爾頓獲得了205

對夫婦及其928位成年子女的遺傳特征數(shù)據(jù)，包括身高、眼睛顏色、脾氣、藝術(shù)才能、疾病等。其中身高數(shù)據(jù)見下表：圖

4:高爾頓實驗數(shù)據(jù)李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院7

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院8

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院9

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注發(fā)展圖

5:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院10

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系發(fā)展：最小二乘法的提出回歸分析中經(jīng)典的最小二乘法最早出現(xiàn)于天文學(xué)與地理測量學(xué)領(lǐng)域的研究。1801年，意大利天文學(xué)家皮亞齊（Piazzi）發(fā)現(xiàn)了第一顆小 行星谷神星，經(jīng)過40天的跟蹤觀測后，由于谷神星運行至太 陽背后，使得皮亞齊失去了谷神星的位置。為利用皮亞齊的觀測數(shù)據(jù)尋找谷神星的運行軌道，1805年勒 讓德（Legendre）在一本關(guān)于計算彗星軌道的書籍中首次發(fā) 表了最小二乘法清晰和簡明的闡述。1809年，高斯（Gauss）發(fā)表了著作《關(guān)于繞日行星運動的 理論》。書中聲稱他自1799年以來就使用最小二乘方法，并 且其提出的正態(tài)誤差理論也成功地將最小二乘法與概率原理 和正態(tài)分布聯(lián)系起來。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院11

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系小故事：高斯與勒讓德之爭圖

6:高斯與勒讓德之爭最小二乘法的提出，曾在高斯與勒讓德兩位大數(shù)學(xué)家之間引發(fā)了優(yōu)先權(quán)之爭，其知名度僅次于牛頓和萊布尼茲之間關(guān)于微積分發(fā)明的優(yōu)先權(quán)之爭。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院12

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注發(fā)展圖

7:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院13

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系發(fā)展：19世紀-20世紀初19世紀80年代1885年，高爾頓完成了人類遺傳研究實驗,獲得了205

對夫婦及其928

位成年子女的遺傳特征數(shù)據(jù)。借由實驗中的身高數(shù)據(jù)，

高爾頓發(fā)現(xiàn)，

當(dāng)父母身高走向極 端，子女的身高不會象父母身高那樣極端化，其身高要比父 母們的身高更接近平均身高，即有“回歸”到平均數(shù)去的趨 勢，“回歸”的概念由此誕生。20世紀初馬爾可夫（Markov）于1900年證明了在經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的性質(zhì)。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院14

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注發(fā)展圖

8:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院15

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系發(fā)展：20世紀50-70年代20世紀50年代1953年，Box提出“穩(wěn)健”（Robustness）的概念。James和

Stein

發(fā)現(xiàn)，最小二乘估計并不具有不可容許性。20世紀60年代1962年Horel提出了嶺回歸估計；

1965年，Massy提出了主成分回歸估計。在穩(wěn)健概念的基

上，1964年，Huber提出了基于位置參M估 計量，同年提出極小極大理論也為解決參數(shù)估計的效率問題 奠定理論基

。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院16

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系發(fā)展：20世紀50-70年代20世紀70年代1970年，Schweppe

提出加權(quán)最小二乘估計方法，并將該方法應(yīng)用于電力系統(tǒng)的狀態(tài)估計中。1972年，Nelder放寬對因變量隨機誤差的正態(tài)分布要求，提出廣義線性模型；Gallant于1975年提出非線性回歸的概念。1978年，Koenker

和Bassett提出分位回歸模型以研究自變量 與因變量條件分位數(shù)的關(guān)系；

AIC、Cp準則也分別于1971、

1973年問世。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院17

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注發(fā)展圖

9:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院18

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系發(fā)展：20世紀80年代-21世紀初20世紀80年代1983年，Wold提出偏最小二乘法，不但放寬n

>p的假定，也使得每一個系數(shù)估計更易解釋。Baron于1986年提出利用逐步回歸的思想實現(xiàn)對變量的選擇。最小截尾二乘法LTS（Least

Truncated

Square）、最小中位數(shù) 二乘法LMS（LeastMedianSquare）、S估計、MM估計都是這 一時期提出的。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院19

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系發(fā)展：20世紀80年代-21世紀初20世紀90年代Tibshirani于1996年提出了利用Lasso罰函數(shù)實現(xiàn)變量選擇的思想，解決了高維情況下回歸系數(shù)的估計問題。21世紀初Fan于2001年提出的SCAD方法以及2007年Zhang提出的MCP 法均屬于基于罰函數(shù)的變量選擇方法，區(qū)別在于罰函數(shù)形式 不同。Zou于2006年提出的Adaptive

Lasso

法同樣可以用于變量選擇，該方法下得到的估計具有Oracle性質(zhì)。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院20

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院21

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注函數(shù)關(guān)系

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院22

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注函數(shù)關(guān)系圖

10:銷售量（萬件）與銷售額（萬元）函數(shù)關(guān)系圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院23

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注統(tǒng)計關(guān)系統(tǒng)計關(guān)系書籍單價Y

與書籍頁數(shù)X

間的關(guān)系房屋價格Y

與房屋面積X

間的關(guān)系居民消費額Y

與居民收入X

間的關(guān)系李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院24

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注統(tǒng)計關(guān)系?2.50.02.5?440xy圖

11:x與y的相關(guān)關(guān)系李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院25

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系統(tǒng)計關(guān)系與函數(shù)關(guān)系的區(qū)別通過上述示例可以發(fā)現(xiàn)，統(tǒng)計關(guān)系與函數(shù)關(guān)系的區(qū)別在于：函數(shù)關(guān)系是一種確定性的關(guān)系，當(dāng)其中一個變量給定，另一 個變量的取值確定；統(tǒng)計關(guān)系則是一種非確定性的關(guān)系，當(dāng) 一個變量變化時，另一變量的取值有一定的隨機性。從研究方法看，客觀現(xiàn)象的函數(shù)關(guān)系可以用數(shù)學(xué)分析的方法 研究；而研究客觀現(xiàn)象的統(tǒng)計關(guān)系，則必須借助于統(tǒng)計學(xué)中 的相關(guān)與回歸分析方法。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院26

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注統(tǒng)計關(guān)系的刻畫

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院27

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系相關(guān)分析與回歸分析的區(qū)別一是變量的地位不同。在回歸分析中，變量有因變量和自變 量之分，因變量處于被解釋的地位。研究人員希望討論自變 量對因變量的影響。在相關(guān)分析中，變量的地位平等，研究 變量A和變量B的相關(guān)關(guān)系與研究變量B和變量A的相關(guān)關(guān)系 是等價的。二是變量的類型存在差異?；貧w分析中，

因變量為隨機變 量，自變量可以是隨機變量也可以是非隨機變量，而相關(guān)分 析中變量都是隨機變量。三是研究目的不完全相同。相關(guān)分析的研究目的是為了探究 兩類變量間相關(guān)關(guān)系，而回歸分析一方面研究自變量對因變 量的影響并對現(xiàn)象進行解釋，另一方面也可實現(xiàn)預(yù)測與控制 的功能。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院28

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院29

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注研究內(nèi)容線性回歸分析對回歸模型中參數(shù)估計方法的研究對回歸模型檢驗與診斷的研究對回歸模型選擇的研究非線性回歸分析參見文獻Bates

and

Watts(1988)李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院30

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系研究內(nèi)容：估計方法19世紀初，最小二乘法的提出在估計回歸系數(shù)過程中發(fā)揮了重要作用。極大似然估計、加權(quán)最小二乘估計等方法在不同條件下亦可用于回歸模型參數(shù)的估計。為解決在假設(shè)不滿足情況下最小二乘估計量失效的問題，一 些改進的參數(shù)估計方法應(yīng)運而生，比如嶺回歸估計、主成分 回歸估計等。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院31

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系研究內(nèi)容：檢驗與診斷在回歸分析中，對模型進行檢驗與診斷是必要工作之一。估計模型對觀測數(shù)據(jù)的擬合效果是否良好？回歸系數(shù)在總體 中是否與零有顯著差異？這些問題可以通過對參數(shù)進行假設(shè) 檢驗來回答?；貧w模型建立在一些假設(shè)基

上，通過檢驗與診斷判別數(shù)據(jù) 是否滿足基本假設(shè)對估計方法的選擇與數(shù)據(jù)處理具有重要意 義。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院32

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系研究內(nèi)容：模型選擇在實證研究中，研究人員根據(jù)研究目標(biāo)事先確定了因變量與 自變量范圍，并不意味著該模型一定具有合理性。針對同一 個因變量，不同的自變量組合可以建立不同的模型。變量選擇是依據(jù)某種評價準則從眾多備選模型中選擇最優(yōu)結(jié) 果的過程。常用的經(jīng)典模型選擇準則有AIC、BIC、Cp等，還 有一些基于懲罰函數(shù)的新興的模型選擇方法等。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院33

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院34

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注建模思路圖

12:回歸分析建模思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院35

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系建模思路：描述統(tǒng)計例1.2

安斯庫姆（Anscombe）曾于1973年構(gòu)造了四組數(shù)據(jù)，見下表。請讀者分別根據(jù)這四組數(shù)據(jù)建立回歸模型，

并對此進行分析。X1Y1X2Y2X3Y3X4Y444.2643.1045.3986.5855.6854.7455.7385.7667.2466.1366.0887.7174.8277.2676.4488.8486.9588.1486.7788.4798.8198.7797.1187.04108.04109.14107.4685.25118.33119.26117.8185.561210.84129.13128.1587.91137.58138.741312.7486.89149.96148.10148.841912.5李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院36

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系建模思路：描述統(tǒng)計

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院37

/

47研究內(nèi)容建模思路小結(jié)與評注緣起與發(fā)展

變量間的關(guān)系建模思路：描述統(tǒng)計圖

13:安斯庫姆數(shù)據(jù)散點圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院38

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注建模思路圖

14:回歸分析建模思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院39

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注建模思路：示例例1.1研究者希望利用回歸分析對某地區(qū)某行業(yè)中產(chǎn)品的產(chǎn)量與生產(chǎn)總成本間的關(guān)系進行研究。為實現(xiàn)研究目標(biāo)，從當(dāng)?shù)仄髽I(yè)中按照某種抽樣方法隨機抽取了20家企業(yè)，獲取數(shù)據(jù)見表1。請利用表中的數(shù)據(jù)建立產(chǎn)量與生產(chǎn)費用間的回歸模型，并進行簡要分析。編號產(chǎn)量生產(chǎn)費用編號產(chǎn)量生產(chǎn)費用1782401122370622065971218656332025981312137142066511428189652658731512336462106541625973575216017122425810830818117330921763919973201017968820108307李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學(xué)統(tǒng)計學(xué)院40

/

47緣起與發(fā)展變量間的關(guān)系研究內(nèi)容建模思路小結(jié)與評注建模思路：示例研究目標(biāo)為對某地區(qū)某行業(yè)的生產(chǎn)損耗進行影響因素分析根據(jù)研究目標(biāo)設(shè)置指