《回歸分析》 課件 第1、2章 緒論、一元線性回歸

緣起與發(fā)展變量間的關系研究內容建模思路小結與評注回歸分析之緒論應用回歸分析李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院

1/47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注統(tǒng)計學與回歸分析圖

1:統(tǒng)計學研究思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院2

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注目錄緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院3

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院4

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起“回歸”的概念最早出現(xiàn)在生物遺傳學領域，其中作出巨大貢獻的兩位學者就是達爾文（Darwin）和他的表弟高爾頓（Galton）。

1859年，達爾文發(fā)表了《OntheOriginofSpecies》（《物種起源》）一書，開創(chuàng)了生物學發(fā)展史上的新紀元，引起了整個人類思想的巨大革命。圖

2:Darwin(1809-1882)（左）

Galton(1822-1911)（右）李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院5

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起在自然選擇理論思想的引導下，達爾文的表弟高爾頓（Galton）先后完成了兔子模型、甜豌豆模型等論證實驗，試圖對人類遺傳規(guī)律進行研究。圖

3:甜豌豆模型實驗（左）兔子模型實驗（右）李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院6

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起1885

年,通過允諾保密并提供獎金的方式,高爾頓獲得了205

對夫婦及其928位成年子女的遺傳特征數(shù)據(jù)，包括身高、眼睛顏色、脾氣、藝術才能、疾病等。其中身高數(shù)據(jù)見下表：圖

4:高爾頓實驗數(shù)據(jù)李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院7

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院8

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院9

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注發(fā)展圖

5:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院10

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：最小二乘法的提出回歸分析中經典的最小二乘法最早出現(xiàn)于天文學與地理測量學領域的研究。1801年，意大利天文學家皮亞齊（Piazzi）發(fā)現(xiàn)了第一顆小 行星谷神星，經過40天的跟蹤觀測后，由于谷神星運行至太 陽背后，使得皮亞齊失去了谷神星的位置。為利用皮亞齊的觀測數(shù)據(jù)尋找谷神星的運行軌道，1805年勒 讓德（Legendre）在一本關于計算彗星軌道的書籍中首次發(fā) 表了最小二乘法清晰和簡明的闡述。1809年，高斯（Gauss）發(fā)表了著作《關于繞日行星運動的 理論》。書中聲稱他自1799年以來就使用最小二乘方法，并 且其提出的正態(tài)誤差理論也成功地將最小二乘法與概率原理 和正態(tài)分布聯(lián)系起來。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院11

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系小故事：高斯與勒讓德之爭圖

6:高斯與勒讓德之爭最小二乘法的提出，曾在高斯與勒讓德兩位大數(shù)學家之間引發(fā)了優(yōu)先權之爭，其知名度僅次于牛頓和萊布尼茲之間關于微積分發(fā)明的優(yōu)先權之爭。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院12

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注發(fā)展圖

7:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院13

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：19世紀-20世紀初19世紀80年代1885年，高爾頓完成了人類遺傳研究實驗,獲得了205

對夫婦及其928

位成年子女的遺傳特征數(shù)據(jù)。借由實驗中的身高數(shù)據(jù)，

高爾頓發(fā)現(xiàn)，

當父母身高走向極 端，子女的身高不會象父母身高那樣極端化，其身高要比父 母們的身高更接近平均身高，即有“回歸”到平均數(shù)去的趨 勢，“回歸”的概念由此誕生。20世紀初馬爾可夫（Markov）于1900年證明了在經典線性回歸的假定下，最小二乘估計量是具有最小方差的性質。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院14

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注發(fā)展圖

8:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院15

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：20世紀50-70年代20世紀50年代1953年，Box提出“穩(wěn)健”（Robustness）的概念。James和

Stein

發(fā)現(xiàn)，最小二乘估計并不具有不可容許性。20世紀60年代1962年Horel提出了嶺回歸估計；

1965年，Massy提出了主成分回歸估計。在穩(wěn)健概念的基

上，1964年，Huber提出了基于位置參M估 計量，同年提出極小極大理論也為解決參數(shù)估計的效率問題 奠定理論基

。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院16

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：20世紀50-70年代20世紀70年代1970年，Schweppe

提出加權最小二乘估計方法，并將該方法應用于電力系統(tǒng)的狀態(tài)估計中。1972年，Nelder放寬對因變量隨機誤差的正態(tài)分布要求，提出廣義線性模型；Gallant于1975年提出非線性回歸的概念。1978年，Koenker

和Bassett提出分位回歸模型以研究自變量 與因變量條件分位數(shù)的關系；

AIC、Cp準則也分別于1971、

1973年問世。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院17

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注發(fā)展圖

9:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院18

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：20世紀80年代-21世紀初20世紀80年代1983年，Wold提出偏最小二乘法，不但放寬n

>p的假定，也使得每一個系數(shù)估計更易解釋。Baron于1986年提出利用逐步回歸的思想實現(xiàn)對變量的選擇。最小截尾二乘法LTS（Least

Truncated

Square）、最小中位數(shù) 二乘法LMS（LeastMedianSquare）、S估計、MM估計都是這 一時期提出的。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院19

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：20世紀80年代-21世紀初20世紀90年代Tibshirani于1996年提出了利用Lasso罰函數(shù)實現(xiàn)變量選擇的思想，解決了高維情況下回歸系數(shù)的估計問題。21世紀初Fan于2001年提出的SCAD方法以及2007年Zhang提出的MCP 法均屬于基于罰函數(shù)的變量選擇方法，區(qū)別在于罰函數(shù)形式 不同。Zou于2006年提出的Adaptive

Lasso

法同樣可以用于變量選擇，該方法下得到的估計具有Oracle性質。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院20

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院21

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注函數(shù)關系

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院22

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注函數(shù)關系圖

10:銷售量（萬件）與銷售額（萬元）函數(shù)關系圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院23

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注統(tǒng)計關系統(tǒng)計關系書籍單價Y

與書籍頁數(shù)X

間的關系房屋價格Y

與房屋面積X

間的關系居民消費額Y

與居民收入X

間的關系李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院24

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注統(tǒng)計關系?2.50.02.5?440xy圖

11:x與y的相關關系李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院25

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系統(tǒng)計關系與函數(shù)關系的區(qū)別通過上述示例可以發(fā)現(xiàn)，統(tǒng)計關系與函數(shù)關系的區(qū)別在于：函數(shù)關系是一種確定性的關系，當其中一個變量給定，另一 個變量的取值確定；統(tǒng)計關系則是一種非確定性的關系，當 一個變量變化時，另一變量的取值有一定的隨機性。從研究方法看，客觀現(xiàn)象的函數(shù)關系可以用數(shù)學分析的方法 研究；而研究客觀現(xiàn)象的統(tǒng)計關系，則必須借助于統(tǒng)計學中 的相關與回歸分析方法。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院26

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注統(tǒng)計關系的刻畫

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院27

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系相關分析與回歸分析的區(qū)別一是變量的地位不同。在回歸分析中，變量有因變量和自變 量之分，因變量處于被解釋的地位。研究人員希望討論自變 量對因變量的影響。在相關分析中，變量的地位平等，研究 變量A和變量B的相關關系與研究變量B和變量A的相關關系 是等價的。二是變量的類型存在差異?；貧w分析中，

因變量為隨機變 量，自變量可以是隨機變量也可以是非隨機變量，而相關分 析中變量都是隨機變量。三是研究目的不完全相同。相關分析的研究目的是為了探究 兩類變量間相關關系，而回歸分析一方面研究自變量對因變 量的影響并對現(xiàn)象進行解釋，另一方面也可實現(xiàn)預測與控制 的功能。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院28

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院29

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注研究內容線性回歸分析對回歸模型中參數(shù)估計方法的研究對回歸模型檢驗與診斷的研究對回歸模型選擇的研究非線性回歸分析參見文獻Bates

and

Watts(1988)李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院30

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系研究內容：估計方法19世紀初，最小二乘法的提出在估計回歸系數(shù)過程中發(fā)揮了重要作用。極大似然估計、加權最小二乘估計等方法在不同條件下亦可用于回歸模型參數(shù)的估計。為解決在假設不滿足情況下最小二乘估計量失效的問題，一 些改進的參數(shù)估計方法應運而生，比如嶺回歸估計、主成分 回歸估計等。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院31

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系研究內容：檢驗與診斷在回歸分析中，對模型進行檢驗與診斷是必要工作之一。估計模型對觀測數(shù)據(jù)的擬合效果是否良好？回歸系數(shù)在總體 中是否與零有顯著差異？這些問題可以通過對參數(shù)進行假設 檢驗來回答?；貧w模型建立在一些假設基

上，通過檢驗與診斷判別數(shù)據(jù) 是否滿足基本假設對估計方法的選擇與數(shù)據(jù)處理具有重要意 義。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院32

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系研究內容：模型選擇在實證研究中，研究人員根據(jù)研究目標事先確定了因變量與 自變量范圍，并不意味著該模型一定具有合理性。針對同一 個因變量，不同的自變量組合可以建立不同的模型。變量選擇是依據(jù)某種評價準則從眾多備選模型中選擇最優(yōu)結 果的過程。常用的經典模型選擇準則有AIC、BIC、Cp等，還 有一些基于懲罰函數(shù)的新興的模型選擇方法等。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院33

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院34

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路圖

12:回歸分析建模思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院35

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系建模思路：描述統(tǒng)計例1.2

安斯庫姆（Anscombe）曾于1973年構造了四組數(shù)據(jù)，見下表。請讀者分別根據(jù)這四組數(shù)據(jù)建立回歸模型，

并對此進行分析。X1Y1X2Y2X3Y3X4Y444.2643.1045.3986.5855.6854.7455.7385.7667.2466.1366.0887.7174.8277.2676.4488.8486.9588.1486.7788.4798.8198.7797.1187.04108.04109.14107.4685.25118.33119.26117.8185.561210.84129.13128.1587.91137.58138.741312.7486.89149.96148.10148.841912.5李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院36

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系建模思路：描述統(tǒng)計

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院37

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系建模思路：描述統(tǒng)計圖

13:安斯庫姆數(shù)據(jù)散點圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院38

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路圖

14:回歸分析建模思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院39

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例例1.1研究者希望利用回歸分析對某地區(qū)某行業(yè)中產品的產量與生產總成本間的關系進行研究。為實現(xiàn)研究目標，從當?shù)仄髽I(yè)中按照某種抽樣方法隨機抽取了20家企業(yè)，獲取數(shù)據(jù)見表1。請利用表中的數(shù)據(jù)建立產量與生產費用間的回歸模型，并進行簡要分析。編號產量生產費用編號產量生產費用1782401122370622065971218656332025981312137142066511428189652658731512336462106541625973575216017122425810830818117330921763919973201017968820108307李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院40

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例研究目標為對某地區(qū)某行業(yè)的生產損耗進行影響因素分析根據(jù)研究目標設置指標變量，收集數(shù)據(jù)將生產損耗的直接表達生產費用作為因變量自變量的選擇一方面需要從眾多影響因素中，另一方面也需要考慮變量的可測性這一環(huán)節(jié)需要多次推敲，不妨向該領域專家進行咨詢李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院41

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例通過描述統(tǒng)計方法觀察變量間的關系

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院42

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院43

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院44

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院45

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注小結與評注本章從回歸概念的緣起與發(fā)展、變量間的關系出發(fā)，重點介 紹了回歸分析的研究內容與建模思路，以便于讀者從宏觀上 對本書內容有所了解。重視描述統(tǒng)計與推斷統(tǒng)計相結合，可以幫助研究者在建模流程中少走彎路，更快得到科學、客觀、合理的分析結果。本書討論的回歸分析主要基于非隨機自變量的假定。然而在回歸分析的大框架中，自變量同樣可以為隨機變量。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院46

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注謝謝！李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院47

/

47一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注回歸分析之一元線性回歸應用回歸分析李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸中國人民大學統(tǒng)計學院48

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注目錄一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院49

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院50

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注成績案例

中國人民大學統(tǒng)計學院51

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法成績案例散點圖中國人民大學統(tǒng)計學院52

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法一元線性回歸模型

中國人民大學統(tǒng)計學院53

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注模型假定

正態(tài)性假定中國人民大學統(tǒng)計學院54

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注模型假設

在正態(tài)性假設下有中國人民大學統(tǒng)計學院55

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法回歸分析思想圖示中國人民大學統(tǒng)計學院56

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法回歸分析思想圖示中國人民大學統(tǒng)計學院57

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院58

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最小二乘估計思想

中國人民大學統(tǒng)計學院59

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最小二乘估計思想中國人民大學統(tǒng)計學院60

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法其他類似估計中國人民大學統(tǒng)計學院61

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最小二乘估計

中國人民大學統(tǒng)計學院62

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最小二乘估計

上式可以簡化成中國人民大學統(tǒng)計學院63

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注成績案例

中國人民大學統(tǒng)計學院64

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注成績案例

中國人民大學統(tǒng)計學院65

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法極大似然估計

?

中國人民大學統(tǒng)計學院66

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院67

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注線性性

中國人民大學統(tǒng)計學院68

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注無偏性

中國人民大學統(tǒng)計學院69

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法方差、協(xié)方差的性質

中國人民大學統(tǒng)計學院70

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最佳線性無偏估計高斯-馬爾可夫定理：當高斯-馬爾可夫條件成立時，最小二乘估計的最佳線性無偏估計，即在所以線性無偏估計中，最小二乘估計量的方差最小。非線性的無偏估計？中國人民大學統(tǒng)計學院71

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院72

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型t

檢驗

中國人民大學統(tǒng)計學院73

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法什么是P

值？

中國人民大學統(tǒng)計學院74

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法雙側檢驗的P

值中國人民大學統(tǒng)計學院75

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法左側檢驗的P

值中國人民大學統(tǒng)計學院76

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法右側檢驗的P

值中國人民大學統(tǒng)計學院77

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注檢驗準則

中國人民大學統(tǒng)計學院78

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型F

檢驗F

檢驗是根據(jù)平方和分解式，直接從回歸效果檢驗回歸方程的顯著性。平方和分解式為：

中國人民大學統(tǒng)計學院79

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法SST

=

SSR

+

SSE中國人民大學統(tǒng)計學院80

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法方差分析表中國人民大學統(tǒng)計學院81

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)中國人民大學統(tǒng)計學院82

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)中國人民大學統(tǒng)計學院83

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)中國人民大學統(tǒng)計學院84

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)

中國人民大學統(tǒng)計學院85

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)檢驗

中國人民大學統(tǒng)計學院86

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法三種檢驗的關系相關系數(shù)檢驗與回歸系數(shù)顯著性的t

檢驗為等價關系回歸系數(shù)顯著性t

檢驗與回歸方程顯著性F

檢驗為等價關系思考：為什么會有這種等價關系？中國人民大學統(tǒng)計學院87

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注決定系數(shù)

中國人民大學統(tǒng)計學院88

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注殘差概念

中國人民大學統(tǒng)計學院89

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注殘差圖中國人民大學統(tǒng)計學院90

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注殘差圖中國人民大學統(tǒng)計學院91

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法殘差的性質中國人民大學統(tǒng)計學院92

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法改進的殘差標準化殘差，使得殘差具有可比性：標準化殘差，使得殘差具有可比性：

中國人民大學統(tǒng)計學院93

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法回歸系數(shù)的區(qū)間估計中國人民大學統(tǒng)計學院94

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模