概率論九章課件

§9.2一元線性回歸分析

僅有一個自變量的回歸分析稱為一元回歸分析,有多個自變量的回歸分析稱為多元回歸分析.若回歸函數(shù)是線性函數(shù)其中b0,b1,…,bk是未知常數(shù)，稱為線性回歸問題.1.一元線性回歸模型

只有一個自變量X

的一元線性回歸模型是Y=a+bx+

,E(

)=0,D(

)=σ2

在這個模型中,a、b為常系數(shù),

b

稱為Y

對X

的回歸系數(shù),a稱為回歸常數(shù).

取定自變量X

的一組值x1,x2,···,xn,對因變量Y

做n

次獨立觀測,記試驗結(jié)果為Y1,Y2,···,Yn,則有Yi=a+bxi

+

i

i=1,2,···,n

i

是第i次觀測時的隨機誤差,有

(1)

1,

2,···,

n

獨立同分布;(2)E(

i

)=0,D(

i

)=σ2,i=1,2,···,n.回歸假定

通常,進一步假定回歸模型為Y=a+bx+

,

~N(0,σ2)稱為一元線性正態(tài)回歸模型.

這樣

1,

2,···,

n

可視為正態(tài)分布總體N(0,σ2)的樣本.

又設(shè)Y1,Y2,···,Yn的實際觀測值為y1,y2,···,yn,我們主要完成以下兩個工作:

用觀測值(xi,yi)i=1,2,···,n,對參數(shù)a,b,σ2進行估計;

對所假定的回歸模型進行檢驗.Y=a+bx+

,

~N(0,σ2)2.a、b、σ2的估計(1)

a、b的估計

對自變量X的一組值x1,x2,…,xn

做n次獨立試驗，得獨立觀察值y1,y2,…,yn.

依據(jù)觀察值（xi，yi),i=1，2，…，n.

求a、b

的估計值.記yi

的估計值為稱為經(jīng)驗回歸值.

對所有的i，應(yīng)使殘差都盡可能小,有三種思路：1)

使殘差總和最小；缺點：可能正負誤差抵消2)使殘差絕對值之和最?。蝗秉c：數(shù)學(xué)處理困難3)

使殘差的平方和最小.

最小二乘法體現(xiàn)的是一種最佳擬合的思想,就是對已有的n

個點(xi,yi),用直線擬合它們,找出總殘差最小的那條直線。最小二乘法

應(yīng)用最小二乘法

分別對a,b求一階偏導(dǎo)，并建立方程組：將它們整理后,得到方程組稱為正規(guī)方程組由克萊姆法則，解得其中都是重要的中間過度量(2)

誤差方差σ2的估計

由于σ2=D(

)=E(

2),且

1,

2,···,

n可視為

的樣本,故按照矩估計的思想,是σ2的矩估計量.

可證明σ2的無偏估計量為代入，得其中

例1

流經(jīng)某地區(qū)的降雨量X和該地河流的徑流量Y

的觀察值如下表，

降雨量xi:

11018414512216514378

徑流量yi:25813633705420129621301681436(∑）

441.414175480.4（∑）求Y關(guān)于X的(經(jīng)驗)線性回歸方程,試估計降雨量為200時徑流量為多少？計算誤差方差σ2

的無偏估計值.解：n=11,所求經(jīng)驗回歸方程為降雨量為200時的徑流量值為=（6050.59-0.632×13768.7）/11=53.25隨機誤差的方差σ2的估計為3.一元線性回歸中的假設(shè)檢驗

檢驗自變量和因變量之間是否存在如回歸模型所假定的那種形式的相關(guān)關(guān)系,是回歸分析的另一項重要工作。

實際上,在一元線性回歸中,利用最小二乘法估計回歸函數(shù)a+bx,也只是選出“相對的最好”,即是對已有的n

個觀測點(xi,yi),找出總殘差最小的那條擬合直線。

如果變量之間確實存在線性相關(guān)關(guān)系,直線回歸方程就能較好的反映變量的這種關(guān)系,否則沒什么意義。

如何檢驗X、Y

之間是否存在線性相關(guān)關(guān)系?

有一種直觀的簡易方法,就是把n

個觀測點(xi,yi)描在平面上,從這些點的分布情況大體上判斷是否可以用直線來表示X、Y

之間的相關(guān)關(guān)系,如下圖所示。這些點分布在一條直線附近大致判斷存在線性相關(guān)關(guān)系這些點分布在二次曲線附近存在非線性相關(guān)關(guān)系

把觀測點(xi,yi)描在平面上得到的圖形稱為散點圖。這樣直觀的判斷只適合于一元回歸,并且缺乏定量的分析。

下面介紹兩種常用的關(guān)于線性相關(guān)關(guān)系的假設(shè)檢驗方法。(1)

基于離差平方和分解的檢驗記稱

QT為總離差平方和,它反映了因變量Y

的觀測值y1,y2,···,yn

總的離散程度。殘差平方和QE回歸平方和QR對QT

進行分解,有得到平方和分解式QT=QE+QR它說明Y

的觀測值y1,y2,···,yn

的離散程度可分別由兩個部分來描述,下面進一步分析這兩部分的實質(zhì)含義?！?/p>

殘差平方和QE的含義

反映的是X=xi

點處,觀測值yi

與回歸直線的偏差,這個偏差是針對同一個xi

的,故來自于試驗的隨機誤差而非自變量值的變化。

因此,殘差平方和QE

反映隨機誤差對因變量Y

的觀測值所造成的離散程度。◆回歸平方和QR的含義

QR的大小反映自變量取值變化通過回歸直線對因變量Y

之值造成的離散程度。

如果QR

作為QT

的一部分在其中占明顯的主導(dǎo)作用,說明我們給出的回歸直線已經(jīng)包含了對因變量Y

有重要影響的各種因素,此時我們認為Y

與

X

之間存在顯著的線性相關(guān)關(guān)系。

如果QR

與QE

大小差不多,甚至QR

小于QE,說明回歸直線不能描述Y

與

X

之間的相關(guān)關(guān)系,需要建立新的回歸模型。

在上述離差平方和分解的基礎(chǔ)上,構(gòu)造關(guān)于一元線性回歸模型的檢驗統(tǒng)計量顯然,F的值越大,Y

與

X

之間的線性相關(guān)關(guān)系越顯著?？梢宰C明,當b=0

時,有于是,提出原假設(shè)H0:b=0。很明顯,如果Y

與

X

之間的線性相關(guān)關(guān)系顯著,則應(yīng)拒絕H0。否則H0成立,意味著回歸函數(shù)為常數(shù),Y

與

X

不相關(guān)。

因此,給定顯著性水平α,計算檢驗統(tǒng)計量F

的值,如果F＞F

(1,n

-2)則拒絕H0,認為Y

與X

之間的線性相關(guān)關(guān)系顯著?！?/p>

各平方和的計算式(2)

樣本相關(guān)系數(shù)檢驗法

在第四章中曾學(xué)習(xí)過兩個變量X

與Y

之間的相關(guān)系數(shù)

XY,我們知道,|

XY|的大小反映X

與Y

的線性相關(guān)程度。

在一元線性回歸分析中,定義樣本相關(guān)系數(shù)為得到

樣本相關(guān)系數(shù)R

有類似于

XY

的性質(zhì),如:|R|≤1;當向量

X

與Y

線性相關(guān)時,|R|=1。

說明|R|的值越接近于1,

Y

與

X

之間的線性相關(guān)關(guān)系越顯著。教材附表6

列出了|R|的臨界值為R

(n

-2)。

因此,給定顯著性水平α,計算樣本相關(guān)