相關(guān)與回歸課件

第一節(jié)相關(guān)分析第二節(jié)簡單線性回歸模型第三節(jié)利用回歸模型預(yù)測與控制第六章相關(guān)與回歸1聯(lián)系與相互影響是普遍的現(xiàn)象受教育的水平工作后的收入預(yù)防疾病支出疾病的發(fā)病率2事物相互間關(guān)系的量的分析：兩變量或多變量間的數(shù)量關(guān)系。在可以解釋的質(zhì)的關(guān)系基礎(chǔ)上進行相關(guān)分析和回歸分析事物相互間關(guān)系的質(zhì)的解釋：自然的、社會的、經(jīng)濟的、心理的…3現(xiàn)象之間的相互關(guān)系，可以概括為兩種不同的類型：（一）函數(shù)關(guān)系（二）相關(guān)關(guān)系例如：家庭收入決定消費支出，收入的變化必然引起消費支出的變化，這兩個變量中收入是自變量，而消費支出則是因變量。5函數(shù)關(guān)系指變量之間存在著確定性依存關(guān)系。即當一個或一組變量每取一個值時，相應(yīng)的另一個變量必然有一個確定值與之對應(yīng)。函數(shù)關(guān)系可以用一個確定的公式，即函數(shù)式來表示?；颍?相關(guān)關(guān)系指變量之間存在著非確定性依存關(guān)系。即當一個或一組變量每取一個值時，相應(yīng)的另一個變量可能有多個不同值與之對應(yīng)。例2、根據(jù)消費理論，商品需求量Q與商品價格P、居民收入I之間具有相關(guān)關(guān)系：相關(guān)關(guān)系可用統(tǒng)計模型：或：式中，為影響的除外的其它隨機因素。7直線相關(guān)當自變量X值每變動一個單位，因變量Y值則隨著發(fā)生大致均等的變動，這就是直線相關(guān)。亦稱為簡單相關(guān)或一元線性相關(guān)。曲線相關(guān)當自變量X值每變動一個單位，因變量Y值則隨之發(fā)生不均等的變化，這就曲線相關(guān)。亦稱為一元非線性相關(guān)。相關(guān)關(guān)系的種類：2、按相關(guān)關(guān)系形式可分為：9正相關(guān)當自變量X值增加（或減少）時，因變量Y值也隨之增加（或減少），這樣的相關(guān)關(guān)系就是正相關(guān)，也叫同向相關(guān)。負相關(guān)當自變量X的值增加（或減少）時，因變量Y的值隨之而減少（或增加），這樣的相關(guān)關(guān)系就是負相關(guān)，也叫異向相關(guān)。相關(guān)關(guān)系的種類：3、按相關(guān)的方向可分為：10線性正相關(guān)11無（不）相關(guān)13相關(guān)關(guān)系的種類：4、按相關(guān)關(guān)系的密切程度分為：完全相關(guān)因變量完全隨自變量變動而變動，存在著嚴格的依存關(guān)系。即變量間的關(guān)系為函數(shù)關(guān)系。不完全相關(guān)變量之間存在著不嚴格的依存關(guān)系，即因變量的變動除了受自變量變動的影響外，還受其他因素的影響。它是相關(guān)關(guān)系的主要表現(xiàn)形式。完全不相關(guān)自變量與因變量彼此獨立，互不影響，其數(shù)量變化毫無聯(lián)系。。14（1）確定現(xiàn)象之間有無相關(guān)關(guān)系，以及相關(guān)關(guān)系的表現(xiàn)形態(tài)。（2）確定相關(guān)關(guān)系的密切程度。相關(guān)分析的主要內(nèi)容包括：15在直線相關(guān)的條件下，用以反映兩變量間線性相關(guān)密切程度的統(tǒng)計指標，用r表示相關(guān)系數(shù)其基本算法是英國統(tǒng)計學(xué)家皮爾遜所創(chuàng)的乘積動差法，簡稱積差法。相關(guān)關(guān)系的測定17相關(guān)系數(shù)r的取值范圍：-1≤r≤10<|r|<1表示存在不同程度線性相關(guān)：0<|r|

<0.4為低度線性相關(guān)；0.4≤|r|＜0.7為顯著性線性相關(guān)；0.7≤|r|＜1.0為高度顯著性線性相關(guān)。r>0為正相關(guān)，r<0為負相關(guān)；|r|=0表示不存在線性關(guān)系；|r|＝1表示完全線性相關(guān)；18【例】計算工業(yè)總產(chǎn)值與能源消耗量之間的相關(guān)系數(shù)資料結(jié)論：工業(yè)總產(chǎn)值與能源消耗量之間存在高度的正相關(guān)關(guān)系，能源消耗量x的變化能夠解釋工業(yè)總產(chǎn)值y變化的95.2﹪。相關(guān)系數(shù)的計算19正態(tài)總體相關(guān)系數(shù)的顯著性檢驗正態(tài)總體相關(guān)系數(shù)的檢驗（t檢驗法）⒈提出假設(shè)：目的檢驗兩正態(tài)總體兩變量間線性相關(guān)性是否顯著步驟⒉構(gòu)造檢驗統(tǒng)計量：21相關(guān)系數(shù)的顯著性檢驗（t檢驗法）⒊根據(jù)給定的顯著性水平，確定臨界值；⒌計算檢驗統(tǒng)計量并做出決策。⒋確定原假設(shè)的拒絕規(guī)則:若，則接受H0,表示總體兩變量間線性相關(guān)性不顯著;若，則拒絕H0,表示總體兩變量間線性相關(guān)性顯著步驟22學(xué)生身高體重估計值A(chǔ)BCDEFGHIJ1581601621641661681701721741764750485562605261706524964256002624426896275562822428900295843027630976220925002304302538443600270437214900422574268000777690201029210080884010492121801144047.2949.4551.6153.7655.9258.0860.2462.3964.5566.71-9.71-7.55-5.39-3.24-1.081.083.245.397.559.71-10-7-9-253-5413816705702792203303295546-0023檢驗統(tǒng)計量落入拒絕域中，故拒絕原假設(shè)，接受備擇假設(shè)。即可以認為明顯地不等于零，相關(guān)關(guān)系是顯著的。選取統(tǒng)計量在成立的條件下，查表得25【例】檢驗工業(yè)總產(chǎn)值與能源消耗量之間的線性相關(guān)性是否顯著

資料見P20當成立時，則統(tǒng)計量26自變量(independentvariable):解釋變量，給定的或可以控制的、用來解釋、預(yù)測應(yīng)變量的變量。因變量(dependentvariable):響應(yīng)變量，由自變量來解釋其變化的變量。XYXY????????29回歸分析的內(nèi)容和步驟1、根據(jù)已有的理論和對問題的分析判斷，區(qū)分自變量和因變量；

2、設(shè)法找出適合的數(shù)學(xué)方程式(即回歸模型)描述變量間的關(guān)系

3、對回歸模型進行統(tǒng)計檢驗；4、統(tǒng)計檢驗通過后，利用回歸模型，根據(jù)解釋變量去估計，預(yù)測因變量。30回歸分析的分類根據(jù)變量的多少分為：簡單回歸多元回歸只有一個自變量和一個因變量的回歸自變量數(shù)目在兩個或兩個以上根據(jù)建立的回歸模型形式分為：線性回歸非線性回歸從所擬合的回歸模型來看，一變量表現(xiàn)為其它變量的線性組合。從所擬合的回歸模型來看，一變量表現(xiàn)為其它變量的非線性組合31回歸分析與相關(guān)分析理論和方法具有一致性；無相關(guān)就無回歸，相關(guān)程度越高，回歸越好；

相關(guān)系數(shù)和回歸系數(shù)方向一致，可以互相推算。聯(lián)系：32相關(guān)分析中x與y對等，回歸分析中x與y要確定自變量和因變量；相關(guān)分析中x、y均為隨機變量，回歸分析中只有y為隨機變量；相關(guān)分析測定相關(guān)程度和方向，回歸分析用回歸模型進行預(yù)測和控制?；貧w分析與相關(guān)分析區(qū)別：33簡單線性回歸模型指根據(jù)成對的兩個變量的數(shù)值，配合直線方程式，根據(jù)自變量的變動，來推算因變量發(fā)展變動趨勢的方法，其模型為：其中：表示因變量Y在總體中某一個具體的觀察值；表示在研究總體中自變量X的具體觀察數(shù)值；與是參數(shù)，稱為回歸系數(shù)；是一個隨機變量，其平均數(shù)為0，方差為.總體回歸模型34總體一元線性回歸模型：模型參數(shù)誤差項假定：E()=0總體一元線性回歸方程：35簡單線性回歸模型的假設(shè)1、正態(tài)性假定3、線性假定2、同方差假定4、獨立性假定當確定某一個Xi時，相應(yīng)的Y就有許多Yi值與之對應(yīng)。Yi是一個隨機變量，這些Yi構(gòu)成一個在X取值為Xi條件下的條件分布、并假設(shè)其服從正態(tài)分布。

假定所有Yi這一條件分布的方差是相等的。

假定所有Yi這一條件分布的平均數(shù)位于一條直線上，這條直線為假定Yi之間是獨立的，也就是說抽樣時，Y的值在每取一個X值的條件分布相互獨立。

36一元線性回歸模型的假定37在實際應(yīng)用中，我們對X和Y所代表的總體往往不可能全面的觀察和了解，而只能從中抽取部分資料作為樣本，并通過樣本提供的信息來認識總體，找出總體回歸模型的估計式，其估計式的方程式可寫為:簡單線性回歸模型其中：a，b和分別為及的估計量。由于抽樣的隨機性，使樣本回歸線不可能與總體回歸完全重合，從而會出現(xiàn)樣本回歸函數(shù)高估或低估總體回歸函數(shù)的情況，我們能做的就是設(shè)法使樣本回歸函數(shù)盡可能接近總體回歸函數(shù)，也就是說要使回歸方程參數(shù)的估計值a、b盡量接近總體真實參數(shù)。樣本回歸模型38一元線性回歸方程的幾何意義截距斜率一元線性回歸方程的可能形態(tài)b為正b為負b為0回歸直線的擬合39總體一元線性回歸方程:樣本一元線性回歸方程：以樣本統(tǒng)計量估計總體參數(shù)斜率（回歸系數(shù)）截距截距a表示在沒有自變量x的影響時，其它各種因素對因變量y的平均影響；回歸系數(shù)b表明自變量x每變動一個單位，因變量y平均變動b個單位。(估計的回歸方程)40隨機干擾：各種偶然因素、觀察誤差和其他被忽視因素的影響X對y的線性影響而形成的系統(tǒng)部分，反映兩變量的平均變動關(guān)系，即本質(zhì)特征。41殘差(Residual):e42一元線性回歸方程中參數(shù)a、b的確定：最小二乘法基本要求：43整理得到由兩個關(guān)于a、b的二元一次方程組成的方程組：進一步整理，有：44學(xué)生身高x體重yx2y2xy估計值?殘差y-?ABCDEFGHIJ1581601621641661681701721741764750485562605261706524964256002624426896275562822428900295843027630976220925002304302538443600270437214900422574268000777690201029210080884010492121801144047.29149.44851.60653.76455.92158.07960.23662.39464.55266.709-0.2910.552-3.6061.2366.0791.921-8.236-1.3945.448-1.70916705702792203303295546-045【分析】因為工業(yè)總產(chǎn)值與能源消耗量之間存在高度正相關(guān)關(guān)系（），所以可以擬合工業(yè)總產(chǎn)值對能源消耗量的線性回歸方程?！纠拷⒐I(yè)總產(chǎn)值對能源消耗量的線性回歸方程資料解：設(shè)線性回歸方程為46即線性回歸方程為：計算結(jié)果表明，在其他條件不變時，能源消耗量每增加一個單位（十萬噸），工業(yè)總產(chǎn)值將增加0.7961個單位（億元）。47最小二乘法估計的優(yōu)良性質(zhì)殘差之和為零所擬合直線通過樣本散點圖的重心誤差項與解釋變量不相關(guān)a與b分別是總體回歸系數(shù)的無偏估計量a與b均為服從正態(tài)分布的隨機變量48b與r的關(guān)系：r＞0r＜0r=0b＞0b＜0 b=049相對均值的偏差回歸偏差殘差或剩余總偏差平方和的分解50誤差平方和回歸平方和總離差平方和51總偏差(SST)=回歸偏差(SSR)+剩余偏差(SSE)r2表示全部偏差中有百分之幾的偏差可由x與y的回歸關(guān)系來解釋數(shù)量關(guān)系及意義52回歸模型的檢驗1、擬合優(yōu)度檢驗確定回歸直線后，需要評價這一直線方程是否有效地反映了這兩變量之間的關(guān)系。評價回歸方程擬合好壞的一個主要指標是判定系數(shù)(或稱確定系數(shù))是相關(guān)系數(shù)的平方，用表示；用來衡量回歸方程對y的解釋程度。判定系數(shù)取值范圍：越接近于1，表明x與y之間的相關(guān)性越強；越接近于0，表明兩個變量之間幾乎沒有直線相關(guān)關(guān)系.判定系數(shù)53判定系數(shù)與相關(guān)系數(shù)的關(guān)系54學(xué)生身高體重估計值A(chǔ)BCDEFGHIJ1581601621641661681701721741764750485562605261706524964256002624426896275562822428900295843027630976220925002304302538443600270437214900422574268000777690201029210080884010492121801144047.2949.4551.6153.7655.9258.0860.2462.3964.5566.71-9.71-7.55-5.39-3.24-1.081.083.245.397.559.71-10-7-9-253-5413816705702792203303295546-0055例求學(xué)生體重偏差中能夠被身高與體重回歸關(guān)系解釋的百分比。解由條件可得56判定系數(shù)與相關(guān)系數(shù)的區(qū)別：判定系數(shù)無方向性，相關(guān)系數(shù)則有方向，其方向與樣本回歸系數(shù)b相同；判定系數(shù)說明變量值的總離差平方和中可以用回歸關(guān)系來解釋的比例，相關(guān)系數(shù)只說明兩變量間關(guān)聯(lián)程度及方向；相關(guān)系數(shù)有夸大變量間相關(guān)程度的傾向，因而判定系數(shù)是更好的度量值。57總離差平方和回歸平方和誤差平方和58回歸分析中我們最關(guān)心的是：

X與Y是否有真正的線性相關(guān)關(guān)系。即檢驗假設(shè)：59回歸系數(shù)的檢驗提出假設(shè)；確定檢驗統(tǒng)計量；給定顯著性水平，確定臨界值；確定原假設(shè)的拒絕規(guī)則；計算檢驗統(tǒng)計量并做出決策。60統(tǒng)計理論已經(jīng)證明6162由于未知，且,故取63學(xué)生身高體重估計值A(chǔ)BCDEFGHIJ1581601621641661681701721741764750485562605261706524964256002624426896275562822428900295843027630976220925002304302538443600270437214900422574268000777690201029210080884010492121801144047.2949.4551.6153.7655.9258.0860.2462.3964.5566.71-9.71-7.55-5.39-3.24-1.081.083.245.397.559.71-10-7-9-253-5413816705702792203303295546-0064例數(shù)據(jù)如上，試在顯著性水平0.05下檢驗學(xué)生身高與體重是否顯著線性相關(guān)。解由題設(shè)條件可得6566檢驗統(tǒng)計量落入拒絕域中，故拒絕原假設(shè)，接受備擇假設(shè)。即可以認為明顯地不等于零，X與Y是顯著的。問題便是要檢驗假設(shè)：選取統(tǒng)計量在原假設(shè)成立時，而67F檢驗是基于F分布進行的，是方差分析內(nèi)容之一。方差來源平方和自由度均方F值回歸誤差總計SSRSSESST1n-2n-1均方回歸均方誤差68故拒絕原假設(shè)，接受備擇假設(shè)，即認為相關(guān)關(guān)系是顯著的。故原假設(shè)的拒絕域為：原問題便是要檢驗假設(shè)選取統(tǒng)計量查表得而69估計的前提：回歸方程經(jīng)過檢驗，證明X和Y的線性關(guān)系在統(tǒng)計上是顯著的?；貧w分析的點估計：對于給定的X值，求出Y平均值的一個估計值或Y的一個個別值。若x=169，則：70利用點估計得到的Y平均值的點估計值和Y的一個個別值其結(jié)果是相同的。點估計不能提供估計量的精確度。在樣本自變量取值范圍之外進行預(yù)測要特別謹慎。使用點估計應(yīng)注意的問題：71第三節(jié)利用回歸方程預(yù)測與控制估計的前提：回歸方程經(jīng)過檢驗，證明X和Y的關(guān)系在統(tǒng)計上是顯著線性相關(guān)的。對于給定的X值，求出Y平均值的一個估計值或Y的一個個別值的預(yù)測值。對于給定的X值，求出Y的平均值的置信區(qū)間或Y的一個個別值的預(yù)測區(qū)間。點估計區(qū)間估計72回歸分析的區(qū)間估計：對于給定的X值，求出Y的平均值的置信區(qū)間或Y的一個個別值的預(yù)測區(qū)間。73

Y的平均值的置信區(qū)間估計總體的回歸模型樣本回歸方程如果樣本回歸方程通過檢驗，則：如果給定x=x0，則有：分布形態(tài)？74可以證明，?0

是服從正態(tài)分布的，其數(shù)學(xué)期望：其方差：其標準差：75對于給定的x=x0

，E(Y0

)的1-置信區(qū)間為：由于證明見后76令則樣本回歸方程由最小二乘法可知假設(shè)可逆，則77記則定理787980818283也就是：自由度為n-2的t分布的水平上側(cè)分位數(shù)84學(xué)生身高體重估計值A(chǔ)BCDEFGHIJ1581601621641661681701721741764750485562605261706524964256002624426896275562822428900295843027630976220925002304302538443600270437214900422574268000777690201029210080884010492121801144047.2949.4551.6153.7655.9258.0860.2462.3964.5566.71-9.71-7.55-5.39-3.24-1.081.083.245.397.559.71-10-7-9-253-5413816705702792203303295546-0085例數(shù)據(jù)如上，試求在學(xué)生身高為167CM時的置信度0.95的學(xué)生體重的置信區(qū)間。解由題設(shè)條件得=0.05，則有86當時，得到最小值。當時，的值隨的減少或增加而逐步增大。8788

Y的個別值的置信區(qū)間估計對于給定的