第8章-相關(guān)分析與回歸分析

第8章相關(guān)分析和回歸分析1第8章相關(guān)分析與回歸分析ppt課件（全）相關(guān)分析（掌握）線性回歸分析（掌握）回歸模型的統(tǒng)計(jì)檢驗(yàn)和預(yù)測（掌握）非線性回歸模型（了解）

主要內(nèi)容和學(xué)習(xí)目標(biāo)

2第8章相關(guān)分析與回歸分析ppt課件（全）8.1.1相關(guān)關(guān)系的概念和種類8.1.1.1相關(guān)關(guān)系的概念在社會經(jīng)濟(jì)發(fā)展變化中，客觀現(xiàn)象總是普遍聯(lián)系和相互依存的，客觀現(xiàn)象（變量）之間的數(shù)量依存關(guān)系可分為兩種類型：確定性關(guān)系和相關(guān)關(guān)系。相關(guān)關(guān)系是指現(xiàn)象之間客觀存在的非確定性的數(shù)量依存關(guān)系。8.1相關(guān)分析3第8章相關(guān)分析與回歸分析ppt課件（全）如：商品的消費(fèi)量（y）與居民收入（x）之間的關(guān)系變量間關(guān)系是不能用函數(shù)關(guān)系精確表達(dá)的，一個(gè)變量的取值不能由另一個(gè)變量唯一確定。當(dāng)變量x取某個(gè)值時(shí)，變量y的取值可能有幾個(gè)。各觀測點(diǎn)分布在直線周圍。4第8章相關(guān)分析與回歸分析ppt課件（全）8.1.1.2相關(guān)關(guān)系的種類按相關(guān)的方向可以分為正相關(guān)和負(fù)相關(guān)。按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。按涉及的變量或因素的個(gè)數(shù)可以分為單相關(guān)與復(fù)相關(guān)。按相關(guān)的表現(xiàn)形式可分為線性相關(guān)與非線性相關(guān)。5第8章相關(guān)分析與回歸分析ppt課件（全）曲線相關(guān)相關(guān)關(guān)系線性相關(guān)正相關(guān)負(fù)相關(guān)單相關(guān)復(fù)相關(guān)多元線性相關(guān)多元非線性相關(guān)6第8章相關(guān)分析與回歸分析ppt課件（全）8.1.1.3相關(guān)圖表相關(guān)表和相關(guān)圖可直觀地表達(dá)變量之間的相關(guān)關(guān)系的程度。相關(guān)表是將具有相關(guān)關(guān)系的原始數(shù)據(jù),按某一順序平行排列在一張表上,以觀察它們之間的相互關(guān)系。7第8章相關(guān)分析與回歸分析ppt課件（全）表8-1高校人數(shù)和周邊飯店季營業(yè)額飯店學(xué)生人數(shù)（千人）x季營業(yè)額（千元）y飯店學(xué)生人數(shù)（千人）x季營業(yè)額（千元）y12586161372610572015738888201694811892214951211710262028第8章相關(guān)分析與回歸分析ppt課件（全）相關(guān)圖也稱為分布圖或散點(diǎn)圖，它是在平面直角坐標(biāo)中把相關(guān)關(guān)系的原始數(shù)據(jù)用點(diǎn)描繪出來，通常以直角坐標(biāo)的橫軸代表自變量x,縱軸代表因變量y。相關(guān)圖所反映的變量之間的相關(guān)關(guān)系的方向和程序比相關(guān)表更為清晰，也更為直觀。9第8章相關(guān)分析與回歸分析ppt課件（全）圖8-1學(xué)生人數(shù)和季營業(yè)額相關(guān)圖

10第8章相關(guān)分析與回歸分析ppt課件（全）11第8章相關(guān)分析與回歸分析ppt課件（全）8.1.1.4相關(guān)分析的意義1、相關(guān)分析可以確定變量之間相關(guān)關(guān)系的方向和程度2、相關(guān)分析可以衡量回歸估計(jì)的精確程度12第8章相關(guān)分析與回歸分析ppt課件（全）8.1.2簡單線性相關(guān)8.1.2.1相關(guān)系數(shù)相關(guān)系數(shù)是描述相關(guān)的兩個(gè)變量之間相關(guān)關(guān)系密切程度的數(shù)量指標(biāo)。早在1890年，英國著名統(tǒng)計(jì)學(xué)家KarlPearson便提出了一個(gè)測定兩個(gè)變量線性相關(guān)的計(jì)算方法，通常稱為積差相關(guān)系數(shù)或簡單相關(guān)系數(shù)。13第8章相關(guān)分析與回歸分析ppt課件（全）總體相關(guān)系數(shù):式中：——是變量X和Y的協(xié)方差——是變量X的標(biāo)準(zhǔn)差——是變量Y的標(biāo)準(zhǔn)差樣本相關(guān)系數(shù):14第8章相關(guān)分析與回歸分析ppt課件（全）計(jì)算學(xué)生人數(shù)和季營業(yè)額的相關(guān)系數(shù)15第8章相關(guān)分析與回歸分析ppt課件（全）8.1.2.2相關(guān)系數(shù)的性質(zhì)

1、2、若，表示變量x與變量y為線性正相關(guān)關(guān)系；若，表示變量x與變量y為線性負(fù)相關(guān)關(guān)系。3、若，表示兩變量完全線性相關(guān)，即變量x與變量y之間存在確定的函數(shù)關(guān)系。若，表示兩變量完全線性正相關(guān)；若，表示兩變量完全線性負(fù)相關(guān)。4、若，表示兩變量不存在線性相關(guān)。16第8章相關(guān)分析與回歸分析ppt課件（全）5、當(dāng)時(shí)，表示兩變量存在不同程度的線性相關(guān)。的數(shù)值越接近于1，表示兩變量之間線性相關(guān)程度越高；反之的數(shù)值越接近于0，表示兩變量之間線性相關(guān)程度越低。通常認(rèn)為：微弱相關(guān)；低度相關(guān)顯著相關(guān)；高度相關(guān)6、相關(guān)系數(shù)不受變量值水平和計(jì)量單位的影響。17第8章相關(guān)分析與回歸分析ppt課件（全）根據(jù)給定的顯著性水平和自由度n-2,查找t分布中的相應(yīng)臨界值。如果，就否定原假設(shè)，認(rèn)為r在統(tǒng)計(jì)上是顯著的，即總體相關(guān)系數(shù)不為零，總體變量間存在線性相關(guān)關(guān)系。8.1.2.3相關(guān)系數(shù)的顯著性檢驗(yàn)提出假設(shè)：計(jì)算t檢驗(yàn)統(tǒng)計(jì)量：

18第8章相關(guān)分析與回歸分析ppt課件（全）檢驗(yàn)高校學(xué)生人數(shù)與周邊飯店季營業(yè)額之間的相關(guān)系數(shù)是否顯著，顯著性水平

=0.05。第一步：提出假設(shè)第二步：構(gòu)造并計(jì)算檢驗(yàn)統(tǒng)計(jì)量19第8章相關(guān)分析與回歸分析ppt課件（全）第三步：確定臨界值。根據(jù)給定的顯著性水平

=0.05和自由度10-2=8，查找t分布表或利用Excel計(jì)算，得到臨界值。第四步：決策。由于所以拒絕原假設(shè)，說明高校學(xué)生人數(shù)與周邊飯店季營業(yè)額之間存在著顯著的正線性相關(guān)關(guān)系。20第8章相關(guān)分析與回歸分析ppt課件（全）8.2.1回歸分析

回歸分析是根據(jù)已知變量估計(jì)未知變量的一種統(tǒng)計(jì)方法，它是以對未知變量(因變量)同其他變量(自變量)相互關(guān)系的觀察為基礎(chǔ)，在某種精確度下，預(yù)測未知變量的數(shù)值。8.2線性回歸分析21第8章相關(guān)分析與回歸分析ppt課件（全）回歸分析的內(nèi)容和步驟:①選擇適當(dāng)?shù)幕貧w模型。②進(jìn)行參數(shù)估計(jì)。③進(jìn)行模型的檢驗(yàn)。④進(jìn)行預(yù)測。即根據(jù)回歸方程進(jìn)行適當(dāng)?shù)慕?jīng)濟(jì)預(yù)測，這是回歸分析的最終目的。22第8章相關(guān)分析與回歸分析ppt課件（全）8.2.1.1總體回歸方程與樣本回歸方程例：研究家庭消費(fèi)支出與家庭收入之間的關(guān)系，一個(gè)總體由50戶家庭組成，并按人均月收入水平劃分成組內(nèi)收入水平大致相同的10個(gè)組。23第8章相關(guān)分析與回歸分析ppt課件（全）圖8-4不同收入水平的家庭消費(fèi)支出散點(diǎn)分布圖總體回歸線PRL隨機(jī)試驗(yàn)所有可能結(jié)果的集合稱為總體或樣本空間24第8章相關(guān)分析與回歸分析ppt課件（全）由圖中看出總體回歸直線是線性的，用函數(shù)的形式來表示：(1)

這是直線的數(shù)學(xué)表達(dá)式，在式(1)中，

E(Y｜Xi)表示給定X值相應(yīng)的(或條件的)Y的均值，稱為Y的條件期望或條件均值下標(biāo)i代表第i個(gè)子總體。如，x=2時(shí)，y的條件均值為即收入水平為2000元的4個(gè)家庭的平均消費(fèi)支出為1500元。第8章相關(guān)分析與回歸分析ppt課件（全）注意：

E(Y｜Xi)是Xi的函數(shù)(在此例中是線性函數(shù))。這意味著Y依賴于Xi，一般稱之為Y對X的回歸。回歸可簡單地定義為在給定X值的條件下Y值分布的均值。換句話說，總體回歸直線經(jīng)過Y的條件期望值。式(1)是總體回歸函數(shù)(PopulationRegressionFunction,PRF)的數(shù)學(xué)形式。在本例中，總體回歸函數(shù)是線性函數(shù)。第8章相關(guān)分析與回歸分析ppt課件（全）

為參數(shù)(parameters)，也稱回歸系數(shù)(regressioncoefficients)。

又稱為截距(intercept)，是當(dāng)X為0時(shí)Y的均值

又稱為斜率(slope)，斜率度量了X每變動一單位，Y

的均值的變化率。

例，如果斜率為0.5，那么，當(dāng)收入x每增加1單位（千元），Y的(期望)均值將增加0.5個(gè)單位（千元）；即，平均而言，消費(fèi)支出將增加0.5千元。

第8章相關(guān)分析與回歸分析ppt課件（全）模型的隨機(jī)設(shè)定從圖中可看出單個(gè)家庭的消費(fèi)支出與平均消費(fèi)支出之間存在著一定的離差，即(2)

其中，表示隨機(jī)誤差項(xiàng)(stochastic,randomerrorterm)或簡稱為誤差項(xiàng)。第8章相關(guān)分析與回歸分析ppt課件（全）表8-4從表8-3的總體中抽取一個(gè)隨機(jī)樣本

XYXY10.7763.2021.1074.0031.7084.3041.6594.5052.50106.0029第8章相關(guān)分析與回歸分析ppt課件（全）圖8-5總體回歸線與樣本回歸線30第8章相關(guān)分析與回歸分析ppt課件（全）得到一條很好地“擬合”了樣本數(shù)據(jù)的直線，稱之為樣本回歸線(sampleregressionlines,SRL)?？赡軓腒個(gè)不同的樣本中得到K條不同的樣本回歸直線，所有的這些樣本回歸線不可能都相同。每一條直線也最多是對真實(shí)總體回歸線的近似。第8章相關(guān)分析與回歸分析ppt課件（全）用樣本回歸函數(shù)(sampleregressionfunction,SRF)來表示樣本回歸線。(3)

表示總體條件均值，E(Y|Xi)的估計(jì)量；

表示

的估計(jì)量；

表示

的估計(jì)量；第8章相關(guān)分析與回歸分析ppt課件（全）建立隨機(jī)的樣本回歸函數(shù)：(4)其中ei為殘差項(xiàng)(residualterm)，或簡稱為殘差(residual)。第8章相關(guān)分析與回歸分析ppt課件（全）回歸分析的主要目的是根據(jù)樣本回歸函數(shù)來估計(jì)總體回歸函數(shù)，第8章相關(guān)分析與回歸分析ppt課件（全）8.2.1.2相關(guān)分析與回歸分析的聯(lián)系與區(qū)別1、相關(guān)分析與回歸分析的聯(lián)系①相關(guān)分析和回歸分析具有共同的研究對象②相關(guān)分析和回歸分析需要相互補(bǔ)充③相關(guān)分析是回歸分析的前提④回歸分析是相關(guān)分析的拓展35第8章相關(guān)分析與回歸分析ppt課件（全）2、相關(guān)分析與回歸分析的區(qū)別①變量的地位不同②變量的性質(zhì)不同③研究的目的不同④研究的方法不同⑤所起的作用不同36第8章相關(guān)分析與回歸分析ppt課件（全）8.2.2一元線性回歸模型8.2.2.1回歸模型的基本假定回歸模型是描述因變量如何依賴自變量和隨機(jī)誤差項(xiàng)的方程。一元線性回歸模型只涉及一個(gè)自變量，可表述為：37第8章相關(guān)分析與回歸分析ppt課件（全）隨機(jī)誤差項(xiàng)是服從正態(tài)分布的實(shí)隨機(jī)變量。零均值假定。即，同方差假定，即對于自變量

所有觀察值，隨機(jī)誤差項(xiàng)

的方差都相同。非自相關(guān)假定，即與自變量不同觀察值對應(yīng)的隨機(jī)誤差項(xiàng)之間是互不相關(guān)、互不影響的自變量變量與隨機(jī)誤差項(xiàng)不相關(guān)假定。無多重共線性假定?；貧w模型的基本假定第8章相關(guān)分析與回歸分析ppt課件（全）8.2.2.2最小二乘估計(jì)(OLS)

殘差是Yi的真實(shí)值與估計(jì)值之差，即普通最小二乘法(ordinaryleastsquares,OLS)，即選擇參數(shù)

和，使得全部觀察值的殘差平方和最小。用數(shù)學(xué)形式表示為：最小二乘原理就是所選樣本回歸函數(shù)使得所有Y的估計(jì)值與真實(shí)值差的平方和最小。第8章相關(guān)分析與回歸分析ppt課件（全）求解聯(lián)立方程解得

第8章相關(guān)分析與回歸分析ppt課件（全）參數(shù)估計(jì)誤差和置信區(qū)間1、估計(jì)誤差:估計(jì)值和真值的偏差。

的估計(jì)誤差為：

的估計(jì)誤差為：41第8章相關(guān)分析與回歸分析ppt課件（全）2、置信區(qū)間對于給定的置信度1-，參數(shù)的置信區(qū)間為:即以100(1-

)%的概率回歸系數(shù)屬于該區(qū)間內(nèi)。同理，參數(shù)的置信區(qū)間為42第8章相關(guān)分析與回歸分析ppt課件（全）8.2.3多元線性回歸模型8.2.3.1多元線性回歸模型的參數(shù)估計(jì)利用最小二乘法估計(jì)模型的參數(shù)43第8章相關(guān)分析與回歸分析ppt課件（全）參數(shù)估計(jì)值應(yīng)該是下列方程組的解：44第8章相關(guān)分析與回歸分析ppt課件（全）定義矩陣：方程組可以用矩陣表示成：參數(shù)的最小二乘估計(jì)為45第8章相關(guān)分析與回歸分析ppt課件（全）8.2.3.2參數(shù)的估計(jì)誤差和置信區(qū)間參數(shù)估計(jì)值的標(biāo)準(zhǔn)差為

為矩陣對角線上的第i個(gè)元素對于給定的置信度1-

，參數(shù)的100(1-

)%置信區(qū)間為：46第8章相關(guān)分析與回歸分析ppt課件（全）8.2.3.3多元回歸模型中的相關(guān)分析多元回歸分析中，由于變量總數(shù)不止兩個(gè)，因變量與多個(gè)自變量的組合產(chǎn)生一定的依存關(guān)系；同時(shí)任何兩個(gè)變量之間的相關(guān)關(guān)系都可能受到其余變量的影響。為此需要對已建立的多元回歸模型進(jìn)行相關(guān)分析，包括復(fù)相關(guān)和偏相關(guān)。47第8章相關(guān)分析與回歸分析ppt課件（全）1、復(fù)相關(guān)在多變量情況下，復(fù)相關(guān)系數(shù)是用來測定因變量與一組自變量之間相關(guān)程度的指標(biāo)。其計(jì)算公式為：復(fù)相關(guān)系數(shù)的值域在0到1之間，它的值為1，表明與之間存在嚴(yán)密的線性關(guān)系；它的值為0，則表明與之間不存在任何線性相關(guān)關(guān)系；它的取值在0和1之間時(shí)，表明變量之間存在一定的線性相關(guān)關(guān)系。48第8章相關(guān)分析與回歸分析ppt課件（全）2、偏相關(guān)在多變量情況下，偏相關(guān)系數(shù)是用來測定當(dāng)其他變量保持不變的情況下，任意兩個(gè)變量之間相關(guān)程度的指標(biāo)。它主要考察兩個(gè)變量之間的凈相關(guān)關(guān)系，從而反映現(xiàn)象之間的真實(shí)聯(lián)系。以兩個(gè)自變量的情形為例:

x1和y偏相關(guān)系數(shù)：

x2和y偏相關(guān)系數(shù)：49第8章相關(guān)分析與回歸分析ppt課件（全）回歸分析是要通過樣本所估計(jì)的參數(shù)來代替總體的真實(shí)參數(shù)。在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)。主要包括擬合優(yōu)度檢驗(yàn)、模型的顯著性檢驗(yàn)和變量的顯著性檢驗(yàn)，以及預(yù)測。8.3回歸模型的統(tǒng)計(jì)檢驗(yàn)和預(yù)測50第8章相關(guān)分析與回歸分析ppt課件（全）8.3.1擬合優(yōu)度檢驗(yàn)

擬合優(yōu)度檢驗(yàn)：對樣本回歸直線與樣本觀測值之間擬合程度的檢驗(yàn)。度量擬合優(yōu)度的指標(biāo)：判定系數(shù)（可決系數(shù)）R2問題：采用普通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測值，為什么還要檢驗(yàn)擬合程度？51第8章相關(guān)分析與回歸分析ppt課件（全）

如果Yi=?i即實(shí)際觀測值落在樣本回歸“線”上，則擬合最好?？烧J(rèn)為,“離差”全部來自回歸線，而與“殘差”無關(guān)。52第8章相關(guān)分析與回歸分析ppt課件（全）

對于所有樣本點(diǎn)，則需考慮這些點(diǎn)與樣本均值離差的平方和,可以證明：記總體平方和回歸平方和殘差平方和53第8章相關(guān)分析與回歸分析ppt課件（全）TSS=RSS+ESS

Y的觀測值圍繞其均值的總離差(totalvariation)可分解為兩部分：一部分來自回歸線(RSS)，另一部分則來自隨機(jī)勢力(ESS)。在給定樣本中，TSS不變，如果實(shí)際觀測點(diǎn)離樣本回歸線越近，則RSS在TSS中占的比重越大，因此

擬合優(yōu)度：回歸平方和RSS/Y的總離差TSS54第8章相關(guān)分析與回歸分析ppt課件（全）可決系數(shù)R2統(tǒng)計(jì)量

稱R2為（樣本）可決系數(shù)或判定系數(shù)

可決系數(shù)的取值范圍：[0，1]

R2越接近1，說明實(shí)際觀測點(diǎn)離樣本線越近，擬合優(yōu)度越高。55第8章相關(guān)分析與回歸分析ppt課件（全）8.3.2模型的顯著性檢驗(yàn)?zāi)Ｐ偷娘@著性檢驗(yàn)，就是檢驗(yàn)?zāi)Ｐ蛯傮w的近似程度，即檢驗(yàn)因變量y和模型中所以自變量的線性關(guān)系是否顯著。通常構(gòu)造F統(tǒng)計(jì)量進(jìn)行檢驗(yàn)，稱為F檢驗(yàn)。對多元線性回歸模型56第8章相關(guān)分析與回歸分析ppt課件（全）基本步驟如下：

1、提出假設(shè)2、計(jì)算檢驗(yàn)統(tǒng)計(jì)量：3、對給定的顯著水平

確定臨界值4、得出檢驗(yàn)結(jié)論：如果，則否定原假設(shè)，表明回歸模型是顯著的；反之，就不能否定原假設(shè)。57第8章相關(guān)分析與回歸分析ppt課件（全）8.3.3解釋變量的顯著性檢驗(yàn)變量的顯著性檢驗(yàn)是判斷解釋變量X是否對被解釋變量Y具有顯著的線性性影響，主要是針對變量的參數(shù)真值是否為零來進(jìn)行顯著性檢驗(yàn)的。多元線性回歸模型，檢驗(yàn)?zāi)硞€(gè)自變量x對y是否有顯著影響，進(jìn)行解釋變量的顯著性檢驗(yàn)。58第8章相關(guān)分析與回歸分析ppt課件（全）

檢驗(yàn)步驟：

1、對總體參數(shù)提出假設(shè)

4、比較，判斷若|t|>t/2(n--k-1)，則拒絕H0，接受H1；若|t|

t/2(n