Ch線性關(guān)系的分析相關(guān)與回歸課件

1、第十三章 相關(guān)與迴歸1/26課程目標(biāo)瞭解線性關(guān)係的概念瞭解相關(guān)係數(shù)的原理瞭解其他類型的相關(guān)係數(shù)的概念瞭解迴歸分析的原理瞭解迴歸分析的假設(shè)熟習(xí)相關(guān)與迴歸的SPSS統(tǒng)計應(yīng)用第1頁，共25頁。第十三章 相關(guān)與迴歸2/26 線性關(guān)係的分析原理線性關(guān)係（linear relationship）指兩個變項的關(guān)係呈現(xiàn)直線般的共同變化數(shù)據(jù)的分佈可以被一條最具代表性的直線來表達(dá)的關(guān)聯(lián)情形 。 該直線之方程式為Y=bx+a，b為斜率（即y/x，每單位的X變動時，在Y軸上所變動的量） 線性關(guān)係可以散佈圖來表現(xiàn) 第一節(jié)第2頁，共25頁。第十三章 相關(guān)與迴歸3/26五種不同的相關(guān)情形完全正相關(guān)（perfect posi

2、tive correlation）完全負(fù)相關(guān)（perfect negative correlation）正相關(guān)（positive correlation）負(fù)相關(guān)（negative correlation）零相關(guān)（zero correlation） 第二節(jié)第3頁，共25頁。第十三章 相關(guān)與迴歸4/26相關(guān)分析的圖示第二節(jié)第4頁，共25頁。第十三章 相關(guān)與迴歸5/26積差相關(guān)的假設(shè)考驗 相關(guān)係數(shù)是否具有統(tǒng)計上的意義，則必須透過統(tǒng)計考驗(t-test)來判斷從樣本得到的r是否來自於相關(guān)為0的母體，即H0:XY=（0=0）相關(guān)係數(shù)的t檢定的自由度為N-2，因為兩個變項各取一個自由度進(jìn)行樣本變異數(shù)估計

3、第二節(jié)第5頁，共25頁。第十三章 相關(guān)與迴歸6/26相關(guān)係數(shù)的特質(zhì)隨著共變數(shù)的大小與正負(fù)向，相關(guān)係數(shù)可以分為正相關(guān)(完全正相關(guān))、負(fù)相關(guān)(完全負(fù)相關(guān))、零相關(guān)五種情形。相關(guān)的大小需經(jīng)顯著性檢定來證明是否顯著(是否有統(tǒng)計上的意義)。相關(guān)係數(shù)介於-1至1之間。相關(guān)情形的大小非與r係數(shù)大小成正比相關(guān)並不等於因果相關(guān)係數(shù)沒有單位, 可以進(jìn)行跨樣本的比較第二節(jié)第6頁，共25頁。第十三章 相關(guān)與迴歸7/26相關(guān)係數(shù)的強度大小與意義 第二節(jié)第7頁，共25頁。第十三章 相關(guān)與迴歸8/26點二系列相關(guān)係數(shù)適用於二分變數(shù)的相關(guān)係數(shù)計算rpb的係數(shù)數(shù)值介於1.0之間，絕對值越大，表示兩個變項的關(guān)係越強當(dāng)rpb係數(shù)為

4、正時，表示二分變項數(shù)值大者，在連續(xù)變項上的得分越高當(dāng)rpb係數(shù)為負(fù)時，表示二分變項數(shù)值小者，在連續(xù)變項上的得分越高當(dāng)p與q數(shù)值為越接近0.5時，rpb的數(shù)值才有可能接近1.0二分變項也可以視為一種連續(xù)變項，其與其他任何連續(xù)變項的相關(guān)，即等於Pearsons r 第三節(jié)第8頁，共25頁。第十三章 相關(guān)與迴歸9/26eta係數(shù) 適用於一個類別變項與連續(xù)變項的相關(guān)，可以反應(yīng)非線性關(guān)係的強度 原理是計算類別變項的每一個數(shù)值（類別）下，連續(xù)變項的離散情形佔全體變異量的比例各類別中，在連續(xù)變項上的組內(nèi)離均差平方和，佔總離均差平方和的百分比（以X無法解釋Y的誤差部分），比例越小，表示兩變項的關(guān)聯(lián)越強 係數(shù)數(shù)

5、值類似積差相關(guān)係數(shù)，介於0至1之間，取平方後稱為2，具有削減誤差百分比（PRE）的概念，又稱為相關(guān)比（correlation ratio） 第三節(jié)第9頁，共25頁。第十三章 相關(guān)與迴歸10/26偏相關(guān)與部分相關(guān) 偏相關(guān)（partial correlation）與部分相關(guān)（part correlation）計算兩個變項的相關(guān)係數(shù)時，把第三變項的影響加以控制的技術(shù) (b)YXYX(a)C(c)YXC(d)YXC(e)YXC第三節(jié)第10頁，共25頁。第十三章 相關(guān)與迴歸11/26淨(jìng)相關(guān)與部份相關(guān) 線性關(guān)係的統(tǒng)計控制如果兩個連續(xù)變項之間的關(guān)係，可能受到其他變項的干擾之時，或研究者想要把影響這兩個變項的

6、第三個變項效果排除，可以利用控制的方式，將第三變項的效果進(jìn)行統(tǒng)計的控制。 淨(jìng)相關(guān) 在計算兩個連續(xù)變項X1與X2的相關(guān)之時，將第三變項（X3）與兩個相關(guān)變項的相關(guān)r13與r23予以排除之後的純淨(jìng)相關(guān)，以r123來表示。 部份相關(guān) 計算X1與X2的單純相關(guān)，如果在計算排除效果之時，僅處理第三變項與X1與X2當(dāng)中某一個變項的相關(guān)之時，所計算出來的相關(guān)係數(shù)，稱之為部份相關(guān)，或稱為半淨(jìng)相關(guān)（semipartial correlation） 第三節(jié)第11頁，共25頁。第十三章 相關(guān)與迴歸12/26均值迴歸（regression toward the mean）緣起1855年，英國學(xué)者Galton以“Reg

7、ression toward mediocrity in heredity stature”，分析孩童身高與父母身高之間的關(guān)係父母的身高可以預(yù)測子女的身高：當(dāng)父母身高越高或越矮時，子女的身高會較一般孩童高或矮當(dāng)父母親身高很高或很矮（極端傾向）時，子女的身高會不如父母親身高的極端化，而朝向平均數(shù)移動（regression toward mediocrity） 第四節(jié)第12頁，共25頁。第十三章 相關(guān)與迴歸13/26迴歸原理迴歸原理將連續(xù)變項的線性關(guān)係以一最具代表性的直線來表示，建立一個線性方程式Y(jié)=bX+a ，b為斜率，a為截距 透過此一方程式，代入特定的X值，求得一個Y的預(yù)測值。此種以單一獨變

8、項X去預(yù)測依變項Y的過程，稱為簡單迴歸（simple regression） 最小平方法與迴歸方程式 配對觀察值（X,Y），將X值代入方程式，得到的數(shù)值為對Y變項的預(yù)測值，記為Y差值Y-Y稱為殘差（residual），表示利用迴歸方程式無法準(zhǔn)確預(yù)測的誤差最小平方法：求取殘差的平方和最小化的一種估計迴歸線的方法利用此種原理所求得的迴歸方程式，稱為最小平方迴歸線第四節(jié)第13頁，共25頁。第十三章 相關(guān)與迴歸14/26迴歸方程式與未標(biāo)準(zhǔn)化迴歸係數(shù) 迴歸方程式 的斜率與截距 第四節(jié)第14頁，共25頁。第十三章 相關(guān)與迴歸15/26標(biāo)準(zhǔn)化迴歸係數(shù)（standardized regression coef

9、ficient） 標(biāo)準(zhǔn)化迴歸係數(shù)將b值乘以X變項的標(biāo)準(zhǔn)差再除以Y變項的標(biāo)準(zhǔn)差，即可去除單位的影響，得到一個不具特定單位的標(biāo)準(zhǔn)化迴歸係數(shù)標(biāo)準(zhǔn)化迴歸係數(shù)稱為（Beta）係數(shù)。係數(shù)是將X與Y變項所有數(shù)值轉(zhuǎn)換成Z分?jǐn)?shù)後，所計算得到的迴歸方程式的斜率 係數(shù)具有與相關(guān)係數(shù)相似的性質(zhì)，數(shù)值介於-1至+1之間絕對值越大者，表示預(yù)測能力越強，正負(fù)向則代表X與Y變項的關(guān)係方向 第四節(jié)第15頁，共25頁。第十三章 相關(guān)與迴歸16/26迴歸誤差與可解釋變異 觀察值Y=bX+a+e 迴歸方程式為誤差為兩者之差：e=Y- Y第四節(jié)第16頁，共25頁。第十三章 相關(guān)與迴歸17/26迴歸解釋變異量 迴歸解釋變異量(R2)表示

10、使用X去預(yù)測Y時的預(yù)測解釋力（獨變項對於依變項的解釋力）即Y變項被自變項所削減的誤差百分比 第四節(jié)第17頁，共25頁。第十三章 相關(guān)與迴歸18/26調(diào)整迴歸解釋變異量 R2無法反應(yīng)模型的複雜度（或簡效性）簡效性（ parsimony ）問題不斷增加獨變項，R2不會減低（R2為獨變項數(shù)目的非遞減函數(shù)）研究者為了提高模型的解釋力，不斷的投入獨變項，每增加一個獨變項，損失一個自由度，最後模型中無關(guān)的獨變項過多，自由度變項，失去了簡效性調(diào)整後R2 （adjusted R2）為了處罰增加獨變項所損失的簡效性，將自由度的變化作為分子與分母項的除項加以控制，可以反應(yīng)因為獨變項數(shù)目變動的簡效性損失的影響 當(dāng)獨

11、變項數(shù)目（p）越多，adjR2越小當(dāng)樣本數(shù)越大，對於簡效性處罰的作用越不明顯 第四節(jié)第18頁，共25頁。第十三章 相關(guān)與迴歸19/26迴歸模型的顯著性考驗 R2的基本原理是變異數(shù)，因此對於R2的檢定可利用F考驗來進(jìn)行 第四節(jié)第19頁，共25頁。第十三章 相關(guān)與迴歸20/26估計標(biāo)準(zhǔn)誤 預(yù)測誤差e是一個呈現(xiàn)常態(tài)分配的隨機變數(shù)，平均數(shù)為0，標(biāo)準(zhǔn)差為se估計標(biāo)準(zhǔn)誤的計量性質(zhì)是標(biāo)準(zhǔn)差，因此可用以反應(yīng)誤差分配的離散情形標(biāo)準(zhǔn)誤越大，估計誤差越大標(biāo)準(zhǔn)誤越小，估計誤差越小 估計標(biāo)準(zhǔn)誤取誤差變異的平方和除以自由度（N-k-1）的開方，亦即F考驗當(dāng)中的誤差均方（MSe）的開方 第四節(jié)第20頁，共25頁。第十三章

12、相關(guān)與迴歸21/26迴歸模型的參數(shù)估計 個別的迴歸係數(shù)b或可以用以說明預(yù)測變項對於依變項的解釋力迴歸係數(shù)數(shù)值的統(tǒng)計意義需經(jīng)過假設(shè)考驗來檢驗R2的顯著性考驗是迴歸分析的整體考驗（overall test） 迴歸係數(shù)的考驗可視為事後考驗（post hoc test）迴歸係數(shù)的考驗H0：=0利用t檢定，自由度為N-p-1：第四節(jié)第21頁，共25頁。第十三章 相關(guān)與迴歸22/26迴歸係數(shù)的區(qū)間估計 b係數(shù)為未標(biāo)準(zhǔn)化係數(shù)，用以反應(yīng)獨變項對於依變項的影響程度b係數(shù)可以得知獨變項的變動在依變項的變動情形利用模型的迴歸係數(shù)標(biāo)準(zhǔn)誤，b係數(shù)的區(qū)間估計可用來推估母數(shù)出現(xiàn)的範(fàn)圍利用b係數(shù)的95%信心估計區(qū)間是否涵蓋0

13、，來檢驗b係數(shù)是否顯著不等於0第四節(jié)第22頁，共25頁。第十三章 相關(guān)與迴歸23/26迴歸分析的基本假設(shè)(一)固定自變項假設(shè)（fixed variable）特定自變數(shù)的特定數(shù)值應(yīng)可以被重複獲得，然後得以此一特定的Xi代入方程式而得到預(yù)測值。(二)線性關(guān)係假設(shè)（linear relationship）當(dāng)X與Y的關(guān)係被納入研究之後，迴歸分析必須建立在變項之間具有線性關(guān)係的假設(shè)成立上。(三)常態(tài)性假設(shè)（normality）迴歸分析中的所有觀察值Y是一個常態(tài)分配，即Y來自於一個呈常態(tài)分配的母群體。因此經(jīng)由迴歸方程式所分離的誤差項e，即由特定Xi所預(yù)測得到的與實際Yi之間的差距，也應(yīng)呈常態(tài)分配。誤差項e的平均數(shù)為0。(四)誤差獨立性假設(shè)（independence）誤差項除了應(yīng)呈隨機化的常態(tài)分配，不同的X所產(chǎn)生的誤差之間應(yīng)相互獨立，無相關(guān)存在，也就是無自我相關(guān)（nonautocorrela