講相關(guān)分析與回歸分析

講相關(guān)分析與回歸分析內(nèi)容概要概述相關(guān)分析偏相關(guān)分析回歸分析曲線估計第2頁,共45頁，2024年2月25日，星期天概述相關(guān)分析和回歸分析都是分析客觀事物之間相關(guān)性的數(shù)量分析方法。相互關(guān)系：函數(shù)關(guān)系與統(tǒng)計關(guān)系統(tǒng)計關(guān)系：不完全確定的隨機(jī)關(guān)系，當(dāng)一個或幾個相互聯(lián)系的變量取一定值時，與其相對應(yīng)的另一個變量取值雖不確定，但會按照某種規(guī)律在一定范圍內(nèi)變化。線性相關(guān)：正/負(fù)非線性相關(guān)第3頁,共45頁，2024年2月25日，星期天相關(guān)分析-散點(diǎn)圖將數(shù)據(jù)以點(diǎn)的形式畫在直角平面上。基本操作：圖形-舊對話框-散點(diǎn)/點(diǎn)狀第4頁,共45頁，2024年2月25日，星期天相關(guān)系數(shù)兩個步驟：計算樣本相關(guān)系數(shù)r；對樣本來自的兩總體是否存在顯著線性關(guān)系進(jìn)行推斷。提出零假設(shè)，即兩總體無線性相關(guān)性；選擇檢驗統(tǒng)計量；計算檢驗統(tǒng)計量的觀測值和對應(yīng)的概率p值；決策相關(guān)系數(shù)取值范圍r=0|r|<0.3|r|=0.3~0.5|r|=0.5~0.8|r|>0.8|r|=1相關(guān)程度無相關(guān)微弱相關(guān)低度相關(guān)顯著相關(guān)高度相關(guān)完全相關(guān)第5頁,共45頁，2024年2月25日，星期天相關(guān)系數(shù)的分類

Pearson簡單相關(guān)系數(shù)(皮爾遜)：用來度量正態(tài)分布的定距變量間的線性相關(guān)關(guān)系，Pearson簡單相關(guān)系數(shù)不能用于度量變量之間的非線性關(guān)系Spearman秩相關(guān)系數(shù)(斯皮爾曼)：采用非參數(shù)檢驗方法來度量定序變量間的線性相關(guān)關(guān)系，由于數(shù)據(jù)為非定距變量，因此不能直接采用原始數(shù)據(jù)，而是利用數(shù)據(jù)的秩Kendallτ秩相關(guān)系數(shù)(肯德爾)：采用非參數(shù)檢驗方法來度量定序變量間的線性相關(guān)關(guān)系第6頁,共45頁，2024年2月25日，星期天連續(xù)變量的相關(guān)分析Pearson簡單相關(guān)系數(shù)：其中為協(xié)方差，為標(biāo)準(zhǔn)差。x和y是對稱的，說明x與y的相關(guān)系數(shù)等同于y和x和相關(guān)系數(shù)；簡單相關(guān)系數(shù)是無量綱的；x和y做線性變換后可能改變相關(guān)系數(shù)的符號，但不會改變值；只能度量線性關(guān)系，不能度量非線性關(guān)系的。第7頁,共45頁，2024年2月25日，星期天對相關(guān)關(guān)系的顯著性進(jìn)行檢驗，該檢驗原假設(shè)是：兩總體相關(guān)系數(shù)等于0。t統(tǒng)計量：，服從自由度為n-2的t分布。第8頁,共45頁，2024年2月25日，星期天定序變量的相關(guān)分析-Spearmanui和vi分別表示變量x和y的秩變量，用di=ui-vi表示第i個樣本對應(yīng)于兩變量的秩之差。Spearman秩相關(guān)公式：兩變量正相關(guān)，秩變化有同步性，r趨向于1；兩變量完全正線性相關(guān)，ui和vi相等，r=1;完全負(fù)相關(guān)，ui+vi=n+1,r=-1;檢驗系數(shù)，原假設(shè)為：兩變量不相關(guān)。小樣本，服從Spearman分布；大樣本，服從標(biāo)準(zhǔn)正態(tài)分布。第9頁,共45頁，2024年2月25日，星期天定序變量的相關(guān)分析-Kendall秩相關(guān)系數(shù)設(shè)在v1后面有R1個秩大于v1，v2后面有R2個秩大于v2,.....在vn-1后面有Rn-1個秩大于vn-1，令顯然，變量x和y相關(guān)性越強(qiáng)，則R越大。Kendall秩相關(guān)系數(shù)：第10頁,共45頁，2024年2月25日，星期天舉例—kendall秩相關(guān)系數(shù)假如我們設(shè)一組8人的身高和體重在那里A的人是最高的，第三重，等等：注意，A最高，但體重排名為3，比體重排名為4,5,6,7,8的重，貢獻(xiàn)5個同序?qū)?，即AB，AE，AF，AG，AH。同理，我們發(fā)現(xiàn)B、C、D、E、F、G、H分別貢獻(xiàn)4、5、4、3、1、0、0個同序?qū)?，因此，R=5+4+5+4+3+1+0+0=22.因而rk=(88/56)-1=0.57。第11頁,共45頁，2024年2月25日，星期天定類變量的相關(guān)分析卡方檢驗離散變量的相關(guān)性，稱為列聯(lián)表分析。用多行多列縱橫交錯形成一個表體。Eij為聯(lián)合觀察頻數(shù)；ni.為第i行觀察頻數(shù)之和，n.j為第j列觀察頻數(shù)之和。Pearson卡方統(tǒng)計量：該檢驗的原假設(shè)為：兩變量相互獨(dú)立。第12頁,共45頁，2024年2月25日，星期天舉例：列聯(lián)表分析第13頁,共45頁，2024年2月25日，星期天第14頁,共45頁，2024年2月25日，星期天第15頁,共45頁，2024年2月25日，星期天第16頁,共45頁，2024年2月25日，星期天第17頁,共45頁，2024年2月25日，星期天第18頁,共45頁，2024年2月25日，星期天案例6.1雙變量相關(guān)分析案例6.1.sav的資料給出了杭州市2006年市區(qū)分月統(tǒng)計的平均溫度和日照時數(shù)。試據(jù)此分析平均溫度和日照時數(shù)的相關(guān)性。第19頁,共45頁，2024年2月25日，星期天偏相關(guān)分析很多情況下，需要進(jìn)行相關(guān)分析的變量的取值會同時受到其他變量的影響，這時候就需要把其他變量控制住，然后輸出控制其他變量影響后的相關(guān)系數(shù)。SPSS的偏相關(guān)分析(Partial)過程就是為解決這一問題而設(shè)計的?？刂谱兞總€數(shù)為一時，偏相關(guān)系數(shù)稱為一階偏相關(guān)，為2則是二階偏相關(guān)。第20頁,共45頁，2024年2月25日，星期天步驟：計算樣本的偏相關(guān)系數(shù)對樣本來自兩總體是否存在顯著凈相關(guān)進(jìn)行推斷：提出零假設(shè)：兩總體的偏相關(guān)系數(shù)與零無顯著差異；選擇檢驗統(tǒng)計量t；計算檢驗統(tǒng)計量的觀測值和對應(yīng)的概率p值；決策。第21頁,共45頁，2024年2月25日，星期天案例6.2案例6.2.sav的資料給出了隨機(jī)抽取的山東省某學(xué)校的12名學(xué)生的IQ值、語文成績和數(shù)學(xué)成績。因為語文成績和數(shù)學(xué)成績都受IQ的影響，所以試用偏相關(guān)分析研究學(xué)生語文成績和數(shù)學(xué)成績的相關(guān)關(guān)系。第22頁,共45頁，2024年2月25日，星期天案例6.3距離分析SPSS的距離分析(Distances)也屬于相關(guān)分析的范疇，其基本功能是對樣本觀測值之間差異性或者相似程度進(jìn)行度量，從而對數(shù)據(jù)形成一個初步的了解。這種分析方法主要應(yīng)用在分析之前對數(shù)據(jù)背后的專業(yè)知識不夠充分了解，進(jìn)行探索性研究的情形。案例6.3.sav的資料給出了沈陽、大連和鞍山2006年各月的平均氣溫情況。試用距離分析方法研究這三個地區(qū)月平均氣溫的相似程度。第23頁,共45頁，2024年2月25日，星期天回歸分析回歸分析是研究兩個變量或多個變量之間因果關(guān)系的統(tǒng)計方法?；舅枷耄涸谶M(jìn)行相關(guān)分析的基礎(chǔ)上，對確定具有相關(guān)關(guān)系的兩個或多個變量之間數(shù)量變化的一般關(guān)系進(jìn)行測定，確定一個合適的數(shù)學(xué)模型，以便從已知量來推斷未知量。第24頁,共45頁，2024年2月25日，星期天相關(guān)分析與回歸分析的區(qū)別相關(guān)分析研究的變量之間關(guān)系是對等的，回歸分析研究的變量有解釋和被解釋之分；相關(guān)分析研究的是隨機(jī)變量，回歸分析被解釋變量是隨機(jī)變量，而解釋變量非隨機(jī)；相關(guān)分析不能指出變量間相互關(guān)系的具體形式，回歸分析可以通過一個數(shù)學(xué)表達(dá)式來確定變量之間相關(guān)情況的具體形式。第25頁,共45頁，2024年2月25日，星期天一般步驟：確定回歸方程中的解釋變量和被解釋變量確定回歸模型建立回歸方程對回歸方程進(jìn)行各種檢驗利用回歸方程進(jìn)行預(yù)測第26頁,共45頁，2024年2月25日，星期天線性回歸數(shù)學(xué)模型：使用最小二乘法對模型中的回歸系數(shù)進(jìn)行估計，得到樣本回歸函數(shù)：

是的估計值，是與其擬合值之間的離差，稱為殘差。第27頁,共45頁，2024年2月25日，星期天線性回歸建立在以下基本假設(shè)之上對于所有的i，存在：不同的隨機(jī)擾動項之間不存在序列相關(guān)，即：解釋變量是非隨機(jī)的，與隨機(jī)擾動項不相關(guān)K個解釋變量不存在共線性第28頁,共45頁，2024年2月25日，星期天線性回歸模型的檢驗一級檢驗統(tǒng)計學(xué)檢驗二級檢驗經(jīng)濟(jì)計量學(xué)檢驗擬合優(yōu)度評價顯著性檢驗異方差檢驗序列相關(guān)檢驗第29頁,共45頁，2024年2月25日，星期天1)模型擬合優(yōu)度評價是指樣本觀測值聚集在樣本回歸線周圍的緊密程度，也反應(yīng)了回歸方程對被解釋變量的解釋程度。SST=SSR+SSE(總變差，解釋變差，剩余變差)可決系數(shù)：R2=SSR/SST=1-SSE/SST（一元線性回歸方程）調(diào)整的可決系數(shù)：（多元線性回歸方程）解釋變量增多時，SSE減少，R2增加；有重要“貢獻(xiàn)”的解釋變量出現(xiàn)。第30頁,共45頁，2024年2月25日，星期天2）回歸方程整體顯著性檢驗包含回歸方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗兩個部分?；貧w方程的顯著性檢驗：檢驗線性關(guān)系是否顯著(1)建立原假設(shè)：,即回歸方程整體不顯著；，即回歸方程整體顯著。(2)構(gòu)造F統(tǒng)計量：(3)計算F統(tǒng)計量和對應(yīng)的p值(4)對比p值和ɑ。第31頁,共45頁，2024年2月25日，星期天3）回歸系數(shù)的顯著性檢驗(1)建立原假設(shè)：,即第j個回歸系數(shù)不顯著；，即第j個回歸系數(shù)顯著。(2)構(gòu)造t統(tǒng)計量：(3)計算t統(tǒng)計量和對應(yīng)的p值(4)對比p值和ɑ。第32頁,共45頁，2024年2月25日，星期天4）殘差分析殘差：殘差序列：多個ei出發(fā)點(diǎn)：如果回歸方程能較好地反映被解釋變量的特征和變化規(guī)律，那么殘差序列中應(yīng)不包含明顯的規(guī)律性和趨勢性。（1）殘差均值為0的正態(tài)性分析；（2）殘差的獨(dú)立性分析：繪制殘差序列的序列圖；計算殘差的自相關(guān)系數(shù)；DW檢驗。（零假設(shè)：總體的自相關(guān)系數(shù)ρ與0無顯著差異。）第33頁,共45頁，2024年2月25日，星期天當(dāng)隨機(jī)擾動項存在序列相關(guān)時，進(jìn)行Durbin-Watson檢驗：0<DW<dL:隨機(jī)擾動項存在一階正序列相關(guān)；4-dL<DW<4：隨機(jī)擾動項存在一階負(fù)序列相關(guān)；dU<DW<4-dU：隨機(jī)擾動項不存在序列相關(guān)；dL<DW<dU或者4-dU<DW<4-dL：不能確定是否存在序列相關(guān)。第34頁,共45頁，2024年2月25日，星期天正相關(guān)不相關(guān)負(fù)相關(guān)第35頁,共45頁，2024年2月25日，星期天如果殘差序列存在自相關(guān)，說明回歸方程沒能充分說明被解釋變量的變化規(guī)律，還留有一些規(guī)律性沒有被解釋，也就是方程中遺漏了一些較為重要的的解釋變量；或者，變量存在滯后性；或者，回歸模型選擇不合適。第36頁,共45頁，2024年2月25日，星期天（3）異方差（heteroscedasticity）分析：總體回歸函數(shù)中的隨機(jī)誤差項滿足同方差性,即它們都有相同的方差。如果這一假定不滿足,則稱線性回歸模型存在異方差性。兩種方式：繪制殘差圖（p193圖）等級相關(guān)分析（得到殘差序列后對其取絕對值，分別計算出殘差和解釋變量的秩，最后計算Spearman等級相關(guān)系數(shù)，進(jìn)行等級相關(guān)分析。）第37頁,共45頁，2024年2月25日，星期天５）多元回歸分析的其他問題（１）變量的篩選問題：向前篩選—解釋變量不斷進(jìn)入回歸方程的過程，最高線性相關(guān)系數(shù)的變量最先進(jìn)入；向后篩選—變量不斷剔除出回歸方程的過程，先全部引入，把最不顯著的一個或多個變量剔除；逐步篩選—向前和向后的綜合，在引入變量的每個階段提供剔除不顯著變量的機(jī)會。第38頁,共45頁，2024年2月25日，星期天（２）變量的多重共線性問題：指各個解釋變量之間存在線性相關(guān)關(guān)系的現(xiàn)象。容忍度：方差膨脹因子：，大于10時，存在多重共線性條件指數(shù)：，在10以下，多重共線性比較弱，大于100時，存在嚴(yán)重的多重共線性。方差比例：幾個不同解釋變量，某個特征根能夠解釋的方差比例超過50%，則認(rèn)為存在較強(qiáng)共線性。第39頁,共45頁，2024年2月25日，星期天案例6.4簡單線性回歸分析菲利普斯曲線表明，失業(yè)率和通貨膨脹率之間存在著替代關(guān)系。下面的資料給出了我國1998-2007年的通貨膨脹率和城鎮(zhèn)登記失業(yè)率。試用簡單回歸分析方法研究這種替代關(guān)系在我國是否存在。第40頁,共45頁，2024年2月25日，星期天結(jié)果分析回歸模型：R（失業(yè)率）=3.601+0.157*I（通貨膨脹率）調(diào)整后