第十三章多元回歸與多元相關分析

第十三章多元回歸與多元相關分析1第1頁，共27頁，2023年，2月20日，星期二第一節(jié)：多元回歸分析一、多元線性回歸模型多元線性回歸：是指具有兩個或兩個以上自變量，且各自變量均為一次項的回歸。多元回歸跟一元回歸在很多方面是相同的，只是多元回歸方法更復雜些，計算量相當大，一般通過計算機程序來完成計算。第2頁，共27頁，2023年，2月20日，星期二設因變量Y與自變量x1,x2,…xm有關系式：Y=a+b1x1+b2x2+…+bmxm+ε其中ε是隨機項。現(xiàn)有n組數(shù)據(jù)：（y1；x11，x21，…xm1）（y2；x12，x22，…xm2）

………..

（yn；x1n，x2n，…xmn）其中，xij是自變量xi的第j個值，yj是Y的第j個觀測值。第3頁，共27頁，2023年，2月20日，星期二假定：其中a,b1,…bm是待估參數(shù)；而ε1，ε2,…，εn相互獨立且服從相同的分布N（0，σ2

）第4頁，共27頁，2023年，2月20日，星期二樣本多元回歸方程為：第5頁，共27頁，2023年，2月20日，星期二二．多元線性回歸方程的建立同直線回歸一樣，用最小二乘法要使Q達到最小，就必須使Q的偏微分方程皆等于0，即有：第6頁，共27頁，2023年，2月20日，星期二………..………..整理得：第7頁，共27頁，2023年，2月20日，星期二其中：該方程組用矩陣表示為：第8頁，共27頁，2023年，2月20日，星期二若系數(shù)矩陣用A表示，未知項矩陣用b表示，常數(shù)矩陣用K表示，則可寫為：Ab=K(13.8)為了求解b，一般應先求出A的逆矩陣A-1，令：A-1是一個m階的對稱矩陣，即有cij=cji第9頁，共27頁，2023年，2月20日，星期二A-1A=I式12.8兩邊同乘以A-1，可得b=A-1K即：例13.1第10頁，共27頁，2023年，2月20日，星期二三、多元回歸的假設檢驗和置信區(qū)間（一）

多元線性回歸方程的估計標準誤其中：Sy/12…m——多元回歸方程的估計標準誤；Qy/12…m——多元回歸方程的離回歸平方和（剩余平方和）；df=n-(m+1)=n-m-1，因為在計算多元回歸方程時，已用去a,b1,b2,…,bm共m+1個統(tǒng)計數(shù)。第11頁，共27頁，2023年，2月20日，星期二與直線回歸分析類似，多元回歸中因變量y的總平方和也可分解為離回歸平方和（剩余平方和）與回歸平方和（Uy/12…m）即：例13.2第12頁，共27頁，2023年，2月20日，星期二（二）多元線性回歸方程的假設檢驗多元線性回歸關系假設檢驗的原理和方法與直線回歸關系的假設檢驗是一樣的。其假設為;HA:不全為0?？赏ㄟ^F檢驗來實現(xiàn)：式中：分子自由度df1=m，分母自由度df2=n-(m+1)第13頁，共27頁，2023年，2月20日，星期二這里應注意兩個問題：

1）多元線性回歸關系顯著不排斥有更合理的多元非線性回歸方程的存在；

2）多元線性回歸關系顯著也不排斥其中存在著與因變量y無線性關系的自變量，因此有必要對各偏回歸系數(shù)逐個進行假設檢驗，以便發(fā)現(xiàn)和剔除β=0的自變量。一般說來，只有當多元回歸方程的自變量的偏回歸系數(shù)均達到顯著時，多元回歸檢驗的F值才有確定意義。例13.3第14頁，共27頁，2023年，2月20日，星期二（三）偏回歸系數(shù)的假設檢驗偏回歸系數(shù)的假設檢驗是逐個分別計算各偏回歸系數(shù)bi來自βi=0的總體的概率。所作的假設為：偏回歸系數(shù)的假設檢驗有t檢驗和F檢驗兩種。t檢驗和F檢驗結果是完全一樣的（F=t2）,實際應用時可任選一種。第15頁，共27頁，2023年，2月20日，星期二（1）t檢驗偏回歸系數(shù)bi的標準誤為：符合df=n-(m+1)的t分布，故在H0:βi=0的假設下，由可知bi抽自βi的總體的概率。第16頁，共27頁，2023年，2月20日，星期二（2）F檢驗Upi——y在xi上的偏回歸平方和可確定bi來自βi=0的總體的概率。例13.4第17頁，共27頁，2023年，2月20日，星期二（四）多元線性回歸的區(qū)間估計多元線性回歸中因變量y的估計一般有兩種。

1）對各變量的一組取值所對應的y總體平均數(shù)μy/12…m的估計；

2）對各變量的一組取值所對應的單個y的估計（觀測值y）μy/12…m的置信區(qū)間為：第18頁，共27頁，2023年，2月20日，星期二單個y的置信區(qū)間可用下式估計：例13.5第19頁，共27頁，2023年，2月20日，星期二第二節(jié)多元相關分析一．多元相關分析多元相關或復相關:是指m個自變量和因變量的總相關。用多元相關系數(shù)Ry/12…m來表示m個自變量與因變量y總的密切程度。（13.32）第20頁，共27頁，2023年，2月20日，星期二Ry/12…m的取值區(qū)間為[0，1]，接近1，相關程度高，多元相關系數(shù)的假設檢驗用F檢驗，而不能用t檢驗。假設H0：ρ=0；對HA：ρ≠0，其F值為：（13.33）式中，df1=m,df2=n-m-1,R2=R2y/12…m多元相關系數(shù)的顯著性與多元回歸方程的顯著性一致，即Ry/12…m顯著，多元回歸方程必顯著。第21頁，共27頁，2023年，2月20日，星期二對同一資料，多元相關與多元回歸的假設檢驗只需要進行一種。由于在df1=m,df2=n=m-1一定時，給定顯著水平α的F值也一定，所以將式12.47移項整理，可得顯著水平為α時臨界R值：（13.34）R與比較，R>相關按自由度df=n-m-1和變量個數(shù)M=m+1查附表14，而不必直接計算。第22頁，共27頁，2023年，2月20日，星期二

稱決定系數(shù)它是多元回歸平方和占y的總變異平方和的比率。即有x%可由自變量的變異決定。例13.6P247第23頁，共27頁，2023年，2月20日，星期二二、偏相關偏相關系數(shù):在其他變量都保持一定時，表示指定的兩個變量之間相關密切程度的量值稱為偏相關系數(shù)。偏相關系數(shù)用r加下標表示。如三個變量x1,x2,x3則r12,3表示x3保持一定時，x1與x2的偏相關系數(shù)。偏相關系數(shù)的取值范圍和簡單相關系數(shù)一樣，也是[-1，1]。第24頁，共27頁，2023年，2月20日，星期二（一）偏相關系數(shù)的一般解法第一步：計算由簡單相關系數(shù)構成的相關矩陣R(xi,xj,y)：第二步：求其逆矩陣R-1第25頁，共27頁，2023年，2月20日，星期二第三步：計算偏相關系數(shù)rij.:例13.7第26頁，共27頁，2023年，2月20日，星期二（二）偏相關系數(shù)的間接解法當只有三個變量時，可用簡單相關系數(shù)間接計算偏相關系數(shù)。設三個變量為xi,xj,