衛(wèi)生統(tǒng)計學11多元回歸與多元逐步回歸

1、醫(yī)學統(tǒng)計學Tel：E-Mail：醫(yī)學統(tǒng)計學 馬斌榮主編人民衛(wèi)生出版社 2004年第四版 第十一章 多元回歸與多元逐步回歸 (Multiple Regression & Stepwise Multiple Regression)第一節(jié) 多元線性回歸的一般解法第二節(jié) 二元回歸方程的計算實例第三節(jié) 多元逐步回歸第四節(jié) 使用多元回歸的注意事項 予備知識 予備知識第一節(jié) 多元線性回歸的一般解法 設(shè)與應變量Y 有關(guān)的自變量有k個，記為X1, X2, X3, ., Xk?，F(xiàn)觀察了n 例 表11.1 多元線性回歸原始觀察數(shù)據(jù)試作Y 與 X1, X2, X3, .,Xk 多元直線回歸方程第一節(jié) 多元線性回歸的一

2、般解法假設(shè)多元線性回歸方程為：多元線性回歸的一般步驟：1.求 系數(shù) 及2.對整個回歸方程作假設(shè)檢驗3. 對每一個自變量 作假設(shè)檢驗。無統(tǒng)計學意義？ 如何辦？ 如果某幾個自變量 無統(tǒng)計學意義 即 較小如何辦？第一節(jié) 多元線性回歸的一般解法1.求 系數(shù) 及假設(shè)多元線性回歸方程為：其中 ， 為待定常數(shù)。假設(shè)為已知根據(jù)觀察到的n 例數(shù)據(jù)，代入上述公式可得第i例的應變量 之估計值 。建立等式： 根據(jù)最小二乘法，應該使所選定的b1, b2, ., bk 能夠讓上述公式的Q 值達極小。 為了使Q達極小，可將Q 對b1, b2, ., bk求一價偏導數(shù)，并使之等于0，經(jīng)化簡可得下列方程組：其中當i=j時，為各

3、自變量的離均差平方和；當ij時，為兩兩間的離均差積和為各自變量與應變量的離均差積和對于線性方程組可利用行列式，求出系數(shù)b1, b2, b3, ., bk。再用公式 求得b0，第一節(jié) 多元線性回歸的一般解法二、 多元線性回歸方程的假設(shè)檢驗用樣本的測定值作多元回歸分析，不可避免地存在著抽樣誤差。因此，在建立起多元線性回歸方程后，還必須對該方程作假設(shè)檢驗1. H0：所有自變量對應變量都無線性回歸關(guān)系。2. 計算 值SS回歸=b1L1Y+b2L2Y +bkLkSS殘差=SS總SS回歸df總=n 1,df回歸=回歸變量數(shù) = k ,df殘差=nk13. 根據(jù)df1 = k, df2 = nk1 查F 值

4、表求出 0.05(k,n-k-1)及0.01(k,n-k-1), 并與F 值比較，作出結(jié)論。第一節(jié) 多元線性回歸的一般解法三、偏回歸系數(shù)的假設(shè)檢驗 為了檢驗每個自變量是否對 都存在線性回歸關(guān)系，需分別對每個自變量(即相應的偏回歸系數(shù))進行檢驗，以免把作用不顯著的自變量引入回歸方程中。這同樣可用 檢驗 1. 將所有k個自變量Xj (j =1,2,.,k) 都引入回歸方程中， 得到回歸平方和及殘差平方和，記為SS回歸及SS殘差。 2. 將擬檢驗的某個自變量Xi 從回歸方程中取出后，重新建立起 一個含k -1個自變量X1, X2, ., Xi-1, Xi+1, ., Xk 的 回歸方程，并得到不含X

5、i作用的回歸平方和SS回歸(-i)。 則 SS回歸SS回歸(-i) 就是在其他自變量已在回歸方程中的條 件下， Xi 單獨引起的回歸平方和的改變量， 把這個量稱為Xi 的偏回歸平方和。 第一節(jié) 多元線性回歸的一般解法3. 用 值來檢驗該Xi 的回歸效應是否顯著， 值的計算公式為4. 根據(jù)df1 = 1, df2 = nk1 查F 值表求出 0.05(1,n-k-1)及0.01(1,n-k-1), 并與F 值比較，作出結(jié)論。第一節(jié) 多元線性回歸的一般解法 應該注意： 從回歸方程中剔除一個自變量，譬如Xj，這決不是簡單地把bjXj 項從方程中剔除就完事，而是應從余下的k - 1個變量著手，重新建立

6、含有k - 1個自變量的新方程組，然后再解出新的 。一般來說，新的 回歸系數(shù) 與原來的bi是不同的。這是因為偏回歸系數(shù)之間存在著相關(guān)性，當從原方程剔除一個變量時，其他變量，特別是與它有密切關(guān)系的一些變量的偏回歸系數(shù)就會受到影響，有時影響是很大的。 第一節(jié) 多元線性回歸的一般解法應該注意： 在用F 檢驗對偏回歸系數(shù)進行一次檢驗后，只能剔除其中一個因子，這個因子是所有不顯著因子中F 值最小的。然后重新建立新的方程，再對新的偏回歸系數(shù)進行逐個檢驗，直到余下的偏回歸系數(shù)都有統(tǒng)計學意義時為止。 第一節(jié) 多元線性回歸的一般解法 在許多情況下，需要比較各個自變量對應變量的相對貢獻大小。但是，由于各自變量的測

7、量單位不同，單從各偏回歸系數(shù)的絕對值大小來分析不易得出正確結(jié)論。為此，首先對各偏回歸系數(shù)進行標準化處理，即消除測量單位的影響，然后比較各標準化的偏回歸系數(shù)的大小以反映各自對應變量的貢獻大小。 標準化偏回歸系數(shù) 的計算公式為：式中Si及Sy 分別為自變量Xi 及應變量Y 的標準差，bi 為Xi 的偏回歸系數(shù)應該注意：第二節(jié) 二元回歸方程的計算實例例11.1 20名兒童的血紅蛋白Y (g/100ml)與微量元素鈣X1 g/100ml)和鐵X2 (g/100ml)的測定結(jié)果如表11.2，試作多元線性回歸。 表11.2 20例兒童的血紅蛋白和微量元素的測定結(jié)果 第二節(jié) 二元回歸方程的計算實例一、 計算

8、回歸系數(shù) L11 = 74923.12 - (1208.67)2/ 20 = 1878.9616L22 = 3519638.96 - (8353.67)2/ 20 = 30444.8366L12 = 507772.11 - (1208.67)(8353.67)/ 20 = 2930.5941L1Y = 14131.85 - (1208.67)(233.5)/ 20 = 20.6278L2Y = 98397.80 - (8353.67)(233.5)/ 20 = 868.7028LYY = 2771.88 - (233.5)2/ 20 = 45.7675建立聯(lián)立方程：解此方程，可求得； b1 =

9、 -0.0394 b2 = 0.0323 b0 = 11.68 - (-0.0394) (60.43) - (0.0323) (417.68) = 0.5699最后可得方程： =0.5699 - 0.0394 X1 + 0.0323 X2第二節(jié) 二元回歸方程的計算實例二、 多元線性回歸方程的假設(shè)檢驗用樣本的測定值作多元回歸分析，不可避免地存在著抽樣誤差。因此，在建立起多元線性回歸方程后，還必須對該方程作假設(shè)檢驗該假設(shè)檢驗可用方差分析，1. H0：所有自變量對應變量都無線性回歸關(guān)系。2. 計算 值45.7675SS回歸=b1L1Y+b2L2Y +bkLk(-0.0394)(20.6278)+(0

10、.0323)(868.7028)=27.2464SS殘差=SS總SS回歸45.7675-27.2464=18.5211df總=n 1 = 20-1 = 19,df回歸=回歸變量數(shù) k = 2,df殘差=nk1=20-2-1=17第二節(jié) 二元回歸方程的計算實例3.df回歸2, df殘差17 查 界值表 0.05(2,17)3.59 0.01(2,17)6.114. 本例 0.01(2,17), 所以P 0.01 拒絕H0 ，故總體上認為微量元素鈣和鐵對血紅蛋白有回歸關(guān)系。第二節(jié) 二元回歸方程的計算實例1. 將微量元素鈣X1 和鐵X2 全部納入回歸方程中，得到的 SS回歸27.2464 SS殘差1

11、8.5211 三、偏回歸系數(shù)的假設(shè)檢驗2. 把X1 從回歸方程中取出，而單獨建立X2 與Y 的回歸方程 為: = -0.2415 + 0.02853 X2，此時 SS回歸( -1 )24.78423. 若把X2 從回歸方程中取出， 而單獨建立X1 與Y 的回歸方程 為: = 11.0116 + 0.010977 X1，此時 SS回歸( -2 )0.2264第二節(jié) 二元回歸方程的計算實例4. 進行F 檢驗 查F 界值表，得 0.05(1,17)4.45 0.01(1,17)8.40 可以認為X1 (鈣)對血紅蛋白的線性回歸無統(tǒng)計學意義。 但是X2(鐵)對血紅蛋白的線性回歸有統(tǒng)計學意義。結(jié)論為：應

12、把X1 剔除，只建立X2 與Y 的線性回歸方程，即： = -0.2415 + 0.02853 X2 第三節(jié) 多元逐步回歸 一、基本思路幾個自變量與一個因變量關(guān)系的回歸方程中，每個自變量對因變量變化所起的作用進行假設(shè)檢驗結(jié)果，可能有些有統(tǒng)計學意義，有些無統(tǒng)計學意義。一個較理想的回歸方程， 應包括所有對因變量有統(tǒng)計學意義的自變量， 而不包括作用無統(tǒng)計學意義的自變量。建立這樣一個回歸方程較理想的方法之一是 多元逐步回歸分析法第三節(jié) 多元逐步回歸二、基本原理：1. 按每個自變量對因變量作用大小，由大到小依次逐個引入回歸方程2. 每引入一個自變量，都要對回歸方程中每一個（包括剛被引入的） 自變量的作用作

13、假設(shè)檢驗。當發(fā)現(xiàn)一個或幾個作用無統(tǒng)計學意義 變量被引入時，即行逐個剔除，3. 每剔除一個自變量后，也要對仍留在回歸方程中的自變量逐個作假 設(shè)檢驗。如果發(fā)現(xiàn)方程中還存在作用無顯著意義的自變量時， 也予以剔除，4. 直至沒有自變量可引入，也沒有自變量可從回歸方程中剔除為止。第四節(jié) 使用多元回歸的注意事項1. 使用多元回歸時，它是將所有變量都列入回歸方程中。因此，同時求出b1,b2, .,bk, 所以必須再作“回歸方程的假設(shè)檢驗”及“偏回歸系數(shù)的假設(shè)檢驗”，從而確定究竟哪些變量應列入回歸方程。2. 不能簡單的用回歸系數(shù)b1, b2, ,bk的絕對值大小來確定其回歸作用的大小，而要對這些系數(shù)作標準化處理后，才可作其作用大小的比較。 第四節(jié) 使用