多重線性回歸

1、多重回歸與相關(guān)(Multiple regression and correlation)一、基本概念：由于大自然是復(fù)雜的，其中的現(xiàn)象大部分不是一對一的關(guān)系，不能用線 性回歸與相關(guān)來解決問題。女口：人的體重與身高有關(guān)，也與胸圍有關(guān)；血壓值的大小除了與年齡有 關(guān)外，還受到性別、勞動強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史等因素的影響。多重回歸與多重相關(guān)是研究一個因變量和多個自變量之間線性關(guān)系的統(tǒng)計(jì)學(xué)分析方法。1. 多個自變量與一個因變量的數(shù)量關(guān)系多重回歸2. 多個自變量與多個因變量的數(shù)量關(guān)系多元回歸3. 多個變量與一個變量的相關(guān)關(guān)系多重相關(guān)4. 多個變量與多個變量的相關(guān)關(guān)系典則相關(guān)5. 扣除其它變量影響后

2、一變量與另一變量的相關(guān)關(guān)系偏相關(guān)本章僅討論多重線性回歸、多重線性相關(guān)和偏相關(guān)。二、多重線性回歸模型與參數(shù)估計(jì) ：(一)多重線性回歸模型：設(shè)觀察了 n個對象，每個對象觀察了因變量Y和p個自變量，模型表達(dá)式：-XX xY|X4，X2,Xp01X12X2pX p樣本回歸方程：a b,xb2X2bpXpB o(a)為截距，B i, B 2,B p(bi,b2,bp)為偏(部分)回歸系數(shù),p i(bj 表示除X外的其他自變量固定時，X改變一個單位后 Y的平均變化。標(biāo)準(zhǔn)回歸系數(shù)：偏回歸系數(shù)因各自變量值的單位不同不能直接比較其大 小，對變量值作標(biāo)準(zhǔn)化變換，得到的回歸系數(shù)為標(biāo)準(zhǔn)回歸系數(shù)，可直接比較 其大小，反

3、映各自變量對因變量的貢獻(xiàn)大小。(二)參數(shù)估計(jì)的方法：最小二乘原則n2n2曰丨Q( Y)2 二丫廠(bob?X2 . bpXp)2最小。對方程中的每個待估參數(shù)求導(dǎo)并設(shè)導(dǎo)數(shù)為零，得到一組線性方程組。由于是線性方程組，可以直接求解。具體的計(jì)算復(fù)雜，手工計(jì)算幾 乎不可能，一般需要計(jì)算機(jī)軟件完成。例：重慶醫(yī)科大學(xué)附屬第二醫(yī)院的資料，住院人數(shù)與門診人數(shù)、病床利 用率和病床周轉(zhuǎn)次數(shù)的回歸關(guān)系分析。參數(shù)估計(jì)如下：變量截距門診人數(shù)X1回歸系數(shù)4848.94455.886標(biāo)準(zhǔn)誤3128.70718.0011.553.100.14070.006病床利用率X2病床周轉(zhuǎn)次數(shù)X321.93039.8130.550.589

4、4319.04796.5933.300.0045得到回歸方程：19.14931X2312.92998X324510.05583 56.19851X1三、多重線性回歸的假設(shè)檢驗(yàn)：1. 回歸方程的方差分析：(1)檢驗(yàn)假設(shè)：Ho：廠2 二.=0Hi： J 2,J p不全為 0。： = 0.05(2)計(jì)算統(tǒng)計(jì)量F值：n2ss廠 (比 ？)2 二 9461837SSt=36528242i =1SSr=SST-SSe=36528242-9461837=27066405l SSr / r MS r 27066405/ 3 . “ F15.26SSe/ e MSe 9461837/16確定概率和判斷結(jié)果：pF

5、弓仄） 開始，自變量由少到多逐個引入，使方程外有統(tǒng)計(jì)學(xué)意義的變量全部引入為止。優(yōu)點(diǎn)：計(jì)算量小。缺點(diǎn)：一次只能引入一個變量。4. 逐步法（Stepwise :開始一個或全部變量引入，然后上述兩種方法交替 使用，弓I入變量后立即考慮是否要剔除，剔除變量后立即考慮是否要引入， 直到方程內(nèi)的變量全部有統(tǒng)計(jì)學(xué)意義，方程外的變量全部無統(tǒng)計(jì)學(xué)意義為止。較好的方法 五、多重回歸分析的主要用途： 1 篩選有關(guān)變量（主要用途）2. 獲得有實(shí)際意義的回歸方程。六、多重回歸分析的一般步驟：1. 單因子模型分析。2. 逐步篩選變量，建立多因素模型。3. 綜合單因子和多因素模型的結(jié)果，當(dāng)兩者矛盾時，結(jié)合專業(yè)知識分析原 因

6、（因素之間是否存在拮抗或協(xié)同作用） 。七、多重相關(guān)和部分相關(guān)：應(yīng)用條件：同簡單線性相關(guān)一樣，僅當(dāng) Xi, X2,，Y為多元正態(tài)分布 的隨機(jī)變量時才能考慮相關(guān)分析。1.復(fù)相關(guān)系數(shù)（多重相關(guān)系數(shù)）：多重相關(guān)的實(shí)質(zhì)就是 Y的實(shí)際觀察值與由p 個自變量預(yù)測的Y?值的相關(guān)。前面計(jì)算的決定系數(shù)是 Y與Y?相關(guān)系數(shù)的平方，那么復(fù)相關(guān)系數(shù)就是決定 系數(shù)的平方根。R= R2 = Corr（Y,Y?）=0.741 = 0.86082.偏相關(guān)系數(shù)（部分相關(guān)系數(shù)）：部分相關(guān)系數(shù)反映校正其它變量后某一變 量與另一變量的相關(guān)關(guān)系，校正的意思可以理解為假定其它變量都取值為均 數(shù)。計(jì)算公式：12512,322 (1 r )(

7、1 G)3. 偏相關(guān)系數(shù)的假設(shè)檢驗(yàn): 用t檢驗(yàn)?？傮w中扣除q個變量影響的偏相關(guān)系數(shù)為(-q)，樣本中相應(yīng)的偏相關(guān)系數(shù)為r(-q)。檢驗(yàn)假設(shè)：Ho： (q) = 0,Hi： (-q)半 0I可采用統(tǒng)計(jì)量:r( q)nq2 1r(2q)偏相關(guān)系數(shù)的假設(shè)檢驗(yàn)等同于偏回歸系數(shù)的t檢驗(yàn)復(fù)相關(guān)系數(shù)的假設(shè)檢驗(yàn)等同于回歸方程的方差分 析。出師表兩漢：諸葛亮先帝創(chuàng)業(yè)未半而中道崩殂，今天下三分，益州疲弊，此誠危急存亡之秋也。然侍衛(wèi)之臣不懈于內(nèi)，忠志之士忘身于外者，蓋追先帝之殊遇，欲報(bào)之于陛下也。誠宜開張圣聽，以光先帝遺德，恢弘志士之氣，不宜妄自菲薄，引喻失義，以塞忠諫之路也。宮中府中，俱為一體；陟罰臧否，不宜異同

8、。若有作奸犯科及為忠善者，宜付有司論其刑賞，以昭陛下平明之理；不宜偏私，使內(nèi)外異法也。侍中、侍郎郭攸之、費(fèi)祎、董允等，此皆良實(shí)，志慮忠純，是以先帝簡拔以遺陛下：愚以為宮中之事，事無大小，悉以咨之，然后施行，必能裨補(bǔ)闕漏， 有所廣益。將軍向?qū)?，性行淑均，曉暢軍事，試用于昔日，先帝稱之曰能”，是以眾議舉寵為督：愚以為營中之事，悉以咨之，必能使行陣和睦，優(yōu)劣得所。親賢臣，遠(yuǎn)小人，此先漢所以興隆也；親小人，遠(yuǎn)賢臣，此后漢所以傾頹也。先帝在時，每與臣論此事，未嘗不嘆息痛恨于桓、靈也。侍中、尚書、長史、 參軍，此悉貞良死節(jié)之臣，愿陛下親之、信之，則漢室之隆，可計(jì)日而待也。臣本布衣，躬耕于南陽，茍全性命于亂世，不求聞達(dá)于諸侯。先帝不以臣卑鄙，猥自枉屈，三顧臣于草廬之中，咨臣以當(dāng)世之事，由是感激，遂許先帝以 驅(qū)馳。后值傾覆，受任于敗軍之際，奉命于危難之間，爾來二十有一年矣。先帝知臣謹(jǐn)慎，故臨崩寄臣以大事也。受命以來，夙夜憂嘆，恐托付不效，以傷先帝之明；故五月渡瀘，深入不毛。今南方已定，兵甲已足，當(dāng)獎率三軍，北定中原，庶竭駑鈍，攘除奸兇，興復(fù)漢室，還于舊都。此臣所以報(bào)先