第四講 回歸分析3逐步回歸分析ppt課件.ppt

43 1 逐步回歸分析 43 2 最優(yōu)回歸方程的問題 在有p個(gè)自變量的情況下 根據(jù)自變量的不同組合可能建立的回歸方程眾多 這些回歸方程的效果有好有壞 而人們希望的是回歸效果最好的 即 最優(yōu) 的回歸方程最優(yōu)回歸方程的要求 回歸效果最佳自變量的個(gè)數(shù)最少一方面對(duì)因變量起顯著作用的自變量都選進(jìn)回歸方程 另一方面對(duì)因變量作用不顯著的自變量都剔除回歸方程 選擇一個(gè)最佳的變量組合 43 3 選擇最優(yōu)回歸方程的方法 1 從所有可能的變量組合中 選擇一個(gè)最優(yōu)的回歸方程 這種方法一定能選出一個(gè)最優(yōu)組合 但工作量特別大2 逐步剔除法基本步驟 從包含全部p個(gè)自變量組合的回歸方程中逐個(gè)檢驗(yàn)回歸系數(shù) 剔除對(duì)因變量作用不顯著的自變量 對(duì)剔除后剩下的q個(gè)自變量建立對(duì)因變量的多元回歸方程 再逐個(gè)檢驗(yàn)回歸系數(shù) 剔除不顯著的變量 重復(fù)上述步驟 直到保留在回歸方程中自變量的作用都顯著為止缺點(diǎn) 一開始把全部自變量都要引入回歸方程 計(jì)算量很大 實(shí)際上有些不重要的就不必引入 43 4 3 逐步引入法 基本步驟 先逐個(gè)比較xl xp對(duì)y的回歸方程那些是顯著的 從顯著的方程中挑選F值最大的 相應(yīng)的自變量x 就被 引入 方程 無妨設(shè)x 就是x1 再逐個(gè)比較 x1 x2 x1 x3 x1 xp 對(duì)y的回歸方程 看有沒有F值顯著的 此時(shí)的F就是考慮添加xi之后 xi的回歸系數(shù)是否顯著地不為0 將顯著的F中最大的F所相應(yīng)的變量 引入 方程 無妨設(shè)第二次 引入 的自變量是x2 再考察以x1 x2為基礎(chǔ) 逐個(gè)添加x3 x4 xp之后的回歸方程 是否較x1 x2的方程有顯著的改進(jìn) 有就再 引入 新的自變量 這樣下去 終于到某一步就沒有可以再 引入 的自變量了 這時(shí)就獲得了最后的回歸方程 43 5 4 逐步回歸分析方法按照自變量對(duì)因變量所起作用的顯著程度 從大到小逐個(gè)地引入回歸方程當(dāng)每一變量引入以后 若先前已經(jīng)引入的變量由于后來變量的引入而使其作用變得不顯著時(shí) 就及時(shí)從回歸方程中剔除出去 直到作用顯著的變量都引入到回歸方程 而作用不顯者的變量都剔出回歸方程 得到一個(gè)最佳的變量組合為止 逐步引入 法的缺點(diǎn) 不能反映后來變化的狀況 設(shè)想x1 x2 x3引入后 又引入了x6 也許x3 x6引入后 x1的作用就不重要了 應(yīng)該予以剔除 而 逐步引入 法不能達(dá)到這個(gè)要求 43 6 逐步回歸分析的幾個(gè)問題 一 建立標(biāo)準(zhǔn)正規(guī)方程組二 變量的引入 剔除與消去法的關(guān)系 43 7 一 建立標(biāo)準(zhǔn)正規(guī)方程組 為了分辨p個(gè)自變量對(duì)因變量Y所起影響 或作用 的大小 一個(gè)自然的想法是比較各自變量回歸系數(shù) j 1 2 p 的絕對(duì)值的大小 根據(jù)回歸系數(shù)的含義 Xj的回歸系數(shù)是在其余p 1個(gè)自變量保持不變的條件下 Xj改變一個(gè)單位所引起Y平均變化的大小 因而回歸系數(shù)絕對(duì)值的大小反映了它所代表的因素的重要程度由于回歸系數(shù)和自變量所取的單位 或數(shù)量級(jí) 有關(guān) 而各個(gè)自變量取不同的量綱的情況是常見的 因而不能將回歸系數(shù)直接進(jìn)行比較 43 8 建立標(biāo)準(zhǔn)正規(guī)方程組 為了消除這個(gè)影響 對(duì)自變量和因變量都要加以標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化的方法經(jīng)過標(biāo)準(zhǔn)化的變量 其均值為0 標(biāo)準(zhǔn)離差Lxjxj為1 43 9 標(biāo)準(zhǔn)正規(guī)方程組 由標(biāo)準(zhǔn)化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量間的相關(guān)系數(shù)矩陣 稱為標(biāo)準(zhǔn)化正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組為 43 10 標(biāo)準(zhǔn)正規(guī)方程組 標(biāo)準(zhǔn)化正規(guī)方程組的解稱為標(biāo)準(zhǔn)回歸系數(shù) 其常數(shù)項(xiàng)為0 由于因變量也進(jìn)行了標(biāo)準(zhǔn)化 其總離差平方和Lyy 1求解標(biāo)準(zhǔn)化正規(guī)方程組還需要解決以下兩個(gè)問題 引入變量和剔除變量的標(biāo)準(zhǔn) 引入變量與剔除變量的方法 43 11 二 變量的引入 剔除與消去法的關(guān)系 假定已有l(wèi)個(gè)自變量引入到回歸方程 即 相應(yīng)的平方和分解公式是 為了表明U和Q與引入的自變量是有關(guān)的 分別用符號(hào)U x1 xl 和Q x1 xl 表示 43 12 當(dāng)增加一個(gè)自變量xi i l 1 p 后 有了新的回歸方程 相應(yīng)的平方和分解公式是 原來的是 注意到上兩式左端Lyy是一樣的 當(dāng)xi引入后 回歸平方和從U x1 xl 增加到U x1 xl xi 而殘差平方和從Q x1 xl 降到Q x1 xl xi 43 13 因此 有 記 ui就是回歸方程中引入xi后對(duì)回歸平方和的貢獻(xiàn) 即偏回歸平方和 且有 43 14 經(jīng)F檢驗(yàn) 當(dāng)xi作用顯著時(shí) 可將其引入 同理 如果xi原來已經(jīng)在回歸方程中 若檢驗(yàn)后其作用不顯著 可及時(shí)從回歸方程中剔除出去 利用統(tǒng)計(jì)量 因此 取剔除和引入變量xi的標(biāo)準(zhǔn)相同 即 43 15 在逐步回歸中引入一個(gè)變量與剔除一個(gè)變量都要作變換 變換公式相同 采用求解求逆緊湊格式 在第s次對(duì)第k列消去的變換公式是 二 變量的引入 剔除與消去法的關(guān)系 43 16 由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中 第i個(gè)變量的偏回歸平方和ui s 為 由可推倒出來 ui s 為下一步引進(jìn)變量的指標(biāo) 每一步引入都是從未出現(xiàn)在回歸方程的剩余變量中挑選ui s 的最大者 進(jìn)行上述變換后 回歸分析中的剩余平方和Q的值即為系數(shù)矩陣中ryy位置所得的結(jié)果 即有 證明 43 17 式中 l為先前已經(jīng)引入到回歸方程中的變量個(gè)數(shù) Fi服從F 1 n l 2 分布 如果已引進(jìn)的變量中有不顯著的 則選其最不顯著者作剔除變換 然后再檢驗(yàn) 在未引入的變量中檢驗(yàn)有無回歸顯著的變量 若有 則挑選最顯著的作引入的消去變換 然后再檢驗(yàn) 反復(fù)進(jìn)行 直到?jīng)]有變量可以引進(jìn) 也沒有變量可以從方程中剔除為止 構(gòu)造檢驗(yàn)統(tǒng)計(jì)量 43 18 用消去法求解正規(guī)方程組的過程 二 變量的引入 剔除與消去法的關(guān)系 當(dāng)消去正規(guī)方程組系數(shù)矩陣的第一列時(shí) 常數(shù)項(xiàng)列的第一個(gè)數(shù)就是只有x1這一個(gè)自變量情況下所建立的回歸方程的回歸系數(shù) 這是因?yàn)?當(dāng)回歸方程只有一個(gè)自變量時(shí) 表明其他自變量在多元回歸方程中的回歸系數(shù)為0 因此 正規(guī)方程的常數(shù)項(xiàng)部分就是該變量的解 即回歸系數(shù) 43 19 二 變量的引入 剔除與消去法的關(guān)系 第二次消去了正規(guī)方程組系數(shù)矩陣的第一 二兩列時(shí) 常數(shù)項(xiàng)列中的第一 二兩個(gè)數(shù)即為只有x1 x2兩個(gè)自變量情況下所建立回歸方程的回歸系數(shù)和依次類推 得到引入的各個(gè)自變量的回歸系數(shù) 系數(shù)矩陣中每消去一列 等價(jià)于回歸方程中引入一個(gè)新的變量 而且與變量排列的順序無關(guān) 43 20 由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標(biāo)準(zhǔn)回歸系數(shù) 如果要把它化為一般回歸系數(shù) 其關(guān)系為 其中Lii和Lyy為方差協(xié)方差矩陣中對(duì)應(yīng)元素 即變量Xi和因變量Y的方差 二 變量的引入 剔除與消去法的關(guān)系 43 21 三 實(shí)例 例 某種水泥在凝固時(shí) 放出的熱量Y 卡 克 與水泥中下列4種成分有關(guān) X1 鋁酸三鈣X2 硅酸三鈣X3 鐵鋁硅四鈣X4 硅酸二鈣通過試驗(yàn) 取得數(shù)據(jù)資料如右所示 43 22 說明 按第一種方法選最優(yōu) 全部可能的回歸方程有個(gè) 準(zhǔn)備工作 計(jì)算各要素之間的相關(guān)系數(shù) 得到相關(guān)系數(shù)矩陣 43 23 根據(jù)本例資料 算出 從矩陣R 0 中可以看出 x1與x2兩因子不相關(guān) x2與x4 x1與x3之間關(guān)系密切 x3與y關(guān)系不太密切 x4與y最相關(guān) 43 24 逐步回歸步驟 公式 t 變換步數(shù) 第一步 t 1 選擇第一個(gè)變量進(jìn)入回歸方程對(duì)所有4個(gè)變量 按下面公式計(jì)算偏回歸平方和 當(dāng)變量引入回歸方程后 43 25 計(jì)算結(jié)果為 比較4個(gè)ui 1 可知第4個(gè)因子的偏回歸值最大 即x4對(duì)y的回歸貢獻(xiàn)最大 于是優(yōu)先考慮選入x4 43 26 引入因素的顯著性檢驗(yàn) 其中 分子的自由度是1 l為方程中的變量個(gè)數(shù) 求解回歸方程時(shí) 若對(duì)資料進(jìn)行標(biāo)準(zhǔn)化處理 可以證明 統(tǒng)計(jì)量 43 27 當(dāng)引入第一個(gè)因子時(shí) l 1 故 則統(tǒng)計(jì)量 于是 由于F4 1 F0 05 1 11 4 84 表明引入的因子x4對(duì)回歸方程的貢獻(xiàn)是顯著的 應(yīng)將x4引入方程 43 28 矩陣R 0 的高斯 亞當(dāng)變換 緊湊變換方式 以x4為主元進(jìn)行矩陣變換 x4剛剛引入方程 變換公式如下 a 非主元所在行 列 b 主元所在行 除主元 c 主元所在列 除主元 d 主元 變換過程要求按a d順序進(jìn)行 43 29 記變換后的矩陣為R 1 t 1 解 43 30 x4引入回歸方程后的結(jié)果 標(biāo)準(zhǔn)回歸系數(shù) 利用標(biāo)準(zhǔn)化數(shù)據(jù)求得的回歸系數(shù) 為 剩余平方和 標(biāo)準(zhǔn)回歸方程為 其中l(wèi) 1 表明方程只引入一個(gè)變量 43 31 一般回歸方程為 一般回歸系數(shù)為 常數(shù)項(xiàng)為 43 32 第二步 t 2 選擇第二個(gè)變量進(jìn)入回歸方程 計(jì)算偏回歸平方和ui 2 i 1 2 3 利用R 1 對(duì)不在回歸方程中的每個(gè)變量做計(jì)算 其中以u(píng)1 2 0 2980最大 故最優(yōu)先考慮x1引入回歸方程 能否引入方程要做檢驗(yàn) 7A 43 33 引入變量的檢驗(yàn) 引入檢驗(yàn) 偏回歸系數(shù)檢驗(yàn) 式中 分母表示x1引入回歸方程后 剩余平方和等于只包含x4一個(gè)變量時(shí)的剩余平方和減去x1引入回歸方程而使回歸平方和增大的部分 由于F1 2 F0 05 1 10 4 96 因此x1應(yīng)引入回歸方程中 將x1引入 方程中有兩個(gè)因子 即l 2 43 34 矩陣R 1 的高斯 亞當(dāng)變換記變換后的矩陣為R 2 引入因子x1后 對(duì)原有因子x4重新檢驗(yàn) 偏回歸檢驗(yàn) 剔除檢驗(yàn) 因?yàn)?因此x4不應(yīng)從方程中剔除 2 解 2 解 43 35 將x1引入回歸方程的結(jié)果 標(biāo)準(zhǔn)回歸系數(shù) 回歸方程的一般形式 剩余平方和 43 36 第三步 t 3 選擇第三個(gè)變量引入回歸方程 計(jì)算偏回歸平方和ui 3 i 2 3 利用R 2 對(duì)不在回歸方程中的每個(gè)變量做計(jì)算 其中u2 3 u3 3 變量x2的偏回歸平方和最小 選擇x2 引入檢驗(yàn)偏回歸系數(shù)檢驗(yàn) 43 37 矩陣R 2 的高斯 亞當(dāng)變換引入x2 以r22 2 為主元進(jìn)行 記變換后的矩陣為R 3 引入x2后 對(duì)原有因子x1 x4重新檢驗(yàn) l 3 剔除檢驗(yàn) 3 解 3 解 3 解 43 38 其中u4 3 較小 計(jì)算 由于 因此 應(yīng)把x4從回歸方程中剔除 說明 由于因子x2的引入 造成變量x4的顯著性大大降低 回歸方程中變量x4的存在是多余的 予以剔除 43 39 矩陣R 3 以r44 3 為主元做高斯 亞當(dāng)變換 記變換后的矩陣為R 4 4 解 4 解 43 40 剔除x4后 再檢驗(yàn)x1 x2 因 由于均大于F 4 10 所以x1 x2均不剔除 43 41 第四步 引入新變量 計(jì)算偏回歸平方和 因?yàn)?且x4是剛剛在上一步中被剔除的變量 故不需要再作F檢驗(yàn)就知道它不顯著 再?zèng)]有變量可引入回歸方程 逐步回歸選因子結(jié)束 43 42 第五步逐步回歸方程的建立 引入變量x1 x2后 由R 4 得到標(biāo)準(zhǔn)回歸系數(shù) 原方程的回歸系數(shù) 其中 因而 43 43 回歸方程為 剩余平方和 估計(jì)標(biāo)準(zhǔn)誤