第四講 回歸分析3逐步回歸分析ppt課件.ppt

43 1 逐步回歸分析 43 2 最優(yōu)回歸方程的問題 在有p個自變量的情況下 根據(jù)自變量的不同組合可能建立的回歸方程眾多 這些回歸方程的效果有好有壞 而人們希望的是回歸效果最好的 即 最優(yōu) 的回歸方程最優(yōu)回歸方程的要求 回歸效果最佳自變量的個數(shù)最少一方面對因變量起顯著作用的自變量都選進回歸方程 另一方面對因變量作用不顯著的自變量都剔除回歸方程 選擇一個最佳的變量組合 43 3 選擇最優(yōu)回歸方程的方法 1 從所有可能的變量組合中 選擇一個最優(yōu)的回歸方程 這種方法一定能選出一個最優(yōu)組合 但工作量特別大2 逐步剔除法基本步驟 從包含全部p個自變量組合的回歸方程中逐個檢驗回歸系數(shù) 剔除對因變量作用不顯著的自變量 對剔除后剩下的q個自變量建立對因變量的多元回歸方程 再逐個檢驗回歸系數(shù) 剔除不顯著的變量 重復上述步驟 直到保留在回歸方程中自變量的作用都顯著為止缺點 一開始把全部自變量都要引入回歸方程 計算量很大 實際上有些不重要的就不必引入 43 4 3 逐步引入法 基本步驟 先逐個比較xl xp對y的回歸方程那些是顯著的 從顯著的方程中挑選F值最大的 相應的自變量x 就被 引入 方程 無妨設x 就是x1 再逐個比較 x1 x2 x1 x3 x1 xp 對y的回歸方程 看有沒有F值顯著的 此時的F就是考慮添加xi之后 xi的回歸系數(shù)是否顯著地不為0 將顯著的F中最大的F所相應的變量 引入 方程 無妨設第二次 引入 的自變量是x2 再考察以x1 x2為基礎 逐個添加x3 x4 xp之后的回歸方程 是否較x1 x2的方程有顯著的改進 有就再 引入 新的自變量 這樣下去 終于到某一步就沒有可以再 引入 的自變量了 這時就獲得了最后的回歸方程 43 5 4 逐步回歸分析方法按照自變量對因變量所起作用的顯著程度 從大到小逐個地引入回歸方程當每一變量引入以后 若先前已經(jīng)引入的變量由于后來變量的引入而使其作用變得不顯著時 就及時從回歸方程中剔除出去 直到作用顯著的變量都引入到回歸方程 而作用不顯者的變量都剔出回歸方程 得到一個最佳的變量組合為止 逐步引入 法的缺點 不能反映后來變化的狀況 設想x1 x2 x3引入后 又引入了x6 也許x3 x6引入后 x1的作用就不重要了 應該予以剔除 而 逐步引入 法不能達到這個要求 43 6 逐步回歸分析的幾個問題 一 建立標準正規(guī)方程組二 變量的引入 剔除與消去法的關系 43 7 一 建立標準正規(guī)方程組 為了分辨p個自變量對因變量Y所起影響 或作用 的大小 一個自然的想法是比較各自變量回歸系數(shù) j 1 2 p 的絕對值的大小 根據(jù)回歸系數(shù)的含義 Xj的回歸系數(shù)是在其余p 1個自變量保持不變的條件下 Xj改變一個單位所引起Y平均變化的大小 因而回歸系數(shù)絕對值的大小反映了它所代表的因素的重要程度由于回歸系數(shù)和自變量所取的單位 或數(shù)量級 有關 而各個自變量取不同的量綱的情況是常見的 因而不能將回歸系數(shù)直接進行比較 43 8 建立標準正規(guī)方程組 為了消除這個影響 對自變量和因變量都要加以標準化標準化的方法經(jīng)過標準化的變量 其均值為0 標準離差Lxjxj為1 43 9 標準正規(guī)方程組 由標準化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量間的相關系數(shù)矩陣 稱為標準化正規(guī)方程組標準化正規(guī)方程組為 43 10 標準正規(guī)方程組 標準化正規(guī)方程組的解稱為標準回歸系數(shù) 其常數(shù)項為0 由于因變量也進行了標準化 其總離差平方和Lyy 1求解標準化正規(guī)方程組還需要解決以下兩個問題 引入變量和剔除變量的標準 引入變量與剔除變量的方法 43 11 二 變量的引入 剔除與消去法的關系 假定已有l(wèi)個自變量引入到回歸方程 即 相應的平方和分解公式是 為了表明U和Q與引入的自變量是有關的 分別用符號U x1 xl 和Q x1 xl 表示 43 12 當增加一個自變量xi i l 1 p 后 有了新的回歸方程 相應的平方和分解公式是 原來的是 注意到上兩式左端Lyy是一樣的 當xi引入后 回歸平方和從U x1 xl 增加到U x1 xl xi 而殘差平方和從Q x1 xl 降到Q x1 xl xi 43 13 因此 有 記 ui就是回歸方程中引入xi后對回歸平方和的貢獻 即偏回歸平方和 且有 43 14 經(jīng)F檢驗 當xi作用顯著時 可將其引入 同理 如果xi原來已經(jīng)在回歸方程中 若檢驗后其作用不顯著 可及時從回歸方程中剔除出去 利用統(tǒng)計量 因此 取剔除和引入變量xi的標準相同 即 43 15 在逐步回歸中引入一個變量與剔除一個變量都要作變換 變換公式相同 采用求解求逆緊湊格式 在第s次對第k列消去的變換公式是 二 變量的引入 剔除與消去法的關系 43 16 由相關矩陣構成的系數(shù)矩陣中 第i個變量的偏回歸平方和ui s 為 由可推倒出來 ui s 為下一步引進變量的指標 每一步引入都是從未出現(xiàn)在回歸方程的剩余變量中挑選ui s 的最大者 進行上述變換后 回歸分析中的剩余平方和Q的值即為系數(shù)矩陣中ryy位置所得的結果 即有 證明 43 17 式中 l為先前已經(jīng)引入到回歸方程中的變量個數(shù) Fi服從F 1 n l 2 分布 如果已引進的變量中有不顯著的 則選其最不顯著者作剔除變換 然后再檢驗 在未引入的變量中檢驗有無回歸顯著的變量 若有 則挑選最顯著的作引入的消去變換 然后再檢驗 反復進行 直到?jīng)]有變量可以引進 也沒有變量可以從方程中剔除為止 構造檢驗統(tǒng)計量 43 18 用消去法求解正規(guī)方程組的過程 二 變量的引入 剔除與消去法的關系 當消去正規(guī)方程組系數(shù)矩陣的第一列時 常數(shù)項列的第一個數(shù)就是只有x1這一個自變量情況下所建立的回歸方程的回歸系數(shù) 這是因為 當回歸方程只有一個自變量時 表明其他自變量在多元回歸方程中的回歸系數(shù)為0 因此 正規(guī)方程的常數(shù)項部分就是該變量的解 即回歸系數(shù) 43 19 二 變量的引入 剔除與消去法的關系 第二次消去了正規(guī)方程組系數(shù)矩陣的第一 二兩列時 常數(shù)項列中的第一 二兩個數(shù)即為只有x1 x2兩個自變量情況下所建立回歸方程的回歸系數(shù)和依次類推 得到引入的各個自變量的回歸系數(shù) 系數(shù)矩陣中每消去一列 等價于回歸方程中引入一個新的變量 而且與變量排列的順序無關 43 20 由相關系數(shù)矩陣得到的回歸系數(shù)是標準回歸系數(shù) 如果要把它化為一般回歸系數(shù) 其關系為 其中Lii和Lyy為方差協(xié)方差矩陣中對應元素 即變量Xi和因變量Y的方差 二 變量的引入 剔除與消去法的關系 43 21 三 實例 例 某種水泥在凝固時 放出的熱量Y 卡 克 與水泥中下列4種成分有關 X1 鋁酸三鈣X2 硅酸三鈣X3 鐵鋁硅四鈣X4 硅酸二鈣通過試驗 取得數(shù)據(jù)資料如右所示 43 22 說明 按第一種方法選最優(yōu) 全部可能的回歸方程有個 準備工作 計算各要素之間的相關系數(shù) 得到相關系數(shù)矩陣 43 23 根據(jù)本例資料 算出 從矩陣R 0 中可以看出 x1與x2兩因子不相關 x2與x4 x1與x3之間關系密切 x3與y關系不太密切 x4與y最相關 43 24 逐步回歸步驟 公式 t 變換步數(shù) 第一步 t 1 選擇第一個變量進入回歸方程對所有4個變量 按下面公式計算偏回歸平方和 當變量引入回歸方程后 43 25 計算結果為 比較4個ui 1 可知第4個因子的偏回歸值最大 即x4對y的回歸貢獻最大 于是優(yōu)先考慮選入x4 43 26 引入因素的顯著性檢驗 其中 分子的自由度是1 l為方程中的變量個數(shù) 求解回歸方程時 若對資料進行標準化處理 可以證明 統(tǒng)計量 43 27 當引入第一個因子時 l 1 故 則統(tǒng)計量 于是 由于F4 1 F0 05 1 11 4 84 表明引入的因子x4對回歸方程的貢獻是顯著的 應將x4引入方程 43 28 矩陣R 0 的高斯 亞當變換 緊湊變換方式 以x4為主元進行矩陣變換 x4剛剛引入方程 變換公式如下 a 非主元所在行 列 b 主元所在行 除主元 c 主元所在列 除主元 d 主元 變換過程要求按a d順序進行 43 29 記變換后的矩陣為R 1 t 1 解 43 30 x4引入回歸方程后的結果 標準回歸系數(shù) 利用標準化數(shù)據(jù)求得的回歸系數(shù) 為 剩余平方和 標準回歸方程為 其中l(wèi) 1 表明方程只引入一個變量 43 31 一般回歸方程為 一般回歸系數(shù)為 常數(shù)項為 43 32 第二步 t 2 選擇第二個變量進入回歸方程 計算偏回歸平方和ui 2 i 1 2 3 利用R 1 對不在回歸方程中的每個變量做計算 其中以u1 2 0 2980最大 故最優(yōu)先考慮x1引入回歸方程 能否引入方程要做檢驗 7A 43 33 引入變量的檢驗 引入檢驗 偏回歸系數(shù)檢驗 式中 分母表示x1引入回歸方程后 剩余平方和等于只包含x4一個變量時的剩余平方和減去x1引入回歸方程而使回歸平方和增大的部分 由于F1 2 F0 05 1 10 4 96 因此x1應引入回歸方程中 將x1引入 方程中有兩個因子 即l 2 43 34 矩陣R 1 的高斯 亞當變換記變換后的矩陣為R 2 引入因子x1后 對原有因子x4重新檢驗 偏回歸檢驗 剔除檢驗 因為 因此x4不應從方程中剔除 2 解 2 解 43 35 將x1引入回歸方程的結果 標準回歸系數(shù) 回歸方程的一般形式 剩余平方和 43 36 第三步 t 3 選擇第三個變量引入回歸方程 計算偏回歸平方和ui 3 i 2 3 利用R 2 對不在回歸方程中的每個變量做計算 其中u2 3 u3 3 變量x2的偏回歸平方和最小 選擇x2 引入檢驗偏回歸系數(shù)檢驗 43 37 矩陣R 2 的高斯 亞當變換引入x2 以r22 2 為主元進行 記變換后的矩陣為R 3 引入x2后 對原有因子x1 x4重新檢驗 l 3 剔除檢驗 3 解 3 解 3 解 43 38 其中u4 3 較小 計算 由于 因此 應把x4從回歸方程中剔除 說明 由于因子x2的引入 造成變量x4的顯著性大大降低 回歸方程中變量x4的存在是多余的 予以剔除 43 39 矩陣R 3 以r44 3 為主元做高斯 亞當變換 記變換后的矩陣為R 4 4 解 4 解 43 40 剔除x4后 再檢驗x1 x2 因 由于均大于F 4 10 所以x1 x2均不剔除 43 41 第四步 引入新變量 計算偏回歸平方和 因為 且x4是剛剛在上一步中被剔除的變量 故不需要再作F檢驗就知道它不顯著 再沒有變量可引入回歸方程 逐步回歸選因子結束 43 42 第五步逐步回歸方程的建立 引入變量x1 x2后 由R 4 得到標準回歸系數(shù) 原方程的回歸系數(shù) 其中 因而 43 43 回歸方程為 剩余平方和 估計標準誤