《回歸分析法建?！氛n件

回歸分析建模

Lum21thJuly20051精選PPT回歸分析建模Lum1精選POutline一、基本概念二、多元線性回歸模型三、非線性回歸2精選PPTOutline一、基本概念2精選PPT一、基本概念1.兩類關(guān)系確定性關(guān)系e.g.圓的面積非確定性關(guān)系e.g.人的年齡x與血壓Y的關(guān)系細(xì)紗強度Y與原棉的纖維長度x1，纖維細(xì)度x2，纖維強度x33精選PPT一、基本概念1.兩類關(guān)系3精選PPT2.回歸分析自變量X：可控變量（可精確測量）因變量Y：隨機變量回歸分析：研究兩者之間的相關(guān)關(guān)系

4精選PPT2.回歸分析自變量X：可控變量（可精確測量）4精選PPT3.基本問題參數(shù)估計parameterestimate假設(shè)檢驗hypothesistesting預(yù)測預(yù)報prediction5精選PPT3.基本問題參數(shù)估計parameterestimat二、多元線性回歸模型實際問題中，一個變量往往受到多個因變量的影響，在線性回歸模型中則表現(xiàn)為有多個解釋變量。所謂多元線性回歸是指描述一個因變量與二個以上的自變量之間線性關(guān)系的一種方法，這樣的模型被稱為多元線性回歸模型。6精選PPT二、多元線性回歸模型6精選PPT主要內(nèi)容1.多元線性回歸模型及假設(shè)2.參數(shù)估計3.假設(shè)檢驗4.預(yù)測預(yù)報5.多元線性回歸存在的問題6.實例分析7精選PPT主要內(nèi)容1.多元線性回歸模型及假設(shè)7精選PPT

1.多元線性回歸模型及假設(shè)8精選PPT1.多元線性回歸模型及假設(shè)8精選PPT9精選PPT9精選PPT10精選PPT10精選PPT2.參數(shù)估計（最小二乘估計）11精選PPT2.參數(shù)估計（最小二乘估計）11精選PPT12精選PPT12精選PPT估計量的特征13精選PPT估計量的特征13精選PPT一般來說，由于多元的緣故，多元回歸估計值的顯著性檢驗的內(nèi)容顯然要復(fù)雜得多，具體說是檢驗的對象多、不同性質(zhì)的問題多、難度大等。3.假設(shè)檢驗

14精選PPT一般來說，由于多元的緣故，多元回歸估計值的顯著性檢驗的3.1回歸參數(shù)的顯著性檢驗15精選PPT3.1回歸參數(shù)的顯著性檢驗15精選PPT回歸參數(shù)的t-檢驗16精選PPT回歸參數(shù)的t-檢驗16精選PPT3.2回歸方程的顯著性檢驗回歸系數(shù)的t－檢驗，檢驗了各個解釋變量Xj單獨對應(yīng)變量Y是否顯著；我們還需要檢驗：所有解釋變量聯(lián)合在一起，是否對應(yīng)變量Y也顯著？這即是下面所要進行的F-檢驗。17精選PPT3.2回歸方程的顯著性檢驗回歸系數(shù)的t－檢驗，檢驗了各個方差分析表以下用表格的形式列出變差、自由度、方差變差來源平方和自由度方差源于回歸K-1源于殘差n-k總變差n-118精選PPT方差分析表以下用表格的形式列出變差、自由度、方差變差來源平方F－檢驗（單側(cè)檢驗）19精選PPTF－檢驗（單側(cè)檢驗）19精選PPT4.預(yù)測預(yù)報4.1因變量平均值的點預(yù)測、區(qū)間預(yù)測4.2因變量個別值的點預(yù)測、區(qū)間預(yù)測20精選PPT4.預(yù)測預(yù)報4.1因變量平均值的點預(yù)測、20精選PPT4.1應(yīng)變量平均值的點預(yù)測、區(qū)間預(yù)測4.1.1Y平均值的點預(yù)測將解釋變量預(yù)測值代入估計的方程便可：21精選PPT4.1應(yīng)變量平均值的點預(yù)測、區(qū)間預(yù)測4.1.1Y平4.1.2Y平均值的區(qū)間預(yù)測基本思想22精選PPT4.1.2Y平均值的區(qū)間預(yù)測基本思想22精選PPTY平均值的區(qū)間預(yù)測

——具體作法23精選PPTY平均值的區(qū)間預(yù)測

——具體作法23精選P4.2因變量個別值的點預(yù)測、區(qū)間預(yù)測4.2.1點預(yù)測：與因變量平均值點預(yù)測相等，為：

24精選PPT4.2因變量個別值的點預(yù)測、區(qū)間預(yù)測4.2.1點預(yù)測4.2.2因變量個別值的區(qū)間預(yù)測25精選PPT4.2.2因變量個別值的區(qū)間預(yù)測25精選PPT5.多元線性回歸存在的問題5.1樣本容量問題5.2相對重要性5.3多重共線性問題5.4虛變量

26精選PPT5.多元線性回歸存在的問題5.1樣本容量問題26精選PPT5.1樣本容量問題最小樣本容量：所謂“最小樣本容量”，即從最小二乘原理和最大似然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項），即27精選PPT5.1樣本容量問題27精選PPT滿足基本要求的樣本容量28精選PPT滿足基本要求的樣本容量28精選PPT5.2相對重要性在多元線性回歸模型中，有時需要考察對于被解釋變量來講，哪個解釋變量更重要，即需要比較各個解釋變量的相對重要性，這可以通過簡單相關(guān)系數(shù)、偏相關(guān)系數(shù)和復(fù)相關(guān)系數(shù)來考察。如果各解釋變量的計量單位不同，就不能直接應(yīng)用偏回歸系數(shù)進行比較，因為偏回歸系數(shù)的取值受解釋變量計量單位的影響。我們需要對偏回歸系數(shù)加以調(diào)整，以便進行多元回歸模型中各解釋變量對被解釋變量相對重要性的比較，如以下介紹的Beta系數(shù)、彈性系數(shù)。29精選PPT5.2相對重要性在多元線性回歸模型中，有時需要考察對于被解Beta系數(shù)30精選PPTBeta系數(shù)30精選PPT彈性系數(shù)31精選PPT彈性系數(shù)31精選PPT所謂“多重共線性”是指解釋變量之間存在某種線性關(guān)系。顯然，如果多元回歸模型中的解釋變量存在“多重共線性”，其最小二乘估計的結(jié)果是無效的。亦即是不存在的。（嶺回歸、主成分回歸）5.3多重共線性問題32精選PPT5.3多重共線性問題32精選PPT

在回歸分析中，還有一類用來表示某種屬性的變量，例如，有關(guān)性別、種類、地區(qū)、戰(zhàn)爭、地震、罷工、政變和政府經(jīng)濟政策的變化等。這種通常表示有或沒有某種性質(zhì)的變量稱之為“虛變量”。一般用-1，0，1等來表示有或沒有這種屬性。一個例子：戰(zhàn)爭時期和和平時期的消費函數(shù)。5.4虛變量（DummyVariables）33精選PPT5.4虛變量（DummyVariables）33精選PP34精選PPT34精選PPT35精選PPT35精選PPT36精選PPT36精選PPT

利用“虛變量”的一般原則是，如果一個質(zhì)的變量需要表示m種可能性，那么最多就只能引入m-1個虛變量。根據(jù)這個原則，在上面的例子中，就只能引入一個虛變量。如果不遵守這個原則，我們就可能掉入所謂“虛變量陷阱”，即完全多重共線性的情形。關(guān)于如何應(yīng)用“虛變量”方法，需要討論更多的問題，必須另外進行討論。37精選PPT利用“虛變量”的一般原則是，如果一個質(zhì)的變量6.實例分析(e.g.1)38精選PPT6.實例分析(e.g.1)38精選PPT39精選PPT39精選PPT結(jié)果表明，當(dāng)前一期人均居民消費額（X2）保持不變時，人均國內(nèi)生產(chǎn)總值（X1）每增加1千元，人均居民消費額（Y）平均增加0.339千元；當(dāng)人均國內(nèi)生產(chǎn)總值（X1）保持不變時，前一期人均居民消費額（X2）每增加1千元，人均居民消費額（Y）平均增加0.302千元。注：對回歸模型和回歸參數(shù)一定要分別通過t檢驗和F檢驗，才能說明模型的合理性。在此留作作業(yè)。40精選PPT結(jié)果表明，當(dāng)前一期人均居民消費額（X2）40精選PPTe.g.2某電網(wǎng)有8臺發(fā)電機組，6條主要線路，表A和表B中的方案0給出了各機組的當(dāng)前出力和各線路上對應(yīng)的有功潮流值，方案1～32給出了圍繞方案0的一些實驗數(shù)據(jù)，試用這些數(shù)據(jù)確定各線路上有功潮流關(guān)于各發(fā)電機組出力的近似表達式。41精選PPTe.g.2某電網(wǎng)有8臺發(fā)電機組，6條主要線路，表A和表B中表A：各機組出力方案(MW)42精選PPT表A：各機組出力方案(MW)42精選PPT表B各線路的潮流值(MW)43精選PPT表B各線路的潮流值(MW)43精選PPT44精選PPT44精選PPT

45精選PPT

45精選PPT所求回歸參數(shù)46精選PPT所求回歸參數(shù)46精選PPTSPSS提供的模型顯著性檢驗水平

47精選PPTSPSS提供的模型顯著性檢驗水平47精選PPT多元線性回歸法建模小結(jié)Step1.分析實驗數(shù)據(jù)建立回歸模型Step2.估計模型的未知參數(shù)Step3.對回歸方程和回歸參數(shù)作顯著性檢驗，如果通過檢驗則執(zhí)行下一步，否則轉(zhuǎn)Step1Step4.結(jié)合實驗數(shù)據(jù)作預(yù)測48精選PPT多元線性回歸法建模小結(jié)Step1.分析實驗數(shù)據(jù)建立回歸模型4三、非線性回歸1.引言在許多實際問題中，變量之間更加一般的關(guān)系形式是非線性關(guān)系的。我們注意到在非線性關(guān)系中，有許多情況是可以通過簡單的變量變換，就可以轉(zhuǎn)變?yōu)榫€性回歸關(guān)系，從而這類非線性關(guān)系的問題也可應(yīng)用前面所講的方法來解決。因此，解決非線性回歸模型的基本思路，就是通過一定的轉(zhuǎn)換，將非線性形式轉(zhuǎn)換成線性的形式，然后加以解決。49精選PPT三、非線性回歸1.引言49精選PPT2.變量之間的非線性關(guān)系50精選PPT2.變量之間的非線性關(guān)系50精選PPT51精選PPT51精選PPT一些常用非線性函數(shù)

（主要是單個自變量的情況）52精選PPT一些常用非線性函數(shù)

（主要是單個自變量的情況）52精選PPT3.實例分析e.g.1多項式函數(shù)53精選PPT3.實例分析e.g.1多項式函數(shù)53精選PPTe.g.2參數(shù)為非線性的情況54精選PPTe.g.2參數(shù)為非線性的情況54精選PPT55精選PPT55精選PPT總之，對于非線性回歸模型問題，實際上最重要、最困難的，并不是非線性形式的線性轉(zhuǎn)換方式，而是原有的非線性回歸模型如何建立，這才是最困難的，也是建模關(guān)鍵和困難之處。非線性回歸小結(jié)56精選PPT總之，對于非線性回歸模型問題，實際上最重要、最困難的，并不

Thankyou！57精選PPTThankyou！57精回歸分析建模

Lum21thJuly200558精選PPT回歸分析建模Lum1精選POutline一、基本概念二、多元線性回歸模型三、非線性回歸59精選PPTOutline一、基本概念2精選PPT一、基本概念1.兩類關(guān)系確定性關(guān)系e.g.圓的面積非確定性關(guān)系e.g.人的年齡x與血壓Y的關(guān)系細(xì)紗強度Y與原棉的纖維長度x1，纖維細(xì)度x2，纖維強度x360精選PPT一、基本概念1.兩類關(guān)系3精選PPT2.回歸分析自變量X：可控變量（可精確測量）因變量Y：隨機變量回歸分析：研究兩者之間的相關(guān)關(guān)系

61精選PPT2.回歸分析自變量X：可控變量（可精確測量）4精選PPT3.基本問題參數(shù)估計parameterestimate假設(shè)檢驗hypothesistesting預(yù)測預(yù)報prediction62精選PPT3.基本問題參數(shù)估計parameterestimat二、多元線性回歸模型實際問題中，一個變量往往受到多個因變量的影響，在線性回歸模型中則表現(xiàn)為有多個解釋變量。所謂多元線性回歸是指描述一個因變量與二個以上的自變量之間線性關(guān)系的一種方法，這樣的模型被稱為多元線性回歸模型。63精選PPT二、多元線性回歸模型6精選PPT主要內(nèi)容1.多元線性回歸模型及假設(shè)2.參數(shù)估計3.假設(shè)檢驗4.預(yù)測預(yù)報5.多元線性回歸存在的問題6.實例分析64精選PPT主要內(nèi)容1.多元線性回歸模型及假設(shè)7精選PPT

1.多元線性回歸模型及假設(shè)65精選PPT1.多元線性回歸模型及假設(shè)8精選PPT66精選PPT9精選PPT67精選PPT10精選PPT2.參數(shù)估計（最小二乘估計）68精選PPT2.參數(shù)估計（最小二乘估計）11精選PPT69精選PPT12精選PPT估計量的特征70精選PPT估計量的特征13精選PPT一般來說，由于多元的緣故，多元回歸估計值的顯著性檢驗的內(nèi)容顯然要復(fù)雜得多，具體說是檢驗的對象多、不同性質(zhì)的問題多、難度大等。3.假設(shè)檢驗

71精選PPT一般來說，由于多元的緣故，多元回歸估計值的顯著性檢驗的3.1回歸參數(shù)的顯著性檢驗72精選PPT3.1回歸參數(shù)的顯著性檢驗15精選PPT回歸參數(shù)的t-檢驗73精選PPT回歸參數(shù)的t-檢驗16精選PPT3.2回歸方程的顯著性檢驗回歸系數(shù)的t－檢驗，檢驗了各個解釋變量Xj單獨對應(yīng)變量Y是否顯著；我們還需要檢驗：所有解釋變量聯(lián)合在一起，是否對應(yīng)變量Y也顯著？這即是下面所要進行的F-檢驗。74精選PPT3.2回歸方程的顯著性檢驗回歸系數(shù)的t－檢驗，檢驗了各個方差分析表以下用表格的形式列出變差、自由度、方差變差來源平方和自由度方差源于回歸K-1源于殘差n-k總變差n-175精選PPT方差分析表以下用表格的形式列出變差、自由度、方差變差來源平方F－檢驗（單側(cè)檢驗）76精選PPTF－檢驗（單側(cè)檢驗）19精選PPT4.預(yù)測預(yù)報4.1因變量平均值的點預(yù)測、區(qū)間預(yù)測4.2因變量個別值的點預(yù)測、區(qū)間預(yù)測77精選PPT4.預(yù)測預(yù)報4.1因變量平均值的點預(yù)測、20精選PPT4.1應(yīng)變量平均值的點預(yù)測、區(qū)間預(yù)測4.1.1Y平均值的點預(yù)測將解釋變量預(yù)測值代入估計的方程便可：78精選PPT4.1應(yīng)變量平均值的點預(yù)測、區(qū)間預(yù)測4.1.1Y平4.1.2Y平均值的區(qū)間預(yù)測基本思想79精選PPT4.1.2Y平均值的區(qū)間預(yù)測基本思想22精選PPTY平均值的區(qū)間預(yù)測

——具體作法80精選PPTY平均值的區(qū)間預(yù)測

——具體作法23精選P4.2因變量個別值的點預(yù)測、區(qū)間預(yù)測4.2.1點預(yù)測：與因變量平均值點預(yù)測相等，為：

81精選PPT4.2因變量個別值的點預(yù)測、區(qū)間預(yù)測4.2.1點預(yù)測4.2.2因變量個別值的區(qū)間預(yù)測82精選PPT4.2.2因變量個別值的區(qū)間預(yù)測25精選PPT5.多元線性回歸存在的問題5.1樣本容量問題5.2相對重要性5.3多重共線性問題5.4虛變量

83精選PPT5.多元線性回歸存在的問題5.1樣本容量問題26精選PPT5.1樣本容量問題最小樣本容量：所謂“最小樣本容量”，即從最小二乘原理和最大似然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項），即84精選PPT5.1樣本容量問題27精選PPT滿足基本要求的樣本容量85精選PPT滿足基本要求的樣本容量28精選PPT5.2相對重要性在多元線性回歸模型中，有時需要考察對于被解釋變量來講，哪個解釋變量更重要，即需要比較各個解釋變量的相對重要性，這可以通過簡單相關(guān)系數(shù)、偏相關(guān)系數(shù)和復(fù)相關(guān)系數(shù)來考察。如果各解釋變量的計量單位不同，就不能直接應(yīng)用偏回歸系數(shù)進行比較，因為偏回歸系數(shù)的取值受解釋變量計量單位的影響。我們需要對偏回歸系數(shù)加以調(diào)整，以便進行多元回歸模型中各解釋變量對被解釋變量相對重要性的比較，如以下介紹的Beta系數(shù)、彈性系數(shù)。86精選PPT5.2相對重要性在多元線性回歸模型中，有時需要考察對于被解Beta系數(shù)87精選PPTBeta系數(shù)30精選PPT彈性系數(shù)88精選PPT彈性系數(shù)31精選PPT所謂“多重共線性”是指解釋變量之間存在某種線性關(guān)系。顯然，如果多元回歸模型中的解釋變量存在“多重共線性”，其最小二乘估計的結(jié)果是無效的。亦即是不存在的。（嶺回歸、主成分回歸）5.3多重共線性問題89精選PPT5.3多重共線性問題32精選PPT

在回歸分析中，還有一類用來表示某種屬性的變量，例如，有關(guān)性別、種類、地區(qū)、戰(zhàn)爭、地震、罷工、政變和政府經(jīng)濟政策的變化等。這種通常表示有或沒有某種性質(zhì)的變量稱之為“虛變量”。一般用-1，0，1等來表示有或沒有這種屬性。一個例子：戰(zhàn)爭時期和和平時期的消費函數(shù)。5.4虛變量（DummyVariables）90精選PPT5.4虛變量（DummyVariables）33精選PP91精選PPT34精選PPT92精選PPT35精選PPT93精選PPT36精選PPT

利用“虛變量”的一般原則是，如果一個質(zhì)的變量需要表示m種可能性，那么最多就只能引入m-1個虛變量。根據(jù)這個原則，在上面的例子中，就只能引入一個虛變量。如果不遵守這個原則，我們就可能掉入所謂“虛變量陷阱”，即完全多重共線性的情形。關(guān)于如何應(yīng)用“虛變量”方法，需要討論更多的問題，必須另外進行討論。94精選PPT利用“虛變量”的一般原則是，如果一個質(zhì)的變量6.實例分析(e.g.1)95精選PPT6.實例分析(e.g.1)38精選PPT96精選PPT39精選PPT結(jié)果表明，當(dāng)前一期人均居民消費額（X2）保持不變時，人均國內(nèi)生產(chǎn)總值（X1）每增加1千元，人均居民消費額（Y）平均增加0.339千元；當(dāng)人均國內(nèi)生產(chǎn)總值（X1）保持不變時，前一期人均居民消費額（X2）每增加1千元，人均居民消費額（Y）平均增加0.302千元。注：對回歸模型和回歸參數(shù)一定要分別通過t檢驗和F檢驗，才能說明模型的合理性。在此留作作業(yè)。97精選PPT結(jié)果表明，當(dāng)前一期人均居民消費額（X2）40精選PPTe.g.2某電網(wǎng)有8臺發(fā)電機組，6條主要線路，表A和表B中的方案0給出了各機組的當(dāng)前出力和各線路上對應(yīng)的有功潮流值，方案1～32給出了圍繞方案0的一些實驗數(shù)據(jù)，試用這些數(shù)據(jù)確定各線路上有功潮流關(guān)于各發(fā)電機組出力的近似表達式。98精選PPTe.g.2某電網(wǎng)有8臺發(fā)電機組，6條主要線路，表A和表B中表A：各機組出力方案(MW)99精選PPT表A：各機組出力方案(MW)42精選PPT表B各線路的潮流值(MW)100精選PPT表B各線路的潮流值(MW)43精選PPT101精選PPT44精