多元線性回歸模型ppt課件

1、3.1 多元線性回歸模型,一、多元線性回歸模型 二、多元線性回歸模型的基本假定,一、多元線性回歸模型,多元線性回歸模型:表現在線性回歸模型中的解釋變量有多個。 一般表現形式,i=1,2,n,其中:k為解釋變量的數目，j稱為回歸系數（regression coefficient,也被稱為總體回歸函數的隨機表達形式。它 的非隨機表達式為,表示：各變量X值固定時Y的平均響應,習慣上：把常數項（或截距項）看成為一虛變量的系數，該虛變量的樣本觀測值始終取1。于是： 模型中解釋變量的數目為（k+1,總體回歸模型n個隨機方程的矩陣表達式為,其中,j也被稱為偏回歸系數，表示在其他解釋變量保持不變的情況下，X

2、j每變化1個單位時，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響,用來估計總體回歸函數的樣本回歸函數為,其隨機表示式,ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數中隨機擾動項i的近似替代。 樣本回歸函數的矩陣表達,或,其中,二、多元線性回歸模型的基本假定,假設1，解釋變量是非隨機的或固定的，且各X之間互不相關（無多重共線性）。 假設2，隨機誤差項具有零均值、同方差及不序列相關性,假設3，解釋變量與隨機項不相關,假設4，隨機項滿足正態(tài)分布,上述假設的矩陣符號表示 式,假設1，n(k+1)維矩陣X是非隨機的，且X的秩=k

3、+1，即X滿秩。 假設2,回憶線性代數中關于滿秩、線性無關,對角線說明了擾動項的同方差性！對角線之外說明了擾動項的序列無關性,假設4，向量 有一多維正態(tài)分布，即,假設3，E(X)=0，即,轉置,黑板上推導,假設5，回歸模型的設定是正確的,第二節(jié) 多元線性回歸模型的 參數估計,任務,方法,普通最小二乘法,一、參數的普通最小二乘估計,二、參數的普通最小二乘估計量的性質,三、普通最小二乘樣本回歸函數性質,五、樣本容量問題,四、隨機誤差項的方差的普通最小二乘估計,內容,估計方法： 3大類方法：OLS、ML（最大似然法）或者MM（矩估計法） 在經典模型中多應用OLS 在非經典模型中多應用ML或者MM 在

4、本節(jié)中， ML與MM為選學內容,多元線性回歸模型參數估計的任務：1，求結構參數的估計量 2，求得隨機干擾項的方差估計,一、普通最小二乘估計,對于隨機抽取的n組觀測值,如果樣本函數的參數估計值已經得到，則有,i=1,2n,根據最小二乘原理，參數估計值應該是右列方程組的解,其中,最小化問題的一階條件,于是得到關于待估參數估計值的正規(guī)方程組,正規(guī)方程組的矩陣形式,即,由于XX滿秩，故有,正規(guī)方程組 的另一種寫法,對于正規(guī)方程組,于是,或,*)或（*）是多元線性回歸模型正規(guī)方程組的另一種寫法,*,*,二、參數估計量的性質,在滿足基本假設的情況下，其結構參數的普通最小二乘估計具有： 線性性、無偏性、有效

5、性,同時，隨著樣本容量增加，參數估計量具有： 漸近無偏性、漸近有效性、一致性,1、線性性,其中,C=(XX)-1 X 為一僅與固定的X有關的行向量 。可見，參數估計量是被解釋變量Y的線性組合,2、無偏性,等于0，因為解釋變量與隨機擾動項不相關,這里利用了假設: E(X)=0,3、有效性（最小方差性,其中利用了,和,證明過程略,三、普通最小二乘樣本回歸函數性質,四、隨機誤差項的方差的普通最小二乘估計,容易看出，多元線性回歸模型的隨機誤差項的方差的普通最小二乘估 計量，與一元線性回歸模型的隨機誤差項的方差的普通最小二乘估計量一致,因為在一元線性回歸模型中k=1,所以，殘差平方和可用矩陣表示為,3-

6、19,五、樣本容量問題,樣本容量越大，樣本觀測數據對經濟活動的反映越全面，從樣本 觀測數據中發(fā)現規(guī)律的可能性就越大，計量經濟研究的結果就越可靠,參數估計的最小樣本容量要求是,3.3 多元線性回歸模型的統(tǒng)計檢驗,一、擬合優(yōu)度檢驗 二、方程的顯著性檢驗(F檢驗) 三、變量的顯著性檢驗（t檢驗） 四、參數的置信區(qū)間,多元線性回歸模型的參數估計出來后，即求出樣本回歸函數后，還需進一步對該樣本回歸函數進行統(tǒng)計檢驗，以判定估計的可靠程度,一、擬合優(yōu)度檢驗,1、可決系數與調整的可決系數,總離差平方和的分解,殘差,離差分解,所以，在多元線性回歸模型中，依然有,3-20,可決系數,該統(tǒng)計量越接近于1，模型的擬合

7、優(yōu)度越高,問題：在應用過程中發(fā)現，如果在模型中增加一個解釋變量， R2往往增大（Why?) 因為殘差平方和往往隨著解釋變量個數的增加而減少。 這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。 但是，現實情況往往是，由增加解釋變量個數引起的R2的增大與擬合好壞無關，因此在多元回歸模型之間比較擬合優(yōu)度，R2 就不是一個合適的指標，必須加以調整,調整的可決系數（adjusted coefficient of determination,在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數對擬合優(yōu)度的影響,

8、其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。 顯然，如果增加的解釋變量沒有解釋能力，則對殘差平方和RSS的減小沒有多大的幫助，卻增加了待估參數的個數，從而使得 有較大幅度的下降,沒有絕對的標準，要看具體的情況而定。模型的擬合優(yōu)度并不是判斷模型質量的唯一標準，有時甚至為了追求模型的經濟意義，可以犧牲一點擬合優(yōu)度,2、赤池信息準則和施瓦茨準則,為了比較所含解釋變量個數不同的多元回歸模型的擬合優(yōu)度，常用的標準還有: 赤池信息準則（Akaike information criterion, AIC,施瓦茨準則（Schwarz criterion，SC,這兩準則均要求僅當所增加的解

9、釋變量能夠減少AIC值或SC值時才在原模型中增加該解釋變量,二、方程的顯著性檢驗(F檢驗,方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系在總體上是否顯著成立作出推斷,1、方程顯著性的F檢驗,即檢驗模型 Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n 中的參數 是否顯著不為0,方程的顯著性檢驗所應用的方法仍是數理統(tǒng)計學中的假設檢驗,可提出如下原假設與備擇假設,H0： 1=2= =k=0 H1： j (j=1,2,.k)不全為0,F檢驗的思想來自于總離差平方和的分解式： TSS=ESS+RSS,如果這個比值較大，則X的聯合體對Y的解釋程度高，可認為總體存在線性

10、關系，反之總體上可能不存在線性關系。 因此,可通過該比值的大小對總體線性關系進行推斷,根據數理統(tǒng)計學中的知識，在原假設H0成立的條件下，統(tǒng)計量,服從自由度為(k , n-k-1)的F分布,給定顯著性水平，查表可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數值，通過 F F(k,n-k-1) 或 FF(k,n-k-1) 來拒絕或接受原假設H0，以判定原方程總體上的線性關系是否顯著成立,2、關于擬合優(yōu)度檢驗與方程顯著性檢驗關系的討論,擬合優(yōu)度檢驗和方程總體線性的顯著性檢驗是從不同原理出發(fā)的兩類檢驗，前者是從已經得到估計的模型出發(fā)，檢驗它對樣本觀測值的擬合程度，后者是從樣本觀測值出發(fā)檢驗模型

11、總體線性關系的顯著性。 二者又是關聯的，模型對樣本觀測值的擬合程度高，模型總體線性關系的顯著性就強。 因此，找到兩個用作檢驗標準的統(tǒng)計量之間的數量關系，在實際應用中互為驗證，是有實際意義的,由,可推出,與,或,這兩個統(tǒng)計量之間的關系,三、變量的顯著性檢驗（t檢驗,方程的總體線性關系顯著每個解釋變量對被解釋變量的影響都是顯著的。 因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。 如果某個變量對被解釋變量的影響并不顯著，就應該將它剔除，以建立更為簡單的模型。 這一檢驗是由對變量的 t 檢驗完成的,1、t統(tǒng)計量,由于,以cjj表示矩陣(XX)-1 主對角線上的第j+1個

12、元素，于是參數估計量的方差為,其中2為隨機誤差項的方差，在實際計算時，用它的估計量代替,因此，可構造如下t統(tǒng)計量,因為 服從如下正態(tài)分布,2、t檢驗,設計原假設與備擇假設,H1：j0,給定顯著性水平，查表可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1) 來拒絕或接受原假設H0，從而判定對應的解釋變量是否應包括在模型中,H0：j=0 （j=0,1,2k,雙尾,注意：一元線性回歸中，t檢驗與F檢驗一致,一方面，t檢驗與F檢驗都是對相同的原假設H0：1=0 進行檢驗; 另一方面，兩個統(tǒng)計量之間有如下關系,不要求掌握,在實際

13、中，各個變量的t值相差較大，有的在很高的顯著性水平下影響顯著，有的則在不太高的顯著性水平下影響顯著，是否都認為通過顯著性檢驗？ 沒有絕對的顯著性水平。關鍵仍然是考察變量在經濟關系上是否對解釋變量有影響，顯著性檢驗起到驗證的作用；同時還要看顯著性水平不太高的變量在模型中及模型應用中的作用，不要簡單的剔除變量,四、參數的置信區(qū)間,參數的置信區(qū)間用來考察：在一次抽樣中所估計的參數值離參數的真實值有多“近”。 在變量的顯著性檢驗中已經知道,容易推出：在(1-)的置信水平下j的置信區(qū)間是,其中，t/2為顯著性水平為 、自由度為n-k-1的臨界值,如何才能縮小置信區(qū)間,增大樣本容量n，因為在同樣的樣本容量

14、下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數估計量的標準差減小； 提高模型的擬合優(yōu)度，因為樣本參數估計量的標準差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應越小，置信區(qū)間的就越窄,在實際應用中，我們希望置信度越高越好，置信區(qū)間越小越好,提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散， 的分母的|XX|的值越大， 越小，致使區(qū)間縮小,值得注意的是： 置信度的高低與置信區(qū)間的大小存在此消彼漲的關系。置信度越高，在其他情況不變時，臨界值越大，置信區(qū)間越大。如果要求縮小置信區(qū)間，在其他情況不變時，就必須降低對置信度的要求,第五節(jié) 多元線性回歸模型的 預測,被解釋變量的總體均值的點預測,被解釋變量的總體均值的區(qū)間預測,被解釋變量的個別值的區(qū)間預測,Why,3-33,表3-1 某商品的銷售量、價格、售后服務支出數據,例3-6,假設已獲得了某商品的銷售量、價格、售后服務支出數據如表3-1所示,求價格為1250 元/個、售后服 務支出為16萬 元時銷售量的 預測值,263.603（千個,由于,所以,對于給定的顯著性水平,其中,3-34,表3-1 某商品的銷售量、價格、售后服務支出數