商務(wù)數(shù)據(jù)分析與統(tǒng)計(jì)建模：chap4.1含定性變量的回歸模型

1、第第4章章 含定性變量的回歸模型含定性變量的回歸模型 4.1 自變量中含有定性變量的回歸模型 4.2 自變量定性變量回歸模型的應(yīng)用 4.3 因變量是定性變量的回歸模型 4.4 Logistic(邏輯斯蒂)回歸 4.1 自變量中含有定性變量的回歸模型 一、簡(jiǎn)單情況一、簡(jiǎn)單情況 首先討論定性變量只取兩類(lèi)可能值的情況，例如研究 糧食產(chǎn)量問(wèn)題，y為糧食產(chǎn)量，x為施肥量，另外再考慮氣 候問(wèn)題，分為正常年份和干旱年份兩種情況，對(duì)這個(gè)問(wèn)題 的數(shù)量化方法是引入一個(gè)0-1型變量D，令： Di=1表示正常年份 Di=0表示干旱年份 4.1 自變量中含有定性變量的回歸模型 糧食產(chǎn)量的回歸模型為： yi=0+1xi+

2、2Di+i 其中干旱年份的糧食平均產(chǎn)量為： E(yi|Di=0)=0+1xi 正常年份的糧食平均產(chǎn)量為： E(yi|Di=1)=(0+2)+1xi 4.1 自變量中含有定性變量的回歸模型 例例4.14.1 某經(jīng)濟(jì)學(xué)家想調(diào)查文化程度對(duì)家庭儲(chǔ)蓄的 影響，在一個(gè)中等收入的樣本框中，隨機(jī)調(diào)查了13戶 高學(xué)歷家庭與14戶中低學(xué)歷的家庭， 因變量y為上一年家庭儲(chǔ)蓄增加額， 自變量x1為上一年家庭總收入， 自變量x2表示家庭學(xué)歷， 高學(xué)歷家庭x2=1,低學(xué)歷家庭x2=0， 調(diào)查數(shù)據(jù)見(jiàn)表： 自變量中含有定性變量的回歸模型 序號(hào)y（元）x1（萬(wàn)元）x2 12352.30 23463.21 33652.80 44

3、683.51 56582.60 68673.21 710852.60 2389503.90 2498654.80 2598664.60 26102354.80 27101404.20 表表1 ANOVA 290372875.9242145186437.96287.425.000 39856639.705241660693.321 330229515.63026 Regression Residual Total Model 1 Sum of SquaresdfMean SquareFSig. 自變量中含有定性變量的回歸模型 建立y對(duì)x1、x2的線性回歸 Model Summary .938a.

4、879.8691288.68 Model 1 RR Square Adjusted R Square Std. Error of the Estimate Predictors: (Constant), X2, X1a. 自變量中含有定性變量的回歸模型 Coefficients -7976.8091093.445-7.295.000 3826.129304.591.92112.562.000 -3700.330513.445-.529-7.207.000 (Constant) X1 X2 BStd. Error Unstandardized Coefficients Beta Standard

5、ized Coefficients tSig. 兩個(gè)自變量x1與x2的系數(shù)都是顯著的，判定系數(shù) R2=0.879，回歸方程為： =-7976+3826x1-3700 x2 y 自變量中含有定性變量的回歸模型 這個(gè)結(jié)果表明，中等收入的家庭每增加1萬(wàn)元收入，平 均拿出3826元作為儲(chǔ)蓄。高學(xué)歷家庭每年的平均儲(chǔ)蓄額少 于低學(xué)歷的家庭，平均少3700元。 如果不引入家庭學(xué)歷定性變量x2，僅用y對(duì)家庭年收入 x1做一元線性回歸，得判定系數(shù)R2=0.618，擬合效果不好。 自變量中含有定性變量的回歸模型 二、復(fù)雜情況二、復(fù)雜情況 某些場(chǎng)合定性自變量可能取多類(lèi)值，例如某商廈策劃營(yíng)銷(xiāo) 方案，需要考慮銷(xiāo)售額的季

6、節(jié)性影響，季節(jié)因素分為春、 夏、秋、冬4種情況。為了用定性自變量反應(yīng)春、夏、秋、 冬四季，我們初步設(shè)想引入如下4個(gè)0-1自變量： 其它 春季 , 0 , 1 1 1 x x 其它 季 , 0 夏 , 1 2 2 x x 其它 季 , 0 秋 , 1 3 3 x x 其它 季 , 0 冬 , 1 4 4 x x 自變量中含有定性變量的回歸模型 可是這樣做卻產(chǎn)生了一個(gè)新的問(wèn)題，即 x1+x2+x3+x4=1，構(gòu)成完全多重共線性。 解決這個(gè)問(wèn)題的方法很簡(jiǎn)單，我們只需去掉一個(gè) 0-1型變量，只保留3個(gè)0-1型自變量即可。例如去掉 x4，只保留x1、x2、x3。 對(duì)一般情況，一個(gè)定性變量有k類(lèi)可能的取值

7、 時(shí)，需要引入k-1個(gè)0-1型自變量。當(dāng)k=2時(shí)，只需要引 入一個(gè)0-1型自變量即可。 自變量定性變量回歸模型的應(yīng)用 一、分段回歸一、分段回歸 例例2 表2出某工廠生產(chǎn)批量xi與單位成本yi(美元)的數(shù)據(jù)。 試用分段回歸建立回歸模型。 序號(hào)yX(= x1)x2 12.57650150 24.43400 34.524000 41.39800300 54.753000 63.5557070 72.49720220 83.774800 自變量定性變量回歸模型的應(yīng)用 x（ 批 量 ） 900800700600500400300200 y（ 單 位 成 本 ） 5.0 4.5 4.0 3.5 3.0 2

8、.5 2.0 1.5 1.0 圖圖 單位成本對(duì)批量散點(diǎn)圖單位成本對(duì)批量散點(diǎn)圖 自變量定性變量回歸模型的應(yīng)用 由圖 可看出數(shù)據(jù)在生產(chǎn)批量xp=500時(shí)發(fā)生較大變化， 即批量大于500時(shí)成本明顯下降。我們考慮由兩段構(gòu)成的分 段線性回歸,這可以通過(guò)引入一個(gè)0-1型虛擬自變量實(shí)現(xiàn)。 假定回歸直線的斜率在xp=500處改變，建立回歸模型 yi=0+1xi+2(xi-5)Di+i 來(lái)擬合，其中 500 x 當(dāng) 0,D 500 x 當(dāng) , 1D ii ii 自變量定性變量回歸模型的應(yīng)用 引入兩個(gè)新的自變量 xi1=xi xi2=(xi-5)Di 這樣回歸模型轉(zhuǎn)化為標(biāo)準(zhǔn)形式的二元線性回歸模型： yi=0+1x

9、i1+2xi2+i (3) （3）式可以分解為兩個(gè)線性回歸方程： 當(dāng)x1500時(shí)，E(y)=0+1x1 當(dāng)x1500時(shí)，E(y)=(0-5002)+(1+2)x1 自變量定性變量回歸模型的應(yīng)用 自變量定性變量回歸模型的應(yīng)用 用普通最小二乘法擬合模型(3)式得回歸方程為： =5.895-0.00395x1-0.00389x2 利用此模型可說(shuō)明生產(chǎn)批量小于500時(shí)，每增加1個(gè)單位 批量，單位成本降低0.00395美元；當(dāng)生產(chǎn)批量大于500時(shí)， 每增加1個(gè)單位批量，估計(jì)單位成本降低 0.00395+0.00389=0.00784(美元)。 y 自變量定性變量回歸模型的應(yīng)用 以上只是根據(jù)散點(diǎn)圖從直觀上

10、判斷本例數(shù)據(jù)應(yīng)該用折 線回歸擬合，這一點(diǎn)還需要做統(tǒng)計(jì)的顯著性檢驗(yàn)，這只需 對(duì)（2）式的回歸系數(shù)2做顯著性檢驗(yàn)。 自變量定性變量回歸模型的應(yīng)用 對(duì)2的顯著性檢驗(yàn)的顯著性概率Sig=0.153，2沒(méi)有通 過(guò)顯著性檢驗(yàn)，不能認(rèn)為2非零。用y對(duì)x做一元線性回歸， 計(jì)算結(jié)果為： Coefficients 6.795.32420.963.000 -6.318E-03.001-.976-10.90.000 (Constant) X BStd. Error Unstandardized Coefficients Beta Standardized Coefficients tSig. 自變量定性變量回歸模型的

11、應(yīng)用 二、回歸系數(shù)相等的檢驗(yàn)二、回歸系數(shù)相等的檢驗(yàn) 例例3 3 回到例1的問(wèn)題，例1引入0-1型自變量的方法是假 定儲(chǔ)蓄增加額y對(duì)家庭收入的回歸斜率1與家庭年收入無(wú) 關(guān)，家庭年收入只影響回歸常數(shù)項(xiàng)0，這個(gè)假設(shè)是否合理， 還需要做統(tǒng)計(jì)檢驗(yàn)。檢驗(yàn)方法是引入如下含有交互效應(yīng) 的回歸模型： yi=0+1xi1+2xi2+3xi1xi2+i (8) 其中y為上一年家庭儲(chǔ)蓄增加額， x1為上一年家庭總收入， x2表示家庭學(xué)歷， 高學(xué)歷家庭x2=1,低學(xué)歷家庭x2=0。 10.2 自變量定性變量回歸模型的應(yīng)用 回歸模型（8）式可以分解為對(duì)高學(xué)歷和對(duì)低學(xué)歷家庭 的兩個(gè)線性回歸模型，分別為： 高學(xué)歷家庭x2=1

12、, yi=0+1xi1+2+3xi1+i =（0+2）+（1+3）xi1+i 低學(xué)歷家庭x2=0， yi=0+1xi1+i 自變量定性變量回歸模型的應(yīng)用 要檢驗(yàn)兩個(gè)回歸方程的回歸系數(shù)(斜率)相等，等價(jià) 于檢驗(yàn) H0：3=0， 當(dāng)拒絕H0時(shí)，認(rèn)為30，這時(shí)高學(xué)歷與低學(xué)歷家庭的 儲(chǔ)蓄回歸模型實(shí)際上被拆分為兩個(gè)不同的回歸模型。 當(dāng)接受H0時(shí)，認(rèn)為3=0，這時(shí)高學(xué)歷與低學(xué)歷家庭的儲(chǔ) 蓄回歸模型是如下形式的聯(lián)合回歸模型： yi=0+1xi1+2xi2+i 自變量定性變量回歸模型的應(yīng)用 Coefficients -8763.9361270.878-6.896.000 4057.151359.284.977

13、11.292.000 -776.9392514.459-.111-.309.760 -787.564663.367-.443-1.187.247 (Constant) X1 X2 X3 BStd. Error Unstandardized Coefficients Beta Standardized Coefficients tSig. 因變量是定性變量的回歸模型 在許多社會(huì)經(jīng)濟(jì)問(wèn)題中，所研究的因變量往往只有兩 個(gè)可能結(jié)果，這樣的因變量也可用虛擬變量來(lái)表示，虛擬 變量的取值可取0或1。 一、定性因變量的回歸方程的意義一、定性因變量的回歸方程的意義 設(shè)因變量y是只取0，1兩個(gè)值的定性變量，考慮簡(jiǎn)

14、單線 性回歸模型 yi=0+1xi+i (12) 在這種y只取0，1兩個(gè)值的情況下，因變量均值 E(yi)=0+1xi有著特殊的意義。 因變量是定性變量的回歸模型 由于yi是0-1型貝努利隨機(jī)變量，則得如下概率分布： P(yi=1)=i P(yi=0)=1-i 根據(jù)離散型隨機(jī)變量期望值的定義，可得 E(yi)=1(i)+0(1-i)=i （13） 得到 E(yi)=i=0+1xi 因變量是定性變量的回歸模型 二、定性因變量回歸的特殊問(wèn)題二、定性因變量回歸的特殊問(wèn)題 1. 離散非正態(tài)誤差項(xiàng)。 對(duì)一個(gè)取值為0和1的因變量， 誤差項(xiàng)i=yi-(0+1xi)只能取兩個(gè)值： 當(dāng)yi=1時(shí)， i=1-0-

15、1xi=i 當(dāng)yi=0時(shí)， i=-0-1xi=1-i 顯然，誤差項(xiàng)i是兩點(diǎn)型離散分布，當(dāng)然正態(tài)誤差回歸 模型的假定就不適用了。 因變量是定性變量的回歸模型 2. 零均值異方差性。 當(dāng)因變量是定性變量時(shí)，誤差項(xiàng)i仍然保持零均值， 這時(shí)出現(xiàn)的另一個(gè)問(wèn)題是誤差項(xiàng)i的方差不相等。0-1型 隨機(jī)變量i的方差為 D(i)=D(yi) =i(1-i) =(0+1xi)(1-0-1xi) （14） i的方差依賴(lài)于xi，是異方差，不滿足線性回歸方 程的基本假定。 因變量是定性變量的回歸模型 3.回歸方程的限制 當(dāng)因變量為0、1虛擬變量時(shí)，回歸方程代表概率分 布，所以因變量均值受到如下限制： E(yi)=i1 對(duì)

16、一般的回歸方程本身并不具有這種限制，線性回 歸方程yi=0+1xi將會(huì)超出這個(gè)限制范圍。 Logistic回歸模型回歸模型 一、分組數(shù)據(jù)的一、分組數(shù)據(jù)的Logistic回歸模型回歸模型 針對(duì)0-1型因變量產(chǎn)生的問(wèn)題，我們對(duì)回歸模型應(yīng)該 做兩個(gè)方面的改進(jìn)。 第一，回歸函數(shù)應(yīng)該改用限制在0，1區(qū)間內(nèi) 的連續(xù)曲線，而不能再沿用直線回歸方程。 Logistic回歸模型回歸模型 限制在0，1區(qū)間內(nèi)的連續(xù)曲線有很多，例如 所有連續(xù)型隨機(jī)變量的分布函數(shù)都符合要求，我們 常用的是Logistic函數(shù)與正態(tài)分布函數(shù)。Logistic函 數(shù)的形式為 xx x ee e xf 1 1 1 )( Logistic函數(shù)

17、的中文名稱(chēng)是邏輯斯諦函數(shù)， 或簡(jiǎn)稱(chēng)邏輯函數(shù)。 Logistic回歸模型回歸模型 第二，因變量yi本身只取0、1兩個(gè)離散值，不適于直 接作為回歸模型中的因變量。 由于回歸函數(shù)E(yi)=i=0+1xi表示在自變量為xi 的條件下yi的平均值，而yi是0-1型隨機(jī)變量，因而 E(yi)=i就是在自變量為xi的條件下yi等于1的比例。這 提示我們可以用yi等于1的比例代替yi本身作為因變量。 下面通過(guò)一個(gè)例子來(lái)說(shuō)明Logistic回歸模型的應(yīng)用。 Logistic回歸模型回歸模型 例例4 在一次住房展銷(xiāo)會(huì)上，與房地產(chǎn)商簽定初步購(gòu)房意 向書(shū)的共有n=325名顧客中，在隨后的3個(gè)月的時(shí)間內(nèi)，只有 一部分

18、顧客確實(shí)購(gòu)買(mǎi)了房屋。購(gòu)買(mǎi)了房屋的顧客記為1，沒(méi)有 購(gòu)買(mǎi)房屋的顧客記為0。以顧客的年家庭收入（萬(wàn)元）為自變 量x，對(duì)如下的數(shù)據(jù)，建立Logistic回歸模型 Logistic回歸模型回歸模型 Logistic回歸模型回歸模型 Logistic回歸方程為 ci x x p i i i , 2 , 1, )exp(1 )exp( 10 10 其中c為分組數(shù)據(jù)的組數(shù)，本例c=9。做線性化變換，令 ) 1 ln( i i i p p p 上式的變換稱(chēng)為邏輯（Logit）變換，得 pi=0+1xi+i （16） （18） （17） Logistic回歸模型回歸模型 計(jì)算出經(jīng)驗(yàn)回歸方程為 -0.886+0.

19、156x 19） 判定系數(shù)r2=0.9243，顯著性檢驗(yàn)P值0，高度顯著。還 原為（16）式的Logistic回歸方程為 )156. 0886. 0exp(1 )156. 0886. 0exp( x x pi p 利用（20）式可以對(duì)購(gòu)房比例做預(yù)測(cè)，例如對(duì)x0=8， 590. 0 436. 11 436. 1 )8156. 0886. 0exp(1 )8156. 0886. 0exp( i p Logistic回歸模型回歸模型 我們用Logistic回歸模型成功地?cái)M合了因變量為定 性變量的回歸模型，但是仍然存在一個(gè)不足之處，就是 異方差性并沒(méi)有解決，（18）式的回歸模型不是等方差 的，應(yīng)該對(duì)（

20、18）式用加權(quán)最小二乘估計(jì)。當(dāng)ni較大時(shí)， pi的近似方差為： )1 ( 1 )( iii i n pD 其中i=E(yi)，因而選取權(quán)數(shù)為： wi=nipi(1-pi) Logistic回歸模型回歸模型 用加權(quán)最小二乘法得到的Logistic回歸方程為 )149. 0849. 0exp(1 )149. 0849. 0exp( x x pi 對(duì)x0=8時(shí)的購(gòu)房比例做預(yù)測(cè) 585. 0 409. 11 409. 1 )8149. 0849. 0exp(1 )8149. 0849. 0exp( i p Logistic回歸模型回歸模型 二、未分組數(shù)據(jù)的二、未分組數(shù)據(jù)的Logistic回歸模型回歸模

21、型 設(shè)y是0-1型變量，x1,x2,xp是與y相關(guān)的確定性變量， n組觀測(cè)數(shù)據(jù)為(xi1 ,xi2 ,xip ;yi)，i=1,2,n， yi與xi1 ,xi2 ,xip的關(guān)系為： E(yi)=i=f(0+1xi1+2xi2+pxip) 其中函數(shù)f（x）是值域在0，1區(qū)間內(nèi)的單調(diào)增函數(shù)。對(duì) 于Logistic回歸 x x e e xf 1 )( Logistic回歸模型回歸模型 于是yi是均值為i=f(0+1xi1+2xi2+pxip)的 0-1型分布，概率函數(shù)為： P(yi=1)=i P(yi=0)=1-i 可以把yi的概率函數(shù)合寫(xiě)為： i yy i i ii yP 1 )1 ()( i=1

22、,2,n 于是y1, y2 , , yn的似然函數(shù)為： n i n i i i ii i yy yPL 11 1 )1 ()( Logistic回歸模型回歸模型 n i i i i i ii n i ii y yyL 1 1 )1ln( )1 ( ln )1ln()1 (lnln )exp(1 )exp( 110 110 ippi ippi i xx xx 代入得 )exp(1ln( )(ln 110 1 110 ippi n i ippii xx xxyL 對(duì)數(shù)似然 函數(shù) Logistic 回歸 極大似然估計(jì)就是選取0 ,1 ,2 ,p的估計(jì)值使上式達(dá)極大。 Logistic回歸模型回歸模型

23、 例例5 5 在一次關(guān)于公共交通的社會(huì)調(diào)查中，一個(gè)調(diào)查項(xiàng) 目是“是乘坐公共汽車(chē)上下班，還是騎自行車(chē)上下班?！?因變量y=1表示主要乘坐公共汽車(chē)上下班， y=0表示主要騎自行車(chē)上下班。 自變量x1是年齡，作為連續(xù)型變量； x2是月收入（元）； x3是性別，x3=1表示男性，x3=0表示女性。 調(diào)查對(duì)象為工薪族群體，數(shù)據(jù)見(jiàn)表9。試建立y與自變量 間的Logistic回歸。 Logistic回歸模型回歸模型 序號(hào)性別年齡 月收入y序號(hào)性別年齡 月收入y 101885001512010000 2021120001612512000 302385011712713000 402395011812815000 502812001191309501 603185002013210000 7036150012113318000 8042100012213310000 904695012313812000 10048120002414115000 11055180012514518001 12056210012614810000 13058180012715215001 141