非線性回歸課件

1、非線性回歸PPT課件第八章第八章 非線性回歸非線性回歸8.1 可化為線性回歸的曲線回歸8.2 多項式回歸8.3 非線性模型8.4 本章小結(jié)與評注非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸y=0+1ex + （8.1） 可線性化的曲線回歸模型, 也稱為本質(zhì)線性回歸模型 只須令x=ex即可化為y對x是線性的形式y(tǒng)=0+1x+需要指出的是，新引進(jìn)的自變量只能依賴于原始變量，而不能與未知參數(shù)有關(guān)。非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸y=0+1x+2x2+pxp + （8.2）令x1=x,x2=x2,，xp=xp，于是得到y(tǒng)關(guān)于x1,x2,，xp的線性表達(dá)式y(tǒng)=0+1x1+2x

2、2+pxp+ (8.2)式本來只有一個自變量x，是一元p次多項式回歸，在線性化后，變?yōu)閜元線性回歸。非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸y=aeb xe （8.3）可線性化的曲線回歸模型, 也稱為本質(zhì)線性回歸模型 對等式兩邊同時取自然對數(shù)，得：lny=lna+bx+令y=lny, 0=lna,1=b,于是得到y(tǒng)關(guān)于x的一元線性回歸模型y=0+1x+非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸不可以線性化的曲線回歸模型, 也稱為本質(zhì)非線性回歸模型 y= aeb x +（8.4） 當(dāng)b未知時，不能通過對等式兩邊同時取自然對數(shù)的方法將回歸模型線性化，只能用非線性最小二乘方法求

3、解。 (8.3)式的誤差項稱為乘性誤差項 (8.4)式的誤差項稱為加性誤差項。 一個非線性回歸模型是否可以線性化，不僅與回歸函數(shù)的形式有關(guān)，而且與誤差項的形式有關(guān)。 非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸 在對非線性回歸模型線性化時，總是假定誤差項的形式就是能夠使回歸模型線性化的形式，為了方便，常常省去誤差項，僅寫出回歸函數(shù)的形式。 例如把回歸模型（8.3）式y(tǒng)=aeb xe簡寫為 y=aeb x非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸SPSS軟件給出的10種常見的可線性化的曲線回歸方程非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸 除了以上SPSS軟件中收入的

4、幾種曲線回歸外，另外幾種其他常用的曲線回歸,例如1. 雙曲函數(shù) baxxy或等價地表示為 xbay11非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸(a0, b0)非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸2. S型曲線 xbeay1 此S型曲線當(dāng)a0，b0時，是x的增函數(shù)。 當(dāng)x+時，y1/a ; x-時，y0。 y=0與y=1/a是這條曲線的兩條漸進(jìn)線。 S型曲線有多種，其共同特點是曲線首先是緩慢增長，在達(dá)到某點后迅速增長，在超過某點后又變?yōu)榫徛鲩L，并且趨于一個穩(wěn)定值。 S型曲線在社會經(jīng)濟(jì)等很多領(lǐng)域都有應(yīng)用，例如某種產(chǎn)品的銷售量與時間的關(guān)系，樹木、農(nóng)作物的生長與時間的關(guān)系

5、等。非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸非線性回歸PPT課件8.1 可化為線性回歸的曲線回歸 SPSS軟件中的S型曲線y=exp(b0+b1/t): 當(dāng)b10時，曲線在t的正實軸上是t的減函數(shù)，不是通常意義下的S型曲線。 SPSS軟件中的邏輯函數(shù)在0b1F -0.0516 0.004 -0.2376 0.053 -0.3034 0.021 -0.3126 0.030 -0.378 0.016 X22 ProbF 0.00245 0.100 0.00336 0.033 0.00323 0.048 0.0046 0.019 X3 ProbF -0.292 0.107 -1.115

6、0.168 -1.430 0.033 X23 ProbF 0.0206 0.251 0.0317 0.039 X13 ProbF -2.33 0.058 R-square 83.14 92.12 97.11 98.73 99.99 非線性回歸PPT課件8.2 多項式回歸多項式回歸22X 此時的逐步回歸共進(jìn)行了5步，依次選入了X2， X22= ，X3，X23=X2 X3，X13= X1 X3共5個變量，共計算出5個回歸模型: 第一個回歸模型最先選入的是X2，說明無水碳酸鈉的含量是最重要的影響因素； 第二個回歸模型再選入的是X22= ，進(jìn)一步說明無水碳酸鈉的含量是最重要的影響因素，并且說明y與X2

7、的關(guān)系是非線性的22200245. 02375. 0975. 5XXy 容易求出此方程在X2=48.548時達(dá)極小值y=0.197，比第6號實驗值y=0.147略高。 22X非線性回歸PPT課件8.2 多項式回歸多項式回歸再看第三個回歸方程： 322229. 000336. 0303. 0311. 7XXXy 為使y值最小，X3應(yīng)該最大，取X3=1.4，X2的取值與X3無關(guān)，容易求出此方程在X2=45.145，X3=1.4時達(dá)極小值y=0.074，低于第6號實驗值y=0.147。非線性回歸PPT課件8.2 多項式回歸多項式回歸第四個回歸方程是： 2223237.8730.31260.00323

8、1.1150.0206yXXXX X 在回歸方程含有X3的兩項1.115 X3+0.0206 X2X3中，當(dāng)X254時是X3的減函數(shù)，根據(jù)對第二和第三兩個回歸方程的分析，兩個方程中X2的最優(yōu)解分別是48和45，所以有理由認(rèn)為X254，y是X3的減函數(shù)，X3越大y越小，因此取X3=1.4。 把X3=1.4代入以上方程中，解得X2的極小值是X2=43.944，所以第四個回歸方程的最優(yōu)組合是X2=44，X3=1.4，此時最優(yōu)預(yù)測值y=0.080，與第三個回歸方程的最優(yōu)解基本相同。 非線性回歸PPT課件8.2 多項式回歸多項式回歸第五個方程是： 其中包含了變量X1，并且是作為與X3的交互作用形式出現(xiàn)，

9、說明EDTA對實驗指標(biāo)本身沒有影響，只是通過焦亞硫酸鈉對實驗產(chǎn)生弱的影響。仿照對第四個回歸方程求最優(yōu)解的方法，首先確定X1和X3是y的減函數(shù)，分別取最大值X1=0.12和X3=1.4，然后再解得X2=41.241。最優(yōu)預(yù)測值y= 0.1280 ，可以視為接近0。22232313 9.16-0.3790.00406 -1.43 0.0317 -2.33 yXXXX XX X非線性回歸PPT課件8.2 多項式回歸多項式回歸 比較第三、四、五這3個回歸模型，回歸方程的決定系數(shù)分別是： 97.11、98.73、99.99%， 從回歸的效果看第五個回歸的效果最好，但是有6個估計參數(shù)，而y的數(shù)據(jù)只有7個，

10、所以估計的誤差會較大。 第三、四兩個回歸模型的實驗條件基本相同，預(yù)測值也很接近，約為0.080，明顯小于第6號實驗的吸收度y=0.147，是一組穩(wěn)定的好條件，見表6.13。非線性回歸PPT課件8.2 多項式回歸多項式回歸最 優(yōu) 搭 配 回歸 模型 X1（g） X2（g） X3（g） 最優(yōu) 預(yù)測值 二 三 四 五 0.00 0.00 0.00 0.12 48 45 44 41 0.0 1.4 1.4 1.4 0.197 0.074 0.080 0.000 表表6.13 6.13 吸收度的最優(yōu)實驗條件吸收度的最優(yōu)實驗條件非線性回歸PPT課件8.2 多項式回歸多項式回歸 本例的文獻(xiàn)17對吸收度y值先

11、取了倒數(shù)作為實驗指標(biāo)，其數(shù)值越大越好，然后建立回歸方程。這樣做的一個好處是避免了本例回歸模型五預(yù)測值為負(fù)值的情況，但是回歸方程的效果不好。文獻(xiàn)中得到的最優(yōu)條件是X1=0.12、X2=38、X3=1.4，和本例第五個模型相差不大。 非線性回歸PPT課件8.3 非線性模型非線性模型 一、非線性最小二乘一、非線性最小二乘非線性回歸模型一般可記為：yi = f (xi,)+i , i=1,2,n （8.9）其中，yi是因變量， 非隨機向量xi=(xi1,xi2,，xik) 是自變量， =(0,1,，p )是未知參數(shù)向量， i是隨機誤差項并且滿足獨立同分布假定，即n),2, 1,j , (i j i ,

12、 0ji , ),cov(n , 2, 1,i , 0)E(2jii非線性回歸PPT課件8.3 非線性模型非線性模型 對非線性回歸模型 我們?nèi)允褂米钚《朔ü烙媴?shù)，即求使得 niiixfyQ12),()(非線性回歸PPT課件8.3 非線性模型非線性模型 pjfxfyQnijjjiijjj, 2, 1 , 0 0),(21稱為非線性最小二乘估計的正規(guī)方程組 非線性回歸PPT課件8.3 非線性模型非線性模型 在非線性回歸中，平方和分解式SST=SSR+SSE不再成立。類似于線性回歸中的復(fù)判定系數(shù)，定義非線性回歸的相關(guān)比為： SSTSSER12相關(guān)比也稱為相關(guān)指數(shù)。 非線性回歸PPT課件8.3 非

13、線性模型非線性模型 二、非線性回歸模型的應(yīng)用二、非線性回歸模型的應(yīng)用 例例8.4 一位藥物學(xué)家使用下面的非線性模型對藥物反應(yīng)擬合回歸模型：iiiccxccy12001 自變量x是藥劑量，用級別表示； 因變量y是藥物反應(yīng)程度，用百分?jǐn)?shù)表示。 3個參數(shù)c0、c1、c2都是非負(fù)的，根據(jù)專業(yè)知識，c0的上限是100%， 3個參數(shù)的初始值取為c0=100，c1=5，c2=4.8。測得9個反應(yīng)數(shù)據(jù)如下：非線性回歸PPT課件8.3 非線性模型非線性模型 x 1 2 3 4 5 6 7 8 9y(%)0.5 2.3 3.4 24.0 54.7 82.1 94.8 96.2 96.4X1086420Y10080

14、6040200-20圖圖8.3 藥物反應(yīng)程度散點圖藥物反應(yīng)程度散點圖非線性回歸PPT課件8.3 非線性模型非線性模型 在SPSS的Regression菜單下點選Nonlinear，進(jìn)入非線性回歸對話框，將y點入因變量框，在model Expression框中輸入回歸函數(shù)c0-c0/(1+(x/c2)*c1),然后點Parameters進(jìn)入?yún)?shù)設(shè)置框賦給未知參數(shù)初值。非線性回歸PPT課件8.3 非線性模型非線性模型 Iteration Residual SS C0 C1 C2 1 172.7877170 100.000000 5.00000000 4.80000000 1.1 32.607043

15、44 97.7943996 6.57938197 4.74460195 2 32.60704344 97.7943996 6.57938197 4.74460195 2.1 20.20240372 99.5785656 6.73691756 4.80074972 3 20.20240372 99.5785656 6.73691756 4.80074972 3.1 20.18814307 99.5334852 6.76307026 4.79941696 4 20.18814307 99.5334852 6.76307026 4.79941696 4.1 20.18803580 99.541176

16、8 6.76104089 4.79966204 5 20.18803580 99.5411768 6.76104089 4.79966204 5.1 20.18803473 99.5404448 6.76127044 4.79964160 6 20.18803473 99.5404448 6.76127044 4.79964160 6.1 20.18803472 99.5405197 6.76124802 4.79964382非線性回歸PPT課件8.3 非線性模型非線性模型 非線性回歸PPT課件8.3 非線性模型非線性模型 非線性回歸PPT課件8.3 非線性模型非線性模型 y yy序號xye1

17、10.500.5-50.48889222.30.272.03-50.21889333.43.98-0.58-46.50889442422.481.52-28.008895554.756.61-1.916.121116682.181.520.5831.031117794.892.342.4641.851118896.296.49-0.2946.001119996.498.14-1.7447.65111均值550.4888950.203330.285556-0.28556離差平方和6014917.8915156.5519.4316215156.55平方和28537860.0437839.8520.

18、1880315157.28非線性回歸PPT課件8.3 非線性模型非線性模型 本例回歸離差平方和SSR=15156.55，而總離差平方和SST=14917.89116的限制回歸迭代就收斂了。非線性回歸PPT課件8.3 非線性模型非線性模型 龔珀茲模型和幾種常見的非線性回歸模型可以用三和值法求解，見參考文獻(xiàn)15第13章。 在正態(tài)誤差假定下，非線性回歸的最小二乘估計與極大似然估計是相同的，而極大似然估計具有好的大樣本性質(zhì)，例如漸近無偏性、漸近正態(tài)性、一致性等。因而非線性最小二乘估計值比三和值更精確，可以把三和值法的參數(shù)估計值作為求解非線性最小二乘的初值。非線性回歸PPT課件8.3 非線性模型非線性模

19、型 【例【例8.6】 下表8.9是我國從19502005年歷年大陸總?cè)丝跀?shù)，試用威布爾（Weibull）曲線擬合數(shù)據(jù)并做預(yù)測。威布爾曲線如下：tcyka b 其中參數(shù)k是變量發(fā)展的上限，參數(shù)a 0, 0 b 0。非線性回歸PPT課件8.3 非線性模型非線性模型 表表8.9 我國歷年大陸總?cè)丝跀?shù)我國歷年大陸總?cè)丝跀?shù) 單位：億人單位：億人年份ty年份ty195015.51961978299.6259195125.631979309.7542195235.74821980319.8705195345.879619813210.00721975269.24220035412.92271976279.3

20、71720045512.99881977289.497420055613.0756非線性回歸PPT課件8.3 非線性模型非線性模型 根據(jù)人口學(xué)的專業(yè)預(yù)測，我國人口上限為16億人，因此取k的初值=16，取b的初值=0.5，取c的初值=1。 對以上初值把t=1時（即1950年）=5.5196代入，得， 用以上初值做非線性最小二乘，得下面的輸出結(jié)果8.7。從中看到，人口上限為k=15.76億人，這與人口學(xué)預(yù)測的人口上限16億人完全一致。圖8.5是用Excel繪制的人口趨勢預(yù)測圖，其中粗實線是觀測值，虛細(xì)線是預(yù)測值。12()aky2(165.5)21非線性回歸PPT課件8.3 非線性模型非線性模型 非

21、線性回歸PPT課件8.3 非線性模型非線性模型 非線性回歸PPT課件8.3 非線性模型非線性模型 圖圖8.5 威布爾模型預(yù)測我國人口趨勢圖威布爾模型預(yù)測我國人口趨勢圖非線性回歸PPT課件8.3 非線性模型非線性模型 【例【例8.6】 柯布道格拉斯生產(chǎn)函數(shù)研究。在計量經(jīng)濟(jì)學(xué)中有一種熟知的C-D（CobbDouglas）生產(chǎn)函數(shù) yAK L 其中，y為產(chǎn)出,K(資本)、L(勞力)為兩個投入要素，A0為效率系數(shù)、和為K和L的產(chǎn)出彈性，A、 均為待估參數(shù)。非線性回歸PPT課件8.3 非線性模型非線性模型 是產(chǎn)出對資本投入的彈性系數(shù)，度量在勞動投入保持不變時資本投入增加1%時產(chǎn)出增加的百分比。 是產(chǎn)出對

22、勞動投入的彈性系數(shù)，度量在資本投入保持不變時勞動投入增加1%時產(chǎn)出增加的百分比。 兩個彈性系數(shù)之和 + 表示規(guī)模報酬（returns to scale）。+ =1表示規(guī)模報酬不變，即1倍的投入帶來1倍的產(chǎn)出；+ 1表示規(guī)模報酬遞減，即1倍的投入帶來少于1倍的產(chǎn)出；+ 1表示規(guī)模報酬遞增，即1倍的投入帶來大于1倍的產(chǎn)出。非線性回歸PPT課件8.3 非線性模型非線性模型 非線性回歸PPT課件8.3 非線性非線性模型模型 年份tGDPKL lnGDPlnKlnL197813624.1 1377.9 401528.1953617.22831610.60043197924038.2 1474.2 410

23、248.3035547.29587110.62191198034517.8 1590.0 423618.4157807.37148910.65398198144862.4 1581.0 437258.4892877.36581310.68568198255294.7 1760.2 452958.5744627.47318310.72095198365934.5 2005.0 464368.6885387.60339910.74583198477171.0 2468.6 481978.8778007.81140610.78305198588964.4 3386.0 498739.1010168.

24、12740510.817241986910202.2 3846.0 512829.2303598.25478910.8451019871011962.5 4322.0 527839.3895328.37147410.8739419881114928.3 5495.0 543349.6110148.61159410.9029119891216909.2 6095.0 553299.7356138.71522410.9210519901318547.9 6444.0 647499.8281128.77090511.0782719911421617.8 7517.0 654919.9812728.9

25、2492211.0896719921526638.1 9636.0 6615210.190109.17326111.0997119931634634.4 14998.0 6680810.452609.61567211.1095819941746759.4 19260.6 6745510.752779.86581711.1192219951858478.1 23877.0 6806510.9764110.0806711.1282219961967884.6 26867.2 6895011.1255610.1986611.1411419972074462.6 28457.6 6982011.218

26、0510.2561711.1536819982178345.2 29545.9 7063711.2688810.293711.1653119992282067.5 30701.6 7139411.3153010.3320711.1759720002389468.1 32611.4 7208511.4016410.3924211.1856020012497314.8 37460.8 7302511.4857110.5310511.19856200225105172.3 42355.4 7374011.5633610.6538511.20830非線性回歸PPT課件8.3 非線性模型非線性模型 其中

27、，y是國內(nèi)生產(chǎn)總值GDP (單位：億元)， K是資金投入，包括固定資產(chǎn)投資和庫存占用資 金(單位：億元)， L是就業(yè)總?cè)藬?shù)(單位：萬人)。 (1)假設(shè)隨機誤差項為相乘的，我們可以用兩邊取對數(shù)的辦法，按照（8.15）式將模型轉(zhuǎn)化線性形式，對數(shù)變換后的數(shù)據(jù)見表8.14，用SPSS作線性回歸得如下結(jié)果： 非線性回歸PPT課件8.3 非線性模型非線性模型 非線性回歸PPT課件8.3 非線性模型非線性模型 得兩個彈性系數(shù)為=0.902， =0.361，資金的貢獻(xiàn)率大于勞動力的貢獻(xiàn)率。規(guī)模報酬+ =0.902+0.361=1.2631表示規(guī)模報酬遞增。效率系數(shù)A=0.1242。其中系數(shù) 的顯著性概率P值=

28、0.087，顯著性較弱。得乘性誤差項的C-D生產(chǎn)函數(shù)為：0.9020.3610.1242yKL非線性回歸PPT課件8.3 非線性模型非線性模型 對加性誤差項模型,不能通過變量變換數(shù)轉(zhuǎn)化成線性模型，只能用非線性最小二乘法求解未知參數(shù)。以上面乘性誤差項的參數(shù)為初值做非線性最小二乘，經(jīng)過81步迭代得下面的輸出結(jié)果8.。其中參數(shù)的置信度為95%的置信區(qū)間為（-0.555 ，1.565），包含0在內(nèi)，因而不能認(rèn)為非0，顯著性較弱。得乘性誤差項的C-D生產(chǎn)函數(shù)為：0.9220.5050.020yKL非線性回歸PPT課件8.3 非線性模型非線性模型 非線性回歸PPT課件8.3 非線性模型非線性模型 非線性回

29、歸PPT課件8.3 非線性模型非線性模型 使用線性化的乘性誤差項模型，由共線性檢驗得方差擴(kuò)大因子VIF=15.5。使用嶺回歸，選取嶺參數(shù)k=0.20，這時R2從原來的0.998 14下降為0.980 58，得嶺回歸如下：* Ridge Regression with k = 0.20 * B SE(B) Beta B/SE(B)lnK .49700385 .02048319 .51558506 24.26398868lnL 2.18274631 .11798929 .39309616 18.49952910Constant -18.43784255 1.27336521 .00000000 -14.47961853 非線性回歸PPT課件8.3 非線性模型非線性模型 其中=0.4970， =2.183，A= 表明勞動力的貢獻(xiàn)率遠(yuǎn)大于資金的貢獻(xiàn)率，與普通最小二乘的結(jié)果完全相反。并且 =2.183也不符合經(jīng)濟(jì)意義。 從統(tǒng)計方法看，嶺回歸的結(jié)果是可信的，但是我們對其計算結(jié)果卻無法給出合理的解釋。18.43899.828 10e非線性回歸PPT課件8.3 非線性模型非線性模型 三、其他形式的非線性回歸三、其他形式的非線性回歸 非線性最小二乘是使殘差平方和達(dá)極小的方法,其最大的缺點是缺乏穩(wěn)健性。當(dāng)數(shù)據(jù)存在異常值時，參數(shù)的估計效果變得很差。因而在一些場合，我們希望用