SAS講義第三十四課非線性回歸分析

1、 697978906.doc非線性回歸分析對(duì)變量間非線性相關(guān)問(wèn)題的曲線擬合，處理的方法主要有：一、 可變換成線性的非線性回歸2y = a + a cosix + b sin ix + e(34.1)t0ititt1tt2tt3tt4tt( )( )(34.2)(34.3)t011t22tmmt*1t1t2tmtt可為自變量構(gòu)成的向量。這種變量變換法也適用于因變量和待定參數(shù) b 。如i()y = a exp b x + b x + b x x -1(34.4)(34.5)(34.6)t1 1t22t31t 2t時(shí)上式兩邊取對(duì)數(shù)得()t1 1t22t31t 2t現(xiàn)作變換t03t1t 2t 6979

2、78906.doc則可得線性表達(dá)式(34.7)(34.8)022ta = exp(b )利用前面方法確定了，并由i0變量變換的線性化方法可推廣到下列形式的非線性模型( )( )h(y ) = c (b ) + c (b )g x +l + c (b )g xt00111tmmmt12ptiiit線性模型。表 34.1 典型的函數(shù)及線性化方法1b1u =yxxy = axb1y =i ，則為多項(xiàng)式回歸模型。由數(shù)學(xué)分析知識(shí)可知，一般函數(shù)i對(duì)觀測(cè)數(shù)據(jù)（x ，y ）（t= 1，n），多項(xiàng)式回歸模型為etty = b + b x + b x +l+ b x +mt，t=1,2,l,nt01t2mt令 6

3、97978906.docyx b 1 y10xbm y =x =b =22 mmm y2nxbel nn則模型可表示為y = xb +當(dāng) x 列滿秩時(shí)，由前面的討論知，其最小二乘估計(jì)為b = x x x y-1( )由此即可求得其多項(xiàng)式回歸方程。但由于用正交多項(xiàng)式法來(lái)進(jìn)行多項(xiàng)式回歸。-1 的計(jì)算既復(fù)雜又不穩(wěn)定，故我們一般采三、 不可變換成線性的非線性回歸分析b e假設(shè)因變量 y 與自變量（x ，x ,，x ）之間滿足非線性模型1(2p)(34.9)12p()b b , b , , b=bl其中為未知參數(shù)，f 為已知表達(dá)式，僅 未知的非線性函數(shù)， 為12m()l，t=1,2,l,nt1tpt b

4、e代人上式(34.9)得非線性回歸模型()l，t=1,2,l,nt1tty = f( ) + e()ll其中12n1m()=l12nb11( ( )( ( )q b = ee = y - f b y - f b22=在b 697978906.doc=(34.10)(5.4.11)0b b12m0b再 由取代b0 ，重復(fù)上述迭代過(guò)程，直至 q(b)可認(rèn)為達(dá)到最小值為止，即可將所得的b()l12p11( ( )( ( )q b = ee = y - f b y - f b首先考察的梯度向量（即導(dǎo)數(shù)）22q( ( ) ( ( )= - y - f b = -g y - f bbb為 f 的梯度矩陣。

5、bbb1mbb為 使j0 迭bb0，它從 0 出發(fā)以 d為方向的射線上取值。由復(fù)合求導(dǎo)公式得( )d = j t( ( )= d = - y - f b g db b可以證明，當(dāng) d0 時(shí)，在以 d為方向向量的射線上可以找到0b b()( ( )-tpg y f b=+(34.12)0b（gauss-newton）、最速下降法（梯度法，gradient）、牛頓法（newton）、麥夸特法（marquardt）、 697978906.doc正割法（dud）。以下我們介紹其中高斯-牛頓法。2. gaussnewton 法bb0 ，則只要確定d的值即可確定 。為( ) b此，考慮 f b 在 0 處

6、的 taylor展開(kāi)式，并略去二次以上的項(xiàng)得fbbbf= f00+00b b=1- g d y - f002d( ( )( )g gg y f故( ( )0由此即可用前面線性回歸法求d，只需將 g 、y( ) 即可。此時(shí)，對(duì)給定精度e 、e ，當(dāng)012i2ib0 ，重復(fù)上述步驟，直至d 或 ( )滿足=0i精度要求為止。該法稱為 gaussnewton 法，其一般迭代公式為b b= + t dii其中：d為g bb d = b的解，t 為 t q i tggiiiiibgauss-newton 法在初值 0 選取適當(dāng)，且g g 可逆時(shí)非常有效，但在其他情形，其求解 優(yōu)法與 taylor 級(jí)數(shù)展

7、開(kāi)法進(jìn)行線性逼近。此時(shí)，可以利用 sas/stat的 nlin 過(guò)程實(shí)現(xiàn)相應(yīng)的計(jì)算。proc nlin 采用最小誤差平方法（least squares method）及循環(huán)推測(cè)法（iterative estimationmethod）來(lái)建立一個(gè)非線性模型。一般而言，用戶必須自訂參數(shù)的名字、參數(shù)的啟動(dòng)值（startingva1ue）、非線性的模型與循環(huán)推測(cè)法所用的準(zhǔn)則。若用戶不指明，則 nlin 程序自動(dòng)以高斯-牛頓迭代法（gauss-newton iterative procedure）為估計(jì)參數(shù)的方法。另外此程序也備有掃描（grid search）的功能來(lái)幫助讀者選擇合適的參數(shù)啟動(dòng)值。由于非

8、線性回歸分析十分不易處理，nlin 程序不保證一定可以算出符合最小誤差平方法之標(biāo)準(zhǔn)的參數(shù)估計(jì)值。nlin 過(guò)程的功能，計(jì)算非線性模型參數(shù)的最小二乘估計(jì) ls 及加權(quán)最小二乘估計(jì)。與 reg過(guò)程不同的是：模型的參數(shù)要命名、賦初值、求偏導(dǎo)數(shù)；model 語(yǔ)句與參數(shù)名、解釋變量的表達(dá)式有關(guān)；可以使用賦值語(yǔ)句及條件語(yǔ)句。nlin 過(guò)程一般由下列語(yǔ)句控制：因變量表達(dá)式 ；其中，parameters 語(yǔ)句和 model 語(yǔ)句是必需的，而其余語(yǔ)句供用戶根據(jù)需要選擇。2. proc nlin 語(yǔ)句中的主要選擇項(xiàng)。l noinpoint抑制迭代結(jié)果的輸出。3. parameters（parms）語(yǔ)句。b2=14

9、. model 語(yǔ)句。5. bounds 語(yǔ)句。 b30，1=c=10；7. output 語(yǔ)句用于把一些計(jì)算結(jié)果輸出到指定的數(shù)據(jù)集中。有關(guān)的關(guān)鍵字及其意義如表34.2 所示：表 34.2 nlin 過(guò)程中 output 語(yǔ)句的關(guān)鍵字關(guān)鍵字predicted| presidual| rparmsstdrl95mu95ml95sse | ess關(guān)于 nlin 過(guò)程的其他選擇項(xiàng)及意義，詳見(jiàn) sasstat的用戶手冊(cè)。y = b (1- e ) 來(lái)擬合模型較為合適。程序如下：-b1x0cards;020 0.57 030 0.72 040 0.81 050 0.87 060 0.91 070 0.9

10、4080 0.95 090 0.97 100 0.98 110 0.99 120 1.00 130 0.99140 0.99 150 1.00 160 1.00 170 0.99 180 1.00 190 1.00200 0.99 210 1.00proc nlin data=expd best=10 method=gauss;parms b0=0 to 2 by 0.5 b1=0.01 to 0.09 by 0.01;model y=b0*(1-exp(-b1*x);der.b0=1-exp(-b1*x); 697978906.docrun;goptions reset=global gun

11、it=pct cback=white borderhtitle=6 htext=3 ftext=swissb colors=(back);proc gplot data=expout;plot y*x ygs*x /haxis=axis1 vaxis=axis2 overlay;symbol1 i=none v=plus cv=red h=2.5 w=2;symbol2 i=join v=none l=1 h=2.5 w=2;axis1 order=20 to 210 by 10;axis2 order=0.5 to 1.1 by 0.05;title2 proc nlin method=ga

12、uss;run ;中參數(shù)b 和b 的最小二乘估計(jì)。我們知道參-1001數(shù)初始值選取好壞，對(duì)迭代過(guò)程是否收斂影響很大。parms 語(yǔ)句設(shè)置了初始值網(wǎng)格值為b 取 0，00.5，1，1.5，2 共 5 個(gè)值，b 取 0.01，0.02，0.09 共 9 個(gè)值，所有可能組合為 59=45,1y = b (1- e ) 對(duì)參數(shù)b 和b 的一階偏導(dǎo)數(shù)表達(dá)式，我們知道1001d y= 1- edb10d ydb101 697978906.doc圖 34-1 xy 散點(diǎn)圖和非線性回歸曲線 697978906.doc表 34.3 負(fù)指數(shù)增長(zhǎng)曲線:gauss-newton 方法的輸出結(jié)果proc nlin method=gaussmethod: