SAS講義第三十四課非線性回歸分析

1、 697978906.doc非線性回歸分析對變量間非線性相關(guān)問題的曲線擬合，處理的方法主要有：一、 可變換成線性的非線性回歸2y = a + a cosix + b sin ix + e(34.1)t0ititt1tt2tt3tt4tt( )( )(34.2)(34.3)t011t22tmmt*1t1t2tmtt可為自變量構(gòu)成的向量。這種變量變換法也適用于因變量和待定參數(shù) b 。如i()y = a exp b x + b x + b x x -1(34.4)(34.5)(34.6)t1 1t22t31t 2t時上式兩邊取對數(shù)得()t1 1t22t31t 2t現(xiàn)作變換t03t1t 2t 6979

2、78906.doc則可得線性表達(dá)式(34.7)(34.8)022ta = exp(b )利用前面方法確定了，并由i0變量變換的線性化方法可推廣到下列形式的非線性模型( )( )h(y ) = c (b ) + c (b )g x +l + c (b )g xt00111tmmmt12ptiiit線性模型。表 34.1 典型的函數(shù)及線性化方法1b1u =yxxy = axb1y =i ，則為多項式回歸模型。由數(shù)學(xué)分析知識可知，一般函數(shù)i對觀測數(shù)據(jù)（x ，y ）（t= 1，n），多項式回歸模型為etty = b + b x + b x +l+ b x +mt，t=1,2,l,nt01t2mt令 6

3、97978906.docyx b 1 y10xbm y =x =b =22 mmm y2nxbel nn則模型可表示為y = xb +當(dāng) x 列滿秩時，由前面的討論知，其最小二乘估計為b = x x x y-1( )由此即可求得其多項式回歸方程。但由于用正交多項式法來進(jìn)行多項式回歸。-1 的計算既復(fù)雜又不穩(wěn)定，故我們一般采三、 不可變換成線性的非線性回歸分析b e假設(shè)因變量 y 與自變量（x ，x ,，x ）之間滿足非線性模型1(2p)(34.9)12p()b b , b , , b=bl其中為未知參數(shù)，f 為已知表達(dá)式，僅 未知的非線性函數(shù)， 為12m()l，t=1,2,l,nt1tpt b

4、e代人上式(34.9)得非線性回歸模型()l，t=1,2,l,nt1tty = f( ) + e()ll其中12n1m()=l12nb11( ( )( ( )q b = ee = y - f b y - f b22=在b 697978906.doc=(34.10)(5.4.11)0b b12m0b再 由取代b0 ，重復(fù)上述迭代過程，直至 q(b)可認(rèn)為達(dá)到最小值為止，即可將所得的b()l12p11( ( )( ( )q b = ee = y - f b y - f b首先考察的梯度向量（即導(dǎo)數(shù)）22q( ( ) ( ( )= - y - f b = -g y - f bbb為 f 的梯度矩陣。

5、bbb1mbb為 使j0 迭bb0，它從 0 出發(fā)以 d為方向的射線上取值。由復(fù)合求導(dǎo)公式得( )d = j t( ( )= d = - y - f b g db b可以證明，當(dāng) d0 時，在以 d為方向向量的射線上可以找到0b b()( ( )-tpg y f b=+(34.12)0b（gauss-newton）、最速下降法（梯度法，gradient）、牛頓法（newton）、麥夸特法（marquardt）、 697978906.doc正割法（dud）。以下我們介紹其中高斯-牛頓法。2. gaussnewton 法bb0 ，則只要確定d的值即可確定 。為( ) b此，考慮 f b 在 0 處

6、的 taylor展開式，并略去二次以上的項得fbbbf= f00+00b b=1- g d y - f002d( ( )( )g gg y f故( ( )0由此即可用前面線性回歸法求d，只需將 g 、y( ) 即可。此時，對給定精度e 、e ，當(dāng)012i2ib0 ，重復(fù)上述步驟，直至d 或 ( )滿足=0i精度要求為止。該法稱為 gaussnewton 法，其一般迭代公式為b b= + t dii其中：d為g bb d = b的解，t 為 t q i tggiiiiibgauss-newton 法在初值 0 選取適當(dāng)，且g g 可逆時非常有效，但在其他情形，其求解 優(yōu)法與 taylor 級數(shù)展

7、開法進(jìn)行線性逼近。此時，可以利用 sas/stat的 nlin 過程實現(xiàn)相應(yīng)的計算。proc nlin 采用最小誤差平方法（least squares method）及循環(huán)推測法（iterative estimationmethod）來建立一個非線性模型。一般而言，用戶必須自訂參數(shù)的名字、參數(shù)的啟動值（startingva1ue）、非線性的模型與循環(huán)推測法所用的準(zhǔn)則。若用戶不指明，則 nlin 程序自動以高斯-牛頓迭代法（gauss-newton iterative procedure）為估計參數(shù)的方法。另外此程序也備有掃描（grid search）的功能來幫助讀者選擇合適的參數(shù)啟動值。由于非

8、線性回歸分析十分不易處理，nlin 程序不保證一定可以算出符合最小誤差平方法之標(biāo)準(zhǔn)的參數(shù)估計值。nlin 過程的功能，計算非線性模型參數(shù)的最小二乘估計 ls 及加權(quán)最小二乘估計。與 reg過程不同的是：模型的參數(shù)要命名、賦初值、求偏導(dǎo)數(shù)；model 語句與參數(shù)名、解釋變量的表達(dá)式有關(guān)；可以使用賦值語句及條件語句。nlin 過程一般由下列語句控制：因變量表達(dá)式 ；其中，parameters 語句和 model 語句是必需的，而其余語句供用戶根據(jù)需要選擇。2. proc nlin 語句中的主要選擇項。l noinpoint抑制迭代結(jié)果的輸出。3. parameters（parms）語句。b2=14

9、. model 語句。5. bounds 語句。 b30，1=c=10；7. output 語句用于把一些計算結(jié)果輸出到指定的數(shù)據(jù)集中。有關(guān)的關(guān)鍵字及其意義如表34.2 所示：表 34.2 nlin 過程中 output 語句的關(guān)鍵字關(guān)鍵字predicted| presidual| rparmsstdrl95mu95ml95sse | ess關(guān)于 nlin 過程的其他選擇項及意義，詳見 sasstat的用戶手冊。y = b (1- e ) 來擬合模型較為合適。程序如下：-b1x0cards;020 0.57 030 0.72 040 0.81 050 0.87 060 0.91 070 0.9

10、4080 0.95 090 0.97 100 0.98 110 0.99 120 1.00 130 0.99140 0.99 150 1.00 160 1.00 170 0.99 180 1.00 190 1.00200 0.99 210 1.00proc nlin data=expd best=10 method=gauss;parms b0=0 to 2 by 0.5 b1=0.01 to 0.09 by 0.01;model y=b0*(1-exp(-b1*x);der.b0=1-exp(-b1*x); 697978906.docrun;goptions reset=global gun

11、it=pct cback=white borderhtitle=6 htext=3 ftext=swissb colors=(back);proc gplot data=expout;plot y*x ygs*x /haxis=axis1 vaxis=axis2 overlay;symbol1 i=none v=plus cv=red h=2.5 w=2;symbol2 i=join v=none l=1 h=2.5 w=2;axis1 order=20 to 210 by 10;axis2 order=0.5 to 1.1 by 0.05;title2 proc nlin method=ga

12、uss;run ;中參數(shù)b 和b 的最小二乘估計。我們知道參-1001數(shù)初始值選取好壞，對迭代過程是否收斂影響很大。parms 語句設(shè)置了初始值網(wǎng)格值為b 取 0，00.5，1，1.5，2 共 5 個值，b 取 0.01，0.02，0.09 共 9 個值，所有可能組合為 59=45,1y = b (1- e ) 對參數(shù)b 和b 的一階偏導(dǎo)數(shù)表達(dá)式，我們知道1001d y= 1- edb10d ydb101 697978906.doc圖 34-1 xy 散點圖和非線性回歸曲線 697978906.doc表 34.3 負(fù)指數(shù)增長曲線:gauss-newton 方法的輸出結(jié)果proc nlin method=gaussmethod: