《多元統(tǒng)計分析及R語言》第4章多元相關(guān)與回歸分析

問題：

如何確定身高和體重之間相關(guān)關(guān)系，如果存在關(guān)系性，如何建立數(shù)據(jù)模型對身高或體重進(jìn)行預(yù)測？分析方法：相關(guān)分析和回歸分析問題提出身高171175159155152158154164168166159164體重576441383544415157494746相關(guān)與回歸相關(guān)關(guān)系平行關(guān)系相關(guān)分析依存關(guān)系回歸分析函數(shù)關(guān)系有精確的數(shù)學(xué)表達(dá)式相關(guān)與回歸一元相關(guān)分析多元相關(guān)分析復(fù)相關(guān)典型相關(guān)一元回歸多元回歸第4章多元相關(guān)與回歸分析4.1變量間的關(guān)系分析4.2多元線性回歸分析4.3多元線性相關(guān)分析4.4回歸變量的選擇方法4.1變量間的關(guān)系分析1.簡單相關(guān)分析結(jié)論：相關(guān)系數(shù)|ρ|≦1,絕對值越接近1，相關(guān)性越密切，接近0則相關(guān)性弱。計算公式：Pearson相關(guān)系數(shù)：(1)兩變量線性相關(guān)系數(shù)計算(2)相關(guān)系數(shù)檢驗結(jié)論：說明該組人群的身高與體重之間呈現(xiàn)正的線性相關(guān)關(guān)系。相關(guān)系數(shù)顯著性需進(jìn)行假設(shè)檢驗。身高171175159155152158154164168166159164體重576441383544415157494746lxy<-function(x,y){n=length(x);sum(x*y)-sum(x)*sum(y)/n}#建立離均差乘積和函數(shù)lxy(x1,x1)#x1的離均差平方和[1]556.9lxy(x2,x2)#x2的離均差平方和[1]813lxy(x1,x2)#x1與x2的離均差乘積和[1]645.5(r=lxy(x1,x2)/sqrt(lxy(x1,x1)*lxy(x2,x2)))#用離均差乘積和計算相關(guān)系數(shù)r=0.9593結(jié)論：說明該組人群的身高與體重之間呈現(xiàn)正的線性相關(guān)關(guān)系。相關(guān)系數(shù)顯著性需進(jìn)行假設(shè)檢驗。身高171175159155152158154164168166159164體重576441383544415157494746cor(x,y=NULL,method=c("pearson","kendall","spearman"))method計算方法，包括"pearson","kendall"或"spearman"三種，默認(rèn)pearsonr=0.9593t檢驗統(tǒng)計量來自ρ=0的總體所有樣本相關(guān)系數(shù)呈對稱分布，故r的顯著性可用t檢驗來進(jìn)行。（2）相關(guān)系數(shù)的假設(shè)檢驗—t檢驗n=length(x1)#向量的長度tr=r/sqrt((1-r^2)/(n-2))#相關(guān)系數(shù)檢驗t統(tǒng)計量p=2*（1-pt(tr,df=10,0.05)）=8.21×10-7#雙側(cè)檢驗結(jié)論：p<0.05,拒絕原假設(shè)，接受備則假設(shè)，ρ不顯著為0。身高和體重正相關(guān)。相關(guān)與回歸相關(guān)關(guān)系平行關(guān)系相關(guān)分析依存關(guān)系回歸分析函數(shù)關(guān)系有精確的數(shù)學(xué)表達(dá)式相關(guān)與回歸一元相關(guān)分析多元相關(guān)分析復(fù)相關(guān)典型相關(guān)一元回歸多元回歸2.一元線性回歸模型和參數(shù)估計實際值與估計值離差平方和：最小二乘法，對a，b求偏導(dǎo)：此處lxx表示的離差平方和，lxy表示與的離差積和?；灸Ｐ托问剑簠?shù)估計（最小二乘法）(1)模型系數(shù)估計(2)模型和系數(shù)檢驗2.直線回歸方程的建立步驟（2）計算斜率:b=lxy(x,y)/lxy(x,x)=-140.364（1）確定變量：x=x1#自變量,y=x2#因變量,（3）計算截距：a=mean(y)-b*mean(x)=1.159（4）建立回歸方程（5）plot(x,y)；lines(x,a+bx)3.回歸模型假設(shè)檢驗：方差分析離差平方和的分解xyy{}}殘差平方和(SSE)扣除x對y線性影響后變異回歸平方和(SSR)x對y的線性影響離差平方和(SST)與自由度結(jié)合：F統(tǒng)計量為其中結(jié)論：p<0.05,拒絕原假設(shè)，接受備則假設(shè)，模型參數(shù)不顯著同時0。模型有意義。假設(shè)條件：原假設(shè):b=0，模型無意義;

備擇假設(shè)：b≠0,模型有意義p=1-pf(F,df1=1,df2=(n-2))=8.21×10-7自變量個數(shù)n-1-自變量個數(shù)結(jié)論：p<0.05,拒絕原假設(shè)，接受備則假設(shè)，模型參數(shù)不顯著為0。模型有意義。t統(tǒng)計量為：其中Sb標(biāo)準(zhǔn)化為：3.回歸系數(shù)假設(shè)檢驗：t檢驗假設(shè)條件：原假設(shè):β=0;備擇假設(shè)：β≠04實例分析

財政收入與稅收有密切的依存關(guān)系。收集了我國1978年改革開放以來到2008年共31年的稅收(x,百億元)和財政收入(y，百億元)數(shù)據(jù)。tyx197811.32625.1928197911.46385.3782198011.59935.7170198111.75796.2989198212.12337.0002………1.數(shù)據(jù)形式問題：分析稅收與財政收入之間的依存關(guān)系。

yx=read.table(“clipboard”,header=T)#加載數(shù)據(jù)(fm=lm(y~x,data=yx))#顯示一元線性回歸模型lm(formula=y~x)Coefficients:(Intercept)x-1.1971.1162.模型估計線性回歸方程為：plot(y~x,data=yx)#做散點(diǎn)圖abline(fm)#添加回歸線3.模型檢驗結(jié)論：F統(tǒng)計量對應(yīng)的p<0.05,則拒絕原假設(shè)，模型系數(shù)不顯著為0，模型有統(tǒng)計學(xué)意義假設(shè)條件：原假設(shè):β=0;備擇假設(shè)：β≠0

anova(fm)#模型方差分析 DfSumSqMeanSqFvaluePr(>F)x1712077712077

=27428<2.2e-16***Residuals29753264.模型系數(shù)檢驗結(jié)論：t統(tǒng)計量對應(yīng)的p<0.05,則拒絕原假設(shè)，模型系數(shù)不顯著為0，模型有統(tǒng)計學(xué)意義注意：t2=F，當(dāng)自變量只有1個時，方差分析與檢驗的結(jié)果是等價的。但在多元分析中，方差分析與檢驗的結(jié)果并不等價假設(shè)條件：原假設(shè):β=0;備擇假設(shè):β≠0summary(fm)#回歸系數(shù)t檢驗變量回歸系數(shù)標(biāo)準(zhǔn)誤t值P值截距-1.19656/1.1612

=-1.0304

0.3113x1.1162/0.0067=165.6144<2e-16***F-statistic:27428.133on1and29DF,p-value:<2.22045e-164.2多元線性回歸分析1.多元線性回歸模型建立模型基本公式：n組觀測值回歸模型：矩陣形式：2.基本假設(shè)4、n>p.即要求樣本容量個數(shù)多于解釋變量的個數(shù)。1、解釋變量（自變量）一般說來是非隨機(jī)變量2、誤差等方差及不相關(guān)假定（G-M條件）：3、誤差正態(tài)分布的假定條件為：3.多元線性回歸最小二乘估計模型基本公式：對參數(shù)β求偏導(dǎo)，使其實際值與估計值離差平方和最?。害鹿烙嬛禐椋航Y(jié)論：在正態(tài)性假定條件下，β的最小二乘估計與極大似然估計值完全相同。4.模型檢驗結(jié)論：F統(tǒng)計量對應(yīng)的p<0.05,則拒絕原假設(shè)，模型有意義，否則，接受原假設(shè)，模型無意義。其中：SSR為回歸平方和，SSE為殘差平方和。假設(shè)條件：原假設(shè):β1=β2=…=βn=0;備擇假設(shè)：β1,β2,…,βn

不全為0離差平方和分解：檢驗F統(tǒng)計量：5.模型估計參數(shù)檢驗結(jié)論：t統(tǒng)計量對應(yīng)的p<0.05,則拒絕原假設(shè)，系數(shù)不顯著為0，有意義，否則，接受原假設(shè)，系數(shù)無意義。假設(shè)條件：原假設(shè):βj=0;備擇假設(shè):βj≠0檢驗t統(tǒng)計量：其中：為估計值為第j個偏回歸系數(shù)的標(biāo)準(zhǔn)誤差4實例分析財政收入:反映一國經(jīng)濟(jì)實力的重要標(biāo)志.分析財政收入(y百億元)和國內(nèi)生產(chǎn)總值(x1百億元)、稅收(x2百億元)、進(jìn)出口貿(mào)易總額(x3百億元)、經(jīng)濟(jì)活動人口(x4百萬人)之間的關(guān)系。tyx1x2x3x4197811.326236.2415.19283.55406.82197911.463840.3825.37824.12415.92198011.599345.1785.71705.70429.03198111.757948.6036.29898.904441.65198212.123353.0187.000212.801456.74198318.669559.5747.555915.903467.071.數(shù)據(jù)形式結(jié)論：為了消除單位數(shù)量級影響，需要對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化或歸一化處理標(biāo)準(zhǔn)化方法：

yX=read.table("clipboard",header=T)#加載例4.4數(shù)據(jù)

YX=data.frame(scale(yX))#標(biāo)準(zhǔn)化(fm=lm(y~x1+x2+x3+x4,data=yX))#顯示多元線性回歸模型lm(formula=y~x1+x2+x3+x4)Coefficients:(Intercept)x1x2x3x423.532109-0.0033871.1641150.000292-0.0437422.模型估計多元線性回歸方程為：結(jié)論：由于前期未對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，此時需要對系數(shù)進(jìn)行后期標(biāo)準(zhǔn)化處理。3.模型估計系數(shù)標(biāo)準(zhǔn)化結(jié)論：稅收對財政收入線性影響最大標(biāo)準(zhǔn)化公式為：其中：si和sy分別是各自變量和因變量的標(biāo)準(zhǔn)差。library(mvstats)coef.sd(fm)#標(biāo)準(zhǔn)化偏回歸系數(shù)結(jié)果$coef.sdx1x2x3x4-0.01741.04230.0009-0.03714.模型檢驗結(jié)論：F統(tǒng)計量對應(yīng)的p<0.05,則拒絕原假設(shè)，模型系數(shù)不同時為0，模型有統(tǒng)計學(xué)意義假設(shè)條件：原假設(shè):β1=β2=…=βn=0;備擇假設(shè)：β1,β2,…,βn

不全為0來源離均差平方和自由度均方F值P值回歸712627.36/4=178156.84=22890.80

<.0001誤差202.3541/26=7.7829總計712829.718630殘差正態(tài)性檢驗：shapiro.test(fm$residuals)#原假設(shè)正態(tài)性4.模型系數(shù)檢驗結(jié)論：稅收x2和經(jīng)濟(jì)活動人口x4的p<0.05，拒絕原假設(shè)，說明系數(shù)不顯著為0，這兩個因素對財政收入有顯著影響，國內(nèi)生產(chǎn)總值x1和進(jìn)出口貿(mào)易x3未通過顯著性檢驗，未對財政收入有顯著影響，可以去掉。另：結(jié)果與經(jīng)濟(jì)現(xiàn)實不符，需要消除共線性或去除部分變量假設(shè)條件：原假設(shè):βj=0;備擇假設(shè):βj≠0變量回歸系數(shù)標(biāo)準(zhǔn)誤t值P值標(biāo)準(zhǔn)回歸系數(shù)x023.53214.5995.122.5e-05……x1-0.0033870.0081-0.420.68-0.01745x21.164110.040528.75<2-e-161.04235x30.0002920.00850.030.950.00096x4-0.043740.0092-4.727.0e-05-0.037104.3多元線性相關(guān)分析1.矩陣相關(guān)分析n個變量：相關(guān)系數(shù)：相關(guān)系數(shù)公式：財政收入:反映一國經(jīng)濟(jì)實力的重要標(biāo)志.分析財政收入(y百億元)和國內(nèi)生產(chǎn)總值(x1百億元)、稅收(x2百億元)、進(jìn)出口貿(mào)易總額(x3百億元)、經(jīng)濟(jì)活動人口(x4百萬人)之間的關(guān)系。2.實例分析問題：分析財政收入與各變量間的相關(guān)性tyx1x2x3x4197811.326236.2415.19283.55406.82197911.463840.3825.37824.12415.92198011.599345.1785.7175.70429.03198111.757948.6036.29898.904441.65198212.123353.0187.000212.801456.74198318.669559.5747.555915.903467.07結(jié)論：財政收入與和國民生產(chǎn)總值及稅收、進(jìn)出口貿(mào)易總額關(guān)系顯著，與經(jīng)濟(jì)活動人口關(guān)系不夠顯著。yx1x2x3x4y10.98710.99950.99120.6957x10.987110.99070.98680.7818x20.99950.990710.99170.7154x30.99120.98680.991710.7074x40.69570.78180.71540.70741cor(yX)#多元數(shù)據(jù)相關(guān)系數(shù)矩陣3.復(fù)相關(guān)分析定義：研究多個變量同時和某個變量間的相關(guān)關(guān)系，采用復(fù)相關(guān)系數(shù)對相關(guān)性進(jìn)行度量回歸模型決定系數(shù)：研究因變量與一組自變量間的相關(guān)程度。計算公式：結(jié)論：R2稱為決定系數(shù)，體現(xiàn)模型擬合程度好壞，一般大于0.8就表示模型擬合程度好。計算公式：分析財政收入(y百億元)和國內(nèi)生產(chǎn)總值(x1百億元)、稅收(x2百億元)、進(jìn)出口貿(mào)易總額(x3百億元)、經(jīng)濟(jì)活動人口(x4百萬人)之間的關(guān)系。2.實例分析問題：分析財政收入與各變量間的回歸模型擬合程度。tyx1x2x3x4197811.326236.2415.19283.55406.82197911.463840.3825.37824.12415.92198011.599345.1785.7175.70429.03(R2=summary(fm)$r.sq)#多元線性回歸模型決定系數(shù)[1]0.9997(R=sqrt(R2))#多元數(shù)據(jù)復(fù)相關(guān)系數(shù)[1]0.9999結(jié)論：模型可決系數(shù)大于0.9，擬合效果好，但隨著變量增加，決定系數(shù)會增加，故不能僅僅根據(jù)其判斷模型好壞4.4回歸變量選擇方法一.變量選擇標(biāo)準(zhǔn)選擇標(biāo)準(zhǔn)常用準(zhǔn)則平均殘差平方和最小準(zhǔn)則誤差平方根MSE最小準(zhǔn)則校正復(fù)相關(guān)系數(shù)平方準(zhǔn)則Cp準(zhǔn)則AIC準(zhǔn)則和BIC準(zhǔn)則全局擇優(yōu)法殘差平方和(RSS)最小復(fù)相關(guān)系數(shù)平方(R2)和最大準(zhǔn)測1.全局擇優(yōu)法定義:從所有可能回歸模型中，按一定準(zhǔn)則選擇最優(yōu)模型

殘差平方和(RSS)最小復(fù)相關(guān)系數(shù)平方(R2)和最大準(zhǔn)測：模型總個數(shù)：library(leaps)#加載leaps包varsel=regsubsets(y~x1+x2+x3+x4,data=yX)#線性回歸變量選擇模型result=summary(varsel)#變量選擇方法結(jié)果data.frame(result$outmat,RSS=result$rss,R2=result$rsq)#結(jié)果展示x1x2x3x4RSSR21(1) *752.880.998942(1)**203.880.999713(1)***202.350.999724(1)****202.340.99972結(jié)論:自變量子集越多,RSS越小,R2越大,總是會選擇自變量最多,模型,且當(dāng)變量較多時,產(chǎn)生模型個數(shù)會很多(2p),計算量大.2.變量選擇常用標(biāo)準(zhǔn)結(jié)論：隨著模型變量個數(shù)增加，采用(n-p)-1方式對其進(jìn)行懲罰，故RMSp越小越好。（1）平均殘差平方和最小準(zhǔn)則：結(jié)論：MSE即為剩余標(biāo)準(zhǔn)差sy.x，故MSEp越小越好。（2）誤差均方根最小準(zhǔn)則：結(jié)論：等價誤差平方根最小，故adjR2越大越好。（3）校正復(fù)相關(guān)系數(shù)：結(jié)論：按AIC和BIC越小越好準(zhǔn)則進(jìn)行模型選擇。結(jié)論：選擇對應(yīng)點(diǎn)（p,Cp）最接近第一象限角平分線，且Cp最?。?）Cp準(zhǔn)則：（5）AIC和BIC準(zhǔn)則：實例data.frame(result$outmat,adjR2=result$adjr2,Cp=result$cp,BIC=result$bic)#調(diào)整決定系數(shù),Cp和BIC準(zhǔn)則結(jié)果展示x1x2x3x4adjR2CpBIC1(1)*0.998969.745-205.62(1)**0.99971.199-242.63(1)***0.99973.001-239.44(1)****0.99975.000-236.0結(jié)論：按最小標(biāo)準(zhǔn)，選擇x2和x4兩個變量的模型較好。4.4.2.逐步回歸分析思想：當(dāng)自變量之間相關(guān)性很強(qiáng)時，會使模型方程無解或病態(tài)，需要將這部分變量刪除，采用逐步篩選變量，尋找較優(yōu)子空間的變量選擇方法可以實現(xiàn)這一過程。三種方法向前引入法（forward）向后剔除法（backward）逐步篩選法（stepwise）1.向前引入法：只引入不剔除向前引入法x1,yx2,yxp,y分別建立p個一元回歸模型，設(shè)置引入門檻(F進(jìn)=3.87)分別對p個模型回歸系數(shù)進(jìn)行F檢驗選擇最大F統(tǒng)計量且大于F進(jìn)值引入模型繼續(xù)引入操作，直到F統(tǒng)計量<F進(jìn)為止…缺點(diǎn)：沒有考慮引入變量引入方程后變?yōu)椴伙@著的情況2.向后剔除法：只剔除不引入向后剔除法分別對模型p個回歸系數(shù)進(jìn)行F檢驗選擇最小F統(tǒng)計量且小于F出值剔出模型繼續(xù)剔除操作，直到F統(tǒng)計量>F出為止對所有自變量和因變量建立一個多元回歸模型，設(shè)置剔除門檻(F出)缺點(diǎn)：計算量大3.逐步篩選法逐步篩選法計算方程與其他變量偏回歸平方和，選擇最大F進(jìn)值引入方程檢驗引入方程模型，選擇變量系數(shù)最小F統(tǒng)計量且小于F出值剔出模型選擇相關(guān)性最強(qiáng)的1個變量建立一元回歸方程，設(shè)置引入（F進(jìn)）和剔除門檻(F出)說明:由于變量間存在相關(guān)性，單一引入或剔除沒有考慮這種相關(guān)性，影響模型變量質(zhì)量。重復(fù)操作，直到既不能引入也不能剔除為止4.實例分析fm=lm(y~x1+x2+x3+x4)#多元數(shù)據(jù)線性回歸模型fm.step=step(fm,direction="forward")Start:AIC=68.15y~x1+x2+x3+x4（1）向前引入法變量選擇（2）向后剔除法變量選擇fm.step=step(fm,direction=“backward”,test=“F”)Start:AIC=68.15y~x1+x2+x3+x4DfSum

ofSqRSS

AICFPr(>F)-x310.009

202

660.00120.9730-x111

204

660.17590.6784<none>

202

68-x41174

376

8522.29547.005e-05***-x216433

6635174826.6460<2.2e-16***（2）向后剔除法變量選擇fm.step=step(fm,direction=“backward”,test=“F”)Step:AIC=66.16y~x1+x2+x4

DfSumofSqRSSAICFvaluePr(>F)-x11

2

204640.20530.6541<none>

20266-x41

197

4008526.32502.143e-05***-x21

7382

7585176985.0464<2.2e-16***Step:AIC=64.39y~x2+x4

Df

SumofSq

RSSAICFvaluePr(>F)<none>

20464-x41

549

75310375.3961.972e-09***-x21

36765536785929550491.307<2.2e-16***（3）逐步篩選法變量選擇fm.step=step(fm,direction=“both”,test=“F”)Start:AIC=68.15y~x1+x2+x3+x4DfSumofSqRSSAICFvaluePr(>F)-x310.009202660.00120.9730-x111204660.17590.6784<none>20268x411743768522.29547.005e-05***-x2164336635174826.6460<2.2e-16***（3）逐步篩選法變量選擇fm.step=step(fm,direction=“both”,test=“F”)Step:AIC=66.16y~x1+x2+x4DfSumofSqRSSAICFvaluePr(>F)-x112204640.20530.6541<none>20266+x310.009202680.00120.9730-x411974008526.32502.143e-05***-x213827585176985.0464<2.2e-16***Step:AIC=64.39y~x2+x4DfSumofSqRSSAICFvaluePr(>F)<none>20464+x112202660.20530.6541+x310.18204660.02370.8789-x4154975310375.39621.972e-09***-x2136765536785929550491.3069<2.2e-16***4.5非線性回歸模型可直線化曲線方程多項式曲線:y=a+bx+cx2+…+pxp對數(shù)曲線:y=a+blogx指數(shù)函數(shù):y=aebx(a>0)冪函數(shù):y=axb(a>0)雙曲線函數(shù):y=a+b/x曲線回歸:通過兩個相關(guān)變量x與y的實際觀測值數(shù)據(jù)建立曲線回歸方程，揭示x與y曲線關(guān)系類型，此處指可直線化非線性回歸。經(jīng)濟(jì)增長模型:Y=A0emtLaKbCobb-Douglas生產(chǎn)函數(shù):Q=aLb1Kb2+e消費(fèi)函數(shù):C=b1+b2Yb3+e不能精確直線化經(jīng)典經(jīng)濟(jì)非線性模型非線性回歸方程1、多項式曲線直線化多項式方程：直線化后方程：方法：令x1=x;x2=x2,…，xp=xpx1=x；x2=x^2lm.2=lm(y~x1+x2)#二次函數(shù)回歸模型summary(lm.2)$coef#二次函數(shù)回歸模型系數(shù)EstimateStd.ErrortvaluePr(>|t|)(Intercept)6.914690.33198720.8286.346e-09x1-0.465630.056969-8.1731.864e-05x20.010760.0020095.3534.604e-04決定系數(shù)；summary(lm.2)$r.sq=0.9513實例：分析百貨商店銷售額x與流通費(fèi)率y之間的關(guān)系。結(jié)論：系數(shù)和模型都通過顯著性檢驗，模型擬合效果好2、對數(shù)曲線直線化對數(shù)曲線方程：y=a+blogx直線化后方程：y=a+bx’方法：令x’=logx;lm.log=lm(y~log(x))#對數(shù)函數(shù)回歸模型summary(lm.log)$coef#對數(shù)函數(shù)回歸模型系數(shù)EstimateStd.ErrortvaluePr(>|t|)(Intercept)7.3640.168843.649.596e-13log(x)-1.7570.0677-25.951.660e-10summary(lm.log)$r.sq=0.9854實例：分析百貨商店銷售額x與流通費(fèi)率y之間的關(guān)系。結(jié)論：系數(shù)和模型都通過顯著性檢驗，模型擬合效果好.

模型為:y=7.364-1.757logx3、指數(shù)曲線直線化指數(shù)曲線方程：y=aebx(a>0)直線化后方程：y’=a+bx方法：兩邊取對數(shù)logy=loga+bxlm.exp=lm(log(y)~x)#指數(shù)函數(shù)回歸模型summary(lm.exp)$coef#指數(shù)函數(shù)回歸模型系數(shù)EstimateStd.ErrortvaluePr(>|t|)(Intercept)1.759660.07510123.434.543e-10x-0.048810.004697-10.391.116e-06summary(lm.exp)$r.sq=0.9153實例：分析百貨商店銷售額x與流通費(fèi)率y之間的關(guān)系。結(jié)論：系數(shù)和模型都通過顯著性檢驗，模型擬合效果好.

模型為:y=5.81e-0.049x4、冪函數(shù)曲線直線化冪函數(shù)曲線方程：y=axb(a>0)直線化后方程：y’=a’+bx’方法：兩邊取對數(shù)logy=loga+blogxlm.pow=lm(log(y)~log(x))#冪函數(shù)回歸模型summary(lm.pow)$coef#冪函數(shù)回歸模型系數(shù)

EstimateStd.ErrortvaluePr(>|t|)(Intercept)2.19070.0295174.234.806e-15log(x)-0.47240.01184-39.902.337e-12summary(lm.pow)$r.sq=0.9938實例：分析百貨商店銷售額x與流通費(fèi)率y之間的關(guān)系。結(jié)論：系數(shù)和模型都通過顯著性檢驗，模型擬合效果好.

模型為:y=8.942x-0.47245、不能精確直線化非線性回歸模型可直線化曲線方程多項式曲線:y=a+bx+cx2+…+pxp對數(shù)曲線:y=a+blogx指數(shù)函數(shù):y=aebx(a>0)冪函數(shù):y=axb(a>0)雙曲線函數(shù):y=a+b/x經(jīng)濟(jì)增長模型:Y=A0emtLaKbCobb-Douglas生產(chǎn)函數(shù):Q=aLb1Kb2+e消費(fèi)函數(shù):C=b1+b2Yb3+e不能精確直線化經(jīng)典經(jīng)濟(jì)非線性模型非線性回歸方程基本形式：（1）非線性回歸模型參數(shù)計算Gauss-Newton迭代法求解:基本思想是使用泰勒級數(shù)展開式去近似地代替非線性回歸模型，然后通過多次迭代，多次修正回歸系數(shù)，使回歸系數(shù)不斷逼近非線性回歸模型的最佳回歸系數(shù)，最后使原模型的殘差平方和達(dá)到最小。殘差平方和：最小二乘法：在β=β1處Taylor展示：結(jié)論：對于給定初始值β=β1

，最小二乘原理，β2可求出Gauss-Newton迭代法求解對于給定初始值β=β1

，β2可求出結(jié)論：在給定初始值條件下，一直迭代,βn+1≈βn,即收斂，βn為最優(yōu)解，殘差平方和達(dá)到最小。該方法需要確定迭代初始值，通常取其線性模型結(jié)果作為其初始值β2估計值：估計擬線性模型：β3估計值：βn+1估計值：(S4=nls(y~a*(x^b),start=list(a=5,b=-0.1)))#冪函數(shù)回歸Nonlinearregressionmodelmodel:y~a*(x^b)data:parent.frame()ab8.609-0.452residualsum-of-squares:0.164Numberofiterationstoconvergence:5Achievedconvergencetolerance:6.07e-07使用非