非線性回歸分析

1回顧-一元一次線性回歸步驟：1.觀察散點(diǎn)圖2.判斷是什么關(guān)系;3.回歸參數(shù)計(jì)算；4.判斷系數(shù)；5.顯著性檢驗(yàn)（注意H0）6.失擬合檢驗(yàn)（注意需要的條件）指標(biāo)評(píng)價(jià)相關(guān)系數(shù)，判斷系數(shù)回歸公式顯著性檢驗(yàn)H0假設(shè)的含義；方差分析表；F(1,n-2)失擬合檢驗(yàn)條件？F(m-2,n-m)2回歸分析內(nèi)容一元線性步驟：1.觀察散點(diǎn)圖，2.判斷是什么關(guān)系，3.回歸，4.判斷系數(shù)；5。顯著性檢查（注意H0），6.失擬合檢驗(yàn)（注意需要的條件）一元非線性帶虛擬變量多元線性多元非線性和逐步回歸Logistic回歸3

煉鋼廠出鋼水時(shí)用的鋼包，在使用過(guò)程中由于鋼水及爐渣對(duì)耐火材料的浸蝕，其容積不斷增大?，F(xiàn)在鋼包的容積用盛滿鋼水時(shí)的重量y(kg)表示，相應(yīng)的試驗(yàn)次數(shù)用x表示。數(shù)據(jù)見(jiàn)表，要找出y

與x的定量關(guān)系表達(dá)式。

一次非線性回歸4鋼包的重量y與試驗(yàn)次數(shù)x數(shù)據(jù)

序號(hào)xy序號(hào)xy12106.42811110.5923108.20914110.6034109.581015110.9045109.501116110.7657110.001218111.0068109.931319111.20710110.49

下面我們分三步進(jìn)行。

5確定可能的函數(shù)形式

為對(duì)數(shù)據(jù)進(jìn)行分析，首先描出數(shù)據(jù)的散點(diǎn)圖，判斷兩個(gè)變量之間可能的函數(shù)關(guān)系，圖是本例的散點(diǎn)圖。觀測(cè)這13個(gè)點(diǎn)構(gòu)成的散點(diǎn)圖，我們可以看到它們并不接近一條直線，用曲線擬合這些點(diǎn)應(yīng)該是更恰當(dāng)?shù)?，這里就涉及如何選擇曲線函數(shù)形式的問(wèn)題。

6

首先，如果可由專業(yè)知識(shí)確定回歸函數(shù)形式，則應(yīng)盡可能利用專業(yè)知識(shí)。當(dāng)若不能有專業(yè)知識(shí)加以確定函數(shù)形式，則可將散點(diǎn)圖與一些常見(jiàn)的函數(shù)關(guān)系的圖形進(jìn)行比較，選擇幾個(gè)可能的函數(shù)形式，然后使用統(tǒng)計(jì)方法在這些函數(shù)形式之間進(jìn)行比較，最后確定合適的曲線回歸方程。為此，必須了解常見(jiàn)的曲線函數(shù)的圖形，。

7

本例中，散點(diǎn)圖呈現(xiàn)呈現(xiàn)一個(gè)明顯的向上且上凸的趨勢(shì)，可能選擇的函數(shù)關(guān)系有很多，比如，我們可以給出如下四個(gè)曲線函數(shù)：

1)1/y=a+b/x

2)y=a+blnx

3)4)

在初步選出可能的函數(shù)關(guān)系(即方程)后，我們必須解決兩個(gè)問(wèn)題：如何估計(jì)所選方程中的參數(shù)？如何評(píng)價(jià)所選不同方程的優(yōu)劣？8

對(duì)上述非線性函數(shù)，參數(shù)估計(jì)最常用的方法是“線性化”方法。以1/y=a+b/x為例，為了能采用一元線性回歸分析方法，我們作如下變換u=1/x,v=1/y

則曲線函數(shù)就化為如下的直線v=bu

這是理論回歸函數(shù)。對(duì)數(shù)據(jù)而言，回歸方程為

vi=a+bui+

i

于是可用一元線性回歸的方法估計(jì)出a,b。

9參數(shù)估計(jì)計(jì)算表

10

用類似的方法可以得出其它三個(gè)曲線回歸方程，它們分別是：

11

曲線回歸方程的比較

我們上面得到了四個(gè)曲線回歸方程，通常可采用如下二個(gè)指標(biāo)進(jìn)行選擇。（1）決定系數(shù)R2：類似于一元線性回歸方程中相關(guān)系數(shù)，決定系數(shù)定義為：

R2越大，說(shuō)明殘差越小，回歸曲線擬合越好，R2從總體上給出一個(gè)擬合好壞程度的度量。

12（2）剩余標(biāo)準(zhǔn)差s：類似于一元線性回歸中標(biāo)準(zhǔn)差的估計(jì)公式，此剩余標(biāo)準(zhǔn)差可用殘差平方和來(lái)獲得，即

s為諸觀測(cè)點(diǎn)yi與由曲線給出的擬合值間的平均偏離程度的度量，s越小，方程越好。13

在觀測(cè)數(shù)據(jù)給定后，不同的曲線選擇不會(huì)影響的取值，但會(huì)影響到殘差平方和的取值。因此，對(duì)選擇的曲線而言，決定系數(shù)和剩余標(biāo)準(zhǔn)差都取決于殘差平方和，從而，兩種選擇準(zhǔn)則是一致的，只是從兩個(gè)不同側(cè)面作出評(píng)價(jià)。14表給出第一個(gè)曲線回歸方程的殘差平方和的計(jì)算過(guò)程，由于n=13，，故其決定系數(shù)及剩余標(biāo)準(zhǔn)差分別為：其它三個(gè)方程的決定系數(shù)及剩余標(biāo)準(zhǔn)差可同樣計(jì)算，我們將它們列在表中。

15

四種曲線回歸

決定系數(shù)及剩余標(biāo)準(zhǔn)差

模型編號(hào)

(1)(2)(3)(4)R20.97290.87730.78510.9623s0.22850.48640.64370.2696可以看出，第一個(gè)曲線方程的決定系數(shù)最大，剩余標(biāo)準(zhǔn)差最小，在這四個(gè)曲線回歸方程中，不論用哪個(gè)標(biāo)準(zhǔn)，都是第一個(gè)方程擬合得最好。因此，近似得比較好的定量關(guān)系式就是16例子17例子18例子19例子20例子

由于商品零售額增加，流通費(fèi)用率呈下降趨勢(shì)，二者之間為負(fù)相關(guān)關(guān)系，故相關(guān)系數(shù)取負(fù)值為：－0.9898。說(shuō)明兩者高度相關(guān)，用雙曲線回歸模型配合進(jìn)行預(yù)測(cè)是可靠的。21例子22本章小節(jié)回歸分析和相關(guān)分析目的不同在回歸分析中，尋找的是變量之間的關(guān)系，代表這種關(guān)系的方程可能就是所期望的結(jié)果，也可能是所期望預(yù)測(cè)的均值。23

虛擬變量回歸預(yù)測(cè)24虛擬變量回歸預(yù)測(cè)

１．虛擬變量

品質(zhì)變量不像數(shù)量變量那樣表現(xiàn)為具體的數(shù)值。它只能以品質(zhì)、屬性、種類等形式來(lái)表現(xiàn)。要在回歸模型中引入此類品質(zhì)變量，必須首先將具有屬性性質(zhì)的品質(zhì)變量數(shù)量化。通常的做法是令某種屬性出現(xiàn)對(duì)應(yīng)于1，不出現(xiàn)對(duì)應(yīng)于0。這種以出現(xiàn)為１，未出現(xiàn)為０形式表現(xiàn)的品質(zhì)變量，就稱為虛擬變量。２．帶虛擬變量的回歸模型

常見(jiàn)的帶虛擬變量的回歸模型有以下二種形式：

25虛擬變量回歸預(yù)測(cè)

26其中的趨勢(shì)變化如右圖所示虛擬變量回歸