02-數(shù)據(jù)處理與試驗設計-2011-06-畢業(yè)論文-

2.

線性代數(shù)模型的回歸分析方法許多具體問題，對過程的本質缺乏了解;由于過程本身太復雜，很難準確地用機理模型描述該過程。為了建立這類過程的觀測變量和自變量之間依存關系的數(shù)學表達式，常?？捎枚囗検竭@一類函數(shù)去擬合實驗數(shù)據(jù)這類模型的建立純粹是根據(jù)實驗值和曲線(即模型計算值)擬合的好壞為評判準則的，所以常稱為經(jīng)驗模型。這類模型的函數(shù)形式有一定的任意性，模

型的參數(shù)b0、b1、b2

、b3……等純粹是數(shù)學上的常數(shù)，并沒有任何物理意義，一般也不用因次表示。此外，這類模型的應用僅限于實驗數(shù)據(jù)覆蓋的范圍內，不

能利用模型方程把結果外推到實驗數(shù)據(jù)范圍之外。

所以，經(jīng)驗模型的應用常常是有局限性的。這類經(jīng)驗模型大多數(shù)是線性代數(shù)模型，或可化為線性代數(shù)模型。因此，模型參數(shù)值的估計和模型檢驗常常采用回歸分析方法?；貧w分析方法：利用統(tǒng)計方法，從大量實驗數(shù)據(jù)中尋找觀察變量與自變量之間的統(tǒng)計規(guī)律性。這類統(tǒng)計規(guī)律稱為回歸關系，有關回歸關系的計算方法和理論統(tǒng)稱回歸分析。主要內容為：

對一組給定的實驗數(shù)據(jù)，根據(jù)經(jīng)驗給出一個線性代數(shù)模型，確定變量與自變量之間的定量關系，即確定待定參數(shù)值；對所建立方程的可信度進行統(tǒng)計檢驗；

從影響某一觀測變量的許多自變量中，判斷哪些變量對觀察變量的影響是顯著的，哪些是不顯著的；建立“最優(yōu)”回歸方程的方法——逐步回歸方法；利用所得的回歸模型進行預測和控制；用回歸分析方法建立數(shù)學模型的基本思想，是把一個過程看作一個“黑箱”。所謂“黑箱”就是該過程的輸入和輸出都是已知的，但它的內部機理不清楚?！昂谙洹钡妮斎刖褪且恍┳宰兞康囊蜃觴1、x2、

x3、

xp，輸出就是觀察變量y。雖然不能道過程內部機理，但觀察變量總可以表示為因子x1、x2、x3、

xp的一個函數(shù)：y=f(x1、x2、x3、

xp)這里的自變量(又稱獨立變量)是指在實驗手段控制下的那些變量，所謂獨立是直在實驗中可以獨立調節(jié)和控制，而不是指函數(shù)關系間的獨立概念?；貧w分析所研究的數(shù)學模型主要是線性代數(shù)模型，這里“線性”是指模型方程對待定參數(shù)是線性的，而對自變量本身卻可以是非線性的。模型主要有以下幾種情況：1.模型對參數(shù)b是線性的，對自變量x是非線性的，如：2.模型對自變量x是線性的，對參數(shù)b是非線性的，如：3.模型對自變量x和參數(shù)b都是非線性的，如：本章中討論的線性模型均是指對參數(shù)是線性的，通式可表達為：y=b0f0(x1、x2、x3、xp)xp)+b1f1(x1、x2、x3、+

+bpfp(x1、x2、x3、bpy=b0+b1x1+b2x2+y—是觀察變量(或稱為因變量或響應量)x—是自變量(或稱為獨立變量)b—是待定的回歸系數(shù)(模型參數(shù))利用經(jīng)驗模型描述一個具體過程有一定的任意性。主要是表現(xiàn)在函數(shù)選擇上的任意性。y=b0+b1T+

b2T2+

b3T3+從數(shù)學上可以知道，如果有M個實驗點，在理論上必定可以用一個高于M-1階的多項式去擬合實驗數(shù)據(jù)，并使所有的實驗點都準確無誤地落在該多項式的曲線上，經(jīng)驗告訴我們，由于實驗測定存在誤差，這樣的曲線并不合理，曲線應該平滑地在實驗點之間穿過。在無特殊的理論依據(jù)時，相鄰的二個實驗點之間不應該出現(xiàn)劇烈的振蕩。所以，經(jīng)常采用的方法是選擇較低的多項式函數(shù)來擬合實驗數(shù)據(jù)。但是，若所選擇的多項式的階數(shù)太低，也是不合理的。因此，如何選擇適當?shù)慕?jīng)驗模型的函數(shù)形式是建立經(jīng)驗模型的一個重要而又麻煩的問題。所介紹的回歸分析方法也只能解決這個困難問題的一部分，在許多情況下還是要依賴專業(yè)方面的經(jīng)驗。2.2

線性代數(shù)模型參數(shù)的最小二乘估計法yj=b0+b1xj

1

+

b2xj

2+bpxj

p+j(j=j表示隨機變量，是一組相互獨立且都服從同一正態(tài)分布N(0)的隨機變量。變量是可以精確測量或嚴格控制的。在上述條件下，變量yj是服從正態(tài)分布N(b0+b1xj

1

+b2xj

2+)的隨機變量。參數(shù)估計的任務就是要從M個實驗數(shù)據(jù)中去尋找模型參數(shù)b0sb1sb2s

bp的值。如果觀察變量不存在實驗誤差，且模型參數(shù)完全準確地反映了過程，則M個實驗點都應該準確無誤地與模型計算值相同。為了確定參數(shù)b0sb1sb2s

bp

等p+1個參數(shù)值要從M個實驗點中任選p+1實驗點的數(shù)據(jù)，便可以通過解方程的方法求出。事實上，實驗測定值總會存在誤差，所以，對任何一個實驗點來說，它并不是準確無誤地等于模型的理論計算值。在M

p+1

時如果M

p+1，即實驗點數(shù)少于待定參數(shù)的個數(shù)，則參數(shù)值不定，可以有無窮多組參數(shù)值滿足方程組。成為矛盾方程組，故不能用解方程組的方法求出參數(shù)b1、b2、

bp的值，而只能用參數(shù)估計j(j=1,yj=b0+b1xj

1

+

b2xj2+

bpxj

p+M)根據(jù)實驗點的誤差具體情況去求待定參數(shù)的估計值定義殘差j為觀察變量的實驗值與模型計算之差，即：j小，而且應該使殘差與實驗誤差

j的分布相當當模型能正確描述過程，且參數(shù)估計值也為模型真值時，則殘差

j等于實驗誤差

j。最佳的參數(shù)估計值不僅應該使殘差線性代數(shù)模型的最小二乘估計值就是一種最佳估計值，它具有統(tǒng)計上的:無偏性

有效性當模型能正確描述過程，且參數(shù)估計值也為模型真值時，則殘差

j等于實驗誤差

j。無偏性是指參數(shù)估計值的數(shù)學期望值等于參數(shù)真值，有效性是指參數(shù)的最小二乘估計值的方差比其它一切估計值的方差都小最小當是參數(shù)b0、b1、b2、bp的最小二乘估計值刻劃了yj與回歸模型計算值的偏離程度最小二乘估計值，就是使觀察變量與回歸值之間的偏差平方和最小的參數(shù)估計值Min正規(guī)方程組結構矩陣(實驗矩陣

)除第一列外，其余表示了各個實驗點的自變量數(shù)值，即實驗點的位置實驗數(shù)據(jù)表x1x2Yxpx1py1x11

x12x21x22x2py2實驗號x0112131x31

x32x3py3M1xM1

xM2xMpyM正規(guī)方程組在系數(shù)矩陣滿秩的條件下逆矩陣

存在2.3

參數(shù)最小二乘估計值的數(shù)學期望和方差模型待定參數(shù)是通過實驗觀測變量的實驗數(shù)據(jù)求得的，由于實驗觀測變量的測定值是隨機變量，因而得到的參數(shù)估計值也是一個隨機變量。對一個隨機變量則需要描述它的分布特性，考察它的集中趨勢(數(shù)學期望)和它的離散趨勢(方差)，來評價參數(shù)估計的優(yōu)劣。2.3.1最小二乘估計值的數(shù)學期望2.3.2最小二乘估計值的方差方差是一矩陣，該矩陣對角上是各個參數(shù)的方差，非對角元是兩個參數(shù)之間的協(xié)方差，稱為參數(shù)方差協(xié)方差矩陣(簡稱協(xié)方差矩陣)。(參數(shù)的相關矩陣)y=b0+b1x1+b2x2+bpxp當模型能正確描述過程，且參數(shù)估計值也為模型真值時，則殘差

等于實驗誤j差

。所以最佳的參數(shù)估計值：jj(1)不僅應該使殘差

??；(2)應該使殘差與實驗誤差

的分布相當j線性代數(shù)模型的最小二乘估計值-無偏性和有效性最小無偏性是指參數(shù)估計值的數(shù)學期望值等于參數(shù)真值，有效性是指參數(shù)的最小二乘估計值的方差比其它一切估計值的方差都小根據(jù)概率論的知識，可知方差的大小表示隨機變量值波動的大小。從上述參數(shù)協(xié)方差矩陣計算式可看出，回歸系數(shù)的波動大小不僅與誤差的方差有關，而且還取決于實驗數(shù)據(jù)中自變量與差。如果x值較分散，

x大，則方差的波動?。ɑ蛘哒f方差?。?，可見估計值比較精確；反之，若自變量x是在一個較小的

范圍內取得，則就不會很精確。參數(shù)的方差不僅和

及x取值范圍的大小有關，而且還與實驗點數(shù)M有關。旦x值越分散，估計值就越精確。

，的協(xié)方差Con(,)表示參數(shù)和之間的相關程度。通過上述討論，為減少參數(shù)之間的相關程度和參數(shù)估計值的方差，除減小實驗誤差方差和增加實驗點以外，還可以通過合理安排實驗點的位置來達到。在實際問題中，盡管可以根據(jù)專業(yè)知識和經(jīng)驗做出觀測變量y與自變量x1、x2、……、

xp之間是否存在線性關系的假設，但是，在建立了回歸方程以后，還是需要對是否確實存在線性關系計檢驗，即用方差分析的方法給出肯定或者否定的結論。2.4

回歸方程的顯著性檢驗觀察變量y1、y2，……，yM之間的差異，是由兩個方面引起的：自變量x取值不同；其它因素(包括實驗誤差)的影響。為了檢驗這兩方面的影響哪一個是主要的，必須把它們所引起的差異從y總的差異中分解出來?？偟钠钇椒胶途哂蠱-1個自由度回歸平方和，由于p個自變量的變化而引起的，反映了自變量的重要程度；殘差平方和(剩余平方和)，它是由實驗誤差以及其它未加控制的因素引起的，它的大小反映了實驗誤差及其它因素對實驗結果的影響?；貧w平方和自由度=p殘差平方和自由度=M-p-1S總=S回+S殘對M個觀察變量的兩種影響從數(shù)量上進行區(qū)分對M個實驗點，總的偏差平方和具有M-1個自由度，回歸平方和的自由度為p，殘差平方和的自由度為M-p-1。在統(tǒng)計分析中，自由度是一個極其重要的概念，通?？梢哉J為自由度等于變量個數(shù)減去加在該平方和算式上的約束條件數(shù)?？偟钠钇椒胶椭械募s束條件是一個，所以，總的偏差平方和的自由度為M-1。而回歸平方和的約束條件也是一個，而變量個數(shù)是p+1個參數(shù)，所以，回歸平方自由度為p，殘差平方和的自由度等于總的偏差平方和的自由度fa減去回歸平方和自由度f回，即：f殘=f總-f回=M-p-1F計服從自由度為p和M-p-1的F分布檢驗變量y與變量x1、x2、……、xp之間有無線性關系的數(shù)學意義為：即檢驗模型中bl，b2，…，bp是否全為零對給定的顯著性水平，例如

=0.05，根據(jù)自由度p和M-p-1可以從F表中查得F

(p，M-p-1)的表值。若對一組數(shù)據(jù)，計算得到計F

<F(p，M-p-1)在顯著水平

下，所假定的線性回歸模型是顯著意義的則在顯著水平

下，假定的線性回歸模型沒有顯著意義。F計>F(p，M-p-1)上述結論是在假設“b1=0、b2=0、

bp=0”成立的條件下推導的，在給定的顯著性水平

下，所假設的模型從統(tǒng)計學上講：P[F≤F表明事件“F

F(p，M-p-1)]=1-(p，M-p-1)=1-”是小概率事件。它在一次實驗中不應發(fā)生。如果得到的F計確大于F(p，M-p-1)，則說明原假設“b1=0、b2=0、bp=0”不成立。這意味著所假設的模型中至少有一個一次項是必要的，即b1、b2、bp中至少有一個不等于0。這時，我們稱該線性回歸方程是顯著的。反之，則稱其為不顯著。這種用F檢驗對回歸方程進行顯著性檢驗的方法稱為方差分析。由于式少考慮一個變量，故其殘差中必然含有b(p+1)x(p+1)的因素，因此，殘差

不再服從正態(tài)分布N(0，

)。通過重復實驗可以求得誤差方差的估計值，然后，我們利用方差分析檢驗殘差的方差與誤差的方差是否任存在顯著差別，來檢驗模型方程的函數(shù)形式是否可靠。重復實驗數(shù)據(jù)表f總=(M+n-1)-1=M+n-2SLf=S殘-S誤fLf=(M+n-p-2)-(n-1)=M-p-1失擬平方和SLf的大小反映了模擬缺陷，表示了回歸方程擬合得好壞的程度，故稱為SLf為失擬平方和。這時總的偏差平方和為：S總=S回+SLf

+S誤對于給定的顯著性水平

，如果計算得到F1

F

(fLf，f誤)，則說明模型有缺陷，有如下幾種可能：(1)可能遺漏了一個或幾個不可忽略的因子；

(2)線性模型有缺陷，需修正；(3)y和x1、x2、……、xp在該實驗誤差水平下無關對于給定的顯著性水平

，假如算得F1<F(fLf，f誤)則F檢驗結果不顯著，這說明失擬平方和基本上是由實驗誤差等偶然因素引起的。這時可以把SLf和S誤合并，并用來檢驗S回檢驗，即如果F2檢驗顯著，就稱回歸方程是擬合得好的，如果F2不顯著，則有如下兩種可能，x1、x2、……、xp對觀察變量y沒有系統(tǒng)的影響；實驗誤差過大；當然這時求得的回歸方程是不理想的。如果F1>F(fLf，f誤)，即使用S殘對S回進行第二次F檢驗的結果顯著，所得的線性回歸模型有一定作用，也不能說此方程是擬合得好的，仍需查明原因，對模型進行修正。一般可通過全部實驗點的重復實驗進行檢驗。例2-1：假設有下列實驗數(shù)據(jù)，檢驗回歸方程擬合程度求得回歸方程通過重復實驗求得誤差x1.01.02.03.33.34.04.04.04.75.05.65.65.66.06.06.5y2.31.82.81.83.72.62.62.23.22.03.52.82.13.43.23.4相應的方差分析當

=0.05時，F(xiàn)0.05(8，17)=3.73，因為Fl<3.73，F(xiàn)1檢不顯著；說明失擬基本上是由實驗誤差造成的，所以擬合是好的。這時可把SLf和S誤合并，并用來進行F2檢驗。其檢驗結果為F2

F0.05(1，15)=4.54，此時，所以回歸方程是顯著的，擬合是好的。在多元回歸模型中，不能只滿足所得到的線性回歸模型對實驗數(shù)據(jù)擬合是好的，回歸方程是顯著的結論，而是希望建立一個“最優(yōu)”的回歸方程。2.5

回歸系數(shù)的顯著性檢驗“最優(yōu)”回歸方程的兩方面要求(1)回歸方程的殘差均方和要盡可能小對y有顯著影響的變量不能遺漏回歸方程的顯著性檢驗(2)回歸方程中不應含有對觀察變量y影響不顯著的變量回歸系數(shù)的顯著性檢驗經(jīng)回歸方程顯著性檢驗通過的回歸方程，并不意味著每個自變量x1、x2、……、xp對觀察變量y的影響都是重要的。為建立“最優(yōu)”回歸方程，必須從中剔除那些可有可無的變量重新建立更為簡單的回歸方程，要求選入的每個變量對y的影響都是重要的。若懷疑其中變量xi對y的影響是可有可無的，則去掉xi后得到一個新的p-1元的回歸方程通常，這個新的回歸方程系數(shù)不再等于原方程的回歸系數(shù)，因此，需要重新估計回歸系數(shù)。如果方程中的變量xi對y不起作用或作用較小，那

么這種變量的存在對S回的增加是很少的。同時S殘也不會因為xi的存在而變化很多。相反，由于S

殘的自由度減少，而使分母中的殘差均方和S

殘/(M-p-1)增大。當原有的回歸方程中存在多個對y影響不顯著的變量，殘差均方和有可能有較多的增加，從而會影響回歸方程的穩(wěn)定性。所以，在“最優(yōu)”回歸方程中不希望含有那些影響不顯著的變量。由上節(jié)討論中可知，總的偏差平方和S總可被分解為兩項S回和S殘，其中回歸平方和S回是回歸方程中所有自變量對y的總貢獻。被考慮的自變量愈多，回歸平方和S回就愈大。但是增加那些與y關系很小的可有可無的自變量，只會使回歸平方和得到很少的增加。如果在被考慮的自變量中去掉一個自變量(例如xi)時，回歸平方和只會減少，而不會增加。減少的數(shù)值愈大，說明該因素在回歸方程中所起的作用愈大，也就是該變量愈重要。把剔除變量xi后回歸平方和減少的量稱為變量xi的偏回歸平方和S偏：回S偏=S回-S

(f偏=p回-p回=1)為了挑選變量，可以通過偏回歸平方和S偏的值進行F偏統(tǒng)計檢驗(即對缺少xi項進行檢驗)對給定的顯著水平，若F偏F，則bi所對應的xi因子是顯著習慣上在進行回歸系數(shù)的顯著性檢驗時，常用下述的另一方差分析或t檢驗來進行較為方便。檢驗因子xi是否顯著等價于檢驗假設bi=0。采用的統(tǒng)計量為：用以檢驗回歸系數(shù)是否顯著當多元回歸方程建立以后，必須對各個回歸系數(shù)b1、b2、……、bp進行F或tb檢驗。常常會發(fā)現(xiàn)有多個回歸系數(shù)都小于臨界值。這時，決不可以將所有小于臨界值的哪些bi項都剔除，而只能剔除值最小的那個變量。例如檢驗值均小于F

臨界值，不能把變量x1、x2都同時剔除。x1和x2有可能存在密切相關關系，當剔除x1(或x2)以后，x1(或x2)對y的影響很大部分可以轉加到x2(或x1)對y的影響上，即根據(jù)余下的p-1個變量重新估計回歸系數(shù)，所得到的新的回歸系數(shù)與原來該項的回

歸系數(shù)在大部分情況下是會有變化的。在一般情況下，對回歸系數(shù)進行一次檢驗只能剔除其中一因子。這是因為經(jīng)Fb檢驗，大于臨界值的那些變量一定是顯著的，但是經(jīng)檢驗后，那些小于臨界值的變量，卻不一定都不顯著，然而可以肯定，偏回歸平方和(或或)檢驗中那個最小的變量，必然是所有變量中對數(shù)y作用最小的一個，因此，就可以將該變量剔除。剔除后重建的新回歸方程，仍需

對各個參數(shù)進行檢驗，直到方程各個回歸系數(shù)都顯

著為止。在建立新的回歸方程時可利用新老回歸系數(shù)之間的下列關系：cii、cik是建立原來p元回歸方程中相關矩陣的元素，這樣，便可免去利用計算新參數(shù)的繁瑣過程?；貧w系數(shù)的檢驗步驟繁瑣，其原因就是回歸系數(shù)之間存在相關關系，其數(shù)學上的原因就是相關矩陣不是對角矩陣。如果在實驗點的安排上就能使得回歸系數(shù)之間不存在相關關系，即矩陣為對角矩陣，則可以大大減少回歸系數(shù)檢驗的手續(xù)，如果以正交設計進行實驗安排，則相關矩陣為對角矩陣。例2-2：某物質在凝固時放出的熱量y(J/g)與下列4種化學成分x1、x2、x3、x4有關，測試數(shù)據(jù)如表所示。試作y對x1、x2、x3、x4的線

性回歸分析第一步建立線性回歸方程回歸系數(shù)的估計值則回歸方程為：第二步

回歸方程的顯著性檢驗方差分析表3.84，查F表得到F0.05(4，8)=3.84，F(xiàn)計故經(jīng)F檢驗回歸方程是顯著的。第三步

回歸系數(shù)的顯著性檢驗F0.10(1,8)=3.46其余三個因素都不顯著。這個結論看起來似乎與總的回歸高度顯著性矛盾，實則不然，這是由于自變量之間存在密切相關性而造成的。通過計算相關系數(shù)可知，x1與x3之間，x2與x4之間線性相關非常密切，從x3或x4中剔除一個對回歸平方和影響必然很小，現(xiàn)剔去最小者x3，對參數(shù)重新估計得到：對新回歸方程中的各個回歸系數(shù)，仍需進一步按上法進行檢驗，直到所有回歸系數(shù)均顯著。2.6

逐步回歸分析法“最優(yōu)”回歸方程的條件多種方法10 21

47

4

26

115.911

1 40

23

34

83.812

11

66

9

12

113.313 10

68

8 12

109.4例2-2：某物質在凝固時放出的熱量y(J/g)與下列4種化學成分x1、x2、x3、x4有關，測試數(shù)據(jù)如表所224472.5示。試作y對x1、9254182293.1x2、x3、x4的線性回歸分析第一種方法：反向算法(只出不進)首先建立一個包括全部變量的回歸方程回歸系數(shù)的估計值則回歸方程為：F0.10(1,8)=3.46每一個因子作顯著性檢驗：重復上述方法，對此方程每一個因子作顯著性檢驗，剔除不顯著因子中x4，得到：首先建立一個包含全部變量(p個)的回歸方程，也即不論這p個變量是否全部稱重要，一律引入回歸方程。解(p+1)階的正規(guī)方程組“反向算法”當p的階數(shù)過大，它在電子計算機上解的精度要下降，甚至可能由于變量之間不完全獨立而引起計算上的困難(病態(tài)或“退化”)。所以，這種方程在因子不多，特別是在不顯著因子不多時，可以用少量運算得到一個最終的“最優(yōu)”回歸方程。如果需要篩選變量很多，而重要變量又很少時，這種經(jīng)典的“反向算法”方法必然是低效的。第二種方法：“只進不出”方法從一個自變量開始，然后根據(jù)自變量

xi與y的線性相關程度大小，逐個引入回歸方程，每引入一個自變量的同時，要對該因子的偏回歸平方的顯著性進行檢驗，若

檢驗結果是顯著的，則引入，否則不引入。先計算各個因子xi與y的線性相關系數(shù)：將絕對值最大的一個因子x4

引入回歸方程，得到：同時，對x4的偏回歸平方和進行顯著性檢驗，結論是顯著的。然后再引如第二個因子，此時應該計算偏相關系數(shù)，它表示除去已引入的因子影響以后，二個變量之間的線性相關程度。偏相關系數(shù)可以通過簡單相關系數(shù)進行計算。在此例中已引入x4，現(xiàn)在分別計算

xi(i=1,2,3)的偏相關系數(shù)，根據(jù)偏相關系數(shù)計算式：將偏相關系數(shù)中絕對值最大的因子x1

引入回歸方程：代入實驗數(shù)據(jù)，計算得到：經(jīng)過對x1的偏回歸平方和檢驗，結論是顯著的。此后，應該在余下的因子x2、x3中再找到與y偏相關系數(shù)最大的那個因子，將之引入方程。類似地，y與xi(i=2.3)在除去x1和x4的影響后的偏相關系數(shù)可以按下式計算代入實驗數(shù)據(jù)，計算得到：將偏相關系數(shù)中絕對值最大的因子x2

引入回歸方程：經(jīng)對x2的偏回歸平方和的檢驗，回歸方程顯著。最后，把x3引入回歸方程，經(jīng)x3的偏回歸平方和檢驗，結論是不顯著，就不再引入。這樣得到的回歸方程與“只出不進法”中消去第一個變量相同，因此，方程中的所有因子并不都是顯著的。因為各個變量之間可能存在相關關系，所以，引入新變量以后，原有變量就不一定仍然顯著雖然，這種“只進不出”的方法計算工作量小，但它不能保證最后所得的回歸方程是“最優(yōu)”的，這是因為該法沒有對已引入的因子進行再次檢驗的緣故。此外，偏相關系數(shù)的計算方法也較麻煩，所以，在逐步回歸分析法建立后，一般都不采用此法。這是一種“有進有出”的方法。它也是從一個自變量開始，按自變量對y的顯著程度，從大到小依次逐個地引入回歸方程。所不同的是，每當引入一個新的變量后，必須對已引入的變量逐個進行顯著性檢驗，隨時剔除由于引入新變量產(chǎn)生的不顯著的變量。第三種方法，逐步回歸分析法第一步，選擇第一個變量進入回歸方程，選擇的準則是該變量引入后偏回歸平方和最大。在此例中所以應該將x4引入，構成一個一元線性回歸方程。并進行偏回歸平方和的F檢驗，即：所以應該將x4引入，構成一個一元線性回歸方程。并進行偏回歸平方和的F檢驗，即：若檢驗不顯著，則該自變量不引入，停止分析。經(jīng)檢驗因此變量x4顯著。故應將x4引入回歸方程：第二步，選擇下一個進入回歸方程量，其準則仍是偏回歸平方和最大的那個自變量設作xk，對它進行偏回歸平方和的F檢驗，即檢驗參數(shù)bk是否為零。當Fk值大于F

(表值)則引入。在此例中應引入x1，則建立回歸方程。第三步，檢驗是否存在應該從回歸方程中剔除的變量，即在引入—個新的變量(此例中為x1)后，對早先引入的變量逐個進行偏回歸平方和的F檢驗。在此例中應對x4進行

檢驗，結果是顯著的，故自變量x4不應該剔除。此時回歸方程不變。第四步，檢驗是否需要接受新的變量，即按第二步方法檢驗是否有新的變量引入。在此例中應引入x2，建立的回歸方程式，即：然后，再重復第三步，對原引入變量逐個進行偏回歸平方和的顯著性檢驗，檢驗結果應該把x4從回歸方程中剔除。當引入一個變量后，對原有變量進行逐個檢驗，以判斷是否需要剔除。要注意的是，若一個變量被剔賒后，還剩下多個變量時，其對應偏回歸平方和應作相應的修正，逐個剔除。如此一直重復第二，第三步，直至無任何自變量需要引入或剔除，分析即可停止。本例最后得到的回歸方程：反向算法只進不出法逐步回歸分析法一般多元回歸和逐步回歸計算工作量都比較大，好在已經(jīng)以各種算法語言編成通用程序，只要學會使用這種通用程序，就可得到對給定數(shù)據(jù)的“最優(yōu)”方程。但為了適應在電子計算機上的計算，逐步回歸分析的數(shù)學模型在形式上需要一定的變化，以適應計算機計算的需要。回歸方程的建立并不是研究者的最終目的回歸方程重要的應用是利用它進行預測和控制2.7

預測和控制對于任一給定的x0由回歸方程可以得到回歸值y0,它是x0處觀測值y0的一個估計值。我們有回歸值：2.7.1利用一元回歸方程進行預測和控制在x0處的觀測值為：預測實際上就是一個區(qū)間估計，即在一定的顯著性水平

下，尋找一個正數(shù)

，使得實際觀測值y0以1-

的概率落在區(qū)間(y0-

,

y0+

)內，即：核心問題是確定概率分布服從代替。此在一般情況下，

2是未知的，可以用

2的估計值則構成一個t統(tǒng)計,

t是一個自由度