多元回歸擬合算法 (1)

1、 電化學甲醛檢測儀濃度預測算法：電化學甲醛檢測儀濃度預測算法：多元回歸擬合算法匯報人：孫皓目錄123多元回歸分析簡介多元回歸分析步驟逐步回歸用于甲醛濃度預測多元回歸分析 回歸分析：是一種通過一組自變量來預測一個或多個因變量的統(tǒng)計方法。 多元線性回歸 多元：有多個自變量； 線性：通過自變量的線性組合對因變量進行預測或估計；基本概念：多元線性回歸模型：), 0(Y2mm110Nxx ：常數(shù)項,又稱為截距 ， : :偏回歸系數(shù)，簡稱回歸系數(shù)。表示相應的自變量對因變量的影響程度。 : :去除m個自變量對Y的影響后的隨機誤差，不可觀測。且通常假定 012m2(0,)N若進行n次獨立觀測，得到n組樣本數(shù)據(jù)

2、 , , 每一組樣本數(shù)據(jù)分別滿足多元線性回歸模型，即有：12(,;)iiipixxxy1,2,in 1011121211201212222201122ppppnnnpnpnyxxxyxxxyxxx 寫成矩陣形式：YX 12(,)Tn 12(,)TnYy yy 01(,)Tp 111212122212111ppnnnpxxxxxxXxxx 多元線性回歸基本步驟 步驟一：回歸系數(shù)的求解的求解方法：最小二乘法 我們尋求回歸系數(shù) 的適宜數(shù)值應該使得實際觀察值和回歸方程估計值之間殘差平方和最小，即有：01,.,p01,.,p 2211=()殘差平方和nniiiiiQyy 2011221()niiipip

3、iyxxx 根據(jù)最小二乘法理論，將上式分別對 求偏導數(shù)，令偏導數(shù)為零,可獲得P1個正規(guī)方程，求解正規(guī)方程可得待估參數(shù)值。01,.,p 0112210011221110112212()02()02()0niiipipiniiipipiiniiipipipiPQyxxxQyxxxxQyxxxx (0,1, )iip (0,1, )iip 是要求解的 的最小二乘估計值。 步驟二：對得到的回歸方程進行檢驗11( )niiE yyyn n組觀測值的均值記為：總離差平方和： 21()niiyySST 回歸平方和： 21()niiySySR 殘差平方和： 21()niiiyySSE SSTSSRSSE 22

4、2111()()()nnniiiiiiiyyyyyyUQ則有： yabxxyy0()yy0()yy ()yy0ySSTSSRSSE 222111()()()nnniiiiiiiyyyyyyUQ 常用的檢驗方法：可決系數(shù) F檢驗 T檢驗 多重共線性檢驗對回歸方程的檢驗： 擬合度檢驗（針對全部自變量的選擇） 回歸方程的顯著性檢驗（針對回歸模型） 回歸系數(shù)的顯著性檢驗（針對回歸系數(shù)） 多重共線性檢驗（針對自變量與自變量之間的線性關系）可決系數(shù)：（判定系數(shù)，決定系數(shù)）22222211yyyyyyyyRSSTSSESSTSSESSTSSTSSRR 回歸平方和占總離差平方和的比例?；蛘哒f，因變量取值的變差

5、中，能被多元回歸方程所解釋的比例。由R 2的意義看來，其值越接近于1，意味著模型的擬合優(yōu)度越高。 從理論上來講，隨著自變量個數(shù)的不斷增加，會使得R2不斷增加。為避免增加自變量而高估 R 2，引入了調(diào)整的R 2式中，n為樣本量，p為自變量個數(shù)2(1)1(1)SSEnpRSSTn 調(diào)整的R 2的引入，目的是懲罰過多的使用不重要的自變量，也可以用于比較多個模型。F檢驗： 該類檢驗主要針對回歸方程的顯著性檢驗 回歸方程的顯著性檢驗主要是檢驗被解釋變量與所有的解釋變量之間的線性關系是否顯著。），（1p) 1/() (/)() 1/(/22pnFpnyypyypnSSEpSSRF對于多元線性回歸方程來說，

6、F檢驗的檢驗統(tǒng)計量： 式中，n為樣本量，p為自變量個數(shù)。其中p,n-p-1又被稱為自由度。F檢驗的主要流程：1.提出假設H0：12k=0 線性關系不顯著；（不存在線性關系）H1：1，2， k至少有一個不等于0。2.計算檢驗統(tǒng)計量F），（1p) 1/() (/)() 1/(/22pnFpnyypyypnSSEpSSRF3.由F值得到檢驗P值 作出決策 確定顯著性水平和P比較，P 拒絕H0.T檢驗： 前面兩種檢驗，討論了回歸方程中全部自變量的總體回歸效果, 但總體回歸效果顯著并不說明每個自變量對因變量都是重要的, 即可能有某個自變量對y并不起作用或者能被其它的自變量的作用所代替, 因此對這種自變量

7、我們希望從回歸方程中剔除, 這樣可以建立更簡單的回歸方程。T檢驗主要針對的是回歸系數(shù)的顯著性檢驗 回歸系數(shù)的顯著性檢驗主要是檢驗回歸方程中被解釋變量與每一個解釋變量之間的線性關系是否顯著。對于多元線性回歸方程來說， T檢驗的檢驗統(tǒng)計量為：式中，n為樣本量，p為自變量個數(shù)，n-p-1為自由度， (1)iiitt npSiS為回歸系數(shù) 的標準差；ii為 對應的回歸系數(shù)；ixT檢驗的主要步驟：1.提出假設 H0： bi = 0 (自變量 xi 與 因變量 y 沒有線性關系) H1： bi 0 (自變量 xi 與 因變量 y有線性關系) (1)iiitt npS3.由T值得到檢驗P值 作出決策 確定顯

8、著性水平和P比較， P拒絕H0.2.計算檢驗的統(tǒng)計量 t多重共線性檢驗：多重共線性是指解釋變量之間存在線性相關關系的現(xiàn)象。多重共線性的后果 （1）偏回歸系數(shù)估計困難甚至難以得到估計值； （2）偏回歸系數(shù)的估計值得方差增大，使得估計值不合理； （3）偏回歸系數(shù)估計值不穩(wěn)定（隨著樣本含量的增減各偏回歸系數(shù)發(fā)生 較大變化或當一個自變量被引入或剔除時其余變量偏回歸系數(shù)有很大變化）； （4）偏回歸系數(shù)假設檢驗的結(jié)果不顯著，容易產(chǎn)生錯誤的判定01122mMk Xk Xk XV 多重共線性的衡量：（1） 容忍度21iiRTol 是第i個解釋變量與方程中其他解釋變量間的復相關系數(shù)的平方，表示解釋變量之間的線性

9、相關程度。 容忍度的取值范圍在0-1之間，越接近0表示多重共線性越強，越接近1表示多重共線性越弱。2iR（2）方差膨脹因子VIF 方差膨脹因子是容忍度的倒數(shù)。 VIF越大多重共線性越強，當VIF大于等于10時，說明存在嚴重的多重共線性。 （3）多元決定系數(shù)診斷 假定多元回歸模型 p個自變量,其多元決定系數(shù)為 。分別構(gòu)成不含其中某個自變量(Xi,i=1,2,p)的p個回歸模型,并應用最小二乘法準則分別擬合回歸方程,求出它們各自的決定系數(shù) (i=1,2,p)。 p,x,xx212yR2iR 如果其中的某一個 與 很接近,假設不含 的回歸模型，其決定系數(shù)與 很接近，說明將 從模型中去掉，對回歸模型的

10、決定系數(shù)影響不大。 因此，可認為該變量對Y總變異的解釋能力可由其他自變量代替。它很有可能是其他自變量的線性組合。該自變量進入模型后就有可能引起多重共線性問題。2iR2yR1X2yR1X逐步回歸主要思想： 在考慮的全部自變量中按其對因變量的貢獻（偏回歸平方和）的大小, 由大到小地逐個引入回歸方程,。另外, 己被引入回歸方程的變量在引入新變量后也可能失去重要性, 而需要從回歸方程中剔除出去。引入一個變量或者從回歸方程中剔除一個變量都稱為逐步回歸的一步, 每一步都要進行相關的檢驗?；貧w步驟：全部待引入回歸方程的變量分別計算其偏回歸平方和, 并選其中偏回歸平方和最大的一個變量，進行F檢驗，顯著則引入，

11、不顯著則停止引入。對已引入回歸方程的變量計算其偏回歸平方和, 然后選一個偏回歸平方和最小的變量,進行F檢驗, 如果顯著則不踢出轉(zhuǎn)到 。如不顯著則需踢出，然后按偏回歸平方和由小到大地依次對方程中其它變量進行 F 檢驗。偏回歸平方和： 多元回歸擬合在甲醛濃度預測中的應用 在回歸模型中，自變量的次數(shù)超過三次的模型很不穩(wěn)定，故實際中盡量采用3次以下的模型來進行擬合。 模型中可能存在的項有：v2t2、v2t、vt2、vt、v2、v、t2、t、 ln(v2t2 )、ln(v2t)、ln(vt2 )、ln(vt)、ln(v2)、ln(v)、 ln(t2 )、ln(t)、EXP(v2)、EXP(v)。計算每個變量的偏回歸平方和V的貢獻最大，將V加入模型運用SPSS進行逐步回歸，得到回歸方程含有的項為v2t和v。配成配成： 2Yab Vc V t在MALAB中使用Regress函數(shù)可求出系數(shù)，進而完成相關的數(shù)據(jù)處理工作。序號：預測值（ppm）：真實值（ppm）：相對誤