(完整word版)最小二乘法的原理及其應(yīng)用(word文檔良心出品)

1、最小二乘法的原理及其應(yīng)用、研究背景在科學(xué)研究中，為了揭示某些相關(guān)量之間的關(guān)系，找出其規(guī)律，往往需要做 數(shù)據(jù)擬合，其常用方法一般有傳統(tǒng)的插值法、 最佳一致逼近多項式、最佳平方逼 近、最小二乘擬合、三角函數(shù)逼近、帕德（Pade）逼近等，以及現(xiàn)代的神經(jīng)網(wǎng)絡(luò) 逼近、模糊逼近、支持向量機函數(shù)逼近、小波理論等。其中，最小二乘法是一種最基本、最重要的計算技巧與方法。它在建模中有著廣泛的應(yīng)用，用這一理論解決討論問題簡明、清晰，特別在大量數(shù)據(jù)分析的 研究中具有十分重要的作用和地位。 隨著最小二乘理論不斷的完善，其基本理論 與應(yīng)用已經(jīng)成為一個不容忽視的研究課題。本文著重討論最小二乘法在化學(xué)生產(chǎn) 以及系統(tǒng)識別中的應(yīng)

2、用。二、最小二乘法的原理人們對由某一變量t或多個變量t1.tn構(gòu)成的相關(guān)變量y感興趣。如彈簧 的形變與所用的力相關(guān)，一個企業(yè)的盈利與其營業(yè)額，投資收益和原始資本有關(guān)。 為了得到這些變量同y之間的關(guān)系，便用不相關(guān)變量去構(gòu)建 y,使用如下函數(shù)模 型Vm /如 n 広p）q個相關(guān)變量或P個附加的相關(guān)變量去擬和。通常人們將一個可能的、對不相關(guān)變量t的構(gòu)成都無困難的函數(shù)類型充作函 數(shù)模型（如拋物線函數(shù)或指數(shù)函數(shù)）。參數(shù)x是為了使所選擇的函數(shù)模型同觀測 值y相匹配。（如在測量彈簧形變時，必須將所用的力與彈簧的膨脹系數(shù)聯(lián)系起 來）。其目標(biāo)是合適地選擇參數(shù)，使函數(shù)模型最好的擬合觀測值。一般情況下， 觀測值遠多

3、于所選擇的參數(shù)。其次的問題是怎樣判斷不同擬合的質(zhì)量。 高斯和勒讓德的方法是，假設(shè)測量 誤差的平均值為0。令每一個測量誤差對應(yīng)一個變量并與其它測量誤差不相關(guān)（隨機無關(guān)）。人們假設(shè)，在測量誤差中絕對不含系統(tǒng)誤差，它們應(yīng)該是純偶然 誤差，圍繞真值波動。除此之外，測量誤差符合正態(tài)分布，這保證了偏差值在最 后的結(jié)果y上忽略不計。確定擬合的標(biāo)準(zhǔn)應(yīng)該被重視，并小心選擇，較大誤差的測量值應(yīng)被賦予較小 的權(quán)。并建立如下規(guī)則：被選擇的參數(shù)，應(yīng)該使算出的函數(shù)曲線與觀測值之差的 平方和最小。用函數(shù)表示為：n広i=l用歐幾里得度量表達為：嗎111頤5)-恥.最小化問題的精度，依賴于所選擇的函數(shù)模型。三、最小二乘法的應(yīng)用

4、(1)最小二乘法在化學(xué)生產(chǎn)中的應(yīng)用：蔗糖的水解反應(yīng)的實驗該實驗的目的是測定蔗糖轉(zhuǎn)化的反應(yīng)級數(shù)、速率常數(shù)。實驗中測出一組旋光度(at a )和時間t，判斷反應(yīng)級數(shù)和計算出速率常數(shù)。若In (at a)t呈線性關(guān)系，為一級反應(yīng)，若(at a )t呈線性關(guān)系，為二級反應(yīng)，若(at a )2t呈線性關(guān)系，為三級反應(yīng)。該實驗應(yīng)是一級反應(yīng)，但由于用目測法手工作圖，由于誤差的原因，有時會得出一級或二級均可以的奇怪結(jié)論， 所以在以往的實驗中把該反應(yīng)級數(shù)作為已知條件，只要求學(xué)生求出速率常數(shù)。而用線性最小二乘法擬合曲線，在計算機上處理，即可得出滿意的結(jié)論。原理是，先用線性最小二乘法對(at a )曲線進行高次擬合

5、，從(at a )曲線上讀取等間隔時間t時的at，作數(shù)據(jù)勻整，改進數(shù)據(jù)的離散性，然后進行直線擬合，擬合偏差最小者為該反應(yīng)的反應(yīng) 級數(shù)。表1為某學(xué)生的實驗數(shù)據(jù)，輸入計算機后，進行高次擬合，并進行數(shù)據(jù)修勻，得到表2數(shù)據(jù)。本次擬合次數(shù)為7，擬合偏差為0.026,表示擬合較好。表1蔗糖水解反應(yīng)實驗數(shù)據(jù)時間t/mi n71217273747627792旋光度a t6.376.426.474.712.821.500.00-1.02-2.10溫度：20r 氣壓：101325Pa HCI 濃度：3Mat 5.00表2蔗糖水解反應(yīng)實驗擬合修勻后的數(shù)據(jù)時間t/min10203040506070旋光度a t6.51

6、255.1254.11782.41811.0690-0.1684-0.5024最后將勻整后的數(shù)據(jù)作直線擬合，一級擬合偏差平方和最小為0.064,證明蔗糖水解反應(yīng)確為一級反應(yīng)。(2)最小二乘法在系統(tǒng)識別中的應(yīng)用 1、原理分析系統(tǒng)辨識是通過建立動態(tài)系統(tǒng)模型，在模型輸入輸出數(shù)據(jù)的基礎(chǔ)上，運用辨 識方法對模型參數(shù)進行辨識，從而得到一個與所觀測的系統(tǒng)在實際特性上等價的 系統(tǒng)。應(yīng)用最小二乘法對系統(tǒng)模型參數(shù)進行辨識的方法有離線辨識和在線辨識兩 種。離線辨識是在采集到系統(tǒng)模型所需全部輸入輸出數(shù)據(jù)后，用最小二乘法對數(shù)據(jù)進行集中處理，從而獲得模型參數(shù)的估計值；而在線辨識是一種在系統(tǒng)運行過 程中進行的遞推辨識方法，

7、所應(yīng)用的數(shù)據(jù)是實時采集的系統(tǒng)輸入輸出數(shù)據(jù)，應(yīng)用遞推算法對參數(shù)估計值進行不斷修正，以取得更為準(zhǔn)確的參數(shù)估計值。由于在線 辨識方法具有實時采集系統(tǒng)輸入輸出數(shù)據(jù)，實時辨識模型參數(shù)，且占據(jù)計算機存儲量小的優(yōu)點，因此與離線辨識相比，在線辨識方法得到了更為廣泛的應(yīng)用。在 線辨識的參數(shù)估計的最小二乘遞推算法如下：A 0 (k+1) = A 0 (k)+K(k+1)y(k+T(k+1)A 0 (k) K(k+1) = P (k)x(k+1)1+xT(k+1) P(k)x(k+1)-1P(k+1) = P(k)-K(k+1)xT(k+1) P(k)2遞推初值:A 0 (0)=任意值；P(0) = a I, a取

8、計算機容許的最大值。式中x與y分別為系統(tǒng)的輸入輸出，0為參數(shù)估計值,K為增益矩陣，P(m) = (XXm) 1其最優(yōu)性準(zhǔn)則函數(shù)為：mJ =e2(i)i 1其中m為數(shù)據(jù)采集的次數(shù)，e為殘差向量。由于上述遞推算法無法反映參數(shù)隨時 間變化的特點，新數(shù)據(jù)被大量的老數(shù)據(jù)所淹沒，對于慢時變參數(shù)的辨識來說，這 必然得不到跟蹤參數(shù)變化的實時估計，因此又進一步有了改進的最小二乘遞推算 法，即帶遺忘因子的漸消記憶的遞推算法，該算法貶低老數(shù)據(jù)的作用，強調(diào)新數(shù) 據(jù)的作用，選取遺忘因子入，得到漸消記憶的最小二乘遞推算法如下：A 0 (k+1) = A 0 (k)+K(k+1)y(k+T(k+1)A 0 (k)K(k+

9、1) = P (k)x(k+1)入 +xT(k+1) P(k)x(k+1)P(k+1) =1 入P(KXk+1)xT(k+1)P(k)遞推初值：A 0 (0)二任意值；p (0) =a 2I ,a取計算機容許的最大值。其最優(yōu)性準(zhǔn)則函數(shù)為：mJm i 2 z =e (i)i 1其中加權(quán)系數(shù)0<1。入通常在0.9與0.99之間取值。2、實例分析以某微循環(huán)流體系統(tǒng)模型的參數(shù)辨識為例。我們已經(jīng)得到該系統(tǒng)模型的差 分方程形式，取特定點的壓力波作為模型的輸入，以另一點的壓力波作為模型的輸出由于我們米集的數(shù)據(jù)是實時的，因此用在線辨識萬法。由于建立的微循環(huán)流體系統(tǒng)模型是一個單輸入、單輸出的模型，為使參數(shù)

10、估計的結(jié)果很好地跟蹤參 數(shù)真值的變化，我們采用漸消記憶的最小二乘法對系統(tǒng)模型參數(shù)進行辨識，即強調(diào)新數(shù)據(jù)的作用，貶低老數(shù)據(jù)的作用。圖1是一組通過試驗測量所得到的微循環(huán)流體系統(tǒng)輸入、輸出波形以及模 型辨識參數(shù)的迭代變化波形.其中，圖(a)、(b)為實測波形。皿-Ji E ”0 Js JJ R -4 id* -Ih 4J 豺iIJ IH II 處腑 12 lit系統(tǒng)的輸入被形(2)系統(tǒng)的輸出液形ij圖1微循環(huán)流體模型輸入輸出波形圖圖2中(a)圖所示為實測的輸入波形a'0 6 32適；M幻箔左,(b)圖為實測的輸出波形，(b圖2實測波形與擬和波形的比較四、結(jié)語上述實例可以說明，借助計算機科學(xué)技術(shù)，用線性最小二乘法可以方便地解 決動力學(xué)參數(shù)問題。這種方法避免了復(fù)雜的數(shù)學(xué)處理，有效地降低了計算誤差，結(jié)果更為精確。線性最小二乘法不僅在處理動力學(xué)問題等物理化學(xué)實驗，也在分析化學(xué)實驗以及化學(xué)學(xué)科的其他