最小二乘法綜述及舉例

1、最小二乘法綜述及算例一最小二乘法的歷史簡(jiǎn)介1801年，意大利天文學(xué)家朱賽普皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過(guò) 40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽(yáng)背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開(kāi)始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來(lái)尋找谷神星都沒(méi)有結(jié)果。時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希奧爾伯斯根據(jù)高斯計(jì)算出來(lái)的軌道重新發(fā)現(xiàn)了谷神星。高斯使用的最小二乘法的方法發(fā)表于1809年他的著作天體運(yùn)動(dòng)論中。經(jīng)過(guò)兩百余年后，最小二乘法已廣泛應(yīng)用與科學(xué)實(shí)驗(yàn)和工程技術(shù)中，隨著現(xiàn)代電子計(jì)算機(jī)的普及與發(fā)展，這個(gè)方法更加顯示出其強(qiáng)大的生命力。 二最小二

2、乘法原理最小二乘法的基本原理是：成對(duì)等精度測(cè)得的一組數(shù)據(jù)xi,y(i 1,2,.,n),是找出一條最佳的擬合曲線，似的這條曲線上的個(gè)點(diǎn)的值與測(cè)量值的差的平方和在所有擬合曲線中最 小。設(shè)物理量y與1個(gè)變量X1, X2,.,xi間的依賴關(guān)系式為：yf(X1,x2,.,xi；ao, a1,.,an)。m2其中a0，a1，.，an是n +i個(gè)待定參數(shù)，記s v yi其中vi是測(cè)量值，vi是由己求得的a0,a1,.,an以及實(shí)驗(yàn)點(diǎn)(x1，乂2，,.,X”)。1,2,.,m)得出的函數(shù)值y f (xi1,K2,.,xil;a。, a1, an)。(此時(shí)在設(shè)計(jì)實(shí)驗(yàn)時(shí)，為了減小誤差，常進(jìn)行多點(diǎn)測(cè)量，使方程式個(gè)

3、數(shù)大于待定參數(shù)的個(gè)數(shù)， 此時(shí)構(gòu)成的方程組稱為矛盾方程組。通過(guò)最小二乘法轉(zhuǎn)化后的方程組稱為正規(guī)方程組 方程式的個(gè)數(shù)與待定參數(shù)的個(gè)數(shù)相等)。我們可以通過(guò)正規(guī)方程組求出 a最小二乘法又稱曲線擬合，所謂“擬合”即不要求所作的曲線完全通過(guò)所有的數(shù)據(jù)點(diǎn) 只要求所得的曲線能反映數(shù)據(jù)的基本趨勢(shì)。三曲線擬合曲線擬合的幾何解釋：求一條曲線，使數(shù)據(jù)點(diǎn)均在離此曲線的上方或下方不遠(yuǎn)處。(1) 一元線性擬合設(shè)變量y與x成線性關(guān)系y a0 ax,先已知m個(gè)實(shí)驗(yàn)點(diǎn)xi,vi(i 1,2,.,m),求兩個(gè)未知參數(shù)a0,a1 。syia0 axi,則 a0,a1應(yīng)滿足 0,i0,1。aoaim2i 1m2i 1（yi（yi化簡(jiǎn)得

4、a1a0mima0i 1mXii 1maoa0aiXi）0a1xi） 0Xi a1i 1xiyi從中解出mm mmXiyix'i 1 i 1 a1i-mm2mXiXii 1i 1m/ ma0yi aXim i1 y mi 1yi(2)多元線性擬合設(shè)變量y與n個(gè)變量X,X21Xl(n1)的內(nèi)在聯(lián)系是線性的，即有卜式naoa1Xjj 1設(shè)Xj的第i次測(cè)量值為Xij ,對(duì)應(yīng)的函數(shù)值為yi（i1,2，m）,則偏差平方和為使s去得最小值的方程組aoaim2i 1m2i 1myii 1yimyi a。a1X i 1an即ma0nyi a0 a1Xijj 1nyi a0a Xjj 1yiXijXi1

5、 0a0ajnajXjj 1mV'i 1XinmXka。i 11,2，,n。（4）將實(shí)驗(yàn)數(shù)據(jù)XijXk aXkyXij , yi 代入（4）式,即得a0,a1,，an。（3）多項(xiàng)式擬合科學(xué)實(shí)驗(yàn)后得到一組數(shù)據(jù)時(shí)，常會(huì)遇到因變量y與自變量x之間根本不存在線性關(guān)系。此可以考慮用一個(gè)n次多項(xiàng)式來(lái)擬合y與x之間的函數(shù)關(guān)系。n對(duì)于n:多項(xiàng)式y(tǒng)aixi ,令X xi（j 0,1,., n）,則可將其化為線性形式：i 0nya。ajxjj i個(gè)實(shí)驗(yàn)點(diǎn)有xjx;，代入（3）式有ma0xijajyij 1 i 1i 1mn mmk 1,2,.,nxik a0xijxikaji1j1 i1xikyi i1從

6、而得出多項(xiàng)式的最小二乘法擬合的方程nmjkxiaii1 i1mkxi yi k10,1,., n寫(xiě)成矩陣的形式即為mxii1mi1i1xinxii1i12xinxi2xinxii1 m3xii1n2xii1i1mn1xii1myia0ima1xyii1i1an2nxii1nxi從中可以解出a。，a1,.,an。（4）指數(shù)函數(shù)擬合bx一 、一 此時(shí)擬合函數(shù)具有形式y(tǒng) ae （a, b為待定系數(shù)）。兩端取自然對(duì)數(shù)有In y In a bx （*）令 Y In y b。In a則（*）式化為線性形式 Y bo bx再利用（1）式和（2）式，即可求出 bo,bo從而有a ebo。故y ebo bx。四

7、最小二乘法應(yīng)用舉例例：已知某銅棒的電阻與溫度關(guān)系為：RtR0t。實(shí)驗(yàn)測(cè)得7組數(shù)據(jù)（見(jiàn)表1）如下:試用最小二乘法求出參量R。、以及確定它們的誤差。t / c19.125.130.136.040.045.150.1Rt /76.3077.8079.7580.8082.3583.9085.10表1此例中只有兩個(gè)待定的參量 R0和，為得到它們的最佳系數(shù)， 所需要的數(shù)據(jù)有n、 x、it / c(Xi)Rt /(yi )txt(X2i )Rt Rt (y2i )tx Rt(Xi yi )R計(jì)算/i /i2 X 10-4119.176.30364.85821.71457.376.26+0.0416225.1

8、77.80630.06052.81952.877.99-0.19361330.179.75906.06360.12400.579.43+0.321024436.080.801296.06528.62908.881.13-0.331089540.082.351600.06781.53294.082.28+0.0749645.183.902034.07039.23783.983.75+0.15225750.185.102510.07242.04263.585.19-0.0981n7Xi245.5yi566.002X9340.82y45826X V20060.822845 X 10-4y、 x：、

9、y2和 xy六個(gè)累加數(shù)，為此在沒(méi)有常用的科學(xué)型計(jì)算器時(shí)， 通過(guò)列 表計(jì)算的方式來(lái)進(jìn)行，這對(duì)提高計(jì)算速度將會(huì)有極大的幫助（參見(jiàn)表 2）,并使工作有條理 與不易出錯(cuò)。其中表內(nèi)雙線右邊的計(jì)算是為了確定Ro和 的誤差項(xiàng)用的。表2根據(jù)表2中所求得的數(shù)據(jù)，代入公式（12）則可得:7 20060.8 245.5 566.001472.67 9340.8 (245.5)25115.350.28788 /0C566.00245.5R0 b 0.28788 70.7607877把測(cè)量數(shù)據(jù)代入式（13）和（15）中可求出相關(guān)系數(shù)1XiYi- X Yin20060.8245.5 566.007L 7( xi)2 yi

10、2 I y)2(245.5)2(566.00)29340.8 ( 7 ) (45826 (7 ) )212Xi( Xi )n212Yi( Yi )n0.28788一 一 29340.8 (245.5)7(566.00)245826 70.99757說(shuō)明：電阻Rt與溫度t的線性關(guān)系良好，所以取R0的有效數(shù)字與 R對(duì)齊，即R0 = 70.76 ;又因?yàn)閠7-t1 = 31.0 C, R7- R1 = 8.80，取k有效數(shù)字為以上兩個(gè)差值中較少的位數(shù)3位，則k = 0.288 / Co由此可以得到電阻與溫度的相關(guān)關(guān)系為：Rt70.76 0.288t按補(bǔ)充資料中的公式計(jì)算 k和b的不確定度，可得Sy2845 107 20.239()SkS2(Xi)2Xi n0.239(245.5)2,9340.8 70.239 0.03699 0.0088( / C)同濟(jì)大學(xué)出版社1980Sb Sr0Sk-R0(70.76 0.33)(0.2879 0.009)Rt70.8 0.288t參考文獻(xiàn):1