最小二乘法及其應(yīng)用

1、最小二乘法及其應(yīng)用引言最小二乘法在19世紀(jì)初發(fā)明后，很快得到歐洲一些國(guó)家的天文學(xué)家和測(cè) 地學(xué)家的廣泛關(guān)注。據(jù)不完全統(tǒng)計(jì)，自1805年至1864年的60年間,有關(guān)最 小二乘法的研究論文達(dá)256篇，一些百科全書包括1837年出版的大不列顛百 科全書第7版，亦收入有關(guān)方法的介紹。同時(shí)，誤差的分布是“正態(tài)”的，也 立刻得到天文學(xué)家的關(guān)注及大量經(jīng)驗(yàn)的支持。如貝塞爾(F. W. Bessel, 1784 -1846)對(duì)幾百顆星球作了三組觀測(cè)，并比較了按照正態(tài)規(guī)律在給定范圍內(nèi) 的理論誤差值和實(shí)際值，對(duì)比表明它們非常接近一致。拉普拉斯在1810年也 給出了正態(tài)規(guī)律的一個(gè)新的理論推導(dǎo)并寫入其分析概論中。正態(tài)分布

2、作 為一種統(tǒng)計(jì)模型，在19世紀(jì)極為流行，一些學(xué)者甚至把19世紀(jì)的數(shù)理統(tǒng)計(jì)學(xué) 稱為正態(tài)分布的統(tǒng)治時(shí)代。在其影響下，最小二乘法也脫出測(cè)量數(shù)據(jù)意義之 外而發(fā)展成為一個(gè)包羅極大，應(yīng)用及其廣泛的統(tǒng)計(jì)模型。到20世紀(jì)正態(tài)小樣 本理論充分發(fā)展后，高斯研究成果的影響更加顯著。最小二乘法不僅是19世 紀(jì)最重要的統(tǒng)計(jì)方法，而且還可以稱為數(shù)理統(tǒng)計(jì)學(xué)之靈魂。相關(guān)回歸分析、 方差分析和線性模型理論等數(shù)理統(tǒng)計(jì)學(xué)的幾大分支都以最小二乘法為理論 基礎(chǔ)。正如美國(guó)統(tǒng)計(jì)學(xué)家斯蒂格勒(S. M. Stigler)所說，“最小二乘法之 于數(shù)理統(tǒng)計(jì)學(xué)猶如微積分之于數(shù)學(xué)”。最小二乘法是參數(shù)回歸的最基本得方 法所以研究最小二乘法原理及其應(yīng)用

3、對(duì)于統(tǒng)計(jì)的學(xué)習(xí)有很重要的意義。最小二乘法所謂最小二乘法就是：選擇參數(shù),b1,使得全部觀測(cè)的殘差平方和最小. 用數(shù)學(xué)公式表示為：min 乙 2= (K )2 =2 (Y - b - bx )2 ii ii 01 i為了說明這個(gè)方法，先解釋一下最小二乘原理，以一元線性回歸方程為 例.Y = B + Bx +|i(一元線性回歸方程)i 01 i i由于總體回歸方程不能進(jìn)行參數(shù)估計(jì)，我們只能對(duì)樣本回歸函數(shù)來估計(jì)即:Y = b + b x + e (i = 1,2.n)i 01 i i從上面的公式可以看出：殘差e是Y的真實(shí)值與估計(jì)值之差，估計(jì)總體 i i回歸函數(shù)最優(yōu)方法是，選擇B ,B的估計(jì)量b ,b，

4、使得殘差e盡可能的小. 0101i總之，最小二乘原理就是選擇樣本回歸函數(shù)使得所有Y的估計(jì)值與真實(shí) 值差的平方和為最小，這種確定, b1的方法叫做最小二乘法。最小二乘法是回歸分析中的最基本的方法?；貧w方程一般分為2類，線 性回歸方程和非線性回歸方程。2.1線性回歸最小二乘法最小二乘法是由實(shí)驗(yàn)或調(diào)查的數(shù)據(jù)，建立線性型公式的一種常用方法. 在建立線性型公式中，雖然有很多種不同的方法來求樣本回歸函數(shù)(即真實(shí) 總體回歸函數(shù)的估計(jì)值)，但是在回歸分析中最廣泛應(yīng)用的方法是最小二乘 法.如果變量x和y有精確的線性關(guān)系比如說y = ax + b，那么y =即觀測(cè) 值與回歸值是相等的.事實(shí)上現(xiàn)實(shí)世界中的諸多變量的

5、關(guān)系未必都是如此， 由于受諸多隨機(jī)因數(shù)的干擾使得物與物之間沒有那種很明確的對(duì)應(yīng)關(guān)系.比 如說人的身高和體重就是一個(gè)對(duì)應(yīng)，我們都知道長(zhǎng)的高的人不一定就重，同 理長(zhǎng)的矮的人也不一定就輕.但身高和體重的確存在著一定的關(guān)系，而這種 關(guān)系并非是y = ax + b所能確定的.那么我們要尋求身高和體重之間的關(guān)系 就需要通過數(shù)學(xué)的方法.首先調(diào)查統(tǒng)計(jì)得出數(shù)據(jù);其次把數(shù)據(jù)描繪出來；然后 擬合一條跟已有的圖象最接近的曲線，這樣就可以相對(duì)地將身高和體重之間 的關(guān)系表示出來.在處理類似的事情中常常用到最小二乘法.2.2非線性回歸最小二乘法非線性回歸的種類很多，常用的有拋物線方程(Y = a + bX +cX 2 )、

6、指 數(shù)方程(Y = abx )等。設(shè)已知列表函數(shù)y = f (x )(i = 0,1,.,m)，并且我們想用一個(gè)通常的 TOC o 1-5 h z iin( m)次多項(xiàng)式(1)p (x) = a + a x +. + a xnn01n去近似它。問題是應(yīng)該如何選擇a，a，a使p (x)能較好地近似列表函 01nn數(shù)f (x)。按最小二乘法，應(yīng)該選擇a。，使得(2)S (a，a，a )= * (f (x )-p (x )i=0取最小。注意到S是非負(fù)的，且是a。， a”的2次多項(xiàng)式，它必有最小值。于(y 一 a - a x -.- a xn)xk = 0(k = 0,1,.,n)i 01 in i

7、ii=0進(jìn)一步，可以將它們寫成的偏導(dǎo)數(shù)，并令其等于零，得到lyxk = i ii=o引進(jìn)記號(hào)20工i=oxk -i+ a xk+1 +. + a xk+n(k = 0,1, n1i i=oni i=osk=x：i=o和 =lLy xki=o則上述方程組為 0)方程組(3)有唯一解,七，,an，且它們使(2)取極 小值如此，我們應(yīng)用最小二乘法找到了 f (x)的近似多項(xiàng)式pn (x).在利用最小二乘法組成和式(2)時(shí)，所有點(diǎn)土都起到了同樣的作用，但 是有時(shí)依據(jù)某種理由認(rèn)為S 中的某些項(xiàng)的作用大些，而另外一些作用小些(例如，一些y是由精度較高的儀器或操作上比較熟練的人員獲得的，自然 i應(yīng)該予以較大

8、的信任)，這在數(shù)學(xué)上表現(xiàn)為用和(5) P (f (x,) p (x,) 替代和(2)取最小值.P, 0，且W p. =1, p ,通常稱之為權(quán)；而(5)為加權(quán)和.i=1用多項(xiàng)式p G)=a + a x + + a xn去近似一個(gè)給定的列表函數(shù)(即給出 n01n的一組觀測(cè)值y = f (x)時(shí)。需要確定的參數(shù)是a ,a , ,a ;而p (x)可以看 ii01 nn成是a ,a , ,a的線性函數(shù).但是有時(shí)在利用觀測(cè)或?qū)嶒?yàn)數(shù)據(jù)去確定一個(gè)經(jīng) 01 n驗(yàn)公式時(shí)，往往要確定的函數(shù)和待定參數(shù)之間不具有線性形式的關(guān)系.這樣 問題就變得有些復(fù)雜.然而，常?？梢酝ㄟ^變量替換使其線性化.最小二乘法原理是用來求解

9、線性方程組的,非線性方程經(jīng)線性化后方可 應(yīng)用該原理.通常在測(cè)量中遇到的問題不一定都是線性問題，必須先把非 線性問題線性化，然后求解.例如：有時(shí)，我們希望用如下類型的函數(shù)：S = ptq(6)去近似一個(gè)由一組觀測(cè)數(shù)據(jù)(列表)所描繪的函數(shù)，其中p和q是待定的兩 個(gè)參數(shù).顯然s已日印和4的線性函數(shù).怎樣線性化呢？為此，我們?cè)?6)式兩端 取對(duì)數(shù)，得到Ins = Inp + qInt記 Ins = y, Inp = a , a = q, x = Int，則(6)式變成y = a + a x .這是一個(gè)一次多項(xiàng)式，它的系數(shù)和a1可以用最小二乘法求得.(ii) 我們經(jīng)常希望用函數(shù)S = AeCt(7)去近

10、似一個(gè)以給定的列表函數(shù)，其中A、C是待定的參數(shù).這時(shí)，我們可以(7) 的兩端取對(duì)數(shù)：InS = InA + Ct記 InS = y, InA = a , C = a , x = t，則(1.7)式變成這樣仍可用最小二乘法定出,a1 （從而也就定出了A,C ），得到近似函數(shù)S = Aect .下面列出幾種常用的線性處理方法，利用最小二乘法的原理對(duì)直線型、 拋物線型和指數(shù)曲線型的方程的參數(shù)估計(jì)方法，介紹如下：（1）直線型直線方程的一般形式為Y = a + bX令E（Y-C）2 =E（a + bX -C）2為最小值，分別為a和b求偏導(dǎo)數(shù)，并令導(dǎo)數(shù)等于0，得到聯(lián)立方程組。解方程組，即可得到參數(shù)的計(jì)算公

11、式。a = Y - bXnEX Y-EX EYb = VnE X 2-(乙 X )2（2）拋物線型拋物線方程的一般形式為Y = a + bX + cX 2令E(Y-C)2 =E(a + bX -C)2為最小值，分別為a、b、c求偏導(dǎo)數(shù), 并令導(dǎo)數(shù)等于0,得到聯(lián)立方程組解方程組,即可得到參數(shù)的計(jì)算公式。EY-na-bEX -cEX2 = 0E Y X 2 - a E X - bE X 2 - c E X 3 = 0E YX 2 - aE X 2 - bE X 3 - cE X 4 = 0（3）指數(shù)曲線型指數(shù)曲線的一般形式為Y = abX取對(duì)數(shù)，將指數(shù)曲線轉(zhuǎn)化成對(duì)數(shù)直線形式lg Y = lg a

12、+ X lg b用最小二乘法估計(jì)參數(shù)a,b,可有如下方程組 Z lg Y = n lg a + lg b. X |E(X -lgY) = lgaX + lgb-ZX2解此方程組，可得參數(shù)的對(duì)數(shù)值，查其反對(duì)數(shù)，即可得參數(shù)值。最小二乘法原理的應(yīng)用3.1最小二乘法原理在線性回歸中應(yīng)用例1.已知2009年3月到2010年4月居民收入與物價(jià)信心的滿意指數(shù)如下 圖，求出當(dāng)期物價(jià)滿意指數(shù)x與時(shí)間t的曲線擬合。T123456X29.5028.2025.9021.7021.9013.80解.t=1 2 3 4 5 6;x=29.50 28.2025.90 21.70 21.90 13.80;plot(t,x,o

13、); TOC o 1-5 h z 30 c28 -26 _-24 一一22 _020 一一18 一一16 一一14 -rrrrrrrrrr1211.522.533.544.555.56polyfit(t,x,1)ans =-2.9029 33.6600則所得到的近似方程為y=-2.9029+33.6600 x.3.2最小二乘法原理在非線性回歸中的應(yīng)用例2設(shè)已知函數(shù)f (x)的表列值為X0.20.50.70.851Y1.2211.6492.0142.3402.718試按最小二乘法構(gòu)造f (x)的二次近似多項(xiàng)式.解：下面用Matlab程序來求參數(shù)a ,a和a .012程序如下：x=0.2 0.5

14、0.7 0.851;y=1.221 1.649 2.014 2.340 2.718;plot(x,y,，o，);c c cc c c c F TOC o 1-5 h z 一-2 -ccccccc:0.20.30.40.50.60.70.80.91polyfit(x,y,2)ans =0.92480.75531.0346即所求a廣0.9248,=0.7553,a2=1.0346.所求的近似多項(xiàng)式為f (x) = 0.9248 + 0.7553x +1.0346x2.例3、在某冶煉過程中，根據(jù)統(tǒng)計(jì)數(shù)據(jù)的含碳量與時(shí)間關(guān)系，試求含碳 量y與時(shí)間t的擬合曲線。t051015202530354045505

15、5y01.272.162.863.443.874.154.374.514.584.024.64解：實(shí)驗(yàn)程序如下：t=0 510 15 20 25 30 35 40 45 50 55;y=01.272.162.863.443.874.154.374.514.584.024.64;plot(t,y,，o，);p=polyfit(t,y,2)-0.00240.20370.2305綜上，y與t的擬合曲線是y=-0.0024+0.2037t+0.0.230512。例2設(shè)已知如下一組實(shí)驗(yàn)數(shù)據(jù)：t =2.2 2.7 3.5 4.1S =65 60 53 50試求一個(gè)S Aect型的函數(shù)去近似它.解：計(jì)算以緊

16、湊的形式表示如下:X0 x = IntX 2y = Insxy10.34240.11721.81290.620710.43140.18611.77820.767110.54410.29601.72430.938210.61280.37551.69901.041141.93070.97487.01443.3671S0S1S2u0u1由此得方程組4a + 1.9307a = 7.0144,011.9307a + 0.9748a = 3.3671.01解之得 a = Inp = 1.963, p = 91.9, q = a = 一0.434 從而S = 91.9t-0.434。4.小結(jié)應(yīng)用最小二乘法

17、的幾個(gè)問題：最小二乘法雖然在數(shù)據(jù)處理方面具有顯著的效果，但如果使用不當(dāng)會(huì)導(dǎo) 致很大的誤差，甚至錯(cuò)誤的結(jié)果。因此，在應(yīng)用時(shí)必須注意以下幾個(gè)問題：慎重選擇擬合關(guān)系式。在實(shí)際問題中,適當(dāng)選擇擬合關(guān)系式是一項(xiàng) 十分謹(jǐn)慎的工作，它將直接影響計(jì)算的工作量和結(jié)論。自變量的選擇。在實(shí)際工作中，對(duì)一組實(shí)驗(yàn)(氣,”數(shù)據(jù)按不同的擬 合形式，結(jié)果會(huì)不一樣。特別注意當(dāng)兩個(gè)變量都有一定誤差時(shí)，應(yīng)當(dāng)使用雙變 量最小二乘法進(jìn)行處理,否則可以使用單變量最小二乘法。加權(quán)最小二乘法。此法是應(yīng)用于實(shí)驗(yàn)測(cè)量值七非等精度的情況下 的擬合方法。它不同程度的消除誤差因素，結(jié)果更準(zhǔn)確可靠。設(shè)擬合函數(shù)為y = f G),當(dāng)x值取工時(shí)y的實(shí)測(cè)值為

18、y ,取c y - f (x )。11111加權(quán)偏差平方和s =工 wc 2 = 工w (y. - f (x )2，式中w.為第i個(gè)實(shí)驗(yàn)點(diǎn)的權(quán) i=1i=1重因子。選取合適的權(quán)重因子w.可獲得高精度的擬合參數(shù)。最小二乘原理在很多領(lǐng)域有著廣泛應(yīng)用，利用MATLAB求解非常方便， 但一定要組要問題的類型，尤其是數(shù)據(jù)大且復(fù)雜時(shí)，來更好的突出Matlab計(jì) 算出線性參數(shù)的最佳估計(jì)值，提高了效率和精度。非線性參數(shù)的最小二乘法處理程序可歸結(jié)為：首先根據(jù)具體問題將 非線性問題線性化，列出誤差方程；再按最小二乘法原理，利用求極值的方 法將誤差方程轉(zhuǎn)化為正規(guī)方程；然后求解正規(guī)方程，得到待求的估計(jì)量；最 后給出精度估計(jì)。上面例題利用程序求解組合測(cè)量問題，用Matlab進(jìn)行曲線 的擬合。致謝：長(zhǎng)江之濱，青山湖畔，是我美麗的校園。轉(zhuǎn)眼間，我已經(jīng)在美麗的湖師 度過了四個(gè)年頭。四年，這是我人生中非常重要的四年，我有幸能夠接觸到 這些不僅傳授我知識(shí)、學(xué)問，而且從更高層次指導(dǎo)我的人生與價(jià)值追求的良 師。他們使我堅(jiān)定了人生的方向，獲得了追求的動(dòng)力，留下了大學(xué)生活的美 好回憶。在此，我真誠(chéng)地向我尊敬的老師們和母校表達(dá)我深深的謝意！這篇論文是在我的導(dǎo)師胡宏昌教授的多次指導(dǎo)下完成的。從論文