最小二乘法的原理及在建模中的應(yīng)用分析

1、最小二乘法的原理及在建模中 的應(yīng)用分析學(xué)校代碼：本科畢業(yè)論文（題目：最小二乘法的原理及在建模中的應(yīng)用分析學(xué)生姓名：學(xué)院：系別：專業(yè)：班級：指導(dǎo)教師：副教授二0 一年六月內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文摘要最小二乘法是一種最基本、最重要的計(jì)算技巧與方法 . 它在建模中有著廣泛的應(yīng) 用, 用這一理論解決討論問題具有簡明、清晰的特點(diǎn) , 特別在大量數(shù)據(jù)分析的研究中 具有十分重要的作用和地位 . 隨著最小二乘法理論不斷的完善 , 其基本理論與應(yīng)用已 經(jīng)成為一個(gè)不容忽視的研究課題 .本文共分三部分 .緒論主要介紹最小二乘法的起源、基本概念以及本文的主要工 作 ; 第一章闡述了最佳平方逼近和曲線擬合的算法 ,并

2、做出二者的流程圖 ,接著對曲線 擬合的線性和非線性模型給出求解方法 ,最后總結(jié)出常用的模型函數(shù)以及線性化方法 第二章首先通過解決實(shí)際算例 , 闡述如何克服病態(tài)方程 , 然后通過預(yù)測研究生招生人 數(shù), 闡明它在建模中的作用 , 并作簡單的分析 ,最后做出了總結(jié) .關(guān)鍵詞 :最小二乘法 ;最佳平方逼近 ;曲線擬合 ; 病態(tài)方程 ; MatlabAbstractLeast-square method is one of the most fundamental and most important calculation methods and skills in modeling. It is w

3、idely used in solving this theory, discuss the problem with concise, clear characteristics, especially in the research of data analysis plays a very important role and status. With the least square theory constantly, perfect the basic theory and application has become a serious research topic.The pa

4、per has three parts are mainly introduced. Introduction to the origin of least squares, basic concepts and the main job, The first chapter describes best square approximation and the curve fitting, the algorithm and the flowchart, then both of the curve fitting is linear and nonlinear model of solvi

5、ng method, and finally summarizes common model function and linearization method, The second chapter first through solving practical examples, this paper discusses how to overcome the pathological equation, and then through the prediction of graduate student recruit students number, expounds its rol

6、e in modeling and simple analysis, finally made a summary.Keywords: Least-square method; The best square approximation;The curve fitting; Psychopathic equation; Matlab目錄緒論 1第一章最小二乘法概述 31.1預(yù)備知識(shí) 31.2最佳平方逼近問題 41.3曲線擬合問題 61.4曲線擬合的模型分類 81.4.1 線性模型 81.4.2 非線性模型 111.5總結(jié) 13第二章 最小二乘法在建模中的應(yīng)用 162.1應(yīng)用舉例 162.2病態(tài)

7、方程 182.3建模分析 202.4總結(jié) 25參考文獻(xiàn) 26附錄A最佳平方逼近流程圖 27附錄B曲線擬合流程圖 29附錄C部分Matlab程序 31謝辭 36內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文緒論在科學(xué)研究中 ,為了揭示某些相關(guān)量之間的關(guān)系 ,找出其規(guī)律 ,往往需要做數(shù)據(jù)擬 合, 其常用方法一般有傳統(tǒng)的插值法、最佳一致逼近多項(xiàng)式、最佳平方逼近、最小二 乘擬合、三角函數(shù)逼近、帕德(Pade)逼近等，以及現(xiàn)代的神經(jīng)網(wǎng)絡(luò)逼近、模糊逼近、 支持向量機(jī)函數(shù)逼近、小波理論等 .其中 , 最小二乘法是一種最基本、最重要的計(jì)算技巧與方法 . 它在建模中有著廣 泛的應(yīng)用,用這一理論解決討論問題簡明、清晰 ,特別在大量數(shù)

8、據(jù)分析的研究中具有 十分重要的作用和地位 .隨著最小二乘理論不斷的完善 ,其基本理論與應(yīng)用已經(jīng)成為 一個(gè)不容忽視的研究課題 .1. 最小二乘法的起源與基本概念1805年勒讓德 (Legendre) 發(fā)表的論著 計(jì)算彗星軌道的新方法 附錄中, 最早提 到最小二乘法 ,Legendre 之所以能做出這個(gè)發(fā)現(xiàn) , 是因?yàn)樗麤]有因襲前人的方法要 設(shè)法構(gòu)造出 k 個(gè)方程去求解 , 他認(rèn)識(shí)到關(guān)鍵不在于使某一方程嚴(yán)格符合 , 而在于要使 誤差以一種平衡的方式分配到各個(gè)方程,具體地說,他尋求這樣的 值,使得 n2(Xi0 Xi1 1Xik k)達(dá)到最小.i11809年, 高斯 (Gauss) 發(fā)表論著天體運(yùn)動(dòng)

9、理論 , 對其誤差進(jìn)行了研究 , 再該書 末尾, 他寫了一節(jié)有關(guān)“數(shù)據(jù)結(jié)合”的問題 , 以及其簡單的手法導(dǎo)出誤差分布 - 正態(tài)分 布,并用最小二乘法加以驗(yàn)證.關(guān)于最小二乘法，Gauss宣稱自1795年以來他一直使用這個(gè)原理.這立刻引起了 Legendre的強(qiáng)烈反擊，他提醒說科學(xué)發(fā)現(xiàn)的優(yōu)先權(quán)只能以出版物確定 ，并嚴(yán)斥Gauss 剽竊了他人的發(fā)明 .他們間的爭執(zhí)延續(xù)了多年 .因而,這倆位數(shù)學(xué)家之間關(guān)于優(yōu)先權(quán) 的爭論僅次于牛頓 (Newton) 和萊布尼茲 (Leibniz) 之間關(guān)于微積分發(fā)明的爭論 . 現(xiàn)在 一般認(rèn)為,二人各自獨(dú)立的發(fā)明了最小二乘法.盡管早在10年前,Gauss就使用這個(gè)原 理，

10、但第一個(gè)用文字形式發(fā)表的是Lege ndre.最小二乘法在 19世紀(jì)初發(fā)明后 ,很快得到歐洲一些國家的天文學(xué)家和測地學(xué)家 的廣泛關(guān)注.同時(shí),誤差的分布是“正態(tài)”的 ,也立刻得到天文學(xué)家的關(guān)注 .正態(tài)分布 作為一種統(tǒng)計(jì)模型 ,在 19世紀(jì)極為流行,一些學(xué)者甚至把 19世紀(jì)的數(shù)理統(tǒng)計(jì)學(xué)稱為 正態(tài)分布的統(tǒng)治時(shí)代 .綜上可知 ,Legendre 和 Gauss 發(fā)現(xiàn)最小二乘法是從不同的角度人手的 : 一個(gè)是為 解線性方程組 ,一個(gè)是尋找誤差函數(shù) ;一個(gè)用的是整體思維 , 考慮方程組的均衡性 ,一 個(gè)用的是逆向思維 ,首先接受經(jīng)驗(yàn)事實(shí) ,一個(gè)是純代數(shù)方法 , 一個(gè)致力于應(yīng)用 .相比而 言, 高斯不愧為數(shù)

11、學(xué)王子 ,他把最小二乘法推進(jìn)得更遠(yuǎn)、更深刻 , 這極大地推進(jìn)了數(shù)理 統(tǒng)計(jì)學(xué)的發(fā)展 .發(fā)展至今 ,其已在各個(gè)方面有了應(yīng)用 .其基本原理如下 .基本原理: 在自然科學(xué)和工程實(shí)踐中 ,經(jīng)常會(huì)遇到尋求經(jīng)驗(yàn)公式問題 .由實(shí)驗(yàn)或觀 測得到一組數(shù)據(jù)(x，yj(i 1,2,L m),而各xi是不同的,且設(shè)y f(xj,通過這些數(shù)據(jù), 我們求一曲 線 y Sn(x) , 在函數(shù) 空間 span i,i 1, ,n 中尋找一個(gè) 逼近 函數(shù) y f(x)由于觀測有誤差,因此i Sn(Xi) f(Xi)并不為零但要求mmi2Sn(xi) f(xi)2 mini 1i 1這就是曲線擬合的最小二乘問題.2.選題背景與本文

12、的主要工作在科學(xué)研究中 ,為了揭示某些相關(guān)量之間的關(guān)系 ,找出其規(guī)律 ,往往需要求解其函數(shù)解析式.一種方法是采用插值逼近法，即所構(gòu)造的近似函數(shù) (X)在已知節(jié)點(diǎn)Xi上必 須滿足(Xi) yi要求逼近函數(shù)(Xi)與被逼近函數(shù)f(x)在各已知點(diǎn)Xi處的誤差為零, 即要求(x)的曲線必須通過所有的點(diǎn),常用的插值法有拉格朗日(Lagrange)插值,牛 頓(Newton)插值，埃爾米特(Hermite)插值等.另一方面 ,由于觀測數(shù)據(jù)較多 ,一般不用插值法 ,而是用擬合的方法 .即只要找到 一條曲線 ,即能反映給定數(shù)據(jù)的一般趨勢 ,又不出現(xiàn)局部較大的波動(dòng)即可 ,只要 (X) 與 f (X) 的偏差滿足

13、某種要求就行了 . 這種數(shù)據(jù)間的非確定關(guān)系需要統(tǒng)計(jì)方法來描述 , 最常用的方法就是數(shù)據(jù)擬合 . 數(shù)據(jù)擬合就是找一種函數(shù)的解析表達(dá)式或近似表達(dá)式 來描述這組數(shù)據(jù)間的函數(shù)關(guān)系 ,通常用到最小二乘法 .數(shù)據(jù)擬合的最小二乘法通過最 小化誤差的平方和 ,尋找數(shù)據(jù)的最佳函數(shù) .利用最小二乘法可以簡便地求得未知的數(shù) 據(jù),并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小.本文就是在這樣的背景下 , 第一章主要介紹了最小二乘法的原理 ,對最佳平方逼 近和曲線擬合給出求解方法 ,總結(jié)了非線性模型下最小二乘法的求法 . 第二章主要講 述其在實(shí)際中的應(yīng)用 ,以及如何克服法方程病態(tài)的方法 .最后通過實(shí)例闡述其在建模

14、中的作用.第一章最小二乘法概述最小二乘法通過最小化誤差的平方和來尋找數(shù)據(jù)的最佳函數(shù)匹配.利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平 方和為最小.在下面的章節(jié)中我們主要分析最小二乘法的原理，分別對最佳平方逼近和曲線擬合做了簡單概述，重點(diǎn)對曲線擬合的非線性模型給出總結(jié).1.1預(yù)備知識(shí)定義1.1設(shè)在區(qū)間(a,b)上非負(fù)函數(shù)(x),滿足條件：b1) x n (x)dx 存在(n 0,1,L);a2) 對非負(fù)的連續(xù)函數(shù)g(x),若g(x)(x)dx則在(a,b)上g(x) 0就稱(x)為區(qū)間(a,b)上的權(quán)函數(shù).定義1.2設(shè)f(x),g(x) a,b,(x)是a,

15、b上的權(quán)函數(shù),積分b(f，g)= (x)g(x)f (x)dxa稱為函數(shù)f (x)與g(x)在a,b上的內(nèi)積.定義1.3內(nèi)積若滿足下列四條公理：1) (f,g) (g, f)2) (cf ,g) c( f ,g), c 為常數(shù)3) (f1 f2,g) (f1,g) (f 2,g)4) (f, f) 0,當(dāng)且僅當(dāng) f 0 時(shí)(f, f) 0則連續(xù)函數(shù)空間Ca,b上就形成一個(gè)內(nèi)積空間.若f (fl丄fn)T , g (gl,L gn)T則其n內(nèi)積定義為(f ,g)fkgkk 1定義1.4設(shè)A Rnn為非奇異矩陣,稱(Co nd (A)? 1) Co nd(A)v | A |J| A Jv為矩陣的條

16、件數(shù) ,其中?v為Rnn 中的某種矩陣范數(shù).則對方程組Ax b(1)如果條件數(shù)Con d(A)v很大(Co nd(A)? 1),則稱為病態(tài)方程組(或A為病態(tài)). 當(dāng)Cond(A)v相對較小時(shí)，稱為良態(tài)方程組(或A是良態(tài)的).定義1.5設(shè)在a,b給定函數(shù)系 0, 1,L , n,若滿足條件m(i, j)(x) j(x) k(Xi)i 10,i kA 0,i k則稱函數(shù)系 k是a,b上帶權(quán)為(x)的正交函數(shù)系.n定義1.6對于給定的函數(shù)f(x) Ca,b,若n次多項(xiàng)式s (x)ajXj滿足關(guān)系j 0b2b2f (x) s (x) dx min f (x) s(x) dx (1-1) as(x) p

17、n a其中pn為所有不超過n次的多項(xiàng)式，則稱s (x)為f (x)在區(qū)間a,b上的n次最佳平方 逼近多項(xiàng)式.定義1.7對于給定函數(shù)f(x) Ca,b,如果存在s (x) span i,i 1, , n使s(x)2dx(1-2)bb(x) f (x) s (x)2dxmin (x)f (x)aS(x) a則稱s (x)是f(x)在空間 中的最佳平方逼近函數(shù)1.2最佳平方逼近問題最佳平方逼近問題就是對于給定的一個(gè)函數(shù)，用另一個(gè)函數(shù)去逼近它.如圖1.1所示原函數(shù)逼近函數(shù)圖1.1最佳平方逼近圖由公式(1-1)和公式(1-2)要求在給定的函數(shù)類中span i，i1, m24中找到一個(gè)函數(shù)*S (x) a

18、0 0 a1 1 L ana1nak k(x)0(n m)使S* (x)滿足(x)f(x) S (x)2dx minS(x)(x) f (x)S (x)2dx函數(shù)類 一般可取比較低次的多項(xiàng)式集合或其他較簡單的函數(shù)類其中，(x)( 0)是a,b上給定的權(quán)函數(shù)，它表示不同的點(diǎn)地位的強(qiáng)弱，它的地位越重要，從而權(quán)(x)也 越大.其求解步驟概括如下：Step1做出函數(shù)f(x)圖形并尋找規(guī)律Step2設(shè)定數(shù)學(xué)模型,給出函數(shù)空間 span i,i 1, , nStep3利用最佳平方逼近原理求出S*(x),滿足(x)f(x)* 2S (x) dxminS*(x)表示為nS*(x)ak k(x)k 0(x)是權(quán)

19、函數(shù)，具體S* (x)的求出，相當(dāng)于求解法方程(0,0)(°, 1)L(°, n)a°(f,°)(1,°)(1, 1)L(1, n)a1(f,1)MMLMMM(n,°)(n, 1)L(n, n)an(f,n)Step4求出誤差(x)f (X)* 2S (x) dxStep5分析并找出模型的優(yōu)缺點(diǎn),求誤差,若誤差大，則應(yīng)重新建立函數(shù)空間，最佳平方逼近流程圖見附錄 A.1.3曲線擬合問題要求在給定的函數(shù)類中span i, i 1, n找到一個(gè)函數(shù)nS (x) a0 0 a1 1 L an nak k(x) (n<m)k 0使S* (

20、x)滿足m2ii 1mS (xi)f(xi)2S(xi)i 1f(xi)2這里S (x) a0 0 a1 1 Lan n這種求逼近S*(x)的方法就稱為曲線擬合的最小二乘法.函數(shù)類一般可取比較低次的多項(xiàng)式集合或其它較簡單的函數(shù)類m實(shí)用中 , 為了使問題提法更具有一般性 , 常對最小二乘法中i2 加權(quán)平方 , 即i1mi1(xi)S(xi)2f (xi)2其中,(x)( 0)是a,b上給定的權(quán)函數(shù),它表示不同的點(diǎn)(Xi,y)地位的強(qiáng)弱,例如點(diǎn) (xiyi)處的權(quán)(刃)可以用來表示數(shù)據(jù)(xiy)在實(shí)驗(yàn)中重復(fù)的次數(shù),也可以用來表示數(shù) yi的準(zhǔn)確度，yi越準(zhǔn)確，它的地位越重要，從而權(quán)(xi)也越大滿足

21、關(guān)系式m m m2 * 2 2i2(xi)S*(xi) f (xi)2 Sm( xi)n(xi)S(xi) f (xi)2i 1i 1S(x)i 1稱為上述最小二乘問題的最小二乘解 . 概括如下 :Step1 將數(shù)據(jù)點(diǎn)描在坐標(biāo)紙上尋找規(guī)律Step2 設(shè)定數(shù)學(xué)模型 , 給出函數(shù)空間 span i,i 1, ,nStep3 利用最小二乘法求的 S*(x), 其中 , S*(x) 滿足m*2(xi) yi S*(x)2i1m 2 min(xi)yi S(xi)i1S(x) 可表達(dá)為S(x)nai i(x)i1S*(x) 表為S*(x)nai* i(x)i1(x) 是權(quán)函數(shù)具體S* (x)的求出,相當(dāng)

22、于求解法方程s11s12s1na1d1s21s22s2na2d2M=Msn1sn2snnandndim(xj)yj i(xj ),sijm(xk)i(xk)j(xk),1 ijnStep4求出誤差 （1, 2丄n）的大小,即| |2m2ii 1Step5分析并找模型的優(yōu)缺點(diǎn)，求誤差,若誤差大，則應(yīng)重新設(shè)立模型，曲線擬合 最小二乘法流程圖見附錄 B.1.4曲線擬合的模型分類實(shí)際應(yīng)用中，由于觀測數(shù)據(jù)較多，最常用的方法就是曲線擬合曲線擬合即只要 找到一條曲線，即能反映給定數(shù)據(jù)的一般趨勢，又不出現(xiàn)局部較大的波動(dòng)即可，只要 擬合函數(shù)與原函數(shù)的偏差滿足某種要求就行了 .對于誤差,很大程度依賴于模型的選 取

23、,本節(jié)重點(diǎn)介紹了選取不同模型的方法1.4.1線性模型已知觀測點(diǎn)如圖，需要擬合線性函數(shù)，如圖1.3所示.Y=aX+b0XI刃対冶圖1.3線性擬合圖設(shè)直線方程的表達(dá)式為y a bx要根據(jù)所測量的已知數(shù)據(jù)求出最佳的a和b.對滿足線性關(guān)系的一組測量數(shù)據(jù)（xi, yi）,假定自變量xi的誤差可以忽略，則在同一 xi下，點(diǎn)yi和直線上的點(diǎn)a bxi的偏差di如 下所示d1 y1 a bx1d2 y2 a bx2Mdn yn a bXn顯然大多時(shí)候測量點(diǎn)不可能都在直線上ndi21D對a和b分別求一階偏導(dǎo)數(shù)為n2i 1yi再求二階偏導(dǎo)數(shù)為顯然,一般令 d12 d 22nyi1nadn2為最小值,即a bxi

24、2nbXii 12nXi yii 1勺a22Db22D孑2Db22n2nXin2Xi1滿足最小值條件，令一階偏導(dǎo)數(shù)為零：引入平均值1 nXi n i 11 nyin i 1則有2Xi1nanbxii 1nbi 1X20xy2Xii 1nXi yii 1y a bx 0xyaxbx 0解得aybxbxy""2 xxy2x(1-3)將a , b值帶入線性方程y abx,即得到線性方程.為了加深對最小二乘擬合原理的理解，現(xiàn)舉出如下例子，通過舉例使大家對最小 二乘擬合有所掌握.例1.1已知一組實(shí)驗(yàn)數(shù)據(jù)如表1-1所示，求它的擬合曲線.表1-1數(shù)據(jù)表i12345Xi24589yi2.0

25、12.983.505.025.47首先把這些數(shù)據(jù)畫出來如下圖1.4所示.圖1.4散點(diǎn)圖發(fā)現(xiàn)這些點(diǎn)在一條直線附近，故可選則線性函數(shù)作擬合曲線.即令P(x) a bx 作數(shù)學(xué)模型.其次，由已知有m 5,求得m 5,5552Xi 28,x 190 , yii 1i 1i 1518.98 ,Xi yi 1122.83于是法方程為5a 28b 18.98 28a 190b 122.83 由公式 (1-3) 得, 并解此方程組得a 1.00578b 0.498253故所得的擬合函數(shù)為y 1.00578 0.498253 x1.4.2 非線性模型在許多實(shí)際問題中 , 變量之間的關(guān)系并不都是線性的 , 也就是

26、說變量之間存在非 線性關(guān)系 ,此時(shí)就需要建立非線性模型才能對實(shí)際問題給出合理的解釋 . 對于非線性 模型一般有兩種處理方法 :一種是進(jìn)行一些變換 , 將非線性問題化成線性問題來求解 另一種是不能化成線性問題 , 而是直接使用非線性模型 .比如模型xy 0 1e這是一個(gè)非線性模型,但令% ex即可化為y對的線性模型y 0 1x%同樣 , 對于多項(xiàng)式模型2y 01x2xLpxp只要令 x1 x,x2 x2,L,xp xp,就可以得到線性模型y 01x12x2 Lpxp在比如 , 非線性模型bx y ae e(1-4)兩邊取自然對數(shù) , 得ln y lna bx(1-5)令%y ln y, 0 ln

27、 a, 1b就可以得到線性模型%y01x有些非線性模型是不能化成線性模型的 , 比如模型y aebx當(dāng)b未知時(shí),我們就不能通過對兩邊取對數(shù)化成線性模型，只能采取非線性最小二乘法求解.非線性模型一般可記為yi f(xi, ), i 1,2,L ,n式中,y是因變量；xi (xi,xi2,L ,xik)T是自變量；(o, i,L , p)t為未知參數(shù)向量；i : N(0, 2), i 1,2,L ,n,且互相獨(dú)立.仍采用最小二乘法估計(jì)參數(shù)，即求使nQ( ) W f(xi，)2i 1達(dá)到最小的$,稱為的非線性最小二乘估計(jì).若函數(shù)f對參數(shù)連續(xù)可微時(shí)，可以利 用微分法，建立正規(guī)方程組，求解使Q()達(dá)到最

28、小的$.將Q()函數(shù)分別對參數(shù)j求 偏導(dǎo),并令其為0,得P+1個(gè)方程| j ?jn2 (yii 1f(xi,$)Q| j ?jj0,0,1,L ,p非線性最小二乘估計(jì)$就是上時(shí)的解.例1.2設(shè)一發(fā)射源的發(fā)射強(qiáng)度公式為atI與t的數(shù)據(jù)如表1-2.表1-2發(fā)射源數(shù)據(jù)表ti0.20.30.40.50.60.70.8Ii3.162.381.751.341.000.740.56試用最小二乘法確定10與a0.由公式(1-4)和(1-5),先求數(shù)據(jù)表如表1-3所示.表1-3 ti與In h的數(shù)據(jù)表ti0.20.30.40.50.60.70.8In I i1.15060.86710.55960.29270.0

29、000-0.301-0.5798由最小二乘擬合原理，得7a0 3.51.98913.5a0 2.03a10.1858則其解為a01.73a 2.89所以10 e305.64即發(fā)射強(qiáng)度公式近似為指數(shù)擬合圖為1.5所示.2.89tI5.64e圖1.5發(fā)射源指數(shù)擬合圖1.5總結(jié)綜上所述，最小二乘法就是以最小二乘原理為依據(jù)，同時(shí)解出一組未知參量的最佳值,最后確定函數(shù)解析式的方法.同時(shí)，它所做出的曲線擬合能夠清晰地表現(xiàn)出變 量間的函數(shù)關(guān)系，還能通過數(shù)據(jù)點(diǎn)與曲線的偏離程度大致估計(jì)觀測誤差.特別適用于 通過實(shí)驗(yàn)求解未知形式的函數(shù)關(guān)系式或者用簡單的解析式近似復(fù)雜的表達(dá)式，是科學(xué)實(shí)驗(yàn)中對數(shù)據(jù)處理的一種重要方法.

30、其中最小二乘法最重要的一步就是由所給出 的數(shù)據(jù),建立模型函數(shù),根據(jù)經(jīng)驗(yàn),有以下圖作參考,如圖1.6到圖1.13所示(k 0).k圖1.6函數(shù)y k圖形x-0.1-0.2-0.3-0.4-0.5-0.6-0.7-0.8-0.9-1k圖1.7函數(shù)y -圖形x12010080604020圖1.8函數(shù)y x2 kx圖形形圖1.9函數(shù)yx2kx圖圖1.10函數(shù)y kx圖形 圖1.11函數(shù)y klnx圖形0.90.80.70.60.50.40.30.20圖1.12函數(shù)y kex圖形圖1.13函數(shù)y ke x圖形由實(shí)際數(shù)據(jù)，建立出比較合適的模型，在求解模型的系數(shù)中可以借助計(jì)算機(jī)軟件 如matlab,最終得到

31、比較理想的擬合函數(shù).當(dāng)然，有些時(shí)候也可以先把擬合的模型化為比較好處理的函數(shù)，例如，對函數(shù)y lnx,可以令X ln x,Y y,只要擬合X和Y的函數(shù),再把x和y回代即可,以下給 出常用函數(shù)與丫 AX B之間的變換,如表1-4所示.表1-4線性化變化函數(shù)y f(x)線性化形式丫 aX b變量與常數(shù)變換ay bx1 y a bx1X -,Y y xd yx c1dy xy ccX xy,Y y1 . d a , b cc1 y.ax b1 . ax by1X x,Yyxy - ax b11.a byx11X ,Y xya b,b ay aln x by aln x bX In x,Y yaxy c

32、eIn y ax In cX x,Y In y b In cay cxIn y aln x In cX In x,Y In y b In c2y ax b1y 2 ax b1X x,Y y 2dxy cxeln dx ln c xX x,Y 2 x b In c,a dl丫彳ax1 ceIn 丄 1 ax In c yX x,Y In 丄 1 yb In c,l為給疋常數(shù)在實(shí)際中，由于數(shù)據(jù)的不確定性與不穩(wěn)定性，因?yàn)榻o出的函數(shù)過于簡單往往并不能真實(shí)反映實(shí)際問題，而過于復(fù)雜，又很難處理總之,對不同的實(shí)際問題，應(yīng)靈活建立數(shù)學(xué)模型，結(jié)合計(jì)算機(jī)軟件，準(zhǔn)確的擬合出模型函數(shù)第二章 最小二乘法在建模中的應(yīng)用隨

33、著科學(xué)技術(shù)的發(fā)展，實(shí)驗(yàn)數(shù)據(jù)處理越來越方便但也提出了新的課題,就是在 選擇數(shù)據(jù)處理方法時(shí)應(yīng)該比以往更為慎重因?yàn)樯杂胁簧?，就?huì)根據(jù)正確的實(shí)驗(yàn)數(shù)據(jù) 得出不確切的乃至錯(cuò)誤的結(jié)論因此本章將結(jié)合實(shí)例讓大家更深一步體會(huì)最小二乘 法在建模中的應(yīng)用2.1應(yīng)用舉例例2.1已知一組離散數(shù)據(jù)如表2-1,試用二次多項(xiàng)式進(jìn)行曲線擬合，并求出誤差.表2-1數(shù)據(jù)表i01234Xi00.250.500.751.00yf (Xi)1.00001.28401.64872.11702.7183首先將數(shù)據(jù)點(diǎn)描于坐標(biāo)紙上，如圖2.1所示.2.82.6 n2.4.2.22 L181614121IILILIi00.10.20.30.40.5

34、0.60.70.80.91圖2.1散點(diǎn)圖然后利用公式計(jì)算內(nèi)積，寫出法方程，其法方程為52.5玄8.76802.5 1.875 a5.4514解得內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文ao 0.89968ai 1.70784故擬合所得的曲線為s*(x) Pi(x)0.89968 1.70784x經(jīng)計(jì)算所得的誤差為ei .f(X)Pi(x)20.916對于給定的離散數(shù)據(jù)也可以用二次多項(xiàng)式擬合，故當(dāng)其是二次多項(xiàng)式時(shí)，經(jīng)計(jì)算得法方程為52.51.875a。8.76802.51.8751.562ai5.45141.8751.5621.382a24.4015解得a0 1.00510ai 0.86468a20.8431

35、6故擬合曲線為2P2（x）1.0051 0.86468x 0.84316x .經(jīng)計(jì)算得誤差為f（Gi 1P2（X）20.0166126故從誤差可以看出，P2(x)比Pi(x)好.擬合如圖2.2所示.圖2.2 一次函數(shù)與二次函數(shù)對比圖內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文332.2病態(tài)方程在最小二乘解法中,當(dāng)取span1,x,x2時(shí)，系數(shù)矩陣的條件數(shù)為386.79;當(dāng)取span1,x,x2,x3時(shí),系數(shù)矩陣的條件數(shù)為 8.3909 103;取span1,x,x2,x3,x4時(shí),系數(shù)矩陣的條件數(shù)為2.3336 105.故可知法方程為病態(tài)方程組.克服病態(tài)方程組的方法為正交多項(xiàng)式方法，其擬合原理與用多項(xiàng)式作擬合的

36、原理類同，所不同的是用首項(xiàng)系數(shù)為1的正交多項(xiàng)式系 Po(x), Pi(x),L , Pn(x)代替函數(shù)系 o(x), !(x)丄,n(x).解決病態(tài)方程組常用方法就是施密特設(shè)12,L , i線性無關(guān),若取則向量組(Schmidt)正交化方法.其步驟如下:(s,s s(1, 1)1)2 £2，1)(1,1)S,2)2)(%$" s 1(s 1, s 1)s是兩兩正交的非零向量組，則將11, 2,L , s是標(biāo)準(zhǔn)正交向量組.,ss單位化,即令例2.2用正交多項(xiàng)式方法求在例2.1中的離散數(shù)據(jù)的二次多項(xiàng)式曲線擬合首先利用公式依次求出0.00,0.25,0.50,0.75,1.00上

37、關(guān)于權(quán)函數(shù) (xi) 1的正交多項(xiàng)式 P0 (x) , P1(x), P2(x).得：11, P0(x)1 ,21,112281P1(x) x, P2(x) (x)(x丄)12228然后由正交多項(xiàng)式po, P1, P2求出曲線擬合的二次多項(xiàng)式的系數(shù) ao, a1 , a2.由解得551 25(P1, pjP1 (Xi) P1 (Xi)(x)2i 1i 128551、21 2(P2, P2)P2(x)P2(Xi)(為-)2-20.0546875i 15i 128(Po, Po)5(f,Po)f(GPo(N)8.7680i 15(f, Pl)f(X)Pi(X)1.067415(f, P2)f(x)

38、p2(x) 0.04613751(f，P0)1.7536(P0, P0)(f, P1)1.70784(P1, P1)a2(仁 P2)(P2, P2)0.843657所以得出的二次擬合多項(xiàng)式為*s （x） a°p0（x） a1P1（x） a2P2（x）1.00513 0.86418x 0.84365 x2所得的擬合曲線如圖2.3所示.圖2.3二次曲線擬合圖由此可以看出，采用正交多項(xiàng)式所得的有效數(shù)字更多，故更為精確.2.3建模分析例2.3以下表2-2顯示出我國若干年份的研究生實(shí)際招生人數(shù) ,請運(yùn)用此表和所 學(xué)的數(shù)值計(jì)算理論，嘗試選擇合適的算法來測算2011和2012年可能的招生人數(shù).表2

39、-2研究生招生計(jì)劃年份199920002001200220032004200520062007200820092010人數(shù)(萬)8.712.815.620.2626.732.637.039.842.044.847.553.4為了計(jì)算的簡便，將年份由1999-2010變?yōu)榈?-12年,即預(yù)測第十三年和第十四 年的招生人數(shù).分析此題，是根據(jù)以往經(jīng)驗(yàn)，預(yù)測出第十三年和第十四年的招生人數(shù)，所以此題可用最小二乘法進(jìn)行擬合，并進(jìn)行預(yù)測.由Matlab做出實(shí)際人數(shù)如圖2.4所示.10o o o o o D6 5 4 3 2 1 >萬<數(shù)人生招圖2.4研究生散點(diǎn)圖由圖形看不出有明顯規(guī)律，所以對此題

40、做以下幾種擬合，找到最優(yōu)值.由于多項(xiàng) 式的高次不穩(wěn)定性，所以只做一次、二次、三次以及幕函數(shù)、指數(shù)函數(shù)和對數(shù)函數(shù)的 擬合.模型一：一次函數(shù)擬合由Matlab擬合程序如下%求一次函數(shù)擬合系數(shù)x=1:12 y=8.7,12.8,15.6,20.26,26.7,32.6,37.0,39.8,42.0,44.8,47.5,53.4 polyfit(x,y,1)%運(yùn)行結(jié)果ans =4.05875.3815% 以合后兩圖的對比x=1:12y=8.7,12.8,15.6,20.26,26.7,32.6,37.0,39.8,42.0,44.8,47.5,53.4y0=4.0587*x+5.3815plot(x,

41、y,'b',x,y0,'-r')%求誤差r0波動(dòng)圖及誤差平方d0x=1:12y=8.7,12.8,15.6,20.26,26.7,32.6,37.0,39.8,42.0,44.8,47.5,53.4y0=4.0587*x+5.3815r0=y-y0d0=r0*r0'plot(x,r0)%運(yùn)行結(jié)果r0 =-0.7402 -0.6989 -1.9576 -1.35631.0250 2.86633.20761.94890.0902 -1.1685 -2.5272 -0.6859d0 =38.2920由以上得一次擬合多項(xiàng)式為y0=4.0587x+5.3815做出

42、一次擬合圖形與實(shí)際圖形的比較圖2.5,以及誤差圖2.6.605040302010原人數(shù)y0擬合人數(shù)0 11110246802年份43)2萬(1人0招-1-2-3024681012年份圖2.5 一次函數(shù)比較圖圖2.6 一次函數(shù)誤差圖計(jì)算得一次擬合函數(shù)誤差平方和為d0 38.2920模型二:二次函數(shù)擬合由Matlab擬合如下(程序見附錄C,下同)y仁-0.1098x 2+5.4858x+2.0518做出二次擬合圖形與實(shí)際圖形的比較圖2.7,以及誤差圖2.8.6050，萬數(shù)人生招403020二次擬合函數(shù)原函數(shù)6-年份IT-3年份C-J ，萬數(shù)人生招圖2.7二次函數(shù)比較圖計(jì)算得二次擬合函數(shù)誤差平方和為

43、圖2.8二次函數(shù)誤差圖d1= 22.2100模型三：三次函數(shù)擬合由Matlab擬合如下y2=-0.0085x 3+0.0554x2 +4.5922+3.2079做出三次擬合圖形與實(shí)際圖形的比較圖2.9,以及誤差圖2.10.555045403530252015105-原函數(shù)024年份8101243萬(1 '0 L-1 -2 .10 12圖2.9三次函數(shù)比較圖圖2.10三次函數(shù)誤差圖計(jì)算得三次擬合函數(shù)誤差平方和為d2= 21.3849模型四：幕函數(shù)擬合由Matlab擬合如下y3=7.5454x0.7832做出幕函數(shù)擬合圖形與實(shí)際圖形的比較圖2.11,以及誤差圖2.12.內(nèi)蒙古工業(yè)大學(xué)本科畢

44、業(yè)論文605040302010冪函數(shù)原函數(shù)年份TJ4圖2.12幕函數(shù)誤差圖圖2.11幕函數(shù)比較圖計(jì)算得幕函數(shù)擬合函數(shù)誤差平方和為d3= 26.5155模型五：對數(shù)函數(shù)擬合由Matlab擬合如下y4=0.6433 +18.6840log(x)做出對數(shù)函數(shù)擬合圖形與實(shí)際圖形的比較圖2.13,以及誤差圖2.14.50) 萬(40對數(shù)函數(shù)3020104原函數(shù)影24680 160年份0-210-808-4-6248106年份6)4(212035圖2-14對數(shù)函數(shù)誤差圖圖2-13對數(shù)函數(shù)比較圖計(jì)算得對數(shù)擬合函數(shù)誤差平方和為d4= 200.233模型六:指數(shù)函數(shù)擬合由Matlab擬合如下y5=13.5949

45、e0.1190做出指數(shù)函數(shù)擬合圖形與實(shí)際圖形的比較圖2.15,以及誤差圖2.16.601 " p 161 " p 14)281 一 *萬(0'h指數(shù)函數(shù)人-2F*qV原函數(shù)招-4 1-6 » . . -85040302010) 萬(024681012年份024681012年份圖2-15指數(shù)函數(shù)比較圖圖2-16指數(shù)函數(shù)誤差圖計(jì)算得指數(shù)擬合函數(shù)誤差平方和為內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文d5= 186.497綜合上述六種模型，得到如表2-3表2-3研究生擬合各方案比較誤擬擬擬合的函數(shù)表達(dá)式差合合模型平2020方1112和一次函y0=4.0587x+5.381538.

46、58.62.數(shù)擬合292144203063一次函2y1= -0.1098x +5.4858x+2.051822.54.57.數(shù)擬合210811332002二次函32y2=-0.0085x +0.0554x +4.5922+3.207921.53.55.數(shù)擬合384594033961冪函數(shù)o0.7832y3=7.5454x26.56.59.擬合515250611505對數(shù)函y4=0.6433 +18.6840log(x)20048.49.數(shù)擬合.23566951384指數(shù)函L A O LC0.1190y5=13.5949e18663.71.數(shù)擬合.49860930711經(jīng)過比較，當(dāng)擬合函數(shù)為三次

47、時(shí)，誤差的平方和最小，觀察此函數(shù)，可得出2011年招生人數(shù)為53.5946,2012年招生人數(shù)55.0331.由于本題所給出的實(shí)際數(shù)據(jù)為間斷式的離散型 ，并且所給數(shù)據(jù)極少，這樣,用最 小二乘法就存在不穩(wěn)定性，建議只用擬合函數(shù)預(yù)測2011和2012年.當(dāng)然,最后招生的 人數(shù)也需要根據(jù)國家的政策而定.2.4總結(jié)最小二乘法是一個(gè)重要的方法，在工程技術(shù)中被廣泛應(yīng)用，用其解決實(shí)際問題除了 先要建立正確的模型外，擬合出模型中的參數(shù)也是一個(gè)十分重要的環(huán)節(jié)，如果能較好 地?cái)M合出模型中的參數(shù)，則有利于實(shí)際問題的解決.擬合模型中的參數(shù)，常用的有兩種方法：一是作線性擬合，二是作非線性擬合，作 線性擬合相對說來要容易

48、些，而作非線性擬合要困難一些，一般根據(jù)實(shí)驗(yàn)數(shù)據(jù)直接作 圖后, 觀察圖形,應(yīng)用以往經(jīng)驗(yàn) ,可直接選取合適的函數(shù)空間即可 . 本論文對非線性擬合做了較為詳細(xì)的總結(jié) , 但由于本文作者水平有限 ,還希望大 家給予意見 .參考文獻(xiàn)1 王青建.數(shù)學(xué)史簡編 M. 北京.科學(xué)出版社 .1998.2 丁天彪.數(shù)值計(jì)算方法 M. 河南.黃河水利出版社 ,2003.3 張池平.計(jì)算方法M.北京.科學(xué)出版社，2006.4 張韻華. 數(shù)值計(jì)算方法與算法 M. 北京. 科學(xué)出版社 ,2006.5 徐躍良. 數(shù)值分析 M. 四川. 西南交通大學(xué)出版社 ，2005.6 杜廷松， 沈艷軍， 覃太貴. 數(shù)值分析及實(shí)驗(yàn) M. 北京. 科學(xué)出版社 .2006 年2 月.7 關(guān)治， 陸金甫. 數(shù)值方法 M. 北京. 清華大學(xué)出版社 .2006 年 2月.8 同濟(jì)大學(xué)計(jì)算數(shù)學(xué)教研室 . 數(shù)值分析基礎(chǔ) M. 上海. 同濟(jì)大學(xué)出版 .2005 年