第3章曲線擬合的最小二乘法

1、數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS第3章 曲線擬合的最小二乘法 給出一組離散點(diǎn)，確定一個(gè)函數(shù)逼近原函數(shù)，插值是這樣的一種手段。在實(shí)際中，數(shù)據(jù)不可避免的會(huì)有誤差，插值函數(shù)會(huì)將這些誤差也包括在內(nèi)。 因此，我們需要一種新的逼近原函數(shù)的手段：不要求過(guò)所有的點(diǎn)（可以消除誤差影響）；盡可能表現(xiàn)數(shù)據(jù)的趨勢(shì)，靠近這些點(diǎn)。數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS 有時(shí)候，問(wèn)題本身不要求構(gòu)造

2、的函數(shù)過(guò)所有的點(diǎn)。如：5個(gè)風(fēng)景點(diǎn)，要修一條公路S使得S為直線，且到所有風(fēng)景點(diǎn)的距離和最小。先講些預(yù)備知識(shí) 對(duì)如上2類問(wèn)題，有一個(gè)共同的數(shù)學(xué)提法：找函數(shù)空間上的函數(shù)g，使得g到f的距離最小。數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS向量范數(shù)向量范數(shù)映射：滿足：0: RRn非負(fù)性00, 0XXX且齊次性XaaXRa,三角不等式Y(jié)XYX稱該映射為向量的一種范數(shù)范數(shù)預(yù)備知識(shí)定義定義數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTME

3、NT OF MATHEMATICS常見(jiàn)的范數(shù)有：nniixxxXxX,21122nixxxXxX,max21nniixxxXxX,2111定理（范數(shù)等價(jià)性）：設(shè) pqxx和為任意兩種范數(shù)，則存在與x無(wú)關(guān)的正常數(shù)c1和c2，使得12,qpqc xxcxx數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS常用范數(shù)的等價(jià)關(guān)系：212xxn x2xxn x1xxn x我們定義兩點(diǎn)的距離距離為：YX 數(shù) 學(xué) 系University of Science and Technology of ChinaDEP

4、ARTMENT OF MATHEMATICS定義：函數(shù) f 的離散范數(shù)離散范數(shù)為niiiDxfxff0)()(提示：該種范數(shù)的定義與向量的 2 范數(shù)一致我們還可以定義函數(shù)的離散范數(shù)為：01010110(),(),()max(),(),()(),(),()( )nnDnniDiff xf xf xf xf xf xff xf xf xf x數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS),(),(fggf特性：),(),(),(22112211gfgfgff定義：函數(shù)f，g的關(guān)于離散點(diǎn)列 ni

5、ix0的離散內(nèi)積離散內(nèi)積為：niiiDxgxfgf0)()(),(),(2fffD數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSf(x)為定義在區(qū)間a,b上的函數(shù)， 為區(qū)間上n+1個(gè)互不相同的點(diǎn)， 為給定的某一函數(shù)類。求 上的函數(shù) g(x) 滿足 f(x) 和 g(x) 的距離最小 0niix如果這種距離取為2范數(shù)的話，稱為最小二乘問(wèn)題曲線擬合的最小二乘問(wèn)題定義定義數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF

6、MATHEMATICS下面我們來(lái)看看最小二乘問(wèn)題：求 使得 最小)(xgniiixfxgR022)()(設(shè)01,mspan 00( )( )( )mmg xaxax00( )( )( )mmDfxaxaxDDxfxxfxg)()(min)()(最小則即關(guān)于系數(shù)01,maaa數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS20020020020,001 ( )( )( )2(,( )( ) ( )( )2,(,)mmDmmDDmmDmmkkikikDki kmfxaxaxff axaxaxaxf

7、afa aQ aaa由于它關(guān)于系數(shù)01,maaa最小，因此有：0,0,iQima即0(,)(,),0,mkikikafim 數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS寫成矩陣形式有：00010001011101,mDDDDmDDDmmDmmmmDDDafaf 法方程法方程由01,m的線性無(wú)關(guān)性，知道該方程存在唯一解數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSbxay DDDDDDxf

8、fbaxxxx,1 ,1 , 11 , 1第一步：函數(shù)空間的基x, 1，然后列出法方程baxy2 DDDDDDfxfbaxxxx1 ,1 , 1, 1, 1,22222第一步：函數(shù)空間的基1 ,2x，然后列出法方程例：數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSbaxy23703456334558.3ab 3212414.38.34.78.322.7xy第一步：函數(shù)空間的基1 ,2x，然后列出法方程22222,1,11,1,1DDDDDDxxxf xabfx0.8327167.49691a

9、b 數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSbxaey 由bxay lnln，可以先做bxay*bxayeeey*3212414.38.34.78.322.7ln2.660262.116261.547562.116263.12236xyy1,11,1,1,DDDDDDxfaxx xf xb 5011.56270342.9611ab 2.312540.0870912ab 數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMEN

10、T OF MATHEMATICS求解一個(gè)矛盾方程組，計(jì)算的是在均方誤差22minbAX 極小意義下的解也就是最小二乘問(wèn)題。我們有：矛盾方程組恒有解，且2222minbAYbAXbAAXAnRYTT矛盾方程組的求解數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS定義：矩陣范數(shù)矩陣范數(shù)AxxAxAxRxxRxnn1,0,supsup矩陣范數(shù)，是由向量的范數(shù)定義的矩陣范數(shù)和條件數(shù)矩陣范數(shù)和條件數(shù)矩陣范數(shù)也是等價(jià)的數(shù) 學(xué) 系University of Science and Technology of

11、 ChinaDEPARTMENT OF MATHEMATICS對(duì)應(yīng)于3種常見(jiàn)的向量范數(shù)，有3種矩陣范數(shù)niijnjaA111max列和的最大值njijniaA11max行和的最大值)(2AAAT矩陣范數(shù)的一些性質(zhì)：00,&,0AAARAA,nRBABABA, , nRBABAAB, , nRxxAAx,定義：譜半徑譜半徑rnrA1max)(數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS定理：若為A的特征值，則A證：xAxxAxxAxAxxxxAAx為A的特征值#證畢易知：AA )(數(shù)

12、 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS條件數(shù)和病態(tài)矩陣條件數(shù)和病態(tài)矩陣定義：條件數(shù)pppAAACond1)(p 表示某種范數(shù)設(shè)bAx ，A引入誤差 后A，解引入誤差x，則bxxAA)( ()A xxbAxAxAx 1()xAAxx ( )xACond AxxA條件數(shù)表示了對(duì)誤差的放大率數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS類似有bbAAxxbxAbbxxA1)( 可以證明(

13、)xbACond AxbA數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS注：注：一般判斷矩陣是否病態(tài)，并不計(jì)算一般判斷矩陣是否病態(tài)，并不計(jì)算A 1，而由經(jīng)驗(yàn)得，而由經(jīng)驗(yàn)得出。出。 行列式很大或很小（如某些行、列近似相關(guān)）；行列式很大或很?。ㄈ缒承┬?、列近似相關(guān)）； 元素間相差大數(shù)量級(jí)，且無(wú)規(guī)則；元素間相差大數(shù)量級(jí)，且無(wú)規(guī)則； 主元消去過(guò)程中出現(xiàn)小主元；主元消去過(guò)程中出現(xiàn)小主元； 特征值相差大數(shù)量級(jí)。特征值相差大數(shù)量級(jí)。精確解精確解為為.11 x例例 97.199.1,98.099.099.0

14、1bA計(jì)算計(jì)算cond (A)2 。 10000990099009800A 1 = 數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS解：解：考察考察 A 的特征根的特征根 0)det(AI 000050504. 0980050504. 121 212)( Acond 39206 1 測(cè)試病態(tài)程度：測(cè)試病態(tài)程度：給一個(gè)擾動(dòng)給一個(gè)擾動(dòng)b 3410106.01097.0b ，其相對(duì)誤差為，其相對(duì)誤差為%01.010513.0|422 bb 此時(shí)此時(shí)精確解精確解為為 0203. 13*x 0203.22*xxx 22|xx 2.0102 200%為對(duì)稱矩陣數(shù) 學(xué) 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSHomework對(duì)數(shù)據(jù)點(diǎn)110,1,.,65nnxn估計(jì)如下兩組基函數(shù)的法