最小二乘法在誤差分析中的應(yīng)用

1、誤差理論綜述與最小二乘法討論摘要：本文對誤差理論和有關(guān)數(shù)據(jù)處理的方法進(jìn)行綜述。并且針對最小二乘法（LS）的創(chuàng)立、發(fā)展、思想方法等相關(guān)方面進(jìn)行了研究和總結(jié)。同時(shí)，將近年發(fā)展起來的全面最小二乘法(TLS)同傳統(tǒng)最小二乘法進(jìn)行了對比。1. 誤差的有關(guān)概念對科學(xué)而言，各種物理量都需要經(jīng)過測量才能得出結(jié)果。許多物理量的發(fā)現(xiàn)，物理常數(shù)的確定，都是通過精密測量得到的。任何測試結(jié)果，都含有誤差，因此，必須研究，估計(jì)和判斷測量結(jié)果是否可靠，給出正確評定。對測量結(jié)果的分析、研究、判斷，必須采用誤差理論，它是我們客觀分析的有力工具1.1測量基本概念一個(gè)物理量的測量值應(yīng)由數(shù)值和單位兩部分組成。按實(shí)驗(yàn)數(shù)據(jù)處理的方式，測

2、量可分為直接測量、間接測量和組合測量。直接測量:可以用測量儀表直接讀出測量值的測量。間接測量:有些物理量無法直接測得，需要依據(jù)待測物理量與若干直接測量量的函數(shù)關(guān)系求出。組合測量:如有若干個(gè)待求量，把這些待求量用不同方法組合起來進(jìn)行測量，并把測量結(jié)果與待求量之間的函數(shù)關(guān)系列成方程組，用最小二乘法求出這個(gè)待求量的數(shù)值，即為組合測量。1.2誤差基本概念誤差是評定測量精度的尺度，誤差越小表示精度越高。若某物理量的測量值為y，真值為Y，則測量誤差dy=y-Y。雖然真值是客觀存在的，但實(shí)際應(yīng)用時(shí)它一般無從得知。按照誤差的性質(zhì)，可分為隨機(jī)誤差，系統(tǒng)誤差和粗大誤差三類。隨機(jī)誤差: 是同一測量條件下，重復(fù)測量中

3、以不可預(yù)知方式變化的測量誤差分量。系統(tǒng)誤差: 是同一測量條件下，重復(fù)測量中保持恒定或以可預(yù)知方式變化的測量誤差分量。粗大誤差: 指超出在規(guī)定條件下預(yù)期的誤差。1.3等精度測量的隨機(jī)誤差當(dāng)對同一量值進(jìn)行多次等精度的重復(fù)測量，得到一系列的測量值，每個(gè)測量值都含有誤差，這些誤差的出現(xiàn)沒有特定的規(guī)律，但就誤差的總體而言，卻有統(tǒng)計(jì)規(guī)律。 1.3.1正態(tài)分布通過對大量的測量數(shù)據(jù)的觀察，人們發(fā)現(xiàn)測量列的隨機(jī)誤差有以下幾個(gè)特征：（1） 絕對值相等的正誤差與負(fù)誤差出現(xiàn)的次數(shù)相等，即誤差的對稱性；（2） 絕對值小的誤差比絕對值大的誤差出現(xiàn)的次數(shù)多，即誤差的單峰性；（3） 在一定的測量條件下，隨機(jī)誤差的絕對值不會超

4、過一定界限，即誤差的有界性；（4） 隨著測量次數(shù)的增加，隨機(jī)誤差的算術(shù)平均值趨于零，即誤差的抵償性。正態(tài)分布曲線如下圖1-1所示。正態(tài)分布時(shí)區(qū)間(-，+)的面積占總面積的68.27%; (-1.96，+1.96)的面積占總面積的95%;區(qū)間(-2.58，+2.58)的面積占總面積的99%。圖1-1.正態(tài)分布曲線1.3.2 t分布t分布是小樣本分布，小樣本分布一般是指n3，該數(shù)據(jù)為異常數(shù)據(jù)，應(yīng)剔除。萊依特準(zhǔn)則的合理性是顯然的，對服從正態(tài)分布的隨機(jī)誤差，其殘差落在（-3，3）以外的概率僅為0.27%，當(dāng)在有限次測量中發(fā)生的可能性很小，認(rèn)為是不可能發(fā)生的。（2）肖維勒準(zhǔn)則：若對某一物理量等精度重復(fù)測

5、量n次，得測量值，若認(rèn)為為可疑數(shù)據(jù)，若此數(shù)據(jù)的殘差|v|Z，則此數(shù)據(jù)為異常數(shù)，應(yīng)剔除。實(shí)用中Zl，當(dāng)?shù)染葴y量時(shí)，測量數(shù)據(jù)與直接測量量的最佳估值的殘差應(yīng)滿足最小，即：3.4回歸分析回歸分析（Regression Analysis）是英國生物學(xué)家兼統(tǒng)計(jì)學(xué)家高爾頓（Galton）在1889年出版的自然遺傳一書中首先提出，是處理變量之間相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法。由于相關(guān)變量之間不存在確定性關(guān)系，因此，在生產(chǎn)實(shí)踐和科學(xué)實(shí)驗(yàn)所記錄的這些變量的數(shù)據(jù)中，存在不同程度的差異?；貧w分析就是應(yīng)用數(shù)學(xué)方法，對大量觀測數(shù)據(jù)進(jìn)行處理，從而得到比較符合事物內(nèi)部規(guī)律的數(shù)學(xué)表達(dá)式。4.最小二乘法的創(chuàng)立、發(fā)展及其思想最小二乘

6、法是提供“觀測組合”的主要工具之一,它依據(jù)對某事件的大量觀測而獲得“最佳”結(jié)果或“最可能”表現(xiàn)形式。如已知兩變量為線性關(guān)系y=a+bx,對其進(jìn)行n(n2)次觀測而獲得n對數(shù)據(jù)。若將這n對數(shù)據(jù)代入方程求解a,b之值則無確定解。最小二乘法提供了一個(gè)求解方法,其基本思想就是尋找“最接近”這n個(gè)觀測點(diǎn)的直線。最小二乘法不僅是19世紀(jì)最重要的統(tǒng)計(jì)方法,而且還可以稱為數(shù)理統(tǒng)計(jì)學(xué)之靈魂。相關(guān)回歸分析、方差分析和線性模型理論等數(shù)理統(tǒng)計(jì)學(xué)的幾大分支都以最小二乘法為理論基礎(chǔ)。作為其進(jìn)一步發(fā)展或糾正其不足而采取的對策,不少近現(xiàn)代的數(shù)理統(tǒng)計(jì)學(xué)分支也是在最小二乘法基礎(chǔ)上衍生出來的。正如美國統(tǒng)計(jì)學(xué)家斯蒂格勒(S.M. S

7、tigler)所說,“最小二乘法之于數(shù)理統(tǒng)計(jì)學(xué)猶如微積分之于數(shù)學(xué)”。天文學(xué)和測地學(xué)的發(fā)展促進(jìn)了數(shù)理統(tǒng)計(jì)學(xué)及其他相關(guān)科學(xué)的發(fā)展。丹麥統(tǒng)計(jì)史家哈爾德曾指出天文學(xué)在數(shù)理統(tǒng)計(jì)學(xué)發(fā)展中所起的作用?！疤煳膶W(xué)自古代至18世紀(jì)是應(yīng)用數(shù)學(xué)中最發(fā)達(dá)的領(lǐng)域。觀測和數(shù)學(xué)天文學(xué)給出了建立數(shù)學(xué)模型及數(shù)據(jù)擬合的最初例子,在此種意義下,天文學(xué)家就是最初的數(shù)理統(tǒng)計(jì)學(xué)家。天文學(xué)的問題逐漸引導(dǎo)到算術(shù)平均,以及參數(shù)模型中的種種估計(jì)方法,以最小二乘法為頂峰?！边@也說明了最小二乘法的顯著地位。4.1勒讓德創(chuàng)立最小二乘法現(xiàn)行的最小二乘法是勒讓德(A.M.Legendre)于1805年在其著作計(jì)算彗星軌道的新方法中提出的，該書有80頁,包含

8、8頁附錄,最小二乘法就包含在這個(gè)附錄中。勒讓德之所以能做出這個(gè)發(fā)現(xiàn),是因?yàn)樗麤]有因襲前人的想法要設(shè)法構(gòu)造出k個(gè)方程去求解.他認(rèn)識到關(guān)鍵不在于使某一方程嚴(yán)格符合,而在于要使誤差以一種更平衡的方式分配到各個(gè)方程。4.2高斯的正態(tài)誤差理論早在17世紀(jì),伽利略在其名著關(guān)于兩個(gè)世界的對話托雷密與哥白尼(1632)中,就討論了隨機(jī)誤差及其分布的問題。雖然他并未提出這個(gè)名詞,但他提出了隨機(jī)誤差的分布曲線應(yīng)有圖4-1的形狀：1.f關(guān)于0對稱(即f(-)=f(),這表示正負(fù)誤差有同等出現(xiàn)的機(jī)會)；2. f在兩邊單調(diào)地衰減至0,即大誤差出現(xiàn)的機(jī)會較小,很大誤差的機(jī)會幾乎為0。圖4-1. a是誤差大小，f(a)是a

9、這樣的誤差發(fā)生的概率1809年,高斯發(fā)表論著關(guān)于繞日行星運(yùn)動的理論。在該書末尾,他寫了一節(jié)有關(guān)“數(shù)據(jù)結(jié)合”的問題,以極其簡單的手法導(dǎo)出誤差分布正態(tài)分布,并用最小二乘法加以驗(yàn)證。關(guān)于最小二乘法,高斯宣稱自1795年以來他一直使用這個(gè)原理。這立刻引起了勒讓德的強(qiáng)烈反擊,他提醒說科學(xué)發(fā)現(xiàn)的優(yōu)先權(quán)只能以出版物確定?，F(xiàn)在一般認(rèn)為,二人各自獨(dú)立地發(fā)明了最小二乘法,盡管早在10年前,高斯就使用這個(gè)原理,但第一個(gè)用文字形式發(fā)表的是勒讓德。高斯較之于勒讓德把最小二乘法推進(jìn)得更遠(yuǎn),他由誤差函數(shù)推導(dǎo)出這個(gè)方法并詳盡闡述了最小二乘法的理論依據(jù)。其推導(dǎo)過程如下:設(shè)誤差密度函數(shù)為f(x),真值為x，n個(gè)獨(dú)立測定值為x1,

10、x2,xn。由于觀測是相互獨(dú)立的,因而這些誤差出現(xiàn)的概率為：（1）要找出最有希望的誤差函數(shù)應(yīng)使L(x)達(dá)極大,高斯認(rèn)為就是x的估計(jì)值,并使L(x)取得極大值。對 (1) 式兩端取對數(shù)得： （2）再對(2)式求導(dǎo)：，記，則有上式求對偏導(dǎo)數(shù)，而有，對于任意i有（c為常數(shù)），可得，因可以推出b=0，則有，積分可得，由，應(yīng)有c0,取，可得，則有，此即為正態(tài)分布。這樣可知，的誤差密度函數(shù)為：要此式達(dá)到極大值，必選取之值而使表達(dá)式達(dá)極小值，于是可得的最小二乘估計(jì)法。綜上可知,勒讓德和高斯發(fā)現(xiàn)最小二乘法是從不同的角度入手的:一個(gè)是為解線性方程組,一個(gè)是尋找誤差函數(shù);一個(gè)用的是整體思維,考慮方程組的均衡性,一

11、個(gè)用的是逆向思維,首先接受經(jīng)驗(yàn)事實(shí);一個(gè)是純代數(shù)方法,一個(gè)致力于應(yīng)用。相比而言,高斯不愧為數(shù)學(xué)王子,他把最小二乘法推進(jìn)得更遠(yuǎn)、更深刻,這極大地推進(jìn)了數(shù)理統(tǒng)計(jì)學(xué)的發(fā)展。5.全面最小二乘法（TLS）與最小二乘法對比研究傳統(tǒng)的平差問題都是采用最小二乘法來解決的。對非線性函數(shù)模型線性化的習(xí)慣作法是,將非線性函數(shù)模型按泰勒級數(shù)展開,保留一次項(xiàng),略去二次及二次以上的高次項(xiàng)。它是建立在觀測值和未知數(shù)近似值與觀測值的真值和未知數(shù)的真值都充分接近的基礎(chǔ)上的。如果該條件不滿足,線性化必然會影響到線性函數(shù)模型的真實(shí)性,從而影響平差質(zhì)量。全面最小二乘法(TLS)是上世紀(jì)70年代發(fā)展起來的一種新的數(shù)據(jù)處理方法,已經(jīng)廣泛

12、地應(yīng)用于聲學(xué)、自動控制、系統(tǒng)識別、信號處理等各個(gè)學(xué)科。該方法從一個(gè)新的角度來研究線性矛盾方程組,全面考慮了觀測向量與系數(shù)矩陣中的誤差,更符合實(shí)際情況。5.1全面最小二乘法原理無論是直接使用廣義逆陣A+還是使用A的奇異值分解（SVD）求解最小二乘問題,它們都是求x使之滿足：（1）及。其中為范數(shù)，定義為：，且矩陣A的值域定義為。因此,最小二乘問題等同于用一個(gè)最小的e去擾動b以便b+e可以用A的各列來預(yù)測?；蛘哒f,一般最小二乘問題只考慮了觀測向量b的擾動,而沒有考慮系數(shù)矩陣A的擾動。顯然,更合理的方法是同時(shí)考慮b和A二者的擾動。這就是全面最小二乘(TLS)的基本思想。換句話說,在TLS問題中,我們考

13、慮矩陣方程：（2）的求解。（2）式可以變換為（3a）或（3b）其中這樣一來,對齊次方程(3)的全面最小二乘解可以簡單表示為:求一個(gè)解向量z使得：（4）式中，F(xiàn)robenius范數(shù)（5）。5.2 TLS與LS在數(shù)據(jù)處理方法對比研究5.2.1設(shè)計(jì)平差網(wǎng)形,給出已知條件設(shè)計(jì)一平差網(wǎng)形如圖5-1,已知A, B, C, D, P1, P2,P3,P4, 4點(diǎn)的坐標(biāo),坐標(biāo)如下表5-2。圖5-1.平差網(wǎng)形表5-2.已知點(diǎn)的真實(shí)坐標(biāo)根據(jù)已知點(diǎn)坐標(biāo)求出各個(gè)邊長的真實(shí)長度,分別為:L1=5760.7132m， L2=5187.3387m， L3=7838.8726m， L4=5483.1580m， L5=5731

14、. 8220m， L6=8720.1288m， L7=5598.6018m， L8=7494.8989m， L9=7493.2662m， L10=5438.4036m， L11=5487.0595m， L12=8884.5594m， L13=7228.3699m。5.2.2設(shè)計(jì)兩種方案把P1，P2，P3，P4點(diǎn)作為待定點(diǎn),對以上網(wǎng)形進(jìn)行同精度觀測,為了便于比較設(shè)計(jì)2組觀測值,方案1為觀測值與真實(shí)值相差不大的情況,即待定點(diǎn)坐標(biāo)與真實(shí)坐標(biāo)相差不大的情況,此時(shí)系數(shù)矩陣誤差不大;方案2為觀測值與真實(shí)值相差較大的情況,即待定點(diǎn)坐標(biāo)與真實(shí)坐標(biāo)相差較大,此時(shí)系數(shù)矩陣誤差較大的情況,2種方案觀測值如下:方案1

15、:同精度測得如圖1中的13個(gè)邊長,其結(jié)果為L1=5760.706m， L2=5187. 342m，L3=7838.880m，L4=5483.158m，L5=5731.788m，L6=8720.162m，L7=5598.570m，L8=7494.881m，L9=7493.323m，L10=5438.382m，L11=5487.073m，L12=8884.587m，L13=7228.367m。方案2：同精度測得如圖1中的13個(gè)邊長，其結(jié)果為L1=5761.706m，L2=5186.342m，L3=7837. 880m，L4=5484.158m，L5=5730.788m，L6=8721.162 m，

16、L7=5597.570m，L8=7493.881m，L9=7492.323m，L10=5437.382m，L11=5488.073m，L12=8883.587m，L13=7229.367m。5.3精度比較與分析表5-3為以上兩節(jié)獲得的數(shù)據(jù)，以及真實(shí)坐標(biāo)與經(jīng)平差以后的坐標(biāo)值的比較：圖5-3. 兩種數(shù)據(jù)處理方法平差結(jié)果(單位/m)由上表可以看出：(1)最小二乘法處理方案1的數(shù)據(jù)精度可以達(dá)到0.1mm，而處理方案2的數(shù)據(jù)精度的只能達(dá)到1 mm。如果方案2中觀測值誤差更大一點(diǎn)，結(jié)果誤差可能會更大。由此可見：最小二乘在處理非線性函數(shù)模型平差的時(shí)候，適用于待定點(diǎn)近似坐標(biāo)與真實(shí)坐標(biāo)相差很小的情況，相差較大的時(shí)候，由于最小二乘沒有考慮系數(shù)矩陣的誤差導(dǎo)致精度不高，數(shù)據(jù)可靠性不高。(2)全面最小二乘處理方案1和方案2數(shù)據(jù)精度都可以達(dá)到0.1mm甚至更高。由此可見：全面最小二乘在處理非線性函數(shù)模型平差的時(shí)候，由于考慮了系數(shù)矩陣的誤差，所以對于兩種方案都能達(dá)到要求，平差出來的數(shù)據(jù)符合要求，數(shù)據(jù)可靠性有保障。5.3結(jié)論最小二乘在處理非線性函數(shù)模型平差時(shí),僅僅適用于待定點(diǎn)近似坐標(biāo)與真實(shí)坐標(biāo)相差不大的情況,即觀測值誤差不是很大的情況下,反之,則數(shù)據(jù)可靠性可能受到影響,要進(jìn)行多次平差來驗(yàn)證。而采用全面最小二乘法則可以兼顧系數(shù)矩陣和觀測值兩者的誤差,數(shù)據(jù)精度符合要求,可