整體最小二乘法及其在測量數(shù)據處理中的應用

1、 整體最小二乘法及其在測量數(shù)據處理中的應用丁克良 ，歐吉坤 ，陳義21北京建筑工程學院 測繪與城市空間信息學院；2中國科學院測量與地球物理研究所123 同濟大學 測量與國土信息工程系Ding Ke-liang,OU Ji-kun，Chen yi(1Beijing Institute of Civil Engineering And Architecture, School of Geomatics andurban information, 1000442 Institute of Geodesy and Geophysics, Chinese Academy ofSciences, Wuha

2、n, 4300773. Department of Surveying and Geo-Informatics , Tongji University , Shanghai 200092 , China)摘要在參數(shù)求解中，針對參數(shù)估計模型的觀測向量和系數(shù)矩陣都可能存在誤差情況，20 世紀80年代提出了整體最小二乘方法。本文系統(tǒng)闡述了整體最小二乘基本原理、思想，基于奇異值分解原理詳細闡述了整體最小二乘的解算方法。在對普通最小二乘和整體最小二乘深入比較的基礎上提出要注意整體最小二乘應用條件問題。關鍵詞：普通最小二乘，整體最小二乘，奇異值分解；測量數(shù)據處理Abstract: For paramete

3、r solution, the total least square (TLS) method was proposed in early 80sof twenty century as to deal with some estimation models that both the observation and designmatrix are subject to errors. The basic concept of TLS, principle of computational algorithms forTLS based on the singular value decom

4、position theory are described systematically in this paper.The applicability and limitation of TLS in surveying data process are proposed based oncomparisons and analyses between the ordinary least squares and the total least squares.Key words: ordinary least squares; total least squares; singular d

5、ecomposition; surveying dataprocess1緒論最小二乘法經歷了百余年的發(fā)展考驗，已經成為許多領域數(shù)據處理廣泛應用的方法。測量數(shù)據的處理方法，通常是指按最小二乘法進行測量平差，它是測量數(shù)據處理中最基本、最1廣泛的應用方法 ，尤其是近幾十年來得到了充分的發(fā)展和應用。最小二乘平差的基本思想是在最小二乘準則下進行測量數(shù)據的調整。測量平差模型均可歸結線性方程組 AX = L+ 的求解問題。最小二乘準則要求殘差的范數(shù)平方和極小，它主要是針對觀測值中的偶然誤差的。然而，實際問題中參數(shù)估計中的觀測值和系數(shù)陣都可能存在誤差，針對這種更復雜的情況，20世紀 80年代提出了整體最小二乘

6、法。盡管最初的稱呼不同，總體最小二乘實際上已有相當長時間了。整體最小二乘的基本思想可以追溯到 19 世紀，較早的文獻諸如 Adcock2（1878）、Pearson（1901）、Linnik（1961）、Williamson（1968）、York（1966） 。當時考399 慮的是 A和 L同時存在誤差時，矩陣方程 Ax = L的近似求解方法，但是，直到 1980年 Golub和 Van Loan才從數(shù)值分析的觀點首次對這種方法進行了整體分析，并正式稱之為整體最小3二乘（Golub，Van Loan，1980） 。Van Huffel和 Vandewalle深入了研究整體最小二乘問題4,5,6

7、。此后，整體最小二乘作為一種新的數(shù)據處理方法已成為一個研究熱點，諸多學者對其進行了廣泛研究6,7,8,9,10,11。目前、該方法已經成功應用于譜分析、參數(shù)估計、自動控制、圖像處理、系統(tǒng)辨識、信號處理等相關領域。本文首先詳細闡述了整體最小二乘的基本理論、思想、解算方法；結合系數(shù)矩陣和觀測向量對參數(shù)求解的影響，提出了整體最小二乘應用條件問題，對其應用前景進行了討論。2整體最小二乘基本理論2.1 整體最小二乘基本思想對于線性方程組 Ax = L，普通最小二乘的基本思想是在殘差平方和極小的準則約束下求解最佳參數(shù)。這里有一個前提，系數(shù)矩陣 A是沒有誤差的精確值，但是多數(shù)情況系數(shù)陣 A和觀測向量 L同時

8、存在誤差，若同時考慮二者的誤差，此時，線性方程組可表示為3(A+ E )x = L+ ELA（2.1）其中A Rmn ， L Rmx Rn， rank(A) = n , rank(A) = n m； m為觀測值個，數(shù)，n為待估參數(shù)個數(shù)， E 為系數(shù)陣的噪聲， E 為觀測噪聲，誤差矩陣E E 屬于相ALAL4互獨立的白噪聲誤差。這一模型稱為 EIV（Errors-in-Variables）模型 。解決這類問題的適宜方法是整體最小二乘法（Total Least Squares, TLS） 。對于線性方程組 Ax = L，整體最小二乘問題就是在以下準則約束下2,33,4,5min A LA L F（

9、2.2） m(n+1)A;LRL R(A)尋求 A、 L，任何滿足A x = L（2.3）的 x均稱為線性方程 Ax = L 的整體最小二乘解。EA E = A LA L為相應整體最小二乘改正數(shù)。式中， M 為 FrobeniusLF范數(shù)，簡稱為 F范數(shù)。2.2整體最小二乘基本算法整體最小二乘的求解是通過奇異值分解來實現(xiàn)的。將線性 Ax = L改寫為TA L xT 1 = 0（2.4） 400 記增廣矩陣C =A L，對增廣矩陣 C進行奇異值分解C =U VT其中 = diag( ),n n+1（2.5）12 n+1 012n則整體最小二乘解可由增廣矩陣右奇異向量的最后一列 v 得到，即整體最

10、小二乘解為3n+11,vn,n+1T1,n+1（2.6）x = vvn+1,n+1當 A為列滿秩時，整體最小二乘還有另一種解的形式3,4,5,6xtls = A A 2(TI )1A LnT（2.7）n+12.3混合最小二乘法整體最小二乘的基本思想是同時考慮設計矩陣和觀測向量的誤差，而在許多情況下，設計矩陣的某一列或某幾列是常數(shù)，如在直線擬合、曲面擬合、 GPS 非差定位等模型中都存在這種情況。因此，在這種情況下對 A 的不同列就應區(qū)別對待，與此相應的參數(shù)可分別采用最小二乘法和整體最小二乘法求解，簡稱為混合最小二乘4將線性方程 Ax = L表示為x = L 1A1 A2（2.10）x2其中A

11、=A1 A ，2A R1mn1，A Rmn22T ， x Rn1 ， x Rn2 ， n = n + n2x = x1TT2x121m為觀測值個數(shù)，n為待估參數(shù)個數(shù)，n 、n 分別為 A 、 A 對應的參數(shù)個數(shù)， A 的元素12121為常數(shù)。和整體最小二乘相比混合最小二乘問題就是在L A LminA2（2.11）2 m(n2+1)A L RF2 準則下，尋求 A L ，任何滿足2Ax = A x + A x = L1122401 =A2 L A E L 為相應的混 L 2的 x = x1TxT2T均稱為混合最小二乘解。 EA2合最小二乘改正量。4混合最小二乘解的求解基本思路是首先采用 QR分解

12、法 ，或者約化的方法將系數(shù)矩陣分為常數(shù)部分和非常數(shù)部分，后者采用整體最小二乘法求解，后者采用普通最小二乘法求解。3整體最小二乘普通最小二乘的比較整體最小二乘和普通最小二乘的區(qū)別在與同時考慮觀測向量和系數(shù)矩陣的誤差，參數(shù)求解通過增廣矩陣奇異值分解來實現(xiàn)，可以說整體最小二乘是普通最小二乘的進一步發(fā)展；混合最小二乘是一種更廣泛的形式，為便于說明問題，表 3.1給出了整體最小二乘、普通最小二乘和混合最小二乘的算法比較。表 1普通最小二乘、整體最小二乘和混合最小二乘的比較項目數(shù)學模型誤差條件約束準則LSTLSLS-TLS(A+ E )x = L+ ELA + A + E2x()x2 = LAx = L+

13、VA11A2A無誤差、L含誤差A、 L均含有誤差A1A2L、 均含有誤差，無誤差，min EA EL 22min Ax L 2A2 L ALminF x 12 A L R (n2+ m1)xF2參數(shù)解1000 A LT x x = (ATA)1ATLxtls = (ATA2n+1In)1ATL1= ATA2n2 +1 lsInx 224算例分析拋開線性方程的具體意義，給定精確系數(shù)矩陣 A 和參數(shù) X ，直接由方程 L =A X 模擬0000 0觀測向量的精確值 L 。系數(shù)矩陣和觀測向量的精確值為0402 1 1 1 0.711.54 0.41 229A = ，L = ， X = 1.251 3

14、2.090002.360.141 4 122.35構造增廣矩陣C = A0 L ， (A )、 (C )，(i =1,2,3 j =1,4)分別表示矩00i0j0陣 A 、C 的奇異值。然后分別對系數(shù)矩陣、觀測向量各元素模擬正態(tài)分布隨機誤差。模擬00誤差的情況分為僅觀測向量受到隨機誤差的影響、僅系數(shù)矩陣受到隨機誤差的影響、系數(shù)矩陣及觀測向量都受到誤差的影響等三種情況。A和 L分別為施加隨機誤差之后的系數(shù)陣和觀測向量。為便于和混合最小二乘比較，系數(shù)矩陣的第一列元素均為精確值常數(shù) 1，僅對系數(shù)陣的第 2、第 3列施加隨機誤差。分別對各種情況采用普通最小二乘、經典整體最小二乘、混合最小二乘計算。表

15、1中，A 、 A 分別表示系數(shù)矩陣及其整體最小二乘改正量的 F范數(shù)， C 、 C 為相應增FFFF廣矩陣的 F范數(shù)。矩陣范數(shù)比值 A / A 、 C / C 可以從一個側面反映系數(shù)陣誤差FFFF對參數(shù)求解結果的影響。由計算結果可知，對于精確的線性方程 L =A X ，增廣矩陣最小奇異值為零，普通最00 0小二乘、整體最小二乘、混合最小二乘解完全一致。在觀測向量施加隨機誤差之后，前述三種解法的參數(shù)解雖然接近，但是已有所差別。受觀測向量誤差的影響，增廣矩陣的最小奇異值由零增大為 0.096313，由式（2.7）可知，由于2n+1In的影響導致普通最小二乘，整體最小二乘的參數(shù)解產生差異。這里，系數(shù)矩

16、陣不受誤差影響，采用最小二乘法處理比較合理，從計算結果來看，普通最小二乘解更接近參數(shù)的真實值。僅當系數(shù)陣受到誤差影響時，從計算結果看，三種解法差別較大，系數(shù)矩陣的誤差對參數(shù)求解影響較大。僅系數(shù)矩陣受誤差的影響，這種情況最不適合用普通最小二乘法處理，從計算結果來看，采用整體最小二乘法效果相對較好。第三種情況，系數(shù)矩陣、觀測向量均受到隨機誤差的影響。這種情況適于整體最小二乘法處理，注意到系數(shù)矩陣的第一列為精確值，不受誤差影響，因此采用混合最小二乘法求解比較合理。比較而言，普通最下二乘解的結果偏離真實值相對較遠。從 A / A 、 C / C 范數(shù)的比值來看，系數(shù)矩陣、觀測向量的誤差越大，比FFFF

17、值越大。而普通最小二乘解偏離真實值越來越遠，整體最小二乘解的結果要相對好一些。但誤差較小時，矩陣的擾動量小，增廣矩陣的最小奇異值較小，三種方法的解算結果接近。在參數(shù)的求解中，我們一般采用普通最小二乘法，當系數(shù)矩陣誤差對參數(shù)影響較小時，這種情況比較合理。但是，當系數(shù)矩陣誤差較大時，矩陣的擾動對參數(shù)求解影響較大，就要顧及系數(shù)矩陣對參數(shù)求解的影響，這種情況采用整體最二乘法可望獲得較好的結果。但是，應該看到，整體最小二乘、普通最小二乘算法的區(qū)別在于引入增廣矩陣最小奇異值，系數(shù)矩陣、觀測向量誤差對增廣矩陣最小奇異值的大小都有影響，但是二者對奇異值的大小的影響是不同的。當系數(shù)矩陣的擾動對增廣矩陣最小奇異值

18、大小貢獻較大時，采用整體最小二乘法比較合理，如表中第三種情況；當系數(shù)矩陣的擾動對增廣矩陣最小奇異403 值影響較小，或者系數(shù)矩陣的誤差較小，而觀測向量的誤差對增廣矩陣最小奇異值影響較大時，如表中第一種情況，就應當采用普通最小二乘法處理，采用整體最小二乘法反而與實際情況不符。表中顯示，在僅觀測向量受到誤差影響時，最小奇異值大小為 0.096313，僅系數(shù)矩陣受到誤差影響時最小奇異值大小為 0.17439，二者的綜合影響為 0.24816。說明本例中，系數(shù)矩陣的擾動對奇異值的大小影響比較顯著，在這種情況下，就應該顧及系數(shù)矩陣的誤差，適于采用整體最小二乘處理合理。表 1 系數(shù)陣和觀測向量誤差對參數(shù)求

19、解的影響受誤差的影響情況系數(shù)陣、增廣矩陣奇異值參數(shù)解精確線性方程A0L00 (A0)32.156 (C0)32.3962.7517XlsXtlsXctls-0.401.25系數(shù)陣觀測向量-0.401.25-0.14-0.401.25A / A2.1977FFFC / C00.374380.491470-0.14-0.14F一A0 (A0)32.1562.1977 (C1)32.3952.6301XlsXtlsXctls-0.44061.1648系數(shù)陣僅觀測向量受到誤差的影響觀測向量L-0.401321.133-0.457421.1766A / A0.00235FFFC / C0.002960.

20、374380.493950.096313 (C2)-0.11323-0.12011-0.1183F二 (A)32.0192.28930.39402XlsXtlsXctlsA系數(shù)陣僅系數(shù)矩陣受到誤差的影響-0.41523L032.2592.8324-0.252251.0789-0.36411.1649-0.1171觀測向量1.1992A / A0.004270.00538FFF-0.12191C / C0.490840.17439 (C3)32.258-0.10395F三 (A)32.0192.2893XlsXtls-0.550491.183Xctls-0.40491.0846AL系數(shù)陣系數(shù)矩陣

21、觀測向量都有誤差觀測向量-0.18760.91741A / A0.006142.7099FFFC / C0.007660.394020.489680.24816-0.07138-0.11084-0.0968F表中 Xls、Xtls、Xctls分別表示普通最小二乘、整體最小二乘和混合最小二乘的參數(shù)求解結果404 5結論整體最小二乘方法自 20世紀 90年代初正式提出以來，已在自動控制、信號處理、圖像處理等許多領域取得了成功應用，作為一種新的數(shù)據處理方法是目前的一個研究熱點之一。在測量數(shù)據處理中許多情況下系數(shù)矩陣和觀測向量同時存在誤差，如多元線性回歸、GPS 高程擬合，圖形圖像糾正等學多情況都適于

22、采用整體最小二乘法處理。本文系統(tǒng)介紹了整體最小二乘的思想、解算方法；并與普通最小二乘法進行了比較分析。整體最小二乘的求解通過奇異值分解實現(xiàn)，通過分析系數(shù)矩陣和觀測向量的誤差對奇異值大小的影響，本文通過對整體最小二乘的誤差特性分析，提出了要注意整體最小二乘應條件的建議。從參數(shù)估計的角度講，只有在系數(shù)矩陣誤差對最小奇異值的大小影響顯著時，整體最小二乘法效果才比較明顯；當系數(shù)矩陣的誤差對最小奇異值的影響較小時，或則系數(shù)矩陣比較精確時，就不適于采用整體最小二乘法。在本文的算例中系數(shù)矩陣、觀測向量的誤差服從正態(tài)分布且等權獨立的白噪聲誤差，實際環(huán)境中，誤差分布比較復雜，對系數(shù)矩陣、觀測向量影響及對參數(shù)求解影響更加復雜。在測量數(shù)據處理中，如何結合實際測量數(shù)據特點，判斷系數(shù)矩陣誤差、觀測向量誤差對參數(shù)求解的影響以及影響程度，整體最小二乘精度評定方法等都是值得探討的問題。參考文獻1. 劉大杰，陶本藻.實用測量數(shù)據處