整體最小二乘估計(jì)的深入研究

1、-作者xxxx-日期xxxx整體最小二乘估計(jì)的深入研究【精品文檔】整體最小二乘估計(jì)的深入研究 摘要: 整體最小二乘法是一種較為先進(jìn)的最小二乘法結(jié)構(gòu)，整體最小二乘法認(rèn)為回歸矩陣存在干擾，在計(jì)算最小二乘解時(shí)考慮了這個(gè)因素，而在一般最小二乘法時(shí)沒有考慮該因素的影響。整體最小二乘法應(yīng)用廣泛，得到效果也比較好。本文主要討論了整體最小二乘法的基本原理，給出了整體最小二乘的單位權(quán)中誤差計(jì)算公式以及待估參數(shù)的近似精度評定公式。一、整體最小二乘的基本原理最小二乘法經(jīng)歷了百余年的發(fā)展考驗(yàn)，已經(jīng)成為許多領(lǐng)域數(shù)據(jù)處理廣泛應(yīng)用的方法。測量數(shù)據(jù)的處理方法，通常是指按最小二乘法進(jìn)行測量平差，它是測量數(shù)據(jù)處理中最基本、最廣泛

2、的應(yīng)用方法，尤其是近幾十年來得到了充分的發(fā)展和應(yīng)用。最小二乘平差的基本思想是在最小二乘準(zhǔn)則下進(jìn)行測量數(shù)據(jù)的調(diào)整。 測量平差模型均可歸結(jié)線性方程組 AX = L + 的求解問題。最小二乘準(zhǔn)則要求殘差的范數(shù)平方和極小，它主要是針對觀測值中的偶然誤差的。然而，實(shí)際問題中參數(shù)估計(jì)中的觀測值和系數(shù)陣都可能存在誤差，針對這種更復(fù)雜的情況，20 世紀(jì) 80提出了整體最小二乘法。先介紹整體最小二乘的基本思想：對于線性方程組 Ax = L，普通最小二乘的基本思想是在殘差平方和極小的準(zhǔn)則約束下求解最佳參數(shù)。這里有一個(gè)前提，系數(shù)矩陣 A 是沒有誤差的精確值，但是多數(shù)情況系數(shù)陣 A和觀測向量 L 同時(shí)存在誤差，若同時(shí)

3、考慮二者的誤差，此時(shí)，線性方程組可表示為 ( A +EA) x= L+EL其中A R ， LR m ， xR n ， rank (A ) = n , rank (A ) = n m； m 為觀測值個(gè)數(shù)， n 為待估參數(shù)個(gè)數(shù)，EA為系數(shù)陣的噪聲， EL 為觀測噪聲，誤差矩陣EA EL 屬于相互獨(dú)立的白噪聲誤差。這一模型稱為 EIV（ Errors-in-Variables）模型。解決這類問題的適宜方法是整體最小二乘法（ Total Least Squares, TLS）。對于線性方程組 Ax = L ，整體最小二乘問題就是在以下準(zhǔn)則約束下minA;LRm(n-1)|A L-A L|F L R(A

4、 )尋求 A 、L，任何滿足 Ax=L的 x均稱為線性方程 A x = L的整體最小二乘解。E A-EL= A L-A L 為相應(yīng)整體最小二乘改正數(shù)。式中， |MF|為 Frobenius范數(shù)，簡稱為 F 范數(shù)。整體最小二乘的求解是通過奇異值分解來實(shí)現(xiàn)的。將線性 Ax = L 改寫為 A LxT-1T=0記增廣矩陣 C = A L ，對增廣矩陣 C 進(jìn)行奇異值分解 C=UVT 其中 = diag(1,2,n,n+1) 12nn+10則整體最小二乘解可由增廣矩陣右奇異向量的最后一列Vn+1 得到，即整體最小二乘解為 x=-1Vn+1,n+1V1,n+1Vn,n+1當(dāng) A 為列滿秩時(shí)，整體最小二乘

5、還有另一種解的形式 Xtls= ATA-n+12In-1ATL整體最小二乘的基本思想是同時(shí)考慮設(shè)計(jì)矩陣和觀測向量的誤差，而在許多情況下，設(shè)計(jì)矩陣的某一列或某幾列是常數(shù)，如在直線擬合、曲面擬合、 GPS 非差定位等模型中都存在這種情況。因此，在這種情況下對 A 的不同列就應(yīng)區(qū)別對待，與此相應(yīng)的參數(shù)可分別采用最小二乘法和整體最小二乘法求解，簡稱為混合最小二乘將線性方程 Ax = L 表示為 A1 A2x1x2=L其中m 為觀測值個(gè)數(shù)，n 為待估參數(shù)個(gè)數(shù)，n1 、 n2 分別為 A1 、A2 對應(yīng)的參數(shù)個(gè)數(shù)， A1 的元素為常數(shù)。和整體最小二乘相比混合最小二乘問題就是 minA2;LRm(n2+1)

6、|A2 L-A2 L|F準(zhǔn)則下，尋求A2 L,任何滿足 Ax =A1 x1 +A2 x2= L的x=x1T x2TT均稱為混合最小二乘解。E A2 EL= A2 L-A2 L為相應(yīng)的混合最小二乘改正量。混合最小二乘解的求解基本思路是首先采用 QR 分解法，或者約化的方法將系數(shù)矩陣分為常數(shù)部分和非常數(shù)部分， 后者采用整體最小二乘法求解， 后者采用普通最小二乘法求解。二 、 整體最小二乘求解附有限制條件的間接平差模型依據(jù)整體最小二乘原理的 附有限制條件的間接平差的誤差方程為l+ V = ( B + VB) xCx W = 0 式中 ， l 為 n 1 的觀測值向量; V 為 n 1 的觀測誤差向量

7、; B 為 n m 的系數(shù)矩陣; VB 為 n m 的系數(shù)誤差矩陣; x 為 m 1 的待估參數(shù)向量; C 為 c m 的限制系數(shù)矩陣; W 為 c 1 的向量， 滿足 m c。 該問題依然可以用拉格朗日原理進(jìn)行求解， 根據(jù)整體最小二乘原理， 建立拉格朗日目標(biāo)函數(shù)如下 = VbT Vb + VTV + 2T( l Bx + V VBx) 2T ( W Cx)根據(jù)拉格朗日函數(shù)的必要條件， 分別對 V、 Vb、 、 x 求導(dǎo)， 經(jīng)過轉(zhuǎn)換可得 V+=0 VB xT = 0 l Bx + V VBx= 0 W + Cx = 0 BT + VBT CT= 0 再由上式可得l Bx= V + VBx =

8、(1 + xTx)同時(shí)也可以得到誤差改正數(shù)的計(jì)算公式為V = = ( l Bx) (1 + xTx)-1 VB= xT= ( l Bx) (1 + xTx)-1 xT根據(jù)上式，可得下列關(guān)系k = ( l Bx) T( l Bx) /(1 +xTx) = VbT Vb + VTV令 N = BTB， M = BTl，先將上式左右兩邊都乘以 BT 然后再加上 CT(1 + xTx) ， 聯(lián)立式之前的公式有Nx M + CT(1 + xTx) = (BT CT) (1 +xTx) =VBT(1 + xTx) = xT( l Bx) =x( l Bx)T ( l Bx) /(1 + xTx) = xk

9、最后可推出Nx M + CT1 +xTx=x k Cx W = 0根據(jù)整體最小二乘原理，所求得的最佳估計(jì)參數(shù) x 使得 k 取得最小值。 對于參數(shù)的最優(yōu)估計(jì)也可以采用迭代的方法進(jìn)行。由于 (1 + xTx ) 形式復(fù)雜， 這里構(gòu)建新的參數(shù) t = (1 + xTx) ， k 一般為接近零的較小的值， 則先令 k = 0，得到初始化條件x1t(1)=NCTC0-1MW運(yùn)用下面的式子來進(jìn)行迭代計(jì)算k(i) = (l Bx (i) ) T(l Bx (i) ) /(1 + x (i)T x (i) )xi+1t(i+1)=NCTC0-1M+x (i)k(i)W式中，i1。求得待估參數(shù) x 后，即可求

10、得觀測值的改正數(shù) V 和系數(shù)矩陣的改正數(shù) VB。三、精度評定單位權(quán)中誤差計(jì)算公式為 0=+VbTVb+VTVf式中，f為自由度。無限制條件時(shí)， 單位權(quán)中方差的計(jì)算公式為0=+VbTVb+VTVn-m式中,n 為觀測方程的個(gè)數(shù); m 為待求參數(shù)個(gè)數(shù)。附有限制條件時(shí)， 單位權(quán)中方差的計(jì)算公式為0=+VbTVb+VTVn-m+c式中 ， n 為觀測方程的個(gè)數(shù); m 為待求參數(shù)個(gè)數(shù); c 為限制條件方程個(gè)數(shù)。根據(jù)方差的定義,有 DX = E(X E(X) ) (X E(X) )T測量中的觀測方程為 L = BX + d寫成函數(shù)的形式為 F( L ， B， X ) = 0， 根據(jù)文獻(xiàn)，誤差傳播在隱函數(shù)中

11、,有 dX=XLdL+XBdB由誤差傳播率可得到 X 的中誤差 X = KDKT通過對隱函數(shù)求導(dǎo)提取估計(jì)量對觀測量的線性信息， 然后通過誤差傳播定律估計(jì)出待估參數(shù)的誤差。整體最小二乘求解間接平差模型待估參數(shù)的近似方差計(jì)算公式如下DX 02(N klm)-1 N(N klm)-1 =(n m) -1k(N klm)-1 + k2(N klm) -1四、總結(jié) 整體最小二乘方法自 20 世紀(jì) 90 年代初正式提出以來，已在自動(dòng)控制、信號處理、圖像處理等許多領(lǐng)域取得了成功應(yīng)用，作為一種新的數(shù)據(jù)處理方法是目前的一個(gè)研究熱點(diǎn)之一。在測量數(shù)據(jù)處理中許多情況下系數(shù)矩陣和觀測向量同時(shí)存在誤差，如多元線性回歸、G

12、PS 高程擬合，圖形圖像糾正等學(xué)多情況都適于采用整體最小二乘法處理。運(yùn)用整體最小二乘解算間接平差，增加了理論的嚴(yán)密性， 使得估計(jì)出的參數(shù)是最優(yōu)的，且給出的整體最小二乘的迭代解法， 計(jì)算簡便，易于編程實(shí)現(xiàn)。 實(shí)現(xiàn)了整體最小二乘求解附有限制條件的間接平差，有利于整體最小二乘法在測繪數(shù)據(jù)處理領(lǐng)域中的推廣。 但從目前整體來看， 整體最小二乘方法在測繪領(lǐng)域的應(yīng)用研究還比較片面，只是針對某些工程項(xiàng)目進(jìn)行了應(yīng)用研究的探索， 且整體最小二乘中定權(quán)策略、 待估參數(shù)的精確精度評定及可靠性理論等還有待作進(jìn)一步研究。整體最小二乘的算法研究在理論上已經(jīng)取得了較為豐富的成果，但由于整體最小二乘屬于非線性估計(jì)，模型和算法的復(fù)雜性要遠(yuǎn)高于最小二乘估計(jì)，因此，在應(yīng)用上收到一定的限制，如何進(jìn)一步簡化算法和提高算法的效率是今后整體最小二乘估計(jì)算法的重要目標(biāo)。 參考文獻(xiàn)：1丁克良,歐吉坤,陳義等.整體最小二乘法及其在測量數(shù)據(jù)處理中的應(yīng)用C./中國測繪學(xué)會(huì)第九次全國會(huì)員代表大會(huì)論文集.2009:399-405. 2劉大杰，陶本藻.實(shí)用測量數(shù)據(jù)處理方法M.北京：測繪出版社，2000 3許超鈐, 姚宜斌, 張豹,等. 基于整體最小二乘的參數(shù)估計(jì)新方法及精度評