各類最小二乘法比較

1、最小二乘法（LS） 最小二乘是一種最基本的辨識方法，最小二乘法可以用于線性系統(tǒng)，也可以用于非線性系統(tǒng)；可用于離線估計和在線估計。在隨機情況下，利用最小二乘法時，并不要求觀測數(shù)據(jù)提供其概率統(tǒng)計方法的信息，而其估計結(jié)果，卻有相當(dāng)好的統(tǒng)計特性。但它具有兩方面的缺陷：一是當(dāng)模型噪聲是有色噪聲時，最小二乘估計不是無偏、一致估計；二是隨著數(shù)據(jù)的增長，將出現(xiàn)所謂的“數(shù)據(jù)飽和”現(xiàn)象。針對這兩個問題，出現(xiàn)了相應(yīng)的辨識算法，如遺忘因子法、限定記憶法、偏差補償法、增廣最小二乘、廣義最小二乘、輔助變量法、二步法及多級最小二乘法等。廣義最小二乘法（GLS） 廣義最小二乘法的基本思想在于引入一個所謂成形濾波器（白化濾波器

2、），把相關(guān)噪聲轉(zhuǎn)化成白噪聲。優(yōu)：能夠克服當(dāng)存在有色噪聲干擾時，基本最小二乘估計的有偏性，估計效果較好，在實際中得到較好的應(yīng)用。缺：1、計算量大，每個循環(huán)要調(diào)用兩次最小二乘法及一次數(shù)據(jù)濾波，2、求差分方程的參數(shù)估值，是一個非線性最優(yōu)化問題，不一定總能保證算法對最優(yōu)解的收斂性。廣義最小二乘法本質(zhì)上是一種逐次逼近法。對于循環(huán)程序的收斂性還沒有給出證明。3、GLS算法的最小二乘指標(biāo)函數(shù)J中可能存在一個以上局部極小值，（特別在信噪比不大時，J可能是多舉的）。GLS方法的估計結(jié)果往往取決于所選用參數(shù)的初始估值。參數(shù)估計初值應(yīng)選得盡量接近優(yōu)參數(shù)。在沒有驗前信息的情況下，最小二乘估值被認(rèn)為是最好的初始條件。4

3、、廣義最小二乘法的收斂速度不是很高。遞推最小二乘法（RLS）優(yōu)點：1、無需存儲全部數(shù)據(jù)，取得一組觀測數(shù)據(jù)便可估計一次參數(shù)，而且都能在一個采樣周期中完成，所需計算量小，占用的存儲空間小。 2、具有一定的實時處理能力輔助變量法（IV、RIV） 計算較簡單，估計是無偏估計，但計算精度較低 輔助變量法、增廣矩陣法能保證精度和收斂，算法簡單，可同時得到參數(shù)和噪聲模型的估計，工程應(yīng)用效果很好但計算量也較大。 RIV總收斂于參數(shù)真值。加權(quán)最小二乘法 可對不同置信度的測量值采用加權(quán)的辦法分別對待，置信度加權(quán)高的，權(quán)重取得大些；置信度低的，權(quán)重取的小些。但加權(quán)最小二乘法僅能用于事先能估計方程誤差對參數(shù)估計的影響?？焖俣嚯A段最小二乘法大大減少計算時間?？焖俣嚯A段最小二乘法大大減少計算時間。 證明矩陣求逆引理矩陣求逆引理的證明：矩陣求逆引理：證明：考慮到由展開上式可得：（2a） (2b)(3a) (3b)和非奇異，由（3a）和（2b）聯(lián)立可得：（4a） (4b)將式4a、4b分別代入（2a）、（3