第5章最小二乘法

1、第第5章章 線性參數(shù)的最小二乘法處理線性參數(shù)的最小二乘法處理 最小二乘法是用于數(shù)據(jù)處理和誤差估最小二乘法是用于數(shù)據(jù)處理和誤差估計中的一個很得力的數(shù)學(xué)工具。對于從計中的一個很得力的數(shù)學(xué)工具。對于從事精密科學(xué)實驗的人們說來，應(yīng)用最小事精密科學(xué)實驗的人們說來，應(yīng)用最小二乘法來解決一些實際問題，仍是目前二乘法來解決一些實際問題，仍是目前必不可少的手段。必不可少的手段。 第一節(jié)第一節(jié) 最小二乘法原理最小二乘法原理 最小二乘法的發(fā)展已經(jīng)歷了200多年的歷史，它最早起源于天文和大地測量的需要，其后在許多科學(xué)領(lǐng)域里獲得了廣泛應(yīng)用。特別是近代矩陣理論與電子計算機相結(jié)合。使最小二乘法不斷地發(fā)展而久盛不衰。 最小二

2、乘法的產(chǎn)生是為了解決從一組測量值中尋求最可信賴值的問題。 一、問題背景問題背景 在測量的實驗數(shù)據(jù)處理中，經(jīng)常需要根據(jù)兩個量的一批觀測數(shù)據(jù)(xi，yi)，i=1，2，n求出這兩個變量Y與X之間所滿足的一個函數(shù)關(guān)系式Y(jié)f(X)。 若變量間的函數(shù)形式根據(jù)理論分析或以往的經(jīng)驗已經(jīng)確定好了，而其中有一些參數(shù)是未知的，則可通過觀測的數(shù)據(jù)來確定這些參數(shù)； 若變量間的具體函數(shù)形式尚未確定，則需要通過觀測數(shù)據(jù)來確定函數(shù)形式及其中的參數(shù)。 一、問題背景問題背景 在多數(shù)估計和曲線擬合的問題中，不論是參數(shù)估計還是曲線擬合，都要求確定某些(或一個)未知量，使得所確定的未知量能最好地適應(yīng)所測得的一組觀測值，即對觀測值提供

3、一個好的擬合。 解決這類問題最常用的方法就是最小二乘法。 在一些情況下，即使函數(shù)值不是隨機變量，最小二乘法也可使用。 設(shè)X和Y兩個物理量之間的函數(shù)關(guān)系為假定此函數(shù)關(guān)系f已知，但其中a1，a2，ak等參數(shù)還未求出，現(xiàn)對于X和Y有一批觀測數(shù)據(jù)： xi，yi ，i1，2，,n，要利用這批數(shù)據(jù)在一定法則之下作出這些參數(shù)a1，a2，ak的估計。 假設(shè)諸觀測值相互獨立且服從正態(tài)分布。在等精度觀測的情況下，即認為各誤差服從相同的正態(tài)分布N(0， y)。 現(xiàn)在的問題是一個參數(shù)估計問題：需要給出a1，a2，ak的估計值 ， ， 。 解決這類問題最常用的方法就是最小二乘法。在一些情況下，即使函數(shù)值不是隨機變量，最

4、小二乘法也可使用。 1 a2 aka 一般根據(jù)測量的實際情況，可假設(shè)變量X的測量沒有誤差(或與Y的誤差相比很小，可略去)，而變量Y的測量有誤差，故關(guān)于Y的觀測值yi可以寫成這里y0i表示xi對于的Y的變量真值，i表示相應(yīng)的測量誤差。 二、最小二乘法準則與正規(guī)方程二、最小二乘法準則與正規(guī)方程 在參數(shù)估計問題中，最小二乘法的法則最小二乘法的法則是： 所選取的參數(shù)估計值 ， ， 應(yīng)使變量Y的諸觀測值yi與其真值的估計值(又叫擬合值)，即f(xi；a1,a2，ak)之差的平方和為最小。 用式子表示時，記殘差i為1 a2 aka 最小二乘法就是要求 =最小最小在這個條件下，利用數(shù)學(xué)中求極值的方法可以求出

5、參數(shù) ， ， 。這樣求出的參數(shù)叫參數(shù)的最小二乘估計。 1 a2 aka 正規(guī)方程正規(guī)方程 根據(jù)數(shù)學(xué)分析中求函數(shù)極值的條件： =最小最小共得k個方程，稱正規(guī)方程正規(guī)方程，求此聯(lián)立方程的解可得出諸參數(shù)估計值 (j1，2，k)。ja 不等精度情況下的最小二乘法不等精度情況下的最小二乘法 以上是等精度觀測的情況，若諸觀測值yi是不等精度的觀測，即它們服從不同的方差i2的正態(tài)分布N(0，1)，那么也不難證明，在這種情況下，最小二乘法可改為： 選取的參數(shù)估值應(yīng)使諸觀測值yi與其估計值 之差的加權(quán)平方和為最小。用式子表示就是要使 iy =最小最小其中，wi為各觀測值yi的權(quán)。wi2i2，i1，2，n。這里2

6、為任選的正常數(shù)，它表示單位權(quán)方差。 不等精度情況下的最小二乘法正規(guī)方程不等精度情況下的最小二乘法正規(guī)方程同樣地，根據(jù)數(shù)學(xué)分析中求函數(shù)極值的條件：共得k個方程，稱正規(guī)方程，求此聯(lián)立方程的解可得出諸參數(shù)估計值 (j1，2，k)。 ja 最小二乘法最小二乘法的的幾何意義幾何意義 從幾何圖形上可看出,最小二乘法就是要在穿過各觀測點(xi，yi)之間找出這樣一條估計曲線，使各觀測點到該曲線的距離的平方和為最小。 YX三、最小二乘法與最大似然法的關(guān)系三、最小二乘法與最大似然法的關(guān)系 如果假定各觀測值是相互獨立且服從正態(tài)分布，期望值是(xi；a1，a2，ak)，方差是i2, 則觀測值的似然函數(shù)為 最大似然法

7、要求上式取極大值，這就相當于要求指數(shù)項中的=最小最小這就說明了在觀測值服從正態(tài)分布的條件下，最這就說明了在觀測值服從正態(tài)分布的條件下，最小二乘估計與最大似然估計是一致的。小二乘估計與最大似然估計是一致的。 觀測值不服從正態(tài)分布時的最小二乘估計觀測值不服從正態(tài)分布時的最小二乘估計 實質(zhì)上，按最小二乘條件給出最終結(jié)果能充分地利用誤差的抵償作用，可以有效地減小隨機誤差的影響，因而所得結(jié)果具有最可信賴性。 假若觀測值不服從正態(tài)分布，則最小二乘估計并不是最大似然估計。但應(yīng)該指出，在有些問題中觀測值雖然不服從正態(tài)分布，但當樣本容量很大時，似然函數(shù)也趨近于正態(tài)分布，因此，這時使用最小二乘法和最大似然法實質(zhì)也

8、是一致的。 不服從正態(tài)分布時最小二乘法的統(tǒng)計學(xué)性質(zhì)不服從正態(tài)分布時最小二乘法的統(tǒng)計學(xué)性質(zhì) 若觀測值是服從正態(tài)分布的，這時最小二乘法和最大似然法實際上是一回事。但觀測值不服從正態(tài)分布或其分布未知時，這時用最小二乘法顯得缺乏理論的驗證。但應(yīng)該指出，作為一種公理來使用，最小二乘法仍然是可以接受的，而且可以證明，所得到的估計仍然具有一些很好的統(tǒng)計性質(zhì)，這些性質(zhì)是： (1)解是無偏的，即(2)解是觀測值的線性組合，且有最小方差。這稱為高斯馬爾可夫定理;(3) 加權(quán)的殘差平方和的期望值是當21，即取wi1/i2，這時稱為2 量。期望值為nk。第二節(jié)第二節(jié) 線性參數(shù)的最小二乘法線性參數(shù)的最小二乘法 一般情況

9、下，最小二乘法可以用于線性參數(shù)的處理，也可用于非線性參數(shù)的處理。由于測量的實際問題中大量的是屬于線性的，而非線性參數(shù)借助于級數(shù)展開的方法可以在某一區(qū)域近似地化成線性的形式。 因此，線性參數(shù)的最小二乘法處理是最小線性參數(shù)的最小二乘法處理是最小二乘法理論所研究的基本內(nèi)容二乘法理論所研究的基本內(nèi)容。 一、線性參數(shù)的測量方程一般形式一、線性參數(shù)的測量方程一般形式 線性參數(shù)的測量方程一般形式為 （5-7） 相應(yīng)的估計量為（5-8） 誤差方程誤差方程其誤差方程為（5-9） 二、線性參數(shù)的誤差方程式的矩陣形式二、線性參數(shù)的誤差方程式的矩陣形式設(shè)有列向量 和nt階矩陣(nt) 則線性參數(shù)的誤差方程式(59)可

10、表示為 即（5-10） 等精度測量最小二乘原理的矩陣形式等精度測量最小二乘原理的矩陣形式即或（5-11） （5-12） 殘余誤差平方和最小這一條件的矩陣形式為 不等精度測量最小二乘原理的矩陣形式不等精度測量最小二乘原理的矩陣形式最小二乘原理的矩陣形式為 或（5-14） （5-13） 式中的P為nn階權(quán)矩陣。 線性參數(shù)的不等精度測量還可以轉(zhuǎn)化為等精度的形式，從而可以利用等精度測量時測量數(shù)據(jù)的最小二乘法處理的全部結(jié)果。三、線性參數(shù)最小二乘法的正規(guī)方程三、線性參數(shù)最小二乘法的正規(guī)方程 為了獲得更可取的結(jié)果，測量次數(shù)n總要多于未知參數(shù)的數(shù)目t，即所得誤差方程式的數(shù)目總是要多于未知數(shù)的數(shù)目。因而直接用一

11、般解代數(shù)方程的方法是無法求解這些未知參數(shù)的。 最小二乘法則可以將誤差方程轉(zhuǎn)化為有確定解的代數(shù)方程組(其方程式數(shù)目正好等于未知數(shù)的個數(shù))，從而可求解出這些未知參數(shù)。這個有確定解的代數(shù)方程組稱為最小二乘法估計的正規(guī)方程正規(guī)方程(或稱為法方程)。 1線性參數(shù)的最小二乘法處理的基線性參數(shù)的最小二乘法處理的基本程序本程序 線性參數(shù)的最小二乘法處理程序可歸結(jié)為：線性參數(shù)的最小二乘法處理程序可歸結(jié)為：（1）根據(jù)具體問題列出誤差方程式；）根據(jù)具體問題列出誤差方程式；（2）按最小二乘法原理，利用求極值的方法將誤差方程）按最小二乘法原理，利用求極值的方法將誤差方程轉(zhuǎn)化為正規(guī)方程；轉(zhuǎn)化為正規(guī)方程；（3）求解正規(guī)方程

12、，得到待求的估計量；）求解正規(guī)方程，得到待求的估計量；（4）給出精度估計。）給出精度估計。對于非線性參數(shù)，可先將其線性化，然后按上述線性參對于非線性參數(shù)，可先將其線性化，然后按上述線性參數(shù)的最小二乘法處理程序去處理。數(shù)的最小二乘法處理程序去處理。 建立正規(guī)方程是待求參數(shù)最小二乘法處建立正規(guī)方程是待求參數(shù)最小二乘法處理的基本環(huán)節(jié)。理的基本環(huán)節(jié)。2等精度測量的線性參數(shù)最小二乘法處理等精度測量的線性參數(shù)最小二乘法處理的正規(guī)方程的正規(guī)方程 線性參數(shù)的誤差方程式為最小二乘法處理的正規(guī)方程為 （5-19） 這是一個t元線性方程組當其系數(shù)行列式不為零時，有唯一確定的解，由此可解得欲求的估計量 線性參數(shù)正規(guī)方

13、程的矩陣形式線性參數(shù)正規(guī)方程的矩陣形式 正規(guī)方程(519)組，還可表示成如下形式 表示成矩陣形式為 線性參數(shù)正規(guī)方程的矩陣形式線性參數(shù)正規(guī)方程的矩陣形式（5-21） 又因 有 即 （5-22） 若令 則正規(guī)方程又可寫成 （5-22） （5-23） 若矩陣C是滿秩的，則有 的數(shù)學(xué)期望 X因式中Y、X為列向量(n 1階矩陣和tl階矩陣) 可見X是X的無偏估計。 其中矩陣元素Y1，Y2，Yn為直接量的真值，而Xl，X2，Xn為待求量的真值。 例例51 在不同溫度下，測定銅棒的長度如下表，試估計在不同溫度下，測定銅棒的長度如下表，試估計0時時的銅棒長度的銅棒長度y0和銅的線膨脹系數(shù)和銅的線膨脹系數(shù)。

14、解：（1）列出誤差方程式中, li在溫度ti下銅棒長度的測得值； 銅的線膨脹系數(shù)。 令y0a，y0=b為兩個待估計參量，則誤差方程可寫為 (2) 列出正規(guī)方程為計算方便，將數(shù)據(jù)列表如下： 將表中計算出的相應(yīng)系數(shù)值代人上面的正規(guī)方程得（3）求出待求估計量）求出待求估計量 求解正規(guī)方程解得待求估計量即按矩陣形式解算按矩陣形式解算由正規(guī)方程，有由正規(guī)方程，有則所以所以（4）給出實驗結(jié)果）給出實驗結(jié)果銅棒長度yt隨溫度t的線性變化規(guī)律為3不等精度測量的線性參數(shù)最小二乘法處理的不等精度測量的線性參數(shù)最小二乘法處理的正規(guī)方程正規(guī)方程 不等精度測量時線性參數(shù)的誤差方程仍如上述式(59)一樣，但在進行最小二乘

15、法處理時，要取加權(quán)殘余誤差平方和為最小，即 用矩陣表示的正規(guī)方程與等精度測量情況類似，可表示為 （5-27） 即上述正規(guī)方程又可寫成（5-28） 該方程的解，即參數(shù)的最小二乘法處理為（5-29） 令則有（5-30） 例例52 某測量過程有誤差方程式及相應(yīng)的標準差如下： 試求x1，x2的最小二乘法處理正規(guī)方程的解。 解：解：（1）首先確定各式的權(quán)（2）用表格計算給出正規(guī)方程常數(shù)項和系數(shù)）用表格計算給出正規(guī)方程常數(shù)項和系數(shù)（3）給出正規(guī)方程）給出正規(guī)方程（4）求解正規(guī)方程組）求解正規(guī)方程組解得最小二乘法處理結(jié)果為四、最小二乘原理與算術(shù)平均值原理四、最小二乘原理與算術(shù)平均值原理的關(guān)系的關(guān)系為了確定一

16、個量X的估計量x，對它進行n次直接測量，得到n個數(shù)據(jù) l1，l2，ln，相應(yīng)的權(quán)分別為p1，p2，pn，則測量的誤差方程為(5-35)其最小二乘法處理的正規(guī)方程為 (5-36)由誤差方程知al，因而有可得最小二乘法處理的結(jié)果 (5-37)這正是不等精度測量時加權(quán)算術(shù)平均值原理所給出的結(jié)果。對于等精度測量有對于等精度測量有 則由最小二乘法所確定的估計量為此式與等精度測量時算術(shù)平均值原理給出的結(jié)果相同。 由此可見，最小二乘法原理與算術(shù)平均值原理是一致的，算術(shù)平均值原理可以看做是最小二乘法原理的特例。 第三節(jié)第三節(jié) 精度估計精度估計 對測量數(shù)據(jù)最小二乘法處理的最終結(jié)果，不僅要給出待求量的最可信賴的估

17、計量，而且還要確定其可信賴程度，即應(yīng)給出所得估計量的精度。 一、測量數(shù)據(jù)的精度估計一、測量數(shù)據(jù)的精度估計 為了確定最小二乘估計量X1，X2，Xt的精度，首先需要給出直接測量所得測量數(shù)據(jù)的精度。測量數(shù)據(jù)的精度也以標準差來表示。因為無法求得的真值，因而只能依據(jù)有限次的測量結(jié)果給出的估計值 ，所謂給出精度估計，實際上是求出估計值 。 （一）等精度測量數(shù)據(jù)的精度估計（一）等精度測量數(shù)據(jù)的精度估計 設(shè)對包含t個未知量的n個線性參數(shù)方程組（57）進行n次獨立的等精度測量，獲得了n個測量數(shù)據(jù)l1，l2，ln。其相應(yīng)的測量誤差分別為1，2，n，它們是互不相關(guān)的隨機誤差。因為一般情況下真誤差1，2，n是未知的，

18、只能由殘余誤差l，2，n給出的估計量。 nii122/前面已證明前面已證明是自由度為（nt）的2變量。根據(jù)2變量的性質(zhì)，有（5-39）取 （5-40）可以證明它是2的無偏估計量 因為習(xí)慣上，式5-40的這個估計量也寫成2，即 （5-41）因而測量數(shù)據(jù)的標準差的估計量為（5-43）例例53 試求例試求例51中銅棒長度的測量精度。中銅棒長度的測量精度。已知殘余誤差方程為將ti，li，值代人上式，可得殘余誤差為（二）不等精度測量數(shù)據(jù)的精度估計（二）不等精度測量數(shù)據(jù)的精度估計 不等精度測量數(shù)據(jù)的精度估計與等精度測量數(shù)據(jù)的精度估計相似，只是公式中的殘余誤差平方和變?yōu)榧訖?quán)的殘余誤差平方和，測量數(shù)據(jù)的單位權(quán)

19、方差的無偏估計為（5-44） 通常習(xí)慣寫成（5-45） 測量數(shù)據(jù)的單位權(quán)標準差為 （5-46） 二、最小二乘估計量的精度估計二、最小二乘估計量的精度估計 最小二乘法所確定的估計量X1，X2，Xt的精度取決于測量數(shù)據(jù)的精度和線性方程組所給出的函數(shù)關(guān)系。對給定的線性方程組，若已知測量數(shù)據(jù)l1，l2，ln的精度，就可求得最小二乘估計量的精度。 下面首先討論等精度測量時最小二乘估計量的精度估計。 設(shè)有正規(guī)方程 現(xiàn)要給出由此方程所確定的估計量xl，x2，xt的精度。為此，利用不定乘數(shù)法求出xl，x2，xt的表達式，然后再找出估計量xl，x2，xt的精度與測量數(shù)據(jù)l1，l2，ln精度的關(guān)系，即可得到估計量

20、精度估計的表達式。 設(shè)d11，dl2，dlt；d2l，d22，d2t：； dtl，dt2，dtt分別為下列各方程組的解： 則各估計量則各估計量xl，x2，xt的方差為的方差為（5-52） 相應(yīng)的標準差為（5-53） 式中，為測量數(shù)據(jù)的標準差。不等精度測量的情況與此類似。不等精度測量的情況與此類似。 矩陣形式的結(jié)果表達矩陣形式的結(jié)果表達利用矩陣的形式可以更方便地獲得上述結(jié)果。設(shè)有協(xié)方差矩陣(nn階矩陣)式中等精度獨立測量若l1，l2，ln為等精度獨立測量的結(jié)果，即且相關(guān)系數(shù)ij = 0，即Dlij = 0協(xié)方差矩陣 于是估計量的協(xié)方差為 式中各元素即為上述的不定乘數(shù)，可由矩陣(ATA)求逆而得，

21、或由式(551)求得。 各估計量各估計量xl，x2，xt的方差為的方差為不等精度測量同樣，也可得不等精度測量的協(xié)方差矩陣 式中 單位權(quán)標準差。矩陣式中各元素即為不定乘數(shù)，可由(ATPA)求逆得到，也可由式(554)求得。例例54 試求例試求例51中銅棒長度和線膨脹系數(shù)估計量的精度中銅棒長度和線膨脹系數(shù)估計量的精度 已知正規(guī)方程為測量數(shù)據(jù)li的標準差為解：解：根據(jù)所給正規(guī)方程的系數(shù)，可列出求解不定乘數(shù)方程組 （1）列出求解不定乘數(shù)方程組，并求解）列出求解不定乘數(shù)方程組，并求解分別解得（2）計算估計量a、b的標準差可得估計量a、b的標準差為因（3）求出y0、的標準差故有第四節(jié)第四節(jié) 組合測量的最小

22、二乘法處理組合測量的最小二乘法處理 所謂組合測量，是指直接或間接測量一組被測量的不同組合值，從它們相互組合所依賴的若干函數(shù)關(guān)系中，確定出各被測量的最佳估計值。 在精密測試工作中，組合測量占有十分重要的地位。例如，作為標準量的多面棱體、度盤、砝碼、電容器以及其它標準器的檢定等，為了減小隨機誤差的影響，提高測量精度，可采用組合測量的方法。 通常組合測量數(shù)據(jù)是用最小二乘法進行處理，它是最小二乘法在精密測試中的一種重要的應(yīng)用。 組合測量應(yīng)用組合測量應(yīng)用 為簡單起見，現(xiàn)以檢定三段劃線間距為例，說明組合測量的數(shù)據(jù)處理方法。 如圖51所示，要求檢定刻線A、B、C、D間的距離x1、x2、x3。 （1）測量方案及測量數(shù)據(jù)測量數(shù)據(jù) 組合測量的方案（2）誤差方程）誤差方程根據(jù)測量方案列出誤差方程誤差方程的矩陣形式（3）寫出誤差方程的相關(guān)矩陣）寫出誤差方程的相關(guān)矩陣（4）求解估計量）求解估計量x1、x2、x3的最佳估計值的最佳估計值由式（5-24）得式中所以最后解得（5）計算各次的測量誤差值）計算各次的測量誤差值 1 = 0.013mm2 = 0.002mm3 = 0.007mm4 = 0.005mm5 = 0.015mm6 = 0.008mm將最佳估計值代入誤差方程得（6）計算各次測得數(shù)據(jù)的標準差）計算各次測得數(shù)據(jù)的標準差nii12=0.000536mm3