第四章最小二乘法估計(jì)

1、誤差理論與tu居處理第“鶴乘試估計(jì)第五章參數(shù)的最小二乘法估計(jì)祺差理卷鳥數(shù)據(jù)處理乘試估計(jì)理淪鳥數(shù)據(jù)處理最小二乘法原理線性測(cè)量方程組中參數(shù)的最小 二乘法非線性測(cè)量方程組中參數(shù)的最 小二乘法組合測(cè)量果扌最小二乘倣(_)最小二乘法是一種在數(shù)據(jù)處理和誤差估計(jì)等多學(xué)科領(lǐng)域得到廣泛應(yīng)用的數(shù)學(xué)工具。隨著現(xiàn)代數(shù)學(xué)和計(jì)算機(jī)技術(shù)的發(fā)展f最小二乘法成為參數(shù)估計(jì)、數(shù)據(jù)處理、歸分析和經(jīng)驗(yàn)公式擬合中必不可少的手段 并已形成統(tǒng)計(jì)推斷的一種 準(zhǔn)則。通過本章的學(xué)習(xí) 可以掌握最小二乘法 的基本原理 以及在組合測(cè)量問題的數(shù)據(jù)處理祺差理卷鳥腿據(jù)處理果于最小二乗倣（二丿最小二乘法是用于數(shù)據(jù)處理和誤差估計(jì)中的一個(gè) 很得力的數(shù)學(xué)工具。對(duì)于從

2、事精密科學(xué)實(shí)驗(yàn)的人 們來說 應(yīng)用最小乘法來解決一些實(shí)際問題仍 是目前必不可少的手段。例如取重復(fù)測(cè)量數(shù)據(jù) 的算術(shù)平均值作為測(cè)量的結(jié)果 就是依據(jù)了使殘 差的平方和為最小的原則 又如 在本章將要用 最小二乘法來解決一類組合測(cè)量的問題。另外f常遇到用實(shí)驗(yàn)方法來擬合經(jīng)驗(yàn)公式 這是后面一章回歸分析方法的內(nèi)容 它也是以最小二乘法原果于最小二乘試（三丿最小二乘法的發(fā)展已經(jīng)經(jīng)歷了200多年的歷史f 它最先起源于天文和大地測(cè)量的需要,其后在許 多科學(xué)領(lǐng)域里獲得了廣泛應(yīng)用f特別是近代矩陣 理論與電子計(jì)算機(jī)相結(jié)合 使最小二乘法不斷地 發(fā)展而久盛不衰。-本章只介紹經(jīng)典的最小二乘法及其在組合測(cè)量中 的一些簡(jiǎn)單的應(yīng)用 一些

3、深入的內(nèi)容可參閱專門 的書籍和文獻(xiàn)。祺差理卷鳥腿據(jù)處理計(jì)第一節(jié)最小二乘癌原理第一節(jié)最小二乘依厲理最小二乘法的產(chǎn)生是為了解決從一組測(cè)量值中尋找最可信賴值的問題。對(duì)某量E3進(jìn)行測(cè)量,得到一組數(shù)據(jù)在系 統(tǒng)誤差和粗大誤差”相互獨(dú)立,且服從正態(tài)分布. 其標(biāo)準(zhǔn)差為 esm第一李最小二乘該凍理根據(jù)概率乘法定理，測(cè)得值最可信賴值滿足 權(quán)因子WOCxvxL ,xn/ 、2同時(shí)出現(xiàn)的概率為6XP -2?F ”11/ b；(dx)n最可信賴值應(yīng)使 出現(xiàn)的概率P為最 大，即使上式中 負(fù)指數(shù)中的因子 達(dá)最小再用微分法得最可信賴值 > 即加權(quán)算術(shù)平均值Z2wz,=打理論"據(jù)處理第“第一節(jié)最小二乘依厲理以上

4、最可信賴值是在殘差平方和或加權(quán)殘差平方和為最 小的意義下求得的，稱之為最小二乘法原理。它是以最 小二乘方而得名。為從一組測(cè)量數(shù)據(jù)中求得最佳結(jié)果，還可使用其它原理。例如(1)最小絕對(duì)殘差和法:(2)最小最大殘差法:=Min(3)最小廣義極差法：仙誤差理論與tu居處理第“鶴乘試估計(jì)第二節(jié)線性參數(shù)的最小二乘法祺差理裕鳥數(shù)據(jù)處理二乘試估計(jì)第二節(jié) 錢性泰救的眾小二乗族先舉一個(gè)實(shí)際遇到的測(cè)量問題，為 精密測(cè)定三個(gè)電容值：BB5B8I采 用的測(cè)量方案是，分別等權(quán)、獨(dú)立 測(cè)得，列出待解的數(shù)學(xué)模型。這是一個(gè)組合測(cè)量的問 題。祺差理卷鳥數(shù)據(jù)處理£3待求量測(cè)得值第二節(jié) 錢性泰救的眾小二乗族組合測(cè)量,指直接

5、測(cè)量_組被測(cè)量的不同組合值, 從它們相互所依賴的若干函數(shù)關(guān)系中,確定出各被 測(cè)量的最佳估計(jì)值。如為精密測(cè)定1號(hào)、2號(hào)和3號(hào)電容器的電容待解的數(shù)學(xué)模型=03(川= -0.4(y2)%!+%3二05()，3)x2+x3 =-0.3(y4)為了獲得更可靠 的結(jié)果 < 測(cè)量次 數(shù)總要多于未知 參數(shù)的數(shù)目第二節(jié) 錢性泰救的眾小二乗族這是一個(gè)超定方程組，即方程個(gè)數(shù) 多于待求量個(gè)數(shù)，不存在唯一的確 定解，事實(shí)上，考慮到測(cè)量有誤差, 記它們的測(cè)量誤差分別祺差理卷鳥數(shù)據(jù)處理£3祺差理卷鳥數(shù)據(jù)處理£3為按最小二乘法原理祺差理裕鳥數(shù)據(jù)處理祺差理裕鳥數(shù)據(jù)處理第二節(jié) 錢性泰救的眾小二乗族，甘=

6、Min分別對(duì)求偏導(dǎo)數(shù)，令它們等于零，得如下的確定性方程組。(x1-0.3)+(x1+x3-0.5)=0(x2+0.4)+(x2+x3+0.3)=0(x1+x3-0.5)+(x2+x3+0.3)=0可求出唯一解=0.R5,x3=0.150第二節(jié) 錢性泰救的眾小二乗族以下，一般地討論線性參數(shù)測(cè)量方程組 的最小二乘解及其精度估計(jì)。祺差理卷鳥腿據(jù)處理第二節(jié) 錢性泰救的眾小二乗族正規(guī)方程組心簇君玻俺與敎據(jù)處理設(shè)線性測(cè)量方程組的一般形式為：” =aiXxY + 0,2 乂 2 +A + aitt(i = 12A q)祺差理卷鳥腿據(jù)處理祺差理卷鳥腿據(jù)處理第二節(jié)錢性泰救的最小二乘族即= anxx + anx2

7、 +A了2 =°21兀1 +°22兀2 +人Myn =anix,+an2x2+K+ %r兀+ a2tXt+ antXt式中，有n個(gè)直接測(cè)得值，t個(gè)待求量。 n>t,各等權(quán)，無系統(tǒng)誤差和粗大誤差。祺差理卷鳥腿據(jù)處理第二節(jié) 錢性泰救的眾小二乗族因網(wǎng)含有測(cè)量誤差，每個(gè)測(cè)量方程都不 嚴(yán)嬴立，故有相應(yīng)的測(cè)量殘差方程組祺差理卷鳥腿據(jù)處理祺差理卷鳥腿據(jù)處理兒=x -工訃j=l(i = 12 A 屮)祺差理卷鳥腿據(jù)處理祺差理卷鳥腿據(jù)處理iaijxjJ=1祺差理卷鳥腿據(jù)處理第二節(jié) 錢性泰救的眾小二乗族按最小二乘法原理，待求的場(chǎng)應(yīng)滿足Xj上式分別對(duì) 經(jīng)推導(dǎo)得Xj求偏導(dǎo)數(shù)，且令其等于零,祺

8、差理淪鳥敷據(jù)處理第/二乘該估計(jì)第二節(jié) 錢性泰救的眾小二乗族、a1aixi +axa2x2 +A +%為 =ar y +a2a2x2 + A + a2atxt = a2yMataixi +ata2x2 + A +atatxt = at y正規(guī)方程組式中血，眈別為如祺差理論與紋據(jù)處理X99祺差理論與紋據(jù)處理第二節(jié) 錢性泰救的舉小二乗族Q =Jaja2jy =MME丿E丿X99誤差理論與於J居處理第五章da。正規(guī)方程組有如下特點(diǎn)+偽汀2 +A +為兒第二節(jié)錢性泰救的舉小二乗族分別為如下兩列向量的內(nèi)積:aiakVauaik +a2ia2k +A +aniank祺爰理淪鳥狡據(jù)處理第第二節(jié) 錢性泰救的眾小

9、二乗族測(cè)量方程組系數(shù)與正規(guī)方程組系數(shù)% = anxx + anx2 +A + aitxty2 = a21xr + a22x2 + A +a2txtM兒=陽(yáng)內(nèi)+%2兀2+人+ Vt祺差理卷鳥腿據(jù)處理第二節(jié) 錢性泰救的眾小二乗族(1) 主對(duì)角線系數(shù)是測(cè)量方程組各列系 數(shù)的平方和，全為正數(shù)。(2) 其它系數(shù)關(guān)于主對(duì)角線對(duì)稱(3) 方程個(gè)數(shù)等于待求量個(gè)數(shù)，有唯一由此可見，線性測(cè)量方程組的最小二乘解 歸結(jié)為對(duì)線性正規(guī)方程組的求解。祺差理卷鳥腿據(jù)處理第二節(jié)錢性泰熱的眾小二乗眩二、正規(guī)方程組 的矩陣形式祺差理淪鳥敷據(jù)處理第五估計(jì)第二節(jié)錢性泰救的眾小二乘族為了便于進(jìn)一步討論問題，下面借助矩陣 工具給出正規(guī)方程

10、組的矩陣形式。記列向量£"2MV2M和n Xt階矩陣朕差理論與敷據(jù)處理第五章朕差理論與敷據(jù)處理第五章第二節(jié) 錢性泰救的眾小二乗族A =。21。22 厶。2/ananL au、anian2 ant 丿祺差理卷鳥腿據(jù)處理第二節(jié) 錢性泰救的眾小二乗族則測(cè)量方程組可記為:AX = Y測(cè)量殘差方程組記為V二L-AX最小二乘原理記為(L-AX)T(L-AX) = Mm祺差理衿鳥敎據(jù)處理第二節(jié) 錢性泰救的眾小二乗族利用矩陣的導(dǎo)數(shù)及其性質(zhì)有力rTZ卩_(VrV) = 2VL LLLLLLLLL (1 dxdx=2(°(X “)(iax)厶厶(2 dx dx=2At (L AX)=

11、 2AtL2AtAX祺差理衿鳥敎據(jù)處理第二節(jié) 錢性泰救的眾小二乗族令得正規(guī)方程組的矩陣形式。AtAX = AL展開系數(shù)矩陣和列向量，可得代數(shù)形式的正規(guī)方程組。當(dāng)滿秩的情形，可求出祺差理衿鳥敎據(jù)處理第二節(jié) 錢性泰救的眾小二乗族小 結(jié)祺差理論與紋據(jù)處理祺差理論與紋據(jù)處理第二節(jié) 錢性泰救的眾小二乗族線性測(cè)量方程組的_般形式為矩陣形式tX = aiAxx + ai2x2 +L + aitxt =若aijXj |2j。21 °22 L Cl2t LLLLL an an2 L anf含有隨機(jī)誤 差測(cè)量殘差 方程組>1MV =MV1V2MVy - Ax = vXyiTjaijxj = vi

12、j=i祺差理卷鳥腿據(jù)處理祺差理卷鳥腿據(jù)處理最小二乘法原理式不等權(quán)y - Ax )T( y - Ax ) = Miny - Ax )T w( y - Ax ) = Min正規(guī)方程纟AT Ax = AT yAT vvAx = AT wy正規(guī)方程組解039x = (ArwA)iAI wy第二節(jié) 錢性泰救的眾小二乗族、精度估十誤老理論與族無處理第五章d第二節(jié) 錢性泰救的眾小二乗族對(duì)測(cè)量數(shù)據(jù)的最小二乘法處理，其最終結(jié)果 不僅要給出待求量的最可信賴值，還要確定 其可信賴程度，即估計(jì)其精度。具體內(nèi)容包 含有兩方面：一是估計(jì)直接測(cè)量結(jié)果X2人，幾的精度。的精度；二是估計(jì)待求量KU1救的和丄乗族仁直接測(cè)量結(jié)果的

13、精度估計(jì)匕2人i和Z2E/b2=池對(duì)t個(gè)未知量的線性測(cè)量方程組EDii 行n次獨(dú)立的等精度測(cè)曇尋 mm 箕殘奈誤差為MH廝;；標(biāo)準(zhǔn)偏差回 如果H服從正態(tài)分布，那么 0 服從 分布，其自由度n-D有KH變量的數(shù) 學(xué)期望emssn 祺差理卷鳥赦據(jù)處理二乘試估計(jì)第二節(jié) 錢性泰救的眾小二乗族令禹上式又導(dǎo)出子英S讀公式理他鳥敷據(jù)處理第彩2待求 量的精度 估計(jì)第二節(jié) 錢性泰救的眾小二乗族JVX 乂2 7 &7 乂按照誤差傳播的觀點(diǎn)， i古計(jì)量w 精度取決于直接測(cè)量數(shù) 據(jù)的精 度以及建立它們之間聯(lián)祺差理裕鳥數(shù)據(jù)處理二乘該估計(jì)第二節(jié) 錢性泰救的眾小二乗族可求待求量的協(xié)方差DX=(ArA)_1a2矩陣各

14、元素關(guān)可由矩陣 列各方程組分別解得"11"12Ldu22L”2tLLLL必2Ldn(ArA)_1 二求逆得見也可由朕差理論與敷據(jù)處理第“估計(jì)第二節(jié)錢性泰救的眾小二乘族11i2 +厶 + Si。=1a2a1dn + a2a2d12 +L + a2at dlt = 0L Latadn + ata2dn +L +atatdu - 0娛差理彳合鳥題據(jù)處理第五章齊'第二節(jié) 錢性泰救的眾小二乗族a d 21 +aa2d22 +L + axat d2t = 1°2。1 2i + 色色22 +L + a2at d2t = 0 <L L。禺 J2i + 。禺2 M22

15、 +L + citat d2t = 0理論"據(jù)處理身第二節(jié) 錢性泰救的眾小二乗族ad1 +ara2dt2 +L + axatdtt = 1a2aidtl + a2a2dt2 +L + a2at dtt = 0 <L Lataidti + ata2dt2 +L + atat dtt = 0理論與敷據(jù)處理第五章二乘該估計(jì)第二節(jié) 錢性泰救的眾小二乗族cr聘冒埶邑筑窗血涵丄JBulL估計(jì)D2 b=* 乙 b； = Jdjj c2 (j = 1,2, A , 0矩陣EEB中對(duì)角元素祺差理卷鳥腿據(jù)處理理他鳥敷據(jù)處理第五第二節(jié) 錢性泰救的眾小二乗族待求量的相關(guān)系數(shù)第二節(jié) 錢性泰救的眾小二乗族

16、小 結(jié)祺差理論昌撅據(jù)處理第"( )yv n-t3.待求量與的相關(guān)系數(shù)宜接測(cè)量量的標(biāo)準(zhǔn)差沫知量個(gè)數(shù)2.待求量的標(biāo)準(zhǔn)差估計(jì)方程個(gè)數(shù)對(duì)角元素ism心a祺差理卷鳥數(shù)據(jù)處理列出測(cè)量殘差方程組祺差理卷鳥數(shù)據(jù)處理第二節(jié)錢性泰救的眾小二乘依例2為精密測(cè)定1號(hào).2號(hào)和3號(hào)電容器的電容匸 行了等權(quán).獨(dú)立.無系統(tǒng)誤差的測(cè)量。測(cè)得1號(hào)電容彳 ,1號(hào)和3號(hào)并聯(lián)電容 o試用最小二乘法求|2號(hào)電容值 并聯(lián)電容值y2 = 一°4» =0.5差。兒=°3X |，*2，*3/號(hào)及其標(biāo)準(zhǔn)偏列出測(cè)量殘差方程組祺差理卷鳥腿據(jù)處理第二節(jié)錢性泰救的眾小二乗族vl = 0.3-XjV? = _0.4

17、Xryv3 = O5_（X +花）匕=_0.3 （%2 + 兀3）0.3-0.40.5-0.3100010A =101011viV2V3V4y Ax = v矩陣形式2 £II變立>費(fèi)季*孕"洋雜艮詹$理論鳥數(shù)據(jù)處理第二乗該佔(zhàn)計(jì)第二節(jié) 錢性泰救的眾小二乗族_0.7500.250-0.500 _c 1 =0.2500.750-0.500-0.500-0.5001.000x = C-ATy0.325-0.4250.1500.750 0.250 0.5000.250 0.750 -0.500-0.500 -0.5001.000Xj = 0.325, x2 = 0.425, x

18、3 = 0.150誤差理論與tu居處理第“鶴乘試估計(jì)代入殘差方程組,計(jì)算b心=e722 =0-0433玉=b 盡=0.050第三節(jié)非線性參數(shù)的最小二乘法祺差理卷鳥腿據(jù)處理第三節(jié)棘錢性泰數(shù)的最小二乗族測(cè)量殘差方程組、非線性函數(shù)泰勒展開取E1的初始似二乘法解得£ =（芻，&2,厶，E）迭代直 至歸 足精度 為止第三節(jié)棘錢性泰數(shù)的最小二乗族祺差理卷鳥腿據(jù)處理祺差理卷鳥腿據(jù)處理例3 在例2的基礎(chǔ)上 再増加一次測(cè)量串聯(lián)電容 得解】 列出非線性測(cè)量方程組y5 = 0.14o試用最小二乘法求測(cè)及其標(biāo)準(zhǔn)偏差。XxX2 /（兀1乂2）祺差理卷鳥腿據(jù)處理兀=0.3x9 = 0.4 兀 +花=0.

19、5兀2 +兀3 = °3 豐= 0.14 x +x2（p2（x） = x2|03 （兀）=+龍04（兀）=X2 +兀3,05（兀）=戶（坷+兀2）誤差理論與tu居處理第"甘誤差理論與tu居處理第"甘對(duì)前4個(gè)線性測(cè)量方程組f按例2求出解，作為初次 近似解x(0) =(0325,-0.425,0.150)甘近,取泰勒展開的一階近似X = yx-(Px (x(0) ) = 0.3-0.325 = 0.025y； = y5-5(x(0)= 0.i4-兀(°)=(0.325, 0.425,0.150)丫(-0.325x0.425、,0.325 - 0.425a5l

20、 = 18.0625y；十© (兀(°) = 0.4 + 0.425 = 0.025% = % - © (x(0) = 0.5 -(0.325 + 0.150) = 0.025 _ 冗=兒一久(兀)-0.3-(-0.425 + 0.150) = -0.025al2 = 0ai3 = °6/99 = 11"23 = °。32 = °|33 = 116/42 = 1 1|。43 - 1=1.24125丿6/52 =10.5625153 =°祺差理淪鳥敷據(jù)處理第聲）=#°）+芻=0.2777,醐）=0.4613，刃=0.1918祺差理淪鳥敷據(jù)處理第寫出線性化 殘差方程組-0.025 兒 -0.025 v9 0.025 - 匕0.025 v18.062510.56251.24125 匕整理得正規(guī) 方程組328.254190.785190.785-22.4201113.566-13.1170=-0.04735 0.0363&3 = 0.0418聲）=#°）+芻=0.2777,醐）=0.4613，刃=0.1918祺差理卷鳥腿據(jù)處理第三節(jié)棘錢性泰數(shù)的最小二乗族6次迭代結(jié)果n00000.325-0.4250.1501-0.0473-0.03630.04180.278-0.4610.1922