高斯導(dǎo)出誤差正態(tài)分布

1、高斯導(dǎo)出誤差正態(tài)分布1809 年，高斯 (Carl Friedrich Gauss， 1777 1855) 發(fā)表了其數(shù)學(xué)和天體力學(xué)的名著繞日天體運(yùn)動(dòng)的理論 。在此書末尾，他寫了一節(jié)有關(guān)“數(shù)據(jù)結(jié)合”（ data combination）的問題，實(shí)際涉及的就是這個(gè)誤差分布的確定問題。設(shè)真值為， n 個(gè)獨(dú)立測量值為 X1 , X n 。高斯把后者的概率取為L( ) L( ; X1, , Xn )f ( X1 ) f ( X n ),（ 14）其中 f 為待定的誤差密度函數(shù)。到此為止他的做法與拉普拉斯相同。但在往下進(jìn)行時(shí)，他提出了兩個(gè)創(chuàng)新的想法。一是他不采取貝葉斯式的推理方式，而徑直把使(9) 式達(dá)到

2、最大的( X1 , , Xn ) 作為的估計(jì)，即使L( )max L ()（ 15）成立的 。現(xiàn)在我們把 L( ) 稱為樣本 X 1 , Xn 的似然函數(shù)，而把滿足(15) 式的稱為 的極大似然估計(jì)。這個(gè)稱呼是追隨費(fèi)歇爾，因?yàn)樗?912 年發(fā)表的一篇文章中，明確提到以上概念并非針對(duì)一般參數(shù)的情形。如果拉普拉斯采用了高斯這個(gè)想法，那他會(huì)得出：在已定誤差密度為f (x)m e m|x| ,x.2（ 16）基礎(chǔ)上，其中 m 0 為未知參數(shù)。的估計(jì)是樣本X1 , X n 中位數(shù) med( X1 , X n ) ，即X1 , X n 按大小排列居于正中的那一個(gè)( n 為奇數(shù)時(shí)），或居于正中的那兩個(gè)的算

3、術(shù)平均 ( n為偶數(shù)時(shí)）。這個(gè)解不僅計(jì)算容易，且在實(shí)際意義上，有時(shí)比算術(shù)平均X 更為合理。不過，即使這樣，拉普拉斯的誤差分布 (16) 大概也不可能取得高斯正態(tài)誤差那樣的地位。原因是 X是線性函數(shù)，在正態(tài)總體下有完善的小樣本理論，而med( X1 , , X n ) 要用于推斷就難于處理。另外，這里所談的是一個(gè)特定的問題隨機(jī)測量誤差該有如何的分布？測量誤差是由諸多因素形成， 每種因素影響都不大。按中心極限定理， 其分布近似于正態(tài)分布是勢所必然。其實(shí)，早在1780 年左右，拉普拉斯就推廣了狄莫佛的結(jié)果，得到了中心極限定理的比較一般的形式?？上У氖牵茨馨堰@一成果用到確定誤差分布的問題上來。高斯

4、的第二點(diǎn)創(chuàng)新的想法是：他把問題倒過來，先承認(rèn)算術(shù)平均X 是應(yīng)取的估計(jì)，然后去找誤差密度函數(shù)f 以迎合這一點(diǎn)，即找這樣的f ，使由 (15) 式?jīng)Q定的 就是 X 。高斯1證明了：這只有在1x 2f ( x)exp222（ 17）條件下才能成立，這里0 為常數(shù)，這就是正態(tài)分布N(0, 2) 。高斯這項(xiàng)工作對(duì)后世的影響極大，他使正態(tài)分布同時(shí)有了“高斯分布”的名稱，后世之所以多將最小二乘法的發(fā)明權(quán)歸之于他，也是出于這一工作。高斯是一個(gè)偉大的數(shù)學(xué)家，重要的貢獻(xiàn)不勝枚舉。但現(xiàn)今德國10 馬克的印有高斯頭像的鈔票，其上還印有正態(tài)分布N ( ,2 ) 的密度曲線。這傳達(dá)了一種想法：在高斯的一切科學(xué)貢獻(xiàn)中，其對(duì)

5、人類文明影響最大者，就是這一項(xiàng)。在高斯剛作出這個(gè)發(fā)現(xiàn)之初，也許人們還只能從其理論的簡化上來評(píng)價(jià)其優(yōu)越性，其全部影響還不能充分看出來。這要到20 世紀(jì)正態(tài)小樣本理論充分發(fā)展起來以后。拉普拉斯很快得知高斯的工作，并馬上將其與他發(fā)現(xiàn)的中心極限定理聯(lián)系起來，為此，他在即將發(fā)表的一篇文章( 發(fā)表于 1810 年）上加上了一點(diǎn)補(bǔ)充，指出如若誤差可看成許多量的疊加，根據(jù)他的中心極限定理，誤差理應(yīng)有高斯分布。這是歷史上第一次提到所謂“元誤差學(xué)說”誤差是由大量的、由種種原因產(chǎn)生的元誤差疊加而成。后來到1837年，海根(G.Hagen) 在一篇論文中正式提出了這個(gè)學(xué)說。其實(shí)，他提出的形式有相當(dāng)大的局限性：海根把誤差設(shè)想成個(gè)數(shù)很多的、獨(dú)立同分布的“元誤差”1 , n 之和， 每個(gè) i 只取a 兩值，其概率都是 1/2 ，由此出發(fā)，按狄莫佛的中心極限定理，立即就得出誤差( 近似地 ) 服從正態(tài)分布。拉普拉斯所指出的這一點(diǎn)有重大的意義，在于他給誤差的正態(tài)理論一個(gè)更自然合理、更令人信服的解釋。因?yàn)椋咚沟恼f法有一點(diǎn)循環(huán)論證的氣味：由于算術(shù)平均是優(yōu)良的，推出誤差必須服從正態(tài)分布；反過來， 由后一結(jié)論又推出算術(shù)平均及最小二乘估計(jì)的優(yōu)良性，故必須認(rèn)定這二者之一 ( 算術(shù)平均的優(yōu)良性， 誤差的正態(tài)性 ) 為出