第五章殘差與誤差檢驗(yàn)課件

5,殘差與誤差檢驗(yàn)

5.1殘差

5.2粗差與數(shù)據(jù)探測(cè)

5.3模型誤差及其檢驗(yàn)

5.4穩(wěn)健估計(jì)5.5基于相關(guān)分析的粗差檢驗(yàn)

5.1殘差1)普通殘差及其性質(zhì)

1,普通殘差的定義觀(guān)測(cè)方程:L=AX-Δ回歸模型:y=xβ-e

誤差方程:

2,平差因子(帽子矩陣,投影矩陣)3,普通殘差的性質(zhì)2)標(biāo)準(zhǔn)化殘差3)預(yù)測(cè)殘差δi

與學(xué)生化殘差1,定義:在觀(guān)測(cè)值L中去掉Li

后,有:2,δi與vi的關(guān)系3,標(biāo)準(zhǔn)化預(yù)測(cè)殘差與學(xué)生化殘差4)不相關(guān)殘差1,普通殘差的相關(guān)性2,標(biāo)準(zhǔn)化殘差的相關(guān)性3,不相關(guān)殘差

n個(gè)殘差中有n-t個(gè)是獨(dú)立的，不獨(dú)立的t個(gè)vi是與該n-t個(gè)vi線(xiàn)性相關(guān)的。W是由V轉(zhuǎn)換成的等權(quán)獨(dú)立的n-t個(gè)不相關(guān)殘差。5.2粗差與數(shù)據(jù)探測(cè)1，粗差及其對(duì)殘差的影響（1）粗差的定義

異常誤差，超限誤差ε＞2~3σ

當(dāng)L含有粗差ε時(shí)，

（2）粗差對(duì)殘差的影響

當(dāng)L含有觀(guān)測(cè)誤差ε時(shí)，，

（3）當(dāng)僅有一個(gè)觀(guān)測(cè)值含粗差k時(shí)

可以看到

,

當(dāng)

rkk=0,vkk=0;不能反映粗差

當(dāng)

rkk=1,vkk=εk;完全反映粗差

一般要求：

0<rkk<1;rkk>rkj;2，數(shù)據(jù)探測(cè)法(u檢驗(yàn)）

原假設(shè)H0:E(vk)=0;（

vk一般取殘差中值最大的）

備選假設(shè)H1:E(vk)≠0;

檢驗(yàn)統(tǒng)計(jì)量：當(dāng)原假設(shè)H0

成立時(shí)，統(tǒng)計(jì)量uk

~N(0,1);k很小時(shí)影響判斷。檢驗(yàn)步驟：

1）計(jì)算uk;2)選擇適當(dāng)?shù)娘@著水平α，查得分位值

u

α/2;3)比較uk

與u

α/2

，若uk<u

α/2

，

則接受

H0

荷蘭巴爾達(dá)教授提出的數(shù)據(jù)探測(cè)法：一次剔除一個(gè)粗差。3，單個(gè)粗差的殘差檢驗(yàn)（1）τ檢驗(yàn)原假設(shè)H0:E(vk)=0;

備選假設(shè)H1:E(vk)≠0;

檢驗(yàn)統(tǒng)計(jì)量當(dāng)原假設(shè)H0

成立時(shí)，統(tǒng)計(jì)量

檢驗(yàn)步驟：

1）計(jì)算|rk|;2)選擇適當(dāng)?shù)娘@著水平α，查得分位值τα/2;3)比較

|rk|與τα/2

，若|rk|

<τα/2

則接受

H0

。（2）β檢驗(yàn)原假設(shè)H0:E(vk)=0;

備選假設(shè)H1:E(vk)≠0;

檢驗(yàn)統(tǒng)計(jì)量當(dāng)原假設(shè)H0

成立時(shí)，統(tǒng)計(jì)量

Bk~β（1/2，(n-t-1)/2)。

檢驗(yàn)步驟：

1）計(jì)算Bk;2)選擇適當(dāng)?shù)娘@著水平α，查得分位值Bα/2;3)比較

Bk與uα/2

，若

Bk<uα/2

則接受

H0

。（3）t檢驗(yàn)原假設(shè)H0:E(vk)=0;

備選假設(shè)H1:E(vk)≠0;

檢驗(yàn)統(tǒng)計(jì)量

當(dāng)原假設(shè)H0

成立時(shí)，統(tǒng)計(jì)量~t(n-p-1)

檢驗(yàn)步驟：

1）計(jì)算;2)選擇適當(dāng)?shù)娘@著水平α，查得分位值tα/2;3)比較

與tα/2

，若

<tα/2

則接受

H0

。4，幾種統(tǒng)計(jì)量（對(duì)同一對(duì)象觀(guān)測(cè)）

（1）Grubbs統(tǒng)計(jì)量

（2）Grubbs型ESD統(tǒng)計(jì)量

臨界值表19(P.192).

(3)Dixon統(tǒng)計(jì)量—相鄰差統(tǒng)計(jì)量

臨界值表20(P.193),rij

之一大于臨界值則認(rèn)為是粗差。（4）極差統(tǒng)計(jì)量（5）RST統(tǒng)計(jì)量（6）偏態(tài)統(tǒng)計(jì)量與峰態(tài)統(tǒng)計(jì)量以上幾種方法的適用性評(píng)價(jià)，在教材P90。5.3,模型誤差及其檢驗(yàn)1，函數(shù)模型的誤差采用模型:L=AX-Δ;正確模型:L=AX+BY-δδ=Δ-BY(-BY可以看是作系統(tǒng)誤差)

采用模型:L=AX+BY-Δ;正確模型:L=AX-δΔ=δ+BY(BY可以看是作系統(tǒng)誤差)

當(dāng)Δ=δ~N{0,Var(δ)}時(shí),E(Δ)=E(δ)=0

當(dāng)Δ含系統(tǒng)誤差(-BY或BY)時(shí),E(Δ)=±BY≠E(δ)＝0.

（

Δ—觀(guān)測(cè)誤差。δ—偶然誤差）2，隨機(jī)模型的誤差

L=AX-Δ

采用模型:Δ~N{0,Var(δ)};正確模型:Δ~N{0,Var(Δ)}

可以歸結(jié)為定權(quán)不準(zhǔn)確

Pc=P+ΔP

一般：P1c=P1;P2c=P2+ΔP2

補(bǔ)充：模型L=AX+BY-δ的適用條件一、模型誤差的概念模型誤差：建立的模型（包括函數(shù)模型和隨機(jī)模型）與客觀(guān)現(xiàn)實(shí)之間的差異。二、附加參數(shù)Y的平差原理

系統(tǒng)誤差列方程舉例3，線(xiàn)性假設(shè)檢驗(yàn)

設(shè)有模型誤差，有方程

建立統(tǒng)計(jì)量模型誤差檢驗(yàn)步驟：

1）計(jì)算ΩB=Ω-R，F(xiàn)2)選取顯著水平α，查取F1-α(m,n-t-m)；

3）比較F

與F1-α(m,n-t-m）若F>F1-α(m,n-t-m）則原假設(shè)H0

不成立5.4穩(wěn)健估計(jì)1、最小二乘法：可以抵御大量隨機(jī)小誤差的影響，估值無(wú)偏，方差最小。2、穩(wěn)健估計(jì)：平差時(shí)犧牲估值的部分最優(yōu)性(效率)，以達(dá)到抗御粗差的目的。是在抗差的前提下講效率。3、穩(wěn)健性與影響函數(shù)穩(wěn)健性：當(dāng)實(shí)際模型偏離假定模型時(shí)，參數(shù)估值的性能不會(huì)受到太大的影響。4、廣義極大似然估計(jì)（M估計(jì))－－以式定義極小條件的一類(lèi)估計(jì)。5、選權(quán)迭代法抗差估計(jì)指導(dǎo)思想：在抗差能力和效率（指估值最優(yōu)性）中求得最佳平衡。一般要求其效率達(dá)到經(jīng)典平差效率的90%以上。是在抗差的前提下談效率?？共罟烙?jì)實(shí)質(zhì)：犧牲最小二乘估計(jì)的最優(yōu)性，達(dá)到抵抗粗差污染的目的?？共罟烙?jì)的特點(diǎn)：當(dāng)觀(guān)測(cè)數(shù)據(jù)的實(shí)際分布偏離假定模型時(shí)的不敏感性。其對(duì)子樣分布要求不十分嚴(yán)格，只要子樣近似服從某一模型。若母體確實(shí)為正態(tài)時(shí)，抗差估計(jì)值無(wú)最小二乘估計(jì)值優(yōu)良。

在觀(guān)測(cè)數(shù)據(jù)中出現(xiàn)0.2%的粗差時(shí)，最小二乘估值便失去了其最優(yōu)性，但0.2%的粗差概率完全正常，特別是在現(xiàn)代的大數(shù)據(jù)量自動(dòng)測(cè)量中。所以經(jīng)典平差適用的范圍狹窄。

粗差作為一種模型誤差，可以從兩種角度去描述它：1）將粗差歸入函數(shù)模型—數(shù)據(jù)探測(cè)法（也稱(chēng)均值漂移模型）2）將粗差歸入隨機(jī)模型—穩(wěn)健估計(jì)法（也稱(chēng)方差膨脹模型）穩(wěn)健估計(jì)法適用范圍：適用于確定性函數(shù)模型：如控制網(wǎng)平差的各類(lèi)函數(shù)模型，且觀(guān)測(cè)值要求大部分正確。不適用不確定性的函數(shù)模型：如回歸數(shù)學(xué)模型、時(shí)間序列分析等。設(shè)有獨(dú)立觀(guān)測(cè)值L1、L2----Ln，其誤差的密度函數(shù)為：根據(jù)極大似然估計(jì)法，其似然函數(shù)為：即或選用函數(shù)代替，使其定義廣義化：M估計(jì)—廣義極大似然估計(jì)估計(jì)準(zhǔn)則：其中，取為增長(zhǎng)較慢的殘差的函數(shù)，稱(chēng)為極值函數(shù)，為其導(dǎo)數(shù)。函數(shù)的構(gòu)造應(yīng)該滿(mǎn)足：隨著殘差的增大該函數(shù)應(yīng)該是增長(zhǎng)很慢或是有界的，不會(huì)隨殘差一直增長(zhǎng)下去。當(dāng)觀(guān)測(cè)值等權(quán)且互獨(dú)立時(shí)，權(quán)函數(shù)為：當(dāng)觀(guān)測(cè)值不等權(quán)但互獨(dú)立時(shí)，等價(jià)權(quán)為：上兩式稱(chēng)為：第j個(gè)觀(guān)測(cè)值第i次迭代時(shí)所使用的權(quán)函數(shù)或等價(jià)權(quán)。Pj—第j個(gè)觀(guān)測(cè)值的觀(guān)測(cè)權(quán)。M估計(jì)的迭代公式：（以權(quán)函數(shù)為例）第一次平差時(shí)，權(quán)陣P=I。若為不等精度平差時(shí)，只需將上式中的權(quán)函數(shù)換成等價(jià)權(quán)。且第一次平差時(shí)權(quán)陣為觀(guān)測(cè)值權(quán)陣。幾種常見(jiàn)的選權(quán)迭代法1、Huber法2、一次范數(shù)最小法（L1估計(jì)）（中位數(shù)法）3、P范最小法（LP法）4、IGG法（周江文法）5、經(jīng)典最小二乘法（不具有抗差性）v1v2v3v4v5v6v7給定誤差0.640.73-0.84-0.260.01-10.481.86L2-2.290.53-0.812.572.906.00-3.42L1~2-1.4100.07-0.031.499.42-1.42L1-1.4500.0301.539.41-1.39Huber法-0.95-0.200.53-0.231.239.68-1.42

丹麥法-0.58-0.100.980.390.4810.75-1.101546372ABH3H1H2如圖，為模擬水準(zhǔn)網(wǎng)，7個(gè)觀(guān)測(cè)值配賦了隨機(jī)誤差，在第六條路線(xiàn)的觀(guān)測(cè)高差中附加了10mm的粗差。用各種算法結(jié)果列于下表。從表中看各種選權(quán)迭代法均有抗差性，而最小二乘法不具有抗差性。選權(quán)迭代法的缺陷：1、由于粗差的大小及位置未知，只能以殘差來(lái)研究，且目標(biāo)函數(shù)選擇成為殘差v的函數(shù)，這并不一定符合實(shí)際。2、選權(quán)迭代法中，第一次按最小二乘平差求得的殘差受粗差的影響很大，由此將影響迭代的權(quán)函數(shù)P(v)的選擇，可能導(dǎo)致錯(cuò)誤的收斂。M估計(jì)迭代結(jié)束時(shí)，正常觀(guān)測(cè)值落入保權(quán)區(qū)；非正常但可用的觀(guān)測(cè)值落入降權(quán)區(qū)；含粗差的觀(guān)測(cè)值落入除權(quán)區(qū)。

以上所列為理想狀態(tài)。最好是用M估計(jì)法定位出粗差后，剔除粗差，重新用經(jīng)典平差法進(jìn)行平差。穩(wěn)健估計(jì)（選權(quán)迭代法）的精度評(píng)定之所以稱(chēng)以上三式為近似公式，是因?yàn)榻频匾暤葍r(jià)權(quán)為常數(shù)矩陣（其實(shí)等價(jià)權(quán)是隨機(jī)量，是殘差的函數(shù)）。5.5基于相關(guān)分析的粗差檢驗(yàn)方法1、相關(guān)系數(shù)的分布計(jì)算出的r