參數(shù)估計與假設(shè)檢驗課件

第一章參數(shù)估計與統(tǒng)計檢驗測繪與遙感科學(xué)系中南大學(xué)第一章參數(shù)估計與統(tǒng)計檢驗提綱1.1概述1.2點估計與區(qū)間估計1.3多維正態(tài)分布1.4參數(shù)估計方法1.5假設(shè)檢驗提綱1.1概述函數(shù)模型隨機模型平差：對模型中的做出最優(yōu)估計，就是參數(shù)估計的問題進行觀測，建立觀測與待估值之間的數(shù)學(xué)關(guān)系，即函數(shù)模型1.1概述函數(shù)模型1.1概述當(dāng)觀測方程>待求參數(shù)，即存在多余觀測時，方程超定。要根據(jù)觀測值的統(tǒng)計特性提出估計準(zhǔn)則，得到某種最優(yōu)性質(zhì)的解極大似然準(zhǔn)則最小二乘準(zhǔn)則極大驗后準(zhǔn)則最小方差準(zhǔn)則線性最小方差準(zhǔn)則總體最小二乘準(zhǔn)則…除了估計待估參數(shù)的最優(yōu)解，即點（定值）估計，還需要知道估值的范圍，即區(qū)間估計檢核參數(shù)估計的有效性，即統(tǒng)計檢驗1.1概述當(dāng)觀測方程>待求參數(shù)，即存在多余觀測時，方程超定。要根據(jù)總體樣本統(tǒng)計量描述作出推斷隨機抽樣（觀測值）（分布）（估計準(zhǔn)則）參數(shù)估計：利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù)。1.1點估計與區(qū)間估計算術(shù)平均數(shù)統(tǒng)計量

參數(shù)總體樣本統(tǒng)計量描述作出推斷隨機抽樣（觀測值）（分布）（估計準(zhǔn)點估計：通過一次具體抽樣值，估計參數(shù)取值的方法稱為參數(shù)的點估計問題。估計量：設(shè)為總體X的一個未知參數(shù)，統(tǒng)計量稱為的估計量。估計值：稱為的估計值1.1點估計與區(qū)間估計-點估計點估計：通過一次具體抽樣值一個待估參數(shù)，可以有幾個不同的估計量。例如，在估計總體方差時，和都可以作為估計量。1.1點估計與區(qū)間估計-點估計這就引出了如何衡量估計量好壞的標(biāo)準(zhǔn)。一個待估參數(shù)，可以有幾個不同的估計量。例如，無偏性：估計量的數(shù)學(xué)期望與總體待估參數(shù)的真值相等：P(

)BA無偏有偏1.1點估計與區(qū)間估計-點估計無偏性：估計量的數(shù)學(xué)期望與總體待估參數(shù)的真值相等：P(

有效性：在兩個無偏估計量中方差較小的估計量較為有效。AB

的抽樣分布

的抽樣分布P(

)1.1點估計與區(qū)間估計-點估計有效性：在兩個無偏估計量中方差較小的估計量較為有效。AB一致性：指隨著樣本容量的增大，估計量越來越接近被估計的總體參數(shù)。AB較小的樣本容量較大的樣本容量

P(X)X1.1點估計與區(qū)間估計-點估計一致性：指隨著樣本容量的增大，估計量越來越接近被估計的總體參根據(jù)事先確定的置信水平1-

，給出總體參數(shù)的一個估計范圍。置信水平1-

的含義是：對總體進行取樣，落入置信區(qū)間的概率是(1-

）。

估計值(點估計)置信下限置信上限置信區(qū)間1.1點估計與區(qū)間估計-區(qū)間估計根據(jù)事先確定的置信水平1-，給出總體參數(shù)的一個估計范圍落在總體均值某一區(qū)間內(nèi)的樣本

x_XX=

Z

x95%的樣本

-1.96

x

+1.96

x99%的樣本

-2.58

x

+2.58x90%的樣本

-1.65

x

+1.65

x1.1點估計與區(qū)間估計-區(qū)間估計落在總體均值某一區(qū)間內(nèi)的樣本x_XX=Zx1.2多維正態(tài)分布一維正態(tài)分布服從正態(tài)分布的一維隨機變量X的概率密度為：或常寫成：1.2多維正態(tài)分布一維正態(tài)分布1）多維正態(tài)隨機向量：設(shè)有ｍ個互相獨立的標(biāo)準(zhǔn)正態(tài)隨機變量構(gòu)成的隨機向量它們的有限個線性函數(shù)則稱X為ｎ維正態(tài)隨機向量。1.2多維正態(tài)分布1）多維正態(tài)隨機向量：1.2多維正態(tài)分布2）多維正態(tài)分布定義：n維正態(tài)隨機變量X的數(shù)學(xué)期望、方差陣為X的分布函數(shù)、概率密度都稱為ｎ維正態(tài)分布。3）多維正態(tài)分布性質(zhì)：正態(tài)隨機向量的線性函數(shù)還是正態(tài)的.1.2多維正態(tài)分布2）多維正態(tài)分布定義：1.2多維正態(tài)分布對多維正態(tài)隨機變量X：1.2多維正態(tài)分布對多維正態(tài)隨機變量X：1.2多維正態(tài)分布4）多維正態(tài)分布聯(lián)合概率密度

n維正態(tài)隨機向量X的聯(lián)合概率密度設(shè)有維正態(tài)隨機向量：則它的概率密度為：1.2多維正態(tài)分布4）多維正態(tài)分布聯(lián)合概率密度1.2多維正態(tài)分布特別地，對二維正態(tài)隨機向量[XY]T，若設(shè)其數(shù)學(xué)期望和方差陣為，則其聯(lián)合概率密度為：當(dāng)X與Y是互不相關(guān)的兩個正態(tài)隨機變量時：1.2多維正態(tài)分布特別地，對二維正態(tài)隨機向量[XY]T，若設(shè)其數(shù)學(xué)期望和方差5）多維正態(tài)分布條件概率密度對n+t維正態(tài)隨機向量X，且設(shè)

，則其聯(lián)合概率密度為：1.2多維正態(tài)分布5）多維正態(tài)分布條件概率密度1.2多維正態(tài)分布5）多維正態(tài)分布條件概率密度邊界概率密度由條件概率密度公式1.2多維正態(tài)分布5）多維正態(tài)分布條件概率密度1.2多維正態(tài)分布5）多維正態(tài)分布條件概率密度條件概率密度其中1.2多維正態(tài)分布5）多維正態(tài)分布條件概率密度1.2多維正態(tài)分布例：某位同學(xué)與一位獵人一起外出打獵，一只野兔從前方竄過．只聽一聲槍響，野兔應(yīng)聲到下，如果要你推測，這一發(fā)命中的子彈是誰打的？你就會想，只發(fā)一槍便打中，由于獵人命中的概率一般大于這位同學(xué)命中的概率，看來這一槍是獵人射中的．這個例子所作的推斷就體現(xiàn)了極大似然法的基本思想。1.3參數(shù)估計方法-極大似然估計例：1.3參數(shù)估計方法-極大似然估計設(shè)有參數(shù)向量X（可以是非隨機量，也可以是隨機向量），為了估計X，進行了ｎ次觀測，得到觀測向量L的觀測值，又假定對X的所有可能取值為，在的條件下得到的觀測向量L的條件概率密度為。如果是中的最大值，那么是X的準(zhǔn)確值的可能性最大,因此,極大驗后準(zhǔn)則:1.3參數(shù)估計方法-極大似然估計此時把叫做X的極大似然估值，并記作。設(shè)有參數(shù)向量X（可以是非隨機量，也可以是隨機向量），為了估極大似然解法：稱為似然函數(shù)，稱為對數(shù)似然函數(shù)。怎么獲取條件概率密度？全概率與邊際概率密度估計：觀測條件或假設(shè)決定或1.3參數(shù)估計方法-極大似然估計極大似然解法：或1.3參數(shù)估計方法-極大似然估計假設(shè)f(l/x)是正態(tài)條件概率密度時,有似然方程等價于1.3參數(shù)估計方法-極大似然估計假設(shè)f(l/x)是正態(tài)條件概率密度時,有似然方程等價于1.1.3參數(shù)估計方法-極大似然估計1.3參數(shù)估計方法-極大似然估計例1.3參數(shù)估計方法-極大似然估計例1.3參數(shù)估計方法-極大似然估計1.3參數(shù)估計方法-極大似然估計1.3參數(shù)估計方法-極大似然估計基本思想：使誤差平方和最小，達到在誤差之間建立一種平衡，以防止某一極端誤差對決定參數(shù)的估計值起支配地位。這有助于揭示更接近真實的狀況。具體方法：是為使誤差平方和為最小，可通過求誤差平方和對待估參數(shù)的偏導(dǎo)數(shù)，并令其等于0，以求得參數(shù)估計量。1.3參數(shù)估計方法-最小二乘估計基本思想：使誤差平方和最小，達到在誤差之間建立一種平衡，以防設(shè)被估計量（未知的參數(shù)向量）為X，觀測向量為L，觀測誤差為△，觀測方程為：

設(shè)X的估值為，并記：所謂的最小二乘估計，就是要求所求得的估值使下列二次型達到最小值，即：則稱為X的最小二乘估值記為。1.3參數(shù)估計方法-最小二乘估計設(shè)被估計量（未知的參數(shù)向量）為X，觀測向量為L，觀測誤差為△最小二乘估計是測量中求參數(shù)估計最普遍、最主要的方法，在其它學(xué)科領(lǐng)域中也有廣泛的應(yīng)用，主要原因：數(shù)理統(tǒng)計觀點-需要觀測向量的驗前統(tǒng)計信息最少；數(shù)學(xué)觀點-提供了最優(yōu)的解一組多余觀測的線性代數(shù)方程的方法；數(shù)值計算角度-最小二乘導(dǎo)出法方程組是一線性代數(shù)方程組，其系數(shù)矩陣是對稱的。1.3參數(shù)估計方法-最小二乘估計最小二乘估計是測量中求參數(shù)估計最普遍、最主要的方法，在其它學(xué)但要保證最小二乘估計求出估值是最優(yōu)估值，要求：即：1、表示L中不含系統(tǒng)誤差和粗差；2、權(quán)陣P應(yīng)由L或△的協(xié)方差確定(這時，X必需是非隨機參數(shù)?。?。1.3參數(shù)估計方法-最小二乘估計但要保證最小二乘估計求出估值是最優(yōu)估值，要求：即：1.3參極大似然法與最小二乘估計兩種常用方法的比較：極大似然估計：極大似然法要求已知總體的分布，才能獲得估計量；參數(shù)可以是隨機的，也可是非隨機的。最小二乘估計：最小二乘估計方法對分布沒有嚴(yán)格的要求，無論哪種統(tǒng)計分布，均可進行估計；參數(shù)是非隨機的。1.3參數(shù)估計方法極大似然法與最小二乘估計兩種常用方法的比較：1.3參數(shù)估計是隨機參數(shù)向量X在的條件下的條件概率密度。如果是中的最大值，那么是X的準(zhǔn)確值的可能性最大。極大驗后準(zhǔn)則:一般用

表示，并稱之為極大驗后估值。極大驗后估計的解法：

稱之為驗后方程?；?.3參數(shù)估計方法-極大驗后估計是隨機參數(shù)向量X在的條件下的條件概率假設(shè)X和L均為正態(tài)隨機向量，此時條件概率密度為：其中：則極大驗后準(zhǔn)則等價于1.3參數(shù)估計方法-極大驗后估計假設(shè)X和L均為正態(tài)隨機向量，此時條件概率密度為：其中：則極大求一階偏導(dǎo)數(shù)，并令其等于零，得：故，極大驗后估值為：1.3參數(shù)估計方法-極大驗后估計求一階偏導(dǎo)數(shù)，并令其等于零，得：1.3參數(shù)估計方法-極大驗最小方差估計：是一種以估計誤差的方差為最小作為準(zhǔn)則的估計方法，即根據(jù)觀測向量L求參數(shù)X的估值，如果它的誤差方差比任何其它估值的方差小，就認為這個估值是最優(yōu)估值。估計誤差：，誤差方差：最小方差準(zhǔn)則：一般用表示最小方差估值1.3參數(shù)估計方法-最小方差估計最小方差估計：是一種以估計誤差的方差為最小作為準(zhǔn)則的估計方法誤差方差陣為參數(shù)的最小方差估值為：1.3參數(shù)估計方法-最小方差估計1.3參數(shù)估計方法-最小方差估計線性最小方差估計是放寬對概率密度的要求，只要求已知L和X的數(shù)學(xué)期望、方差、協(xié)方差，以及限定所求的估計量是所求觀測向量L的線性函數(shù)，再以估計量的均方誤差達到極小為最優(yōu)估計量的準(zhǔn)則：一般用表示線性最小方差估計1.3參數(shù)估計方法-線性最小方差估計線性最小方差估計是放寬對概率密度的要求，只要求已知L和X的數(shù)線性最小方差估計解法1.3參數(shù)估計方法-線性最小方差估計線性最小方差估計解法1.3參數(shù)估計方法-線性最小方差估計各種估計方法的關(guān)系1.3參數(shù)估計方法極大似然估計、極大驗后估計、最小方差估計，均要知道觀測向量或未知參數(shù)向量的條件概率密度（或聯(lián)合概率密度），所得到的估計量可以是L的任意函數(shù)；最小二乘估計不需要知道任何統(tǒng)計性質(zhì)，所得到的估計量是L的線性函數(shù)。極大驗后估計考慮了參數(shù)的X的先驗統(tǒng)計特性，改善了最小二乘估計。當(dāng)X是不具有先驗統(tǒng)計特性的非隨機量時,極大驗后估計退化為極大似然估計或最小二乘估計。各種估計方法的關(guān)系1.3參數(shù)估計方法極大似然估計、極大驗后各種估計方法的關(guān)系對正態(tài)分布，極大驗后估計、最小方差估計、線性最小方差估計得到的結(jié)果相同；

對正態(tài)分布，可由極大似然估計導(dǎo)出最小二乘估計。1.3參數(shù)估計方法各種估計方法的關(guān)系1.3參數(shù)估計方法在最小二乘中，一般認為系數(shù)矩陣A不存在誤差。整體最小二乘是當(dāng)A和L都存在誤差時的估計方法1.3參數(shù)估計方法-總體最小二乘估計在最小二乘中，一般認為系數(shù)矩陣A不存在誤差。整體最小二乘是當(dāng)導(dǎo)數(shù)計算1.3參數(shù)估計方法-總體最小二乘估計導(dǎo)數(shù)計算1.3參數(shù)估計方法-總體最小二乘估計參數(shù)估計與假設(shè)檢驗課件參數(shù)估計1.3參數(shù)估計方法-總體最小二乘估計參數(shù)估計1.3參數(shù)估計方法-總體最小二乘估計迭代計算1.3參數(shù)估計方法-總體最小二乘估計迭代計算1.3參數(shù)估計方法-總體最小二乘估計算例1.3參數(shù)估計方法-總體最小二乘估計LS=[4.5;-0.5]TLS=[6.6977;-0.9884]算例1.3參數(shù)估計方法-總體最小二乘估計LS=[4.5;-迭代計算1.4假設(shè)檢驗迭代計算1.4假設(shè)檢驗為什么要做假設(shè)檢驗？蘋果的故事爺爺讓孫子去買蘋果，并說：“你買的每個蘋果都要是甜的，不酸”；過了一會，孫子回來了，高興地告訴爺爺：“我買的每個蘋果都很甜”；爺爺一看，孫子在每個蘋果上都咬了一口，孫子沒撒謊…1.4假設(shè)檢驗為什么要做假設(shè)檢驗？蘋果的故事1.4假設(shè)檢驗什么是假設(shè)檢驗？概念事先對總體參數(shù)或分布形式作出某種假設(shè)然后利用樣本信息來判斷原假設(shè)是否成立類型參數(shù)假設(shè)檢驗非參數(shù)假設(shè)檢驗特點采用邏輯上的反證法依據(jù)統(tǒng)計上的小概率原理1.4假設(shè)檢驗什么是假設(shè)檢驗？概念1.4假設(shè)檢驗小概率原理小概率原理是假設(shè)檢驗的基本依據(jù)，即認為小概率事件在一次試驗中幾乎是不可能發(fā)生的。當(dāng)進行假設(shè)檢驗時，先假設(shè)H0正確，在此假設(shè)下，事件A出現(xiàn)的概率很小。經(jīng)過取樣試驗后，A出現(xiàn)了，則違反了上述原理，我們認為這是一個不合理的結(jié)果。這時，我們只能懷疑作為小概率事件A的前提假設(shè)H0的正確性，于是否定H0。反之，如果試驗中A沒有出現(xiàn)，我們就沒有理由否定假設(shè)H0，從而做出接受H0的結(jié)論。1.4假設(shè)檢驗小概率原理1.4假設(shè)檢驗原假設(shè)和備選假設(shè)原假設(shè)是關(guān)于總體而非樣本統(tǒng)計量的假設(shè)假設(shè)原假設(shè)是正確的原假設(shè)可能被接受也可能被拒絕備選假設(shè)是原假設(shè)的對立備選假設(shè)可能被接受也可能被拒絕1.4假設(shè)檢驗原假設(shè)和備選假設(shè)1.4假設(shè)檢驗顯著性水平：原假設(shè)為真時，拒絕原假設(shè)的概率，一般用表示

，也稱為置信度。常用的

值有0.01,0.05等置信水平：1-

檢驗統(tǒng)計量：用來決策（拒絕或不能拒絕零假設(shè)）時依據(jù)的樣本統(tǒng)計量。接受域與拒絕域：以雙側(cè)檢驗為例，若，則認為是接受域，其外則是拒絕域1.4假設(shè)檢驗顯著性水平：原假設(shè)為真時，拒絕原假設(shè)的概率，一般用表示，也雙側(cè)檢驗

顯著性水平、置信水平、接受域、拒絕域

抽樣分布H0值臨界值臨界值a/2a/2

樣本統(tǒng)計量拒絕域拒絕域接受域1-

置信水平1.4假設(shè)檢驗雙側(cè)檢驗

顯著性水平、置信水平、接受域、拒絕域抽樣分布H0左側(cè)檢驗

顯著性水平、置信水平、接受域、拒絕域

H0值臨界值a樣本統(tǒng)計量拒絕域接受域抽樣分布1-

置信水平1.4假設(shè)檢驗左側(cè)檢驗

顯著性水平、置信水平、接受域、拒絕域H0值臨界值右側(cè)檢驗

顯著性水平、置信水平、接受域、拒絕域

H0值臨界值a樣本統(tǒng)計量拒絕域接受域抽樣分布1-

置信水平1.4假設(shè)檢驗右側(cè)檢驗

顯著性水平、置信水平、接受域、拒絕域H0值臨界值歸納：假設(shè)檢驗的步驟提出原假設(shè)和備選假設(shè)確定適當(dāng)?shù)臋z驗統(tǒng)計量規(guī)定顯著性水平計算檢驗統(tǒng)計量的值作出統(tǒng)計決策根據(jù)給定的顯著性水平

，查表得出相應(yīng)的臨界值Z

或Z/2將檢驗統(tǒng)計量的值與

水平的臨界值進行比較得出接受或拒絕原假設(shè)的結(jié)論1.4假設(shè)檢驗歸納：假設(shè)檢驗的步驟1.4假設(shè)檢驗雙側(cè)檢驗H0值臨界值臨界值a/2a/2

樣本統(tǒng)計量拒絕域拒絕域接受域抽樣分布1-

置信水平1.4假設(shè)檢驗雙側(cè)檢驗H0值臨界值臨界值a/2a/2樣本統(tǒng)計量拒絕域拒雙側(cè)檢驗H0值臨界值臨界值

a/2a/2

樣本統(tǒng)計量拒絕域拒絕域接受域抽樣分布1-

置信水平1.4假設(shè)檢驗雙側(cè)檢驗H0值臨界值臨界值a/2a/2樣本統(tǒng)計量拒絕域雙側(cè)檢驗H0值臨界值臨界值a/2a/2

樣本統(tǒng)計量拒絕域拒絕域接受域抽樣分布1-

置信水平1.4假設(shè)檢驗雙側(cè)檢驗H0值臨界值臨界值a/2a/2樣本統(tǒng)計量拒絕域拒左側(cè)檢驗H0值臨界值a樣本統(tǒng)計量拒絕域接受域抽樣分布1-

置信水平觀察到的樣本統(tǒng)計量1.4假設(shè)檢驗左側(cè)檢驗H0值臨界值a樣本統(tǒng)計量拒絕域接受域抽樣分布1-左側(cè)檢驗H0值臨界值a樣本統(tǒng)計量拒絕域接受域抽樣分布1-

置信水平1.4假設(shè)檢驗左側(cè)檢驗H0值臨界值a樣本統(tǒng)計量拒絕域接受域抽樣分布1-右側(cè)檢驗H0值臨界值a樣本統(tǒng)計量拒絕域接受域抽樣分布1-

置信水平觀察到的樣本統(tǒng)計量1.4假設(shè)檢驗右側(cè)檢驗H0值臨界值a樣本統(tǒng)計量拒絕域接受域抽樣分布1-右側(cè)檢驗H0值臨界值a樣本統(tǒng)計量接受域抽樣分布1-

置信水平