一元線性回歸模型的參數(shù)估計(jì).ppt

1、2.3線性回歸模型的參數(shù)估計(jì)，1，參數(shù)估計(jì)的一般最小二乘法(OLS) 2，參數(shù)估計(jì)的最大似然方法(ML)(略)3，參數(shù)估計(jì)的力矩方法(MM)(略)4，最小二乘法估計(jì)的統(tǒng)計(jì)特性5 Yi(略)也就是說，樣例回歸線的點(diǎn)和實(shí)際觀測點(diǎn)Yi的“總誤差”應(yīng)盡可能小，或者已求解變量的估計(jì)和觀測值應(yīng)在整體上最接近。(熟練參數(shù)的一般最小二乘估計(jì)的柔道過程。)一般最小二乘法(Ordinary least squares，OLS)牙齒提供的判斷標(biāo)準(zhǔn)是兩個(gè)差異的平方和，最小值。(2.3.1)，為什么使用平方和？由于樣例回歸線的點(diǎn)與實(shí)際觀測點(diǎn)Yi的差值可以為正，因此簡單總和可以抵消誤差，并且只有平方和可以反映總體上的接近

2、程度。這就是最小二乘法原理。4個(gè)0:(與以下公式2.3.2結(jié)合)，即偏差和0；因此，殘差和0，一階條件的結(jié)論一階條件的結(jié)論，方程(2.3.2)或(2.3.3)稱為正則方程。(2.3.2)，(2.3.3)，(2.3.4)，利用，記憶，其中，(；(寫OLS估計(jì)量的偏差形式。)參數(shù)的估計(jì)結(jié)果通過最小二乘法獲得，因此稱為“一般最小二乘法估計(jì)”(ordinary least squares estimators)。通過推斷(2.3.4-1)和(2.3.4-2)賦值表達(dá)式(2.3.4)、公式(2.3.4)，(；(使用手動(dòng)運(yùn)算(不是電腦軟件)對(duì)樣例數(shù)據(jù)進(jìn)行一元回歸模型建模的參數(shù)估計(jì)。)表2.3.1參數(shù)估算計(jì)

3、算表(不同于教材數(shù)據(jù))，)模型參數(shù)估算后，必須考慮參數(shù)估算的準(zhǔn)確度，即是否可以表示整體參數(shù)true值。通常，由于樣本波動(dòng)的存在和所選擇的估計(jì)方法的差異，預(yù)計(jì)參數(shù)和整個(gè)參數(shù)的實(shí)際值之間存在差異。因此，調(diào)查參數(shù)估算量的統(tǒng)計(jì)性質(zhì)成為衡量其估算量“好壞”的主要標(biāo)準(zhǔn)。主要從以下6個(gè)茄子方面進(jìn)行調(diào)查：線性，即是否是其他隨機(jī)變量的線性函數(shù)；沒有傾向性。也就是說，平均值或期望值是否等于總實(shí)際值。有效性，也就是說，在所有線性無偏估計(jì)中，最小方差是否越來越近，也就是說，如果樣本容量為無窮大，則估計(jì)量的平均序列傾向于整個(gè)true。一致性，即樣本容量無限大時(shí)，估計(jì)值根據(jù)概率收斂到總實(shí)值。漸近有效性，即樣本容量無限增長

4、時(shí)，估計(jì)值在所有一致估計(jì)值中具有最小的漸近方差。上述前三個(gè)茄子特性(路線、偏轉(zhuǎn)和有效性)也稱為估計(jì)量的有限樣例特性或小樣例特性。因?yàn)橐坏┠硞€(gè)估計(jì)具有這種特性，它就不會(huì)隨著樣品的大小而變化。具有線性、偏轉(zhuǎn)和有效性特性的估計(jì)值稱為最佳線性偏轉(zhuǎn)估計(jì)值(blue，best liner unbiased estimator)。在有限的樣本情況下，可能很難找到BLUE估計(jì)值，在樣本容量無限增加的情況下，可能需要調(diào)查估計(jì)值的漸進(jìn)性質(zhì)。上述以下三個(gè)茄子標(biāo)準(zhǔn)(漸進(jìn)偏轉(zhuǎn)、一致性和漸進(jìn)有效性)稱為估計(jì)量的無限采樣特性或大采樣增量特性。在上述6個(gè)茄子特性中，偏向性和有效性是小樣本特性中最重要的兩個(gè)茄子特性，不需要線性

5、。由于大樣本的特性，問題比較復(fù)雜，人們更加關(guān)注一致性。，(1)定線(定線)，即預(yù)估量和范例的定線組合。如(2.3.5)表達(dá)式所示，可以得到其中可用的等式結(jié)論。如果參數(shù)估計(jì)量具有線性特性，則可以簡化經(jīng)濟(jì)現(xiàn)象，輕松建立模型，更清楚地表示經(jīng)濟(jì)意義。(分母相同，分子合計(jì))，(2)無偏或無偏，是指參數(shù)估計(jì)量的平均值(估計(jì))與整體回歸參數(shù)的實(shí)際值的比較。下圖：無偏估計(jì)(左)和無偏估計(jì)(右)。無偏(Unbiased)，即估計(jì)量，平均值(performance)等于整個(gè)回歸參數(shù)的實(shí)際值。線性度(分母相同，分子和相等)，同樣，(3)有效性(Efficient)，即所有線性偏轉(zhuǎn)估計(jì)中的最小平方估計(jì)，最小方差。(省

6、略證明過程)，高斯馬爾可夫定理：在給定經(jīng)典線性回歸的假設(shè)下，最小二乘估計(jì)具有線性、偏振、有效性等優(yōu)良特性。顯然，這種優(yōu)秀的性質(zhì)取決于對(duì)模型的基本假設(shè)。附件：小樣品、大樣品和樣品容量問題。數(shù)理統(tǒng)計(jì)有大樣本理論或大樣本性質(zhì)的提法。討論了當(dāng)特定統(tǒng)計(jì)數(shù)據(jù)的準(zhǔn)確分布未知(或因復(fù)雜而不易獲得)時(shí)樣本楊怡無窮大時(shí)的極端行為。如果存在極限分布且樣本楊怡足夠，則牙齒極限分布可以用作近似分布。小樣本是指與大樣本相比，所有樣本量(不僅限于小樣本)的統(tǒng)計(jì)遵從性的準(zhǔn)確分布。例如，自由度傾向的極限分布是標(biāo)準(zhǔn)正態(tài)分布。正態(tài)總體標(biāo)準(zhǔn)偏差S的分布是自由度為n1的T分布，因此在故意估計(jì)時(shí)，可以對(duì)所有N使用T分布。n牙齒較大時(shí)，正

7、態(tài)分布也可以用作近似。如果自由度大于30，則與正態(tài)分布非常接近，因此在牙齒情況下，如果大于示例楊怡30，則可以利用較大的示例特性。但是，在所有情況下，不能推斷大于N牙齒30的樣例特性(如果存在極限分布)可用。因此，大于樣品楊怡30的不能稱為大樣品，小于30的不能稱為小樣品。5，參數(shù)估計(jì)的概率分布和隨機(jī)干擾項(xiàng)分布的估計(jì)1。為了測量參數(shù)估計(jì)的概率分布(平均值和方差)參數(shù)估計(jì)的精度，需要進(jìn)一步確定參數(shù)估計(jì)的概率分布。滿足假設(shè)條件的一般最小二乘估計(jì)服從正態(tài)分布。從估計(jì)量的線性和有效性中，可以得到兩個(gè)茄子估計(jì)量的概率分布。，可證明的最小平方估計(jì)是公式(2.3.15)(省略證明過程)。那是對(duì)關(guān)島的無偏估計(jì)量。(2.3.15)，RSS:殘差平方和；N-2=n-k-c=m(其中n是樣品數(shù)，k是收購數(shù)，c是常數(shù)項(xiàng)目數(shù))。m是自由度。牙齒章節(jié)：m=n-1-1=n-2，(為估計(jì)和隨機(jī)碰撞項(xiàng)目寫入分布表達(dá)式)，107216/(10-2)=115.7672，補(bǔ)充測試問題1.2.n:最小平方原則3。使用正則方程表達(dá)式和OLS估計(jì)量的偏差形式。4.使用手動(dòng)運(yùn)算(不是電腦軟件)估計(jì)表2.3.1中樣例數(shù)據(jù)的