第三講一元線性回歸演示文稿

第三講一元線性回歸演示文稿第一頁，共五十頁。（優(yōu)選）第三講一元線性回歸第二頁，共五十頁。Y=10.766+0.005X+u第三頁，共五十頁。測試成績和學生/教師比關系的OLS估計值及其分析。打開數(shù)據文件：score.dtaregtestscrstr第四頁，共五十頁。testscr=698.93-2.28str+u第五頁，共五十頁?；貧w結果的分析第六頁，共五十頁。第七頁，共五十頁。1。截距項和斜率的含義是什么？本題的截距表示：學生教師比為0（沒有學生時）的測試成績的最高值，因此沒有實際意義。可以理解為確定回歸線的系數(shù)。第八頁，共五十頁。斜率：表示彈性

-2.28的斜率表示當每個教師對應的學生人數(shù)增加1個時，學區(qū)測試成績將平均下降2.28分。而當每個教師對應的學生人數(shù)減少2個時，測試成績平均提高：((-2)×(-2.28))=4.56分，負的斜率表明每個教師對應的學生人數(shù)越多(較大規(guī)模的班)，則相應的測試成績越差。第九頁，共五十頁。

2。方程的經濟預測能力：得到回歸結果后，可以進行簡單的預測，只要給定學生/教師比（X）取值后就能預測全學區(qū)的測試成績了。

testscr=698.93-2.28×str+u

如每個教師對應20個學生的學區(qū)，其測試成績預測值為698.93-2.28×20=653.30。當然，由于其他決定學區(qū)成績的因素（u）的影響，預測不會是絕對正確的。預測的準確程度取決于模型的優(yōu)劣。第十頁，共五十頁。3。方程的斜率的大小評估：觀察選取的420個樣本的總體分布（分位數(shù)）第十一頁，共五十頁。一個例子：

假設某個學區(qū)處于加利福尼亞學區(qū)的中位數(shù)，對應的學生/教師比為19.7，現(xiàn)在想減少到17.7。一方面：她的學區(qū)學生/教師比從50%分位數(shù)移到接近10%分位數(shù)。這是一個相當大的變動。另一方面：帶入方程，測試成績預計從654.5提高到659.1，從50%分位數(shù)移到將近60%分位數(shù)。第十二頁，共五十頁。股票的beta值：證券組合的風險與報酬（一）證券組合的風險同時投資于多種證券的方式稱為證券的投資組合，簡稱證券組合或投資組合。證券組合的風險分為可分散風險與不可分散風險?？煞稚L險不可分散風險別稱非系統(tǒng)性風險公司特別風險系統(tǒng)性風險市場風險含義某些因素對單個證券造成經濟損失的可能性某些因素給市場上所有證券都帶來經濟損失的可能性特性可通過證券持有的多樣化來抵消不能通過證券組合分散掉13可分散風險可通過證券組合來消減第十三頁，共五十頁。Rm是市場組合的期望收益，一般用C&P500組合收益，Rf是市場無風險收益，可以理解為各類存款收益。第十四頁，共五十頁。我們把利用OLS方法估計出的參數(shù)b0和b1稱為OLS估計量，用表示。用OLS方法估計出的方程：第十五頁，共五十頁。殘差的概念殘差是每個樣本的擬合值和實際值之間的差。用ei或者表示。樣本回歸模型：樣本擬合線：殘差值：第十六頁，共五十頁。基本原理：1。確定樣本個數(shù)n，給出觀測值(Xi，Yi)，

i=1,2,3,…n。由于樣本容量已定，樣本回歸模型可寫為：其中稱為回歸系數(shù)(擬合參數(shù))，稱為殘差（擬合誤差）。普通最小二乘法（OLS）第十七頁，共五十頁。2。利用OLS法尋找殘差的平方和最小的直線，估計出的具體值。3。此時可得到利用OLS方法測算出的Y的擬合值，注意，并不是實際的Y值，有如下計算公式：因此，是Y的估計值或擬合值，而殘差的大小決定了模型的優(yōu)劣。第十八頁，共五十頁。思考：與ui是否是一回事？有什么區(qū)別和聯(lián)系？第十九頁，共五十頁。直線上的點的坐標是，樣本點的坐標是Yi

是從樣本點到直線的距離。第二十頁，共五十頁。擬合優(yōu)度擬合優(yōu)度R2：描述OLS回歸線對樣本數(shù)據的擬合效果；描述觀測值在回歸線附近的離散程度；同時描述了樣本數(shù)據有多大程度可以被回歸方程所解釋?；貧wR2是指可由Xi解釋(或預測)的Yi樣本方差的比例。第二十一頁，共五十頁。OLS方法得到的擬合線一定是所有直線中擬合效果最好的，但由于樣本自身的原因，擬合效果有好有壞。最典型的例子是錯誤的函數(shù)形式第二十二頁，共五十頁。這是一個典型的對數(shù)函數(shù)的例子，用線性方程，模擬效果較差。第二十三頁，共五十頁。擬合優(yōu)度第二十四頁，共五十頁。

對于所有樣本點的平方和，均有下列結論：記總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）第二十五頁，共五十頁。TSS=ESS+RSS（證明見附錄）

Y的觀測值圍繞其均值的總離差(totalvariation)可分解為兩部分：一部分來自回歸線(ESS)，另一部分則來自隨機勢力(RSS)。在給定樣本中，TSS不變，如果實際觀測點離樣本回歸線越近，則ESS在TSS中占的比重越大，因此

擬合優(yōu)度：回歸平方和ESS/Y的總離差TSS第二十六頁，共五十頁。2、擬合優(yōu)度R2統(tǒng)計量

稱R2為（樣本）擬合優(yōu)度/可決系數(shù)/判定系數(shù)（coefficientofdetermination)。

擬合優(yōu)度的取值范圍：[0，1]

R2越接近1，說明實際觀測點離樣本線越近，擬合優(yōu)度越高。第二十七頁，共五十頁。由于每次向回歸方程中增加解釋變量，R2必然只增不減。為此，可以通過調整自由度對解釋變量過多進行“懲罰”，因此，可以定義“校正的擬合優(yōu)度”

第二十八頁，共五十頁。察看上述例題的擬合優(yōu)度注意：1。擬合優(yōu)度一定程度上反映了選取變量的對被解釋變量的“解釋能力”。2。擬合優(yōu)度低一般說明方程忽略了某些重要的解釋因素。3。在大樣本下，擬合優(yōu)度一般不會太高。第二十九頁，共五十頁?；貧w標準誤差（SER）回歸標準誤差(standarderroroftheregression.SER)是回歸誤差u的標準差估計量，是用因變量單位度量的觀測值在回歸線附近的離散程度。對于誤差項ui，我們更關心它在回歸線附近的離散程度，即標準差。希望標準差越小越好。由于ui本身是不可知的，因此，實際上sui是無法獲得的，為了模擬其數(shù)值大小，我們用的標準差作為ui的標準差的估計值，稱為回歸的標準誤差。第三十頁，共五十頁。為什么要除以n-2？n-2是自由度。第三十一頁，共五十頁。模型中樣本值可以自由變動的個數(shù)，稱為自由度。自由度=樣本個數(shù)—樣本數(shù)據受約束條件（方程）的個數(shù)。例如，樣本數(shù)據個數(shù)為n，它們受k個方程的約束（系數(shù)矩陣秩為k），那么，自由度df=n-k。第三十二頁，共五十頁。其中n-2為自由度。由于隨機變量必須滿足k+1個正規(guī)方程（一元線形回歸模型中有2個方程），故只有n-k-1個是相互獨立的。經過這樣校正后，才是無偏估計。第三十三頁，共五十頁。如果無任何特征和規(guī)律可言，整個計量模型的建立將無法開展，因此，我們需要人為地為它設定一些假定條件。如果下列假定條件滿足，我們就可以用最小二乘法對模型進行回歸估計。本書中的經典假設是對于大樣本數(shù)據而言，根據中心極限定理，大樣本數(shù)據有很好的分布特征。第三十四頁，共五十頁。假設1:給定Xi時ui的條件分布均值為零(1)隨機誤差項ui的數(shù)學期望為0。

E(ui|Xi)=0。同時：

E(Yi|Xi)=E()=E()=

理論上，隨機誤差項被假定為沒有被納入到模型中的微小影響，因此，沒有理由相信這樣一些影響會以一種系統(tǒng)的方式使被解釋變量變大或者變小，可以假定其均值為0。第三十五頁，共五十頁。第三十六頁，共五十頁。例如對某一給定的班級規(guī)模Xi，如每班20個學生，其他因素ui有時使成績高于預測值(ui>0)，有時使成績低于預測值(ui<0)，但就總體平均而言，ui的分布的均值為零。同時，給定班級規(guī)模Xi，由于ui的干擾，某些Y’i的值大于Yi，某些Y’i的值小于Yi，但就總體平均而言，Y’i的分布的均值為E(Yi|Xi)=B0+B1Xi，即總體均值在回歸線上。第三十七頁，共五十頁。推論E(ui|Xi)=0意味著ui和Xi不相關，即：Corr(ui,Xi)=0這是最小二乘法最基本的假設，如果Corr(ui,Xi)<>0，模型是有偏的。第三十八頁，共五十頁。假設2：(Xi,Yi)滿足獨立同分布每次從總體中的抽樣都包含相同的分布；同時，每次抽樣均是獨立進行的。可以證明：(Xi,Yi)滿足獨立同分布，則Xi也滿足獨立同分布。第三十九頁，共五十頁。假設3：不太可能出現(xiàn)大異常值有限峰度假設第四十頁，共五十頁。當出現(xiàn)大異常值時，X和Y分布的峰度會變得很大。包含四階距，要求其有限。即：0<E(Xi4)<∞0<E(Yi4)<∞第四十一頁，共五十頁。出現(xiàn)大異常值的一種可能是數(shù)據登錄錯誤，如印刷錯誤或對不同觀測錯誤地采用了不同的單位：如設想一下收集以米為單位的學生身高數(shù)據，但不小心把其中一個學生的身高記成了以厘米為單位。發(fā)現(xiàn)異常值的一種方法是畫出數(shù)據圖。如果你確定是由于數(shù)據登錄錯誤造成了異常值，則你可以改正這個錯誤，如果不能改正就把它從數(shù)據集中刪除。第四十二頁，共五十頁。最小二乘假設的作用主要作用：大樣本下，抽樣分布服從正態(tài)分布。同時，假設樣本數(shù)據沒有錯誤。第四十三頁，共五十頁。OLS估計量的抽樣分布第四十四頁，共五十頁。OLS估計量的抽樣分布在ui滿足高斯假定條件時，通過OLS方法，我們可以得到回歸系數(shù)的估計量成為的擬合值。注意：是不是兩個常數(shù)？第四十五頁，共五十頁。計量回歸模型中，對于要研究的問題，可以建立方程：這是總體的方程描述。應該能夠確定。但事實上我們沒有能力獲得整體信息，只能通過部分數(shù)據模擬整體分布，即抽樣。第四十六頁，共五十頁。我們是在總體中進行抽樣。每抽取一組樣本就會有一組相應的回歸系數(shù)，因此，一定不是常數(shù)，而是隨機變量