第四講簡單線性相關(guān)與回歸

第四講簡單線性回歸本講主題簡單線性回歸模型TheSimpleLinearRegressionModel最小二乘法TheLeastSquaresMethod確定性系數(shù)TheCoefficientofDetermination模型假設(shè)及顯著性檢驗(yàn)ModelAssumptionsandTestingforSignificance用于估計(jì)和預(yù)測UsingforestimationandPrediction殘差分析ResidualAnalysis現(xiàn)象之間的關(guān)系變量之間的關(guān)系函數(shù)關(guān)系：變量之間存在著確定的相互依存關(guān)系。當(dāng)自變量取定一個(gè)值，因變量就有一個(gè)完全確定的量與之相對應(yīng)。相關(guān)關(guān)系：變量之間存在著的數(shù)量上的不確定的依存關(guān)系。相關(guān)關(guān)系包括因果關(guān)系例：居民收入提高與銀行存款上升；工資增長與價(jià)格增長；父母身高與子女身高；哥哥身高與弟弟身高；電話設(shè)備投資額與新建筑數(shù)量；產(chǎn)量與單位成本；受教育年限與工資；某種商品的價(jià)格與銷售量。家庭收入與食物支出額相關(guān)關(guān)系的種類

簡單相關(guān)與復(fù)相關(guān)正相關(guān)與負(fù)相關(guān)線性相關(guān)與非線性相關(guān)完全相關(guān)，不完全相關(guān)，不相關(guān)相關(guān)關(guān)系的表示法散點(diǎn)圖相關(guān)分析表相關(guān)變量的二元分布相關(guān)系數(shù)相關(guān)分析表

工齡與工資的聯(lián)合概率分布相關(guān)系數(shù)相關(guān)系數(shù)：是衡量變量之間線性相關(guān)密切程度的一個(gè)系數(shù)。式中：XY：X與Y的協(xié)方差；

X-----變量X的標(biāo)準(zhǔn)差；Y-----變量Y的標(biāo)準(zhǔn)差。相關(guān)系數(shù)是將協(xié)方差進(jìn)行標(biāo)準(zhǔn)化處理的結(jié)果。相關(guān)系數(shù)的意義-1r1它是一個(gè)系數(shù)，不受變量值水平和計(jì)量單位的影響。r>0，正相關(guān)。散點(diǎn)較為密集地分布在第I和第III象限。r<0,負(fù)相關(guān)。散點(diǎn)較為密集地分布在第II和第IV象限。相關(guān)系數(shù)的值r的值越接近1，表示線性相關(guān)程度越高。0|r|0.3弱相關(guān)0.3|r|0.5低度相關(guān)0.5|r|0.8顯著相關(guān)0.8|r|1高度相關(guān)相關(guān)系數(shù)也與樣本容量有關(guān)相關(guān)系數(shù)的顯著性檢驗(yàn)若從一個(gè)二元正態(tài)總體中隨機(jī)抽取一個(gè)樣本，由樣本數(shù)據(jù)算出的相關(guān)系數(shù)帶有隨機(jī)性。且樣本容量越小其隨機(jī)性越大。相關(guān)系數(shù)的顯著性檢驗(yàn)就是通過樣本相關(guān)系數(shù)r對總體相關(guān)系數(shù)作出推斷。相關(guān)系數(shù)的檢驗(yàn)H0：=0（總體相關(guān)系數(shù)為0）檢驗(yàn)統(tǒng)計(jì)量服從t(n-2)分布，在顯著性水平和自由度n-2下，查表得t/2，若|t|t/2,表明r在統(tǒng)計(jì)上是顯著的，兩變量線性相關(guān)。回歸分析回歸的概念：回歸(Regression)一詞源于19世紀(jì)英國生物學(xué)家葛爾登對人體遺傳特征的實(shí)驗(yàn)研究。他把人的身高趨向于平均高度的現(xiàn)象稱為“回歸”。相關(guān)系數(shù)測量變量之間關(guān)系的密切程度，如果已知兩變量顯著相關(guān)，我們就希望能從一個(gè)變量的取值來推算出另一個(gè)變量的取值范圍。這就是回歸分析?；貧w的種類一元回歸與多元回歸線性回歸與非線性回歸回歸分析涉及的內(nèi)容1）從一組數(shù)據(jù)出發(fā)，分析變量間存在什么樣的關(guān)系，建立這些變量的關(guān)系式（回歸方程），并對關(guān)系式的可信程度進(jìn)行統(tǒng)計(jì)檢驗(yàn)；2）利用回歸方程式，根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測或控制另一個(gè)變量的取值；回歸分析的內(nèi)容（2）3）從影響某一個(gè)變量的許多變量中，判斷哪些變量的影響是顯著的，哪些是不顯著的，從而可建立更實(shí)用的回歸方程；4）根據(jù)預(yù)測和控制所提出的要求，選擇試驗(yàn)點(diǎn)，對試驗(yàn)進(jìn)行設(shè)計(jì)。

一元線性回歸

一元線性回歸的數(shù)學(xué)模型為y=+x+ey是隨機(jī)變量，x是一般的自變量；和是兩個(gè)參數(shù)，其數(shù)值可根據(jù)樣本值來估計(jì)，e是隨機(jī)變量，一般假定e~N(0,2)基本假設(shè)：變量X與Y之間存在著真實(shí)的線性關(guān)系；變量X為非隨機(jī)變量，Y為隨機(jī)變量；隨機(jī)項(xiàng)ei

相互獨(dú)立。最小二乘法確定一條直線，令估計(jì)值與實(shí)際值的離差平方和為最小。即對上式的a和b求一階偏導(dǎo)并令其為0，就可解出最小值點(diǎn)a和b。

最小平方法配合得到的直線，是一條最適線，滿足

a和b的含義a為截距，當(dāng)數(shù)據(jù)包括了X=0的范圍時(shí)，表示X=0時(shí)Y的估計(jì)值；當(dāng)數(shù)據(jù)并不包含X=0時(shí)，沒有什么實(shí)際意義。b，斜率，回歸系數(shù)X每增加一個(gè)單位時(shí)Y的估計(jì)值增加b個(gè)單位。b>0,正相關(guān)b<0,負(fù)相關(guān)b=0,X與Y線性不相關(guān)一元線性回歸模型的檢驗(yàn)1、擬合程度的測定總變差的分解總變差=回歸變差+剩余變差

SST=SSR+SSE

測定系數(shù)回歸變差占總變差的比例，表示因變量的總變動(dòng)中，能用自變量的變動(dòng)解釋的百分比。（相關(guān)系數(shù)的平方）

估計(jì)標(biāo)準(zhǔn)誤差變量Y的各實(shí)際觀測值Yi與回歸直線的估計(jì)值的絕對離差可用估計(jì)標(biāo)準(zhǔn)誤表示?；貧w系數(shù)的顯著性檢驗(yàn)由于回歸系數(shù)b是總體回歸系數(shù)的估計(jì)值，如果回歸系數(shù)b很小，與0沒有顯著性的差異，則意味著回歸模型中無X項(xiàng)，即Y并不隨X變化?，F(xiàn)通過回歸系數(shù)b的t值檢驗(yàn)，驗(yàn)證Y與X之間有無“真實(shí)的”線性關(guān)系。檢驗(yàn)b的步驟建立原假設(shè)H0：

=0計(jì)算b的t檢驗(yàn)值

根據(jù)給定的顯著性水平和自由度（n-2)，查t分布表，得臨界值t/2

，若|tb|>t/2，拒絕H0

，回歸系數(shù)等于0的概率小于，可得出回歸系數(shù)不等于0的結(jié)論。

4、回歸方程的顯著性檢驗(yàn)由方差分析的原理我們知道，如果回歸變差顯著地大于剩余變差，則回歸方程的回歸效果是顯著的?？梢杂肍檢驗(yàn)，根據(jù)給定的顯著性水平，和兩個(gè)自由度，查F分布表，得到臨界值F，，若F>F，拒絕H0，回歸方程是顯著的。

5、Durbin-Watson檢驗(yàn)檢驗(yàn)殘差項(xiàng)是否相互獨(dú)立。若不獨(dú)立，則不滿足回歸模型的假設(shè)條件。橫截面的資料通常能滿足殘差獨(dú)立的條件，但經(jīng)濟(jì)資料往往是周期性的，觀測值有成串或成批出現(xiàn)的趨勢，這種殘差之間具有相關(guān)的趨勢稱為自相關(guān)。D-W檢驗(yàn)量：檢驗(yàn)有無正自相關(guān)出現(xiàn)。

D-W檢驗(yàn)規(guī)則查D-W表得到下限值dL

和上限值du，1）d<dL,拒絕無正自相關(guān)的零假設(shè)，斷定具有正的自相關(guān)。2）d>dU,接受無正自相關(guān)的零假設(shè)，斷定無正的自相關(guān)。3）dLddu,，檢驗(yàn)不能作出結(jié)論。殘差不獨(dú)立的處理辦法采用應(yīng)變量和自變量的變化額而不采用原來的數(shù)據(jù)，可能是一種使用最廣的方法。還可以將變量加以變換（例如，采用對數(shù)形式）；加進(jìn)另一個(gè)變量等。這些內(nèi)容在計(jì)量經(jīng)濟(jì)學(xué)書中有論述。

例：d的取值高低與正自相關(guān)的關(guān)系

例A：d取得低值

例B：d取得高值

時(shí)間序列ei

ei-ei-1(ei-ei-1)2ei2ei

ei-ei-1(ei-ei-1)2ei2

1111122114541625331193-24944111641116

5511252-2444552555

例A：d=4/55例B：d=25/55利用回歸方程進(jìn)行預(yù)測所謂預(yù)測問題，就是在確定自變量的某一個(gè)X0值時(shí)求相應(yīng)的因變量Y的估計(jì)值，其中又分為點(diǎn)預(yù)測和區(qū)間預(yù)測。點(diǎn)預(yù)測：區(qū)間預(yù)測：當(dāng)X=X0時(shí)，推算Y的個(gè)別值的置信度為1-的預(yù)測區(qū)間為：回歸分析應(yīng)注意的問題因果關(guān)系r2=0.8,并不能說明Y