單變量回歸(eviews)

1、單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日目的：目的： 介紹作為實(shí)證模型建立方法的回歸分析，以模擬具有連續(xù)響應(yīng)變量“ Y” 的過(guò)程。（定義：實(shí)證基于觀測(cè)值或事實(shí)）目標(biāo)：目標(biāo)： 確定何時(shí)使用回歸，以及為什么使用。 理解使用回歸方法構(gòu)建一個(gè)連續(xù)“X”變量與連續(xù)“ Y”響應(yīng)變量的關(guān)系模型。 在Minitab中應(yīng)用回歸方法，根據(jù)數(shù)據(jù)擬合一條直線。在給定X的情況下，用擬合的直線方程式預(yù)測(cè)“ Y”。 了解確定模型是否為所給定數(shù)據(jù)的最佳

2、模型的數(shù)學(xué)方法。 說(shuō)明并理解確定模型是否為所給定數(shù)據(jù)的最佳模型的圖形方法。單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日什么是回歸？什么是回歸？描述“ Y”與“X”關(guān)系的數(shù)學(xué)方法 創(chuàng)建工序的“模型”。Y=b0+b1x+e 其中： b0為Y截距b1為直線斜率e為模型的誤差項(xiàng)為何要使用回歸？為何要使用回歸？ 尋找潛在的關(guān)鍵少數(shù)“ X” 預(yù)測(cè)“ Y” 優(yōu)化“Y” 確定如何設(shè)置“ X”以優(yōu)化“ Y”何時(shí)使用回歸？何時(shí)使用回歸？ 篩選被動(dòng)數(shù)據(jù)（歷史或基準(zhǔn)數(shù)據(jù)），以找到潛在的關(guān)鍵“ X”危險(xiǎn)危險(xiǎn)!不要使用被動(dòng)數(shù)據(jù)得出最終不要使用被動(dòng)數(shù)據(jù)得出最終

3、結(jié)論結(jié)論。還要繼續(xù)進(jìn)行。還要繼續(xù)進(jìn)行DOE（試驗(yàn)設(shè)計(jì)）（試驗(yàn)設(shè)計(jì)）記住被動(dòng)數(shù)據(jù)是歷史數(shù)據(jù)；這種關(guān)系記住被動(dòng)數(shù)據(jù)是歷史數(shù)據(jù)；這種關(guān)系當(dāng)前可能并不存在。當(dāng)前可能并不存在。 分析DOE（試驗(yàn)設(shè)計(jì)）的結(jié)果回歸是一種必須謹(jǐn)慎使用的強(qiáng)有力的工具?；貧w是一種必須謹(jǐn)慎使用的強(qiáng)有力的工具。單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日 我們可能對(duì)獨(dú)立變量（X）和響應(yīng)變量之間的關(guān)系感興趣。表示它們之間關(guān)系的散點(diǎn)圖可能如下所示： 假定真正的關(guān)系為：線性關(guān)系存在“ b0”（常數(shù)）和“ b1”（系數(shù)）為固定、但未知的參數(shù)“ X” 為獨(dú)立變量“ Y” 為觀測(cè)的

4、響應(yīng)值“ e” 為誤差。常見(jiàn)的誤差假設(shè)有：平均值為0.0不相關(guān)正態(tài)分布誤差不存在型式的分布Yi = bo + b1 * Xi + ei單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日 收集數(shù)據(jù)收集數(shù)據(jù) 以估測(cè)方程的最佳方法是什么？ “ b0”和“ b1”的估測(cè)值估測(cè)值是多少？ 這是否是正確的函數(shù)形式函數(shù)形式（直線）？ 關(guān)系是否具有統(tǒng)計(jì)顯著性統(tǒng)計(jì)顯著性（不是偶然出現(xiàn)）？ 誤差誤差“ ei”有多大？ 單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日要使估計(jì)的斜率誤差誤差最小最小，

5、將觀測(cè)值的1/2置于“ X”的下限，將其它1/2置于上限，并使獨(dú)立變量在廣范圍內(nèi)取值。這適用于Y值高度變化、獨(dú)立變量的范圍較小、而且它們之間的關(guān)系預(yù)期為直線的情形。- 11xy要確定關(guān)系的形式(是直線還是曲線？是直線還是曲線？), 采用兩級(jí)以上的獨(dú)立變量。如果數(shù)據(jù)高度變化，常常采用3個(gè)級(jí)別。- 11xy0最好是以隨機(jī)順序隨機(jī)順序收集數(shù)據(jù)，而不要以低值的“ X”開(kāi)始然后逐漸遞增 另一個(gè)隨時(shí)間變化的可能影響工序。單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日Minitab的單變量回歸的單變量回歸在Minitab中打開(kāi)新工作表，并在C1和

6、C2中輸入以下數(shù)據(jù)：舉例舉例:您在盡力優(yōu)化油漆烤箱的性能。一種理論稱(chēng)鼓風(fēng)機(jī)風(fēng)扇速度影響油漆中溶劑的蒸發(fā)。您在盡力通過(guò)下列數(shù)據(jù)證明這種關(guān)系的存在。單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日看上去是線性看上去是線性!GraphPlot單擊單擊“ OK” 運(yùn)行運(yùn)行單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日自變量自變量單擊單擊 Graphs 單擊單擊 Storage StatRegressionRegression.(參見(jiàn)下頁(yè)的子對(duì)話框參見(jiàn)下頁(yè)的子對(duì)話框 ）并并單變量回歸

7、單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日此對(duì)話框用于生成殘差(誤差)圖采用這些圖形檢驗(yàn)?zāi)哪Ｐ椭杏嘘P(guān)誤差的假設(shè)單擊此框，指明您想看的圖形單擊 OK, 然后單擊對(duì)話框中的 Storage 按鈕單擊 Fits 和 Residuals ，以在數(shù)據(jù)窗口存儲(chǔ)信息點(diǎn)擊 OK 兩次單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日“ X” 變量的變量的p值值 - 速度速度 Ho: 斜率= 0 Ha: 斜率 = 0或者，另一種表達(dá)方式： Ho: “ X” 不顯著 Ha: “ X” 顯著接受Ha無(wú)

8、法拒絕Ho關(guān)于會(huì)話窗口輸出結(jié)果的進(jìn)一步描述，可參見(jiàn)附錄。常數(shù)常數(shù)的的p-值值H0：直線通過(guò)原點(diǎn)(0,0)(0速度=0蒸發(fā)) Ha：直線不通過(guò)原點(diǎn)(0,0)(“Ctrl-M” 移至?xí)挻翱谝浦習(xí)挻翱趩巫兞炕貧w單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日s:殘差(誤差)的標(biāo)準(zhǔn)差。殘差為觀測(cè)值預(yù)測(cè)值。換句話說(shuō)，指觀測(cè)點(diǎn)至回歸方程式中描述的擬合線的距離。(對(duì)于優(yōu)秀的模型，此值應(yīng)較小)s = MS(error)1/2R-Sq:由擬合線“ 解釋”的總變差的百分?jǐn)?shù)。由“ X”解釋的變差。(對(duì)于優(yōu)秀的模型，此值應(yīng)較大)R-Sq(adj):對(duì)過(guò)于擬合情況(

9、方程式中的變量過(guò)多)的調(diào)整，它將包括模型中的項(xiàng)數(shù)與觀測(cè)值的個(gè)數(shù)進(jìn)行對(duì)比 其中 n = 觀測(cè)值數(shù)量 p =模型中項(xiàng)數(shù)，包括常數(shù)R2越大，模型對(duì)工序模擬得越好對(duì)于良好的模型，該值應(yīng)接近R2值該值越小 (誤差的大小)，模型越好請(qǐng)參見(jiàn)附錄更多的定請(qǐng)參見(jiàn)附錄更多的定義義R adjRnn p21211() R2 = SSregressionSStotal單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日通過(guò)查看通過(guò)查看R-Sq, R-Sq(adj)，s和和p值值來(lái)評(píng)估模型來(lái)評(píng)估模型SSregression:由模型中的“ X”而解釋的響應(yīng)變量“ Y”

10、的變差。每一X值對(duì)應(yīng)的模型預(yù)測(cè)值和Y的總平均值之差的 平方和。SSerror:未被解釋未被解釋的“Y”的變差。每個(gè)數(shù)據(jù)點(diǎn)的Y觀測(cè)值和該數(shù)據(jù)點(diǎn)Y的預(yù)測(cè)值之差的平方和。SStotal:Y值相對(duì)其平均值的總變差。誤差項(xiàng)相對(duì)總數(shù)應(yīng)很小p-值應(yīng) RegressionFitted Line Plot單擊“ Options”單擊這些選項(xiàng)以在單擊這些選項(xiàng)以在圖形輸出窗口顯示圖形輸出窗口顯示更多的信息更多的信息“ 擬合線圖”提供：會(huì)話窗口中的回歸分析顯示運(yùn)用最小二乘法原理擬合直線*圖顯示置信區(qū)間(C.I.)和預(yù)測(cè)區(qū)間 (P.I.)圖單擊兩次“ OK”* 參見(jiàn)附錄中的最小二乘法參見(jiàn)附錄中的最小二乘法單變量回歸單變

11、量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日置信區(qū)間和預(yù)測(cè)區(qū)間置信區(qū)間和預(yù)測(cè)區(qū)間C.I. = 置信區(qū)間置信區(qū)間 (95%置信度表示所有數(shù)據(jù)的平均值都位于此帶內(nèi))P.I. = 預(yù)測(cè)區(qū)間預(yù)測(cè)區(qū)間 (95%置信度表示單個(gè)數(shù)據(jù)點(diǎn)位于此帶內(nèi)) 置信帶預(yù)測(cè)帶單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日會(huì)話窗口中的信息與早期生成的信息相同會(huì)話窗口中的信息與早期生成的信息相同無(wú)法否定Ho:接受Ha: 我們已經(jīng)找到潛在的關(guān)鍵“ X” 速度根據(jù)散點(diǎn)圖、及殘差圖（無(wú)型態(tài)）得出結(jié)論，線性模型擬合良好。擬合

12、有多好？ 給定速度來(lái)預(yù)測(cè)蒸發(fā)率，為此目的，這個(gè)模型應(yīng)該可以接受 (基于：R2=90.5%，以及較小誤差項(xiàng)(S=.16)。 如果工序非常關(guān)鍵，應(yīng)使用更多的數(shù)據(jù)。然后，可以建立誤差分布更接近正態(tài)的回歸模型。單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日您相信我們的家電所占據(jù)的展示廳面積的大小會(huì)影響銷(xiāo)售量。您已經(jīng)收集了過(guò)去12個(gè)月內(nèi)，多個(gè)零售點(diǎn)銷(xiāo)售量與總的占地面積方面的數(shù)據(jù)?，F(xiàn)在，您希望分析這些數(shù)據(jù)，看占地面積是否確實(shí)與年銷(xiāo)售量存在某種關(guān)系。在在Minitab輸入以下數(shù)據(jù)：輸入以下數(shù)據(jù)：應(yīng)用您所學(xué)的單變量回歸方法。準(zhǔn)備好解釋您的答案、以及

13、支持您的結(jié)論的結(jié)果。 ($K) (平方英尺)單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日 在進(jìn)行回歸之前，將“ Y”與“ X”的數(shù)據(jù)畫(huà)圖您首先需要知道哪種模型合適。 回歸可用于被動(dòng)數(shù)據(jù)，但一定要謹(jǐn)慎謹(jǐn)慎，因?yàn)樗皇且粋€(gè)受到控制的試驗(yàn)。 在采用回歸方法得出有關(guān)被動(dòng)數(shù)據(jù)的結(jié)論之前，一定要進(jìn)行 DOE。 觀察 殘差與擬合值圖，以集中精力于您的模型可能存在的潛在問(wèn)題。借助殘差圖來(lái)判斷“ 擬合的優(yōu)劣”。 采用擬合線圖，通過(guò)數(shù)據(jù)創(chuàng)建一個(gè)回歸線圖形，并確定模型的置信區(qū)間和預(yù)測(cè)區(qū)間。單變量回歸單變量回歸GE Appliances Copyrigh

14、t 1999修訂版10 1999年1月11日單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日 r：多重回歸的相關(guān)系數(shù)(r)。越接近+/-1，模型擬合越好。 0表示無(wú)線性關(guān)系。R-Sq：相關(guān)系數(shù)的平方(R2)。R2的值越接近100%，說(shuō)明可能存在關(guān)系，由模型解釋的變差的百分比越高。R-Sq(Adj)：在過(guò)度擬合情況下對(duì)R2的調(diào)整(將模型中的項(xiàng)數(shù)考慮在內(nèi))。估計(jì)值的估計(jì)值的數(shù)據(jù)相對(duì)預(yù)測(cè)“ 表面”的標(biāo)準(zhǔn)變差。標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差s = MS誤差1/2回歸均方回歸均方模型總體“ 之間”變差的估測(cè)。(MS回歸回歸)MS回歸= SS回歸/ DF回歸

15、(DF=自由度)F-比率：比率：“ F”統(tǒng)計(jì)量。數(shù)值大表示模型可鑒別因素（X）與因變量Y值之間的關(guān)系。F=MS回歸/MS誤差p-值：值：接受“存在差異”時(shí)，發(fā)生錯(cuò)誤的機(jī)率。p值0.05說(shuō)明無(wú)法得出存在差異(顯著)的結(jié)論。模型不是“好”模型的機(jī)率。“好”表明找到了因素X與響應(yīng)變量Y之間的關(guān)系。單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日(Xi - n X - X) - Y) - X) (Y - Y) = b1(X 最小平方線通過(guò)(X, Y): (Y和經(jīng)常用于表示總體值。“ b0”“ b1”是從數(shù)據(jù)中得出的總體值。 選擇“ b0”“

16、b1”，使誤差平方和為最小?！?最小平方最小平方”：最小化： 取與“ b0”和“ b1”相關(guān)的偏導(dǎo)數(shù)，并使導(dǎo)數(shù)為0.0。 ii - X) - n X Y X Yii (Xii斜率為 b1 = - = - Xi 22 2 (ei2) = (Yi - b0 - b1 Xi)2單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日計(jì)算系數(shù)的置信區(qū)間計(jì)算系數(shù)的置信區(qū)間 (斜率斜率)(參考7.11頁(yè)的例子)會(huì)話窗口中的回歸方程式為： 蒸發(fā)率 = 0.069 + 0.00383 速度斜率估算值0.00383為根據(jù)數(shù)據(jù)得出的直線斜率估測(cè)值。由于它是估測(cè)值

17、，我們知道實(shí)際值位于可能取值的范圍內(nèi) - 置信區(qū)間。斜率的置信置信區(qū)間區(qū)間可根據(jù)下列方程式計(jì)算：估算值估算值 +/- (t df, )(估計(jì)值的標(biāo)準(zhǔn)誤差估計(jì)值的標(biāo)準(zhǔn)誤差) 斜率估計(jì)值標(biāo)準(zhǔn)誤差在StDev欄中查找：0.00044(上舍入) t值是使用模型中誤差項(xiàng)的自由度(8)以及雙邊檢驗(yàn)的0.05而從T表中獲得的結(jié)果：t=2.31斜率的斜率的95%置信區(qū)間是置信區(qū)間是 ：0.00383 +/- 2.31(0.00044)(0.00281, 0.00485)單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日首先將數(shù)據(jù)制圖.GraphPlot占地面積和年銷(xiāo)售量看上去呈線性關(guān)系下一步，運(yùn)行回歸功能得到模擬方程式不要忘記保存殘差并創(chuàng)建殘差圖單變量回歸單變量回歸GE Appliances Copyright 1999修訂版10 1999年1月11日 這里“ R-Sq”的大小對(duì)于這兩種變量之間的關(guān)系大概可以接受 (商業(yè)質(zhì)量過(guò)程具有大量無(wú)法控制的 噪音) “ R-Sq