工學(xué)9回歸分析與經(jīng)驗(yàn)公式擬合

第9章

回歸分析與經(jīng)驗(yàn)公式擬合9-1教學(xué)目標(biāo)回歸分析是處理變量之間相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法,也是廣泛用于獲得數(shù)學(xué)表達(dá)式的較好方法。本章介紹測(cè)量中常用的一元與多元線性回歸以及一元非線性回歸的基本方法。

2回歸分析的基本概念一元線性回歸分析多元線性回歸分析非線性回歸分析教學(xué)重點(diǎn)和難點(diǎn)9-3第一節(jié)回歸分析的基本概念

變量間的關(guān)系可分為函數(shù)關(guān)系和相關(guān)關(guān)系。本節(jié)介紹這兩種關(guān)系，并對(duì)回歸分析的一些基本概念作一個(gè)簡(jiǎn)要的介紹。4一、變量間的關(guān)系(1)是一一對(duì)應(yīng)的確定關(guān)系(2)

設(shè)有兩個(gè)變量和，變量隨變量一起變化，并完全依賴于，當(dāng)變量某個(gè)數(shù)值時(shí)，依確定的關(guān)系取相應(yīng)的值，則稱是的函數(shù)，記為，其中稱為自變量，稱為因變量如以速度作勻速運(yùn)動(dòng)的物體，走過(guò)的距離與時(shí)間之間，有如下的函數(shù)關(guān)系

1、函數(shù)關(guān)系(確定性關(guān)系)52、相關(guān)關(guān)系(隨機(jī)性關(guān)系)(1)變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)(3)當(dāng)變量取某個(gè)數(shù)值時(shí)，變量的值可能有幾個(gè)(2)一個(gè)變量的取值不能由另一個(gè)變量惟一確定如人的身高()與體重()之間的關(guān)系一、變量間的關(guān)系身高與體重之間并不存在確定的函數(shù)關(guān)系；但經(jīng)過(guò)統(tǒng)計(jì)分析后可知體重按一定概率落在一個(gè)范圍內(nèi)。6一、變量間的關(guān)系3、函數(shù)關(guān)系與相關(guān)關(guān)系的關(guān)系由于測(cè)量誤差等原因，確定性的函數(shù)關(guān)系在實(shí)際中往往通過(guò)相關(guān)關(guān)系表現(xiàn)出來(lái)。當(dāng)對(duì)事物內(nèi)部的規(guī)律性了解得更加深刻時(shí)，經(jīng)過(guò)排除某些主要的影響因數(shù)后，相關(guān)關(guān)系又能轉(zhuǎn)化為確定性的函數(shù)關(guān)系。例如，測(cè)量物體運(yùn)動(dòng)的速度，每次測(cè)得的數(shù)值并不一定滿足的關(guān)系例如，許多定理也是通過(guò)大量的數(shù)據(jù)分析和處理，才得到變量間的確定關(guān)系的7二、什么是回歸分析？是一種處理變量間相關(guān)關(guān)系的數(shù)理統(tǒng)計(jì)方法。是應(yīng)用數(shù)學(xué)的方法，對(duì)大量的觀察數(shù)據(jù)進(jìn)行處理，從而得出比較符合事物內(nèi)部規(guī)律的數(shù)學(xué)表達(dá)式。對(duì)于確定的函數(shù)關(guān)系：使待求的函數(shù)關(guān)系曲線與測(cè)量數(shù)據(jù)點(diǎn)的某種殘余誤差之和最小對(duì)于已知的相關(guān)關(guān)系：使待求的相關(guān)關(guān)系曲線與測(cè)量數(shù)據(jù)點(diǎn)的某種殘余誤差之和最小8二、什么是回歸分析？3、利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測(cè)或控制另一個(gè)變量的值，并要知道這種預(yù)測(cè)或控制可達(dá)到的精密度。主要解決以下幾個(gè)問(wèn)題：1、從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式—回歸方程或經(jīng)驗(yàn)公式；2、對(duì)這些關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著；9回歸模型的類型回歸模型一元回歸多元回歸線性回歸非線性回歸線性回歸非線性回歸一個(gè)自變量?jī)蓚€(gè)及兩個(gè)以上自變量10回歸模型1、回答“變量之間是什么樣的關(guān)系？”2、方程中運(yùn)用1個(gè)數(shù)字的因變量1個(gè)或多個(gè)數(shù)字的或分類的因變量3、主要用于預(yù)測(cè)或估計(jì)11第二節(jié)

一元線性回歸分析9-12一、一元線性回歸方程一元線性回歸模型——概念1、當(dāng)只涉及一個(gè)自變量時(shí)稱為一元回歸，若因變量與自變量之間為線性關(guān)系時(shí)稱為一元線性回歸2、對(duì)于具有線性關(guān)系的兩個(gè)變量，可以用一個(gè)線性方程來(lái)表示它們之間的關(guān)系3、描述因變量如何依賴于自變量和誤差項(xiàng)的方程稱為回歸模型。9-13由實(shí)驗(yàn)獲得兩個(gè)變量和的一組樣本數(shù)據(jù)，，…，，構(gòu)造如下一元線性回歸模型模型中，是的線性函數(shù)部分加上誤差項(xiàng)

線性部分反映了由于的變化而引起的變化

誤差項(xiàng)是隨機(jī)變量，是獨(dú)立、等權(quán)的正態(tài)隨機(jī)誤差反映了除線性關(guān)系之外的隨機(jī)因素對(duì)的影響是不能由和之間的線性關(guān)系所解釋的變異性和稱為模型的參數(shù)——總體回歸參數(shù)一、一元線性回歸方程一元線性回歸模型——方程141、誤差項(xiàng)是一個(gè)期望值為０的隨機(jī)變量，即對(duì)于一個(gè)給定的值，的期望值為2、對(duì)所有的值，的方差都相同3、誤差項(xiàng)是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即獨(dú)立性意味著對(duì)于一個(gè)特定的值，它所對(duì)應(yīng)的與其它值所對(duì)應(yīng)的不相關(guān)對(duì)于一個(gè)特定的值，它所對(duì)應(yīng)的值與其它值所對(duì)應(yīng)的不相關(guān)一、一元線性回歸方程一元線性回歸模型——基本假定151、描述的平均值或期望值如何依賴于的方程稱為回歸方程2、簡(jiǎn)單線性回歸方程的形式如下方程的圖示是一條直線，因此也稱為直線回歸方程是回歸直線在軸上的截距，是當(dāng)時(shí)的期望值是直線的斜率，表示當(dāng)每變動(dòng)一個(gè)單位時(shí)，的平均變動(dòng)值一、一元線性回歸方程回歸方程概念要點(diǎn)162、用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，這時(shí)就得到了經(jīng)驗(yàn)的回歸方程3、一元線性回歸的經(jīng)驗(yàn)的回歸方程是回歸直線在軸上的截距是直線的斜率，它表示當(dāng)每變動(dòng)一個(gè)單位時(shí)，的平均變動(dòng)值是的估計(jì)值1、總體回歸參數(shù)和是未知的，必須利用樣本數(shù)據(jù)去估計(jì)經(jīng)驗(yàn)的回歸方程一、一元線性回歸方程17和的計(jì)算公式每一個(gè)確定一個(gè)回歸值：殘差方程：矩陣形式：其中：當(dāng)最小時(shí)，正規(guī)方程組為：對(duì)于一元線性回歸方程：(9-2)回歸方程上的點(diǎn)實(shí)際測(cè)量值18對(duì)于正規(guī)方程組：和的計(jì)算公式兩邊同除以n：化簡(jiǎn)正規(guī)方程組：19式中：和的計(jì)算公式解線性方程組，得：以后有用將此式代入(9-2)式，可得下頁(yè)所示(9-7)式20將代入(9-7)這是回歸方程的另一種形式當(dāng)時(shí)，表示y隨x有線性增大的趨勢(shì)；當(dāng)時(shí)，表示y隨x有線性減小的趨勢(shì)。表示一條通過(guò)重心的回歸直線21二、回歸效果F檢驗(yàn)若測(cè)量數(shù)據(jù)中的數(shù)據(jù)點(diǎn)較分散，不呈線性，此時(shí)的線性回歸方程是沒(méi)有意義的；因此，利用最小二乘法所得到的直線是否有顯著意義，即直線是否與兩個(gè)變量間的實(shí)際關(guān)系相符，需對(duì)回歸的效果做顯著性檢驗(yàn)；回歸顯著性檢驗(yàn)方法有：相關(guān)系數(shù)r檢驗(yàn)法、t檢驗(yàn)法、F檢驗(yàn)法9-22偏差平方和的分解：二、回歸效果F檢驗(yàn)測(cè)量值之間的差異來(lái)源于兩個(gè)方面：由于自變量取值的不同造成的；除以外的其它因素(如對(duì)的非線性影響、測(cè)量誤差等)的影響對(duì)一個(gè)具體的觀測(cè)值來(lái)說(shuō)，差異的大小可以通過(guò)該實(shí)際觀測(cè)值與其均值之差來(lái)表示：可分解成兩部分23偏差平方和的分解：二、回歸效果F檢驗(yàn)三個(gè)平方和的關(guān)系兩端平方后求和得到(交叉項(xiàng)為零)總偏差平方和殘余平方和回歸平方和24三個(gè)平方和的意義自由度計(jì)算公式總偏差平方和的意義：反映因變量的n個(gè)觀測(cè)值與其均值的總偏差殘余偏差回歸偏差總偏差指獨(dú)立觀察值的個(gè)數(shù)n個(gè)觀測(cè)值yi受平均值的約束，等于有一個(gè)觀測(cè)值不是獨(dú)立的，即失去一個(gè)自由度25三個(gè)平方和的意義計(jì)算公式殘余偏差回歸偏差總偏差回歸平方和的意義：在總的偏差中因和的線性關(guān)系而引起變化的大小自由度對(duì)于y=a+bx，Σ回中只有b是獨(dú)立變化的，a決定位置的參數(shù)等價(jià)于的約束26三個(gè)平方和的意義殘余偏差回歸偏差總偏差殘余平方和的意義：在總的偏離中除了對(duì)線性影響之外的其它因素而引起變化的大小

自由度計(jì)算公式回歸分析的要求就是使殘余平方和最小，即Σ殘愈小，回歸效果愈好；若Σ回愈大，而Σ殘愈小，則說(shuō)明y與x的線性回歸的關(guān)系愈密切。27回歸方程的顯著性檢驗(yàn)1、檢驗(yàn)自變量和因變量之間的線性關(guān)系是否顯著2、具體方法是將回歸平方和和殘余平方和加以比較，應(yīng)用F檢驗(yàn)來(lái)分析二者之間的差別是否顯著如果是顯著的，兩個(gè)變量之間存在線性關(guān)系如果不顯著，兩個(gè)變量之間不存在線性關(guān)系282、構(gòu)造統(tǒng)計(jì)量F，并計(jì)算檢驗(yàn)3、在給定顯著性水平下，由分布表查得臨界值檢驗(yàn)方法1、提出假設(shè)

H0：線性關(guān)系不顯著4、作出決策：若，拒絕，認(rèn)為該回歸效果顯著。反之，則不顯著。29估計(jì)殘余標(biāo)準(zhǔn)誤差1、表征除了與線性關(guān)系之外其它因素影響值偏離的大??；2、反映實(shí)際觀測(cè)值在回歸直線周圍的分散狀況；3、從另一個(gè)角度說(shuō)明了回歸直線的擬合程度。由式(9-11)的分母：故殘余標(biāo)準(zhǔn)差為：300.010.050.1顯著否顯著否顯著否總和殘余１回歸置信限統(tǒng)計(jì)量標(biāo)準(zhǔn)差自由度平方和偏離方差分析表進(jìn)行比較31檢驗(yàn)步驟1、依序計(jì)算統(tǒng)計(jì)量2、按一定顯著水平α，自由度，查F分布表比較后，作出判斷結(jié)論。32三、回歸系數(shù)的不確定度與回歸方程的穩(wěn)定性1、回歸系數(shù)的不確定度(1)回歸系數(shù)的不確定度是描述回歸系數(shù)的分散性(2)回歸系數(shù)和的標(biāo)準(zhǔn)不確定度的計(jì)算公式(3)回歸系數(shù)和的協(xié)方差的計(jì)算公式式中，是殘余標(biāo)準(zhǔn)差9-33三、回歸系數(shù)的不確定度與回歸方程的穩(wěn)定性2、回歸方程的穩(wěn)定性(1)是指回歸值的波動(dòng)大小波動(dòng)愈小，回歸方程的穩(wěn)定性愈好用標(biāo)準(zhǔn)不確定度來(lái)表示(2)回歸值的波動(dòng)大小的計(jì)算公式：回歸值的波動(dòng)大小不僅與剩余標(biāo)準(zhǔn)差s有關(guān)，而且還取決于試驗(yàn)次數(shù)n及自變量取值范圍。343、提高回歸方程中各估計(jì)量穩(wěn)定性的方法(1)提高觀察數(shù)據(jù)本身的準(zhǔn)確度(2)盡可能增大觀測(cè)數(shù)據(jù)中自變量的取值范圍(3)增加觀測(cè)次數(shù)(4)減小殘余誤差，即擬定合適回歸方程使其盡可能合乎實(shí)際數(shù)據(jù)的變化規(guī)律三、回歸系數(shù)的不確定度與回歸方程的穩(wěn)定性35四、回歸預(yù)測(cè)值及其不確定度1、利用估計(jì)的回歸方程，對(duì)于自變量的一個(gè)給定值，求出因變量的一個(gè)估計(jì)值，就是回歸的預(yù)測(cè)值用的標(biāo)準(zhǔn)不確定度來(lái)表述用的擴(kuò)展不確定度來(lái)表述2、預(yù)測(cè)值與實(shí)際值之間存在偏差，因此給出預(yù)測(cè)值時(shí)，還必須給出其不確定度。有以下兩種表示方式其中，擴(kuò)展不確定度度9-36【例9-1】試對(duì)下表所列實(shí)驗(yàn)數(shù)據(jù)做直線擬合，并作方差分析和預(yù)測(cè)。18020014516512311019120510410014113515118019022013413514416011013015314514112519019010811015516020423519021015813017718515017016114510711517720512112516519518024014316015113515415012713514715511610011512037【解】直線擬合計(jì)算故有直線擬合38方差分析0.01高度顯著3350094總和329057殘余7.50145.016.8１41037回歸置信限統(tǒng)計(jì)量標(biāo)準(zhǔn)差自由度平方和偏離【解】線性關(guān)系成立39預(yù)測(cè)對(duì)于，查t分布表得故有【解】作為包含因子反映回歸值的穩(wěn)定性40回歸直線及預(yù)測(cè)區(qū)間【解】41第三節(jié)

多元線性回歸分析9-42一、多元線性回歸方程多元線性回歸模型——概念要點(diǎn)2、描述因變量如何依賴于自變量和誤差項(xiàng)的方程稱為多元線性回歸模型3、涉及個(gè)自變量的多元線性回歸模型可表示為

是待定的估計(jì)量是n個(gè)相互獨(dú)立且等權(quán)的隨機(jī)誤差分量是的線性函數(shù)加上誤差項(xiàng)說(shuō)明了包含在里面但并不能被各個(gè)自變量的線性關(guān)系所解釋的變異性1、一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量之間的回歸9-43多元線性回歸模型——概念要點(diǎn)4、對(duì)于組實(shí)際觀測(cè)數(shù)據(jù)，多元線性回歸模型可表示為矩陣形式：式中一、多元線性回歸方程44多元線性回歸模型——基本假定1、自變量是確定性變量，不是隨機(jī)變量；2、隨機(jī)誤差項(xiàng)的期望值為０，且方差都相同；3、誤差項(xiàng)是一個(gè)服從正態(tài)分布的隨機(jī)變量，即且相互獨(dú)立一、多元線性回歸方程45多元線性回歸模型——正規(guī)方程組一、多元線性回歸方程設(shè)最小二乘得出的估計(jì)參數(shù)B為：回歸方程為：回歸誤差：依據(jù)最小二乘法，正規(guī)方程組為：46多元線性回歸模型——正規(guī)方程組的最小二乘解一、多元線性回歸方程對(duì)于正規(guī)方程組為：回歸系數(shù)B的最小二乘估計(jì)為：故得多元線性回歸方程47多元線性回歸模型的另一種形式：稱為偏回歸系數(shù)表示假定其他變量不變，當(dāng)每變動(dòng)一個(gè)單位時(shí)，的平均變動(dòng)值一、多元線性回歸方程48一、多元線性回歸方程用樣本統(tǒng)計(jì)量代替回歸方程的未知數(shù)即得到估計(jì)的回歸方程：是的估計(jì)值是的估計(jì)值多元線性回歸模型的另一種形式：49多元線性回歸模型的另一種形式：一、多元線性回歸方程同樣有正規(guī)方程組：其解：50一、多元線性回歸方程即：51計(jì)算過(guò)程52二、線性回歸效果檢驗(yàn)回歸方程的顯著性檢驗(yàn)1、檢驗(yàn)因變量和所有的自變量之間的是否存在一個(gè)顯著的線性關(guān)系，也被稱為總體的顯著性檢驗(yàn)如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系2、具體方法是將回歸平方和和殘余平方和加以比較，應(yīng)用F檢驗(yàn)來(lái)分析二者之間的差別是否顯著9-53檢驗(yàn)的步驟1、提出假設(shè)線性關(guān)系不顯著至少有一個(gè)不等于０3、在給定顯著性水平下，由分布表查得臨界值4、作出決策。若，拒絕，則認(rèn)為該回歸效果顯著。反之，則不顯著。二、線性回歸效果檢驗(yàn)2、構(gòu)造統(tǒng)計(jì)量F，并計(jì)算檢驗(yàn)54偏離平方和自由度標(biāo)準(zhǔn)差統(tǒng)計(jì)量置信限回歸殘余總和顯著否方差分析表55【例9-2】根據(jù)實(shí)際經(jīng)驗(yàn)知道某變量y受變量x1、x2影響，通過(guò)試驗(yàn)獲得一批數(shù)據(jù)如表9-5(p.185)，試建立y對(duì)x1、x2的線性回歸方程，并作方差分析?！窘狻?1)求解回歸方程設(shè)欲求的回歸方程的形式為：計(jì)算：多元線性回歸的第二種形式56【解】57【解】矩陣L為：逆矩陣L-1回歸系數(shù)的最小二乘估計(jì)為：回歸方程為：或：58【解】(2)方差分析計(jì)算統(tǒng)計(jì)量：查表：59【解】填表偏離平方和自由度標(biāo)準(zhǔn)差統(tǒng)計(jì)量置信限α=0.01α=0.05回歸1.635520.16964.82335.533.37殘余4.408126總和6.043628不顯著顯著60三、每個(gè)自變量在多元回歸中所起的作用1、一個(gè)多元線性回歸方程是顯著的，并不意味著每個(gè)自變量對(duì)因變量的影響都是重要的,可能其中有某些變量的作用很小。希望所擬合的回歸模型中：只含有作用顯著的自變量，不含有作用不顯著的自變量。9-612、用偏回歸平方和來(lái)考察每個(gè)特定因素在總回歸中所起的作用回歸平方和，反映了所有個(gè)回歸自變量對(duì)因變量的總影響舍棄某，其余個(gè)回歸自變量可擬合出元線性回歸方程，其相應(yīng)的回歸平方和，它反映了其余個(gè)回歸自變量所起的總作用。三、每個(gè)自變量在多元回歸中所起的作用表示出單獨(dú)對(duì)回歸因變量的影響623、偏回歸平方和的實(shí)用計(jì)算公式直接利用定義式計(jì)算偏回歸平方和非常繁雜可利用實(shí)用公式計(jì)算三、每個(gè)自變量在多元回歸中所起的作用回歸方程的回歸系數(shù)原元回歸的正規(guī)方程系數(shù)矩陣L的逆矩陣中的第列元素

代替：634、分析步驟(2)凡是偏回歸平方和大的變量，一定是對(duì)有重要影響的因素。可用殘余平方和對(duì)它進(jìn)行檢驗(yàn)。計(jì)算統(tǒng)計(jì)量三、每個(gè)自變量在多元回歸中所起的作用當(dāng)時(shí)，則認(rèn)為變量對(duì)的影響在水平上顯著(1)計(jì)算每個(gè)自變量的偏回歸平方和64(3)偏回歸平方和小的變量，不一定不顯著。但偏回歸平方和最小的那個(gè)變量，肯定是所有變量中對(duì)作用最小的一個(gè)，假如此時(shí)變量檢驗(yàn)結(jié)果又不顯著，那可以將該變量剔除。剔除一個(gè)變量后，得重新建立元新回歸方程，計(jì)算回歸系數(shù)和偏回歸平方和。三、每個(gè)自變量在多元回歸中所起的作用4、分析步驟65在對(duì)的多元回歸中，當(dāng)取消一個(gè)變量后，個(gè)變量新的回歸系數(shù)，與原來(lái)的回歸系數(shù)之間有如下關(guān)系5、新老回歸系數(shù)間的關(guān)系為原元回歸的正規(guī)方程系數(shù)矩陣L的逆矩陣中的元素三、每個(gè)自變量在多元回歸中所起的作用66【例9-2】分析例9-2兩個(gè)自變量在回歸中所起的作用【解】查F分布表故V1在α=0.01水平上顯著故V2在α=0.01水平上不顯著67【例9-2】分析例9-2兩個(gè)自變量在回歸中所起的作用【解】所以，原方程中x1是影響y的主要因素，x2對(duì)y的影響很小將原方程中的自變量x2剔除，對(duì)x1的回歸系數(shù)重新計(jì)算：新的回歸方程：或：68第四節(jié)

非線性回歸分析9-69一、化曲線為直線的回歸問(wèn)題實(shí)際問(wèn)題中，常有兩個(gè)變量之間為非線性關(guān)系；需要作適當(dāng)?shù)那€擬合；直接用最小二乘法處理：設(shè)：按：導(dǎo)出正規(guī)方程組：方程組關(guān)于a和b是非線性的，求解困難。70線性化途徑之二：正交多項(xiàng)式回歸法一、化曲線為直線的回歸問(wèn)題線性化途徑之一：變量變換法令：按最小二乘法，求出線性回歸方程的回歸系數(shù)a、b對(duì)于：對(duì)于：令：按最小二乘法，求出線性回歸方程的回歸系數(shù)a、b選擇函數(shù)模型的原則：對(duì)原y值的殘余平方和較小者為好71一、化曲線為直線的回歸問(wèn)題一元非線性化回歸要解決的兩個(gè)問(wèn)題：如何將一元非線性回歸的問(wèn)題化為線性回歸的問(wèn)題：變量變換法、正交多項(xiàng)式回歸法等如何選擇較好的數(shù)學(xué)模型：對(duì)實(shí)際物理模型不太了解的情況下，最好多選擇幾種函數(shù)模型擬合，最后從中比較選優(yōu)72

曲線擬合為直線擬合