一元回歸及簡(jiǎn)單相關(guān)析

1、 一元回歸及 簡(jiǎn)單相關(guān)分析simple regression and correlation analysis第第8章第一節(jié)章第一節(jié)變量之間的關(guān)系：變量之間的關(guān)系：函數(shù)關(guān)系函數(shù)關(guān)系（確定性關(guān)系），變量之（確定性關(guān)系），變量之間依公式的關(guān)系而存在。間依公式的關(guān)系而存在。相關(guān)關(guān)系相關(guān)關(guān)系，一種變量受另一種變量，一種變量受另一種變量的影響，兩者之間既有關(guān)系，但的影響，兩者之間既有關(guān)系，但又不存在完全確定的函數(shù)關(guān)系。又不存在完全確定的函數(shù)關(guān)系。內(nèi) 容概要第一節(jié)第一節(jié) 回歸與相關(guān)的基本概念回歸與相關(guān)的基本概念第二節(jié)第二節(jié) 一元線性回歸方程一元線性回歸方程第四節(jié)第四節(jié) 一元非線性回歸一元非線性回歸第三節(jié)第

2、三節(jié) 一元線性回歸的檢驗(yàn)一元線性回歸的檢驗(yàn)第五節(jié)第五節(jié) 相關(guān)相關(guān) 第一節(jié)第一節(jié) 回歸與相關(guān)的基本概念回歸與相關(guān)的基本概念1、 回歸的概念回歸的概念 回歸回歸(regression)：設(shè)有兩個(gè)隨機(jī)變量：設(shè)有兩個(gè)隨機(jī)變量x和和y，如果對(duì)于變量如果對(duì)于變量x的每一個(gè)可能的值的每一個(gè)可能的值xi，另一，另一個(gè)隨機(jī)變量個(gè)隨機(jī)變量y都有一個(gè)確定的分布與之相對(duì)都有一個(gè)確定的分布與之相對(duì)應(yīng)，則稱(chēng)隨機(jī)變量應(yīng)，則稱(chēng)隨機(jī)變量y對(duì)變量對(duì)變量x存在著回歸。存在著回歸。一、一、 回歸回歸自變量自變量(independent variable):在具有回歸關(guān)系的在具有回歸關(guān)系的變量中，自身發(fā)生變化從而引起其他變量隨之變量中

3、，自身發(fā)生變化從而引起其他變量隨之發(fā)生變化的變量，稱(chēng)為自變量，也稱(chēng)解釋變量。發(fā)生變化的變量，稱(chēng)為自變量，也稱(chēng)解釋變量。隨機(jī)變量隨機(jī)變量x為自變量。為自變量。因變量因變量(dependent variable):依據(jù)自變量的變化而依據(jù)自變量的變化而發(fā)生變化的隨機(jī)變量稱(chēng)為因變量，也稱(chēng)為反應(yīng)發(fā)生變化的隨機(jī)變量稱(chēng)為因變量，也稱(chēng)為反應(yīng)變量。隨機(jī)變量變量。隨機(jī)變量y 為因變量。為因變量。一元回歸：一元回歸：只有一個(gè)自變量的回歸，稱(chēng)為一元只有一個(gè)自變量的回歸，稱(chēng)為一元回歸，也稱(chēng)為簡(jiǎn)單回歸?；貧w，也稱(chēng)為簡(jiǎn)單回歸。2、自變量與因變量、自變量與因變量3、一元回歸與多元回歸、一元回歸與多元回歸多元回歸：多元回歸：有

4、多個(gè)自變量的回歸，稱(chēng)為多元回歸。有多個(gè)自變量的回歸，稱(chēng)為多元回歸。4、 條件平均數(shù)條件平均數(shù) (conditional mean)條件平均數(shù)：條件平均數(shù)：在具有回歸關(guān)系的兩變量之間，在具有回歸關(guān)系的兩變量之間，對(duì)于自變量對(duì)于自變量x的任一可能的值的任一可能的值xi，因變量，因變量y與之對(duì)應(yīng)的分布的平均數(shù)與之對(duì)應(yīng)的分布的平均數(shù)yx=xi，稱(chēng)為自變，稱(chēng)為自變量量x=xi時(shí)因變量時(shí)因變量y的條件平均數(shù)。的條件平均數(shù)。相關(guān)：相關(guān)：設(shè)有兩個(gè)隨機(jī)變量設(shè)有兩個(gè)隨機(jī)變量x和和y，對(duì)于任一隨機(jī)，對(duì)于任一隨機(jī)變量的每一個(gè)可能的值，另一個(gè)隨機(jī)變量都變量的每一個(gè)可能的值，另一個(gè)隨機(jī)變量都有一個(gè)確定的分布與之相對(duì)應(yīng)，即

5、在有一個(gè)確定的分布與之相對(duì)應(yīng)，即在y對(duì)對(duì)x存存在回歸關(guān)系的同時(shí)，在回歸關(guān)系的同時(shí)，x對(duì)對(duì)y也存在回歸關(guān)系，也存在回歸關(guān)系，則稱(chēng)這兩個(gè)隨機(jī)變量間存在相關(guān)關(guān)系。則稱(chēng)這兩個(gè)隨機(jī)變量間存在相關(guān)關(guān)系。二、二、 相關(guān)相關(guān) (correlation)回歸回歸變量間的依存關(guān)系變量間的依存關(guān)系 相關(guān)相關(guān)變量間的互依關(guān)系變量間的互依關(guān)系 “回歸回歸”名稱(chēng)的由來(lái)名稱(chēng)的由來(lái)33.730.516yx樣本條件樣本條件平均數(shù)平均數(shù) 第二節(jié)第二節(jié) 一元線性回歸方程一元線性回歸方程 用自變量用自變量x為橫軸，因變量為橫軸，因變量y為縱軸，在為縱軸，在xy平面內(nèi)標(biāo)出平面內(nèi)標(biāo)出(x1, y1)，(x2, y2)，(xn, yn)

6、這這些點(diǎn)，就構(gòu)成一幅些點(diǎn)，就構(gòu)成一幅散點(diǎn)圖散點(diǎn)圖。一、一、 散點(diǎn)圖散點(diǎn)圖 (scatter diagram)：散點(diǎn)圖散點(diǎn)圖1、概念概念2、常見(jiàn)類(lèi)型的散點(diǎn)圖xyxyx00000yxyxyxy 兩變量之間的關(guān)系是否密切，能否由兩變量之間的關(guān)系是否密切，能否由 x來(lái)估計(jì)來(lái)估計(jì)y；3、根據(jù)、根據(jù)散點(diǎn)圖考慮以下問(wèn)題：散點(diǎn)圖考慮以下問(wèn)題： 兩變量之間的關(guān)系是呈一條直線兩變量之間的關(guān)系是呈一條直線（即即 線性的），還是呈某種曲線；線性的），還是呈某種曲線； 是否存在某個(gè)點(diǎn)偏離過(guò)大；是否存在某個(gè)點(diǎn)偏離過(guò)大； 是否存在其他規(guī)律。是否存在其他規(guī)律。4、實(shí)例、實(shí)例【例】【例】土壤內(nèi)土壤內(nèi)naci含量對(duì)植物的生長(zhǎng)有很

7、大的影響，含量對(duì)植物的生長(zhǎng)有很大的影響，naci含量過(guò)高，將增加組織內(nèi)無(wú)機(jī)鹽的累積，抑制植物的生長(zhǎng)。含量過(guò)高，將增加組織內(nèi)無(wú)機(jī)鹽的累積，抑制植物的生長(zhǎng)。下下表中的數(shù)據(jù)，是每表中的數(shù)據(jù)，是每1000g土壤中所含土壤中所含naci的不同克數(shù)的不同克數(shù)(x)，對(duì)植物單位葉面積干物重對(duì)植物單位葉面積干物重(y)的影響，作出的影響，作出7對(duì)數(shù)據(jù)的散點(diǎn)圖。對(duì)數(shù)據(jù)的散點(diǎn)圖。土壤土壤naci含量含量x / g.kg-1干重干重y / mg.dm-20800.8901.6952.41153.21304.01154.8135以每以每1000g土壤土壤中中naci含量為含量為橫軸，以單位葉橫軸，以單位葉面積干物重為

8、縱面積干物重為縱軸，軸，建立坐標(biāo)系，建立坐標(biāo)系，依據(jù)所給數(shù)據(jù)作依據(jù)所給數(shù)據(jù)作出散點(diǎn)圖。出散點(diǎn)圖。解：解：不同不同naci含量對(duì)單位葉面積干物重影響的含量對(duì)單位葉面積干物重影響的散點(diǎn)圖散點(diǎn)圖干重干重/ mg.dm-2重復(fù)值重復(fù)值12345678910平均數(shù)平均數(shù)土壤土壤naci含量含量 / g.kg-10801007589917910185837986.20.89085107931039278105938593.11.6958911592115120959510598101.92.411594103110113108121110108111109.33.213010610311012813111

9、7121114116117.64.0115125128143132121129112120130125.54.8135137128127155132148117134132134.5增加每一增加每一naci含量下觀測(cè)次數(shù)含量下觀測(cè)次數(shù)(10次重復(fù)觀測(cè)值及平均值如下次重復(fù)觀測(cè)值及平均值如下) 每個(gè)每個(gè)naci含量下含量下10次重復(fù)的散點(diǎn)圖次重復(fù)的散點(diǎn)圖“”表示在各表示在各xi處處y的平均值；的平均值；“+”是第一次觀測(cè)的數(shù)據(jù)是第一次觀測(cè)的數(shù)據(jù)二、二、 一元正態(tài)線性回歸模型一元正態(tài)線性回歸模型 若若x是可控制的變量，在實(shí)驗(yàn)無(wú)限重復(fù)之后，是可控制的變量，在實(shí)驗(yàn)無(wú)限重復(fù)之后，則可以得到在各則可以得到在

10、各xi上的上的y的條件平均數(shù)的條件平均數(shù)yx ，這些平均數(shù)構(gòu)成一條直線。這些平均數(shù)構(gòu)成一條直線。y =+xy :nid(+x, 2) :nid(0, 2)y =+x+|y xxsimple linear regression modely的總體均數(shù)的總體均數(shù)自變量自變量intercept總體截距slope總體斜率line 假定xy標(biāo)準(zhǔn)差相等標(biāo)準(zhǔn)差相等 equal standard deviation 對(duì)于任何x值，隨機(jī)變量y的標(biāo)準(zhǔn)差 y|x相等獨(dú)立獨(dú)立 independence 每一觀察值之間彼此獨(dú)立y|x = + xl線性線性 linearity 反應(yīng)變量均數(shù) 與x間呈直線關(guān)系 y|x= +

11、 x直線回歸模型的四個(gè)假定正態(tài)正態(tài) normality 對(duì)于任何給定的 x, y 服從正態(tài)分布，均數(shù)為 y|x，標(biāo)準(zhǔn)差為 y|x1、估計(jì)直線的一般表達(dá)式：、估計(jì)直線的一般表達(dá)式： a：截距：截距(intercept)，直線與，直線與y軸交點(diǎn)的縱坐標(biāo)，軸交點(diǎn)的縱坐標(biāo)， 表示表示x0時(shí)時(shí)y的平均值。的平均值。b：斜率：斜率(slope)，回歸系數(shù)回歸系數(shù)(regression coefficient)。 意義：意義：x每改變一個(gè)單位，每改變一個(gè)單位，y平均改變平均改變b個(gè)單位。個(gè)單位。 b0，y隨隨x的增大而增大（減少而減少）的增大而增大（減少而減少） 斜上；斜上； btn-2,/2時(shí)，時(shí)，拒絕拒

12、絕h0，接受，接受ha，說(shuō)明兩變量間，說(shuō)明兩變量間存在顯著的線性關(guān)系，回歸顯著；存在顯著的線性關(guān)系，回歸顯著；| t | t5,0.01/2，拒絕拒絕h0，即拒絕，即拒絕 = 0，說(shuō)說(shuō)明兩變量間存在極顯著的線性關(guān)系，回歸極顯著。明兩變量間存在極顯著的線性關(guān)系，回歸極顯著。結(jié)論：結(jié)論：干物重在干物重在naci含量上的回歸極顯著。含量上的回歸極顯著。解：解：2、a的顯著性檢驗(yàn)的顯著性檢驗(yàn) h0: = =0 0ha: 0 0檢驗(yàn)統(tǒng)計(jì)量為：檢驗(yàn)統(tǒng)計(jì)量為： asat0| t |tn-2,/2時(shí)，時(shí)，拒絕拒絕h0，接受，接受ha；| t | t5,0.05/2，拒絕拒絕h0，即拒絕，即拒絕 = 100。a

13、sat0xxeasxnmss22122nbssmssxyyyee結(jié)論：結(jié)論： a不不是抽自是抽自 = 100的總體的總體 。解：解：對(duì)兩個(gè)回歸方程的對(duì)兩個(gè)回歸方程的b和和a的差異顯著性檢驗(yàn)的差異顯著性檢驗(yàn)之后，就能判斷它們是否來(lái)自同一總體。之后，就能判斷它們是否來(lái)自同一總體。若來(lái)自同一總體，則可以將它們合并為一若來(lái)自同一總體，則可以將它們合并為一個(gè)回歸方程。個(gè)回歸方程。 檢驗(yàn)檢驗(yàn)mse1和和mse2有無(wú)顯著差異：有無(wú)顯著差異：f f/2時(shí)，時(shí)，拒絕拒絕h0，說(shuō)明兩回歸線的總體方差不一致，說(shuō)明兩回歸線的總體方差不一致，差異顯著；差異顯著；ft/2時(shí)，時(shí)，說(shuō)明兩回歸線的回歸系數(shù)差異顯著；說(shuō)明兩回歸

14、線的回歸系數(shù)差異顯著；|t|t/2時(shí)，時(shí)，說(shuō)明兩回歸線的說(shuō)明兩回歸線的a差異顯著；差異顯著；|t|t/2時(shí)，時(shí)，說(shuō)明兩回歸線的說(shuō)明兩回歸線的a有一共同的總體，合并有一共同的總體，合并值為：值為：h0: 1-2=0ha: 1-20檢驗(yàn)統(tǒng)計(jì)量為：檢驗(yàn)統(tǒng)計(jì)量為： df: (n1-2)+(n2-2)222121aassaat221122112222112111xxxxxxxxessxnssxnmsaat或或 檢驗(yàn)檢驗(yàn)a1和和a2有無(wú)顯著差異：有無(wú)顯著差異：xbya212211nnxnxnx212211nnynyny以上的以上的檢驗(yàn)，都是后者在前者差異不檢驗(yàn)，都是后者在前者差異不顯著的基礎(chǔ)上進(jìn)行的，若前

15、者差異顯顯著的基礎(chǔ)上進(jìn)行的，若前者差異顯著，后面的檢驗(yàn)則可終止；若三者的著，后面的檢驗(yàn)則可終止；若三者的檢驗(yàn)，差異均不顯著，則兩回歸方程檢驗(yàn)，差異均不顯著，則兩回歸方程可合并為一個(gè)回歸方程?？珊喜橐粋€(gè)回歸方程?！纠纠?0.6】在優(yōu)質(zhì)育種工作中，為了快速篩選優(yōu)良原在優(yōu)質(zhì)育種工作中，為了快速篩選優(yōu)良原始材料，采用染料結(jié)合始材料，采用染料結(jié)合（dbc）法測(cè)定種子中的堿性氨基法測(cè)定種子中的堿性氨基酸含量。實(shí)驗(yàn)測(cè)定了大麥和黑麥每試樣的染料結(jié)合力酸含量。實(shí)驗(yàn)測(cè)定了大麥和黑麥每試樣的染料結(jié)合力（dbc）與堿性氨基酸含量，結(jié)果如下，試檢驗(yàn)兩回歸線與堿性氨基酸含量，結(jié)果如下，試檢驗(yàn)兩回歸線有無(wú)顯著差異。有無(wú)

16、顯著差異。列出計(jì)算表：列出計(jì)算表：解：解： 檢驗(yàn)檢驗(yàn)mse1和和mse2有無(wú)顯著差異：有無(wú)顯著差異：ff/2，接受接受h0，兩回歸線有一共同的總體方差，估，兩回歸線有一共同的總體方差，估計(jì)值為：計(jì)值為：h0: 12= =12ha: 1212檢驗(yàn)統(tǒng)計(jì)量為：檢驗(yàn)統(tǒng)計(jì)量為： 74. 1140. 0244. 0小大eemsmsf( (187. 02222212211nnmsnmsnmseee|t|t/2，兩回歸線的兩回歸線的a差異顯著。差異顯著。h0: 1-2=0ha: 1-20檢驗(yàn)統(tǒng)計(jì)量為：檢驗(yàn)統(tǒng)計(jì)量為： 52. 2112211221122221121xxxxxxxxessxnssxnmsaat 檢

17、驗(yàn)檢驗(yàn)a1和和a2有無(wú)顯著差異：有無(wú)顯著差異：|t|t/2，兩回歸線的兩回歸線的a差異顯著。差異顯著。若若檢驗(yàn)檢驗(yàn)a1和和a2無(wú)顯著差異，估計(jì)值：無(wú)顯著差異，估計(jì)值：(y yy yy yy yy yy y) )回回歸歸部部分分y yy y( ( ) )y y( (y y 總變異y)剩余部分)剩余部分y y(y(yy)實(shí)測(cè)點(diǎn)y)實(shí)測(cè)點(diǎn)p(x,p(x,yx x四、一元回歸的方差分析四、一元回歸的方差分析1、無(wú)重復(fù)時(shí)的情況無(wú)重復(fù)時(shí)的情況 (reyyniniiiiniisssssyyyyyynyyyyyy即121221)() ()(個(gè)個(gè)點(diǎn)點(diǎn)求求和和，得得到到：部部等等式式兩兩邊邊平平方方后后，對(duì)對(duì)全全

18、(niniiiiniiyyyyyy121221剩余（殘差）標(biāo)準(zhǔn)差 sy|x(22|222y xy xyysssmsnnn剩剩殘差 度量了實(shí)際散點(diǎn)遠(yuǎn)離回歸直線的離散程度，反映了模型的可靠性。越小模型越好。 tb檢驗(yàn)，區(qū)間的計(jì)算均需要使用這一值。reyysssssxyyyebssssxyeyyrbssssssrrssms 2nssmseeermsmsf 檢驗(yàn)統(tǒng)計(jì)量為：檢驗(yàn)統(tǒng)計(jì)量為： f f1,n-2,時(shí)，時(shí)，拒絕拒絕h0： 0 0，說(shuō)明兩變量的回歸關(guān)系顯著；，說(shuō)明兩變量的回歸關(guān)系顯著；ff1,12,0.01。結(jié)論是兩變量之間存在極顯著的回歸關(guān)系。結(jié)論是兩變量之間存在極顯著的回歸關(guān)系。五、點(diǎn)估計(jì)與區(qū)

19、間估計(jì)五、點(diǎn)估計(jì)與區(qū)間估計(jì)1、對(duì)對(duì)和和的估計(jì)的估計(jì) 的的1-置信區(qū)間為：置信區(qū)間為： xxensmstb2/, 2的的1-置信區(qū)間為：置信區(qū)間為： xxensxnmsta22/, 21區(qū)間估計(jì)與顯著性檢驗(yàn)的結(jié)果是一致的。區(qū)間估計(jì)與顯著性檢驗(yàn)的結(jié)果是一致的。 和和的點(diǎn)估計(jì)分別是的點(diǎn)估計(jì)分別是a和和b2、對(duì)回歸線對(duì)回歸線y.x的估計(jì)的估計(jì) 當(dāng)當(dāng)x為某一指定值為某一指定值x0時(shí)，通過(guò)回歸方程計(jì)算所得到的回時(shí)，通過(guò)回歸方程計(jì)算所得到的回歸值歸值 是是y.x=x0的點(diǎn)估計(jì)值。的點(diǎn)估計(jì)值。0 y在在x=x0時(shí)，總體回歸線時(shí)，總體回歸線y.x=x0的的1-置信區(qū)間為：置信區(qū)間為： (xxensxxnmsty

20、202/, 201y.x=x0的的1-置信區(qū)間與置信區(qū)間與x0有關(guān)，是兩條對(duì)稱(chēng)有關(guān)，是兩條對(duì)稱(chēng)的弧線，的弧線，x0不同，置信區(qū)間不同；不同，置信區(qū)間不同；當(dāng)當(dāng) 時(shí)，區(qū)間長(zhǎng)度時(shí)，區(qū)間長(zhǎng)度最小。最小。xx 03、對(duì)對(duì)y0的估計(jì)的估計(jì) 在在x=x0時(shí)，時(shí)， y0的的1-置信區(qū)間為：置信區(qū)間為： (xxensxxnmsty202/, 2011y0的的1-置信區(qū)間也與置信區(qū)間也與x0有關(guān)，也是兩條對(duì)稱(chēng)有關(guān)，也是兩條對(duì)稱(chēng)的弧線，的弧線，x0不同，置信區(qū)間不同；不同，置信區(qū)間不同；當(dāng)當(dāng) 時(shí)，區(qū)間長(zhǎng)度時(shí)，區(qū)間長(zhǎng)度最小。最小。xx 0當(dāng)當(dāng)x為某一指定值為某一指定值x0時(shí)，通過(guò)回歸方程計(jì)算所得到的回時(shí)，通過(guò)回歸方

21、程計(jì)算所得到的回歸值歸值 是是y0的點(diǎn)估計(jì)值。的點(diǎn)估計(jì)值。0 y六、一元回歸分析的意義六、一元回歸分析的意義 1、預(yù)報(bào)、預(yù)報(bào) (forecast) 預(yù)報(bào)就是估計(jì)，由一個(gè)變量去估計(jì)另一個(gè)變量預(yù)報(bào)就是估計(jì)，由一個(gè)變量去估計(jì)另一個(gè)變量，點(diǎn)預(yù)報(bào)，點(diǎn)預(yù)報(bào)就是點(diǎn)估計(jì)，區(qū)間預(yù)報(bào)就是區(qū)間估計(jì)。預(yù)報(bào)通常是指區(qū)就是點(diǎn)估計(jì)，區(qū)間預(yù)報(bào)就是區(qū)間估計(jì)。預(yù)報(bào)通常是指區(qū)間預(yù)報(bào)。間預(yù)報(bào)。在做預(yù)報(bào)時(shí)應(yīng)注意，不能隨意超出計(jì)算回歸方程時(shí)所研在做預(yù)報(bào)時(shí)應(yīng)注意，不能隨意超出計(jì)算回歸方程時(shí)所研究的范圍，建立的回歸方程僅適用于特定范圍，不得隨究的范圍，建立的回歸方程僅適用于特定范圍，不得隨意外推或任意意外推或任意“外延外延”；建立的回歸方程要有實(shí)際意義。；建立的回歸方程要有實(shí)際意義。2、減少實(shí)驗(yàn)誤差、減少實(shí)驗(yàn)誤差 由于引進(jìn)了回歸，從總平方和中除去由于回歸引起的平方由于引進(jìn)了回歸，從總平方和中除去由于回歸引起的平方和以后，就大大降低了誤差平方和。和以后，就大大降低了誤差平方和。在引進(jìn)自變量以后所得到的實(shí)驗(yàn)