第五章線性回歸與相關(guān)ppt課件

1、第五章第五章 線性回歸與相關(guān)線性回歸與相關(guān)060120180施氮量施氮量 (kg N/ha)2468產(chǎn)量產(chǎn)量 (Tons/ha)Chapter 5 Linear regression and correlation第一節(jié)第一節(jié) 一元線性回歸與相關(guān)一元線性回歸與相關(guān)1. 回歸與相關(guān)的概念回歸與相關(guān)的概念1變量變量 (Variable) 描述事物特征或特質(zhì)的數(shù)量指標(biāo)，這些指標(biāo)因條件不同而按一定的規(guī)律描述事物特征或特質(zhì)的數(shù)量指標(biāo)，這些指標(biāo)因條件不同而按一定的規(guī)律變化，故稱(chēng)變量。如：不同田塊的土壤有機(jī)質(zhì)含量變化，故稱(chēng)變量。如：不同田塊的土壤有機(jī)質(zhì)含量; 不同小麥品種的千粒重不同小麥品種的千粒重;不同大

2、麗輪枝菌的致病力等等。不同大麗輪枝菌的致病力等等。2變量間的關(guān)系變量間的關(guān)系 (Relationships between variables) 函數(shù)關(guān)系函數(shù)關(guān)系 (Functional relationship)： 處于同一個(gè)統(tǒng)一體中的兩個(gè)變量，它們之間互相聯(lián)系著同時(shí)在變化，處于同一個(gè)統(tǒng)一體中的兩個(gè)變量，它們之間互相聯(lián)系著同時(shí)在變化，其中一個(gè)變化，另一個(gè)也按一定的規(guī)律相應(yīng)地變化，而且一個(gè)變量取定某其中一個(gè)變化，另一個(gè)也按一定的規(guī)律相應(yīng)地變化，而且一個(gè)變量取定某個(gè)數(shù)值，另一個(gè)變量也按照一定的規(guī)律有一個(gè)完全確定的數(shù)值與之對(duì)應(yīng)。個(gè)數(shù)值，另一個(gè)變量也按照一定的規(guī)律有一個(gè)完全確定的數(shù)值與之對(duì)應(yīng)。常以常

3、以 y=(x) 表示。如：路程和時(shí)間的關(guān)系：表示。如：路程和時(shí)間的關(guān)系：s = vt；消光值和溶液濃度的關(guān)；消光值和溶液濃度的關(guān)系：系：E = RC，等等。，等等。 相關(guān)關(guān)系相關(guān)關(guān)系 (Correlation relationship)： 當(dāng)一個(gè)變量取定某個(gè)數(shù)值時(shí)，另一個(gè)變量出現(xiàn)的對(duì)應(yīng)值不是完全確定的。如：當(dāng)一個(gè)變量取定某個(gè)數(shù)值時(shí)，另一個(gè)變量出現(xiàn)的對(duì)應(yīng)值不是完全確定的。如：施氮量和作物產(chǎn)量的關(guān)系；施氮量和作物產(chǎn)量的關(guān)系； 土壤有機(jī)質(zhì)和土壤全氮含量。土壤有機(jī)質(zhì)和土壤全氮含量。2. 2. 相關(guān)關(guān)系的類(lèi)型相關(guān)關(guān)系的類(lèi)型 yxxyxy xy xyxy 相關(guān)關(guān)系的規(guī)律是概率性的，相關(guān)關(guān)系資料必須用相關(guān)關(guān)

4、系的規(guī)律是概率性的，相關(guān)關(guān)系資料必須用適當(dāng)?shù)慕y(tǒng)計(jì)方法處理后，才能使其規(guī)律呈現(xiàn)出來(lái)。適當(dāng)?shù)慕y(tǒng)計(jì)方法處理后，才能使其規(guī)律呈現(xiàn)出來(lái)。 1) 對(duì)具有相關(guān)關(guān)系的變量進(jìn)行抽樣研究，建立能表達(dá)兩者關(guān)系對(duì)具有相關(guān)關(guān)系的變量進(jìn)行抽樣研究，建立能表達(dá)兩者關(guān)系的回歸方程。的回歸方程。3. 3. 回歸分析回歸分析 (Regression analysis)(Regression analysis)研究相關(guān)關(guān)系中變量與變量間數(shù)量關(guān)系的一種數(shù)學(xué)方法。研究相關(guān)關(guān)系中變量與變量間數(shù)量關(guān)系的一種數(shù)學(xué)方法。主要包括：主要包括：2) 2) 通過(guò)對(duì)方程的統(tǒng)計(jì)檢驗(yàn)，判斷變量相關(guān)關(guān)系的密切程度；通過(guò)對(duì)方程的統(tǒng)計(jì)檢驗(yàn)，判斷變量相關(guān)關(guān)系的密

5、切程度；3) 3) 依據(jù)回歸方程及其誤差精度），從一個(gè)或多個(gè)變量的已知值依據(jù)回歸方程及其誤差精度），從一個(gè)或多個(gè)變量的已知值估測(cè)另一個(gè)變量的取值范圍，進(jìn)行預(yù)測(cè)。估測(cè)另一個(gè)變量的取值范圍，進(jìn)行預(yù)測(cè)。Relationship between ear length (cm) and yield per plant of maize (g)陜西旬邑縣蘋(píng)果黑星病病葉率隨時(shí)間變化圖陜西旬邑縣蘋(píng)果黑星病病葉率隨時(shí)間變化圖陜西楊凌小麥條銹病病葉率隨時(shí)間變化圖陜西楊凌小麥條銹病病葉率隨時(shí)間變化圖表表1 雙變量雙變量X, Y總體模式表總體模式表X Y y,x X1 Y11 Y12 Y1n Y1 X2 Y21 Y2

6、2 Y2n Y2 Xn Yn1 Yn2 Ynn Yn對(duì)于一個(gè)雙變量總體對(duì)于一個(gè)雙變量總體 ：令令 是是 時(shí)所有時(shí)所有 的平均值，在統(tǒng)計(jì)學(xué)上稱(chēng)為的平均值，在統(tǒng)計(jì)學(xué)上稱(chēng)為 的條件平均數(shù)或的條件平均數(shù)或條件期望值則：條件期望值則：稱(chēng)為回歸函數(shù)，表示稱(chēng)為回歸函數(shù)，表示 y y 依依 x x 變化而回歸。變化而回歸。 如果變量如果變量 x 和和 y 是直線相關(guān)關(guān)系，則上述回歸函數(shù)可表示成：是直線相關(guān)關(guān)系，則上述回歸函數(shù)可表示成：稱(chēng)為直線回歸方程。稱(chēng)為直線回歸方程。ixy,ixx yy)(,xfixyixy,xxyi0,又稱(chēng)為又稱(chēng)為Y Y的回歸值。的回歸值。),(ijiyx如果變量如果變量 x 和和 y

7、是直線相關(guān)關(guān)系，則上述回歸方程可表示成：是直線相關(guān)關(guān)系，則上述回歸方程可表示成：用用 作為作為 的估計(jì)值，則上述回歸函數(shù)可表示為：的估計(jì)值，則上述回歸函數(shù)可表示為：稱(chēng)為樣本回歸方程。稱(chēng)為樣本回歸方程。 稱(chēng)為樣本線性回歸方程。稱(chēng)為樣本線性回歸方程。如果變量如果變量 x 和和 y 呈曲線相關(guān)關(guān)系如拋物線），則上述回歸方程可表示成：呈曲線相關(guān)關(guān)系如拋物線），則上述回歸方程可表示成：稱(chēng)為樣本非線性回歸方程。稱(chēng)為樣本非線性回歸方程。對(duì)于一個(gè)雙變量樣本對(duì)于一個(gè)雙變量樣本 ：),(ijiyxy ixy,)(xfy bxby020bxbxby1 1當(dāng)兩個(gè)變量有因果關(guān)系時(shí)，則原因變量為自變量，結(jié)果變量為依變量。

8、當(dāng)兩個(gè)變量有因果關(guān)系時(shí)，則原因變量為自變量，結(jié)果變量為依變量。2 2當(dāng)兩個(gè)變量沒(méi)有因果關(guān)系時(shí)，則根據(jù)研究目的確定。當(dāng)兩個(gè)變量沒(méi)有因果關(guān)系時(shí)，則根據(jù)研究目的確定。3 3當(dāng)兩個(gè)變量中，有一個(gè)是非隨機(jī)變量時(shí)，則非隨機(jī)變量必為自變量。當(dāng)兩個(gè)變量中，有一個(gè)是非隨機(jī)變量時(shí)，則非隨機(jī)變量必為自變量。4 4當(dāng)兩個(gè)變量均為隨機(jī)變量時(shí)，則根據(jù)研究目的確定。當(dāng)兩個(gè)變量均為隨機(jī)變量時(shí)，則根據(jù)研究目的確定。例：例：1 1施肥量施肥量 (x) (x) 作物產(chǎn)量作物產(chǎn)量 (y)(y)。2 2土壤有機(jī)質(zhì)含量土壤有機(jī)質(zhì)含量 (x) (x) 土壤土壤全氮含量全氮含量 (y) (y) 。自變量自變量 (x, independent

9、 variable) 和依變量和依變量 (y, dependent variable)4. 4. 相關(guān)分析相關(guān)分析 (Correlation (Correlation analysis)analysis) 研究變量之間相關(guān)關(guān)系的密切程度及其性質(zhì)研究變量之間相關(guān)關(guān)系的密切程度及其性質(zhì) (正相關(guān)或負(fù)相關(guān)正相關(guān)或負(fù)相關(guān)), 并用一個(gè)數(shù)量性指標(biāo)來(lái)描述，這個(gè)指標(biāo)稱(chēng)為相關(guān)系數(shù)并用一個(gè)數(shù)量性指標(biāo)來(lái)描述，這個(gè)指標(biāo)稱(chēng)為相關(guān)系數(shù) (r) 。相關(guān)分析。相關(guān)分析不具備預(yù)測(cè)功能。不具備預(yù)測(cè)功能。？相關(guān)分析與回歸分析有何關(guān)系？相關(guān)分析與回歸分析有何關(guān)系？ 5. 相關(guān)分析與回歸分析必須注意的問(wèn)題相關(guān)分析與回歸分析必須注意的

10、問(wèn)題1相關(guān)的科學(xué)性。相關(guān)的科學(xué)性。2相關(guān)的可比性。相關(guān)的可比性。3作回歸和相關(guān)分析時(shí)，作回歸和相關(guān)分析時(shí)，x 的取值范圍要盡可能大，而且觀察值應(yīng)在的取值范圍要盡可能大，而且觀察值應(yīng)在5 對(duì)以上。對(duì)以上。表表1 一個(gè)雙變量一個(gè)雙變量X,Y樣本的模式表樣本的模式表X XX1 Y11 Y12 Y1n X1 Y11 Y12 Y1n X2 Y21 Y22 Y2nX2 Y21 Y22 Y2nXm Ym1 Ym2 YmaXm Ym1 Ym2 YmaY Y二、二、 一元線性回歸分析一元線性回歸分析 1. 一元線性回歸方程的建立一元線性回歸方程的建立1利用變量利用變量 (x, y) 作散點(diǎn)圖作散點(diǎn)圖 (Scat

11、ter diagram) 進(jìn)行初步判斷。進(jìn)行初步判斷。 xy2直線回歸方程直線回歸方程 (Linear regression equation) 的配置的配置確定直線方程的原則：確定直線方程的原則：xy y y y y直線方程的通式為：直線方程的通式為：稱(chēng)為稱(chēng)為 依依 的直線回歸方程式。的直線回歸方程式。：回歸系數(shù)：回歸系數(shù) (Regression (Regression coefficient);coefficient);：回歸截矩：回歸截矩 (Regression (Regression intercept).intercept).：自變量：自變量 (Independent variabl

12、e); ：回歸值：回歸值; ;bxby0y y xb0bx欲使建立的回歸方程最好，須使欲使建立的回歸方程最好，須使 和和 之間的差異最小。之間的差異最小。 y 2)(yyQ= = 最小最小y確定確定 b0 及及 b 值的方法值的方法 (最小二乘法最小二乘法)：要使要使則有：則有：2)(yyQ= = 最小最小bxby0yxbnb0 xyxbxb20 xxxynnllxxyyxxxxyxxyb22121)()()(xbyb00222)(200)(0200 xbybbxbybbxbybQ0222)(2020)(20 xbxyxbxbxbybbxbybQ因?yàn)橐驗(yàn)?上式及本式稱(chēng)為正規(guī)方程組上式及本式稱(chēng)為

13、正規(guī)方程組 (Normal equations). 亦可用矩陣形式表示。亦可用矩陣形式表示。 直線回歸方程的特點(diǎn)直線回歸方程的特點(diǎn)（1直線回歸方程一定通過(guò)點(diǎn)直線回歸方程一定通過(guò)點(diǎn)（2回歸系數(shù)回歸系數(shù) b 的符號(hào)取決于的符號(hào)取決于 lxy b 0 時(shí)，時(shí)，x 與與y 正相關(guān)；正相關(guān)； b |r| under H0: Rho=0 Prob |r| under H0: Rho=0 x y x y x 1.00000 0.96412 x 1.00000 0.96412 .0001 .0001 y 0.96412 1.00000 y 0.96412 1.00000 .0001 |r| under H0:

14、 Rho=0 Prob |r| under H0: Rho=0 x y x y x 1.00000 -0.83714 x 1.00000 -0.83714 0.0049 0.0049 y -0.83714 1.00000 y -0.83714 1.00000 0.0049 0.0049outp, Pearsonouts, Spearmanoutk, Kendallouth, Hoeffding50. 305. 4|05. 4|50. 305. 42067. 08371. 02067. 0298371. 018371. 07,01. 02tttSrr說(shuō)明3月下旬至4月中旬積溫和一代三化螟蛾盛發(fā)期

15、間存在真實(shí)的直線相關(guān)關(guān)系。相關(guān)系數(shù)的t測(cè)驗(yàn)T T測(cè)驗(yàn)法測(cè)驗(yàn)法 查查r表，當(dāng)自由度為表，當(dāng)自由度為7，顯著水平分別為，顯著水平分別為0.05和和0.01時(shí)，對(duì)應(yīng)的時(shí)，對(duì)應(yīng)的r值分別為值分別為0.666和和0.798。|r|=0.83710.798 因而，兩個(gè)變量在因而，兩個(gè)變量在0.01 水平上顯著，即認(rèn)為水平上顯著，即認(rèn)為兩個(gè)變量之間存在顯著的直線相關(guān)關(guān)系。兩個(gè)變量之間存在顯著的直線相關(guān)關(guān)系。r r值法值法第三節(jié)第三節(jié) 多元線性回歸與相關(guān)多元線性回歸與相關(guān)Multivariate linear Multivariate linear regressionregression0

16、0.41317212529-200204060籽粒產(chǎn)量( 克/ 盆)苗期施氮( g N / Kg土 )土壤含水量( % ) 在自然界中，與依變量y有關(guān)系的變量不止有一個(gè)，而是多個(gè)，它們之間的關(guān)系也不一定是線性的。例如，作物產(chǎn)量的高低。例如，作物產(chǎn)量的高低。多元回歸多元回歸: 研究變量研究變量y 與多個(gè)變量之間的定量關(guān)系稱(chēng)為多元回歸與多個(gè)變量之間的定量關(guān)系稱(chēng)為多元回歸 (Multiple regression)。許多多元非線性回歸都可以化為多元。許多多元非線性回歸都可以化為多元線性回歸來(lái)處理。線性回歸來(lái)處理。 播期播期 (Sowing date)密度密度(Density)施肥量施肥量 (Fert

17、ilization rates)土壤肥力土壤肥力 (Soil fertility)雨量雨量 (Rainfall)光照光照 (Sunshine)氣溫氣溫 (Temperature)病蟲(chóng)害病蟲(chóng)害 (Damage by pests and disease）1. 多元線性回歸的數(shù)學(xué)模型(Mathematical model of multiple regression)NNpNNpppyxxxNyxxxyxxxyxxx212222211112112121試驗(yàn)號(hào)試驗(yàn)號(hào) 設(shè)變量設(shè)變量 y y 與另外與另外 p p 個(gè)變量個(gè)變量 x1, x2, , xp x1, x2, , xp 的內(nèi)在關(guān)的內(nèi)在關(guān)系是線性的

18、，如果做了系是線性的，如果做了 N N 次試驗(yàn)，其結(jié)果如下表：次試驗(yàn)，其結(jié)果如下表： NNppNNNppppxxxyxxxyxxxy2211022222211021112211101上表中的數(shù)據(jù)可以假定具有如下數(shù)學(xué)模型：上表中的數(shù)據(jù)可以假定具有如下數(shù)學(xué)模型： ppxxxy22110N,2,1即 NNpNNpppyxxxNyxxxyxxxyxxx212222211112112121試驗(yàn)號(hào)試驗(yàn)號(hào) NNppNNNppppxxxyxxxyxxxy2211022222211021112211101或者 ppxxxy22110N,2,1p,10N,21), 0(2N式中式中 是待估計(jì)參數(shù)，是待估計(jì)參數(shù)，

19、是是N個(gè)獨(dú)立且服從正態(tài)分布個(gè)獨(dú)立且服從正態(tài)分布 的隨機(jī)變量。的隨機(jī)變量。 、稱(chēng)為多元線性回歸的數(shù)學(xué)模型。稱(chēng)為多元線性回歸的數(shù)學(xué)模型。 ppxbxbxbby22110用試驗(yàn)結(jié)果進(jìn)行估計(jì)時(shí)，可得相應(yīng)的多元線性回歸方程為：用試驗(yàn)結(jié)果進(jìn)行估計(jì)時(shí)，可得相應(yīng)的多元線性回歸方程為： ppxbxbxbby22110 式中式中 b0 為常數(shù)項(xiàng)，為常數(shù)項(xiàng)，bj 為為 y 對(duì)對(duì) xj 的偏回歸系數(shù)，它是表示的偏回歸系數(shù)，它是表示當(dāng)其它當(dāng)其它 x 固定不變時(shí)，固定不變時(shí)，xj 變化一個(gè)單位而使變化一個(gè)單位而使 y 平均變化的數(shù)平均變化的數(shù)值。值。 如果令： Nyyyy321YNpNNpppxxxxxxxxxxxx21

20、3323122221112111111Xp10N10則模型可以寫(xiě)成矩陣形式則模型可以寫(xiě)成矩陣形式: XYNNppNNNppppxxxyxxxyxxxy2211022222211021112211101多元線性回歸多元線性回歸的數(shù)學(xué)模型的數(shù)學(xué)模型:YNyyyy321XNpNNpppxxxxxxxxxxxx213323122221112111111p10則模型可以寫(xiě)成矩陣形式則模型可以寫(xiě)成矩陣形式: XYN 1N (p+1)(p+1) 1N 1Why?N212. 2. 多元線性回歸方程的建立多元線性回歸方程的建立確定直線方程的原則：確定直線方程的原則：確定確定 b0 及及 bj 值：值：欲使建立的

21、回歸方程最好，須使欲使建立的回歸方程最好，須使 和和 之間的差異最小。之間的差異最小。 yy = = 最小最小2)(yyQ要使要使則有：則有：2)(yyQ= = 最小，最小，0)(20)(222110)(22110)(22211002221100jppbxbxbxbbybQppbxbxbxbbybQxxbxbxbbyxbxbxbbyjppjpp0)(20)(222110)(22110)(22211002221100jppbxbxbxbbybQppbxbxbxbbybQxxbxbxbbyxbxbxbbyjppjpp即即 yxbxbxxbxxbxyxbxxbxbxxbxyxbxxbxxbxbxyb

22、xbxbxNbpppppppppppp)()()()()()()()()()()()()()()(2221102222212102112211210122110上式及本式稱(chēng)為正規(guī)方程組上式及本式稱(chēng)為正規(guī)方程組 (Normal equations). 對(duì)正規(guī)方程組求解，即得對(duì)正規(guī)方程組求解，即得b0, bj. 如果令如果令A(yù)為正規(guī)方程組的系數(shù)矩陣，即為正規(guī)方程組的系數(shù)矩陣，即 ：yxbxbxxbxxbxyxbxxbxbxxbxyxbxxbxxbxbxybxbxbxNbpppppppppppp)()()()()()()()()()()()()()()(22211022222121021122112

23、1012211022122221212121121pppppppxxxxxxxxxxxxxxxxxxxxxNANpNNpppxxxxxxxxxxxx213323122221112111111NpppNNxxxxxxxxx212221212111111XX(p+1) (p+1),方陣方陣 (p+1) pp (p+1)Structure matrixByxyxyxyp21YXNpppNNxxxxxxxxx212221212111111Nyyyy321(p+1) pN 1令令B B為正規(guī)方程組右端的常數(shù)項(xiàng)矩陣，即：為正規(guī)方程組右端的常數(shù)項(xiàng)矩陣，即：令令 則正規(guī)方程組則正規(guī)方程組YXBbXXAb)(對(duì)

24、上式求解，得：對(duì)上式求解，得： bYXXXBA11)(),(210pbbbbbpbbbb210yxbxbxxbxxbxyxbxxbxbxxbxyxbxxbxxbxbxybxbxbxNbpppppppppppp)()()()()()()()()()()()()()()(2221102222212102112211210122110可以寫(xiě)成矩陣形式：可以寫(xiě)成矩陣形式：表表 10株玉米穗行數(shù)株玉米穗行數(shù) x1，行粒數(shù)，行粒數(shù) x2與單株產(chǎn)量與單株產(chǎn)量 y例：例：處置處置 穗行數(shù)穗行數(shù) x1 行粒數(shù)行粒數(shù) x2 單株產(chǎn)量單株產(chǎn)量 y 1 16 29 139 2 16 32 150 3 14 32 13

25、3 4 12 39 142 5 18 26 143 6 14 37 160 7 16 31 147 8 14 38 161 9 14 40 169 10 14 28 134欲建立的二元線性回歸方程為：欲建立的二元線性回歸方程為： 調(diào)查某玉米綜合種調(diào)查某玉米綜合種1010株，該品種每株玉米皆為單果穗。試建立每穗株，該品種每株玉米皆為單果穗。試建立每穗行數(shù)、行粒數(shù)與單株產(chǎn)量間的二元線性回歸方程。行數(shù)、行粒數(shù)與單株產(chǎn)量間的二元線性回歸方程。 22110 xbxbbyYXXXBA11)(bb210bbbYXXXBA11)(pbbbb210XYNyyyy321常數(shù)項(xiàng)矩陣y y 矩陣矩陣結(jié)構(gòu)矩陣結(jié)構(gòu)矩陣Y

26、XBNpNNpppxxxxxxxxxxxx213323122221112111111yxyxyxyp21X28161401413814131161371412618139121321413216129161134169161147160143142133150139YXXA222122121121xxxxxxxxxxN1124449143324914227615033215010結(jié)構(gòu)矩陣結(jié)構(gòu)矩陣y y 矩陣矩陣YXB49450221201478XXA222122121121xxxxxxxxxxN1124449143324914227615033215010常數(shù)項(xiàng)矩陣常數(shù)項(xiàng)矩陣該方程有唯一解的條

27、件是該方程有唯一解的條件是:A-1 是方程系數(shù)矩陣的逆矩陣是方程系數(shù)矩陣的逆矩陣, 稱(chēng)相關(guān)矩陣。稱(chēng)相關(guān)矩陣。 是系數(shù)矩陣是系數(shù)矩陣 A 的行列式。的行列式。Aij 是是 中元素中元素 aij 的代數(shù)余的代數(shù)余子式。子式。式中：式中：對(duì)對(duì) 求解得：求解得：BAb 210bbbbBA10AAA33231332221231211111AAAAAAAAAAA33231332221231211111AAAAAAAAAAAb210bbbBA16888. 49790. 95480.157每穗行數(shù)、行粒數(shù)與單株產(chǎn)量間的二元線性回歸方程為：每穗行數(shù)、行粒數(shù)與單株產(chǎn)量間的二元線性回歸方程為： 2606601853

28、266022165515218532551521443948140561216888. 4979. 9548.157xxy3. 3. 多元線性回歸方程的顯著性檢驗(yàn)多元線性回歸方程的顯著性檢驗(yàn)1) 因變量觀察值的變異來(lái)源劃分因變量觀察值的變異來(lái)源劃分2) 變異平方和的分解與計(jì)算變異平方和的分解與計(jì)算(1) 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn))()(yyyyyy總變異總變異 = 剩余變異剩余變異 + 回歸變異回歸變異222)()()(yyyyyySSTSST = SS剩剩 + SS回回其中其中 B0， Bj為常數(shù)項(xiàng)矩陣為常數(shù)項(xiàng)矩陣 B 中的元中的元素素平方和的計(jì)算平方和的計(jì)算yyNyTlyy

29、ySS2)(22)(SST = SS剩剩 + SS回回即2)(yyQ2)(yyU令 jjBbBbyyyQ0022)(QlQSSUyyTUQSST3) 自由度的分解與計(jì)算自由度的分解與計(jì)算4) F值的計(jì)算值的計(jì)算5) 統(tǒng)計(jì)推斷統(tǒng)計(jì)推斷F F 否定否定H0 ，接受，接受 HA總自由度：總自由度： dfT = N 1 回歸自由度：回歸自由度： df回回 = m 剩余自由度剩余自由度: df剩剩 = dfT - df回回 = N m 1F =S2S2回回S2S2剩剩SS回回/df回回 SSSS剩剩/df/df剩剩 =1) 偏回歸平方和偏回歸平方和各偏回歸系數(shù)的平方和，稱(chēng)為偏各偏回歸系數(shù)的平方和，稱(chēng)為偏

30、 回歸平方和。記作回歸平方和。記作 PjCjj為正規(guī)方程組系數(shù)矩陣為正規(guī)方程組系數(shù)矩陣 A 的逆矩陣的逆矩陣 A-1 主對(duì)角線上元素。主對(duì)角線上元素。bj為為 y 對(duì)對(duì) xj 的偏回歸系數(shù)的偏回歸系數(shù)2) 自由度的計(jì)算自由度的計(jì)算 3) F值的計(jì)算值的計(jì)算4) 統(tǒng)計(jì)推斷統(tǒng)計(jì)推斷(2) (2) 偏回歸系數(shù)的顯著性檢驗(yàn)偏回歸系數(shù)的顯著性檢驗(yàn)jjjCbjP2F =Pj /1 SS剩剩/ df剩剩 F F 否定否定H0 ，接受，接受 HA偏偏 回歸平方和的自由度為偏回歸系數(shù)的自由度，即為：回歸平方和的自由度為偏回歸系數(shù)的自由度，即為：1(3) (3) 自變量的重要性和取舍自變量的重要性和取舍 對(duì)于偏回

31、歸系數(shù)不顯著的自變量應(yīng)按照其偏回歸平方和的大對(duì)于偏回歸系數(shù)不顯著的自變量應(yīng)按照其偏回歸平方和的大小，從小到大逐步舍去，并重新進(jìn)行回歸及檢驗(yàn)，直到所保留自變小，從小到大逐步舍去，并重新進(jìn)行回歸及檢驗(yàn)，直到所保留自變量的偏回歸系數(shù)均顯著為止。此稱(chēng)為逐步回歸。量的偏回歸系數(shù)均顯著為止。此稱(chēng)為逐步回歸。多元線性回歸方程的顯著性檢驗(yàn)多元線性回歸方程的顯著性檢驗(yàn) (F(F檢驗(yàn)檢驗(yàn)) ) H0: H0: 回歸關(guān)系不顯著；回歸關(guān)系不顯著；HA: HA: 回歸關(guān)系顯著回歸關(guān)系顯著; ; 計(jì)算統(tǒng)計(jì)量計(jì)算統(tǒng)計(jì)量F:F:Nyyyyl2)(26 .132110/1478)134150139(22222211002BbB

32、bBbyQ31.294994506888. 422120979. 91478548129231.296 .1321QlUyy49450221201478YXB回歸回歸 1292.29 2 646.1451292.29 2 646.145154.318154.318* * * 4.74 4.74 9.559.55剩余剩余 29.31 7 4.1871 變因變因 SS df MS F F0.05 F0.01總變異總變異 1321.6 9 二元線性回歸方程的顯著性檢驗(yàn)方差分析表二元線性回歸方程的顯著性檢驗(yàn)方差分析表故該二元線性回歸方程的回歸關(guān)系極顯著水平故該二元線性回歸方程

33、的回歸關(guān)系極顯著水平偏回歸系數(shù)的顯著性檢驗(yàn)偏回歸系數(shù)的顯著性檢驗(yàn) 計(jì)算偏回歸平方和計(jì)算偏回歸平方和 x1 631.455 1 631.455150.81* 5.59 12.2 x2 1188.47 1 1188.47 283.84* 5.59 12.2變因變因 SS df MS F F0.05 F0.01總變異總變異 1321.6 9 剩余剩余 29.31 7 4.1871 回歸 1292.29 2 646.145154.318* 4.74 9.551577. 0979. 9121121cbP455.6310185. 0689. 4222222cbP471.1188偏回歸系數(shù)的顯著性檢驗(yàn)方差分

34、析表偏回歸系數(shù)的顯著性檢驗(yàn)方差分析表216888. 4979. 9548.157xxy可以使用 二、二、 多元相關(guān)分析多元相關(guān)分析1. 多元相關(guān)多元相關(guān) 指指 m 個(gè)自變量與個(gè)自變量與 1 個(gè)因變量的總相關(guān)。多元相關(guān)系數(shù)記作：個(gè)因變量的總相關(guān)。多元相關(guān)系數(shù)記作： R = SSSS回回SSTSSTR的存在區(qū)間為的存在區(qū)間為 0，1 。1計(jì)算計(jì)算 R; 2由由Df= N M-1，變量個(gè)數(shù)為，變量個(gè)數(shù)為M， 查相關(guān)系數(shù)表附表查相關(guān)系數(shù)表附表10得得R，假如：，假如： R R 表明兩變量的相關(guān)關(guān)系達(dá)顯著或極顯著水平。表明兩變量的相關(guān)關(guān)系達(dá)顯著或極顯著水平。,myR12簡(jiǎn)記作：簡(jiǎn)記作：R多元相關(guān)系數(shù)或復(fù)

35、相關(guān)系數(shù)多元相關(guān)系數(shù)或復(fù)相關(guān)系數(shù) (R) yylUR 或或多元相關(guān)系數(shù)的顯著性檢驗(yàn)多元相關(guān)系數(shù)的顯著性檢驗(yàn):Nyyyyl2)(229.129231.296 .1321QlUyy6 .132110/1478)134150139(2222yylUR = 0.9888 * m=3, df剩剩 = N m 1=6, R0.01= 0.886, 2. 偏相關(guān)偏相關(guān) (Partial correlation) 偏相關(guān)系數(shù)偏相關(guān)系數(shù) (Partial correlation coefficient) 偏相關(guān)系數(shù)的定義偏相關(guān)系數(shù)的定義: 在其它各個(gè)變量都保持一定在其它各個(gè)變量都保持一定時(shí)，指定的兩個(gè)變量間相關(guān)

36、的密切程度。偏相關(guān)又稱(chēng)為時(shí)，指定的兩個(gè)變量間相關(guān)的密切程度。偏相關(guān)又稱(chēng)為凈相關(guān)。凈相關(guān)。 偏相關(guān)系數(shù)的表示方法偏相關(guān)系數(shù)的表示方法: r12, 34m, 簡(jiǎn)記作：簡(jiǎn)記作： r12 , rij 偏相關(guān)系數(shù)的取值范圍偏相關(guān)系數(shù)的取值范圍 : -1, 1mmmmmmmmrrrrrrrrrrrrrrrrR321233323122322211131211mmmmmmmmCCCCCCCCCCCCCCCCR3212333231223222111312111jjiiijCCCijr 由由 Df= N m，查表變量個(gè)數(shù)為，查表變量個(gè)數(shù)為 2， 查相關(guān)系數(shù)表附表查相關(guān)系數(shù)表附表10得得 r，假如：假如： r r

37、表明兩變量的相關(guān)關(guān)系達(dá)顯著或極顯著水平。表明兩變量的相關(guān)關(guān)系達(dá)顯著或極顯著水平。333231232221131211rrrrrrrrrR17029. 02697. 07029. 018695. 02697. 08695. 013332312322211312111CCCCCCCCCR7232.355847.689998.495847.687740.1355582.999998.495582.990809.749927.022111212CCCr9719.033111313CCCr9848.033222323CCCrDf = N m =7，查表變量個(gè)數(shù)為，查表變量個(gè)數(shù)為 2666. 07,05.

38、 0r798. 07,01. 0r以下內(nèi)容自學(xué)以下內(nèi)容自學(xué)例例 支崇遠(yuǎn)對(duì)貴陽(yáng)成年水牛支崇遠(yuǎn)對(duì)貴陽(yáng)成年水牛39頭實(shí)測(cè)了體重頭實(shí)測(cè)了體重(y/kg)、胸圍、胸圍(x1 /cm) 、體斜長(zhǎng)、體斜長(zhǎng)(x2 /cm)和體高和體高(x3 /cm) ，資料列于表，資料列于表4-4-2中，試建立三元線性回歸方程。中，試建立三元線性回歸方程。 編號(hào)12345678體重443.5507.5462.5514.0471.5545540.5536胸圍194200194211205204315207體長(zhǎng)146150150153153153154142體高122.1123.5126.5134.5129.5125.5133.

39、0128.5編號(hào)910111213141516體重468550.5492.0583442.5439.5477.5450胸圍201199200210194190203194體長(zhǎng)153160149160140147148135體高128.7127.5123.5138.6124121129118編號(hào)1718192021222324體重466480422413.5471.0414.5410428.5胸圍190190185183193188179193體長(zhǎng)135138.5140130145133140140體高122124119.5114123.5119119116編號(hào)2526272829303132體

40、重468517.5578620481702420491胸圍190195.5207.5211203220197194體長(zhǎng)155150160150137165142149體高120.5129.5128.5132.5130142.2124122編號(hào)33343536373839體重515483505465460404496胸圍198200197192185187194體長(zhǎng)150135153144154151152體高131.5128124119.5119.5123.0120.0表表 39頭成年水牛實(shí)測(cè)體重、體尺數(shù)據(jù)表頭成年水牛實(shí)測(cè)體重、體尺數(shù)據(jù)表25.847574, 5 .5741; 5 .15206

41、46,7693222211xxxx233124885.1,613312.86;1133959xxx x1323965451.85,720207.7;19034.5x xx xy2129434166.25;3772275.25,2814701yx yx y7 .23954923yx由表4-4-2數(shù)據(jù)計(jì)算一級(jí)統(tǒng)計(jì)數(shù)據(jù)：由一級(jí)統(tǒng)計(jì)數(shù)據(jù)計(jì)算二級(jí)統(tǒng)計(jì)數(shù)據(jù)：06.488,26.125,22.147,26.197321yxxx9359.315239)(212111xxl3974.261539)(222222xxl5344.138439)(232333xxl212121123205.160139)(lxxxx

42、l313131138103.181339)(lxxxxl323232232987.113839)(lxxxxl0897.14411039)(22yylyy1090.1759839)(111yxyxly4551.1292039)(222yxyxly9526.1119239)(333yxyxly平方和lxx交叉積lxy3152.93591601.32051813.81031601.32052615.39741138.29871813.81031138.29871384.5344xxL17598.109012920.455111192.9526xyL計(jì)算 并估計(jì)各偏回歸系數(shù)得出回歸方程：1xxL10

43、.00129958.51792230.00163248.51792230.00060100.00038250.0016340.00038250.00317522xx LT1T123( ,)(3.49698, 1.984559, 1.871436)xxxyb b bL L3371.7283322110 xbxbxbyb123728.3371 3.496981.9845591.871436xxx y計(jì)算U,Q,U1,U2,U3并檢驗(yàn) 5351.108128332211yyylblblbU5546.35981ULQyye4418.94100012995. 049698. 3211211cbU4201

44、.65530006010. 0984559. 1222222cbU0016.110300317522. 0871436. 1233233cbUUUUUUj8635.17066321表表 三元線性回歸方程的方差分析三元線性回歸方程的方差分析12. 4)35, 1 (05. 0F145. 7)35, 1 (01. 0F40. 4)35, 3(01. 0F變異來(lái)源 df（自由度）SS（平方和）MS（均方）FFaX119410.4418(U1)9410.44189.154*X216553.4201(U2)6553.42016.3746*X311103.0016(U3)1103.00161回歸3（p）1

45、08128.5546(U)36042.84535.06*剩余35（n-p-1）35981.5546(Q)1028.0444總變異38（n-1）144110.0897(Lyy)275%,yyRU l*0.8662R 01109. 4871436. 100317522. 00016324. 049698. 33333111bccbb10502. 2871436. 100317522. 00003825. 0984559. 13333222bccbb5335.1070250016.11035351.1081283*UUU5562.370840016.11035546.359813*UQQ,36, 2

46、*eUff*9478.51362QUF25. 5)36, 2(01. 0F0687.6132*21*1*0 xbxbyb12613.06874.011092.10502xx y%3 .740897.1441105335.1070252R剔除x3后:111222()()()pppyb xxbxxbxxyT()ybxxT120000T120000001 ,()()1, 1()()xxxxNynyNynyyxxLxxxxLxx002T1002T1001()()(1)11()()(1)xxeyxxeSQnpnSQnpnyxxLxxxxLxx其中 10.00129958.51792230.0016324

47、8.51792230.00060100.00038250.0016340.00038250.00317522xx L200-7693/39=2.7436150-5741.5/39=2.7821123.5-4885.1/39=-1.7590(2.7436,2.7821,1.7590)例如: 用線性回歸解決多項(xiàng)式非線性回歸問(wèn)題用線性回歸解決多項(xiàng)式非線性回歸問(wèn)題 ppxxxy2210,221ppxxxxxxppxxxy2211031622521421322110zzzzzzzy,2142132211zzxzxzxzx3322110 xxxy如:如:令:令:表表 廢品率廢品率y y與化學(xué)成分與化學(xué)成分

48、x x的記錄的記錄xx 122xx xx 122xx y (%)(0.01%)y (%)(0.01%)1.303411560.444016001.003612960.564116810.733713690.304217640.903814440.424318490.813915210.354318490.703915210.404520250.603915210.414722090.504016000.60482304354045500.811.2圖4-4-1 廢品率y與化學(xué)成分x的散點(diǎn)圖及回歸曲線圖,02.10y 6263. 01602.10y,6511x 6875.401

49、66511x,267092x 3125.166916267092x44.221)(1212111xnxl1513685)(1222222xnxl18283)(121212112xxnxxll649.11)(1111yxnyxly05.923)(1222yxnyxly4982. 1)(122ynylyy正則方程組為05.923151368518283649.111828344.2212121bbbb,009301. 0,8205. 021bb484.1822110 xbxbyb218.4840.82050.009301xxy2102bbx，20210244b bbby極值:11.44009301

50、. 02)8205. 0(0 x204 18.484 0.009301 ( 0.8205)0.394 0.009301 y當(dāng)某化學(xué)成分含量在0.44%左右時(shí)，平均廢品率最小，約為0.39% 通徑分析與偏相關(guān)分析 偏相關(guān)Partial Correlation）：是在其余M2個(gè)變量皆固定時(shí)，指定的兩個(gè)變量間的相關(guān)。偏回歸系數(shù)bi不能反映自變量的相對(duì)重要性，因?yàn)椋篵i 帶有具體的單位，單位不同無(wú)法比較；即使單位相同，Xi的變異程度不同，也不能比較。但可以采用標(biāo)準(zhǔn)化的偏回歸系數(shù)，也稱(chēng)通徑系數(shù)Path coefficient）：yxiixyiiSSSSbnSSnSSbP) 1/(/1) 1/(/1即對(duì)分

51、子和分母分別除以即對(duì)分子和分母分別除以Y和和Xi的標(biāo)準(zhǔn)差，就可以消除單位和變異度的影響，的標(biāo)準(zhǔn)差，就可以消除單位和變異度的影響，其統(tǒng)計(jì)學(xué)意義是若增加一個(gè)標(biāo)準(zhǔn)差單位，其統(tǒng)計(jì)學(xué)意義是若增加一個(gè)標(biāo)準(zhǔn)差單位，Y將增加或減少將增加或減少Pi個(gè)標(biāo)準(zhǔn)差單位。個(gè)標(biāo)準(zhǔn)差單位。通徑分析實(shí)質(zhì)上是標(biāo)準(zhǔn)化的多元線性回歸分析 *11221212PPPyPyxxxxxxbbbSSSSypjSSbbnlSnlSyjjjjjjyyy, 2 , 1,1,1*1b*2b*3b*eb12r23r1x2x3x13ry圖圖4-5-1 y關(guān)于各關(guān)于各x的通徑圖的通徑圖 yyyrbbrbrrbrbbrrbrbrb3*3*232*1312*3

52、23*2*1211*1313*1212*1*T12(,) ,pb bbb) 1,() 1/()1 (/) 1/(/22pnpFpnRpRpnQpUF) 1(1)1 (2*pntpnRcbtjjjj2*T1 12 2yyp pyxyRUb rb rb r b R*T*2*112ppxxjjjkkjjj kbb r bb R b2*2(=2()jjjjkkjjjkkjkRbxyRRb r bxxy對(duì) 的直接決定系數(shù)）, 相關(guān)路對(duì) 的相關(guān)決定系數(shù)jkjjyjjkjjbrbRRR2*2)(2決策系數(shù) 【例4-5-2】 關(guān)于小麥產(chǎn)量y與其構(gòu)成因素x1百粒重）、x2 (每株穗數(shù)）、x3(每穗粒數(shù)x4(每穗

53、粒重的通徑分析試驗(yàn)為隨機(jī)區(qū)組設(shè)計(jì)，參試品種10個(gè)，重復(fù)3次誤差自由度為18，遺傳型的自由度為9，遺傳相關(guān)系數(shù)的顯著性臨界值為 x1X2X3X4yX110.2740.7060.5250.050X210.3000.4740.477X30.6650.256X410.440735. 0)9(,602. 0)9(01. 005. 0rr050. 0525. 0706. 0274. 0*4*3*2*1bbbb477. 0474. 0300. 0274. 0*4*3*2*1bbbb256. 0665. 0300. 0706. 0*4*3*2*1bbbb440. 0665. 0474. 0525. 0*4*3*2*1bbbb313. 0321. 0*2*1bb908. 0180. 1*4*3bb14 42.02240.09101.29640.15650.09101.29460.09350.6280()1.29640.09352.62491.10930.15650.62801.10932.1175xxjicR861. 0)9(,931. 0,867. 001. 0*2RRrbRjyj325. 3)9(,262. 2)9(, )9(9)1 (01. 005. 02*tttRcbtjjjj*4*3*2*12659.10,9826.11,5259. 4,713