六西格瑪培訓講義-方差與回規(guī)課件

本章目標1.理解方差分析的概念2.知道方差分析解決什么樣的問題3.掌握單因素和多因素方差分析的原理4.會利用Minitab對實際問題進行方差分析5.能夠對方差分析的結果作出解釋返回目錄本章目標1.理解方差分析的概念返回目錄1方差分析的引入(續(xù)一)方差分析(ANOVA：analysisofvariance)能夠解決多個均值是否相等的檢驗問題。方差分析是要檢驗各個水平的均值是否相等，采用的方法是比較各水平的方差。返回目錄方差分析的引入(續(xù)一)方差分析(ANOVA：analysis2方差分析的引入（續(xù)三）方差分析實際上是用來辨別各水平間的差別是否超出了水平內(nèi)正常誤差的程度觀察值之間的差異包括系統(tǒng)性差異和隨機性差異。返回目錄方差分析的引入（續(xù)三）方差分析實際上是用來返回目錄3方差分析的引入(續(xù)四)觀察值期望值差距總離差組內(nèi)方差組間方差水平1水平2返回目錄方差分析的引入(續(xù)四)觀察值期望值差距總離差組內(nèi)方差組間方差47.2怎樣得到F統(tǒng)計量總離差組內(nèi)方差組間方差返回目錄7.2怎樣得到F統(tǒng)計量總離差組內(nèi)方差組間方差返回目錄5怎樣得到F統(tǒng)計量水平間(也稱組間)方差和水平內(nèi)(也稱組內(nèi))方差之比是一個統(tǒng)計量。實踐證明這個統(tǒng)計量遵從一個特定的分布，數(shù)理統(tǒng)計上把這個分布稱為F分布。即注意：組間方差(SSB)+組內(nèi)方差(SSw)=總方差(SST)F=組間方差／組內(nèi)方差返回目錄怎樣得到F統(tǒng)計量水平間(也稱組間)方差和水平內(nèi)(也稱組內(nèi))方6方差分析的前提不同組樣本的方差應相等或至少很接近水平1水平2水平1組內(nèi)方差遠遠超過兩水平組間方差，我無法分離這兩種差別！返回目錄方差分析的前提不同組樣本的方差應相等或至少很接近水平1水平27檢驗方差是否一致在方差分析之前，我們可利用Minitab對數(shù)據(jù)作方差一致性檢驗Minitab能夠讀取的數(shù)據(jù)格式與上表給出的格式不同，我們必須把數(shù)據(jù)轉化為Minitab能夠理解的形式，具體做法是：將所有變量值輸入工作表的第一列，對因素進行編碼，按照一定的順序編為1、2、3...，輸入后面幾列。對本例：先將素質(zhì)測評的得分輸入工作表列一；三個分支分別編碼為1、2、3，對應于變量值填入第二列；返回目錄檢驗方差是否一致在方差分析之前，我們可利用Minitab對數(shù)8給出假設因素是方差分析研究的對象，在這個例子里，兩個變量分別是分支機構位置和員工素質(zhì)測評分數(shù)，這里分支機構的位置就是一個因素，因素中的內(nèi)容就稱為水平。該因素中有三個水平，即機構的不同位置。學過第5章的知識后，我們可以給出下面的假設：返回目錄給出假設因素是方差分析研究的對象，在這個例子里，兩個變量分別9相關分析是研究事物的相互關系，測定它們聯(lián)系的緊密程度，揭示其變化的具體形式和規(guī)律性的統(tǒng)計方法，是構造各種經(jīng)濟模型、進行結構分析、政策評價、預測和控制的重要工具。相關關系度量工具相關表相關系數(shù)r散點圖相關分析概念度量工具

種類

返回目錄相關分析是研究事物的相互關系，測定它們聯(lián)系的緊密程度，揭示其10符號：r>0正相關；r<0

負相關測定兩變量是否線性相關？相關系數(shù)定義式：實際計算：計算公式值：|r|=0不存在線性關系或存在非線性相關；|r|＝1

完全線性相關0<|r|<1不同程度線性相關(0~0.3微弱；0.3~0.5低度；

0.5~0.8顯著；0.8~1高度)返回目錄符號：r>0正相關；r<0負相關測定兩變量是否線性相關？11相關系數(shù)的檢驗：相關系數(shù)的檢驗(t檢驗)H0

:

ρ=0,H1

:ρ≠0檢驗統(tǒng)計量統(tǒng)計量t遵從t(n－2)分布，將r變換成t后，可以用t檢驗方法檢驗ρ=0是否成立。拒絕域拒絕域接受域返回目錄相關系數(shù)的檢驗：相關系數(shù)的檢驗(t檢驗)H0:ρ=0121.一元線性回歸模型擬合優(yōu)度的評價判定系數(shù)（R2）是對回歸模型擬合優(yōu)度的評價?？偲?回歸偏差+剩余偏差xy返回目錄1.一元線性回歸模型擬合優(yōu)度的評價判定系數(shù)（R2）是對回歸模13

2.一元線性回歸模型的顯著性檢驗回歸系數(shù)b的檢驗：1．提出假設。H0：β=0；H1：β≠02.確定顯著性水平α。3.計算回歸系數(shù)的t值。4.確定臨界值。雙側檢驗查t分布表所確定的臨界值是（-tα/2）和（tα/2）；單側檢驗所確定的臨界值是（tα）。5.做出判斷。返回目錄2.一元線性回歸模型的顯著性檢驗回歸系數(shù)b的檢驗：4.確14當樣本量n<30，用t檢驗當樣本量n>30，t分布接近于標準正態(tài)分布Z，所以可以用正態(tài)分布代替。系數(shù)檢驗的方法選擇：返回目錄當樣本量n<30，用t檢驗當樣本量n>30，t分布接近于標151.提出假設：H0：R2=0；H1：R2≠02.計算檢驗統(tǒng)計量3.比較做出判斷回歸模型整體的F檢驗

返回目錄1.提出假設：H0：R2=0；H1：R2≠0回歸模型整體的168.6一元線性回歸模型的Minitab實現(xiàn)例8－2.某家電集團1989年至1998年10年的廣告費支出與銷售量的資料如下表所示：年份89909192939495969798廣告支出x(萬元)10204050608070110110140銷售量y(萬元)20303540507065807095試根據(jù)此資料確定銷售量y與廣告費支出x的是否存在線性關系，并進行模型分析。返回目錄8.6一元線性回歸模型的Minitab實現(xiàn)例8－2.某17系數(shù)的t檢驗擬合優(yōu)度R2方程的F檢驗預測方程結果輸出：返回目錄系數(shù)的t檢驗擬合優(yōu)度R2方程的F檢驗預測方程結果輸出：返回目18常見的可線性化的曲線回歸方程：英文名稱中文名稱方程形式Linear線性函數(shù)Logarithm對數(shù)函數(shù)Inverse雙曲線函數(shù)Quadratic二次曲線Cubic三次曲線Power冪函數(shù)Compound復合函數(shù)SS形函數(shù)Logistic邏輯函數(shù)

u是預先給定的常數(shù)Growth增長曲線Exponent指數(shù)函數(shù)返回目錄常見的可線性化的曲線回歸方程：英文名稱中文名稱方程形式L19常用的非線性函數(shù)的線性變換法下面是我們常用的4種線性變換法，分別舉例進行說明，其他的非線性方程也可以以此類推，得到相應的線性形式。1.倒數(shù)變換。例如：雙曲線模型令，將其代入得2.半對數(shù)變換。例如：對數(shù)函數(shù)令，代入得返回目錄常用的非線性函數(shù)的線性變換法下面是我們常用的4種線性變換法，20常用的非線性函數(shù)的線性變換法(續(xù))3.雙對數(shù)變換。例如：冪函數(shù)兩邊取對數(shù)的變換得：令代入得：4.多項式變換。如二元二次多項式令代入得：返回目錄常用的非線性函數(shù)的線性變換法(續(xù))3.雙對數(shù)變換。返回目錄21回歸分析的一般程序定性和定量分析相結合正確選擇變量搜集(試驗)統(tǒng)計數(shù)據(jù)估計回歸方程檢驗回歸方程檢驗回歸系數(shù)通過驗證理論估計影響預測變化通過不通過不通過返回目錄回歸分析的一般程序定性和定量分析相搜集(試驗)統(tǒng)計數(shù)據(jù)估計回229.1多元線性回歸分析的基本理論

多元線性回歸是簡單線性回歸的推廣,指的是多個因變量對多個自變量的回歸(MultivariateRegression)，最常用的是一個因變量對多個自變量的回歸。返回目錄9.1多元線性回歸分析的基本理論多元線性回歸是簡單線性23多元線性回歸模型的性質(zhì)截距偏回歸系數(shù)例二元線性回歸模型：b2：假定x2固定時x1每變動1個單位引起的y的增量。b3：假定x1固定時x2每變動1個單位引起的y的增量。是x1和x2共同變動引起的y的平均變動，反映一組自變量與因變量的平均變動關系。是給定x1、x2計算得到的估計值，是y的實際值的數(shù)學期望。返回目錄多元線性回歸模型的性質(zhì)截距偏回歸系數(shù)例二元線性回歸模型：b224一.擬合程度的評價調(diào)整可決系數(shù)

式中，n是樣本容量；k是模型中回歸系數(shù)的個數(shù)。調(diào)整可決系數(shù)的特點。9.4多元線性回歸模型的檢驗返回目錄一.擬合程度的評價9.4多元線性回歸模型的檢驗返回目錄25

二.多元線性回歸模型的顯著性檢驗回歸系數(shù)b的檢驗1．提出假設。H0：βj=0；H1：βj≠0

2.確定顯著水平α。3.計算回歸系數(shù)的t值。式中,是的標準差的估計值。按下式計算：

式中，是(X’X)-1的第j個對角線元素，S2是隨機誤差項方差的估計值。返回目錄二.多元線性回歸模型的顯著性檢驗回歸系數(shù)b的檢驗返回26

二.多元線性回歸模型的顯著性檢驗(續(xù)一)4.確定臨界值。雙側檢驗查t分布表所確定的臨界值是(-tα/2)和(tα/2)；單側檢驗所確定的臨界值是（tα）。5.做出判斷。拒絕域拒絕域接受域雙側檢驗圖示:返回目錄二.多元線性回歸模型的顯著性檢驗(續(xù)一)4.確定臨界值。27回歸方程的顯著性檢驗具體的方法步驟回歸模型方差分析表F統(tǒng)計量

二.多元線性回歸模型的顯著性檢驗(續(xù)二)離差名稱平方和自由度均方差回歸平方和k-1SSR/(k-1)殘差平方和

n-kSSE/(n-k)總離差平方和返回目錄回歸方程的顯著性檢驗二.多元線性回歸模型的顯著性檢驗(續(xù)28例9－1：在研究某超市顧客人數(shù)y與該超市促銷費用x1

、超市面積x2

、超市位置x3之間關系時，選取變量如下：y——某超市某一周六顧客人數(shù)（千人）x1——該超市上周促銷所花的費用（萬元)x2——該超市的面積（百平方米）x3——超市所處位置(0表示市區(qū)、1表示郊區(qū))按照y變量排序后的原始數(shù)據(jù)是：y23578101724253031353642444548505255x111.522.54.444.1x21.522.522435578x311110111001010001000多元回歸案例分析:返回目錄例9－1：在研究某超市顧客人數(shù)y與該超市促銷費用x1、超市29輸入數(shù)據(jù)見圖直接回歸法:點擊Stat——Regression——Regression返回目錄輸入數(shù)據(jù)見圖直接回歸法:點擊Stat——Regression30擬合的多元方程回歸系數(shù)的t檢驗調(diào)整后的可決系數(shù)可決系數(shù)回歸方程的F檢驗輸出結果：返回目錄擬合的多元方程回歸系數(shù)的t檢驗調(diào)整后的可決系數(shù)可決系數(shù)回歸方31若我們上面的預測方程不顯著，但確實知道其中幾個變量存在著一定的線性關系，我們也可以運用逐步回歸的方法對變量進行分析處理。點擊選擇回歸方法點擊彈出變量選擇框如下:逐步回歸實現(xiàn)：返回目錄若我們上面的預測方程不顯著，但確實知道其中幾個變量存在著一定32方程中X1的回歸系數(shù)及其t檢驗值、p值可決系數(shù)及調(diào)整后的可決系數(shù)回歸方程常數(shù)項點擊OK返回目錄方程中X1的回歸系數(shù)及其t檢驗值、p值可決系數(shù)及回33SS(factor)的自由度

是, SS(error)的自由度

是,

ComputingDegreeofFreedom自由度的計算One-WayANOVAPrinciples

One-WayANOVA的原理DOFofSS(total),SS(total)的自由度

是, DOFofSS(factor),DOFofSS(error),SS(factor)的自由度是, SS(er34因子(factor)平方和(SumofSquares)自由度(DegreeofFreedom)均平方(MeanSquare)F值SSBetweenSSWithinTotalOne-WayANOVAPrinciples

One-WayANOVA的原理因子平方和自由度均平方F值SSBetweenSSWith35RegressionAnalysis:Oxygenpurity%versusHydrocarbon%TheregressionequationisOxygenpurity%=74.3+14.9Hydrocarbon%PredictorCoefSECoefTPConstant74.2831.59346.620.000Hydrocar14.9471.31711.350.000S=1.087R-Sq=87.7%R-Sq(adj)=87.1%AnalysisofVarianceSourceDFSSMSFPRegression1152.13152.13128.860.000ResidualError1821.251.18Total19173.38Example1A:MinitabSessionWindow

例1A：Minitab的對話窗口TheF-testshowsthatthe87.7%explainedbytheregressionrelationshipisstatisticallysignificant.F測試顯示測定系數(shù)87.7%，具備統(tǒng)計顯著性87.7%ofthevariabilityinyvaluesisexplainedbytherelationshiptoHydrocar.與Hydrocar的關系解釋了y值87.7%的變異RegressionAnalysis:Oxygenpu36R2=1meanstheregressionequationprovidesaperfectfitforthesampledata.R2=1表示回歸等式與抽樣數(shù)據(jù)完全吻合CoefficientofDetermination--R2

測定系數(shù)--R2定義Thecoefficientofdetermination,R2istheamountofthevariationinythatisexplainedbytheregressionline.測定系數(shù)，R2是由回歸線代表y中變異數(shù)量R2=SSRSSTSSR=Si(Yi-Y)2SSE=Si(Yi-Y)2SST=Si(Yi-Y)2SST=SSR+SSE

R2=1meanstheregressioneq37InfluentialObservations

具有影響的數(shù)據(jù)點InfluentialObservationsareObservationsthat: 具有影響的數(shù)據(jù)點包括下列現(xiàn)象1) lieoutsideofgeneralpatternsofthedataset在正常數(shù)據(jù)模式以外的數(shù)據(jù)significantlyinfluencetheregressionresults (i.e.significantlychangetheslopeory-intercept)強烈影響回歸結果的數(shù)據(jù) （也就是顯著改變斜率或y軸截取值）InfluentialObservations

具有影響的38Theseobservationsarenotnecessarilybad,thereforeyoumaynotneedtocensorthem.這些現(xiàn)象并不一定是壞現(xiàn)象，因此你不一定要刪除他們。However,theyshouldbeidentifiedandtheirimpactevaluatedbeforeanalyzingtheregressionresults.不管怎樣，在分析回歸結果之前應該識別這些數(shù)據(jù)點并評估其影響。InfluentialObservations

具有影響的數(shù)據(jù)點Theseobservationsarenotnec39InfluentialObservations:Outliers

具有影響的數(shù)據(jù)現(xiàn)象：界外點Outliers 界外點Observationsthathavelargeresidualvalues.具有很大的殘差數(shù)值的現(xiàn)象數(shù)據(jù)。YXOutlier界外點InfluentialObservations:Out40InfluentialObservations:LeveragePoints

具有影響的數(shù)據(jù)現(xiàn)象：杠桿點LeveragePoints 杠桿點ExtremehighvaluesintheX-directionandaccountforahighproportionofthesumofsquares.X方向的高數(shù)值數(shù)據(jù)，它對于平方占有很高的比例YXLeveragePoint影響點InfluentialObservations:Leve41InfluentialObservations

具有影響的現(xiàn)象數(shù)據(jù)YX(a)YX(b)YX(c)YX(d)YX(e)YX(f)InfluentialObservations

具有影響的42HowToHandleOutliers 界外點的處理方法Wecanremoveoutlierpointsundertwosituations:對于如下兩種情況，可以取消界外點：Thereisagoodreasonfornotincludingintheanalysis(e.g.inputerror) 對不將其納入分析中有合理的解釋（例如：輸入錯誤）2)Thesepointswillmakereasonableinterpretationoftheregressioninvalid. 若納入這些數(shù)據(jù)，會令回歸分析的合理的解釋失效。HowToHandleOutliers 界外點的處理方43ANOVAtableforLinearRegression 線性回歸方差分析表Source DF SumofSquare(SS) MeanSquare(MS)Regression 1 SSR=i(Yi–Y)2 SSR÷1Error n-2 SSE=i(Yi–Yi)2 SSE÷(n-2)Total n-1 SST=i(Yi–Y)2 F*=MSR÷MSE vsF(1,n-2)-distribution

AutomaticallycomputedinMinitabunder用Minitab自動計算如下

StatRegressionRegression/FittedLinePlot_StatisticalSignificance

統(tǒng)計性意義

ANOVAtableforLinearRegress44本章目標1.理解方差分析的概念2.知道方差分析解決什么樣的問題3.掌握單因素和多因素方差分析的原理4.會利用Minitab對實際問題進行方差分析5.能夠對方差分析的結果作出解釋返回目錄本章目標1.理解方差分析的概念返回目錄45方差分析的引入(續(xù)一)方差分析(ANOVA：analysisofvariance)能夠解決多個均值是否相等的檢驗問題。方差分析是要檢驗各個水平的均值是否相等，采用的方法是比較各水平的方差。返回目錄方差分析的引入(續(xù)一)方差分析(ANOVA：analysis46方差分析的引入（續(xù)三）方差分析實際上是用來辨別各水平間的差別是否超出了水平內(nèi)正常誤差的程度觀察值之間的差異包括系統(tǒng)性差異和隨機性差異。返回目錄方差分析的引入（續(xù)三）方差分析實際上是用來返回目錄47方差分析的引入(續(xù)四)觀察值期望值差距總離差組內(nèi)方差組間方差水平1水平2返回目錄方差分析的引入(續(xù)四)觀察值期望值差距總離差組內(nèi)方差組間方差487.2怎樣得到F統(tǒng)計量總離差組內(nèi)方差組間方差返回目錄7.2怎樣得到F統(tǒng)計量總離差組內(nèi)方差組間方差返回目錄49怎樣得到F統(tǒng)計量水平間(也稱組間)方差和水平內(nèi)(也稱組內(nèi))方差之比是一個統(tǒng)計量。實踐證明這個統(tǒng)計量遵從一個特定的分布，數(shù)理統(tǒng)計上把這個分布稱為F分布。即注意：組間方差(SSB)+組內(nèi)方差(SSw)=總方差(SST)F=組間方差／組內(nèi)方差返回目錄怎樣得到F統(tǒng)計量水平間(也稱組間)方差和水平內(nèi)(也稱組內(nèi))方50方差分析的前提不同組樣本的方差應相等或至少很接近水平1水平2水平1組內(nèi)方差遠遠超過兩水平組間方差，我無法分離這兩種差別！返回目錄方差分析的前提不同組樣本的方差應相等或至少很接近水平1水平251檢驗方差是否一致在方差分析之前，我們可利用Minitab對數(shù)據(jù)作方差一致性檢驗Minitab能夠讀取的數(shù)據(jù)格式與上表給出的格式不同，我們必須把數(shù)據(jù)轉化為Minitab能夠理解的形式，具體做法是：將所有變量值輸入工作表的第一列，對因素進行編碼，按照一定的順序編為1、2、3...，輸入后面幾列。對本例：先將素質(zhì)測評的得分輸入工作表列一；三個分支分別編碼為1、2、3，對應于變量值填入第二列；返回目錄檢驗方差是否一致在方差分析之前，我們可利用Minitab對數(shù)52給出假設因素是方差分析研究的對象，在這個例子里，兩個變量分別是分支機構位置和員工素質(zhì)測評分數(shù)，這里分支機構的位置就是一個因素，因素中的內(nèi)容就稱為水平。該因素中有三個水平，即機構的不同位置。學過第5章的知識后，我們可以給出下面的假設：返回目錄給出假設因素是方差分析研究的對象，在這個例子里，兩個變量分別53相關分析是研究事物的相互關系，測定它們聯(lián)系的緊密程度，揭示其變化的具體形式和規(guī)律性的統(tǒng)計方法，是構造各種經(jīng)濟模型、進行結構分析、政策評價、預測和控制的重要工具。相關關系度量工具相關表相關系數(shù)r散點圖相關分析概念度量工具

種類

返回目錄相關分析是研究事物的相互關系，測定它們聯(lián)系的緊密程度，揭示其54符號：r>0正相關；r<0

負相關測定兩變量是否線性相關？相關系數(shù)定義式：實際計算：計算公式值：|r|=0不存在線性關系或存在非線性相關；|r|＝1

完全線性相關0<|r|<1不同程度線性相關(0~0.3微弱；0.3~0.5低度；

0.5~0.8顯著；0.8~1高度)返回目錄符號：r>0正相關；r<0負相關測定兩變量是否線性相關？55相關系數(shù)的檢驗：相關系數(shù)的檢驗(t檢驗)H0

:

ρ=0,H1

:ρ≠0檢驗統(tǒng)計量統(tǒng)計量t遵從t(n－2)分布，將r變換成t后，可以用t檢驗方法檢驗ρ=0是否成立。拒絕域拒絕域接受域返回目錄相關系數(shù)的檢驗：相關系數(shù)的檢驗(t檢驗)H0:ρ=0561.一元線性回歸模型擬合優(yōu)度的評價判定系數(shù)（R2）是對回歸模型擬合優(yōu)度的評價?？偲?回歸偏差+剩余偏差xy返回目錄1.一元線性回歸模型擬合優(yōu)度的評價判定系數(shù)（R2）是對回歸模57

2.一元線性回歸模型的顯著性檢驗回歸系數(shù)b的檢驗：1．提出假設。H0：β=0；H1：β≠02.確定顯著性水平α。3.計算回歸系數(shù)的t值。4.確定臨界值。雙側檢驗查t分布表所確定的臨界值是（-tα/2）和（tα/2）；單側檢驗所確定的臨界值是（tα）。5.做出判斷。返回目錄2.一元線性回歸模型的顯著性檢驗回歸系數(shù)b的檢驗：4.確58當樣本量n<30，用t檢驗當樣本量n>30，t分布接近于標準正態(tài)分布Z，所以可以用正態(tài)分布代替。系數(shù)檢驗的方法選擇：返回目錄當樣本量n<30，用t檢驗當樣本量n>30，t分布接近于標591.提出假設：H0：R2=0；H1：R2≠02.計算檢驗統(tǒng)計量3.比較做出判斷回歸模型整體的F檢驗

返回目錄1.提出假設：H0：R2=0；H1：R2≠0回歸模型整體的608.6一元線性回歸模型的Minitab實現(xiàn)例8－2.某家電集團1989年至1998年10年的廣告費支出與銷售量的資料如下表所示：年份89909192939495969798廣告支出x(萬元)10204050608070110110140銷售量y(萬元)20303540507065807095試根據(jù)此資料確定銷售量y與廣告費支出x的是否存在線性關系，并進行模型分析。返回目錄8.6一元線性回歸模型的Minitab實現(xiàn)例8－2.某61系數(shù)的t檢驗擬合優(yōu)度R2方程的F檢驗預測方程結果輸出：返回目錄系數(shù)的t檢驗擬合優(yōu)度R2方程的F檢驗預測方程結果輸出：返回目62常見的可線性化的曲線回歸方程：英文名稱中文名稱方程形式Linear線性函數(shù)Logarithm對數(shù)函數(shù)Inverse雙曲線函數(shù)Quadratic二次曲線Cubic三次曲線Power冪函數(shù)Compound復合函數(shù)SS形函數(shù)Logistic邏輯函數(shù)

u是預先給定的常數(shù)Growth增長曲線Exponent指數(shù)函數(shù)返回目錄常見的可線性化的曲線回歸方程：英文名稱中文名稱方程形式L63常用的非線性函數(shù)的線性變換法下面是我們常用的4種線性變換法，分別舉例進行說明，其他的非線性方程也可以以此類推，得到相應的線性形式。1.倒數(shù)變換。例如：雙曲線模型令，將其代入得2.半對數(shù)變換。例如：對數(shù)函數(shù)令，代入得返回目錄常用的非線性函數(shù)的線性變換法下面是我們常用的4種線性變換法，64常用的非線性函數(shù)的線性變換法(續(xù))3.雙對數(shù)變換。例如：冪函數(shù)兩邊取對數(shù)的變換得：令代入得：4.多項式變換。如二元二次多項式令代入得：返回目錄常用的非線性函數(shù)的線性變換法(續(xù))3.雙對數(shù)變換。返回目錄65回歸分析的一般程序定性和定量分析相結合正確選擇變量搜集(試驗)統(tǒng)計數(shù)據(jù)估計回歸方程檢驗回歸方程檢驗回歸系數(shù)通過驗證理論估計影響預測變化通過不通過不通過返回目錄回歸分析的一般程序定性和定量分析相搜集(試驗)統(tǒng)計數(shù)據(jù)估計回669.1多元線性回歸分析的基本理論

多元線性回歸是簡單線性回歸的推廣,指的是多個因變量對多個自變量的回歸(MultivariateRegression)，最常用的是一個因變量對多個自變量的回歸。返回目錄9.1多元線性回歸分析的基本理論多元線性回歸是簡單線性67多元線性回歸模型的性質(zhì)截距偏回歸系數(shù)例二元線性回歸模型：b2：假定x2固定時x1每變動1個單位引起的y的增量。b3：假定x1固定時x2每變動1個單位引起的y的增量。是x1和x2共同變動引起的y的平均變動，反映一組自變量與因變量的平均變動關系。是給定x1、x2計算得到的估計值，是y的實際值的數(shù)學期望。返回目錄多元線性回歸模型的性質(zhì)截距偏回歸系數(shù)例二元線性回歸模型：b268一.擬合程度的評價調(diào)整可決系數(shù)

式中，n是樣本容量；k是模型中回歸系數(shù)的個數(shù)。調(diào)整可決系數(shù)的特點。9.4多元線性回歸模型的檢驗返回目錄一.擬合程度的評價9.4多元線性回歸模型的檢驗返回目錄69

二.多元線性回歸模型的顯著性檢驗回歸系數(shù)b的檢驗1．提出假設。H0：βj=0；H1：βj≠0

2.確定顯著水平α。3.計算回歸系數(shù)的t值。式中,是的標準差的估計值。按下式計算：

式中，是(X’X)-1的第j個對角線元素，S2是隨機誤差項方差的估計值。返回目錄二.多元線性回歸模型的顯著性檢驗回歸系數(shù)b的檢驗返回70

二.多元線性回歸模型的顯著性檢驗(續(xù)一)4.確定臨界值。雙側檢驗查t分布表所確定的臨界值是(-tα/2)和(tα/2)；單側檢驗所確定的臨界值是（tα）。5.做出判斷。拒絕域拒絕域接受域雙側檢驗圖示:返回目錄二.多元線性回歸模型的顯著性檢驗(續(xù)一)4.確定臨界值。71回歸方程的顯著性檢驗具體的方法步驟回歸模型方差分析表F統(tǒng)計量

二.多元線性回歸模型的顯著性檢驗(續(xù)二)離差名稱平方和自由度均方差回歸平方和k-1SSR/(k-1)殘差平方和

n-kSSE/(n-k)總離差平方和返回目錄回歸方程的顯著性檢驗二.多元線性回歸模型的顯著性檢驗(續(xù)72例9－1：在研究某超市顧客人數(shù)y與該超市促銷費用x1

、超市面積x2

、超市位置x3之間關系時，選取變量如下：y——某超市某一周六顧客人數(shù)（千人）x1——該超市上周促銷所花的費用（萬元)x2——該超市的面積（百平方米）x3——超市所處位置(0表示市區(qū)、1表示郊區(qū))按照y變量排序后的原始數(shù)據(jù)是：y23578101724253031353642444548505255x111.522.54.444.1x21.522.522435578x311110111001010001000多元回歸案例分析:返回目錄例9－1：在研究某超市顧客人數(shù)y與該超市促銷費用x1、超市73輸入數(shù)據(jù)見圖直接回歸法:點擊Stat——Regression——Regression返回目錄輸入數(shù)據(jù)見圖直接回歸法:點擊Stat——Regression74擬合的多元方程回歸系數(shù)的t檢驗調(diào)整后的可決系數(shù)可決系數(shù)回歸方程的F檢驗輸出結果：返回目錄擬合的多元方程回歸系數(shù)的t檢驗調(diào)整后的可決系數(shù)可決系數(shù)回歸方75若我們上面的預測方程不顯著，但確實知道其中幾個變量存在著一定的線性關系，我們也可以運用逐步回歸的方法對變量進行分析處理。點擊選擇回歸方法點擊彈出變量選擇框如下:逐步回歸實現(xiàn)：返回目錄若我們上面的預測方程不顯著，但確實知道其中幾個變量存在著一定76方程中X1的回歸系數(shù)及其t檢驗值、p值可決系數(shù)及調(diào)整后的可決系數(shù)回歸方程常數(shù)項點擊OK返回目錄方程中X1的回歸系數(shù)及其t檢驗值、p值可決系數(shù)及回77SS(factor)的自由度

是, SS(error)的自由度

是,

ComputingDegreeofFreedom自由度的計算One-WayANOVAPrinciples

One-WayANOVA的原理DOFofSS(total),SS(total)的自由度

是, DOFofSS(factor),DOFofSS(error),SS(factor)的自由度是, SS(er78因子(factor)平方和(SumofSquares)自由度(DegreeofFreedom)均平方(MeanSquare)F值SSBetweenSSWithinTotalOne-WayANOVAPrinciples

One-WayANOVA的原理因子平方和自由度均平方F值SSBetweenSSWith79RegressionAnalysis:Oxygenpurity%versusHydrocarbon%TheregressionequationisOxygenpurity%=74.3+14.9Hydrocarbon%PredictorCoefSECoefTPConstant74.2831.59346.620.000Hydrocar14.9471.31711.350.000S=1.087R-Sq=87.7%R-Sq(adj)=87.1%AnalysisofVarianceSourceDFSSMSFPRegression1152.13152.13128.860.000ResidualError1821.251.18Total19173.38Example1A:MinitabSessionWindow

例1A：Minitab的對話窗口TheF-testshowsthatthe87.7%explainedbytheregressionrelationshipisstatisticallysignificant.F測試顯示測定系數(shù)87.7%，具備統(tǒng)計顯著性87.7%ofthevariabilityinyvaluesisexplainedbytherelationshiptoHydrocar.與Hydrocar的關系解釋了y值87.7%的變異RegressionAnalysis:Oxygenpu80R2=1meanstheregressionequationprovidesaperfectfitforthesampledata.R2=1表示回歸等式與抽樣數(shù)據(jù)完全吻合CoefficientofDetermination--R2

測定系數(shù)--R2定義Thecoefficientofdetermination,R2istheamountofthevariationinythatisexplainedbytheregressionline.測定系數(shù)，R2是由回歸線代表y中變異數(shù)量R2=SSRSSTSSR=Si(Yi-Y)2SSE=Si(Yi-Y)2SST=Si(Yi-Y)2SST=SSR+SSE

R2=1meanstheregressioneq81InfluentialObservations

具有影響的數(shù)據(jù)點InfluentialObservationsareObservationsthat: 具有影響的數(shù)據(jù)點包括下列現(xiàn)象1) lieoutsideofgeneralpatternsofthedataset在正常數(shù)據(jù)模式以外的數(shù)據(jù)sign