線性回歸分析

回歸YOUTHGRADUATION分析JAPANESEPUREANDFRESH

——線性回歸匯報(bào)人：目錄CONTENTS01020304相關(guān)與回歸基本概念一元線性回歸模型多元線性回歸模型非線性回歸模型Part01相關(guān)與回歸基本概念01相關(guān)與回歸基本概念1.函數(shù)關(guān)系與相關(guān)關(guān)系函數(shù)關(guān)系（確定關(guān)系）：一個(gè)變量能被其他變量按某一規(guī)律唯一確定，對(duì)應(yīng)的關(guān)系，y完全依賴x,各觀測(cè)點(diǎn)落在一條線上。例如：當(dāng)每噸水的價(jià)格為P元時(shí)，居民應(yīng)繳納的水費(fèi)Y（元）與用水量X（噸）之間的關(guān)系可表示為Y=PX。相關(guān)關(guān)系（非確定性關(guān)系）：變量之間確實(shí)存在著數(shù)量關(guān)系，但不是嚴(yán)格確定的關(guān)系，各觀測(cè)點(diǎn)分布在直線周圍。例如：消費(fèi)支出Y與可支配收入X之間有一定的關(guān)系，在一定范圍內(nèi)，收入增加，在理論上可以估計(jì)出增加的消費(fèi)支出額。但應(yīng)看到，可支配收入雖然是影響消費(fèi)支出的重要因素，卻不是唯一的因素。因此，根據(jù)可支配收入并不能精確的求出消費(fèi)支出，也就不能用精確的函數(shù)關(guān)系表達(dá)式來表示這兩個(gè)變量之間的關(guān)系。

01相關(guān)關(guān)系的類型01相關(guān)分析

相關(guān)是指變量與變量之間關(guān)聯(lián)性的強(qiáng)弱，來描述線性關(guān)系的密切程度。一般所說的相關(guān)分析均是指兩個(gè)連續(xù)變量的相關(guān)性，但實(shí)際上任意測(cè)量尺度的兩個(gè)變量都可以有相應(yīng)的指標(biāo)來描述其相關(guān)程度大小，并且也可以對(duì)兩組甚至多組變量進(jìn)行相關(guān)分析。如果要用統(tǒng)計(jì)指標(biāo)對(duì)變量數(shù)量聯(lián)系的密切程度進(jìn)行表述，則應(yīng)當(dāng)進(jìn)行相關(guān)分析。相關(guān)系數(shù)用r表示，是反映兩個(gè)變量之間關(guān)系的量化指標(biāo)。r值的范圍[-1,1]，r>0是正相關(guān)，r<0是負(fù)相關(guān)。相關(guān)系數(shù)的絕對(duì)值反映相關(guān)的強(qiáng)度，r的絕對(duì)值越接近1，說明相關(guān)性越好；r的絕對(duì)值越接近0，說明相關(guān)性越差。01回歸分析1.回歸分析是研究某一被解釋變量（因變量）與另一個(gè)或多個(gè)解釋變量（自變量）間的依存關(guān)系，其目的在于根據(jù)已知的解釋變量值或固定的解釋變量值（重復(fù)抽樣）來估計(jì)和預(yù)測(cè)被解釋變量的總體平均值。在研究某一社會(huì)經(jīng)濟(jì)現(xiàn)象的發(fā)展變化規(guī)律時(shí)，所研究的現(xiàn)象或?qū)ο蠓Q為被解釋變量，它是分析的對(duì)象，把引起這一現(xiàn)象變化的因素稱為解釋變量，它是引起這一現(xiàn)象變化的原因。

2.回歸模型的分類?（1）按模型中自變量的多少，分為一元回歸模型和多元回歸模型。（2）按模型中參數(shù)與被解釋變量之間是否線性，分為線性回歸模型和非線性回歸模型。01相關(guān)方法演示

“分析”“相關(guān)”“雙變量”“偏相關(guān)”“距離”雙變量：用于進(jìn)行兩個(gè)/多個(gè)變量間的參數(shù)/非參數(shù)相關(guān)分析，計(jì)算兩個(gè)變量之間相關(guān)性的強(qiáng)弱,如果是多個(gè)變量，則給出兩兩相關(guān)的分析結(jié)果。偏相關(guān)：如果需要進(jìn)行相關(guān)分析的兩個(gè)變量其取值均受到其他變量的影響，就可以利用偏相關(guān)分析對(duì)其他變量進(jìn)行控制，輸出控制其他變量影響后的相關(guān)系數(shù)。距離：比較特殊的中間過程，調(diào)用此過程可對(duì)同一變量?jī)?nèi)部各觀察單位間的數(shù)值或各個(gè)不同變量間進(jìn)行相似性或不相似性（距離）分析，前者用于檢測(cè)觀測(cè)值的接近程度，后者則常用于考察各變量的內(nèi)在聯(lián)系和結(jié)構(gòu)。01回歸方法演示

“分析”“回歸”線性、曲線估計(jì)、二元Logistic...Part02一元線性回歸模型02

02線性回歸模型的基本假定

假定2.在給定Xi的條件下，Xi和μi不相關(guān)。即，Cov(μi,?Xi)=0。?假定5.對(duì)于每一個(gè)μi?都服從于均值為零、方差為σ2正態(tài)分布。即，μi?～?N（0，σ2）

假定4.等方差假定對(duì)于每一個(gè)Xi，μi的條件方差是一個(gè)等于σ2的常數(shù)。即，Var(μi?|?Xi)=σ2?。

假定1.正交假定在給定Xi的條件下，μi的條件均值為零。即，E(μi?|?Xi)=0。

假定3獨(dú)立同分布假定.在給定任意Xi、Xj的條件下，μi?、μj不相關(guān)。即，Cov(μi,?μj)=0。以一元線性回歸模型Yi=?β0?+?β1Xi?+?μi為例正態(tài)分布假定正交假定Part03多元線性回歸模型03多元線性回歸模型

03最小二乘法原理原理：利用樣本回歸函數(shù)估計(jì)總體回歸函數(shù)，是根據(jù)一個(gè)給定的包含n組X和Y觀測(cè)數(shù)據(jù)的樣本，建立樣本回歸函數(shù)，使估計(jì)值盡可能接近觀測(cè)值YiY?i。最小二乘原理就是根據(jù)使樣本剩余的平方和達(dá)到最小的準(zhǔn)則，確定模型中的參數(shù)，建立樣本回歸函數(shù)（回歸系數(shù)的最小二乘估計(jì)，包括截距系數(shù)和斜率系數(shù)）。

累加值

（殘差平方和）微分求解截距系數(shù)和斜率系數(shù)03模型檢驗(yàn)

1.擬合優(yōu)度檢驗(yàn)：擬合優(yōu)度是指樣本回歸直線對(duì)觀測(cè)數(shù)據(jù)擬合的優(yōu)劣程度。2.t檢驗(yàn)(回歸系數(shù)估計(jì)量的檢驗(yàn)）3.F檢驗(yàn):檢驗(yàn)因變量Y和自變量Xi的線性關(guān)系是否顯著。（謝宇）(F分布表）t分布表

t分布表

F分布表03模型適用條件

多元線性回歸模型的適用條件和簡(jiǎn)單一元線性回歸模型類似，但為了保證參數(shù)估計(jì)值的穩(wěn)定，還需要注意模型的樣本量的要求。比如說模型中需要納入5個(gè)自變量，則樣本量應(yīng)當(dāng)在100以上（記錄數(shù)應(yīng)當(dāng)在希望分析的自變量數(shù)的20倍以上為宜），少于此數(shù)可能會(huì)出現(xiàn)檢驗(yàn)效能不足的問題。Part04非線性回歸模型03非線性回歸模型

非線性回歸模型一般可以表示為：

期望函數(shù)1.首先為所有未知參數(shù)指定一個(gè)初始值，然后將原方程按泰勒級(jí)數(shù)展開，并只取一階各項(xiàng)作為線性函數(shù)的逼近，其余項(xiàng)均歸入誤差。2.然后采用最小二乘法對(duì)模型中的參數(shù)進(jìn)行估計(jì)。3.用參數(shù)估計(jì)值替代初始值，將方程再次展開，進(jìn)行線性化，從而又可以求出一批參數(shù)估計(jì)值。4.如此反復(fù)，直至參數(shù)估計(jì)值收斂為止。在數(shù)學(xué)中，泰勒級(jí)數(shù)（英語：Taylorseries）用無限項(xiàng)連加式——級(jí)數(shù)來表示一個(gè)函數(shù)，這些相加的項(xiàng)由函數(shù)在某一點(diǎn)的導(dǎo)數(shù)求得。04總結(jié)

模型表達(dá)形式

模型的基本假定

模型的估計(jì)

模型的檢驗(yàn)

回歸模型的原理及應(yīng)用05案例

05案例

05案例

學(xué)生化殘差是殘差除以它的標(biāo)準(zhǔn)差后得到的數(shù)值，用以直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否成立，若假定成立，學(xué)生化殘差的分布也應(yīng)服從正態(tài)分布。學(xué)