數(shù)據(jù)挖掘基礎(chǔ)知識(shí)-回歸分析

回歸分析第1頁，共28頁。本章內(nèi)容回歸分析的基本原理一元線性回歸分析多元線性回歸分析非線性回歸分析第2頁，共28頁?；貧w分析的基本原理

所謂回歸分析法，利用數(shù)理統(tǒng)計(jì)方法建立因變量與自變量之間的回歸關(guān)系函數(shù)表達(dá)式。對于下表中的數(shù)據(jù)：利用回歸分析方法，得到如下的函數(shù)關(guān)系式：

第3頁，共28頁。一元線性回歸分析一元線性回歸模型模型參數(shù)估計(jì)和平均誤差估計(jì)一元線性回歸模型的檢驗(yàn)第4頁，共28頁。一元線性回歸模型滿足一元線性回歸的基本條件：所有的的分布的均值都正好在一條直線上，稱之為總體的（真實(shí)的）回歸直線；所有的分布都有同樣的形狀；隨機(jī)變量是相互獨(dú)立的；給定X時(shí)分布的形狀是正態(tài)的，即服從正態(tài)分布。滿足這些條件的回歸模型稱為一元線性回歸模型。根據(jù)樣本觀測值，采用最小二乘法，得到了一條估計(jì)的樣本回歸直線。第5頁，共28頁。模型參數(shù)估計(jì)和平均誤差估計(jì)參數(shù)估計(jì)：經(jīng)過最小二乘法計(jì)算可得：求出參數(shù)a,b以后，就可以得到回歸模型:第6頁，共28頁。(1)(2)(3)SSE實(shí)際值與預(yù)測估計(jì)值之間的離差平方和。第7頁，共28頁。標(biāo)準(zhǔn)誤差：估計(jì)值與應(yīng)變量值之間的平均平方誤差。（4-8）第8頁，共28頁。模型參數(shù)估計(jì)和平均誤差估計(jì)平均誤差估計(jì)：第9頁，共28頁。一元線性回歸模型的檢驗(yàn)線性方程的顯著性檢驗(yàn)關(guān)于回歸系數(shù)b的統(tǒng)計(jì)推斷第10頁，共28頁。一元線性回歸模型的檢驗(yàn)線性方程的顯著性檢驗(yàn)的方法有：方差分解法相關(guān)分析法F檢驗(yàn)t檢驗(yàn)D-W檢驗(yàn)

第11頁，共28頁。一元線性回歸模型的檢驗(yàn)-方差分解法第12頁，共28頁。一元線性回歸模型的檢驗(yàn)-相關(guān)分析法第13頁，共28頁。一元線性回歸模型的檢驗(yàn)-F檢驗(yàn)第14頁，共28頁。一元線性回歸模型的檢驗(yàn)-t檢驗(yàn)第15頁，共28頁。一元線性回歸模型的檢驗(yàn)-D-W檢驗(yàn)第16頁，共28頁。多元線性回歸分析多元線性回歸模型參數(shù)估計(jì)多元回歸方差分析和顯著性檢驗(yàn)多元回歸模型的殘差分析第17頁，共28頁。多元線性回歸模型第18頁，共28頁。參數(shù)估計(jì)第19頁，共28頁。多元回歸方差分析和顯著性檢驗(yàn)總離差平方和的分解和多元相關(guān)系數(shù)回歸離差平方和與偏相關(guān)系數(shù)第20頁，共28頁?？傠x差平方和的分解和多元相關(guān)系數(shù)第21頁，共28頁?；貧w離差平方和與偏相關(guān)系數(shù)第22頁，共28頁。多元回歸模型的殘差分析在這里我們主要考慮以下幾種情形：線性與非線性共方差與異方差獨(dú)立與非獨(dú)立正態(tài)與非正態(tài)多重共線性第23頁，共28頁。非線性回歸分析非線性模型非線性模型的線性化第24頁，共28頁。非線性模型主要的非線性模型有：拋物線模型雙曲線模型冪函數(shù)模型指數(shù)函數(shù)模型對數(shù)函數(shù)模型邏輯曲線模型多項(xiàng)式模型第25頁，共28頁。非線性模型拋物線模型

雙曲線模型

冪函數(shù)模型

指數(shù)函數(shù)模型

對數(shù)函數(shù)模型

邏輯曲線模型

多項(xiàng)式模型第26頁，共28頁。非線性模型的線性化倒數(shù)變換

倒數(shù)變換是用新的變量來替換原模型中變量的倒數(shù)，從而使原模型變成線性模型的一種方法。

半對數(shù)變換

這種方法主要應(yīng)用于對數(shù)函數(shù)模型的線性變換。

雙對數(shù)變換這種方法通過用新變量替換原模型中變量的對數(shù)，從而使原模型變換為線性模型。

多項(xiàng)式變換這種方法適用于多項(xiàng)式方程的變換。

第27頁，共28頁。內(nèi)容梗概回歸分析。所謂回歸分析法，利用數(shù)理統(tǒng)計(jì)方法建立因變量與自變量之間的回歸關(guān)系函數(shù)表達(dá)式。所有的分布都有同樣的形狀。給定X時(shí)分布的形狀是正態(tài)的，即服從正態(tài)分布。滿足這些條件的回歸模型稱為一元線性回歸模型。根據(jù)樣本觀測值，采用最小二乘法，得到了一條估。線性方程的顯著性檢驗(yàn)的方法有：。一元線性回歸模型的檢驗(yàn)-t檢驗(yàn)。一元線性回歸模型的檢驗(yàn)-D-W檢驗(yàn)。共方差與異方差。獨(dú)立與非獨(dú)立。正態(tài)與非正