大數(shù)據(jù)分析方法與應(yīng)用 課件 第3、4章 回歸分析、聚類算法

大數(shù)據(jù)分析方法與應(yīng)用第3章回歸分析3.1線性和非線性回歸目錄CONTENTS3.2多元回歸3.3嶺回歸3.4LASSO回歸第3章回歸分析3.1線性和非線性回歸

3.1.1線性回歸及其Excel中的實(shí)現(xiàn)“回歸”一詞的英文是Regression，統(tǒng)計(jì)學(xué)上的“相關(guān)”和“回歸”的概念是高爾頓第一次使用。一些變量之間存在相關(guān)關(guān)系。如果能建立這些相關(guān)關(guān)系的數(shù)量表達(dá)式，就可以根據(jù)一個(gè)變量的值來預(yù)測另一個(gè)變量的變化。如果隨機(jī)變量y與變量間具有統(tǒng)計(jì)關(guān)系，那么每當(dāng)取定值之后，y便有相應(yīng)的概率分布與之對應(yīng)。其概率模型為：

其中y稱為因變量，x1,x2,x3,…,xn稱為自變量。y由兩部分組成，一部分是由x1,x2,x3,…,xn能夠決定的部分，記為f(x1,x2,x3,…,xn)；另一部分由眾多未加考慮的因素（包括隨機(jī)因素）所產(chǎn)生的影響，它被看成隨機(jī)誤差，記為ε。f(x1,x2,x3,…,xn)稱為y對x1,x2,x3,…,xn的回歸函數(shù)。3.1線性和非線性回歸

3.1.1線性回歸及其Excel中的實(shí)現(xiàn)當(dāng)模型中的回歸函數(shù)為線性函數(shù)時(shí)，即：

，為線性回歸模型。當(dāng)模型中的回歸函數(shù)為非線性函數(shù)時(shí)，為非線性回歸模型。常見的非線性回歸模型包括：1）多項(xiàng)式回歸；2）指數(shù)回歸；3）對數(shù)回歸；4）冪函數(shù)回歸；5）Sigmoid函數(shù)回歸；6）非線性混合效應(yīng)模型。3.1線性和非線性回歸

3.1.1線性回歸及其Excel中的實(shí)現(xiàn)當(dāng)模型中只有一個(gè)自變量時(shí)，為簡單的一元線性回歸，

其中X是自變量，Y是因變量。β0表示截距，是自變量X等于0時(shí)，因變量Y的值。??1表示斜率，表示自變量X每增加1，因變量Y增加的數(shù)值。ε表示誤差?；貧w方程可以表示為：3.1線性和非線性回歸

3.1.1線性回歸及其Excel中的實(shí)現(xiàn)如表所示為某市用電量指標(biāo)統(tǒng)計(jì)，在Excel中繪制散點(diǎn)圖，添加趨勢線，顯示回歸方程和相關(guān)系數(shù)，具體操作步驟如下：

3.1線性和非線性回歸

3.1.1線性回歸及其Excel中的實(shí)現(xiàn)1）在數(shù)據(jù)中，選擇“GDP”和“年用電量”。

3.1線性和非線性回歸

3.1.1線性回歸及其Excel中的實(shí)現(xiàn)2）插入“散點(diǎn)圖”，操作如圖所示。

3.1線性和非線性回歸

3.1.1線性回歸及其Excel中的實(shí)現(xiàn)3）單擊菜單“設(shè)計(jì)”，選擇“圖表布局”，輸入圖表和坐標(biāo)軸標(biāo)題，如圖所示。

3.1線性和非線性回歸

3.1.1線性回歸及其Excel中的實(shí)現(xiàn)4）右鍵單擊散點(diǎn)圖，選擇“添加趨勢線”，如圖所示。

3.1線性和非線性回歸

3.1.1

線性回歸及其Excel中的實(shí)現(xiàn)5）在“趨勢線選項(xiàng)”中選擇“線性”，“顯示公式”和顯示R平方值，單擊“關(guān)閉”，操作如圖所示。

3.1線性和非線性回歸

3.1.1

線性回歸及其Excel中的實(shí)現(xiàn)6）完成散點(diǎn)圖添加趨勢線的簡單一元回歸，結(jié)果如圖所示。

3.1線性和非線性回歸

3.1.2

最小二乘回歸最小二乘法（又稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。對于回歸直線，關(guān)鍵在于求解參數(shù)，常用的就是最小二乘法，它是使因變量的觀察值與估計(jì)值之間的殘差平方和達(dá)到最小來求解，殘差平方和為：3.1線性和非線性回歸

3.1.2

最小二乘回歸上述方程中對系數(shù)β0，β1偏導(dǎo)，并使導(dǎo)數(shù)等于0，可得3.1線性和非線性回歸

3.1.2

最小二乘回歸因變量觀察值yi和觀察值的均值的差的平方和稱為總平方和SST。總平方和可以分解為回歸平方和、殘差平方和：SST=SSR+SSE。

判定系數(shù)R2=SSR/SST表示因變量總差異中可以由回歸解釋的比例，1-R2＝SSE/SST表示殘差平方和占總平方和的比例。R2越接近1，回歸的相關(guān)性越好。3.1線性和非線性回歸

3.1.3

非線性回歸及其Excel中的實(shí)現(xiàn)在實(shí)際問題中，很多情況下因變量與自變量之間的關(guān)系不是線性的，而是呈現(xiàn)出曲線、指數(shù)、對數(shù)等非線性形式。非線性回歸是一種統(tǒng)計(jì)建模方法，用于建立自變量和因變量之間非線性關(guān)系的模型。在非線性回歸中，自變量和因變量之間的關(guān)系可以通過非線性函數(shù)來描述，而不是簡單的線性關(guān)系。非線性回歸可以更準(zhǔn)確地?cái)M合非線性關(guān)系的數(shù)據(jù)，提高模型的預(yù)測能力。3.1線性和非線性回歸

3.1.3

非線性回歸及其Excel中的實(shí)現(xiàn)按照表中的數(shù)據(jù)，在Excel繪制簡單一元非線性回歸步驟如下：3.1線性和非線性回歸

3.1.3

非線性回歸及其Excel中的實(shí)現(xiàn)1）創(chuàng)建“人口”和“用電量”兩個(gè)變量樣本的散點(diǎn)圖，單擊散點(diǎn)圖，選擇“添加趨勢線”，選擇“多項(xiàng)式”，“階數(shù)”為2，如圖所示。3.1線性和非線性回歸

3.1.3

非線性回歸及其Excel中的實(shí)現(xiàn)2）選擇“顯示公式”和“顯示R平方”，操作如圖所示。3.1線性和非線性回歸

3.1.3

非線性回歸及其Excel中的實(shí)現(xiàn)3）一元非線性回歸如圖所示。3.2多元回歸3.2.1多元回歸及其概念多元線性回歸包括一個(gè)因變量y和若干自變量x1,x2,…,xn，多元線性回歸模型一般形式為：其中β0,β1,β2,β3,…,βn稱為待估參數(shù)，ε為誤差項(xiàng)。則回歸方程為：對于隨機(jī)抽取的n組觀測值，如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：殘差平方和為：3.2多元回歸3.2.1多元回歸及其概念根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)使殘差平方和達(dá)到最小，也就是尋找參數(shù)β0,β1,β2,β3,…,βn的估計(jì)值達(dá)到最小：即Qe的最小值，根據(jù)微積分知識，需對Qe關(guān)于待估參數(shù)求偏導(dǎo)數(shù)，并且令其為0。則3.2多元回歸3.2.1多元回歸及其概念得到回歸方程：在多元回歸中，復(fù)相關(guān)系數(shù)R2的大小和樣本數(shù)量n以及自變量的個(gè)數(shù)k有關(guān)。為了消除樣本數(shù)量和自變量個(gè)數(shù)對復(fù)相關(guān)系數(shù)的影響，計(jì)算以下修正的復(fù)相關(guān)系數(shù)：由統(tǒng)計(jì)學(xué)理論可以知道，對于自變量個(gè)數(shù)為k，總平方和SST的自由度為n-1，殘差平方和SSE的自由度為n-k-1，回歸平方和SSR的自由度為k。將相應(yīng)的平方和除以自由度，得到以下方差：MST=SST/(n-1)觀察值和平均值之間的方差MSR=SSR/k預(yù)測值和平均值之間的方差

MSE=SSE/(n-k-1)觀察值和預(yù)測值之間的方差3.2多元回歸3.2.1多元回歸及其概念F檢驗(yàn)H0：β1=β2=…=βn=0H1：β1≠β2≠…≠βn≠0構(gòu)造統(tǒng)計(jì)量：統(tǒng)計(jì)量F服從F分布，自由度為（k,n-k-1）。對于給定的置信水平，查F分布表得到臨界值Fα/2,k,n-k-1，如果F>Fα/2,k,n-k-1，拒絕原假設(shè)。回歸的總體效果顯著的。F值越大，說明回歸方程能解釋因變量變異的程度越高。3.2多元回歸3.2.2多重共線性在多元回歸中，自變量除了和因變量有很強(qiáng)的相關(guān)關(guān)系外，還和其他若干個(gè)自變量之間也存在很強(qiáng)的相關(guān)關(guān)系，這種現(xiàn)象稱為“多重共線性”。容忍度

，Ri是解釋變量Xi與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)，容忍度在0到1之間，越接近0，表示多重共線性越強(qiáng)，越接近1，表示多重共線性越弱。方差膨脹因子是容忍度的倒數(shù)：處理多重共線性最簡單的方法就是從模型中將被懷疑會引起多重共線性問題的解釋變量舍去，但是這一方法卻可能會引起其他方面的問題。因此，還要考慮其他可供選擇的方法，這些方法主要有：追加樣本信息，使用非樣本先驗(yàn)信息，使用有偏估計(jì)量等。3.2多元回歸3.2.3多元回歸及其SPSS中的實(shí)現(xiàn)為了操作更具有簡便性、快捷性，我們使用SPSS在線分析軟件SPSSPRO來實(shí)現(xiàn)多元回歸。1）放入數(shù)據(jù)文檔，如圖所示。3.2多元回歸3.2.3多元回歸及其SPSS中的實(shí)現(xiàn)2）根據(jù)數(shù)據(jù)分析需求，選擇多元回歸，如圖所示。3.2多元回歸3.2.3多元回歸及其SPSS中的實(shí)現(xiàn)3）將左側(cè)變量放入對應(yīng)的方框里，如圖所示。3.2多元回歸3.2.3多元回歸及其SPSS中的實(shí)現(xiàn)4）單擊“開始分析”，如圖所示。3.2多元回歸3.2.4居民存款影響因素回歸案例分析影響住戶存款的因素較多，如居民收入、物價(jià)、利率、人口數(shù)量、消費(fèi)習(xí)慣、生活方式、社會保障體系等。而居民收入和人口數(shù)量是決定住戶存款的核心因素。由于目前我國城鄉(xiāng)差別仍然很大，城鎮(zhèn)居民的收入遠(yuǎn)大于農(nóng)村居民的收入。這種差異可以用城鎮(zhèn)化率體現(xiàn)。本節(jié)選擇農(nóng)村居民收入、城鎮(zhèn)居民收入、人口數(shù)量、城鎮(zhèn)化率為影響因子，分析它們對住戶存款的影響。如表所示，為農(nóng)村居民收入、城鎮(zhèn)居民收入、人口數(shù)量、城鎮(zhèn)化率、住戶存款的相關(guān)數(shù)據(jù)。分析農(nóng)村居民收入、城鎮(zhèn)居民收入、人口數(shù)量、城鎮(zhèn)化率對住戶存款的多元線性回歸方程。3.2多元回歸3.2.4居民存款影響因素回歸案例分析3.2多元回歸3.2.4居民存款影響因素回歸案例分析以表中的數(shù)據(jù)為樣本，運(yùn)用最小二乘法估計(jì)回歸系數(shù)β。借助SPSSPRO軟件工具，求得回歸系數(shù)，結(jié)果表所示。3.2多元回歸3.2.4居民存款影響因素回歸案例分析由表中的數(shù)據(jù)可得回歸方程：Y=-12.037+0.001X1+0.002X2+0.704X3-0.089X4。VIF都大于10，明顯存在多重共線性。如何解決多重共線性的問題，將在下一章嶺回歸中著重介紹。3.3嶺回歸3.3.1嶺回歸的概念嶺回歸是最小二乘法的改良與深化，是專門用于解決數(shù)據(jù)共線性這種病態(tài)現(xiàn)象的有效方法，對共線性數(shù)據(jù)分析具有獨(dú)到的效果。它通過放棄OLS的無偏性優(yōu)勢，以損失部分信息、降低擬合精度為代價(jià)，換來回歸系數(shù)的穩(wěn)定性和可靠性。回歸分析中常用的最小二乘法是一種無偏估計(jì)。對于一個(gè)適定問題，X通常是列滿秩的：Xβ=y采用最小二乘法，定義損失函數(shù)為殘差的平方，最小化損失函數(shù)：‖Xβ-y‖2上述優(yōu)化問題可以采用公式進(jìn)行直接求解：3.3嶺回歸3.3.1嶺回歸的概念當(dāng)X不是列滿秩時(shí)，或者某些列之間的線性相關(guān)性比較大時(shí)，X的行列式接近于0，即接近于奇異，上述問題變?yōu)橐粋€(gè)不適定問題，此時(shí)計(jì)算（XTX）-1誤差會很大，傳統(tǒng)的最小二乘法缺乏穩(wěn)定性與可靠性。為了解決上述問題，我們需要將不適定問題轉(zhuǎn)化為適定問題：我們?yōu)樯鲜鰮p失函數(shù)加上一個(gè)正則化項(xiàng)，變?yōu)?/p>

，嶺回歸的目標(biāo)函數(shù)為：3.3嶺回歸3.3.1嶺回歸的概念嶺回歸求解回歸系數(shù)β方法為：在公式中，k為嶺回歸參數(shù)。k越大，消除共線性影響效果越好，但擬合精度越低；k越小，擬合精度越高，但消除共線性影響作用越差。因此，必須在二者間找到最佳平衡點(diǎn)，使k既能消除共線對參數(shù)估計(jì)的影響，又盡可能小，以減小擬合方程，提高擬合精度。復(fù)相關(guān)系數(shù)Radj2是反映擬合精度的重要指標(biāo)，它隨k的增大而減小。k選取原則是：在嶺軌跡變化趨于穩(wěn)定時(shí)選取其最小值。嶺回歸是對OLS的一種補(bǔ)充，基本思想就是給矩陣XTX加上一個(gè)對角陣，盡量將奇異矩陣轉(zhuǎn)化為非奇異矩陣，以使矩陣XTX盡可能可逆，以便能夠求出回歸系數(shù)和提高參數(shù)估計(jì)的穩(wěn)定性和可靠性，得到的參數(shù)更能真實(shí)反映客觀實(shí)際。但同時(shí)對回歸系數(shù)β的估計(jì)不再是無偏估計(jì)，從而降低擬合精度。3.3嶺回歸3.3.2嶺回歸及其在SPSS中的實(shí)現(xiàn)按照嶺回歸法估計(jì)回歸系數(shù)，運(yùn)用SPSS在線分析軟件SPSSPRO實(shí)現(xiàn)。1）放入數(shù)據(jù)文檔，如圖所示。3.3嶺回歸3.3.2嶺回歸及其在SPSS中的實(shí)現(xiàn)2）根據(jù)數(shù)據(jù)分析需求，選擇嶺回歸，如圖所示。3.3嶺回歸3.3.2嶺回歸及其在SPSS中的實(shí)現(xiàn)3）將左側(cè)變量放入對應(yīng)的方框里，如圖所示。3.3嶺回歸3.3.2嶺回歸及其在SPSS中的實(shí)現(xiàn)4）嶺回歸分析前需要結(jié)合嶺跡圖確認(rèn)K值，K值的選擇原則是各個(gè)自變量的標(biāo)準(zhǔn)化回歸系數(shù)趨于穩(wěn)定時(shí)的最小K值。5）確定好K值后，代入程序中，單擊“開始分析”，如圖所示。3.3嶺回歸3.3.3居民存款影響因素回歸案例分析選擇農(nóng)村居民收入、城鎮(zhèn)居民收入、人口數(shù)量、城鎮(zhèn)化率為影響因子，分析它們對住戶存款的影響。由于住戶存款與影響因素一般同相變化，即存在共線性，如果采用最小二乘法（OLS）估計(jì)模型的參數(shù)，得到的自變量系數(shù)往往喪失了對因變量的解釋作用，不能客觀反映客觀實(shí)際。嶺回歸可以較好解決這一問題，回歸的參數(shù)可以客觀反映解釋變量與被解釋變量的關(guān)系。因此，采用嶺回歸分析它們對我國住戶存款的影響，這樣才能客觀掌握其對住戶存款的影響。3.3嶺回歸3.3.3居民存款影響因素回歸案例分析X1、X2、X3、X4分別為居民收入、城鎮(zhèn)居民收入、人口數(shù)量、城鎮(zhèn)化率，Y表示住戶存款運(yùn)用最小二乘法估計(jì)回歸系數(shù)β。借助SPSSPRO軟件工具，求得回歸系數(shù)，如下表所示。3.3嶺回歸3.3.3居民存款影響因素回歸案例分析4個(gè)自變量的膨脹系數(shù)VIF均大于10，說明存在多重共線性。再觀察共線性診斷結(jié)果，如下表所示。3.3嶺回歸3.3.3居民存款影響因素回歸案例分析特征值：4維特征值為0，3、5維特征值接近于0，證實(shí)存在共線性；條件指數(shù)：3、4、5維度的條件指數(shù)分別為44.762、173.466、644.245，大于30，也證明存在共線性；方差比例：X1在4維度的方差比例為0.66大于0.5，X2在4維度方差比例為0.81，大于0.5，X3在5維度的方差比例為0.99，大于0.5，X4在4維度的方差比例為0.93，大于0.5，證明存在共線性。綜上所述，自變量滿足共線性診斷的所有條件，說明4個(gè)自變量數(shù)據(jù)之間存在嚴(yán)重的共線性。此時(shí)回歸的參數(shù)不能客觀反映自變量與因變量的關(guān)系，解決的最好辦法就是采用嶺回歸法估計(jì)回歸系數(shù)。3.3嶺回歸3.3.3居民存款影響因素回歸案例分析嶺回歸分析前需要結(jié)合嶺跡圖確認(rèn)K值，K值的選擇原則是各個(gè)自變量的標(biāo)準(zhǔn)化回歸系數(shù)趨于穩(wěn)定時(shí)的最小K值。K值越小則偏差越小，K值為0時(shí)則為普通線性O(shè)LS回歸（可主觀判斷，或系統(tǒng)自動生成）。設(shè)定迭代步長取0.01，以確定最佳嶺回歸參數(shù)K。當(dāng)K逐漸增大時(shí)，各自變量系數(shù)逐步趨于穩(wěn)定，由下圖可知當(dāng)K=0.70以后，自變量系數(shù)基本不變，故最佳嶺回歸參數(shù)取K=0.60。3.3嶺回歸3.3.3居民存款影響因素回歸案例分析確定好K值后，將K=0.60加入程序再運(yùn)行，得到回歸參數(shù)，如表3-6所示。4個(gè)自變量的標(biāo)準(zhǔn)化回歸系數(shù)分別為：β1=0.2319882，β2=0.2248438，β3=0.2080938，β4=0.2063121。4個(gè)自變量的標(biāo)準(zhǔn)化系數(shù)在數(shù)量級上較為合理，且皆為正數(shù)，能客觀反映其對因變量的影響。根據(jù)回歸的非標(biāo)準(zhǔn)化系和常數(shù)，我們可以得到最終嶺回歸方程，即：Y=-148.002167+0.0012134X1+0.0004499X2+10.0416323X3+0.5962266X43.4LASSO回歸3.4.1LASSO回歸的概念LASSO回歸方法與嶺回歸類似，通過構(gòu)造一個(gè)懲罰函數(shù)得到一個(gè)較為精煉的模型，達(dá)到壓縮回歸系數(shù)的目的，是一種處理具有復(fù)共線性數(shù)據(jù)的有偏估計(jì)。嶺回歸無法降低模型復(fù)雜度，而LASSO回歸是在嶺回歸基礎(chǔ)上的優(yōu)化，可以直接將系數(shù)懲罰壓縮至零，達(dá)到降低模型復(fù)雜度的目的。為保證回歸系數(shù)可求，在多元線性回歸目標(biāo)函數(shù)加上L1范數(shù)懲罰項(xiàng)，則LASSO回歸目標(biāo)函數(shù)：Y為觀測集；X為由X1，X2，…，Xn構(gòu)成的集合；β為由β1，β2，…，βn成的回歸系數(shù)集；λ為正則化系數(shù)，且值非負(fù)。由LASSO回歸目標(biāo)函數(shù)可知，其引入L1范數(shù)懲罰項(xiàng)，正則化系數(shù)λ的選取十分重要。調(diào)整參數(shù)λ的值，模型系數(shù)的絕對值逐漸減小，使絕對值較小的系數(shù)自動壓縮為0，實(shí)現(xiàn)對高維數(shù)據(jù)進(jìn)行降維。3.4LASSO回歸3.4.2LASSO回歸及其SPSS中的實(shí)現(xiàn)按照LASSO回歸法的原理，在SPSSPRO中實(shí)現(xiàn)。1）放入數(shù)據(jù)文檔，如圖所示。3.4LASSO回歸3.4.2LASSO回歸及其SPSS中的實(shí)現(xiàn)2）根據(jù)數(shù)據(jù)分析需求，選擇LASSO回歸，如圖所示。3.4LASSO回歸3.4.2LASSO回歸及其SPSS中的實(shí)現(xiàn)3）將左側(cè)變量放入對應(yīng)的方框里，如圖所示。3.4LASSO回歸3.4.2LASSO回歸及其SPSS中的實(shí)現(xiàn)4）LASSO回歸中，正則化系數(shù)λ的選取十分重要。調(diào)整參數(shù)λ的值，模型系數(shù)的絕對值逐漸減小，使絕對值較小的系數(shù)自動壓縮為0，實(shí)現(xiàn)對高維數(shù)據(jù)進(jìn)行降維。5）確定好λ值后，代入程序中，單擊“開始分析”，如圖所示。3.4LASSO回歸3.4.3居民存款影響因素回歸案例分析現(xiàn)在用LASSO回歸對居民存款影響因素進(jìn)行分析。X1、X2、X3、X4分別居民收入、城鎮(zhèn)居民收入、人口數(shù)量、城鎮(zhèn)化率，Y表示住戶存款。借助SPSSPRO軟件工具，運(yùn)用LASSO回歸進(jìn)行分析。通過交叉驗(yàn)證方法，確定λ值。λ值的選擇原則是使得LASSO模型的均方誤差最小。如圖所示為交叉驗(yàn)證圖，以可視化形式展示了使用交叉驗(yàn)證選擇λ值的情況。3.4LASSO回歸3.4.3居民存款影響因素回歸案例分析為使得均方誤差最小確定λ=0.0。代入程序運(yùn)算得出LASSO回歸系數(shù)，則LASSO回歸函數(shù)為：Y=-12.592+0.001X1+0.0002X2+0.7X3-0.07X4課后習(xí)題1.設(shè)SSR=36，SSE=4，n=18。（1）計(jì)算判定系數(shù)R2并解釋其意義。（2）計(jì)算估計(jì)標(biāo)準(zhǔn)誤差Se并解釋其意義。（6）如果某地區(qū)的人均GDP為5000元，預(yù)測其人均消費(fèi)水平。（7）求人均GDP為5000元時(shí)，人均消費(fèi)水平95%的置信區(qū)間和預(yù)測區(qū)間。課后習(xí)題2.下面是7個(gè)地區(qū)2000年的人均國內(nèi)生產(chǎn)總值（GDP）和人均消費(fèi)水平的統(tǒng)計(jì)數(shù)據(jù)：求：（1）人均GDP作自變量，人均消費(fèi)水平作因變量，繪制散點(diǎn)圖，并說明二者之間的關(guān)系。（2）計(jì)算兩個(gè)變量之間的線性相關(guān)系數(shù)，說明兩個(gè)變量之間的關(guān)系強(qiáng)度。（3）求出估計(jì)的回歸方程，并解釋回歸系數(shù)的實(shí)際意義。（4）計(jì)算判定系數(shù)，并解釋其意義。（5）檢驗(yàn)回歸方程線性關(guān)系的顯著性（a=0.05）。（6）如果某地區(qū)的人均GDP為5000元，預(yù)測其人均消費(fèi)水平。（7）求人均GDP為5000元時(shí)，人均消費(fèi)水平95%的置信區(qū)間和預(yù)測區(qū)間。課后習(xí)題3.從n=20的樣本中得到的有關(guān)回歸結(jié)果是：SSR=60，SSE=40.要檢驗(yàn)x與y之間的線性關(guān)系是否顯著，即檢驗(yàn)假設(shè)：H0：β1=0。求：（1）線性關(guān)系檢驗(yàn)的統(tǒng)計(jì)量F值是多少？（2）給定顯著性水平=0.05，

是多少？（3）是拒絕原假設(shè)還是不拒絕原假設(shè)？（4）假定x與y之間是負(fù)相關(guān)，計(jì)算相關(guān)系數(shù)r。（5）檢驗(yàn)x與y之間的線性關(guān)系是否顯著？課后習(xí)題4.以下是某地搜集到的新房屋的銷售價(jià)格y和房屋的面積x的數(shù)據(jù)：求：（1）畫出數(shù)據(jù)對應(yīng)的散點(diǎn)圖。（2）求線性回歸方程，并在散點(diǎn)圖中加上回歸直線。（3）據(jù)（2）的結(jié)果估計(jì)當(dāng)房屋面積為150m2時(shí)的銷售價(jià)格。（4）求第2個(gè)點(diǎn)的殘差。課后習(xí)題5.某汽車生產(chǎn)商欲了解廣告費(fèi)用x對銷售量y的影響，收集了過去12年的有關(guān)數(shù)據(jù)。通過計(jì)算得到下面的有關(guān)結(jié)果：求：（1）完成上面的方差分析表。（2）汽車銷售量的變差中有多少是由于廣告費(fèi)用的變動引起的？（3）銷售量與廣告費(fèi)用之間的相關(guān)系數(shù)是多少？（4）寫出估計(jì)的回歸方程并解釋回歸系數(shù)的實(shí)際意義。（5）檢驗(yàn)線性關(guān)系的顯著性（a=0.05）課后習(xí)題6.根據(jù)兩個(gè)自變量得到的多元回歸方程為

，并且已知n=10，SST=6724.125，SSR=6216.375，

，

。求：（1）在a=0.05的顯著性水平下，x1,x2與y的線性關(guān)系是否顯著？（2）在a=0.05的顯著性水平下，

是否顯著？（3）在a=0.05的顯著性水平下，

是否顯著？課后習(xí)題7.根據(jù)下面輸出的回歸結(jié)果，說明模型中設(shè)計(jì)多少個(gè)自變量，多少個(gè)觀察值？寫出回歸方程，并根據(jù)F，Se，R2及調(diào)整的Ra2的值對模型進(jìn)行討論。Thank

you!大數(shù)據(jù)分析方法與應(yīng)用第4章聚類算法4.1聚類的原理目錄CONTENTS4.2K-Means聚類4.3

K最近鄰算法4.4

模糊C-均值算法第4章聚類算法4.1聚類的原理聚類的原理聚類（Clustering）是指根據(jù)“物以類聚”的原理，將本身沒有類別的樣本聚集成不同的組，這樣的一組數(shù)據(jù)對象的集合叫作簇。聚類算法是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域中常見的技術(shù)之一，具有廣泛的應(yīng)用。聚類是按照某個(gè)特定標(biāo)準(zhǔn)（如距離）把一個(gè)數(shù)據(jù)集分割成不同的類或簇，使得同一個(gè)簇內(nèi)的數(shù)據(jù)對象的相似性盡可能大，同時(shí)不在同一個(gè)簇中的數(shù)據(jù)對象的差異性也盡可能地大。也即聚類后同一類的數(shù)據(jù)盡可能聚集到一起，不同類數(shù)據(jù)盡量分離。在分類（Classification）中，對于目標(biāo)數(shù)據(jù)庫中存在哪些類是知道的，要做的就是將每一條記錄分別屬于哪一類標(biāo)記出來。4.1聚類的原理

聚類的原理聚類的一般過程01數(shù)據(jù)特征標(biāo)準(zhǔn)化和降維數(shù)據(jù)準(zhǔn)備03通過對選擇的特征進(jìn)行轉(zhuǎn)換形成新的突出特征特征提取02特征選擇04基于某種距離函數(shù)進(jìn)行相似度度量，獲取簇聚類05分析聚類結(jié)果，如距離誤差等聚類結(jié)果評估從最初的特征中選擇最有效的特征，并將其存儲在向量中4.2K-Means聚類

K-Means聚類4.2.1K-Means聚類算法的原理K-Means算法步驟為每個(gè)聚類確定一個(gè)初始聚類中心，這樣就有k個(gè)初始聚類中心將樣本集中的樣本按照最小距離原則分配到最近鄰聚類使用每個(gè)聚類中的樣本均值作為新的聚類中心結(jié)束得到k個(gè)聚類重復(fù)步驟2和3直到聚類中心不再變化輸入輸出簇的數(shù)目k和包含n個(gè)對象的數(shù)據(jù)庫k個(gè)簇，使平方誤差準(zhǔn)則最小4.2K-Means聚類

K-Means聚類4.2.1K-Means聚類算法的原理K-Means聚類算法使用誤差平方和準(zhǔn)則函數(shù)來評價(jià)聚類性能。給定數(shù)據(jù)集X，其中只包含描述屬性，不包含類別屬性。假設(shè)X包含k個(gè)聚類子集X1,X2,…,Xk；各個(gè)聚類子集中的樣本數(shù)量分別為n1,n2,…,nk；各個(gè)聚類子集的均值代表點(diǎn)（也稱聚類中心）分別為m1,m2,…,mk。誤差平方和準(zhǔn)則函數(shù)公式為：4.2K-Means聚類

K-Means聚類4.2.1K-Means聚類算法的原理數(shù)據(jù)對象集合S如下表所示，作為一個(gè)聚類分析的二維樣本，要求的簇的數(shù)量k=2O12345x001.555y20002數(shù)據(jù)對象集合S1）選擇O1(0,2)，O2(0,0)為初始的簇中心，即M1=O1=(0,2)，M2=O2=(0,0)4.2K-Means聚類

K-Means聚類4.2.1K-Means聚類算法的原理2）對剩余的每個(gè)對象，根據(jù)其與各個(gè)簇中心的距離，將它賦給最近的簇a.

對于O3：

；

；

因?yàn)閐(M1,O3)≥d(M2,O3)，故將O3分配給C2。b. 對于O4：

；

因?yàn)閐(M1,O4)≥d(M2,O4)，故將O4分配給C2。c. 對于O5：

；

因?yàn)閐(M1,O5)≤d(M2,O5)，故將O5分配給C1。綜上，得到新簇C1={O1,O5}，中心為M1=O1=(0,2)；C2={O2,O3,O4}，中心為M2=O2=(0,0)。計(jì)算平方誤差準(zhǔn)則，單個(gè)方差為：E1=[(0-0)2+(2-2)2]+[(0-5)2+(2-2)2]=25；E2=[(0-0)2+(0-0)2]+[(0-1.5)2+(0-0)2]+[(0-5)2+(0-0)2]=27.25?？傮w平均方差是：E=E1+E2=25+27.25=52.254.2K-Means聚類

K-Means聚類4.2.1K-Means聚類算法的原理M1=((0+5)/2,(2+2)/2)=(2.5,2)；M2=((0+1.5+5)/3,(0+0+0+0)/3)=(2.17,0)重復(fù)2和3，得到O1分配給C1，O2分配給C2，O3分配給C2，O4分配給C2，O5分配給C1。綜上，得到新簇C1={O1,O5}，中心為M1=(2.5,2)和C2={O2,O3,O4}，中心為M2=(2.17,0)。單個(gè)方差為：E1=[(0-2.5)2+(2-2)2]+[(2.5-5)2+(2-2)2]=12.5；E2=[(2.17-0)2+(0-0)2]+[(2.17-1.5)2+(0-0)2]+[(2.17-5)2+(0-0)2]=13.1667?？傮w平均方差是：E=E1+E2=12.5+13.1667=25.667。由上可以看出，第一次迭代后，總體平均方差值由52.25至25.667，顯著減小。由于在兩次迭代中，簇中心不變，所以停止迭代過程，算法停止。3）計(jì)算新簇的中心4.2

K-Means聚類

K-Means聚類4.2.1K-Means聚類算法的原理K-Means算法的主要優(yōu)點(diǎn)是解決聚類問題的一種經(jīng)典算法，簡單、快速;對處理大數(shù)據(jù)集，該算法是相對可伸縮和高效率的;k值可以根據(jù)實(shí)際需求自行調(diào)節(jié)，以達(dá)到控制類簇內(nèi)樣本點(diǎn)數(shù)量的目的;當(dāng)結(jié)果簇是密集的，而簇與簇之間區(qū)別明顯時(shí)，它的效果較好.4.2

K-Means聚類K-Means聚類4.2.1K-Means聚類算法的原理K-Means算法的主要缺點(diǎn)在簇的平均值被定義的情況下才能使用，這對于處理符號屬性的數(shù)據(jù)不適用;必須事先給出k（要生成的簇的數(shù)目），而且對初值敏感，對于不同的初始值，可能會導(dǎo)致不同結(jié)果。經(jīng)常發(fā)生得到次優(yōu)劃分的情況。解決方法是多次嘗試不同的初始值;它對于“噪聲”和孤立點(diǎn)數(shù)據(jù)是敏感的，少量的該類數(shù)據(jù)能夠?qū)ζ骄诞a(chǎn)生極大的影響.4.2

K-Means聚類

K-Means聚類4.2.2K-Means聚類算法在MATLAB中的實(shí)現(xiàn)MATLAB提供了專用函數(shù)K-Means用于聚類的質(zhì)心，默認(rèn)為歐幾里得距離，如圖所示

MATLAB專用函數(shù)K-Means4.2

K-Means聚類K-Means聚類4.2.2K-Means聚類算法在MATLAB中的實(shí)現(xiàn)假設(shè)給定的數(shù)據(jù)集X={xm|m=1,2,…,total}，X中的樣本用d個(gè)描述屬性A1,A2,…,Ad（維度）來表示。數(shù)據(jù)樣本xi=(xi1,xi2,…,xid)，xj=(xj1,xj2,…,xjd)，其中xi1,xi2,…,xid和xj1,xj2,…,xjd分別是樣本xi和xj對應(yīng)d個(gè)描述屬性A1,A2,…,Ad的具體取值。樣本xi和xj之間的相似度通常用它們之間的距離d(xi,xj)來表示，距離越小，樣本xi和xj越相似，差異度越??；距離越大，樣本xi和xj越不相似，差異度越大。歐式距離公式如下：4.2

K-Means聚類

K-Means聚類4.2.2K-Means聚類算法在MATLAB中的實(shí)現(xiàn)依據(jù)下表中二維數(shù)據(jù)，通過MATLAB中K-Means算法，令K=3進(jìn)行聚類。x23-121011540421211222y2010101231-1020212-110

K-Means算法代碼示例數(shù)據(jù)4.2

K-Means聚類

K-Means聚類4.2.2K-Means聚類算法在MATLAB中的實(shí)現(xiàn)K-Means算法代碼示例14.2

K-Means聚類K-Means聚類4.2.2K-Means聚類算法在MATLAB中的實(shí)現(xiàn)K-Means算法代碼示例24.2

K-Means聚類

K-Means聚類4.2.2K-Means聚類算法在MATLAB中的實(shí)現(xiàn)聚類結(jié)果示意由右圖可知，K-Means根據(jù)距離的遠(yuǎn)近將數(shù)據(jù)集中的樣本點(diǎn)劃分成了三個(gè)類簇，并分別用不同的顏色和標(biāo)記（+，o，*）表示，質(zhì)心點(diǎn)由“?”表示。4.3K最近鄰算法

K最近鄰算法4.3.1K最近鄰算法的原理KNN（k-NearestNeighbor），就是K最近鄰算法，這是一種常用的監(jiān)督學(xué)習(xí)方法。該方法的思路非常簡單直觀：如果一個(gè)樣本在特征空間中的K個(gè)最相似（即特征空間中最鄰近）的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別，即“物以類聚，人以群分”。K最近鄰算法概述如圖所示K最近鄰算法概述圖4.3K最近鄰算法

K最近鄰算法4.3.1K最近鄰算法的原理K-Means算法與KNN算法的區(qū)別K-Means算法K-Means算法是無監(jiān)督學(xué)習(xí)，沒有樣本的輸出K-Means算法有很明顯的訓(xùn)練過程，需要訓(xùn)練選擇質(zhì)心KNN算法是監(jiān)督學(xué)習(xí)，有分類的輸出KNN算法基本沒有訓(xùn)練過程，其原理是根據(jù)測試集的結(jié)果選擇距離訓(xùn)練集前k個(gè)最近的值KNN算法4.3K最近鄰算法

K最近鄰算法4.3.1K最近鄰算法的原理KNN算法實(shí)現(xiàn)過程模型三要素距離度量k值分類決策規(guī)則首先，隨機(jī)選擇k個(gè)對象，所選擇的每個(gè)對象都代表一個(gè)組的初始均值或初始的組中心值，對剩余的每個(gè)對象，根據(jù)其與各個(gè)組初始均值的距離，將他們分配各最近的（最相似）小組其次，重新計(jì)算每個(gè)小組新的均值最后，這個(gè)過程不斷重復(fù)，直到所有的對象在K組分布中都找到離自己最近的組4.3K最近鄰算法

K最近鄰算法4.3.2K最近鄰算法在MATLAB中的實(shí)現(xiàn)實(shí)例基于六條測井曲線，對巖性進(jìn)行劃分，訓(xùn)練集如圖所示訓(xùn)練集由3300個(gè)深度的測井曲線以及對應(yīng)的巖性分類組成。則每一個(gè)深度看作一個(gè)樣本，測井曲線的數(shù)值作為屬性、巖性作為分類結(jié)果。367個(gè)深度的測井曲線以及對應(yīng)的巖性分類作為測試集，測試建立的模型性能。基于六條測井曲線數(shù)據(jù)構(gòu)建一個(gè)KNN模型，用于巖性類型劃分?jǐn)?shù)據(jù)目的基于測井?dāng)?shù)據(jù)的巖性識別結(jié)果示意圖4.3K最近鄰算法

K最近鄰算法4.3.2K最近鄰算法在MATLAB中的實(shí)現(xiàn)1）數(shù)據(jù)導(dǎo)入4.3K最近鄰算法

K最近鄰算法4.3.2K最近鄰算法在MATLAB中的實(shí)現(xiàn)2）建立使用訓(xùn)練數(shù)據(jù)集構(gòu)造KDTree4.3K最近鄰算法

K最近鄰算法4.3.2K最近鄰算法在MATLAB中的實(shí)現(xiàn)3）尋找測試集K個(gè)鄰居使用KDTree結(jié)構(gòu)體MDI，得到n,

n為樣本數(shù)x鄰居數(shù)的矩陣，每一行對應(yīng)一個(gè)測試樣本，這一行的所有元素代表最鄰近的訓(xùn)練集樣本點(diǎn)的索引。4.3K最近鄰算法

K最近鄰算法4.3.2K最近鄰算法在MATLAB中的實(shí)現(xiàn)4）循環(huán)提取測試集樣本對應(yīng)鄰居循環(huán)提取測試樣本的鄰居，并統(tǒng)計(jì)眾數(shù)進(jìn)行投票，得到最終分類結(jié)果。使用validate計(jì)算最終的準(zhǔn)確率分類。其中mode用于計(jì)算最近鄰點(diǎn)分類向量tempClass中的眾數(shù)。4.3K最近鄰算法

K最近鄰算法4.3.2K最近鄰算法在MATLAB中的實(shí)現(xiàn)5）對K進(jìn)行優(yōu)化調(diào)參將以上過程封裝為函數(shù)myKNNCLass，將k作為參數(shù)進(jìn)行調(diào)參，由于需要使用眾數(shù)作為結(jié)果，因此鄰居數(shù)應(yīng)該選擇為奇數(shù)。4.3K最近鄰算法

K最近鄰算法4.3.2K最近鄰算法在MATLAB中的實(shí)現(xiàn)得到結(jié)果取近鄰數(shù)K=1;此時(shí)的準(zhǔn)確率為90.9836%取近鄰數(shù)K=3;此時(shí)的準(zhǔn)確率為87.9781%取近鄰數(shù)K=5;此時(shí)的準(zhǔn)確率為84.153%取近鄰數(shù)K=7;此時(shí)的準(zhǔn)確率為84.9727%取近鄰數(shù)K=9;此時(shí)的準(zhǔn)確率為82.2404%取近鄰數(shù)K=11;此時(shí)的準(zhǔn)確率為80.0546%取近鄰數(shù)K=13;此時(shí)的準(zhǔn)確率為79.235%取近鄰數(shù)K=15;此時(shí)的準(zhǔn)確率為77.8689%，則最后使用取近鄰數(shù)1為最好。4.3K最近鄰算法

K最近鄰算法4.3.3鳶尾花分類案例分析Iris也稱鳶尾花卉數(shù)據(jù)集，是一類多重變量分析的數(shù)據(jù)集鳶尾花有3個(gè)亞屬，分別為山鳶尾（Iris-setosa）、變色鳶尾（Iris-versicolor）和維吉尼亞鳶尾（Iris-virginica）數(shù)據(jù)集包含150個(gè)數(shù)據(jù)樣本，分為3類，每類50個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)包含4個(gè)屬性可通過花萼長度，花萼寬度，花瓣長度，花瓣寬度4個(gè)屬性預(yù)測鳶尾花卉分別屬于三個(gè)亞屬中的哪一類列名說明數(shù)據(jù)類型SepalLength花萼長度FloatSepalWidth花萼寬度FloatPetalLength花瓣長度FloatPetalWidth花瓣寬度FloatClass類別變量。0表示山鳶尾，1表示變色鳶尾，2表示維吉尼亞鳶尾。Int鳶尾花數(shù)據(jù)集特征4.3K最近鄰算法

K最近鄰算法4.3.3鳶尾花分類案例分析不同特征描述下鳶尾花分布4.3K最近鄰算法

K最近鄰算法4.3.3鳶尾花分類案例分析K近鄰學(xué)習(xí)的工作機(jī)制給定測試樣本，基于某種距離度量找出訓(xùn)練集中與其最靠近的K個(gè)訓(xùn)練樣本，然后基于這K個(gè)“鄰居”的信息來進(jìn)行預(yù)測。示例代碼如圖4.4模糊C-均值算法

模糊C-均值算法4.4.1模糊C-均值算法的原理傳統(tǒng)的聚類分析是一種硬劃分（CrispPartition），它把每個(gè)待辨識的對象嚴(yán)格地劃分到某類中，具有“非此即彼”的性質(zhì)。然而實(shí)際上大多數(shù)對象并沒有嚴(yán)格的屬性，它們在性質(zhì)和類屬方面存在著中介性，具有“亦此亦彼”的性質(zhì)，因此適合進(jìn)行軟劃分。Zadeh提出的模糊集理論為這種軟劃分提供了有力的分析工具，用模糊方法來處理聚類問題，稱之為模糊聚類分析。模糊聚類得到了樣本屬于各個(gè)類別的不確定性程度，表達(dá)了樣本類屬的中介性，建立起了樣本對于類別的不確定性的描述，能更客觀地反映現(xiàn)實(shí)世界，從而成為聚類分析研究的主流。在基于目標(biāo)函數(shù)的聚類算法中模糊C均值（FuzzyC-Means,FCM）類型算法的理論最為完善，應(yīng)用最為廣泛。4.4模糊C-均值算法

模糊C-均值算法4.4.1模糊C-均值算法的原理模糊C均值聚類的準(zhǔn)則設(shè)xi(i=1,2,…,n)是n個(gè)樣本組成的樣本集合，c為預(yù)定的類別數(shù)目，μj(xi)是第i個(gè)樣本對于第j類的隸屬度函數(shù)。用隸屬度函數(shù)定義的聚類損失函數(shù)可以寫為：其中，b>1是一個(gè)可以控制聚類結(jié)果的模糊程度的常數(shù)。在不同的隸屬度定義方法下最小化聚類損失函數(shù)，就得到不同的模糊聚類方法。其中最有代表性的是模糊C均值方法，它要求一個(gè)樣本對于各個(gè)聚類的隸屬度之和為1，即（i=1,2,…,n）4.4模糊C-均值算法

模糊C-均值算法4.4.1模糊C-均值算法的原理模糊C均值算法步驟設(shè)置目標(biāo)函數(shù)的精度e，模糊指數(shù)b（b通常取2）和算法最大迭代次數(shù)初始化隸屬度矩陣μij和聚類中心vi由公式更新模糊劃分矩陣μij和聚類中心vi根據(jù)所得到的隸屬度矩陣，取樣本隸屬度最大值所對應(yīng)類作為樣本聚類的結(jié)果，聚類結(jié)束若目標(biāo)函數(shù)|J(t)-J(t+1)|<e則迭代結(jié)束，否則跳轉(zhuǎn)執(zhí)行步驟3123454.4模糊C-均值算法

模糊C-均值算法4.4.1模糊C-均值算法的原理模糊C均值算法優(yōu)缺點(diǎn)FCM算法優(yōu)越于傳統(tǒng)硬C均值聚類算法在于隸屬度可以連續(xù)取值于[0,1]區(qū)間，考慮到了樣本屬于各個(gè)類的“亦此亦彼”性，能夠?qū)︻惻c類之間樣本有重疊的數(shù)據(jù)集進(jìn)行分類，具有良好的收斂性。而且FCM算法復(fù)雜度低，易于實(shí)現(xiàn)。優(yōu)點(diǎn)如目標(biāo)函數(shù)在迭代過程中容易陷入局部最小、函數(shù)收斂速度慢、對初始值、噪聲比較敏感等問題。缺點(diǎn)4.4模糊C-均值算法

模糊C-均值算法4.4.2模糊C-均值算法在MATLAB中的實(shí)現(xiàn)數(shù)據(jù)集由400個(gè)二維平面上的點(diǎn)組成，這些點(diǎn)構(gòu)成4個(gè)集合，但彼此之間沒有明顯的極限。數(shù)據(jù)集示例如圖數(shù)據(jù)集分布4.4模糊C-均值算法

模糊C-均值算法4.4.2模糊C-均值算法在MATLAB中的實(shí)現(xiàn)模糊C均值代碼4.4模糊C-均值算法

模糊C-均值算法4.4.2模糊C-均值算法在MATLAB中的實(shí)現(xiàn)數(shù)據(jù)集分布4.4模糊C-均值算法

模糊C-均值算法4.4.3用戶需求聚類案例分析分析步驟基本思路用電特征提取模型的構(gòu)建聚類個(gè)數(shù)確定4.4模糊C-均值算法