聚類分析及判別分析試驗報告范例

1、上海電力學(xué)院應(yīng)用多兀統(tǒng)計分析判別分析與聚類分析學(xué)院：姓名：學(xué)號：2016年4月我國部分城市經(jīng)濟發(fā)展水平的聚類分析和判別分析扌商要：本文基于中國統(tǒng)計年鑒（2012年版）統(tǒng)計數(shù)據(jù)，尋找評價城市經(jīng)濟 發(fā)展水平的指標(biāo)，包括第 二三產(chǎn)業(yè)發(fā)展水平、固定投資額、社會消費零售總額和 進岀口貿(mào)易交流五個指標(biāo)，利用統(tǒng)計軟件SPSS綜 合考慮各指標(biāo)，對所選城市進行K-Means聚類分析，利用Fisher線性判別待判城市類型，進一步驗證所建 模型的有效性。關(guān)鍵字：聚類分析，判別分析，SPSS城市經(jīng)濟發(fā)展水平1, 引言經(jīng)過改革開放后三十多年的長足進展，中國城市化已步入中期階段，步伐加 快，質(zhì)量顯著提高。同 時，中國城市

2、化又處于期轉(zhuǎn)折點上，上一期行將結(jié)束，下一期將要開始。2011年中國城市化率首次突破 50 %,意味著中國城鎮(zhèn)人口首次超過農(nóng)村人口，中國城市化進入關(guān)鍵發(fā)展階段，這必將引起深刻的社會變 革。根據(jù)2011年4月公布的第六次人口普查數(shù)據(jù)，2010年中國居住城鎮(zhèn)的人口接近6.6億人，城鎮(zhèn)化率 達到49. 68%,全國已有近一半的人口居住在城鎮(zhèn)，這 意味著中國將進入城鎮(zhèn)時代。在過去30多年中，中 國的城市化發(fā)展取得了很大成績。然而，總體上中國的城市化道路是城市化滯后于工業(yè)化的非均衡道路； 是土地城市化快于人口城市化的非規(guī)整道路；是以抑制農(nóng)村、農(nóng)業(yè)、農(nóng)民的經(jīng)濟利益來支持城市發(fā)展，導(dǎo)致不能兼顧效率和公平的非協(xié)

3、調(diào)道路；是片面追求城市發(fā)展的數(shù)量和規(guī)模，而以生態(tài)環(huán)境損失為代價的非持續(xù)道路；是以生產(chǎn)要素的高投 入，而不是投入少、產(chǎn)值 高、依靠科技拉動經(jīng)濟增長的非集約道路。傳統(tǒng)的城市化存在著諸多弊端，中國未來的城市化必須走出一 條具有自身特色的新型城市化道路。具體而言，中國城市經(jīng)濟發(fā)展水平受限于地理、環(huán)境、資源以及政策等因素2012年中國城市發(fā)展報 與國際貿(mào)易交流往來表現(xiàn)出了強勁的增的影響，我國不同區(qū)域的城市化進程尚存在很大差異。 告中指出，從區(qū)域角度看，目前沿海一帶城市發(fā)展起步早,頻率咼，經(jīng)濟發(fā)展水平較咼，西部地區(qū)受到政策的大力扶持,/、/（、）T.“ .一，、的水平已經(jīng)落到了最后。顯然，通過研究不同城市

4、的經(jīng)濟發(fā)展?fàn)顩r和經(jīng)濟類型,指出其發(fā)展差異所在，可以為政府在岀臺相關(guān)政策來平衡區(qū)域經(jīng)濟發(fā)展，縮小不同地區(qū)人民生活水平的差異提供一定的指導(dǎo)意見，也為我們深刻理解相關(guān)政策提供了扎實的基礎(chǔ)。2, 相關(guān)統(tǒng)計基礎(chǔ)理論2. 1,聚類分析聚類分析指將物理或抽彖對象的集合分組成為由類似的對彖組成的多個類的分析過程。聚類分析的目 標(biāo)就是在相似的基礎(chǔ)上收集數(shù)據(jù)來分類。從統(tǒng)計學(xué)的觀點看，聚類分析是通過數(shù)據(jù)建模簡化數(shù)據(jù)的一種 法。傳統(tǒng)的統(tǒng)計聚類分析法包括系統(tǒng)聚類法、分解法、加入法、動態(tài)聚類法、有序樣品聚類、有重疊聚類 和模糊聚類等。采用k-均值、k-中心點等算法的聚類分析工具已被加入到多著名的統(tǒng)計分析軟件包中， 如 S

5、PSS SAS 等。本文使用統(tǒng)計軟件SPSS對所收集的數(shù)據(jù)進行快速聚類，其特點是：在確定類別數(shù)量基礎(chǔ)上，先給定一個粗糙的初始分類，然后按照某種原則進行反復(fù)修改，直至分類較為合理。在選定類中心作為凝聚點的基 礎(chǔ)上進行分類和修正的法有很多，本文使用的是K-Means算法。K-Means算法接受輸入量k ；然后將n個數(shù)據(jù)對象劃分為k個聚類以便使得所獲得的聚類滿足：同一 聚類中的對象相似度較高；而不同聚類中的對象相似度較小。聚類相似度是利用各聚類中對象的均值所獲 得一個“中心對象”（引力中心）來進行計算的。K-Means算法的工作過程說明如下：首先從n個數(shù)據(jù)對象任意選擇k個對 彖作為初始聚類中心；而對

6、 于所剩下其它對象，則根據(jù)它們與這些聚類中心的相 似度（距離），分別將它們分配給與其最相似的（聚 類中心所代表的）聚類；然后再計算每個所獲新聚類的聚類中心（該聚類中所有對象的均值）；不斷重復(fù) 這W一過程直到標(biāo)準(zhǔn)測度函數(shù)開始收斂為止。一般都采用均差作為標(biāo)準(zhǔn)測度函數(shù)。一般而言，k個聚類具有以 下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。2.2,判別分析判別分析是市場研究的重要分析技術(shù)，也是多變量分析技術(shù)。它可以就一定數(shù)量的個體的一個分類變 量和相應(yīng)的其它多元變量的已知信息，確定分類變量與其它多元變量之間的數(shù)量關(guān)系，建立判別函數(shù)，并利用判別函數(shù)構(gòu)建Biplot二元判別圖(概念圖)。同時

7、，利用這一數(shù)量關(guān)系對其他已知多元變量的信息、但 未知分組的子類型的個體 進行判別分組。判別分析屬于監(jiān)督類分析法，例如：市場細(xì)分研究中，常涉及判別個體所屬類型的問題， 也常涉及不同品牌在一組產(chǎn)品屬性之間的消費者偏好和認(rèn)知概念，判別分析可以很好地對這種差異進行鑒 別。并在低維度空間表現(xiàn)這種差異。判別分析主要有距離判別、貝葉斯(Bayes)判別、費舍爾(Fisher)判別等 幾種常用法。距離判別的基本原理是：首先對樣本到總體G之間的距離進行合理規(guī)定，然后依照“就近”原則判定樣本的歸屬，常用馬氏距離(Mahalanobis )規(guī)定為：d2(x, G)(X U)1 1(X U) 式中為p元總體G的協(xié)差陣

8、，x是取自G的樣品，則該式即為樣品x到總體G的馬氏距離。貝葉斯判別既考慮了先驗分布產(chǎn)生的影響，也考慮到誤判損失產(chǎn)生的影響，是衡量一個判別優(yōu)劣的比 較合理的準(zhǔn)則。費舍爾判別的基本思想與主成分分析十分相似，當(dāng)總體是高維向量時，先把其綜合成一個一維變量，然后在對一維變量進行距離判別，費舍爾判別實際上是一種降維處理，降維壓縮 后，樣品y到各個總體Gr的距離可以用歐式距離度量，即：m2*22d(y,Gj)|yUjll(a'xa,Uj)i 1由此導(dǎo)岀Fisher判別規(guī)則為：d (y,G j) minkd (y,G j),貝ij x Gi1 jk本文及使用Fisher判別建立線性判別函數(shù)進行距離判別

9、。3, 模型建立3. 1設(shè)置變量本文綜合考慮了評價城市發(fā)展指數(shù)衡量因素，選取衡量一個城市經(jīng)濟發(fā)展水 平的主要因素，城市化進 程總是伴隨著工業(yè)化發(fā)展，發(fā)達的服務(wù)業(yè)水平是衡量現(xiàn) 代新興城市的主要指標(biāo)，此外，綜合考慮了固定資 產(chǎn)投資總額與社會消費品零售 總額以及貨物進岀口總額作為類別分析的主要經(jīng)濟指標(biāo)：XI：城市第二產(chǎn)業(yè)產(chǎn)值（億元）X2 :城市第三產(chǎn)業(yè)產(chǎn)值（億元）X3 :城市固定資產(chǎn)投資總額（億元）X4 :城市社會消費品零售總額（億元）X5 :貨物進出口總額（億元）從區(qū)域發(fā)展角度從上面5個經(jīng)濟指標(biāo)將城市經(jīng)濟發(fā)展水平劃分為三大類：G1 :發(fā)達城市G2:中度發(fā)達城市G3 :欠發(fā)達城市32數(shù)據(jù)收集和整理本

10、文所有數(shù)據(jù)來源于中國統(tǒng)計年鑒（2012） »,選取2011年度36個城市主要經(jīng)濟發(fā)展水平做模型 建立及分析。其中前32個城市相關(guān)經(jīng)濟指標(biāo)水平作為初始樣本用于劃分類別，建立類別總體G;最后四個 城市（、）及其相關(guān)經(jīng)濟 發(fā)展水平用作待判樣品，利用判別函數(shù)進行判別分析。所有相關(guān)數(shù)據(jù)經(jīng)過量 綱統(tǒng)一規(guī)則化處理見表1所示。表1我弓部分城市相關(guān)答濟發(fā)展水平（2011年）第二產(chǎn)業(yè)第三產(chǎn)業(yè)固定資產(chǎn)投資社會消費品零售貨物進出口總丿丁號城市（億元）（億元）總額（億元）總額（億元）額（億元）1北京3752.512363.25851.52016900.324623374.98842天津5928.35219.2

11、7483.69733395.066203.46423家莊2031.91635.83026.97781662.9864850.11124太原949.21097.11024.1444973.2937513.6306W5呼和浩特790.01277.81031.6781890.0478121.47366陽3026.92609.84577.0942426.8655637.2157大連3204.22550.74580.05851924.7943630.58748長春2092.71620.22356.61891515.85371040.93229哈爾濱1647.22147.83011.9712070.412

12、9307.054810上海7927.911142.95064.26246814.826246.15111南京2760.83220.43757.25172697.09973440.635812寧波3349.52454.52385.50722018.86175891.209213合肥2002.21426.23376.96521111.11881207.71914福州1711.21700.12720.28271947.81022083.485615廈門1297.11217.51128.0872800.27794210.000216南81579.3974.72022.3297928.3438473.0

13、22617濟南1829.02339.51934.33892114.2868624.12318青島3150.73158.53502.53822302.37034329.130219州2874.21974.03002.51987.1147959.735420武漢3254.03309.54255.16213031.78851367.374821長沙3151.72224.33510.24252201.6112449.360422廣州4577.07641.93412.252436970.2623深圳5343.36155.72136.38823520.873624845.98224海口177.9487.7

14、395.0408387.1804236.175625重慶5543.03623.87579.44543487.8071753.071626成都3143.83383.44944.01572861.28352274.379827貴陽586.8733.71600.5898584.3292392.979628拉薩75.2137.2220.5031102.594878.445229西安1697.21993.93352.121965.9774754.7430蘭州656.5663.5950.5758639.7231112.765831西寧411.3332.0528.0052271.287348.937832烏

15、木齊759.1908.9427.6221695.0278541.790433杭州3323.83458.53100.02182548.35993838.30834南寧829.61076.31950.86281073.1541150.625235昆明1161.21214.62275.52861271.7298721.322436銀川525.2414.4720.5627274.470572.64, 數(shù)據(jù)結(jié)果及分析4.1聚類分析 4. 1. 1聚類分析過程采用統(tǒng)計軟件SPS列以快速便的將樣本分類，“K-均值聚類”將樣本分為設(shè)定好的三類，分類結(jié)果如下:（1）K-均值聚類初始聚類中心初始聚類中心聚類123

16、第二產(chǎn)業(yè)（億元）7928592875第三產(chǎn)業(yè)（億元）111435219137固定資產(chǎn)投資總額（億元）5064.17483.1220.0社會消費品零售總額（億元）6814.80003395.0600102.5948貨物進岀口總額（億元）26246.06203.078.0案例號城市聚類距離案例號城市聚類距離1北京13937.77217濟南31347.1542天津24379.85018青島21710.0433家莊31259.02619州31969.2614太原31214.20武漢22771.8345呼和浩特31414.69721長沙32607.5836陽33452.67422廣州25518.2357

17、大連21842.87323深圳14887.3768長春3837.81124海口32474.7509哈爾濱31584.29125重慶24072.60110上海13214.67326成都21942.91011南京21681.20527貴陽31402.62012寧波23455.97928拉薩32918.19013合肥31536.88129西安31652.62514福州31682.56330蘭州31767.33415廈門33577.16931西寧32433.50316南昌3617.36732烏木齊31898.368（2 ）樣本聚類聚類成員（3）最終聚類中心最終聚類中心聚類123第二產(chǎn)業(yè)（億元）5675

18、38791467第三產(chǎn)業(yè)（億元）988738401375固定資產(chǎn)投資總額（億元）4350.84655.02009.0社會消費品零售總額（億元）5745.33272995.78501263.8072貨物進岀口總額（億元）24822.03984.0782.0最終聚類中心間的距離聚類12312321946.79726337.27221946.7975669.84326337.2725669.843（4）聚類差分析差分析Sig.iSS5f均df均df第二產(chǎn)業(yè)（億元）34313207.73521231856.4792927.855.000第三產(chǎn)業(yè)（億元）100446019.01321811059.407

19、2955.463.000固定資產(chǎn)投資總額（億元）24862358.67322205819.3762911.271.000社會消費品零售總額（億元）30454986.0502887338.5312934.322.000貨物進岀口總額（億元）753836973.38321848036.99229407.912.000F檢驗應(yīng)僅用于描述性目的，因為選中的聚類將被用來最大化不同聚類中的案例間的差別。觀測到的顯著性水平并未據(jù)此進行更 正，因此無法將其解釋為是對聚類均值相等這一假設(shè)的檢驗。4. 1. 2聚類結(jié)果分析從上述聚類分析過程可知，樣本完全有效，32個個體被分成三大類：G1 （發(fā)達城市）:北京，上海

20、，。G2 （中度發(fā)達城市）:天津，程度。G3 （欠發(fā)達城市）：，呼和浩特，烏木齊。從城市分類結(jié)果可知，北上深作為國際化城市發(fā)展代表，其經(jīng)濟發(fā)展水平遠(yuǎn)超其他沿海城市及陸城 市；沿海開放城市以及陸主要樞紐城市的發(fā)展水平高于其他城市；中部地區(qū)級西部城市發(fā)展水平受限于地 理、資源和資本等因素，經(jīng)濟發(fā)展表現(xiàn)不強勁。從最后的差分析中可知，分類檢驗水平顯著，分類結(jié)果值得借鑒。4.2判別分析4. 2.1判別結(jié)果及分析一般來講，利用判別分析首先要明確變量測量尺度及變量的類型和關(guān)系；因變量（dependent variable）:分組變量 定性數(shù)據(jù)（個體、產(chǎn)品/品牌、特征，定類變量）。自變量（independen

21、t variable）:判別變量定量數(shù)據(jù)（屬性的評W價得分，數(shù)量型變量）（1）判別圖曲檢1圖1典則判別函數(shù)從圖中很明顯，看到三個組中心也就是經(jīng)濟發(fā)展水平，以及圍繞著組中心的樣本，說明直觀上分組 判別式完全可以接受的（2）典型判別式函數(shù)摘要特征值函數(shù)特征值差的累積正則相關(guān)性137.790 a98.098.0.9872.765 a2.0100.0.658a.分析中使用了前2個典型判別式函數(shù)Wilks 的 Lambda函數(shù)檢驗Wilks 的Lambda卡dfSig.1到2.015114.10610.0002.56715.3364.004標(biāo)準(zhǔn)化的典型判別式函數(shù)系數(shù)函數(shù)12第二產(chǎn)業(yè)（億元）.974.94

22、0第三產(chǎn)業(yè)（億元）-1.198.773固定資產(chǎn)投資總額（億元）.752.211社會消費品零售總額（億元）1.190-.675貨物進岀口總額（億元）1.409-.314結(jié)構(gòu)矩陣函數(shù)12貨物進岀口總額（億元）.863*.090第二產(chǎn)業(yè)（億元）.184.920-固定資產(chǎn)投資總額（億元）.076.857*社會消費品零售總額（億元）.231.675*第三產(chǎn)業(yè)（億元）.308.567-判別變量和標(biāo)準(zhǔn)化典型判別式函數(shù)之間的匯聚組間相關(guān)性按函數(shù)相關(guān)性的絕對大小排序的變量。二每個變量和任意判別式函數(shù)間最大的絕對相關(guān)性從表中我們看到，因為分組變量是三類，所以我們得到兩個判別函數(shù)，其中第一判別函數(shù)解釋了數(shù)據(jù)的98%

23、,第二判別函數(shù)解釋了 2% ;兩個判別函數(shù)解 釋了 100% ;當(dāng)然，兩個判別 函數(shù)直接具有顯著的差異和判別力（3）分類統(tǒng)計量組的先驗概率類別先驗用于分析的案例未加權(quán)的已加權(quán)的1.33333.0002.33399.0003.3332020.000合計1.0003232.000分類函數(shù)系數(shù)類別123第二產(chǎn)業(yè)（億元）-.019-.001-.001第三產(chǎn)業(yè)（億元）-.004-.003固定資產(chǎn)投資總額（億元）.011.002.001社會消費品零售總額（億元）.030.006.004貨物進岀口總額（億元）.003.001（常量）-231.519-12.269-2.727Fisher的線性判別式函數(shù)Fis

24、her線性判別函數(shù)，我們主要用來構(gòu)建判別程，理論上說：如果我們知道某個城市在5經(jīng)濟指標(biāo)的發(fā)展水平值，我們就可以估計出該城市應(yīng)該是哪種類型的。422判別檢驗判別變量是數(shù)量型測量尺度變量，分析樣本個數(shù)至少比判別變量多兩個，我們?yōu)榱说玫脚袆e函數(shù)， 經(jīng)常需要把樣本隨機分成訓(xùn)練樣本和檢驗樣本等工作，如 本文最后四個（序號33-36 ）個體就可作為檢 驗樣本，也成待判樣本。由上表可知Fisher判別程：G0.019X10.021X20.011X30.030X40.022X5231.519G20.001X10.004X20.002X30.006X40.003X512.269G30.001X10.003X20.001X30.004X40.001X52.727判別規(guī)則：2*2* d (y,G j) minkd (y,G j),貝【J x G.1 j k判別結(jié)果：1杭21583.3912南寧3842.7743昆明3