SPSS軟件培訓(xùn)(第三單元)(精)

1、聚類分析意義O聚類分析是統(tǒng)計(jì)學(xué)中研究“物以類聚”問(wèn)題的多元統(tǒng) 計(jì)分析方法。聚類分析在統(tǒng)計(jì)分析的應(yīng)用領(lǐng)域己經(jīng)得 到了極為廣泛的應(yīng)用。O聚類分析是一種建立分類的多元統(tǒng)計(jì)分析方法，它能 夠?qū)⒁慌鷺颖荆ɑ蜃兞浚?shù)據(jù)根據(jù)諸多特征，按照在 性質(zhì)上的親疏程度在沒有先驗(yàn)知識(shí)的情況下進(jìn)行自動(dòng) 分類，產(chǎn)生多個(gè)分類結(jié)果，類內(nèi)部的個(gè)體在特征上具 有相似性，不同類間個(gè)體特征的差異較大。方法原理O按照個(gè)體（記錄）的特征將它們分類，使同一類別 內(nèi)的個(gè)體具有盡可能高的同質(zhì)性，而類別之間則具 有盡可能高的異質(zhì)性。為了得到比較合理的分類，首先要采用適當(dāng)?shù)闹笜?biāo) 來(lái)定量地描第八講聚類分析、判別分析述研究對(duì)象之間的聯(lián)系的緊密程度。直觀

2、的理解為按空間距離的遠(yuǎn)近來(lái)劃分類別方法原理。假定研究對(duì)象均用所謂的“點(diǎn)”來(lái)表示。 在聚類分析中， 一般的規(guī)則是將“距離”較小的點(diǎn) 歸為同一類，將“距離”較大的點(diǎn)歸為不同的類。O常見的是對(duì)個(gè)體（Case）分類，也可以對(duì)變量（Variable）分類此時(shí)一般使用相似系數(shù)作為“距離”測(cè)量指標(biāo)方法原理例：根據(jù)年齡將人 群分成適當(dāng)?shù)念?，從右圖可見， 人群 被分為兩類是比較 合適的。方法原理。在右圖中可以看到五個(gè)樣品應(yīng)當(dāng)可能被分為兩組或 者三組，C/D組x和y的取 值均偏低，而另三個(gè)所在組x和y的取值均偏高分為 兩類或三類都是可接受的從圖中可1SQ 20.0 25J3SO 0-050.0 $.0 3* 0

3、*0.0 7S.0 800AG方法原理O當(dāng)用于聚類的變量逐漸增多時(shí)，分析思路完全相同, 只是這樣簡(jiǎn)單、清晰的圖示展現(xiàn)類別情況變得逐漸 不大可能多維空間屮的觀察O可能的解決方法放棄圖示化觀察，改用復(fù)雜的統(tǒng)計(jì)指標(biāo)縮減維度，使得可以在低維度空間進(jìn)行呈現(xiàn)聚類分析的特點(diǎn)聚類分析前所有個(gè)體所屬的類別是未知的，類別個(gè)能事先沒有任何有關(guān)類別的信息可參考。嚴(yán)格說(shuō)來(lái)聚類分析并不是純粹的統(tǒng)計(jì)技術(shù)，它不像 其它多元分析法那樣，需要從樣本去推斷總體。一般都涉及不到有關(guān)統(tǒng)計(jì)量的分布，也不需要進(jìn)行顯著性檢驗(yàn)。般也是未知的，分析的依據(jù)就是原始數(shù)據(jù)，可O聚類分析更像是一種建立假設(shè)的方法，而對(duì)相關(guān)假 設(shè)的檢驗(yàn)還需要借助其它統(tǒng)計(jì)方

4、法。聚類分析的用途O設(shè)計(jì)抽樣方案分層抽樣O預(yù)分析過(guò)程先通過(guò)聚類分析達(dá)到簡(jiǎn)化數(shù)據(jù)的目的， 將眾多的個(gè)體先 聚集成比較好處理的幾個(gè)類別或子集，然后再進(jìn)行后續(xù) 的多元分析。O細(xì)分市場(chǎng)、個(gè)體消費(fèi)行為劃分先聚類，然后再利用判別分析進(jìn)一步研究各個(gè)群體之間 的差異。聚類分析的步驟步驟1:確定研究問(wèn)題簷擇研究目的：分類描述；數(shù)據(jù)簡(jiǎn)化；揭示相互聯(lián)系選擇分類變O步驟2研究設(shè)計(jì)對(duì)個(gè)體聚類還是對(duì)變量聚類？分類變量是什么類型？選擇用“距離”還是“相似系數(shù)” ？是哪一種？ 數(shù)據(jù)是否需要標(biāo)準(zhǔn)化？是否需要?jiǎng)h除奇異點(diǎn)？o步驟3考慮是否滿足基本假定樣本對(duì)總體是否有代表性？ 聚類變量是否存在共線性？ 共線性是否足以影響結(jié)果？聚類分

5、析步驟步驟4選擇聚類方法蓋龍鬻蠶為翳蹩寥爲(wèi)荒耒霜譽(yù)合釆用。步驟5：解釋聚類分析的結(jié)果考察類別的中心是否存在顯著的差異？觀察樹形圖和冰柱圖是否可以根據(jù)分類變量給各個(gè)類別命名？步驟6：評(píng)價(jià)聚類分析結(jié)果的有效性利用適當(dāng)?shù)慕Y(jié)果變量進(jìn)行評(píng)價(jià)；利用其它描述性的變量描述各個(gè)類別的輪廓。評(píng)定聚類結(jié)果的標(biāo)準(zhǔn)o一個(gè)好的聚類分析是：O Efficient.盡可能少的分類數(shù).o Effective.尋找到無(wú)論在統(tǒng)計(jì)上還是在商業(yè)上都重要 的分類比如，一個(gè)類中含有5個(gè)客戶，也許在統(tǒng)計(jì)上 是有意義的，但是在商業(yè)上卻沒有利用價(jià)值TwoSTEPCLUSTERO特點(diǎn)處理對(duì)象：分類變量和連續(xù)變量自動(dòng)決定最佳分類數(shù)快速處理大數(shù)據(jù)集O

6、前提假設(shè)：變量間彼此獨(dú)立分類變量服從多項(xiàng)分布，連續(xù)變量服從正態(tài)分布模型穩(wěn)健TwoSTEPCLUSTER。步驟：建立Cluster Features (CF) Tree確定最佳聚類數(shù)。分析實(shí)例：某汽車制造商為了了解整個(gè)汽車市場(chǎng)的形勢(shì)，希望根據(jù)汽 車的基本屬性和價(jià)錢對(duì)其進(jìn)行分類，以有效地提高競(jìng)爭(zhēng)力。o數(shù)據(jù):car_sales.savcategorical variable : Vehicle type continuous variables：Price in thousands Fuel efficiencyHIERARCHICALCLUSTERO屬于系統(tǒng)聚類法的一種其聚類過(guò)程可以用樹形結(jié)構(gòu)(t

7、reelike structure)來(lái)描 繪的方法。方法原理先將所有n個(gè)變量/觀測(cè)看成不同的n類然后將性質(zhì)最接近(距離最近)的兩類合并為一類 再?gòu)倪@n l類中找到最接近的兩類加以合并依此類推，直到所有的變量/觀測(cè)被合為一類使用者再根據(jù)具體的問(wèn)題和聚類結(jié)果來(lái)決定應(yīng)當(dāng)分為幾類rJj&rarehical CHusi&rXt話框o 即可進(jìn)入Hierarchical Cluster主菜單，或KMeans Cluster主菜單。 下面對(duì)利用這兩 個(gè)過(guò)程進(jìn)行聚類的步驟和主要選項(xiàng)加以介紹。o 1. Hierarchical Cluster。進(jìn)行層次聚類有以下步驟:o (2)指定聚類對(duì)象要進(jìn)行變

8、量聚類，Cluster逸項(xiàng)中選捧Variables”，要對(duì)案例 進(jìn)行聚類，逸會(huì)Cases。o (1)指定參與聚類的變量將選定的變量放到“Variables”下的矩形框中。o (3)在“Method”子對(duì)話框中指定聚類方法、 相似測(cè)度的方法和標(biāo)準(zhǔn)化數(shù)據(jù)的方法在“ClusterMethod”對(duì)話框中選擇聚類方法,SPSS軟件提供了本章前面介紹的七種聚類 方法可供選擇。在“Measure”子對(duì)話框中選 擇不同變量類型的相似性測(cè)度方法，對(duì)于間距 測(cè)度變量在Interval-對(duì)話框中選擇，分類 變量在“Counts”中選擇，二分類變量在Binary中選擇。 在Transform Value”對(duì)話框中選擇

9、標(biāo)準(zhǔn)化數(shù)據(jù)的方海(4)選擇要輸出的統(tǒng)計(jì)量在“Statistic”對(duì)話框中可以選擇輸出聚類進(jìn)度表、距離距陣和聚類結(jié)果(即每個(gè)案例屬于哪一類)。Single Solutions輸出 指定類數(shù)的聚類結(jié)果，Range of solutions指定類數(shù)范圍的聚類結(jié)果，比如指定類數(shù)范圍從2到4,則分別輸出聚為2、3。4類時(shí)的聚類結(jié)果。(5) )選擇要輸出的統(tǒng)計(jì)圖表在“not.-對(duì)話框中可以巒輸出樹狀結(jié)鶴嚟譜器聚鸚1圖鑒矍程Specified range過(guò)程。顯示指定范圍的聚類(6)生成新變量在“Saw”對(duì)話框中可以選擇把聚類 結(jié)果作為變量保存到數(shù)據(jù)文件中。HIERARCHICALCLUSTERO實(shí)例應(yīng)用根

10、據(jù)購(gòu)物環(huán)境、服務(wù)質(zhì)量對(duì)5個(gè)商廈進(jìn)行分類 31省市自治區(qū)小康和現(xiàn)代化指數(shù)的層次聚類個(gè)體聚類采用平方歐式距離，組間距離采用平均組間連 接距離HIERARCHICALCLUSTER。實(shí)例應(yīng)用：O對(duì)變量進(jìn)行聚類。裁判打分的聚類分析K MEANSCLUSTERO屬于非系統(tǒng)聚類法的一種。方法原理選擇（或人為指定）某些記錄作為凝聚點(diǎn)按就近原則將其余記錄向凝聚點(diǎn)凝集計(jì)算出各個(gè)初始分類的中心位置（均值）用計(jì)算出的中心位置重新進(jìn)行聚類如此反復(fù)循環(huán)，直到凝聚點(diǎn)位置收斂為止K MEANSCLUSTERo方法特點(diǎn)要求已知類別數(shù)可人為指定初始位置 節(jié)省運(yùn)算時(shí)間樣本量大于100時(shí)有必要考慮只能使用連續(xù)性變量K MEANSC

11、LUSTER。分析實(shí)例 31個(gè)省市自治區(qū)各類小康和現(xiàn)代化的數(shù)據(jù) 注意類別數(shù)、分類結(jié)果的實(shí)際應(yīng)用。聚類分析應(yīng)注意的問(wèn)題0距離測(cè)量方法使用默認(rèn)值即可。變量選擇無(wú)關(guān)變量有時(shí)會(huì)引起嚴(yán)重的錯(cuò)分應(yīng)當(dāng)只引入在不同類間有顯著差別的變量盡量只使用相同類型的變量進(jìn)行分析 。使用連續(xù)變量，將分類變量用于結(jié)果解釋o新的聚類方法可以同時(shí)使用這些變量聚類分析應(yīng)注意的問(wèn)題。共線性問(wèn)題對(duì)記錄聚類結(jié)果有較大的影響相當(dāng)于某個(gè)變量在聚類中的權(quán)重大于其它變量最好先進(jìn)行預(yù)處理0變量的標(biāo)準(zhǔn)化變量量綱/變異程度相差非常大時(shí)需要進(jìn)行數(shù)理統(tǒng)計(jì)算法上要求一律標(biāo)準(zhǔn)化 標(biāo)準(zhǔn)化后會(huì)削弱有用變量的作用聚類分析應(yīng)注意的問(wèn)題。異常值影響較大還沒有比較好的解

12、決辦法盡力避免分類數(shù)從實(shí)用角度講，28類比較合適。專業(yè)意義 一定要結(jié)合專業(yè)知識(shí)進(jìn)行分析聚類分析應(yīng)注意的問(wèn)題。其他方面O聚類分析主要應(yīng)用于探索性的研究，其分析的結(jié)果 可以提供多個(gè)可能的解，選擇最終的解需要研究者 的主觀判斷和后續(xù)的分析O聚類分析的解完全依賴于研究者所選擇的聚類變量, 增加或刪除一些變量對(duì)最終的解都可能產(chǎn)生實(shí)質(zhì)性 的影響。不管實(shí)際數(shù)據(jù)中是否真正存在不同的類別，利用聚 類分析都能得到分成若干類別的解內(nèi)容方法TwoStepK-MeansHierarchic al聚類對(duì)象記錄記錄記錄、變屋變竝類型連續(xù)變量、 分類變量連續(xù)變戰(zhàn)連續(xù)變戰(zhàn)、 分類變量樣木量人樣木(1000)人樣本(1000)小

13、樣本(100特點(diǎn)丫|動(dòng)確定眾佳分類數(shù)保存每個(gè)樣 本到類中心供豐富的聚類方法和團(tuán)形判別分析的基本原理O判別分析也是一種分類的學(xué)科，和聚類分析一樣, 它已成為高級(jí)統(tǒng)計(jì)分析不可缺少的一部分。究對(duì)象如何分類的方法。O這一點(diǎn)和聚類分析相似。但聚類分析和判別分析之 間有存在一些差別。聚類分析是在未知類別數(shù)目的 情況下對(duì)樣本數(shù)據(jù)進(jìn)行分類，判別分析則是在一直 分類數(shù)目的情況下，根據(jù)判別函數(shù)對(duì)不知類別的樣 本進(jìn)行分類， 同時(shí)對(duì)已經(jīng)分類的樣本進(jìn)行檢驗(yàn)。判別分析是根據(jù)觀察或測(cè)量到的若干變量值判斷研總結(jié)判別分析判別分析產(chǎn)生于20世紀(jì)30年代，是利用己知類別的樣本建立判別模型，為未知類別的樣本判別的一種統(tǒng)計(jì)方法。近年來(lái)

14、，判別分析在自然科學(xué)、社會(huì)學(xué) 及經(jīng)濟(jì)管理學(xué)科中都有廣泛的應(yīng)用。判別分析的特點(diǎn)是根據(jù)已掌握的、歷史上每個(gè)類別的若干樣本的 數(shù)據(jù)信息，總結(jié)出客觀事物分類的規(guī)律性，建立判 別公式和判別準(zhǔn)則。當(dāng)遇到新的樣本點(diǎn)時(shí)，只要根 據(jù)總結(jié)出來(lái)的判別公式和判別準(zhǔn)則，就能判別該樣本點(diǎn)所屬的類別。判別分析按照判別的組數(shù)來(lái)區(qū)分,可以分為兩組判別分析和多組判別分析。判別分析的概念判別分析是一種進(jìn)行統(tǒng)計(jì)鑒別和分組的技術(shù)手段。它可以就 一定數(shù)量案例的一個(gè)分組變量和相應(yīng)的其他多元變量的己知 信息，確定分組與其他多元變量之間的數(shù)量關(guān)系，建立判別 函數(shù)( (discriminant Function)。然后便可以利用這一數(shù)量關(guān)系對(duì)其

15、他己知多元變量信息、但未知分組類型所屬的案例進(jìn) 行鑒別分組。沿用多元回歸模型的稱謂，在判別分析中稱分 組變量(grouping variable)為因變量，而用以分組的其他稱為判別變量( (discriminant variable)或自變量。特征變量判別分析技術(shù)曾經(jīng)在許多領(lǐng)域得到成功的應(yīng)用，包括對(duì) 兒童心理測(cè)驗(yàn)。手術(shù)或藥品效果、地理區(qū)劃的經(jīng)濟(jì)差異、 決策行為預(yù)測(cè)等結(jié)果的分類。判別分析。判別分析與聚類分析有所不同。聚類分析是一種純 統(tǒng)計(jì)技術(shù)，只要有多種指標(biāo)存在，它就能根據(jù)各案 例的變量值近似程度排出順序來(lái)，只是描述性的統(tǒng) 計(jì)。但是判別分析則不同，在分析之前就根據(jù)理論 或?qū)嶋H的要求對(duì)于分組的意義

16、和分組類別數(shù)目加以 確定。并且，判別分析要以此為標(biāo)準(zhǔn)來(lái)建立判別函 數(shù)。最后，判別分析并不停留在描述分類類型與各 鑒別指標(biāo)之間的關(guān)系上，還能夠?qū)τ谖粗纸M類型 的案例進(jìn)行鑒別分組。因此，它帶有“預(yù)測(cè)”的意 義。O判別分析包括兩個(gè)階段的工作：。第一階段是分析和解釋各組的指標(biāo)特征之間存在的差異，并 建立判別函數(shù)。在這部分工作中，研究人員要處理的是已知 分組屬性的那些案例。這時(shí)需要確定是否能在特征變量數(shù)據(jù) 的基礎(chǔ)上鑒別出已知的分組來(lái)，以及分組能被鑒別的程度和 哪些特征變量是最有用的鑒別因素。另一個(gè)用途是為了分組 的目的推導(dǎo)一個(gè)或多個(gè)數(shù)學(xué)方程。這些方程稱為“判別函數(shù)”， 它們以某種數(shù)學(xué)形式將表示特征的判

17、別變量與分組屬 性結(jié)合起來(lái)，使我們能辨識(shí)一個(gè)案例所最近似的分組。第二階段所要處理的是未知分組屬性的案例，以第一 階段的分析結(jié)果為根據(jù)將這些案例進(jìn)行鑒別分組。這 相當(dāng)于根據(jù)以往經(jīng)驗(yàn)來(lái)“預(yù)測(cè)”案例的分組屬性。在 分組屬性能夠成為一種明確結(jié)果時(shí)（如分組代表的是 事物發(fā)展的不同結(jié)果），便可以作為事實(shí)來(lái)檢驗(yàn)預(yù)測(cè) 的準(zhǔn)確性。而有的時(shí)候，分組的內(nèi)在屬性并不是顯性 的，如一個(gè)病人的病癥到底是哪一類的，那么判別分 析只是提供一種判斷。1=1判別變量的簡(jiǎn)單線性組合。在各組協(xié)方差矩陣相等的假設(shè)條 件下，可以使用很簡(jiǎn)單的公式來(lái)計(jì)算判別函數(shù)和進(jìn)行顯著性 檢驗(yàn)。判別分析的假設(shè)之三，是各判別變量之間具有多元正態(tài)分布即每個(gè)變

18、釋忑黠髒器算轟瞬瞬脫的概率。當(dāng)這1 判別分析的假設(shè)條件判別分析最基本的要求是：分組類型（Group,用g表示）在兩種以上，即gM2；在第一階段工作時(shí)每 組案例的規(guī)模必須至少在一個(gè)以上，即刊1（下標(biāo)j表示所在類型組）；各判別變量的測(cè)度水平在間距 測(cè)度等級(jí)以上；各分組的案例在各判別變量的數(shù)值上能夠體現(xiàn)差別。O判別分析是用于研究?jī)蓚€(gè)或多個(gè)組之間在一套判別變量上的 差別的方法。因?yàn)榉纸M被定義為一個(gè)名義測(cè)度等級(jí)變量，所 以在本質(zhì)上判別分析是一種將一個(gè)名義變量與多個(gè)間距等級(jí) 變量聯(lián)系起來(lái)的方法。2.判別分析的基本模型判別分析的基本模型就是判別函數(shù)，它表示為分組 變量與滿足假設(shè)的條件的判別變量的線性函數(shù)關(guān)系

19、, 其數(shù)學(xué)形式如下：y = bQ+blxl+b2x2+- + bkxk。計(jì)y是判別函數(shù)值；各判別變量；b,為相應(yīng)的判別系 。從上述判別函數(shù)的方程式可以看出，它與一般多元線性回歸看成是回歸系數(shù)。但實(shí)際上鑒別模型與線性回歸有本質(zhì)上的 區(qū)別。首先，判別函數(shù)中的y并不代表原來(lái)輸入的因變量的估 計(jì)。在判別分析中所輸入的因變量是一個(gè)定性的分組變量，模型的形式一致。所以，我們可以將判別函數(shù)值(dicriminant functionvalue)看成是因變量，而將判別系數(shù)熬隸艦般噩瓠蠶眾勰蠶作為編碼。而并且它并不直接與分組變量有數(shù)量聯(lián)系，只代表在某 一空間上的坐標(biāo)。其次，回歸分析的方程式只有一個(gè), 而判別分析

20、中的函數(shù)往往并不是只有一個(gè)，在判別變 量較多時(shí)，判別函數(shù)也往往有多個(gè)。c判別函數(shù)值y又常簡(jiǎn)稱為判別值( (discTiminant score)。其判別系數(shù)( (discriminant coefficient or weight)表示各判別變量對(duì)于判別函數(shù)值的影響，其中是常數(shù)項(xiàng)。判別模型對(duì)應(yīng)的幾何解釋是，各判別變量代表了k維空間。每個(gè)案例按其判別變量值成為這一k維空間中的一個(gè)點(diǎn)。如果各組案例就其判別變量值有明顯不同，就意味著每一 組將會(huì)在這一空間的某一部分形成明顯分離的蜂集點(diǎn)群。 即使這些組的點(diǎn)群在空間位置上有少量重疊，其各自的“領(lǐng)域”也大體可以分清。為了概括這個(gè)組的位置，我們 可以計(jì)算它的

21、領(lǐng)域的中心。中心的位置可以用這個(gè)組別中 各案例在每個(gè)變量上的組平均值作為其坐標(biāo)值。0因?yàn)槊總€(gè)中心代表了所在組的基本位置，我們可以通過(guò)研 究它們來(lái)取得對(duì)于這些分組之間差別的理解。然而，僅看 單個(gè)變量會(huì)使我們只從單一方向觀察；當(dāng)有很多變量時(shí)，這樣的信息也許會(huì)復(fù)雜得難于理解?？梢宰C明，實(shí)際可能 用不著用這么多維度來(lái)完整地代表一個(gè)組的中心的相對(duì)位 置。因此，判別分析可以幫助我們精簡(jiǎn)對(duì)鑒別用處不大的維度。總而言之，判別分析將這些空間分布特征與已知分組屬性之估計(jì)，并且對(duì)于整個(gè)模型和各參數(shù)估計(jì)進(jìn)行評(píng)價(jià)和檢驗(yàn)。別盡可能大，然后將其作為鑒別的第一維度。在這一維 度上可以代表或解釋原始變量組間方差中最大的部分。上述判別函數(shù)就表達(dá)了將原始數(shù)量值轉(zhuǎn)換至這一維度的 系數(shù)方程式。對(duì)應(yīng)第一維度的判別函數(shù)稱為第一判別函 數(shù)。然后按照同一原則尋找第二維度，并建立第二判別 函數(shù)。如此下去，直至推導(dǎo)出所有判別函數(shù)。建立后續(xù)實(shí)際上這樣推導(dǎo)出的函數(shù)有min (k, g-1)個(gè)，即等 于判別變量個(gè)數(shù)或分組個(gè)數(shù)減1兩者中的較小者。其實(shí), 這已經(jīng)有可能將原來(lái)的k維加以精簡(jiǎn)了。比如判別變量 有8個(gè)，而組型分為3種，實(shí)際上能夠得到的判別函數(shù) 只有2個(gè)，即我們只要從兩個(gè)維度來(lái)進(jìn)行案例分組即可。如果判別變量的數(shù)目大于分組數(shù)目時(shí)，能推導(dǎo)的判別函數(shù)雖然還是k維，但這時(shí)所有案例的空間分布將最有利于識(shí)別分組。 得到的每一