0b924數(shù)據(jù)挖掘及應用第7講聚類分析

第7 圖?聚類分析基?數(shù)據(jù)類型與距離計?離群點檢?聚類分析基?數(shù)據(jù)類型與距離計?離群點檢一個好的聚類分析方產(chǎn)生高質量的聚類時能表現(xiàn)出高效數(shù)字型；二元類型，分類型/標稱型，序數(shù)型,比例標度型等對 數(shù)據(jù)，參數(shù)很難決定，聚類的質量也很難控對空缺值、離群點、數(shù)據(jù)噪聲不敏性的數(shù)據(jù)往往比較稀松，而且高度傾找到既滿足約束條件，又具有良好聚類特性的數(shù)據(jù)分聚類要和特定的 釋和應用相聯(lián)?聚類分析基?數(shù)據(jù)類型與距離計?離群點檢 …區(qū)間標度變二元變標稱型、序數(shù)型和比例標度型變混合類型的變qq

id(i,j)q(| i

|

xj2

...|

Object aObjecti ac bd

d(i,j) babcad(i,j)b abpd(i,j)pp紅綠藍黃0100綠0010藍比如：講師 、正教授1.設第i個對象的f值為xif，則用它在值中的序rif代

r{1,...,M2.將每個變量的值域映射到[0,1]的空

rif Mf3.采用區(qū)間標度變量的相異度計算方法計算f的相異AeBtorAe- yif=將xif看作連續(xù)的序數(shù)型數(shù)據(jù)?聚類分析基?數(shù)據(jù)類型與距離計?離群點檢劃分方層次的方基于密度的方基于模型的方每個組至少包含一個每個對象屬于且僅屬于一個k中心點算自頂向下方法（）：開始將所有的對象置于一個簇中，在迭代的每一步，一個簇被為多個更小的簇，直到最終每個對象在一缺點：合并或的步驟不能被撤 優(yōu)點：可以過濾掉“噪聲”和“離群點”，發(fā)現(xiàn)任意形狀的這種方法同時也用于自動的決定數(shù)據(jù)集中聚類的數(shù)隨機選擇k個對象，每個對象代表一個簇的初始均值或中計算每個簇的新均回到步驟2，循環(huán)，直到準則函數(shù)收

9879876543210 9876543210

98769876543210 9876543210

99876543210 用戶必須首先給定簇不適合發(fā)現(xiàn)非凸形狀的簇，或者大小差別很大的一個具有很 值的對象可能顯著 數(shù)據(jù)的分平方誤差函數(shù)將進一步嚴 這種影降低算法對離群E pj pC 首先隨意選擇初+p+ +p+ 1.重新分配給 2.重新分配給++p ++p 3.不發(fā)生變 4.重新分配給總代價為負，實際的絕對誤差E將減少，Oj可以被Orandom所取總代價為正，則本次迭代沒有變中心點較少的受離群點影k中心點方法：O(k(n-兩種方法都要用戶指定簇的數(shù)目 模型GaussianMixtureModel 每個樣本點是k 模型代表了一個類（Component樣本點在k 估計數(shù)據(jù)由每個Component生成的概率（并不是每個第i個Component生成的概率為 3、重新計算新生成的這個類與各個舊類之間的相似4、重復2和3直到所有樣本點都歸為一類，結束GroupAverage-middle：取兩兩距離的中不易受到噪聲干傾向把大聚類分成小傾向球狀聚受噪音或異常點影響比較偏向球形聚 首先使用樹結構對對象進行層次劃分，形成微簇，然后再聚基于簇之間的關綜合簇的互聯(lián)性和近鄰DBSCAN（Density-BasedSpatialClusteringofApplicationswithNoise）具有噪聲的基于密度的聚類應 例如，ε=1cm，MinPts=5，q是一 對象 110240304421378

110240304421378點112無222無333無44553無新點加入簇6將點加入到簇C1中10，12}處理簇C1中的793無新點加入簇82無新點加入簇C1。簇C1完畢，繼續(xù)遍歷的963無782無新點加入簇21無通 距離和可達距離優(yōu)先密度高的點匯根據(jù)數(shù)據(jù)構造一個Graph，Graph的每一個節(jié)點對應一出來，記為W。 中的一個向量，并使用K-是原來Graph中的節(jié)點亦即最初的個數(shù)據(jù)點分別所屬的Minimum單點分割問 RatioNormalized如何選擇 ?聚類分析基?數(shù)據(jù)類型與距