人工智能經(jīng)典電子書ml-21-20181013-聚類-原型聚類

聚類算法機(jī)器學(xué)習(xí)(MachineLearning)大綱2018年10月6日聚類任務(wù)、性能度量、距離計(jì)算實(shí)戰(zhàn)2018年10月13日原型聚類實(shí)戰(zhàn)2018年10月20日密度聚類、層次聚類實(shí)戰(zhàn)原型聚類原型聚類

也稱為“基于原型的聚類”(prototype-basedclustering)，此類算法假設(shè)聚類結(jié)構(gòu)能通過一組原型刻畫。算法過程：

通常情況下，算法先對(duì)原型進(jìn)行初始化，再對(duì)原型進(jìn)行迭代更新求解。著名的原型聚類算法k均值算法、學(xué)習(xí)向量量化算法、高斯混合聚類算法。原型聚類–k均值算法給定數(shù)據(jù)集

，

k均值算法針對(duì)聚類所得簇劃分最小化平方誤差其中，是簇的均值向量。

值在一定程度上刻畫了簇內(nèi)樣本圍繞簇均值向量的緊密程度，值越小，則簇內(nèi)樣本相似度越高。原型聚類–k均值算法算法流程（迭代優(yōu)化）：初始化每個(gè)簇的均值向量repeat 1.（更新）簇劃分；

2.計(jì)算每個(gè)簇的均值向量until當(dāng)前均值向量均未更新原型聚類–k均值算法算法偽代碼：原型聚類–k均值算法k均值算法實(shí)例

接下來以表9-1的西瓜數(shù)據(jù)集4.0為例，來演示k均值算法的學(xué)習(xí)過程。將編號(hào)為的樣本稱為.原型聚類–k均值算法k均值算法實(shí)例假定聚類簇?cái)?shù)k=3，算法開始時(shí)，隨機(jī)選擇3個(gè)樣本

作為初始均值向量，即

考察樣本

，它與當(dāng)前均值向量的距離分別為0.369，0.506，0.166，因此將被劃入簇中。類似的，對(duì)數(shù)據(jù)集中的所有樣本考察一遍后，可得當(dāng)前簇劃分為

于是，可以從分別求得新的均值向量

不斷重復(fù)上述過程，如下圖所示。原型聚類–k均值算法聚類結(jié)果：原型聚類–學(xué)習(xí)向量量化學(xué)習(xí)向量量化（LearningVectorQuantization,LVQ）

與一般聚類算法不同的是，LVQ假設(shè)數(shù)據(jù)樣本帶有類別標(biāo)記，學(xué)習(xí)過程中利用樣本的這些監(jiān)督信息來輔助聚類.

給定樣本集

，LVQ的目標(biāo)是學(xué)得一組維原型向量，每個(gè)原型向量代表一個(gè)聚類簇。

常用于發(fā)現(xiàn)類別的“子類”結(jié)構(gòu)。原型聚類–學(xué)習(xí)向量量化算法偽代碼：原型聚類–學(xué)習(xí)向量量化聚類效果：原型聚類–高斯混合聚類與k均值、LVQ用原型向量來刻畫聚類結(jié)構(gòu)不同，高斯混合聚類（Mixture-of-Gaussian）采用概率模型來表達(dá)聚類原型：多元高斯分布的定義

對(duì)維樣本空間中的隨機(jī)向量，若服從高斯分布，其概率密度函數(shù)為

其中是維均值向量，

是的協(xié)方差矩陣。也可將概率密度函數(shù)記作。原型聚類–高斯混合聚類高斯混合分布的定義

該分布由個(gè)混合分布組成，每個(gè)分布對(duì)應(yīng)一個(gè)高斯分布。其中，

與是第個(gè)高斯混合成分的參數(shù)。而

為相應(yīng)的