《自然語言處理入門》第10章

第十章文本聚類第十章文本聚類10.1概述10.2文檔的特征提取10.3k均值算法10.4重復(fù)二分聚類算法10.5標(biāo)準(zhǔn)化評測10.6總結(jié)《自然語言處理入門》10.1.1聚類《自然語言處理入門》聚類（clusteranalysis）指的是將給定對象的集合劃分為不同子集的過程

這些子集又被稱為簇（cluster），一般沒有交集

根據(jù)元素從屬于集合的確定程度，聚類分為硬聚類和軟聚類。硬聚類（hardclustering）軟聚類（softclustering）10.1.1聚類《自然語言處理入門》10.1.2聚類的應(yīng)用數(shù)據(jù)預(yù)處理排重大眾化推薦人工抽查《自然語言處理入門》10.1.3文本聚類文本聚類（textclustering，也稱文檔聚類或documentclustering）指的是對文檔進(jìn)行的聚類分析

改善搜索結(jié)果生成同義詞

《自然語言處理入門》10.2文檔的特征提取究竟如何將一篇文檔表示為一個向量呢？《自然語言處理入門》10.2.1詞袋模型詞袋（bag-of-words）是信息檢索與自然語言處理中最常用的文檔表示模型，它將文檔想象為一個裝有詞語的袋子，通過袋子中每種詞語的計數(shù)等統(tǒng)計量將文檔表示為向量《自然語言處理入門》10.2.1詞袋模型《自然語言處理入門》

10.2.2詞袋中的統(tǒng)計指標(biāo)

《自然語言處理入門》10.3k均值算法簡單實用的聚類算法k均值算法（k-means）由StuartLloyd于1957年提出《自然語言處理入門》10.3.1基本原理

《自然語言處理入門》10.3.1基本原理

《自然語言處理入門》10.3.1基本原理

《自然語言處理入門》10.3.1基本原理《自然語言處理入門》10.3.2初始質(zhì)心的選取

《自然語言處理入門》10.3.3更快的準(zhǔn)則函數(shù)

《自然語言處理入門》10.3.3更快的準(zhǔn)則函數(shù)

《自然語言處理入門》10.3.3更快的準(zhǔn)則函數(shù)

《自然語言處理入門》10.3.4實現(xiàn)創(chuàng)建ClusterAnalyzer對象，并向其加入文檔《自然語言處理入門》ClusterAnalyzer<String>analyzer=newClusterAnalyzer<String>();

analyzer.addDocument("趙一","流行,流行,流行,流行,流行,流行,流行,流行,流行,流行,藍(lán)調(diào),藍(lán)調(diào),藍(lán)調(diào),藍(lán)調(diào),藍(lán)調(diào),藍(lán)調(diào),搖滾,搖滾,搖滾,搖滾");

analyzer.addDocument("錢二","爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲");

analyzer.addDocument("張三","古典,古典,古典,古典,民謠,民謠,民謠,民謠");

analyzer.addDocument("李四","爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,金屬,金屬,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲");

analyzer.addDocument("王五","流行,流行,流行,流行,搖滾,搖滾,搖滾,嘻哈,嘻哈,嘻哈");

analyzer.addDocument("馬六","古典,古典,古典,古典,古典,古典,古典,古典,搖滾");10.3.4實現(xiàn)

流行藍(lán)調(diào)搖滾爵士舞曲古典民謠金屬嘻哈趙一1064000000錢二000890000張三000004400李四000960020王五403000003馬六001008000《自然語言處理入門》表10-1文本聚類中的詞袋向量10.4重復(fù)二分聚類算法重復(fù)二分聚類（repeatedbisectionclustering）是k均值算法的效率加強(qiáng)版，其名稱中的bisection是“二分”的意思，指的是反復(fù)對子集進(jìn)行二分《自然語言處理入門》10.4.1基本原理

《自然語言處理入門》10.4.1基本原理

《自然語言處理入門》10.4.2自動判斷聚類個數(shù)k

《自然語言處理入門》10.4.3實現(xiàn)重復(fù)二分聚類算法的實現(xiàn)位于com.hankcs.hanlp.mining.cluster.ClusterAnalyzer#repeatedBisection《自然語言處理入門》10.5標(biāo)準(zhǔn)化評測本節(jié)我們將介紹聚類任務(wù)的標(biāo)準(zhǔn)化評測手段，并且給出兩種算法的分值《自然語言處理入門》

《自然語言處理入門》10.5標(biāo)準(zhǔn)化評測

《自然語言處理入門》10.5.2語料庫

《自然語言處理入門》搜狗文本分類語料庫迷你版

├──體育

│└──1.txt

│└──2.txt

│└──3.txt

│└──...

├──健康

│└──...

├──軍事

│└──...

├──教育

│└──...

└