《數(shù)據(jù)挖掘與機器學習》 課件7.2.2 DBSCAN聚類、構(gòu)建新聞文本聚類模型

構(gòu)建新聞文本聚類模型新聞文本聚類——聚類分析任務(wù)描述聚類是針對給定的樣本，依據(jù)它們特征的相似度或度量，將其歸并到若干個“類”或“簇”的數(shù)據(jù)分析問題。一個類是樣本的一個子集。直觀上，相似的樣本聚集在相同的類，不相似的樣本分散在不同的類。新聞文本聚類是將大量新聞文本根據(jù)其相似性劃分到不同的類別中，以便更好地理解和分析這些文本。本任務(wù)將使用K-Means算法和DBSCAN算法，對任務(wù)7.1中處理好的文本進行聚類分析并進行可視化展示。任務(wù)要求使用sklearn庫構(gòu)建K-Means模型。使用sklearn庫構(gòu)建DBSCAN模型。使用Matplotlib庫實現(xiàn)結(jié)果的可視化。K-MeansDBSCANDBSCANDBSCAN是一種基于密度的聚類算法，與K-Means聚類算法不同，它不需要預先指定聚類的數(shù)量。相反，DBSCAN通過將數(shù)據(jù)點分為核心點、邊界點和噪聲點，從而發(fā)現(xiàn)任意形狀的簇。DBSCAN在DBSCAN中，每個數(shù)據(jù)點都有兩個重要的參數(shù)：鄰域半徑（r）和最小點數(shù)（k）。N(xi)為xi的一個鄰域，r為鄰域半徑。鄰域半徑?jīng)Q定了一個點周圍的范圍，而最小點數(shù)是確定一個點是核心點的最小鄰居數(shù)。核心點是在其鄰域內(nèi)至少有k個數(shù)據(jù)點的數(shù)據(jù)點，而邊界點是鄰域內(nèi)少于k個數(shù)據(jù)點但位于核心點鄰域中的數(shù)據(jù)點。噪聲點是不屬于任何簇的點。DBSCANDBSCAN的算法是一個遍歷的過程，過程如下。首先隨機選擇一個未被訪問的數(shù)據(jù)點，并找到其鄰域內(nèi)的所有點。如果該點的鄰域內(nèi)有至少k個點，則將該點標記為核心點，并將其鄰域內(nèi)的所有點加入該簇中，并將鄰域內(nèi)所有點標記為已訪問。如果該點的鄰域內(nèi)少于k個點，則將該點標記為噪聲點。核心點噪聲點DBSCANDBSCAN的算法是一個遍歷的過程，過程如下。首先隨機選擇一個未被訪問的數(shù)據(jù)點，并找到其鄰域內(nèi)的所有點。如果該點的鄰域內(nèi)有至少k個點，則將該點標記為核心點，并將其鄰域內(nèi)的所有點加入該簇中，并將鄰域內(nèi)所有點標記為已訪問；如果該點的鄰域內(nèi)少于k個點，則將該點標記為噪聲點。重復上述步驟，直到所有數(shù)據(jù)點都被訪問，如右圖所示。DBSCAN使用sklearn庫中的DBSCAN類建立DBSCAN模型，其基本使用格式如下。classsklearn.cluster.DBSCAN(eps=0.5,min_samples=5,metric='euclidean',metric_params=None,algorithm='auto',leaf_size=30,p=None,n_jobs=None)DBSCANDBSCAN類常用參數(shù)及其說明如下。參數(shù)名稱參數(shù)說明eps接收float。表示同一個簇中兩個樣本之間的最大距離，而該距離還被視為另一個樣本的鄰域。默認為0.5min_samples接收int。表示一個點附近的樣品數(shù)量（或總重量）被視為核心點。默認為5metric接收str、callable。表示計算要素陣列中實例之間的距離時使用的度量。默認為'euclidean'metric_params接收dict。表示度量功能的其他關(guān)鍵字參數(shù)。默認為Nonealgorithm接收算法名稱。表示NearestNeighbors模塊將使用該算法來計算逐點距離并查找最近的鄰居。默認為'auto'n_jobs接收int。表示要運行的并行作業(yè)數(shù)。默認為NoneDBSCAN生成一組隨機數(shù)據(jù)，為了體現(xiàn)DBSCAN在非凸數(shù)據(jù)的聚類優(yōu)點，生成了三簇數(shù)據(jù)，其中兩簇是非凸的。在數(shù)據(jù)分析中，非凸的數(shù)據(jù)通常是指數(shù)據(jù)集中存在復雜的非線性關(guān)系或存在多個局部最優(yōu)解的情況，這會使得尋找全局最優(yōu)解變得更加困難。DBSCAN使用DBSCAN算法對生成的隨機數(shù)據(jù)進行聚類的步驟如下。讀取文件構(gòu)建DBSCAN模型模型訓練輸出分類情況構(gòu)建K-Means模型構(gòu)建DBSCAN模型構(gòu)建K-Means模型構(gòu)建K-Means模型的流程如下。1使用import和from導入KMeans、matplotlib、PCA、DBSCAN等開發(fā)類庫3使用cluster_centers_函數(shù)輸出每類的類中心5使用matplotlib庫的scatter函數(shù)繪制散點圖使用sklearn庫中的KMeans類構(gòu)建K-Means模型2使用PCA類進行數(shù)據(jù)降維4使用value_counts()方法輸出每類中所包含的數(shù)據(jù)個數(shù)6構(gòu)建DBSCAN模型構(gòu)建DBSCAN模型的流程如下。1使用sklearn庫