09-1 幾種常用的機(jī)器學(xué)習(xí)方法

機(jī)器學(xué)習(xí)與自然語(yǔ)言處理Python自然語(yǔ)言處理第十章CONTENT目錄

01幾種常用的機(jī)器學(xué)習(xí)方法03文本分類(lèi)實(shí)戰(zhàn)02無(wú)監(jiān)督學(xué)習(xí)的文本聚類(lèi)04文本聚類(lèi)實(shí)戰(zhàn)課前回顧情感分析的應(yīng)用情感分析的基本方法實(shí)戰(zhàn)電影評(píng)論情感分析本章概述機(jī)器學(xué)習(xí)自然語(yǔ)言處理（NLP）獲取歷史數(shù)據(jù)獲取語(yǔ)料庫(kù)形成認(rèn)知模型形成規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)進(jìn)行文本分析處理本章概述機(jī)器學(xué)習(xí)分類(lèi)：有監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)幾種常用的機(jī)器學(xué)習(xí)方法01文本分類(lèi)特征提取標(biāo)注搜索與排序推薦系統(tǒng)序列學(xué)習(xí)文本分類(lèi)

自動(dòng)文本分類(lèi)：文本信息挖掘的基本功能，處理和組織文本數(shù)據(jù)的核心技術(shù)文本分類(lèi)

二分類(lèi)(BinaryClassification)問(wèn)題

多分類(lèi)問(wèn)題郵件是垃圾郵件不是垃圾郵件文檔中文文檔英文文檔日文文檔其他文本分類(lèi)正常郵件：垃圾郵件：文本分類(lèi)常見(jiàn)的分類(lèi)器：邏輯回歸（LogisticRegression，LR）支持向量機(jī)（SupportVectorMachines，SVM）樸素貝葉斯（NaiveBayes，NB）K近鄰（K-NearestNeighbor，KNN）決策樹(shù)（DecisionTree，DT）神經(jīng)網(wǎng)絡(luò)（NeuralNetwork，NN）文本分類(lèi)文本分類(lèi)步驟：1）定義階段2）數(shù)據(jù)預(yù)處理3）數(shù)據(jù)提取特征4）模型訓(xùn)練階段5）評(píng)測(cè)階段6）應(yīng)用階段幾種常用的機(jī)器學(xué)習(xí)方法01文本分類(lèi)特征提取標(biāo)注搜索與排序推薦系統(tǒng)序列學(xué)習(xí)特征提取特征提取：文本的結(jié)構(gòu)化表示文本結(jié)構(gòu)化數(shù)據(jù)特征提取

Bag-of-words：將文檔看成詞匯集合特征提取統(tǒng)計(jì)特征：考慮每個(gè)特征的權(quán)重Termfrequency(TF)、Inversedocumentfrequency(IDF)合并的TF-IDF可以評(píng)估一個(gè)詞元對(duì)于這個(gè)文檔在整個(gè)語(yǔ)料庫(kù)中的重要程度詞元的重要性隨著它在文檔中出現(xiàn)的次數(shù)成正比，隨著它在語(yǔ)料庫(kù)中出現(xiàn)在其他文檔的篇數(shù)成反比特征提取N-Gram與N階馬爾科夫鏈例圖

N-Gram：考慮詞匯順序幾種常用的機(jī)器學(xué)習(xí)方法01文本分類(lèi)特征提取標(biāo)注搜索與排序推薦系統(tǒng)序列學(xué)習(xí)標(biāo)注女孩狗風(fēng)景…標(biāo)記任務(wù)：給定一個(gè)輸入，輸出不定量類(lèi)別標(biāo)注標(biāo)簽分類(lèi)財(cái)經(jīng)扶貧農(nóng)村…幾種常用的機(jī)器學(xué)習(xí)方法01文本分類(lèi)特征提取標(biāo)注搜索與排序推薦系統(tǒng)序列學(xué)習(xí)搜索與排序百度搜索NLP搜索與排序排序算法：詞頻位置加權(quán)排序算法DirectHit算法PageRank算法搜索與排序

通過(guò)查詢(xún)關(guān)鍵詞在頁(yè)面中出現(xiàn)的次數(shù)和位置對(duì)網(wǎng)頁(yè)進(jìn)行排序基本思想：對(duì)于用戶(hù)輸入的搜索關(guān)鍵詞，如果它在某網(wǎng)頁(yè)中出現(xiàn)的頻率越高，位置越重要，就認(rèn)為該網(wǎng)頁(yè)和關(guān)鍵詞的相關(guān)性越好，也越能滿足用戶(hù)的需求詞頻位置加權(quán)排序算法：搜索與排序用戶(hù)瀏覽時(shí)間短——降低該網(wǎng)頁(yè)相關(guān)性用戶(hù)瀏覽時(shí)間長(zhǎng)——增加該網(wǎng)頁(yè)相關(guān)性

DirectHit算法：注重信息質(zhì)量和用戶(hù)反饋基本思想：將查詢(xún)的結(jié)果返回給用戶(hù)，并跟蹤用戶(hù)在檢索結(jié)果中的點(diǎn)擊搜索與排序評(píng)估頁(yè)面被引用的情況設(shè)網(wǎng)頁(yè)A有T1、T2…Tn共n個(gè)網(wǎng)頁(yè)指向它，參數(shù)d是0~1間的控制系數(shù)，C（Ti）是從A鏈出的網(wǎng)頁(yè)數(shù)，則A的PageRank值PR(A)計(jì)算公式：

PageRank算法：幾種常用的機(jī)器學(xué)習(xí)方法01文本分類(lèi)特征提取標(biāo)注搜索與排序推薦系統(tǒng)序列學(xué)習(xí)推薦系統(tǒng)給買(mǎi)過(guò)洗浴用品的用戶(hù)的推薦效果推薦系統(tǒng)物品協(xié)同過(guò)濾思想?yún)f(xié)同過(guò)濾(CollaborativeFiltering)幾種常用的機(jī)器學(xué)習(xí)方法01文本分類(lèi)特征提取標(biāo)注搜索與排序推薦系統(tǒng)序列學(xué)習(xí)序列學(xué)習(xí)序列學(xué)習(xí)（seq2seq模型）：

輸入和輸出的長(zhǎng)度是不固定的

案例：

問(wèn)答、翻譯、語(yǔ)音序列學(xué)習(xí)輸入序列：麥克風(fēng)聲音輸出：說(shuō)出的單詞的文本轉(zhuǎn)錄通常輸出比輸入短（1）語(yǔ)音識(shí)別序列學(xué)習(xí)把一種語(yǔ)言的文字翻譯成另一種語(yǔ)言的文字（2）文本轉(zhuǎn)語(yǔ)音語(yǔ)音識(shí)別的逆問(wèn)題輸出比輸入長(zhǎng)（3）機(jī)器翻譯小結(jié)幾種常用的機(jī)器學(xué)習(xí)方法文