技術(shù)報告改進(jìn)的TFIDF標(biāo)簽提取算法

1、計(jì)劃類別 項(xiàng)目編號 項(xiàng)目技術(shù)報告課題名稱 項(xiàng)目主持人 承擔(dān)單位 題目：改進(jìn)的TFIDF標(biāo)簽提取算法TFIDF算法作為一種加權(quán)算法，在信息檢索和數(shù)據(jù)挖掘等自然語言處理領(lǐng)域發(fā)揮了巨大的作用。它的計(jì)算模型相對簡單，適合大數(shù)據(jù)并行計(jì)算，適用領(lǐng)域廣泛，且擁有很好的解釋性?；谝陨线@些特點(diǎn)，本文在TFIDF算法基礎(chǔ)之上，利用監(jiān)督的學(xué)習(xí)，并通過引入加權(quán)因子和詞貢獻(xiàn)度，來修正TFIDF算法結(jié)果權(quán)值。利用這個算法可以在自然語言處理中有效地提取特征標(biāo)簽，并且改進(jìn)后的算法在這一細(xì)分領(lǐng)域具有極高準(zhǔn)確度。關(guān)鍵詞：自然語言處理；TFIDF；詞加權(quán)算法；標(biāo)簽提取；監(jiān)督學(xué)習(xí)Abstract：As a word weighti

2、ng algorithm，TFIDF plays an important role in natural language processing such as information retrieval and data mining.TFIDF has relatively simple computational model，suitable for large data parallel computation，applied widely in many fields，and with good explanatory characteristics.Based on the ab

3、ove-mentioned characteristics，this paper proposes to amend the weighted results of TFIDF by means of supervised learning based on TFIDF algorithm as well as by introducing weighting factors and word contribution.This algorithm can effectively extract feature labels in natural language processing，and

4、 improve the degree of accuracy in this segmentation field.Keywords：natural language processing；TFIDF；word weighting algorithm；label extraction；supervised learning1 引言（Introduction）互聯(lián)網(wǎng)每分鐘都會產(chǎn)生PB級別的信息。如何從這些信息大數(shù)據(jù)中提取到有用的信息，并結(jié)合快速發(fā)展并日益成熟的人工智能技術(shù)來改善產(chǎn)品是一個迫切需要解決的問題。移動互聯(lián)網(wǎng)時代，信息所呈現(xiàn)的特征更加個性化、主體化、終端化。數(shù)據(jù)中存在無限的價值，誰能從

5、海量的信息數(shù)據(jù)中撅取價值，誰就可以立足于這個數(shù)據(jù)時代。20世紀(jì)90年代興起的人工智能科學(xué)，成為信息處理相關(guān)從業(yè)者手中的一把利器。在人工智能技術(shù)中，特征提取一直是一個難點(diǎn)，也是一個痛點(diǎn)。有這么一句話在業(yè)界廣泛流傳：數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個上限而已。那么特征工程到底是什么呢？顧名思義，其本質(zhì)是一項(xiàng)工程活動，目的是最大限度地從原始數(shù)據(jù)中提取特征，以供算法和模型使用。這足以說明在人工智能尤其是機(jī)器學(xué)習(xí)中，特征提取是多么重要。為了解決特征標(biāo)簽提取的問題，本文將介紹在自然語言處理這個具體應(yīng)用領(lǐng)域中是如何進(jìn)行特征工程的。為了達(dá)到目的，第一步要對語句進(jìn)行分詞1。第二步要對完成分

6、詞的文章中的每個詞進(jìn)行加權(quán)，通過權(quán)值的大小來表示詞的重要性2。在自然語言處理方向中，最著名的詞加權(quán)技術(shù)就是TFIDF。TFIDF（詞頻逆文本頻率）是一種對基于統(tǒng)計(jì)的加權(quán)方法，用以評估一個字詞對于一個文本或者一個語料庫的重要程度。TFIDF已經(jīng)作為一個成熟的算法廣泛應(yīng)用于自然語言處理的各個領(lǐng)域，其中最典型的就是搜索引擎。TFIDF雖然得到了廣泛的應(yīng)用，但是存在一定的不足，尤其是在細(xì)分領(lǐng)域，比如關(guān)鍵詞提取3。本文提出了一種基于TFIDF的改進(jìn)加權(quán)技術(shù)，使TFIDF在自然語言處理的細(xì)分領(lǐng)域中的關(guān)鍵詞提取應(yīng)用上達(dá)到更好的效果，通過基礎(chǔ)語料庫使計(jì)算出的權(quán)值結(jié)果更能表達(dá)詞對文章的代表程度。2 TFIDF算

7、法與不足（TFIDF algorithm and its defects）Salton在1973年提出了TFIDF（Term Frequency&Inverse; Documentation Frequency）算法。算法提出后，Salton及其他學(xué)者論證了該算法在信息學(xué)中的有效性。TFIDF算法主要分為兩個部分，分別是詞頻（TF）和逆文本頻率（IDF）4。TF是指文檔中某個詞出現(xiàn)在文章中的頻率值越大，則表明該詞的重要性越大。逆文本頻率（IDF）是指詞出現(xiàn)的篇幅越多，其重要性就越低。逆文本頻率有效地避免了詞的長尾效應(yīng)5，使權(quán)值更能準(zhǔn)確地表達(dá)詞的重要程度。TFIDF算法描述為因?yàn)門FDIF算法容

8、易理解并且算法復(fù)雜度低，可以使用絕大多數(shù)的編程語言計(jì)算出準(zhǔn)確的TFIDF模型。同時TFIDF具有較好的解釋性和準(zhǔn)確性，這些特性使得TFIDF被廣泛地應(yīng)用，并被應(yīng)用到自然語言處理和推薦系統(tǒng)領(lǐng)域。但在實(shí)踐中人們發(fā)現(xiàn)TFIDF存在很多的問題，并不能很好地處理所有的應(yīng)用領(lǐng)域。尤其是在特殊的細(xì)分領(lǐng)域中，TFIDF通常表現(xiàn)得差強(qiáng)人意。本文在自然語言處理領(lǐng)域中的標(biāo)簽提取應(yīng)用中使用改進(jìn)的TFIDF算法該方法有效地提高了文章標(biāo)簽提取的準(zhǔn)確度。3 文本預(yù)處理（Text pre-processing）對文本進(jìn)行標(biāo)簽提取，首先要對文本進(jìn)行預(yù)處理。本文所介紹的文本標(biāo)簽提取技術(shù)需要進(jìn)行四個階段的預(yù)處理。通過對文本進(jìn)行預(yù)處

9、理，可以有效地減少算法的運(yùn)算量，提高結(jié)果的精確度。文本預(yù)處理的四個步驟分別為：第一步，準(zhǔn)備訓(xùn)練集；第二步，對文本進(jìn)行分詞；第三步，將文本使用向量模型表示6；第四步，對向量模型進(jìn)行降維7。本文所介紹的算法是給予監(jiān)督學(xué)習(xí)的算法，所以需要準(zhǔn)備一個足夠豐富的訓(xùn)練集，并且這個訓(xùn)練集需要人為地進(jìn)行標(biāo)注主題。在自然語言處理中，語料庫是進(jìn)行監(jiān)督學(xué)習(xí)算法的基礎(chǔ)，就像人類學(xué)習(xí)寫文章一樣，語文老師就像一個龐大且完善的語料庫，這個語料庫會告訴你每篇文章的類型和中心思想，并監(jiān)督你學(xué)習(xí)8。本文在進(jìn)行權(quán)重計(jì)算時假設(shè)已經(jīng)有一個完善的語料庫，有很多不同的主題分類9，并且涵蓋了所有的分類。每個分類的文章盡可能多地收集到不同風(fēng)格和

10、不同作者的文章9。在準(zhǔn)備好訓(xùn)練集后，需要對每篇文章進(jìn)行分詞2。漢語是一種非形態(tài)語言，缺乏形態(tài)標(biāo)記，語序和虛詞是重要的語法手段。英語語法手段是顯性的，并且英語單詞之間用空格分割，而中文與英文不同，這給中文分詞帶來了巨大的困難。目前中科院和Jieba開源項(xiàng)目提供了針對于中文的分詞算法，即便如此，對于某些句子的分詞還是會扭曲原句的意思10，使關(guān)鍵詞被拆分成單個漢字。這就需要人為地對特殊句子進(jìn)行人為的分詞。分詞后，所有的文檔會形成一個字典。這個字典包括了訓(xùn)練集所有的詞匯，詞匯被標(biāo)示成，其中表示詞的位置，表示特定的詞語11。值得注意的是，詞典幾乎囊括了所有的漢語詞匯和詞組，這無疑加大了特征的緯度，所以在

11、預(yù)處理的步驟中需要去掉停用詞。停用詞是指那些出現(xiàn)頻率高但是表示意義小的詞12，比如文本中的數(shù)字和助動詞“的”，它們大量地出現(xiàn)在文本中，但是卻對文章的主題沒有任何影響。除了通過專家進(jìn)行停用詞的挑選，在這里同樣可以借助于IDF逆文本頻率進(jìn)行停用詞的判斷。通過定義一個閾值，只要超過了閾值，那么這個詞就可以看作是是一個停用詞，在文本預(yù)處理過程中就需要將這些詞從詞組中剔除。4 詞貢獻(xiàn)度（Word contribution）每篇文章都有自己的主題和中心思想，主題和中心思想可以近似地代表整篇文章。主題和中心思想同時又可以由體現(xiàn)文章主旨的詞匯表示，可以由公式表示由文章推出標(biāo)簽特征的過程11。在以上前提下可以提

12、出一個叫主題貢獻(xiàn)度的概念13。所謂的詞匯貢獻(xiàn)度就是指根據(jù)潛在語義分析的概念，將詞語放入在不同的主題下的貢獻(xiàn)度記做，那么將一篇文檔詞袋中的詞對文章的貢獻(xiàn)度記做T表示一個詞對文檔的貢獻(xiàn)度，C表示一個詞出現(xiàn)在文中的次數(shù)。5 計(jì)算詞權(quán)重（Word weighting calculation）第二節(jié)講述了如何分詞并進(jìn)行數(shù)學(xué)表達(dá)，第三節(jié)講述了如何進(jìn)行語料庫的設(shè)計(jì)。本文所介紹的加權(quán)算法就是基于以上兩節(jié)內(nèi)容的基礎(chǔ)。詞袋模型只是將分詞后的數(shù)組按照順序排列，加權(quán)完的詞袋模型具有了新的表達(dá)形式（*，*）（*，*），元祖的key代表字典索引值，元組的value代表字典的權(quán)值。TFIDF作為一個成熟的算法，有著成熟的應(yīng)

13、用。本文提出的算法在TFIDF的基礎(chǔ)之上，目標(biāo)是更加精確地對詞進(jìn)行加權(quán)，表示一個詞在文本中出現(xiàn)的頻率，表示一個逆文檔頻率，在第二節(jié)中的停用詞提取就是用的IDF。表示詞i出現(xiàn)在整個語料庫中的篇數(shù)。使用求得文檔的總貢獻(xiàn)度，在語料庫中取出貢獻(xiàn)度最高主題T，并求出該主題下詞i出現(xiàn)的篇數(shù)。P（i）表示的是一個詞所代表主題的頻度，所以P（i）是詞i在整篇文章出現(xiàn)的次數(shù)和詞在最高貢獻(xiàn)度主題下的出現(xiàn)次數(shù)的比值并求負(fù)數(shù)。例如在一個語料庫中秦始皇這個詞在歷史中出現(xiàn)了100次，在影視中出現(xiàn)了50次，在其余類中總共出現(xiàn)了50詞，那么秦始皇這個詞P（i）分別為-0.5、-0.25、-0.25、P（i）雖然能夠很好地表示

14、詞的主題相關(guān)性，但是數(shù)值存在差別太大的可能性，因?yàn)槿绻诳倲?shù)很大的情況下，那么很可能出現(xiàn)P（i）的值也過大，計(jì)算后的誤差也會變得特別大。所以要對P（i）進(jìn)行歸一化。利用邏輯回歸函數(shù)進(jìn)行歸一化，其幾何表示如圖1所示。利用邏輯函數(shù)的特性，在區(qū)間內(nèi)的值區(qū)間為（0，1），也就是說無論這個數(shù)值多么大，它的值區(qū)間都很友好。再對其變形并帶入P（i）和詞i的貢獻(xiàn)度Ti，經(jīng)過變換得到?？梢钥醋鍪且粋€影響因子，可以對進(jìn)行修正，這可以叫做詞i權(quán)修正因子。至此，我們得到了如何加權(quán)的算法。根據(jù)這個算法我們將算出每個詞的權(quán)值，并帶入元組列表中。6 結(jié)論（Conclusion）首先通過介紹TFIDF的算法原理以及對TFID

15、F算法的加權(quán)結(jié)果的解釋可知，這是一個偉大的算法，但隨著人工智能和大數(shù)據(jù)的到來，特征提取變得越發(fā)的重要，TFIDF這個在自然語言處理中近乎萬金油的算法模型已經(jīng)不能很好地滿足需要，所以在TFIDF算法的基礎(chǔ)上進(jìn)行改進(jìn)。特征提取是一個復(fù)雜的過程，包括多個步驟，每一步都會對結(jié)果進(jìn)行影響，比如分詞。好的分詞方法可以在分詞后不改變原意，讓后面的算法可以有效地提取出文本的特征標(biāo)簽。詞典和詞向量和停用詞可以減少模型的時間復(fù)雜度和空間復(fù)雜度，在監(jiān)督學(xué)習(xí)算法的前提下，模型需要大量的數(shù)據(jù)來學(xué)習(xí)，面對這些海量的數(shù)據(jù)，如果前面幾步處理的不恰當(dāng)，很可能導(dǎo)致整個模型的可用性變得很差。最后針對TFIDF在自然語言處理特征標(biāo)簽

16、提取應(yīng)用中的不足，對算法進(jìn)行改正。首先TFIDF體現(xiàn)出自然語言的語義。語義可以說是文本最重要的體現(xiàn)形式。根據(jù)TFIDF算法很可能獲取的權(quán)值較高的特征標(biāo)簽中包括多組反義詞，從而導(dǎo)致無效的結(jié)果。因?yàn)樵谡撟C某一問題時不可能避免地會使用它的對立面語義而TFIDF又是忽略語義的，所以引入了詞貢獻(xiàn)度這個概念可以很好地彌補(bǔ)TFIDF的語義處理上的缺失。最后為了使結(jié)果更加平滑，使用邏輯回歸函數(shù)作為歸一化函數(shù)。本文對TFIDF的改進(jìn)主要在兩個方面。一是利用了詞貢獻(xiàn)度，二是根據(jù)詞貢獻(xiàn)度來得出修正因子，使結(jié)果更加準(zhǔn)確。詞貢獻(xiàn)度可以合理針對于主題方面對TFIDF進(jìn)行了改進(jìn)，為TFIDF增加影響因子，力圖使所得到的權(quán)值

17、更加地準(zhǔn)確。參考文獻(xiàn)（References）1 韓冬煦，常寶寶.中文分詞模型的領(lǐng)域適應(yīng)性方法J.計(jì)算機(jī)學(xué)報，2015，38（02）：272-281.2 初建崇，劉培玉，王衛(wèi)玲.Web文檔中詞語權(quán)重計(jì)算方法的改進(jìn)J.計(jì)算機(jī)工程與應(yīng)用，2007，17（19）：192-194；198.3 劉勘，周麗紅，陳譞.基于關(guān)鍵詞的科技文獻(xiàn)聚類研究J.圖書情報工作，2012，56（04）：6-11.4 施聰鶯，徐朝軍，楊曉江.TFIDF算法研究綜述J.計(jì)算機(jī)應(yīng)用，2009，29（S1）：167-170；180.5 陳力丹，霍仟.互聯(lián)網(wǎng)傳播中的長尾理論與小眾傳播J.西南民族大學(xué)學(xué)報（人文社會科學(xué)版），2013，34（04）：148-152；246.6 江大鵬.基于詞向量的短文本分類方法研究D.浙江大學(xué)， 2015.7 劉欣，佘賢棟，唐永旺，等.基于特征詞向量的短文本聚類算法J.數(shù)據(jù)采集與處理，2017，32（05）：1052-1060.8 劉建偉，劉媛，羅雄麟.半監(jiān)督學(xué)習(xí)方法J.計(jì)算機(jī)學(xué)報，2015，38（08）：1592-1617.9 譚金波，李藝，楊曉江.文本自動分類的測評研究進(jìn)展