基于語(yǔ)義相似度的詞匯語(yǔ)義激勵(lì)傾向研究

基于語(yǔ)義相似度的詞匯語(yǔ)義激勵(lì)傾向研究

1管理領(lǐng)域的研究考慮到龐大的網(wǎng)絡(luò)數(shù)據(jù)，如何通過有效手段獲取所需的信息是計(jì)算機(jī)研究的熱點(diǎn)。語(yǔ)義傾向性研究正是在這一背景下應(yīng)運(yùn)而生的。人們根據(jù)各自所關(guān)注的問題在Web上進(jìn)行搜索,通過閱讀大量相關(guān)文獻(xiàn)、介紹、評(píng)論,逐漸形成自己的觀點(diǎn)。由于網(wǎng)絡(luò)資源過于龐大,搜集-閱讀-評(píng)價(jià)的工作變得十分繁瑣和耗時(shí)。因此迫切地需要一套能夠自動(dòng)搜索、評(píng)價(jià)、歸納的系統(tǒng)替人們完成這一任務(wù)。困難是顯而易見的,計(jì)算機(jī)雖然具有極快的處理速度,但如何使其能夠自動(dòng)完成對(duì)文本的語(yǔ)義傾向的推斷,仍然是個(gè)需要研究的課題。所謂詞匯的語(yǔ)義傾向,即對(duì)于詞匯的褒貶程度計(jì)算出一個(gè)度量值。為了便于統(tǒng)計(jì)和比較,目前比較常用的做法是將度量值規(guī)定為位于±1之間的實(shí)數(shù)。當(dāng)度量值高于某閾值時(shí),判別為褒義傾向;反之,則判為貶義傾向。此外,我們可以通過對(duì)篇章中詞匯的語(yǔ)義傾向值求平均的方式,獲得篇章的語(yǔ)義傾向。因此,對(duì)詞匯的語(yǔ)義傾向計(jì)算是此類研究中的關(guān)鍵工作。語(yǔ)義傾向研究具有極大的實(shí)用價(jià)值。在商業(yè)領(lǐng)域中,能夠?yàn)槠髽I(yè)進(jìn)行市場(chǎng)分析、市場(chǎng)調(diào)查、顧客反饋提供更多有價(jià)值的信息;在管理領(lǐng)域,能夠幫助領(lǐng)導(dǎo)者更快地了解群眾對(duì)各類政策措施的反饋意見。此外,語(yǔ)義傾向判別也為文本過濾、自動(dòng)文摘的研究工作提供了新的思路和新的手段。我們可以對(duì)語(yǔ)義傾向度量值設(shè)定一個(gè)合適的閾值,對(duì)于傾向值低于或高于閾值,也就是態(tài)度傾向過于偏激的文章進(jìn)行過濾操作,或者可將傾向值賦予一定的權(quán)值,作為文本過濾中需要考慮的一個(gè)因素。該方法如果應(yīng)用在網(wǎng)絡(luò)新聞組的自動(dòng)過濾中,有利于維護(hù)討論秩序,緩和討論氣氛。而自動(dòng)文摘的生成,可將具有強(qiáng)烈褒貶傾向的語(yǔ)句作為關(guān)鍵句摘出,從而更好地保留原作者的觀點(diǎn)和意見。單詞的語(yǔ)義傾向判別是篇章語(yǔ)義傾向研究的基礎(chǔ)。早在1997年,Hatzivassiloglou和McKeown就嘗試使用監(jiān)督學(xué)習(xí)的方法對(duì)詞語(yǔ)進(jìn)行語(yǔ)義傾向判別,通過對(duì)訓(xùn)練語(yǔ)料的學(xué)習(xí)進(jìn)行語(yǔ)義傾向判別,準(zhǔn)確率約82%,在加入篇章中形容詞之間的接續(xù)信息后,準(zhǔn)確率提升到90%左右。在2003年,Turney在其論文中提出了利用統(tǒng)計(jì)信息對(duì)單詞進(jìn)行語(yǔ)義傾向判斷的新方法。其準(zhǔn)確率在包含形容詞、副詞、名詞、動(dòng)詞的完整測(cè)試集上達(dá)到82.8%。文本的語(yǔ)義傾向判別也可被看作一個(gè)褒貶的分類問題,因此,文本分類中的方法同樣被應(yīng)用到了語(yǔ)義傾向判別研究中。2002年,Turney在其論文中介紹了基于語(yǔ)義傾向的非監(jiān)督文本分類方法。根據(jù)褒貶含義的傾向信息對(duì)評(píng)論性文章進(jìn)行分類,其分類結(jié)果更符合人們對(duì)評(píng)論性文章分類的實(shí)際需求。在Epinions上的410篇評(píng)論性文章中,利用Turney的算法對(duì)褒貶傾向進(jìn)行分類,正確率達(dá)到74%。同年,Pang等人使用標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)技術(shù)做了同樣文本分類工作。比較了簡(jiǎn)單貝葉斯、最大熵、SVM方法在語(yǔ)義傾向文本文類上的效果。SVM的分類準(zhǔn)確率最高達(dá)到約80%,為幾種方法中分類效果最好的。之后,Pang提出了對(duì)語(yǔ)義傾向分類結(jié)果進(jìn)行后續(xù)處理,進(jìn)一步將分類結(jié)果按照語(yǔ)義傾向強(qiáng)度進(jìn)行細(xì)分的方法,并通過一系列的實(shí)驗(yàn)證明了其方法的可行性。近年來(lái),陸續(xù)出現(xiàn)了一些利用語(yǔ)義傾向分析技術(shù)開發(fā)的商業(yè)智能系統(tǒng),例如,NEC公司的Kusha等人所開發(fā)的ReviewSeer,通過對(duì)評(píng)論性文章的語(yǔ)義傾向分析,為商品的受歡迎程度進(jìn)行打分評(píng)價(jià),該評(píng)價(jià)結(jié)果是極具價(jià)值的商業(yè)信息。又如,BingLiu在其論文中介紹了商用產(chǎn)品信息反饋系統(tǒng)OpinionObserver,利用網(wǎng)絡(luò)上豐富的顧客評(píng)論資源,進(jìn)行商品的市場(chǎng)反饋分析,為生產(chǎn)商和消費(fèi)者提供了直觀的針對(duì)商品各個(gè)特性的網(wǎng)絡(luò)評(píng)價(jià)報(bào)告。本文的研究側(cè)重于詞匯的語(yǔ)義傾向性判別。利用HowNet提供的語(yǔ)義相似度和語(yǔ)義相關(guān)場(chǎng)計(jì)算功能,嘗試了一些詞語(yǔ)語(yǔ)義傾向判別的方法。主要做了以下工作:通過計(jì)算詞語(yǔ)間的相似程度,對(duì)詞語(yǔ)的褒貶傾向按照一定的計(jì)算法則進(jìn)行賦值。根據(jù)所得的語(yǔ)義傾向度量值判別其褒貶傾向。本文其他部分的組織如下:第二節(jié)對(duì)HowNet(《知網(wǎng)》)進(jìn)行簡(jiǎn)單介紹,并且提出了兩種基于HowNet的詞匯傾向性計(jì)算方法。第三節(jié)對(duì)使用本文算法所進(jìn)行的實(shí)驗(yàn)進(jìn)行詳細(xì)描述,對(duì)實(shí)驗(yàn)的結(jié)果進(jìn)行分析。第四節(jié)對(duì)于本文所做的工作做了一個(gè)總結(jié),并提出了未來(lái)的研究方向。2單詞意義的表達(dá)2.1語(yǔ)義相似度計(jì)算知網(wǎng)(英文名稱為HowNet)是一個(gè)以漢語(yǔ)和英語(yǔ)的詞語(yǔ)所代表的概念為描述對(duì)象,以揭示概念與概念之間以及概念所具有的屬性之間的關(guān)系為基本內(nèi)容的常識(shí)知識(shí)庫(kù)。對(duì)于漢語(yǔ)詞匯,知網(wǎng)中的描述基于“義原”這一基本概念。義原,可以被認(rèn)為是漢語(yǔ)中最基本的、不易于再分隔的最小語(yǔ)義單位。由于漢語(yǔ)中“詞”的含義非常復(fù)雜,往往一個(gè)詞在不同的語(yǔ)境中會(huì)表達(dá)不同的語(yǔ)義。因此,在HowNet中,把漢語(yǔ)中的詞理解為若干義項(xiàng)的集合?！吨W(wǎng)》的語(yǔ)義字典中,每條記錄都是由一個(gè)詞語(yǔ)的一條義項(xiàng)及其描述所組成,即一條記錄對(duì)應(yīng)與一個(gè)詞語(yǔ)的一個(gè)義項(xiàng)。本文的算法分別使用了HowNet提供的語(yǔ)義相似度和語(yǔ)義相關(guān)場(chǎng)的計(jì)算功能。語(yǔ)義相似度的計(jì)算功能是根據(jù)劉群的論文中的原理編寫的詞匯語(yǔ)義相似度計(jì)算程序,實(shí)現(xiàn)了義原之間語(yǔ)義相似度的計(jì)算。通過輸入兩個(gè)詞語(yǔ)并分別選取確切的義原,在結(jié)果顯示框中即可得到相似度的數(shù)值。舉個(gè)簡(jiǎn)單的例子,輸入詞語(yǔ)“好”、“差”,并分別選擇相應(yīng)的義原為“{HighQuality|優(yōu)質(zhì)}”、“{unqualified|不合格}”,得到的輸出結(jié)果為0.021053,即這兩個(gè)詞語(yǔ)在相應(yīng)義原下的相似度。語(yǔ)義相似度主要反映的是詞語(yǔ)語(yǔ)義的相似程度。在機(jī)器翻譯中,可以理解為兩個(gè)詞語(yǔ)在不同的上下文中可以互相替換使用而不改變文本的句法語(yǔ)義結(jié)構(gòu)的程度。HowNet相似度值被定義為0到1之間的一個(gè)實(shí)數(shù)。至于詞與詞之間的語(yǔ)義相似度,我們使用了詞語(yǔ)兩兩義原相似度的最大值,希望最大限度的保留詞語(yǔ)之間相似性信息。所謂語(yǔ)義相關(guān)場(chǎng),不同于語(yǔ)義相似度,反映的是兩個(gè)詞語(yǔ)互相關(guān)聯(lián)的程度。可以用這兩個(gè)詞語(yǔ)在同一個(gè)語(yǔ)境中共現(xiàn)的可能性來(lái)衡量。因此相關(guān)的詞語(yǔ)語(yǔ)義上可能相近,也可能相反。通過輸入一個(gè)詞語(yǔ)并選取詞語(yǔ)的某一義原,可以獲得與該義原語(yǔ)義相關(guān)的一組詞,例如,對(duì)于“漂亮”這個(gè)詞,若選擇其義原為“{beautiful|美}”,即可獲得一組語(yǔ)義相關(guān)的詞語(yǔ),包括“美貌”、“美景”、“俏麗”、“美麗”、“好看”等。同時(shí)語(yǔ)義相關(guān)場(chǎng)的范圍(即語(yǔ)義相關(guān)詞語(yǔ)的數(shù)量)可通過參數(shù)調(diào)整(分三級(jí),從小到大分別是Rank1～Rank3)。本文的算法利用了HowNet的語(yǔ)義相似度和語(yǔ)義相關(guān)場(chǎng)功能,希望能通過其所提供的語(yǔ)義信息為詞語(yǔ)褒貶判別找出一條新的途徑。2.2實(shí)驗(yàn)設(shè)計(jì)及結(jié)果我們希望為每個(gè)單詞賦予一個(gè)語(yǔ)義傾向的度量值。其大小由這個(gè)單詞與基準(zhǔn)詞的語(yǔ)義關(guān)聯(lián)的緊密程度有關(guān)?；鶞?zhǔn)詞,在這里指褒貶態(tài)度非常明顯、強(qiáng)烈,具有代表性的詞語(yǔ)。與褒義基準(zhǔn)詞聯(lián)系越緊密,則詞語(yǔ)的褒義傾向越強(qiáng)烈。與貶義基準(zhǔn)詞聯(lián)系越緊密,則詞語(yǔ)貶義傾向越明顯。基于這樣的設(shè)想,設(shè)計(jì)如下實(shí)驗(yàn):假設(shè)共有k對(duì)基準(zhǔn)詞,每對(duì)基準(zhǔn)詞包括一個(gè)褒義詞和一個(gè)貶義詞。褒義基準(zhǔn)詞表示為key—p,貶義基準(zhǔn)詞表示為key—n,單詞w的語(yǔ)義傾向值用Orientation(w)表示,以0作為默認(rèn)閾值,最終傾向值大于閾值為褒義,小于閾值為貶義。Orientation(w)數(shù)值大小代表單詞w褒貶強(qiáng)烈程度。單詞w的語(yǔ)義傾向值計(jì)算公式如下:Orientation(w)=∑i=1kSimilarity(key—pi,w)?∑j=1kSimilarity(key—nj,w)(1)Οrientation(w)=∑i=1kSimilarity(key—pi,w)-∑j=1kSimilarity(key—nj,w)(1)我們的試驗(yàn)中,公式(1)中的Similarity(key,w)的計(jì)算分別采用了HowNet語(yǔ)義相似度和語(yǔ)義相關(guān)場(chǎng)兩種方法。1.計(jì)算相似度公式(1)中的Similarty(key,w)=Sim(key,w)(2)公式(1)中的Similarty(key,w)=Sim(key,w)(2)利用HowNet計(jì)算兩個(gè)單詞義原之間的相似度,取兩個(gè)單詞義原之間相似度的最大值作為Sim(key,w)。2.語(yǔ)義相關(guān)場(chǎng)的獲得公式(1)中的Similarty(key,w)=|Relevance(w)∩Relevance(key)||Relevance(w)∪Relevance(key)|(3)公式(1)中的Similarty(key,w)=|Relevance(w)∩Relevance(key)||Relevance(w)∪Relevance(key)|(3)HowNet的語(yǔ)義相關(guān)場(chǎng)的獲得是以義原為單位,即給出一個(gè)義原,可獲得屬于其相關(guān)場(chǎng)的單詞集合。這里所說(shuō)的Relevance(w)表示單詞w所有義原的語(yǔ)義相關(guān)場(chǎng)詞語(yǔ)的并集。式(3)的分子和分母分別表示兩個(gè)詞語(yǔ)相關(guān)場(chǎng)交集和并集的元素個(gè)數(shù)。3實(shí)驗(yàn)3.1信義字的標(biāo)注度量語(yǔ)義傾向判別效果的方法有兩種,一是直接判斷其算法對(duì)單詞的褒貶傾向判斷的準(zhǔn)確率,二是通過語(yǔ)義傾向判別為某個(gè)實(shí)際應(yīng)用帶來(lái)的性能提高來(lái)衡量。本文使用前一種較直觀的方式對(duì)實(shí)驗(yàn)效果進(jìn)行評(píng)價(jià)。語(yǔ)義傾向?qū)嶒?yàn)所使用的測(cè)試集共有3組。測(cè)試集1～測(cè)試集3。測(cè)試集1使用了HowNet第一版中文詞表中標(biāo)注“良”(褒義),“莠”(貶義)屬性的詞匯?？偣策x用6445詞。其中褒義詞3146個(gè),貶義詞3299個(gè)。在實(shí)驗(yàn)過程中,我們發(fā)現(xiàn),測(cè)試集1中包含這樣一些詞語(yǔ),其義原集合中某一義項(xiàng)雖然被標(biāo)注為褒義或貶義,但該義項(xiàng)作為該詞的一個(gè)特殊義項(xiàng)并不常用;或者該詞語(yǔ)在不同語(yǔ)境下,或?yàn)榘x,或?yàn)橘H義,并不能簡(jiǎn)單地將其判斷為褒義詞或貶義詞。例如:詞語(yǔ)“好看”,在描述事物時(shí),可作褒義,如“這花真好看”,而在“要你好看”這樣的語(yǔ)句中,顯然帶有強(qiáng)烈的貶義。為了使實(shí)驗(yàn)結(jié)果更能說(shuō)明問題,更具有說(shuō)服力,我們從測(cè)試集1中人工挑選了2795個(gè)褒貶含義較明確的詞語(yǔ)作為測(cè)試集2。為了測(cè)試我們的方法在常用詞中的效果,我們把測(cè)試集2中的詞語(yǔ)按Google搜索返回Hits數(shù)(截止至2004年8月31日),即它們?cè)赪eb上的詞頻降序排列,選取詞頻最高的280個(gè)詞語(yǔ),作為測(cè)試集3。表1中列出了各個(gè)測(cè)試集合的具體信息。3.2算法2:不同基層組詞篩選在我們的方法中,計(jì)算語(yǔ)義傾向度必須首先選擇一組褒貶基準(zhǔn)詞對(duì),根據(jù)被測(cè)試詞與這組基準(zhǔn)詞的語(yǔ)義關(guān)系緊密程度,通過計(jì)算得到語(yǔ)義傾向值。顯然,所選擇的基準(zhǔn)詞必須是具有強(qiáng)烈褒貶傾向,并且具有代表性的詞語(yǔ)?；谝陨显?我們選擇了測(cè)試集2中的詞語(yǔ)作為基準(zhǔn)詞對(duì)的候選集合,根據(jù)詞頻對(duì)詞語(yǔ)進(jìn)行降序排列,分別從褒貶詞中選取出現(xiàn)頻率最高的作為褒貶基準(zhǔn)詞?？偣策x擇了褒貶詞對(duì)3組,分別進(jìn)行實(shí)驗(yàn)比較?；鶞?zhǔn)詞對(duì)1由詞頻最高的前10個(gè)褒義詞和前10個(gè)貶義詞組成,基準(zhǔn)詞對(duì)2選取了詞頻最高的前20對(duì)褒貶基準(zhǔn)詞,基準(zhǔn)詞對(duì)3選取了詞頻最高的前40對(duì)褒貶基準(zhǔn)詞。表2給出了基準(zhǔn)詞對(duì)3的全部詞匯,而基準(zhǔn)詞對(duì)1和基準(zhǔn)詞對(duì)2顯然都是它的子集。本文所有實(shí)驗(yàn)結(jié)果都是從測(cè)試集中扣除了這40組基準(zhǔn)詞后得到的。3.3語(yǔ)義相似度實(shí)驗(yàn)集3.實(shí)驗(yàn)的目的是為每個(gè)測(cè)試集中的單詞賦予語(yǔ)義傾向值,通過傾向值來(lái)度量其褒貶程度。在以下實(shí)驗(yàn)中,默認(rèn)使用0為閾值,即傾向值大于0則判斷為褒義,小于0則判斷為貶義。語(yǔ)義傾向判別準(zhǔn)確率=判別正確的詞數(shù)/測(cè)試集總詞數(shù),我們以此來(lái)衡量算法效果。語(yǔ)義傾向值的計(jì)算使用了兩種方法,分別利用了HowNet的語(yǔ)義相似度和語(yǔ)義相關(guān)場(chǎng)的計(jì)算功能。具體計(jì)算公式在2.2中已有詳細(xì)介紹。首先,對(duì)于這兩種計(jì)算方法的效果進(jìn)行了實(shí)驗(yàn),在此,我們使用隨機(jī)賦值的方法作為基準(zhǔn)參與比較。為了盡量避免獲得的相關(guān)場(chǎng)集合較小而導(dǎo)致Relevance(w)∩Relevance(key)交集為空的情況,因此,我們選用可調(diào)參數(shù)Rank=3,獲得單詞的最大的語(yǔ)義相關(guān)場(chǎng)。實(shí)驗(yàn)使用基準(zhǔn)詞對(duì)3(40對(duì)褒貶基準(zhǔn)詞),實(shí)驗(yàn)結(jié)果如下表:表3顯示了在3個(gè)測(cè)試集上,兩種不同的計(jì)算方法對(duì)語(yǔ)義傾向判別中的效果。我們發(fā)現(xiàn),在同一測(cè)試集上,使用相同的基準(zhǔn)詞對(duì),基于HowNet語(yǔ)義相似度的計(jì)算方法比基于語(yǔ)義相關(guān)場(chǎng)的計(jì)算方法準(zhǔn)確率高。其原因主要是由于,語(yǔ)義相關(guān)場(chǎng)的定義中,所謂相關(guān),既包括了褒貶傾向相近的詞語(yǔ),同時(shí)又包括了褒貶傾向相反的一些詞語(yǔ),例如:“好”這個(gè)詞,選擇其義原為“優(yōu)質(zhì)”,所獲得的相關(guān)場(chǎng)詞集中,既包括了“優(yōu)良”、“良好”這類語(yǔ)義相近的褒義詞,又包含了“壞”、“劣質(zhì)”這些語(yǔ)義相反的貶義詞。由于這個(gè)原因,導(dǎo)致了語(yǔ)義相關(guān)場(chǎng)并不能將詞語(yǔ)間褒貶的相近程度很好地反映出來(lái)。而語(yǔ)義相似度恰恰能在一定程度上反映詞語(yǔ)間的語(yǔ)義傾向的一致性,因此實(shí)驗(yàn)效果較好。為了更好地反映本文所提出的語(yǔ)義傾向算法在實(shí)際應(yīng)用中的效果,我們把詞語(yǔ)使用頻率作為衡量算法性能的一個(gè)指標(biāo)。我們對(duì)測(cè)試集中的單詞按Google搜索返回Hits數(shù)進(jìn)行了統(tǒng)計(jì)。由此作為該單詞使用頻率的度量指標(biāo)。測(cè)試結(jié)果的準(zhǔn)確率根據(jù)單詞使用頻率加權(quán)計(jì)算。準(zhǔn)確率=∑result(rwj)∑result(wi)=∑result(rwj)∑result(wi),公式中result(word)表示詞語(yǔ)word的詞頻,rw代表褒貶傾向判斷正確的單詞,w表示測(cè)試集中的任意單詞。下表將經(jīng)過詞頻加權(quán)的實(shí)驗(yàn)結(jié)果與初始實(shí)驗(yàn)結(jié)果在測(cè)試集2上進(jìn)行了比較。語(yǔ)義傾向值的計(jì)算使用基于HowNet語(yǔ)義相似度的計(jì)算方法。由表4可以很明顯地看出,根據(jù)單詞詞頻加權(quán)的準(zhǔn)確率較初始結(jié)果好得多。在不同基準(zhǔn)詞對(duì)下,其準(zhǔn)確率高出5%～10%。由此說(shuō)明,本文的算法在常用詞中的判別效果較低頻詞好,因此本方法也更具有實(shí)際應(yīng)用的價(jià)值。另外,基準(zhǔn)詞對(duì)數(shù)目的大小對(duì)實(shí)驗(yàn)效果的影響也是我們所關(guān)心的一個(gè)問題。在測(cè)試集2中,我們挑選了使用頻率最高的一部分詞,作為測(cè)試集3,而基準(zhǔn)詞仍然根據(jù)詞頻選取前1對(duì)、4對(duì)、5對(duì)、10對(duì)、15對(duì)、20對(duì)、30對(duì)、40對(duì)褒貶詞進(jìn)行測(cè)試。詞語(yǔ)相似度的計(jì)算仍使用基于HowNet語(yǔ)義相似度的方法。實(shí)驗(yàn)結(jié)果如下:從上圖可以看到,語(yǔ)義傾向判別的