基于LDA主題模型的標(biāo)簽推薦方法研究

基于LDA主題模型的標(biāo)簽推薦方法研究〔摘要〕針對(duì)現(xiàn)有的標(biāo)簽推薦方法存在的推薦準(zhǔn)確率不高與效果不理想等問題，本文提出了基于LDA主題模型的社會(huì)化標(biāo)簽推薦方法。該方法利用LDA主題建模技術(shù)將傳統(tǒng)的基于對(duì)象間關(guān)系的推薦方法擴(kuò)展到交融對(duì)象間關(guān)系與資源內(nèi)容特征的統(tǒng)一推薦。實(shí)驗(yàn)結(jié)果說明，該方法獲得了理想的預(yù)期效果，可以顯著進(jìn)步標(biāo)簽推薦的質(zhì)量與效果?！碴P(guān)鍵詞〕標(biāo)簽推薦；LDA主題模型；推薦方法DOI：10.3969/j.issn.1008-0821.2022.02.010〔中圖分類號(hào)〕G203〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1008-0821〔2022〕02-0053-04〔Abstract〕ThispaperproposesasocialtaggingremendationmethodbasedonLDAtopicmodeltosolvetheproblemsofaccuracyandeffectinexistingtaggingremendationmethod.ThismethodextendsthetraditionaltaggingremendationmethodbasedontherelationofobjectstobineanalysisoftherelationofobjectsandthecontentofresourcebyusingofLDAmodelingtechnology.Theexperimentresultshowsthatthismethodsgetsagoodexpectantperformanceanddramaticallyimprovethequalityandefficiencyoftaggingremendation.〔Keywords〕taggingremendation；LDAtopicmodel；remendationmethod標(biāo)簽作為Web2.0時(shí)代信息分類與索引的重要組織方式，其主要原因在于Web2.0強(qiáng)調(diào)以用戶為中心、用戶參與的互聯(lián)網(wǎng)開放式架構(gòu)理念，網(wǎng)絡(luò)信息的產(chǎn)生、發(fā)布從傳統(tǒng)的網(wǎng)站管理者轉(zhuǎn)移到普通的網(wǎng)絡(luò)用戶身上；但由于普通用戶對(duì)專業(yè)的信息分類體系缺乏理解，基于傳統(tǒng)的固定分類體系的信息組織方法難以適應(yīng)Web2.0時(shí)代的信息發(fā)布與組織形式。標(biāo)簽系統(tǒng)作為傳統(tǒng)分類方法的替代，其隨意、靈敏、無等級(jí)劃分的特征使得用戶可以很容易利用該系統(tǒng)進(jìn)展Web2.0上的信息分類與組織，成為Web2.0時(shí)代網(wǎng)絡(luò)信息的重要組織方式[1]。隨著社會(huì)化標(biāo)注系統(tǒng)的快速開展，用戶在使用這類系統(tǒng)進(jìn)展資源標(biāo)注時(shí)，通常會(huì)選擇其他用戶或自己已使用過的標(biāo)簽進(jìn)展資源推薦，而由于社會(huì)化標(biāo)簽創(chuàng)立的隨意性和個(gè)性化，難以保證標(biāo)簽的準(zhǔn)確性和可用性，且隨著用戶數(shù)量和資源規(guī)模的增長，標(biāo)簽數(shù)量也隨之增多，致使標(biāo)簽系統(tǒng)中存在大量模糊的、可信度低的標(biāo)簽。為解決這些問題，目前的研究主要集中在標(biāo)簽推薦領(lǐng)域，即利用高效的標(biāo)簽推薦方法提升資源所附帶標(biāo)簽的質(zhì)量[2]。現(xiàn)有的標(biāo)簽推薦方法主要分為3類：〔1〕基于資源內(nèi)容的標(biāo)簽推薦方法?；谫Y源內(nèi)容的標(biāo)簽推薦方法從標(biāo)注資源所具備的屬性特征出發(fā)，通過提取描繪資源內(nèi)容的關(guān)鍵詞作為標(biāo)簽推薦的根據(jù)。由于該方法在處理過程中僅僅利用了資源本身的信息，沒有兼顧相似資源、鄰居用戶等信息，無法發(fā)揮標(biāo)簽的社會(huì)化特性，在實(shí)際運(yùn)用過程中的準(zhǔn)確率與效率并不理想[3]?！?〕基于協(xié)同過濾的標(biāo)簽推薦方法?；趨f(xié)同過濾的標(biāo)簽推薦方法利用協(xié)同過濾技術(shù)獲取相似資源、鄰居用戶等標(biāo)簽信息，實(shí)現(xiàn)對(duì)目的資源的推薦，如Hotho等[4]提出的FolkRank方法利用社會(huì)化標(biāo)注系統(tǒng)中用戶、標(biāo)簽、資源三者之間存在的關(guān)聯(lián)信息對(duì)標(biāo)簽進(jìn)展排序，根據(jù)排序結(jié)果進(jìn)展協(xié)同推薦；Mishne[5]提出的AutoTag方法利用相似度計(jì)算獲取與目的資源內(nèi)容相似的資源，并將相似資源的標(biāo)簽進(jìn)展聚類、排序，根據(jù)排序結(jié)果實(shí)現(xiàn)協(xié)同推薦。這類方法的關(guān)鍵是準(zhǔn)確獲取相似資源的標(biāo)簽信息，然后從已有的標(biāo)簽庫中查找到相似標(biāo)簽進(jìn)展推薦，故該方法的推薦效果會(huì)受到候選標(biāo)簽庫規(guī)模、標(biāo)簽相似度計(jì)算方法準(zhǔn)確度的影響[6]?！?〕基于標(biāo)簽語義的標(biāo)簽推薦方法?；跇?biāo)簽語義的標(biāo)簽推薦方法利用用戶、標(biāo)簽、資源三者之間蘊(yùn)含的語義關(guān)系獲取推薦標(biāo)簽所需的知識(shí)并運(yùn)用到推薦任務(wù)中，進(jìn)步標(biāo)簽推薦的準(zhǔn)確性與推薦效果，如Adrian[7]提出的ConTag方法將本體思想運(yùn)用到標(biāo)簽推薦之中，通過將用戶、標(biāo)簽、資源三者之間的關(guān)系表達(dá)成RDF格式進(jìn)展文檔主題建模，實(shí)現(xiàn)基于語義主題的標(biāo)簽推薦；Marchetti等[8]提出的Semkey方法將語義網(wǎng)與協(xié)同過濾技術(shù)相結(jié)合進(jìn)展基于語義協(xié)作的標(biāo)簽推薦。這些標(biāo)簽推薦方法在一定程度上進(jìn)步了標(biāo)簽推薦的準(zhǔn)確性與效率，改善了社會(huì)化標(biāo)簽系統(tǒng)的質(zhì)量和效果。但這些方法主要利用對(duì)象間關(guān)系進(jìn)展標(biāo)簽推薦，忽略了資源本身的特征信息，當(dāng)用戶、標(biāo)簽、資源之間的關(guān)系比擬稀疏時(shí)，會(huì)嚴(yán)重制約標(biāo)簽推薦的準(zhǔn)確度與效果。針對(duì)這些問題，本文研究和設(shè)計(jì)了一種基于LDA〔LatentDirichletAllocation，LDA〕主題模型的標(biāo)簽推薦方法。該方法綜合考慮用戶、標(biāo)簽、資源之間的潛在關(guān)系及資源內(nèi)容特性，利用LDA主題模型將用戶、標(biāo)簽、資源及資源內(nèi)容進(jìn)展關(guān)聯(lián)，實(shí)現(xiàn)標(biāo)簽系統(tǒng)中對(duì)象間關(guān)系與資源內(nèi)容的交融分析與綜合推薦。1LDA主題模型原理LDA主題模型是一個(gè)以“文檔-主題-關(guān)鍵詞〞為層次構(gòu)造、通過參加Dirichlet先驗(yàn)分布來解決PLSA主題模型中存在的過擬合現(xiàn)象的三層貝葉斯概率模型，其根本思想是[9]假設(shè)任何文本都可以表示成一系列主題的混合分布，記為P〔z〕；同時(shí)任意主題都是關(guān)鍵詞列表中所有單詞的概率分布，記為P〔wz〕，那么一個(gè)文本中每個(gè)關(guān)鍵詞的概念分布為：P〔wi〕=∑kj=1P〔wizi=j〕P〔zi=j〕LDA主題模型認(rèn)為文檔是假設(shè)干關(guān)鍵詞的集合，在構(gòu)建主題模型過程中不考慮任何語法或詞語出現(xiàn)的順序關(guān)系，利用該模型產(chǎn)生文檔的貝葉斯網(wǎng)絡(luò)圖如圖1所示。圖1中，隨機(jī)變量θ表示目的文檔中的主題分布向量，隱含變量z表示目的文檔分配在每個(gè)關(guān)鍵詞上的N維主題向量，用來表達(dá)文檔與關(guān)鍵詞之間的潛在關(guān)系，w表示目的文檔中關(guān)鍵詞的向量表示，α、β分別表示文檔和關(guān)鍵詞滿足相應(yīng)的Dirichlet分布時(shí)的參數(shù)。利用LDA模型進(jìn)展文檔主題建模時(shí)的核心問題是估計(jì)隱含變量的概率分布情況，即獲取目的文檔中隱含主題分布和各隱含主題的關(guān)鍵詞分布，其處理過程描繪如下：〔1〕獲取文檔d中每個(gè)主題發(fā)生的概率θd，即抽取服從Dirichlet〔α〕分布的θd值，其中α是Dirichlet分布的參數(shù)；〔2〕獲取文檔d中每個(gè)關(guān)鍵詞wi的抽樣主題zi，即從θd的多項(xiàng)式分布中抽取滿足條件的zi：P〔ziα〕；〔3〕獲取文檔d中所有關(guān)鍵詞的向量表示wi，即從zj的多項(xiàng)式分布中抽取滿足條件的wi：P〔wizj，β〕。上述處理過程中，β主要用來描繪特定主題條件下生成的某個(gè)關(guān)鍵詞的概率，是以主題數(shù)目K和特征關(guān)鍵詞V組成的二維向量空間為表現(xiàn)形式，即β=K×V，且βij=P〔wj=1zi=1〕。對(duì)于給定的語料庫D，LDA主題建模過程就是通過z和θ的值獲取使得P〔Dα，β〕極大化時(shí)參數(shù)α和β的值，通過這些參數(shù)值得到文檔的主題分布情況以及所有關(guān)鍵詞所屬的主題類別。由于z和θ均為潛在變量，通過直接計(jì)算是無法得到的，常用的方法是通過吉布斯抽樣、變分貝葉斯、最大似然估計(jì)等方法進(jìn)展參數(shù)估計(jì)[10]。2基于LDA主題模型的標(biāo)簽推薦方法將LDA主題模型運(yùn)用到社會(huì)化標(biāo)簽推薦方法中的典型研究包括Harvey等[11]提出的基于LDA主題建模的TTM方法，該方法將標(biāo)簽系統(tǒng)中的用戶、標(biāo)簽、資源分別構(gòu)建相應(yīng)的主題模型，使其可以估計(jì)用戶與資源的主題分布情況以及標(biāo)簽關(guān)鍵詞的主題分布；Subram等[12]將資源的相似性視為依條件概率的隨機(jī)過程，并將其融入到標(biāo)簽主題的建模中，在此根底上提出了基于RegularizedLDA主題建模的標(biāo)簽推薦方法，驗(yàn)證了LDA主題模型在標(biāo)簽推薦方面具有很好的可擴(kuò)展性。本文在這些研究的根底上，將LDA主題模型融入社會(huì)化標(biāo)簽推薦方法之中，研究和設(shè)計(jì)了基于LDA主題模型的社會(huì)化標(biāo)簽推薦方法。本文方法與這些已有方法的區(qū)別主要表達(dá)在本文方法將社會(huì)化標(biāo)注系統(tǒng)中的用戶、標(biāo)簽、資源及資源內(nèi)容特征進(jìn)展交融分析，構(gòu)建統(tǒng)一的LDA主題模型，使標(biāo)簽推薦從傳統(tǒng)的分析對(duì)象間關(guān)系擴(kuò)展到交融關(guān)系與資源內(nèi)容特征的綜合分析，實(shí)現(xiàn)基于關(guān)系與內(nèi)容特征的主題建模與推薦，該方法的貝葉斯網(wǎng)絡(luò)圖如圖2所示。圖2中，D表示文檔資源的總數(shù)，N表示文檔資源中資源內(nèi)容特征關(guān)鍵詞的總數(shù)，M表示資源標(biāo)簽中關(guān)鍵詞的總數(shù)，K表示所有文檔資源中包含的主題總數(shù)，L表示所有標(biāo)簽中包含的主題總數(shù)。利用該模型進(jìn)展主題建模的過程如下：〔1〕針對(duì)任意文檔資源di，抽取服從Dirichlet〔α〕分布的θci和θti，其中，θci表示文檔資源di中主題為k的概率，主要針對(duì)文檔資源本身內(nèi)容特征獲取主題；θti表示文檔資源di的標(biāo)簽中關(guān)鍵詞的主題為l的概率，主要針對(duì)文檔資源標(biāo)簽中的關(guān)鍵詞獲取主題；〔2〕針對(duì)文檔資源本身內(nèi)容特征，選取服從Dirichlet〔β〕分布的δk，其中，δk表示對(duì)于給定的主題k，所能得到的所有資源特征關(guān)鍵詞的概率；針對(duì)文檔資源標(biāo)簽中的關(guān)鍵詞，選擇服從Dirichlet〔β〕分布的φl，其中，φl表示對(duì)于給定的主題l，所能得到的所有標(biāo)簽關(guān)鍵詞的概率；〔3〕針對(duì)文檔資源di中的所有內(nèi)容特征關(guān)鍵詞，根據(jù)抽取的θci得到相應(yīng)的主題zc，再根據(jù)δzc選擇主題詞wc；針對(duì)文檔資源di標(biāo)簽中的所有標(biāo)簽關(guān)鍵詞，根據(jù)抽取的θti得到相應(yīng)的主題zt，再根據(jù)φzt選擇主題詞wt。針對(duì)上述過程中出現(xiàn)的參數(shù)，本文采用吉布斯抽樣方法[13]進(jìn)展參數(shù)學(xué)習(xí)，并通過將文檔資源內(nèi)容和資源標(biāo)簽進(jìn)展分割成獨(dú)立的文檔單元實(shí)現(xiàn)參數(shù)估計(jì)，相應(yīng)的參數(shù)估計(jì)方法為：上述公式中各變量的含義如表1所示：3實(shí)驗(yàn)與結(jié)果分析本文采用比照實(shí)驗(yàn)法來檢驗(yàn)所提出的基于LDA主題模型的標(biāo)簽推薦方法的準(zhǔn)確性與效果。3.1實(shí)驗(yàn)數(shù)據(jù)來源實(shí)驗(yàn)數(shù)據(jù)選自美國Minnesota大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院的GroupLens工程組搜集的MovieLens10M100K數(shù)據(jù)集[14]。該數(shù)據(jù)集含有movies.dat、ratings.dat、tags.dat3個(gè)文件，其中，movies.dat文件主要存儲(chǔ)電影的編號(hào)ID、名稱Title和類別Genres信息，ragings.dat文件主要存儲(chǔ)用戶對(duì)電影的評(píng)分Rating和評(píng)分時(shí)間Timestamp信息，tags.dat文件主要存儲(chǔ)用戶對(duì)電影標(biāo)記的標(biāo)簽Tag和標(biāo)記時(shí)間Timestamp信息。3.2實(shí)驗(yàn)環(huán)境與測(cè)評(píng)指標(biāo)實(shí)驗(yàn)環(huán)境為處理器為Inter〔R〕Core〔TM〕4CPU44002.0GHz，內(nèi)存4G，硬盤500G，操作系統(tǒng)為Windows7，編程語言為Java〔JDK1.6.2〕。實(shí)驗(yàn)測(cè)評(píng)指標(biāo)選擇標(biāo)簽推薦領(lǐng)域常用的推薦準(zhǔn)確率〔Precision，P〕、推薦召回率〔Recall，R〕、F1值，其計(jì)算方法為：P=TPTP+FP，R=TPTP+FN，F(xiàn)1=2PRP+R其中，TP表示推薦結(jié)果與人工評(píng)價(jià)都認(rèn)為應(yīng)該具有的標(biāo)簽數(shù)量，F(xiàn)P表示推薦結(jié)果具有但人工評(píng)價(jià)認(rèn)為不該具有的標(biāo)簽數(shù)量，F(xiàn)N表示推薦結(jié)果沒有但人工評(píng)價(jià)認(rèn)為應(yīng)該具有的標(biāo)簽數(shù)量。3.3實(shí)驗(yàn)過程與結(jié)果本文選擇標(biāo)簽推薦領(lǐng)域常用的FolkRank方法、Hosvd-Direct方法、TTM方法作為參照方法進(jìn)展比照實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2所示。3.4實(shí)驗(yàn)結(jié)果分析通過上述實(shí)驗(yàn)結(jié)果可以看出，本文提出的基于LDA主題模型的標(biāo)簽推薦方法在推薦準(zhǔn)確率、推薦召回率、F1值等測(cè)評(píng)指標(biāo)上的結(jié)果值明顯優(yōu)于現(xiàn)有的標(biāo)簽推薦方法，可以在實(shí)際運(yùn)用過程中提供更好的標(biāo)簽推薦效勞。其主要原因在于本文方法綜合運(yùn)用用戶、標(biāo)簽、資源及資源內(nèi)容特征進(jìn)展統(tǒng)一主題建模，可以在傳統(tǒng)的基于對(duì)象關(guān)系分析的推薦方法的根底上融入資源內(nèi)容特征，實(shí)現(xiàn)基于對(duì)象關(guān)系和內(nèi)容特征的綜合推薦，故可以獲得比傳統(tǒng)推薦方法更好的實(shí)驗(yàn)效果。通過將每個(gè)主題下的標(biāo)簽按照概率進(jìn)展降序排列，同時(shí)記錄各主題下的標(biāo)簽集，可以得到該主題的直觀標(biāo)簽表示，表3給出了其中5個(gè)主題的前8個(gè)推薦標(biāo)簽。4完畢語標(biāo)簽是Web2.0時(shí)代信息分類與組織的重要方式，是以用戶為中心、用戶參與創(chuàng)立互聯(lián)網(wǎng)內(nèi)容的主要表現(xiàn)形式。本文針對(duì)現(xiàn)有的標(biāo)簽推薦方法存在的推薦準(zhǔn)確性不高和推薦效果不理想等問題，提出了基于LDA主題模型的社會(huì)化標(biāo)簽推薦方法。該方法利用LDA主題建模技術(shù)將社會(huì)化標(biāo)注系統(tǒng)中的用戶、標(biāo)簽、資源及資源內(nèi)容特征進(jìn)展統(tǒng)一主題建模，將傳統(tǒng)的基于對(duì)象間關(guān)系的推薦擴(kuò)展到基于對(duì)象間關(guān)系和資源內(nèi)容特征的綜合推薦。通過在真實(shí)的測(cè)試數(shù)據(jù)集上進(jìn)展實(shí)驗(yàn)后說明，交融對(duì)象間關(guān)系與資源內(nèi)容特征的推薦方法明顯優(yōu)于現(xiàn)有的標(biāo)簽推薦方法，可以顯著地進(jìn)步標(biāo)簽推薦的質(zhì)量和效果。參考文獻(xiàn)[1]張斌，張引，高克寧，等.交融關(guān)系與內(nèi)容分析的社會(huì)標(biāo)簽推薦[J].軟件學(xué)報(bào)，2022，23〔3〕：476-488.[2]SeitlingerP，KowaldD，TrattnerC，etal.Remendingtagswithamodelofhumancategorization[C].Proceedingsofthe22ndACMinternationalconferenceonConferenceoninformationknowledgemanagement.ACM，2022：2381-2386.[3]王海雷，俞學(xué)寧.基于隨機(jī)游走算法的社會(huì)化標(biāo)簽的用戶推薦[J].計(jì)算機(jī)工程與設(shè)計(jì)，2022，34〔7〕：2388-2391.[4]HothoA，JaschkeR，SchmitzC.InformationRetrievalinFolksomomies：SearchandRanking[M].Berlin：Springer，2022：411-426.[5]MishneG.AutoTag：ACollaborativeApproachtoAutomatedTagAssignmentforWeblogPosts[C].Proceedingsofthe15thInternationalConferenceonWorldWideWeb，2022：953-954.[6]趙亞楠，董晶，董佳梁.基于社會(huì)化標(biāo)注的博客標(biāo)簽推薦方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2022，33〔12〕：4609-4613.[7]AdrianB，SauermannL，Roth-BerghoferT.Contag：ASemanticTagRemendationSystem[J].JournalofUniversityputerScience，2022，36〔7〕：297-304.[8]MarchettiA，TesconoM，RonzanoF.SemKey：ASemanitcCollaborativeTaggingSystem[C].Proceedingsofthe16thInternationalConferenceonWorldWideWeb，2022：8-12.[9]BleiDM，NgAY，JordanMI.LatentD