一種基于遷移學習的文本圖像特征映射算法

1、2012 年 12 月第 35 卷 第 6 期北 京 郵 電 大 學 學 報 University of Posts and TelecommunicationsDec 2012Vol 35 No 6Journal of文章編號: 1007 5321( 2012) 06 0001 05一種基于遷移學習的文本圖像特征算法劉杰， 杜軍平( 1.，北京 100876;北京郵電大學 計算機學院，北京 100876)北京郵電大學 智能通信軟件與多北京市2.摘要: 提出一種約束下基于遷移學習的文本 圖像特征算法 通過潛在狄利克萊分配方法對文本數(shù)據(jù)進行主題建模，并通過計算主題特征的信息增益選出最顯著的文本特

2、征; 用視覺詞袋模型和樸素貝葉斯方法對圖片進行主題建模; 通過同下的文本數(shù)據(jù)特征分布和文本 圖像共現(xiàn)數(shù)據(jù)特征分布，實現(xiàn)了對圖像特征分布的近似:號:在包含 15 個主題的數(shù)據(jù)集上進行實驗的結果證明了所提特征算法的有效性約束; 遷移學習; 文本 圖像特征; 共現(xiàn)數(shù)據(jù)文獻標志碼:TN919AA Transfer Learning Based Text-Image Feature Mapping AlgorithmLIU Jie， DU Jun pingKey Laboratory of Intelligent Telecommunication Software and Multimedia，( 1

3、.University ofPosts and Telecommunications，100876，China;2. School of Computer，University of Posts and Telecommunications，100876，China)Abstract: A transfer learning based text-image feature mapping algorithm under event constraint is pro- posed Firstly，the documents of each event are med by the laten

4、t dirichllocation，in which themost discriminating feature is obtained by computing the information gain of each topic Secondly，theimages of the corresponding event are med through the bag-of-visual-word mand the nave bayesapproach Finally，the feature distributions of the target images are approximat

5、ed by utilizing the feature distributions of the text data and the text-image co-occurrence data within the same event Experiment is conducted on a dataset containing 15 categories of events The effectiveness of the proposed feature map- ping algorithm is shownKey words: event constraint; transfer l

6、earning; text-image feature mapping; co-occurrence data在研究的一個熱點2-3對于知識在不同特征空間的遷移問題，曾經(jīng)有 學者提出多視角學習的概念，對每個數(shù)據(jù)實例都通 過多個視角來，并在跨空間的知識學習中取得了一定的成績4 遷移學習5與多視角學習相比，在數(shù)據(jù)層面不再要求每個數(shù)據(jù)實例都要有相應多的視角概念表達 遷移學習要通過利用現(xiàn)有數(shù)據(jù)來學隨著互聯(lián)網(wǎng)信息技術的發(fā)展，文本圖像相互伴隨的信息的數(shù)量越來越多 傳統(tǒng)的文本信息挖掘技術已經(jīng)不能滿足人們對多信息知識的學習需求 但是目前直接在多數(shù)據(jù)特征空間，特別是圖像特征空間中學習知識模型還有很大難度1能否利

7、用成文本挖掘技術和互聯(lián)網(wǎng)上充足的文本信息來輔助圖像數(shù)據(jù)的知識學習，是現(xiàn)收稿日期: 2012 01 12基金項目:重點基礎研究發(fā)展計劃項目( 2012CB821200，2012CB821206) ;然科學基金項目( 4111002)自然科學基金項目( 91024001，61070142) ; 北京市自作者簡介: 劉 杰( 1984) ，男，博士生，: liujie bupt gmail com; 杜軍平( 1963) ，女，教授，博士生導師北 京 郵 電 大 學 學 報 第 35 卷2 disc( ( zi) ) ， dir( )( z )習一個認知模型，從而解決在不同特征空間進行知識遷移的問題

8、 特征遷移問題一般被歸為直推式遷w | z ，iii( 4)| ( di) disc( ( di) ) ， dir( )zi移學習6，其定義為: 給定源數(shù)據(jù)空間 D 和相應的為處理訓練文本之外的新文本，便于參數(shù)s學習任務 Ts，目標數(shù)據(jù)空間 Dt 和目標數(shù)據(jù)空間學習任務 Tt，直推式遷移學習通過利用 Ds 和 Ts 中的知推理，對 ( d) 和 ( z) 做對稱 dir( ) 、dir( ) 先驗概率假設 為了獲取文本主題概率分布，不直接計算 識，幫助學習 Dt中的目標Ts = Tt 函數(shù)fT，其中: DsDt、和 ，而是計算詞匯對于文本主題的后驗概率wP( w | z) ，再通過 Gibbs

9、 抽樣間接計算 和 通過在特征遷移過程中，即使源數(shù)據(jù)空間與目標數(shù) 據(jù)空間中的數(shù)據(jù)在實例層面沒有交集，卻可能會在 特征層面上有關聯(lián) 可以利用具備 2 個特征視角的數(shù)據(jù)來建立一個紐帶，對 2 個不同的特征空間進行連接 這些數(shù)據(jù)不一定作為知識學習的訓練數(shù)據(jù)，計算各主題的信息增益，在類別 c 下找出其文本主題特征空間中最具有判別能力的特征 信息增益越多的特征，就可作為顯著文本特征2. 2圖像數(shù)據(jù)建模采用樸素貝葉斯模型對圖像進行建模 首先計但是可扮演一個字典的背景，將互聯(lián)網(wǎng)上關于此以某個主題作為穩(wěn)健特征 (SURF，speeded up robust fea-算充足的文本圖像伴tures) 8，并建立視

10、覺詞袋 (BOVW，bag of visual隨信息作為進行知識遷移的一個基礎words) 模型9 將圖片 v 認為是視覺詞匯的集合，每個視覺詞匯 f 來自視覺詞匯本 F，v = f | fF ，F(xiàn)同時表示整個圖像特征空間 由特征性假設，約束下的文本圖像共現(xiàn)數(shù)據(jù)1在異構空間學習模型中，若利用一種具有 2 個特征空間視角的數(shù)據(jù)作為輔助，將會使整個學習過定義圖像分類模型為: 一個類別 c 決定一種圖像特征分布 P( fF | c) 通過此模型，并利用極大后驗來推測圖片分類目標函數(shù) hNB : VC，完成圖像主題類別建模 對于目標圖片 v，其主題類別為程的難度大為降低，而約束下的異構空間學習模型提供

11、了該可能性 這里給出約束下文本eE; V 為整個圖像共現(xiàn)數(shù)據(jù): E 為集合h= arg max p( c)P( f | c)fv( 5)NB圖片數(shù)據(jù)集本數(shù)據(jù)集e 下相關圖片 v V; D 為整個文e 下文本集合 d D; UV 為圖像特cC文本圖像特征3征空間，UD 為文本特征空間; 文本圖像共現(xiàn)數(shù)據(jù)文本主題建模和圖像主題建模都屬于離散型對實例( v，d) S，S 為共現(xiàn)數(shù)據(jù)集U 和 u UuvVdD象模型，可對其特征運用特征性假設，即每個特分別為圖像數(shù)據(jù)實例和文本數(shù)據(jù)實例所對應的特征影響實例在給定類別下的后驗概率 在約束下文本圖像共現(xiàn)數(shù)據(jù)( v，d) 在特征征文本圖像特征遷移過程中，把文本特

12、征和圖像特層面的形式化描述為征分別拆分進行，能使特征遷移的問題大大簡P( uv ，ud ) =P( uv ，d) P( ud | d) dd( 1)化圖 1 為文本圖像特征遷移示意圖DP( uv ，ud ) =P( v，ud ) P( uv | v) dv( 2)V P( uv ，ud ) =P( v，d) P( ud | d) P( uv | v) dvddV D( 3)其中 P( ud | d) 和 P( uv | v) 是特征提取過程文本和圖像數(shù)據(jù)建模22. 1文本主題建模使用基于抽樣的潛在狄利克萊分配 location) 模型7抽取文本集Gibbs圖 1約束下的文本 圖像特征遷移( L

13、DA，latent dirichl合的主題信息為相關文本進行主題建模，其概率模型為約束下的 D 中每個文本的類標與圖像目標類別 c 相同，文本 d 使用主題特征詞袋表示為d =第 6 期劉 杰等: 一種基于遷移學習的文本 圖像特征算法3 t | tT ，其中主題特征詞典 T 是文本特征空間主出現(xiàn)的隨量 圖像特征分布可以表示為一個維題詞匯表 同時，存在相應下文本圖像共現(xiàn)度與特征詞袋大小相同的向量:| F| 1數(shù)據(jù)集合 S = ( v，d) 為推測類別 c 下的圖P( f | c)， ip = 1( 13)=p 0ii 0像特征分布 P( f | c) ，首先計算文本集合 D 中最顯著的文本特征，

14、再借助文本圖像共現(xiàn)數(shù)據(jù)集合 S 將i將余弦相似度和 K-L 離散度( Kullback-Leibler divergence) 作為性能評價尺度，設定某種概率分布 p 是數(shù)據(jù)基準分布，另一個概率分布 q 是分布 p 的近似 2 個特征分布的余弦相似度越大，則 2 種特征分最顯著文本特征到圖像特征空間上 通過文本集合中的文本顯著特征和文本圖像共現(xiàn)數(shù)據(jù)來推測目標類別下的圖像特征分布，表示為布就越接近，近似程度越高余弦相似度的計算公P( f | c)P( f | w，c，S) P( w | c，D) ( 6)= Nc式為CS( p，q)wW( c)i i( i i )其中: W( c) 是類別 c

15、下文本集合 D 中最顯著的p2q2= p q+槡槡文本特征集合，N 是正規(guī)化系數(shù)，P( w | c，D) 是iiic( 14)類別 c 下的文本特征分布，P( f | w，c，S) 是文本圖像共現(xiàn)數(shù)據(jù)上的圖像特征條件分布概率K-L 離散度是評價 2 個概率分布差異性的非對稱型度量標準，其數(shù)值反映了分布 q 對分布 p 的近似程度 在基準圖像數(shù)據(jù)特征分布確定時，K-L 離散度定義為式( 6) 表示若給定類別 c，特定圖像特征出現(xiàn)的概率與其在每個顯著文本特征關聯(lián)的文本圖像共現(xiàn)數(shù)據(jù)里出現(xiàn)的概率呈正比例 同時，特定圖像特征出現(xiàn)的概率還與每個顯著文本特征對目標概 念的重要程度相關 下面，具體闡述 P(

16、f | w，c，S) 和P( w | c，D) 的計算過程 pi KL( pq) i( 15)=p lbiqi4. 2數(shù)據(jù)集數(shù)據(jù)集采自互聯(lián)網(wǎng)上 15 個類別的食品安全事首先，為每個類別概念 cC 計算文本特征對應類別為，E1: 三鹿奶粉;件的相關E2: 紅心鴨蛋件; E5: 麥樂雞分布 P( w | c，D) ，并以此計算最顯著的文本特; E3: 多寶魚; E6: 塑化劑; E4: 金浩茶油事; E7: 瘦肉精事征集合 W( c) 模，并使用拉的問題對文本集合采用 LDA 模型建斯平滑來解決文本主題特征稀疏件; E8: 石蠟火鍋底料; E9: 地溝油; E10: 小龍蝦蛆蟲柑橘件 根據(jù); E1

17、1: 福壽螺; E12: 毒饅頭; E13:P( w | c，D) =1 + n( w，c，D) /| W | + n( c，D) ( 7); E14: 爆裂西瓜的持續(xù)時間長短; E15: 毒燕窩事相關文本數(shù)量n( w，c，D)= n( w | d) P( c | d)dD= n( d) P( c | d)( 8)分別為 800 2 000 個，其中文本圖像伴隨文本的數(shù)量約占 1 /3 1 /2 一個文本圖像伴隨的樣本作為一個共現(xiàn)數(shù)據(jù)實例，而對于一個樣本里面有多幅 圖片的情況，認為是一幅圖片對應相同的伴隨文本， 并按圖片的數(shù)量計算共現(xiàn)數(shù)據(jù)實例數(shù)量 通過人工方式從互聯(lián)網(wǎng)搜索引擎和相關網(wǎng)頁上搜集每

18、個食品n( c，D)( 9)dD然后計算文本圖像共現(xiàn)數(shù)據(jù)集中圖像特征條件分布 P( f | w，c，S) ，依然使用拉P( f | w，c，S) =斯平滑1 + n( f，w，c，S) /| F | + n( w，c，S) ( 10)n( f，w，c，S)安全對應的圖片數(shù)據(jù) 對于每個，分別搜n( f | v) P( w，c | d)( 11)=集 200 400 張圖片 并利用 BOVW 模型對每張圖片進行視覺詞袋表示，得出每張圖片的直方圖向量表達4. 3實驗結果及分析( v，d) Sn( w，c，S)n( v) P( w，c | d)( 12)=( v，d) S實驗評價標準文本圖像特征4約束

19、下文本圖像特征算法的本質在4. 1于使用文本數(shù)據(jù)與文本圖像共現(xiàn)數(shù)據(jù)去估計相應類別中的圖像特征分布 評價算法的一個視角算法目標是要估計出類別下圖片信息的特征分布 根據(jù)視覺詞袋模型所具有的特征性假設，把圖像特征作為相互是看估計出的分布是否與該特征分布相似類別下的基準圖像北 京 郵 電 大 學 學 報 第 35 卷4首先構造基準圖像特征分布，使用每個類分布，而均勻分布算法只在一個類別( E6) 下接近其他算法所得結果 通過檢查該類別下的數(shù)據(jù)發(fā)現(xiàn)， 這是由于其圖片數(shù)據(jù)相互差異過大造成的 通過標記算法在 3 個類別( E1，E9，E11) 下與筆者所提別 c 下的全部圖片，通過樸素貝葉斯分類器，得出一個

20、圖像特征分布作為基準特征分布 理論上，在訓練數(shù)據(jù)充分多的情況下，通過樸素貝葉斯分類器能計算出目標類別下真實的圖像特征分布選擇較為直觀的 2 種方法與文本圖像特征映射算法作對比 第 1 種是均勻分布算法 假設每個圖像特征以相同的概率在每個 目標概念下隨機出的文本圖像特征數(shù)據(jù)，對于這幾個類別名作為算法效果相當 通過檢查類別，從搜索引擎上直接輸入關鍵字，所得的圖片與類別關聯(lián)度都相當緊密，所以標記分布效果比較好算法所近似的地出現(xiàn) 第 2 種方法是標記算法 直接將類別c 的名稱作為 關鍵字，在互聯(lián)網(wǎng)搜索引擎中進行搜索，使用返回的前 K 張圖片對樸素貝葉斯模型進行訓練得到圖片特征分布，本實驗根據(jù)經(jīng)驗取 K

21、 值為 50 3 種算法在余弦相似度下的效果比較如圖2 所示，度量結果中，值越大越好除了與上述直接方法進行比較外，可從不同訓練數(shù)據(jù)規(guī)模的角度來衡量一個近似圖片特征分布對基準分布的逼近程度 每次從所搜集到的圖片數(shù)據(jù)集的每個類別中，隨機地挑選 N 張圖片，并訓練樸素貝葉斯模型 100 次，將每次得到的圖像特征分布和基準分布作比較，最后把所有重復輪次下的結果進行算數(shù)平均 每個類別下每次隨機選取的圖片數(shù)量依次為20、40、60、80、100、120、140、160 對均勻分布算法、標記算法和特征算法在每個類別下的近似結果取平均值，然后與上面的方法進行比較 圖 4 和圖 5 給出了在 2 種度量尺度下，

22、這些近似計算方法所得到的圖像特征分布與基準分布的平均差異圖 2 余弦相似度下不同算法估計分布的效果比較圖 3 所示為 3 種算法在 K-L 離散度下的果比較，可見，度量結果中，值越小越好效圖 4 余弦相似度下不同算法估計分布的效果比較從圖 4 和圖 5 可看出，文本圖像特征算法與用 100 張帶標注的圖片訓練所得特征分布相當表明文本圖像特征算法可有效地從相關的文本數(shù)據(jù)和文本圖像共現(xiàn)數(shù)據(jù)中學習到目類別下的圖像特征分布標圖 3 K L 離散值下不同算法估計分布的效果比較結束語提出了一種利用同一主題5從以上不同度量尺度下不同算法估計分布的效果比較圖中可看出，文本圖像特征算法在大下的文本圖像共現(xiàn)數(shù)據(jù)實

23、現(xiàn)文本和圖像數(shù)據(jù)之間特征遷移的學習多數(shù)類別下產(chǎn)生的圖像特征分布最接近其基準第 6 期劉 杰等: 一種基于遷移學習的文本 圖像特征算法5gence San Francisco: AAAI Press，2011: 1304 1309 Qi Guojun，Aggarwal C，Huang Thomas Towards semantic knowledge propagation from text corpus to web im3of the 20th International ConferagesC Proceedingsence on World Wide Web Hyderabad: AC

24、M Press， 2011: 297 306Muslea I，Minton S，Knoblock C A Active + semi super vised learning = robust multi view learningCProceed ings of theInternational Conference on Machine Learning Sydney: ACM Press，2002: 435 442Pan S J L，Yang Qiang A Survey on transfer learningJ IEEE Transaction on Knowledge and Da

25、ta Engineer ing，2010，22( 10) : 1345 1359Pan Jialin Feature based transfer learning with real world419th5圖 5 K L 離散值下不同算法估計分布的效果比較算法 通過基于 Gibbs 抽樣的 LDA 模型和信息增益計算出顯著文本特征，并且利用 BOVW 模型和樸素貝葉斯方法對圖像數(shù)據(jù)進行主題建模 隨后在同一文本圖像共現(xiàn)數(shù)據(jù)的幫助下，將文本特征分6applicationD: TheUniversityof Science and Technology，20107Porteous I，D，Ihler A， Fast collapsedlocationC Pro International Confergibbs sampling for latent dirichlceedings of t