圖像分類算法應用研究課件

1、圖像分類算法與應用研究報告人： 張德園導 師：王曉龍教授圖像分類算法與應用研究報告人： 張德園目錄研究背景相關研究工作已有工作基礎論文主要研究內(nèi)容目錄研究背景課題來源本課題來源于國家八六三計劃目標導向類課題“基于NLP的智能搜索引擎”(項目編號：2006AA01Z197)。課題來源本課題來源于國家八六三計劃目標導向類課題“基于NLP實際意義按照語義內(nèi)容進行圖像管理/圖像瀏覽減少人工標注時間(Flickr, Picasa)輔助圖像檢索(Google, Baidu, Picsearch)實際意義按照語義內(nèi)容進行圖像管理/圖像瀏覽圖像分類的語義層次James Wang：1.語義類別（例如照片或者剪貼

2、畫，室外）2.物體的羅列（人，籃球架，樓）3.抽象的語義（運動，打籃球）4.具體的語義（具體的描述一個圖像） 圖像分類的語義層次James Wang：場景分類場景分類物體分類Caltech 101物體分類Caltech 101圖像分類 海灘 恐龍 非洲 圖像分類 海灘 恐龍 非洲 圖像分類的挑戰(zhàn)尺度變化光照變化圖像分類的挑戰(zhàn)尺度變化光照變化圖像分類的挑戰(zhàn)類內(nèi)差異類間差異圖像分類的挑戰(zhàn)類內(nèi)差異類間差異研究現(xiàn)狀圖像表示底層視覺特征表示語義圖像表示詞包模型表示機器學習算法多示例學習算法研究現(xiàn)狀圖像表示底層視覺特征表示底層視覺特征表示Vailaya 6類假日圖片 層次分類 貝葉斯分類器Chang 全局

3、特征，SVM分類器付巖 3類圖片 3種顏色特征對比 SVM分類器Torralba 收集了8000萬張32*32的圖片，用最近鄰方法進行分類Szummer和Picard 分類“室內(nèi)”/“室外” 顏色和紋理特征 K-NN 投票Serrano SVM分類 SVM輸出結果相加Paek和Chang 圖像分割 使用貝葉斯網(wǎng)絡Vailaya 6類假日圖片 層次分類 貝葉斯分類器Sz語義圖像表示(全局)Spatial Envelope -Oliva和Torralba提出NaturalnessOpennessRoughnessExpansionRuggedness語義圖像表示(全局)Spatial Envelo

4、pe Nat語義圖像表示(局部)Vogel和Schiele提出語義圖像表示(局部)Vogel和Schiele提出詞包模型詞包模型DenseHarris-LaplaceHessian-LaplaceHarrisHessianEdge-LaplaceHaar-HessianDoG( Difference of Gaussian)PatchSIFTgradient location and orientation histogram (GLOH)shape contextsteerable filtersmoment invariantsSURF感興趣區(qū)域檢測器描述子DensePatch感興趣區(qū)域檢

5、測器描述子State of Art方法詞匯表的構造(K-Means,GMM,VQ,pLSA)圖像相似性的度量(Distance Metric Learning, Kernel Methods(PMK,EMD) )多特征融合(Random Forest/Ferns,SVM)圖像空間信息的利用(Spatial Pyramid, ABS-pLSA,TSI-pLSA,LDA(Fei-Fei) )感興趣區(qū)域選取(Anna Bosch)State of Art方法詞匯表的構造(K-Means,G多示例學習多示例訓練集由包(bag)組成，每個包里面包含多個實例(instance)。如果一個包為正例，則包中至

6、少有一個實例為正例；如果一個包為反例，則包中所有的實例均為反例。 方法：MaronDiverse DensityAndrew Mi-SVM以及MI-SVMChen DD-SVM以及MILESQi DD-SVM變種周志華MIML框架(Multi-Instance Multi-Label)多示例學習多示例訓練集由包(bag)組成，每個包里面包含多個已有工作基礎支持向量機(SVM)進行圖像分類融合多分類器的圖像分類已有工作基礎支持向量機(SVM)進行圖像分類SVM進行圖像分類SVM進行圖像分類常用核函數(shù)高斯核（Gaussian RBF）: 拉普拉斯核（Laplacian RBF）：多項式核（poly

7、nomial）: 無限多項式核（infinite polynomials）：常用核函數(shù)高斯核（Gaussian RBF）: 拉普拉斯核（Svetlana Lazebnik-Spatial Pyramid Matching Kernel(空間金字塔匹配核)Spatial Pyramid RBF Gaussian KernelSpatial Pyramid 2 KernelSvetlana Lazebnik-Spatial PyraEvaluationCorel圖像庫中的10類Libsvm，5折交叉驗證C= 2-3, 2-1, , 215=2-15,2-13,25EvaluationCorel圖像

8、庫中的10類Libsvm，Spatial Pyramid RBF Gaussian KernelSpatial Pyramid 2 Kernel以上兩種核的結果都有所提高1+4的形式最好自動學習出權重Spatial Pyramid RBF Gaussian K多分類器融合的圖像分類多分類器融合框架多分類器融合的圖像分類多分類器融合框架模糊積分函數(shù)g : 2T 0,1叫做g模糊測度，如果它滿足如下性質：(I) g()=0; (II) g(T)=1;(III) g(A)g(B), if AB 并且 A, BT(IV) 對于所有的A, BT并且 AB = g(AB) = g(A) + g(B) +g

9、(A)g(B) 對于某一個 -1模糊積分函數(shù)g : 2T 0,1叫做g模糊測度，如模糊積分訓練傳統(tǒng)的Reward-Punishment算法設置初始gi對訓練樣本的分類進行Reward和Punishment對初始gi依賴，陷入局部最優(yōu)解改進設置多組初始gi本文選取gi=t/N 模糊積分訓練結果特征名特征長度描述CH-RGB644bins R4bins G4bins BCH-HSV9632bins H+32bins S+ 32bins VCH-Lab10032bins L+32bins a+36bins bCCV1284bins R4bins G4bins B2Edge Histogram80PW

10、T27Corel圖像庫中的10類Libsvm，線性核C=2-5,2-4,2105折交叉驗證結果特征名特征長度描述CH-RGB644bins R4bi結果比較平均精度我的方法84.66%DD-SVM81.5%Hist-SVM66.7%(Chen) 79.8%(Qi)CCV80.52%MILES82.6%Qi88.8%DD-SVM(Qi)82%結果比較平均精度我的方法84.66%DD-SVM81.5%H “海灘”被誤分為“山川”“山川”被誤分為“海灘”經(jīng)常被誤分的圖片 “海灘”被誤分為“山川”“山川”被誤分為“海灘”經(jīng)常被誤分融合方法與子分類器的精度對照融合方法與子分類器的精度對照不同訓練樣本下的

11、精度對照改進：自動拋棄性能較差的分類器不同訓練樣本下的精度對照改進：主要研究內(nèi)容，實施方案與可行性論證組合多分類器框架的研究最優(yōu)詞匯表構造的研究最優(yōu)空間信息進行圖像分類的研究Internet圖像挖掘研究主要研究內(nèi)容，實施方案與可行性論證組合多分類器框架的研究組合多分類器框架的研究組合分類器框架選擇分類器權重計算分類器選擇組合多分類器框架的研究組合分類器框架選擇最優(yōu)詞匯表構造的研究Filter方法預計方法：生成一個較大的詞匯表(5000-10000)根據(jù)每個詞匯的對類別的判別能力控制聚類最優(yōu)詞匯表構造的研究Filter方法最優(yōu)空間信息進行圖像分類的研究Kernel MethodsGaussian

12、, 2 ,Histogram Intersection根據(jù)訓練圖像學習出金字塔每個層次的最優(yōu)權重最優(yōu)空間信息進行圖像分類的研究Kernel MethodsInternet圖像挖掘研究現(xiàn)有圖像挖掘方法的不足：訓練數(shù)據(jù)存在噪聲不能很好的突破搜索引擎返回結果數(shù)量的限制解決方案：查詢擴展多個搜索引擎結果集成文本分類技術與圖像分類技術結合少量標記樣本半監(jiān)督學習Internet圖像挖掘研究現(xiàn)有圖像挖掘方法的不足：論文進度安排2006年9月-2007年7月：閱讀相關文獻，分析圖像分類在國內(nèi)外的研究現(xiàn)狀2007年9月-2008年6月：進行組合多分類器方面的研究，發(fā)表一篇以上學術論文2008年8月-2008年1

13、2月： 進行最優(yōu)空間信息進行圖像分類的研究，發(fā)表一篇以上學術論文2009年1月-2009年5月：進行最優(yōu)詞匯表構造的研究，發(fā)表一篇以上學術論文2009年6月-2009年12月：進行網(wǎng)絡分類挖掘的研究，發(fā)表一篇學術論文2010年1月-2010年4月：總結博士階段所做的工作，撰寫博士論文2010年5月-2010年7月：準備答辯論文進度安排2006年9月-2007年7月：閱讀相關文獻，分預期達到目標建立通用的圖像分類系統(tǒng)，達到如下指標：Caltech101 80% Caltech256 45% Corel十類90%建立網(wǎng)絡圖像挖掘系統(tǒng)，該系統(tǒng)的準確率比現(xiàn)有的搜索引擎高50%以上預期達到目標建立通用的

14、圖像分類系統(tǒng)，達到如下指標：Calte圖像分類算法應用研究課件圖像分類算法應用研究課件為完成課題已具備和所需的條件圖像庫：Caltech 101, Caltech 256, Corel十類圖像庫, MIT CBCL, PASCAL等圖像庫LabelME 等大規(guī)模圖像資源庫常用的圖像特征提取算法：顏色直方圖，顏色一致向量，邊緣直方圖，SIFT特征等開源機器學習工具包libsvm等為完成課題已具備和所需的條件圖像庫：Caltech 101,遇到的困難以及解決辦法圖像處理以及計算機視覺知識的缺乏機器學習理論功底不足多搜索引擎的網(wǎng)絡爬蟲遇到的困難以及解決辦法圖像處理以及計算機視覺知識的缺乏已發(fā)表的論文De-Yuan Z