鄭偉博士答辯v2

局部形狀特征表示及其在目標(biāo)檢測(cè)中的應(yīng)用報(bào)告人：鄭偉導(dǎo)師：陳熙霖研究員2006級(jí)碩博連讀2/1/20231提綱課題意義與研究背景本文研究?jī)?nèi)容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結(jié)與展望主要研究成果2/1/20232課題意義與研究背景目標(biāo)檢測(cè)的研究意義基于局部形狀表示方法開展研究的動(dòng)機(jī)目標(biāo)檢測(cè)研究概述形狀表示方法概述2/1/20233課題意義與研究背景目標(biāo)檢測(cè)的研究意義問題描述視覺信息約占據(jù)人類對(duì)外界信息感知總量的80%圖片和視頻作為視覺信息存儲(chǔ)媒介蘊(yùn)含了大量信息目標(biāo)檢測(cè)是在圖像或者視頻中發(fā)現(xiàn)并定位指定類別的目標(biāo)，是對(duì)圖片和視頻中的信息進(jìn)行分析與理解的重要研究?jī)?nèi)容理論意義應(yīng)用前景2/1/20234課題意義與研究背景目標(biāo)檢測(cè)的研究意義問題描述理論意義促進(jìn)多個(gè)相關(guān)學(xué)科的研究計(jì)算機(jī)視覺(特征表示與提取)模式識(shí)別(分類器設(shè)計(jì))圖像處理(去噪聲)認(rèn)知學(xué)(人類視覺感知機(jī)理)應(yīng)用前景2/1/20235課題意義與研究背景目標(biāo)檢測(cè)的研究意義問題描述理論意義應(yīng)用前景公共安全：智能交通監(jiān)控、異常行為分析家庭娛樂：智能電視、交互式游戲、基于內(nèi)容的圖像檢索、相機(jī)自動(dòng)對(duì)焦商業(yè)辦公：基于內(nèi)容的廣告投放、基于內(nèi)容的文件管理2/1/20236課題意義與研究背景目標(biāo)檢測(cè)的研究意義基于局部形狀表示方法開展研究的動(dòng)機(jī)目標(biāo)檢測(cè)研究概述形狀表示方法概述2/1/20237課題意義與研究背景基于局部形狀表示方法開展研究的動(dòng)機(jī)為何選擇形狀信息表示目標(biāo)對(duì)于某些類別的目標(biāo)，形狀信息是其所特有且穩(wěn)定的信息，而顏色和紋理信息不穩(wěn)定、類內(nèi)差異較大形狀特征有可能在檢測(cè)到目標(biāo)位置的基礎(chǔ)上，更精確的解釋目標(biāo)形狀，從而勾勒輪廓、分割前景輪廓形狀

背部對(duì)應(yīng)位置紋理與顏色

2/1/20238課題意義與研究背景基于局部形狀表示方法開展研究的動(dòng)機(jī)局部方法相對(duì)于全局方法的優(yōu)勢(shì)全局方法易受真實(shí)場(chǎng)景中邊緣缺失以及交叉影響全局形狀表示困難，局部形狀易找到高效表示方法若干關(guān)鍵局部形狀足以提供檢測(cè)目標(biāo)所需信息真實(shí)場(chǎng)景中馬的邊緣理想的馬的輪廓若干馬的局部輪廓片段2/1/20239課題意義與研究背景目標(biāo)檢測(cè)的研究意義基于局部形狀表示方法開展研究的動(dòng)機(jī)目標(biāo)檢測(cè)研究概述形狀表示方法概述2/1/202310課題意義與研究背景目標(biāo)檢測(cè)研究概述目標(biāo)檢測(cè)器的任務(wù)：特定類別的目標(biāo)在哪里？在圖片中？在檢測(cè)窗口內(nèi)？輪廓在哪里？前景在哪里？分類定位形狀表示分割前景[ShottonPAMI08][GraumanICCV05][ToshevIJCV12][ChenCVPR12][FernandoCVPR12]…[ShottonPAMI08][FerrariIJCV10][ChunhuiCVPR09][ToshevIJCV12][Leibe.IJCV08]…[FerrariIJCV10][ToshevIJCV12][XinggangCVPR12][XiangICCV09][CootesCVIU95]…[ChunhuiCVPR09][ToshevIJCV12][KumarPAMI10][LeibeIJCV08][BertelliCVPR11]…2/1/202311課題意義與研究背景目標(biāo)檢測(cè)研究概述目標(biāo)檢測(cè)器的任務(wù)：特定類別的目標(biāo)在哪里？分類定位形狀表示分割前景[ShottonPAMI08][GraumanICCV05][ToshevIJCV12][ChenCVPR12][FernandoCVPR12]…[ShottonPAMI08][FerrariIJCV10][ChunhuiCVPR09][ToshevIJCV12][Leibe.IJCV08]…[FerrariIJCV10][ToshevIJCV12][XinggangCVPR12][XiangICCV09][CootesCVIU95]…[ChunhuiCVPR09][ToshevIJCV12][KumarPAMI10][LeibeIJCV08][BertelliCVPR11]…在圖片中？在檢測(cè)窗口內(nèi)？輪廓在哪里？前景在哪里？2/1/202312課題意義與研究背景目標(biāo)檢測(cè)研究概述目標(biāo)檢測(cè)框架窗口掃描框架[DalalCVPR05]表示：固定長(zhǎng)寬比的矩形窗口訓(xùn)練：判別式(分類器)檢測(cè)：掃描可能的位置與尺度訓(xùn)練過程檢測(cè)過程2/1/202313投票框架[LeibeIJCV08]表示：部件碼本投票中心訓(xùn)練：產(chǎn)生式(聚類)檢測(cè)：廣義哈夫投票課題意義與研究背景目標(biāo)檢測(cè)研究概述目標(biāo)檢測(cè)框架窗口掃描框架[DalalCVPR05]表示：固定長(zhǎng)寬比的矩形窗口訓(xùn)練：判別式(分類器)檢測(cè)：掃描可能的位置與尺度訓(xùn)練過程檢測(cè)過程2/1/202314課題意義與研究背景目標(biāo)檢測(cè)研究概述衡量目標(biāo)檢測(cè)器的兩項(xiàng)重要指標(biāo)精度精細(xì)程度窗口[ViolaCVPR01]輪廓[FerrariIJCV10]前景[ToshevCVPR10]精確程度特征表示[DalalCVPR05]分類器設(shè)計(jì)[Felz.CVPR08]速度減少掃描窗口個(gè)數(shù)加大采樣間隔[DalalThesis06]由粗到細(xì)[ZhengIVC12]減少窗口內(nèi)的計(jì)算復(fù)雜度層級(jí)式分類器[ViolaCVPR01]減少計(jì)算冗余[Schn.CVPR04]設(shè)計(jì)快速特征[WuICCV05]2/1/202315課題意義與研究背景目標(biāo)檢測(cè)研究概述目標(biāo)檢測(cè)的評(píng)測(cè)標(biāo)準(zhǔn)速度：運(yùn)行時(shí)間、時(shí)間-精度曲線[ButkoCVPR09]精度：不同的檢測(cè)任務(wù)的典型評(píng)測(cè)方法與數(shù)據(jù)庫(kù)分類任務(wù)：ROC曲線(VOCchallenge)、混淆矩陣(Caltech101)窗口定位：ROC曲線(INRIAperson)、平均準(zhǔn)確率(VOCchallenge)、等正確率與召回率(UIUCcar)勾勒輪廓：覆蓋率-準(zhǔn)確率(ETHZshape)分割前景：ROC曲線(Weizmanhorses)2/1/202316課題意義與研究背景目標(biāo)檢測(cè)研究概述研究現(xiàn)狀總結(jié)窗口定位的研究廣泛開展(準(zhǔn))剛體目標(biāo)(較早較準(zhǔn)確)：準(zhǔn)正面人臉[ViolaCVPR01]、側(cè)面車輛[AgarwalPAMI04]非剛體以及多類通用目標(biāo)(較晚挑戰(zhàn)多)：人體目標(biāo)[DalalCVPR05]、通用目標(biāo)[Felz.CVPR08]基于形狀的檢測(cè)方法近年來不斷發(fā)展窗口定位[ShottonCVPR05]勾勒輪廓[FerrariCVPR07]分割前景[ToshevCVPR10]2/1/202317目標(biāo)檢測(cè)研究概述研究現(xiàn)狀總結(jié)窗口定位的研究廣泛開展基于形狀的檢測(cè)方法近年來不斷發(fā)展課題意義與研究背景95~0001~0607~12633000879000755000objectdetectionShapefeaturesobjectdetection566008790099300搜索關(guān)鍵字8.9%10.0%13.2%2/1/202318課題意義與研究背景目標(biāo)檢測(cè)的研究意義基于局部形狀表示方法開展研究的動(dòng)機(jī)目標(biāo)檢測(cè)研究概述形狀表示方法概述2/1/202319課題意義與研究背景形狀表示方法概述形狀表達(dá)方式[ZhangPR03]2/1/202320輪廓區(qū)域骨架模型：medialaxis幾何性質(zhì)：area、eccentricity區(qū)域空間位置：shapegrid、shapematrix變換域系數(shù)：Fourierdescriptor區(qū)域內(nèi)的像素信息：ISM、superpixels、HOGblock點(diǎn)的序關(guān)系：chaincode點(diǎn)對(duì)之間的相對(duì)關(guān)系：shapecontext幾何性質(zhì)：eccentricity、shapesignature變換域系數(shù)：Fourierdescriptor標(biāo)記點(diǎn)：activeshapemodel濾波器響應(yīng)值：contourfragment、edgelet、boundaryfragment課題意義與研究背景形狀表示方法概述形狀表達(dá)方式[ZhangPR03]2/1/202321輪廓區(qū)域骨架模型：medialaxis幾何性質(zhì)：area、eccentricity區(qū)域空間位置：shapegrid、shapematrix變換域系數(shù)：Fourierdescriptor區(qū)域內(nèi)的像素信息：ISM、superpixels、HOGblock點(diǎn)的序關(guān)系：chaincode點(diǎn)對(duì)之間的相對(duì)關(guān)系：shapecontext幾何性質(zhì)：eccentricity、shapesignature變換域系數(shù)：Fourierdescriptor標(biāo)記點(diǎn)：activeshapemodel濾波器響應(yīng)值：contourfragment、edgelet、boundaryfragment全局局部課題意義與研究背景形狀表示方法概述形狀特征(模型)的變形方法形狀變化的表示方法形狀參數(shù)子空間：Activeshapemodel[CootesCVIU95]幾何曲線：圓、拋物線[YuilleIJCV92]整體變換：平移、旋轉(zhuǎn)、尺度[OpeltECCV06]能量函數(shù)Activecontourmodel[KassIJCV88]Levelset[OsherJCP88]Elasticmodel[BimboPAMI97]TPS-RPM[ChuiCVIU2003]2/1/202322課題意義與研究背景形狀表示方法概述形狀特征(模型)的變形方法減小類內(nèi)形變規(guī)律影響的方法人工經(jīng)驗(yàn)：先驗(yàn)位置，小范圍擾動(dòng)Deformablepartmodel[Felz.CVPR08]Boundaryfragment[OpeltECCV06]Activebasis[WuICCV07]自動(dòng)學(xué)習(xí)：從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)統(tǒng)計(jì)規(guī)律Activeshapemodel[CootesCVIU95]2/1/202323課題意義與研究背景形狀表示方法概述形狀特征的組合方法采用機(jī)器學(xué)習(xí)算法組合特征描述能力：matchingpursuit[WuICCV07]判別能力：boosting[ShottonCVPR05]采用認(rèn)知學(xué)的定律組合特征封閉性(closure)[LeviECCV10]接近性(proximity)[FerrariPAMI08]平行性(parallalism)[LoweAI87]2/1/202324表示真實(shí)場(chǎng)景圖像中的目標(biāo)形狀邊緣缺失缺失區(qū)域包含錯(cuò)誤形狀信息背景或目標(biāo)內(nèi)部混雜邊緣與目標(biāo)輪廓交叉，與目標(biāo)輪廓混淆課題意義與研究背景形狀表示方法概述研究現(xiàn)狀總結(jié)表示純凈的形狀圖形類間區(qū)分性類內(nèi)不變性剛性、非剛性形變2/1/202325提綱課題意義與研究背景本文研究?jī)?nèi)容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結(jié)與展望主要研究成果2/1/202326本文研究?jī)?nèi)容所要達(dá)到的研究目標(biāo)在真實(shí)場(chǎng)景的圖片中自動(dòng)、準(zhǔn)確、快速地回答關(guān)于特定類別的目標(biāo)(如馬)的如下信息：是否出現(xiàn)在圖片中目標(biāo)窗口在哪里目標(biāo)輪廓在哪里目標(biāo)前景在哪里2/1/202327本文研究?jī)?nèi)容所需解決的關(guān)鍵問題為了使得目標(biāo)檢測(cè)器的精度高、速度快，設(shè)計(jì)形狀特征表示方法需要考慮以下三個(gè)問題判別能力：檢測(cè)是分類問題，有效區(qū)分前背景描述能力：準(zhǔn)確勾勒目標(biāo)輪廓和分割前景區(qū)域計(jì)算效率：檢測(cè)窗口數(shù)目大，計(jì)算復(fù)雜度較高2/1/202328本文研究?jī)?nèi)容各章研究?jī)?nèi)容及其關(guān)系輸入圖像窗口掃描基本局部形狀特征(小邊、條帶)可變形局部形狀特征(可擾動(dòng)條帶、主動(dòng)輪廓片段)可變形局部形狀特征的組合(主動(dòng)輪廓組、輪廓片段對(duì))第四章特征組合方法第三章特征變形方法第二章

基本形狀元素的表示方法檢測(cè)窗口分類器背景目標(biāo)輪廓、前景特征表示分類器設(shè)計(jì)2/1/202329提綱課題意義與研究背景本文研究?jī)?nèi)容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結(jié)與展望主要研究成果2/1/202330基本形狀元素的表示方法研究動(dòng)機(jī)形狀信息具有類間判別性和類內(nèi)穩(wěn)定性局部形狀可以由基本形狀元素近似表示2/1/202331基本形狀元素的表示方法研究動(dòng)機(jī)以車輛為例研究基本形狀元素的表示方法車輛的保險(xiǎn)杠、立柱以及輪胎等許多結(jié)構(gòu)可以近似表示為直線段和弧線段等基本形狀元素2/1/202332基本形狀元素的表示方法條帶特征的表示采用明暗相間的條帶區(qū)域表示車輛的典型結(jié)構(gòu)2/1/202333基本形狀元素的表示方法條帶特征的提取方法提取圖像中亮度對(duì)比信息作為特征響應(yīng)值直接計(jì)算方式(DStrip)區(qū)域內(nèi)點(diǎn)離線生成2/1/202334直接計(jì)算方式(IStrip)復(fù)雜度與條帶區(qū)域?qū)挾葻o關(guān)g()是積分圖運(yùn)算[ViolaCVPR01]

基于條帶特征訓(xùn)練目標(biāo)檢測(cè)器Boosting算法訓(xùn)練層級(jí)式目標(biāo)檢測(cè)器復(fù)雜度敏感的特征選擇方法權(quán)衡計(jì)算復(fù)雜度與判別能力基本形狀元素的表示方法2/1/202335判別能力計(jì)算代價(jià)特征選擇準(zhǔn)則：基本形狀元素的表示方法條帶特征的車輛檢測(cè)精度評(píng)測(cè)(VOC2006車輛子集)與Haar-like相比提升約10%與小邊特征相比提升約25%2/1/202336Haar-like[ViolaCVPR01]Edgelet[WuICCV05]Heterogeneous[WuCVPR08]I-Strip(本文方法)基本形狀元素的表示方法基于條帶特征的車輛檢測(cè)的速度評(píng)測(cè)復(fù)雜度敏感的特征選擇方法：自適應(yīng)調(diào)整計(jì)算復(fù)雜度與判別能力的權(quán)重檢測(cè)器速度：條帶特征與Haar-like特征相似2/1/202337基本形狀元素的表示方法本章小結(jié)算法的優(yōu)點(diǎn)可以看做小邊特征與區(qū)域描述子的結(jié)合，響應(yīng)值較穩(wěn)定可以看做Haar-like特征在形狀模式上的擴(kuò)展，描述能力較強(qiáng)復(fù)雜度低，與改進(jìn)的特征選擇算法結(jié)合可以達(dá)到較快檢測(cè)速度存在的問題沒有顯式解決類內(nèi)形變的影響2/1/202338小邊Haar-like條帶提綱課題意義與研究背景本文研究?jī)?nèi)容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結(jié)與展望主要研究成果2/1/202339局部形狀的變形方法研究動(dòng)機(jī)可擾動(dòng)的條帶特征主動(dòng)輪廓片段比較兩種方法2/1/202340局部形狀的變形方法研究動(dòng)機(jī)問題類內(nèi)形變是造成特征不穩(wěn)定匹配的最主要原因之一思路特征通過變形方法尋找最佳匹配，有效的減小類內(nèi)形變帶來的影響2/1/202341局部形狀的變形方法研究動(dòng)機(jī)可擾動(dòng)的條帶特征主動(dòng)輪廓片段比較兩種方法2/1/202342局部形狀的變形方法可擾動(dòng)條帶特征研究動(dòng)機(jī)條帶特征不僅可以表示車輛形狀，而且可以表示其他的剛體(自行車、摩托車)及非剛體目標(biāo)(如人體、牛)條帶特征匹配算法不能變形類內(nèi)形變易造成特征響應(yīng)值的不穩(wěn)定，從而降低其判別能力2/1/202343局部形狀的變形方法可擾動(dòng)條帶特征變形算法按照人工經(jīng)驗(yàn)讓條帶局部的位置和對(duì)比模式擾動(dòng)條帶特征(IStrip)2/1/202344可擾動(dòng)條帶特征(PStrip)局部形狀的變形方法可擾動(dòng)條帶特征檢測(cè)器對(duì)VOC200610類目標(biāo)的檢測(cè)平均精度2/1/202345Comp.[EveringhamTR06]HOG[DalalThesis06]Haar.[ViolaCVPR01]Edgelet[WuICCV05]局部形狀的變形方法可擾動(dòng)條帶特征總結(jié)算法的優(yōu)點(diǎn)條帶特征對(duì)多類目標(biāo)可以取得不錯(cuò)的檢測(cè)效果擾動(dòng)算法一定程度上(1.5%)提高了條帶特征的檢測(cè)精度存在的問題擾動(dòng)算法是人工經(jīng)驗(yàn)設(shè)計(jì)的變形算法不同的特征采用同樣的變形方法擾動(dòng)算法無法解決比較大的形變，如鉸接形變2/1/202346局部形狀的變形方法研究動(dòng)機(jī)可擾動(dòng)的條帶特征主動(dòng)輪廓片段比較兩種方法2/1/202347局部形狀的變形方法主動(dòng)輪廓片段研究動(dòng)機(jī)目標(biāo)不同區(qū)域的形狀具有不同的變形規(guī)律自動(dòng)的從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)目標(biāo)的變形規(guī)律2/1/202348局部形狀的變形方法主動(dòng)輪廓片段學(xué)習(xí)算法生成小邊特征作為形狀基元與訓(xùn)練數(shù)據(jù)匹配學(xué)習(xí)形狀子空間表示2/1/202349局部形狀的變形方法主動(dòng)輪廓片段主動(dòng)輪廓片段的性質(zhì)前兩維能夠涵蓋大部分的變形能量變形中的輪廓片段是光滑連續(xù)的2/1/202350第一維主成分第二維主成分局部形狀的變形方法主動(dòng)輪廓片段匹配算法遍歷形狀子空間，尋找最佳匹配2/1/202351主動(dòng)輪廓片段目標(biāo)檢測(cè)器訓(xùn)練檢測(cè)器Boosting算法選擇特征，構(gòu)建層級(jí)式檢測(cè)器輪廓定位當(dāng)窗口被分類為目標(biāo)時(shí)，形狀特征向測(cè)試圖像中對(duì)應(yīng)點(diǎn)投票向原始圖像的對(duì)應(yīng)位置投票局部形狀的變形方法2/1/202352檢測(cè)窗口測(cè)試圖像局部形狀的變形方法主動(dòng)輪廓片段主動(dòng)輪廓片段的檢測(cè)精度評(píng)測(cè)(Weizmannhorses)窗口定位：比edgelet和條帶特征提高約4%~5%輪廓定位：比edgelet和條帶特征提高約15%~20%2/1/202353窗口定位輪廓定位局部形狀的變形方法主動(dòng)輪廓片段總結(jié)方法的優(yōu)點(diǎn)不同的局部特征具有不同的變形規(guī)律能夠表示范圍變化較大的變形規(guī)律存在的問題變形范圍比較大，但是缺少更大范圍內(nèi)的形狀約束，容易錯(cuò)誤匹配到與目標(biāo)輪廓相似的背景邊緣2/1/202354局部形狀的變形方法研究動(dòng)機(jī)可擾動(dòng)的條帶特征主動(dòng)輪廓片段比較兩種方法2/1/202355局部形狀的變形方法比較兩種方法2/1/202356可擾動(dòng)條帶特征主動(dòng)輪廓片段設(shè)計(jì)思路人工經(jīng)驗(yàn)自動(dòng)學(xué)習(xí)訓(xùn)練過程無需訓(xùn)練需要離線訓(xùn)練變形規(guī)律統(tǒng)一規(guī)律由訓(xùn)練數(shù)據(jù)決定變形范圍變形范圍小變形范圍大窗口定位性能87.4%89.1%86.1%91.1%輪廓定位性能57.5%63.5%58.0%74.0%注：表中數(shù)據(jù)來自在Weizmanhorse數(shù)據(jù)庫(kù)上的精度評(píng)測(cè)結(jié)果提綱課題意義與研究背景本文研究?jī)?nèi)容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結(jié)與展望主要研究成果2/1/202357局部形狀特征的組合方法研究動(dòng)機(jī)主動(dòng)輪廓組輪廓片段對(duì)比較兩種方法2/1/202358局部形狀特征的組合方法研究動(dòng)機(jī)問題大量背景或者目標(biāo)內(nèi)部邊緣與目標(biāo)輪廓位置接近、形狀相似，導(dǎo)致局部特征在變形過程中容易產(chǎn)生誤匹配思路組合局部特征表示更大范圍內(nèi)的形狀信息2/1/202359錯(cuò)誤匹配結(jié)果特征初始位置局部形狀特征的組合方法研究動(dòng)機(jī)主動(dòng)輪廓組輪廓片段對(duì)比較兩種方法2/1/202360局部形狀特征的組合方法主動(dòng)輪廓組研究動(dòng)機(jī)短的輪廓片段在圖像中頻繁出現(xiàn)，但連續(xù)的長(zhǎng)輪廓通常位于目標(biāo)輪廓上，因此將鄰接的短特征鏈接起來匹配圖像中的長(zhǎng)輪廓，可能會(huì)有效減少誤匹配2/1/202361局部形狀特征的組合方法主動(dòng)輪廓組馬爾可夫鏈模型2/1/202362…鄰域系統(tǒng)定義：局部形狀特征的組合方法主動(dòng)輪廓組能量函數(shù)2/1/202363一階能量項(xiàng)接近邊緣二階能量項(xiàng)保持連續(xù)局部形狀特征的組合方法主動(dòng)輪廓組采用遞增式學(xué)習(xí)的主動(dòng)輪廓組快速生成算法步驟1:以一個(gè)主動(dòng)輪廓片段初始化主動(dòng)輪廓組步驟2:選擇與主動(dòng)輪廓組頭尾鄰接的主動(dòng)輪廓片段步驟3:以遞增方式快速匹配新的主動(dòng)輪廓組與訓(xùn)練樣本步驟4:選出匹配能量最小的主動(dòng)輪廓片生張主動(dòng)輪廓組步驟5:更新對(duì)主動(dòng)輪廓組參數(shù)的前兩維子空間的估計(jì)步驟6:沒有超出長(zhǎng)度上限和前兩維能量下限繼續(xù)步驟22/1/202364能量函數(shù)遞增形式局部形狀特征的組合方法主動(dòng)輪廓組主動(dòng)輪廓組性質(zhì)大多數(shù)的主動(dòng)輪廓組中含有3段以上的主動(dòng)輪廓片段主成分分析的前二維主成分涵蓋形變的大部分能量主動(dòng)輪廓組可以表示連續(xù)的長(zhǎng)輪廓2/1/202365長(zhǎng)度為10的主動(dòng)輪廓組的第一維主成分長(zhǎng)度為10的主動(dòng)輪廓組的第二維主成分局部形狀特征的組合方法主動(dòng)輪廓組為什么不直接采用長(zhǎng)的小邊特征生成長(zhǎng)的主動(dòng)輪廓片段？真實(shí)場(chǎng)景下，由于背景邊緣的存在、目標(biāo)輪廓的缺失，很難存在理想的輪廓，因此無法從長(zhǎng)的小邊特征直接學(xué)出長(zhǎng)的主動(dòng)輪廓片段2/1/202366局部形狀特征的組合方法主動(dòng)輪廓組主動(dòng)輪廓組的檢測(cè)精度評(píng)測(cè)(Weizmannhorses)窗口定位：與主動(dòng)輪廓片段相比，精度提升不明顯輪廓定位：與主動(dòng)輪廓片段相比，約有5%的提升2/1/202367輪廓定位窗口定位局部形狀特征的組合方法主動(dòng)輪廓組總結(jié)方法的優(yōu)點(diǎn)該方法將主動(dòng)輪廓片段鏈接成長(zhǎng)的連續(xù)形狀特征，能夠減少誤匹配到背景中及目標(biāo)內(nèi)部的短邊緣，因此輪廓定位的精度在同樣覆蓋率的情況下準(zhǔn)確率提高約5%存在的問題與主動(dòng)輪廓片段相比，并沒有編碼更多的圖像信息，窗口定位的性能并未因此得到顯著提升2/1/202368局部形狀特征的組合方法研究動(dòng)機(jī)主動(dòng)輪廓組輪廓片段對(duì)比較兩種方法2/1/202369局部形狀特征的組合方法輪廓片段對(duì)研究動(dòng)機(jī)格式塔心理學(xué)的相似性定律和接近性定律表明人類可以將形狀相似位置接近的輪廓片段組合在一起感知出目標(biāo)物體的前景區(qū)域2/1/202370局部形狀特征的組合方法輪廓片段對(duì)配對(duì)的原則共現(xiàn)性：兩個(gè)輪廓片段要在訓(xùn)練樣本上共現(xiàn)相似性：兩個(gè)輪廓片段的形狀是相似的接近性：兩個(gè)輪廓片段彼此是最接近的對(duì)方的片段2/1/202371局部形狀特征的組合方法輪廓片段對(duì)匹配能量函數(shù)一階能量項(xiàng)：盡量接近圖像中的邊緣二階能量項(xiàng)：兩個(gè)片段之間的面積變形時(shí)保持穩(wěn)定2/1/202372采用一階能量項(xiàng)的匹配結(jié)果加入二階能量項(xiàng)的匹配結(jié)果局部形狀特征的組合方法輪廓片段對(duì)輪廓片段對(duì)的性質(zhì)主成分分析的前二維主成分涵蓋形變的大部分能量輪廓片段中間的區(qū)域可能是目標(biāo)的前景區(qū)域2/1/202373第一維主成分第二維主成分輪廓片段對(duì)訓(xùn)練檢測(cè)器提取形狀、顏色、紋理特征，利用邏輯回歸和boosting算法訓(xùn)練層級(jí)式目標(biāo)檢測(cè)器勾勒輪廓與分割前景當(dāng)窗口被分類為目標(biāo)時(shí)，邊緣和內(nèi)部分別對(duì)輪廓和前景投票局部形狀特征的組合方法2/1/202374檢測(cè)窗口測(cè)試圖像局部形狀特征的組合方法輪廓片段對(duì)輪廓片段對(duì)的檢測(cè)精度評(píng)測(cè)(Weizmannhorses)窗口定位：比主動(dòng)輪廓片段及主動(dòng)輪廓組提升約3%輪廓定位：比主動(dòng)輪廓片段及主動(dòng)輪廓組提升10%~15%前景分割：主動(dòng)輪廓片段及主動(dòng)輪廓組無法預(yù)測(cè)前景2/1/202375窗口定位前景分割輪廓定位局部形狀特征的組合方法輪廓片段對(duì)總結(jié)方法的優(yōu)點(diǎn)與形狀特征相比可以同時(shí)利用形狀和表觀信息，因?yàn)檩喞螌?duì)可以從輪廓推測(cè)出目標(biāo)的前景區(qū)域與矩形區(qū)域的描述子相比，可能提供更準(zhǔn)確的表觀信息，因?yàn)檩喞螌?duì)比矩形區(qū)域更準(zhǔn)確的表示目標(biāo)的前景區(qū)域與現(xiàn)有的類似方法相比，只需要人工標(biāo)注訓(xùn)練樣本的檢測(cè)窗口，無需細(xì)致分割數(shù)據(jù)存在的問題輪廓片段對(duì)只能夠表示局部區(qū)域的信息，多個(gè)輪廓片段對(duì)之間缺乏全局信息約束2/1/202376局部形狀特征的組合方法研究動(dòng)機(jī)主動(dòng)輪廓組輪廓片段對(duì)比較兩種方法2/1/202377局部形狀特征的組合方法比較兩種方法2/1/202378主動(dòng)輪廓組輪廓片段對(duì)研究動(dòng)機(jī)連續(xù)長(zhǎng)片段是顯著的相似律、接近律表示信息形狀形狀和表觀檢測(cè)器功能窗口、輪廓窗口、輪廓以及前景窗口定位性能91.1%89.1%91.1%91.1%輪廓定位性能74.0%80.0%74.0%89.0%前景分割性能-90.0%注：表中數(shù)據(jù)來自在Weizmanhorse數(shù)據(jù)庫(kù)上的精度評(píng)測(cè)結(jié)果提綱課題意義與研究背景本文研究?jī)?nèi)容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結(jié)與展望主要研究成果2/1/202379總結(jié)與展望全文內(nèi)容總結(jié)2/1/202380注：表中數(shù)據(jù)來自在Weizmanhorse數(shù)據(jù)庫(kù)上的精度評(píng)測(cè)結(jié)果總結(jié)與展望未來工作展望全局形狀模型主動(dòng)輪廓組和主動(dòng)輪廓對(duì)沒有利用到全局形狀約束與分割方法相結(jié)合可以與底層的通用分割算法相結(jié)合產(chǎn)生式模型所有的方法都是在判別式框架下討論，可以嘗試在產(chǎn)生式框架下對(duì)形狀建模2/1/202381提綱課題意義與研究背景本文研究?jī)?nèi)容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結(jié)與展望主要研究成果2/1/202382主要研究成果博士期間發(fā)表的期刊W.Zheng,H.Chang,L.Liang,H.Ren,S.Shan,andX.Chen.Stripfeaturesforfast