大腦皮層視覺通路計算模型的物體識別課件

題目:RobustObjectRecognitionwithCortex-LikeMechanisms作者：ThomasSerre,TomasoPoggio講解人：SuYu1大腦皮層視覺通路計算模型的物體識別作者的相關信息ThomasSerre2005年獲得博士學位computationalneuroscienceMIT,BrainandCognitiveScienceDept,Cambridge,MA.Advisor:TomasoPoggio所在機構PostdoctoralassociateattheCenterforBiologicalandComputationalLearning(CBCL)atMIT

主要研究方向Biologicalvision,machinevision,objectrecognition,computationalneuroscience,learningincortex主要的學術貢獻點提出了一個關于視覺皮層腹部通路(ventralstreamofvisualcortex)中回路和計算的定量模型。提出了一個component-based的人臉檢測/識別模型。2大腦皮層視覺通路計算模型的物體識別作者的相關信息

TomasoPoggio所在機構DepartmentofBrain&CognitiveSciencesandArtificialIntelligenceLaboratory,MassachusettsInstituteofTechnology主要研究方向theprocessesbywhichthebrainlearnstorecognizeandcategorizevisualobjects3大腦皮層視覺通路計算模型的物體識別文章的相關信息PAMI2007.3相關文獻M.RiesenhuberandT.Poggio,“HierarchicalModelsofObjectRecognitioninCortex,”NatureNeuroscience,vol.2,no.11,pp.1019-1025,1999.T.Serre,M.Kouh,C.Cadieu,U.Knoblich,G.Kreiman,andT.Poggio,“ATheoryofObjectRecognition:ComputationsandCircuitsintheFeedforwardPathoftheVentralStreaminPrimateVisualCortex,”AIMemo2005-036/CBCLMemo259,MassachusettsInst.ofTechnology,Cambridge,2005.4大腦皮層視覺通路計算模型的物體識別文章摘要受生物學的啟發(fā)，我們提出了一種識別復雜視覺場景的新的通用框架。在這個框架中，我們描述了一個與視覺皮層組織結構非常相似的一個層次化模型，并且通過交替進行模板匹配(templatematching)和最大化操作(maximumpoolingoperation)，得到復雜性和不變性越來越高的特征表示。我們在多個識別任務上驗證了這種方法的正確性，包括復雜場景中單類或多類物體的識別，以及依賴于識別shape-based和texture-based物體的復雜場景理解。在滿足一些生物學限制條件的情況下，這種方法的性能非常好：它可以從少量訓練樣本中進行學習，并且與目前最好的系統(tǒng)旗鼓相當。除了與計算機視覺的相關性，這種方法的成功證明了大腦皮層中物體識別前饋模型的正確性。5大腦皮層視覺通路計算模型的物體識別研究背景和研究意義研究背景研究大腦視覺皮層中物體識別的過程對于神經(jīng)科學（Neuroscience）來說是一個關鍵的問題。計算機視覺中神經(jīng)科學的應用局限在推導立體視(stereo)算法和驗證DoG以及Gabor的正確性。一些基于仿生的高層次特征沒有在實際的圖像數(shù)據(jù)庫上驗證。研究意義人類和哺乳動物的視覺系統(tǒng)優(yōu)于目前的機器視覺的系統(tǒng)，因此模仿大腦皮層中物體識別的過程就變得非常有吸引力。6大腦皮層視覺通路計算模型的物體識別前人相關工作的介紹相關工作層次化結構ConstellationmodelMultilayeredconvolutionalnetworks。。。物體表示方法Appearance-based區(qū)分性強但缺乏不變性。Histogram-based不變性強但缺乏區(qū)分性。7大腦皮層視覺通路計算模型的物體識別本文所研究問題的提出問題的提出不變性（Invariance）和區(qū)分性（Selective）對于物體識別來說都是很重要的。本文提出一種新的物體描述方式，能夠很好地平衡不變性和區(qū)分性。8大腦皮層視覺通路計算模型的物體識別本文解決思路的基本思想模擬大腦視覺皮層的處理過程通過一種層次結構定量地模擬了大腦視覺皮層腹部通路前100-200毫秒的處理過程。系統(tǒng)共分4個層次，包括兩個simpleSunits和兩個complexCunits。兼顧可分性(Sunits)和不變性(Cunits)9大腦皮層視覺通路計算模型的物體識別文章的組織結構IntroductionDetailedImplementationEmpiricalEvaluationDiscussion10大腦皮層視覺通路計算模型的物體識別基礎知識相關學科神經(jīng)科學(Neuroscience)腦研究的綜合學科。應用生命科學和物理科學，信息科學的綜合途徑，從分子、細胞到計算網(wǎng)絡、心理多個水平，對神經(jīng)系統(tǒng)的形成，正常功能和異常病變進行研究。認知科學(CognitiveScience)是研究人、動物和機器的智能的本質和規(guī)律的科學，目標是揭示人腦認知過程的機制，用計算機程序實現(xiàn)這一機制并加以驗證。11大腦皮層視覺通路計算模型的物體識別基礎知識人類視覺感知系統(tǒng)視覺信息在大腦中按照一定的通路傳輸視網(wǎng)膜接受外界信號信號通過視神經(jīng)交叉和視束傳到中樞的側膝體信息到達大腦皮層細胞大腦皮層由簡單到復雜，由低級到高級SimpleCell->ComplexCell->HypercomplexCell->...12大腦皮層視覺通路計算模型的物體識別基礎知識視覺信息處理特點兩條通路腹部通路(ventralstream)，又稱what通路背部通路(dorsalstream)，又稱where通路層次結構視網(wǎng)膜->側膝體->視皮層反饋連接高層區(qū)域->視覺初級皮層區(qū)高級行為也會對低層神經(jīng)元活動產生影響感受野等級特性神經(jīng)細胞越復雜，對應視網(wǎng)膜上區(qū)域越大。注意選擇機制學習機制13大腦皮層視覺通路計算模型的物體識別系統(tǒng)框架14大腦皮層視覺通路計算模型的物體識別S1unitsGabor-模擬簡單視覺細胞的感受野。多方向，多尺度。提取具有區(qū)分能力的底層特征。15大腦皮層視覺通路計算模型的物體識別C1units較大的感受野-對感受野內不同位置，不同尺寸的邊緣都會有響應。通過尺度和空間鄰域的局部最大值操作（LocalMaximum）來實現(xiàn)。體現(xiàn)了平移和尺度不變性。16大腦皮層視覺通路計算模型的物體識別C1unitsC1maxmax17大腦皮層視覺通路計算模型的物體識別C1unitsC1S118大腦皮層視覺通路計算模型的物體識別S1和C1具體參數(shù)19大腦皮層視覺通路計算模型的物體識別S2units與從訓練集中學到的patch進行模板匹配。Patch20大腦皮層視覺通路計算模型的物體識別S2unitsrRBFXPi=21大腦皮層視覺通路計算模型的物體識別C2units在所有尺度，所有位置上取最大值。22大腦皮層視覺通路計算模型的物體識別TheLearningStage選擇若干具有代表性的patch從訓練圖像(C1level)中隨機采樣每類物體有自己的代表patch23大腦皮層視覺通路計算模型的物體識別TheClassificationStage特征Standardmodelfeatures(SMFs):C1orC2分類器SVMBoosting24大腦皮層視覺通路計算模型的物體識別實驗ObjectRecognitioninClutterObjectRecognitionwithoutClutter25大腦皮層視覺通路計算模型的物體識別ObjectRecognitioninClutter測試條件目標物體沒有分割，位置和尺度也不同采用的特征scaleandposition-invariantC2SMFs測試數(shù)據(jù)庫CalTech5,CalTech101,andMIT-CBCL26大腦皮層視覺通路計算模型的物體識別ObjectRecognitioninClutterComparisonwithbenchmarksystems[19]，[20]：constellationmodels[17]：hierarchicalSVM[18]：fragments+gentleBoost27大腦皮層視覺通路計算模型的物體識別ObjectRecognitioninClutterComparisonwithSIFTfeatures28大腦皮層視覺通路計算模型的物體識別ObjectRecognitioninClutterNumberoffeaturesandtrainingexamples29大腦皮層視覺通路計算模型的物體識別ObjectRecognitionwithoutClutter測試條件和滑動窗結合—從圖像的不同位置和不同尺度提取圖像窗，resize到同樣大小。沒有位置和尺度的變化沒有clutter采用的特征C1和C2均可，但C1優(yōu)于C2測試數(shù)據(jù)庫StreetScenesscene-understandingdataset30大腦皮層視覺通路計算模型的物體識別ObjectRecognitionwithoutClutter31大腦皮層視覺通路計算模型的物體識別ObjectRecognitionwithoutClutter32大腦皮層視覺通路計算模型的物體識別ObjectRecognitionwithoutClutter33大腦皮層視覺通路計算模型的物體識別總結本文提出了一種基于大腦皮層視覺通路計算模型的物體識別方法，并應用到多種不同的識別任務中，取得了不錯的效果。