計算機視覺的困惑

計算機視覺的現(xiàn)狀與困惑測繪遙感信息工程國家重點實驗室李德仁2011年11月26日武漢弘毅講堂2011主要內(nèi)容什么是計算機視覺？如何用計算機視覺模擬人眼？計算機視覺存在的困惑結(jié)束語什么是計算機視覺？——定義1 –fromK.Kanatani,“StatisticalOptimizationforGeometricComputation:TheoryandPractics”,1996.“從視頻影像中提取三維信息，進行三維場景建模，稱為計算機視覺，或者影像理解，是當今世界最受關注的研究領域之一”“計算機視覺是通過計算機輔助，用二維圖像認知三維環(huán)境，該學科旨在為計算機和機器人開發(fā)出具有與人類水平相當?shù)囊曈X能力”什么是計算機視覺？——定義2《計算機視覺－計算理論與算法基礎》馬頌德,張正友,1998.“計算機視覺是通過計算機硬件和軟件，從二維圖像(單張,多張和視頻影像)中自動提取圖像目標及其環(huán)境的幾何(形狀,大小,位置等非語義信息)和物理特性(性質(zhì),類別，屬性等語義信息),獲得與人類視覺水平相當?shù)囊曈X能力”什么是計算機視覺？如何用計算機模擬人眼？影像處理計算機圖形學幾何屬性(3D)物理屬性影像(2D)+視差原理計算機視覺深度、大小、形狀、位置等幾何信息特征提取與模式識別對象、屬性、關系、行為等語義信息基本問題：給定一個目標或者場景的若干不同視角的影像，重建該目標的三維形狀

計算機視覺探測幾何屬性從生理視差到人造視差多目立體攝影測量系統(tǒng)智能化近景攝影測量網(wǎng)絡支撐基座，相當于肩部基線的長度可變，以適應攝影測量的不同幾何精度要求立體攝影機多目立體攝影測量系統(tǒng)多目立體攝影測量系統(tǒng)拍攝的多視角敦煌壁畫三維重建結(jié)果(fromimagestosurface)多目立體攝影測量系統(tǒng)不同視角的帽子圖像，帽子上的紋理是為了精確匹配和識別三維重建結(jié)果敦煌月牙泉–CrescentSpring尋找隕石火星表面三維實時建模智能機器人激光掃描重建激光掃描重建TLSPointcloudDCImageStereocameraStereoimageTotalstationControlpointsALSPointcloudImageDem+DomFacadeMuralandStatueAncientbuildingDigitaldocumentation作業(yè)流程(Workingflow)MappingPreprocessingshootingLaserScanningModelingObjectPointCloudSurfaceModelRawImageTextureTexturedModel3.2PointclouddataprocessingTINofastatuaryin196caveModelofastatuaryin196caveTINof285caveModelof285cave3.6Results–196Cave基于機載和地面激光雷達的三維數(shù)字莫高窟計算機視覺提取物理屬性的方法Datadriven

基于灰度和光譜(GrayLevels)

基于特征(Features)

基于結(jié)構(gòu)和紋理(StructureandTexture)

基于內(nèi)容(Content)

……如何用計算機模擬人眼？線性特征如何用計算機模擬人眼？紋理特征如何用計算機模擬人眼？形狀特征基于內(nèi)容的圖像檢索無需人為干預和解釋，通過計算機自動實現(xiàn)對圖像的視覺內(nèi)容(顏色、紋理、形狀等)進行分析、檢索和存儲。特征提取自動檢索查詢影像檢索詞：云層、植被人眼檢索特征明顯、結(jié)果精確，但疲勞、耗時電腦檢索錯檢、漏檢、特征提取困難，但節(jié)省人力基于內(nèi)容的圖像檢索華盛頓機載高光譜影像光譜用遙感影像確定地物屬性紋理形狀對象利用超光譜圖像進行識別光譜反射曲線影像立方體ABC計算機識別人臉計算機識別人臉多尺度S1S1C1多方向流程樣本特征提取模式識別決策人眼識別精確、快速、耗時電腦檢索存在錯誤、節(jié)省人力、特征難以確定計算機視覺的困惑計算機視覺可以比人類視覺有更強的幾何信息提取功能(where),但對語義信息的提取功能(what)卻遠遠低于人類視覺;計算機視覺尚不了解人類視覺感知和認知的過程,也不了解人類視覺中的記憶,聯(lián)想,對比等在視覺認知中是如何起作用的.計算機識別人臉=？計算機很難用上述方法區(qū)分相同特征的人和狗“Sally”計算機識別人臉特征提取模式分類特征提取模式分類Who?計算機視覺提取物理屬性的方法Knowledgedriven

基于地學知識

基于3D先驗知識(DOM,DEM,DLG)

基于數(shù)據(jù)挖掘(DataMining)

基于信息融合(InformationFusion)

……33ScientificAmerican2003V1神經(jīng)元的信號,穿越視網(wǎng)膜,到達大腦后部的第十七區(qū)(Area17),在此,這些信號被分解為一些簡單的共性,如:色彩,形態(tài),運動和深度等.結(jié)束語計算機視覺提取幾何信息(感知)比人強,提取物理信息(認知)遠比人差;計算機視覺的發(fā)展應堅持數(shù)據(jù)導引與知識導引的集成;計算機視覺的進一步發(fā)展需要求助于醫(yī)學家心理學家和生理學家的幫助;多學科的交叉是必要的和有價值的也是可能的，歡迎有更多的各學科領域的專家合作,以實現(xiàn)計算機視覺的全自動化。地球空間信息學的使命(1)從本質(zhì)上講，地球空間信息學應作為認知科學的一個組成部分，它要研究和解決如何從各種對地觀測數(shù)據(jù)中智能地提取信息和知識的問題，從而實現(xiàn)數(shù)據(jù)—信息—知識的自動轉(zhuǎn)化。來自衛(wèi)星導航定位系統(tǒng)（GNSS）的對地觀測數(shù)據(jù)是以點方式記錄的電磁波信號，代表從衛(wèi)星到達地面目標點的相位和時延；來自光學遙感（RS）衛(wèi)星的數(shù)據(jù)是面方式的反映地表光譜反射率的灰度矩陣；來自SAR衛(wèi)星的數(shù)據(jù)是衛(wèi)星后向反射到目標的相位和振幅記錄。這些不同類型的電磁波信號均要穿過大氣的電離層和對流層，會對原始信號產(chǎn)生干擾和影響，所以地球空間信息學的感知和認知涉及到各類傳感器的建模、校正與標定，自主定位與定姿，各類數(shù)據(jù)的預處理與精處理，特征提取與目標識別，語義與非語義信息的提取，信息融合與集成，以及空間數(shù)據(jù)挖掘與知識發(fā)現(xiàn)等方面，是一個復雜的反演問題。當前，隨著衛(wèi)星通信技術(shù)和嵌入式通用計算技術(shù)的發(fā)展，為適應應急任務對航天信息感知和認知的實時要求，在軌處理和嵌入式實時智能化處理以實現(xiàn)數(shù)據(jù)—信息—知識自動轉(zhuǎn)化的問題已提到日程上來。實時在軌處理的智能對地觀測衛(wèi)星系統(tǒng)（IEOS）地球空間信息學的使命(2)地球空間信息學又是一門面向經(jīng)濟建設、國防建設和大眾民生應用需求的服務科學。它需要從理解用戶的自然語言入手，搜索可用來回答用戶需求的數(shù)據(jù)，優(yōu)選提取信息和知識的工具，形成合理的數(shù)據(jù)流與服務鏈，通過網(wǎng)絡通信的方式，將有用的信息和知識及時送達給用戶。從這個意義上看，地球空間信息服務的最高標準是在規(guī)定的時間（RightTime）將所需位置（RightPlace）上的正確數(shù)據(jù)/信息/知識（RightData/Information/Knowledge）送到需要的人手上（RightPerson）。面向任務的地球空間信息聚焦服務，將長期以來數(shù)據(jù)導引的產(chǎn)品制作和分發(fā)模式轉(zhuǎn)變成需求導引的聚焦服務模式，從而解決目前對地觀測數(shù)據(jù)又多、又少的矛盾，實現(xiàn)服務代替產(chǎn)品，適應當今信息時代的需求。地球空間信息資源網(wǎng)絡服務概念模型空天地一體化信息網(wǎng)絡空間數(shù)據(jù)資源處理資源數(shù)據(jù)注冊數(shù)據(jù)獲取服務組合服務空天地傳感器資源分布式注冊服務中心知識發(fā)現(xiàn)服務處理服務傳感器規(guī)劃服務傳感器注冊地學知識資源處理注冊計算資源網(wǎng)絡資源存儲資源知識注冊可視化服務服務質(zhì)量評價空間信息資源空間信息注冊

軟硬件基礎設施服務1)云計算與服務技術(shù)

2)基于云計算平臺的遙感圖像處理系統(tǒng)3) 基于云計算平臺的空間信息處理服務計算設施軟件架構(gòu)測繪成果共享方式從紙質(zhì)復印-文件拷貝-網(wǎng)絡共享-面向服務架構(gòu)的服務發(fā)布。1970s小型機1960s大型機1980s個人電腦和局域網(wǎng)1990s桌面互聯(lián)網(wǎng)2000s移動互聯(lián)網(wǎng)面向過程1970s面向?qū)ο?980s面向構(gòu)件1990s面向領域2000s面向服務SOC2010s從以計算機為中心，到以網(wǎng)絡為中心，再到以人為中心紙質(zhì)復印基于云計算的注冊服務文件拷貝數(shù)據(jù)庫共享虛擬服務服務器集群和虛擬化專業(yè)服務導致服務器多樣化更多任務由服務器承擔服務器登場瀏覽器/服務器客戶機/服務器服務器井噴…服務器托管服務器托管形成市場搜索服務器視頻服務器安全服務器郵件服務器數(shù)據(jù)服務器互聯(lián)網(wǎng)資源配置的變遷出現(xiàn)了基于云計算的空間信息服務互聯(lián)網(wǎng)環(huán)境下空間信息從數(shù)據(jù)共享、信息共享走向服務共享

共享計算能力為主的服務共享存儲能力為主的服務共享交互能力為主的服務依托互聯(lián)網(wǎng)，隨時隨地獲得個性化空間信息服務基于Internet的空間信息服務云計算使空間信息服務可在更大范圍部署上海北京深圳云計算中心內(nèi)部的生態(tài)鏈

互聯(lián)網(wǎng)上大量計算資源和服務器井噴

如Google,Amazon,Hotmail…各自獨立提供網(wǎng)絡服務

基礎設施服務商如AmazonWebservices搜索論壇郵件購物…聊天軟件服務商如Googlemap和Apple服務平臺服務商如和GoogleAPPEngine軟件服務商如salesforce軟件集成服務商如programmableweb知名軟件服務商同時也可以成為其它SaaS供應商的基礎平臺云計算與服務技術(shù)MicrosoftAzureGoogleAppEngineAmazonEC2&S3基礎設施作為服務(InfrastructureasaService(IaaS))平臺作為服務(PlatformasaService(PaaS))軟件作為服務(SoftwareasaService(SaaS)OpenRS-Cloud技術(shù)體系2)基于云計算平臺的遙感圖像處理系統(tǒng)OpenRSOpenRS-CloudWeb型的算法提交界面可直接獲取和設定位于云端的算法插件的參數(shù)信息；可直接利用遠程集群進行并行處理；集成WebGIS技術(shù)查找感興趣遙感圖像OpenRS-Cloud任務進度查看通過瀏覽器可直接查看任務的執(zhí)行狀況子任務的分解與合并子任務LOG實時輸出子任務的運行進度OpenRS-Cloud處理結(jié)果展示可以直接在瀏覽器上查看處理結(jié)果，左圖展示了EDISON邊緣提取算法，右圖為KMean分類OpenRS-Cloud通過WebService提供桌面級調(diào)用接口桌面程序直接利用OpenRS-Cloud的WebService接口實現(xiàn)并行鑲嵌與糾正一個洪水淹沒的計算實例分布式異構(gòu)地球空間信息處理服務服務鏈建立服務鏈