多源信息融合理論與技術(shù)發(fā)展PPT幻燈片

1、多源信息融合,1,目錄,一、多源信息融合的一般概念與定義 二、信息融合的社會需求 三、信息融合系統(tǒng)的模型和結(jié)構(gòu) 四、多源信息融合主要技術(shù)和方法 五、發(fā)展起源、現(xiàn)狀與未來,2,自然界異類多傳感信息融合,演繹活動,大腦,記憶 先驗知識 規(guī)則 推理能力,眼睛,耳朵,舌頭,鼻子,手,3,自然界同類多傳感信息融合,左目和右目的視覺傳感器分別獲取二維圖象信息，經(jīng)大腦融合后產(chǎn)生立體圖象信息 左耳和右耳的聽覺傳感器分別獲取一維聲音信息，經(jīng)大腦融合后產(chǎn)生立體聲音信息 大腦對圖象信息和聲音信息進一步融合后產(chǎn)生新的認(rèn)知結(jié)果,4,自然界多傳感信息融合的本質(zhì),自然界中人和動物感知客觀對象，不是單純依靠一種感官，而是多個

2、感官的綜合。人類的視覺、聽覺、觸覺、嗅覺和味覺，實際上是通過不同感官獲取客觀對象的不同信息，然后由大腦對這些信息進行交融，得到一種綜合的感知信息。這種把多個感官信息進行交融的過程就是多源信息融合。千古流傳的瞎子摸象的故事，就是因為缺少視覺信息，瞎子們的大腦對不完全信息進行融合的結(jié)果，難以避免地產(chǎn)生了對大象認(rèn)知的偏差,5,信息融合的定義一,信息融合就是由多種信息源如傳感器、數(shù)據(jù)庫、知識庫和人類本身獲取有關(guān)信息，并進行濾波、相關(guān)、和集成，從而形成一個表示構(gòu)架，這種構(gòu)架適合于獲得有關(guān)決策，如對信息的解釋，達(dá)到系統(tǒng)目標(biāo)（例如識別、跟蹤或態(tài)勢評估），傳感器管理和系統(tǒng)控制等。（W.A. Sander,6,

3、信息融合的定義二,信息融合就是一個過程，處理由單個或多個信息源獲得的數(shù)據(jù)或信息，進行關(guān)聯(lián)、相關(guān)和組合，從而提高位置和特性估計的精度，以及完成對態(tài)勢和威脅及其重要性的適時評估。這種過程是根據(jù)對估計和評估的不斷精練，對增加信息源的評判，以及對過程本身的修正來表征的，從而達(dá)到改善結(jié)果的目的,7,信息融合的定義三,目前所研究的多傳感信息融合，主要是指利用計算機進行多源信息處理，從而得到可綜合利用信息的理論和方法，其中也包含對自然界人和動物大腦進行多傳感信息融合機理的探索。其關(guān)鍵問題，就是提出一種理論和方法，對具有相似或不同特征模式的多源信息進行處理，以獲得具有相關(guān)和集成特性的融合信息。研究的重點是特征

4、識別和算法，這些算法導(dǎo)致多傳感信息的互補集成，改善不確定環(huán)境中的決策過程，解決把數(shù)據(jù)用于確定共用時間和空間框架的信息理論問題，同時用來解決模糊的和矛盾的問題,8,二、信息融合發(fā)展的社會需求,空中目標(biāo)偵察與預(yù)警 智能交通與智能車輛 目標(biāo)識別與身份認(rèn)證 機器人 圖像融合與圖像重構(gòu) 智能傳感與智能控制,9,空中目標(biāo)偵察與預(yù)警,促進多傳感信息融合理論發(fā)展的主要動因之一是現(xiàn)代戰(zhàn)爭的迫切需要。由于現(xiàn)代武器系統(tǒng)具有機動性高、隱蔽性好、電子對抗性能強等特征，用于偵察和跟蹤敵方目標(biāo)的預(yù)警系統(tǒng)必須采用雷達(dá)、紅外、視頻、音頻等多傳感檢測，同時聯(lián)絡(luò)各個檢測點的不同數(shù)據(jù)進行融合，著重研究的問題包括可靠準(zhǔn)確的目標(biāo)獲取、跟

5、蹤、身份識別、智能處理、后勤計劃、維修計劃、指揮與控制等。尤其是針對敵方巡航導(dǎo)彈和飛機低空飛行的現(xiàn)代空中預(yù)警系統(tǒng)通常由雷達(dá)、通信、導(dǎo)航、指揮控制、敵我識別、數(shù)據(jù)處理和電子對抗等設(shè)備構(gòu)成，具有搜索、監(jiān)視、跟蹤和指揮攻擊等多種功能。采用信息融合技術(shù)，以達(dá)到精確目標(biāo)獲取、識別和跟蹤的目的,10,空中目標(biāo)偵察與預(yù)警,網(wǎng)絡(luò)聯(lián)系的現(xiàn)代戰(zhàn)場 現(xiàn)代戰(zhàn)爭提供一切獲取信息的手段，包括雷達(dá)、紅外攝象機、光學(xué)攝象機、通信設(shè)施、計算機網(wǎng)絡(luò)等，并對所獲取的信息進行融合，以得到最佳可利用信息。手持式入網(wǎng)計算機是十分理想的工具,11,空中目標(biāo)偵察與預(yù)警,全場景預(yù)警 美國國防部的一份研究報告認(rèn)為， 按照現(xiàn)代戰(zhàn)爭的概念，必須在戰(zhàn)

6、場上按正確時間向戰(zhàn)士提供正確信息，包括各種傳感信息和由之產(chǎn)生的融合信息,實時圖象 微觀氣象移動目標(biāo) 集成信息,物理模型 動態(tài)數(shù)據(jù)庫 微型傳感器 無線通信 下一代因特網(wǎng),12,空中目標(biāo)偵察與預(yù)警,現(xiàn)代戰(zhàn)爭中的機敏傳感網(wǎng)絡(luò)適應(yīng)范圍: 城市街巷, 地鐵、下水道, 困難的農(nóng)村地域, 濃霧地區(qū), 跟蹤慢目標(biāo)和快目標(biāo), 快速反應(yīng),13,空中目標(biāo)偵察與預(yù)警,只有正確估計目標(biāo)未來的運動軌跡，才有可能正確擊中目標(biāo)； 過去總是假定目標(biāo)作勻速直線運動，這對于相對低機動的飛機等目標(biāo)運動是正確的，但對于巡航導(dǎo)彈之類的高機動運動目標(biāo)，這一假設(shè)將完全無效,目標(biāo)的運動方程一般太復(fù)雜（用上百個狀態(tài)變量的非線性微分方程描述），而

7、目標(biāo)的控制行為不確定，估計難度極大； 雙方可能有對抗行為，相互規(guī)避； 現(xiàn)代戰(zhàn)爭的群攻群防改變了戰(zhàn)場以往作戰(zhàn)的模式，使得多目標(biāo)運動狀態(tài)估計成為新的問題,目標(biāo)跟蹤,14,空中目標(biāo)偵察與預(yù)警,空中攔截是現(xiàn)代戰(zhàn)爭的又一特點，其關(guān)鍵技術(shù)是對敵方目標(biāo)運動軌跡的精確估計，其次才是精確控制我方攻擊武器的運動過程，達(dá)到攔截的目的,由于敵方目標(biāo)運動的高速和高度機動性，空中攔截?zé)o異于“針尖對麥芒”； 對于洲際導(dǎo)彈而言，對敵方目標(biāo)的搜索、發(fā)現(xiàn)、識別和跟蹤具有更大的困難； 電子對抗的強干擾，使得目標(biāo)的發(fā)現(xiàn)和跟蹤變得更加復(fù)雜,空中目標(biāo)攔截,15,智能交通與智能車輛,車輛自動導(dǎo)航 促進信息融合理論發(fā)展的另一個重要因素是現(xiàn)代

8、民用高科技發(fā)展的需求。繁忙復(fù)雜的現(xiàn)代城市交通和快速便捷的高速公路，以及未來將要出現(xiàn)的自動車輛系統(tǒng)（AVS），均要求建立智能交通系統(tǒng)（ATS）進行智能監(jiān)測和控制，同樣要求對車輛運行進行交通監(jiān)視和跟蹤，更需要多傳感信息融合。未來自動車輛系統(tǒng)異類傳感器包括視頻傳感器、激光掃描儀和雷達(dá)傳感器等，融合的目的在于把目標(biāo)輸入到路徑規(guī)劃與制導(dǎo)系統(tǒng)中去,16,智能交通與智能車輛,日本的車輛駕駛支持系統(tǒng),17,智能交通與智能車輛,智能交通系統(tǒng)中的多傳感,18,智能交通與智能車輛,未來的智能交通系統(tǒng),19,智能交通與智能車輛,DEMO 無人駕駛車輛的多傳感信息融合，傳感器包括： 聲音傳感器 立體攝像機 彩色CCD攝

9、像機 背部攝像機 激光雷達(dá) 檢測雷達(dá),20,智能交通與智能車輛,自動車輛,前激光掃描儀,三光束激光掃描儀,車輛制導(dǎo)系統(tǒng)的信息融合,21,智能交通與智能車輛,碰撞報警與規(guī)避系統(tǒng),該系統(tǒng)的多傳感包括： 計算機視覺 聲納IR掃描儀 多CPU網(wǎng)絡(luò) 音頻與視頻監(jiān)測報警器 節(jié)流變形與制動沖擊 激光雷達(dá)與MMW雷達(dá),22,目標(biāo)識別與身份認(rèn)證,現(xiàn)代戰(zhàn)爭還要求空中偵察與預(yù)警系統(tǒng)能對敵方目標(biāo)進行識別，以便有針對性進行攻防；而現(xiàn)代身份認(rèn)證系統(tǒng)也要求能對人或物進行識別和辨認(rèn)。這些都需要多傳感信息融合技術(shù)的支持,23,目標(biāo)識別與身份認(rèn)證,譜圖,音頻傳感,地震傳感,熱像傳感,目標(biāo),視頻傳感,運動目標(biāo)識別的多傳感信息融合,

10、24,目標(biāo)識別與身份認(rèn)證,面部認(rèn)證,聲音認(rèn)證,一般用戶界面,超級用戶訪問界面,身份認(rèn)證的多源信息融合,25,目標(biāo)識別與身份認(rèn)證,利用面部識別 (面部)、語音上下文無關(guān) (語音TI)和語音上下文相關(guān)(語音TD)的幾種信息源進行融合的結(jié)果比較,身份認(rèn)證融合結(jié)果比較,26,目標(biāo)識別與身份認(rèn)證,音頻 特征,視頻 特征,決策 邏輯,決策 邏輯,融合,決策邏輯,認(rèn)證,音頻模型,視頻模型,基于音頻和視頻信息融合的身份識別,27,機器人,機器人作為人類20世紀(jì)最偉大的發(fā)明之一，在短短的40年內(nèi)發(fā)生了日新月異的變化。機器人已經(jīng)不僅成為先進制造業(yè)不可缺少的自動化裝備，而且正以驚人的速度向海洋、航空、航天、軍事、農(nóng)

11、業(yè)、服務(wù)、娛樂等各個領(lǐng)域滲透。信息融合是機器人的現(xiàn)代支撐技術(shù)之一，它為多傳感器的綜合利用提供了最有效的技術(shù)手段,火星探測器上的機器人“漫游者,28,機器人,軍用機器人戰(zhàn)車,搬運和裝配工業(yè)機器人,29,機器人,智能機器人 智能移動機器人是高級機器人。智能移動機器人集人工智能、智能控制、信息處理、圖像處理、檢測與轉(zhuǎn)換、信息融合等技術(shù)為一體，跨計算機、自動控制、機械、電子等多學(xué)科，成為當(dāng)前機器人研究的熱點之一。智能移動機器人可分為室外和室內(nèi)兩種。室外智能移動機器人又稱自主陸地車輛或無人駕駛車輛。 多傳感信息融合是智能移動機器人的關(guān)鍵技術(shù)之一,圖10.4.7 AIBO寵物機器人,焊接智能機器人,寵物智

12、能機器人,30,機器人,智能機器人涉及控制工程、計算機、人工智能、傳感、新材料、仿生技術(shù)等多種學(xué)科，主要研究分支有擬人智能技術(shù)，未知環(huán)境信息獲取、理解和控制的新機制理論，復(fù)雜環(huán)境中的機器人自主工作新方法，人機接口，機器人的智能體系結(jié)構(gòu)、多傳感器機器人系統(tǒng)、裝配機器人、微操作機器人、微機器人，基于網(wǎng)絡(luò)的機器人遙操作系統(tǒng)等,智能機器人,31,機器人,利用高速視覺反饋的抓取機器人,32,圖像融合與圖像重構(gòu),由原始圖像得到更多的圖像信息。圖像融合是遙感地理分布資源信息提煉、戰(zhàn)場可視化、預(yù)警系統(tǒng)、醫(yī)學(xué)三維圖像重構(gòu)、機器人視覺等領(lǐng)域非常需要的先進技術(shù)，是一個很有發(fā)展前景的方向,33,圖像融合與圖像重構(gòu),R

13、eference: S. B. Serpico and F. Roli, “Classification of multisensor remote-sensing images by structured neural networks”, IEEE Trans. Geosci. Remote Sensing, vol. 33, pp. 562-578, May 1995,圖像融合例1,34,圖像融合與圖像重構(gòu),圖像融合例2,35,食道壁超聲成象信息融合，即利用超聲傳感形成二維圖象，然后利用融合技術(shù)使之進行三維重構(gòu)食道圖象，為醫(yī)療診斷和治療提供了重要技術(shù)手段,圖像融合與圖像重構(gòu),三維重構(gòu)食道

14、圖象,a)健康切片 (b)切片輪廓線,a)非健康切片 (b)切片輪廓線,融合,融合,系統(tǒng)結(jié)構(gòu)圖 信息獲取并進行融合,醫(yī)學(xué)圖像重構(gòu),36,三、信息融合系統(tǒng)的模型和結(jié)構(gòu),融合系統(tǒng)模式 推斷技術(shù)的遞階結(jié)構(gòu) 融合系統(tǒng)的分類 集中式融合系統(tǒng)結(jié)構(gòu) 自主式融合系統(tǒng)結(jié)構(gòu) 混合式融合系統(tǒng)結(jié)構(gòu),37,信息源,局部信息,分布信息,國家信息,INTEL,EW,SONAR,RADAR,DATA,BASES,信息融合模式,數(shù)據(jù)庫管理系統(tǒng),支持 數(shù)據(jù)庫,用戶,融合系統(tǒng)模式,融合 數(shù)據(jù)庫,38,推斷技術(shù)的遞階結(jié)構(gòu),推斷類型,應(yīng)用技術(shù),威脅分析,態(tài)勢評估,實體的行為與關(guān)系,一個實體的身份,特征與位置,一個實體的存在與可量測特征

15、,高,低,基于知識的技術(shù),決策層次的技術(shù),估計技術(shù),信號處理技術(shù),專家系統(tǒng)- 腳本,框架,模版 基于案例的推理 一般算法 - 等,神經(jīng)網(wǎng)絡(luò)- 集群算法 - 模糊邏輯,Bayes網(wǎng)絡(luò) -后驗概率最大化 (如 Kalman濾波 , Bayes方法), - 證據(jù)推理,推斷層次,39,融合系統(tǒng)的分類,數(shù)據(jù)（像素）級融合,特征級融合,決策級融合,以身份識別系統(tǒng)為例，說明不同類別的融合系統(tǒng),40,集中式融合系統(tǒng)結(jié)構(gòu),在集中式系統(tǒng)結(jié)構(gòu)中，各個傳感器錄取的檢測報告直接被送到融合中心，在那里進行數(shù)據(jù)對準(zhǔn)，點跡相關(guān)，數(shù)據(jù)關(guān)聯(lián)，航跡濾波、預(yù)測與綜合跟蹤,41,分布式融合系統(tǒng)結(jié)構(gòu),分布式結(jié)構(gòu)中每個傳感器先進行數(shù)據(jù)處理

16、產(chǎn)生局部航跡，然后把處理后的信息送至融合中心完成航跡關(guān)聯(lián)和融合，形成全局估計,42,混合式融合系統(tǒng)結(jié)構(gòu),混合式同時傳輸探測報告和經(jīng)過局部節(jié)點處理后的航跡信息，它保留了上述兩類系統(tǒng)的優(yōu)點,43,四、多源信息融合主要技術(shù)和方法,信息融合的研究范圍 信息融合的主要方法 多源信息融合的主要理論基礎(chǔ),44,信息融合的研究范圍,感知與感覺：把多個感官信息進行交融的過程。 決策：包括特征識別和算法，導(dǎo)致多源信息的互補集成，改善不確定環(huán)境中的決策過程。 邏輯與推理：歸納是一個典型的多源信息融合過程。 學(xué)習(xí)：由多個數(shù)據(jù)或案例中提取模型、模式或關(guān)系等，能夠用于模式識別、數(shù)據(jù)挖掘、知識發(fā)現(xiàn)等方面。 統(tǒng)計：統(tǒng)計學(xué)的精

17、髓在于為了某種目的進行數(shù)據(jù)約簡。 信號與圖像處理：利用多源數(shù)據(jù)進行信號的檢測與估計，包括圖像重構(gòu)。 分布式網(wǎng)絡(luò)：網(wǎng)絡(luò)中不同層次的融合中心就是對來自網(wǎng)絡(luò)各個結(jié)點的信息進行融合。 多傳感器系統(tǒng)：利用多種傳感器采集各種信息，包括同類信息和異類信息，并利用計算機對多傳感信息進行有效處理，以達(dá)到某種目的,45,信息融合的主要方法,信號處理與估計理論方法：包括小波變換技術(shù)、加權(quán)平均、最小二乘、Kalman濾波等線性估計技術(shù)，以及擴展Kalman濾波，Gauss和濾波等非線性估計技術(shù)等。近年來主要研究UKF濾波，粒子濾波，以及期望極大化（EM）算法等。 統(tǒng)計推斷方法：包括經(jīng)典推理、Bayes推理、證據(jù)推理，

18、以及隨機集理論、支持向量機理論等。 信息論方法：運用優(yōu)化信息度量的手段融合多源數(shù)據(jù)，從而獲得問題的有效解決。典型算法有熵方法、最小描述長度方法等。 決策論方法：往往應(yīng)用于高級別的決策融合。 人工智能方法：包括模糊邏輯、神經(jīng)網(wǎng)絡(luò)、遺傳算法、基于規(guī)則的推理以及專家系統(tǒng)、 邏輯模板法、品質(zhì)因數(shù)法等。 幾何方法：通過充分探討環(huán)境以及傳感器模型的幾何屬性來達(dá)到多傳感信息融合的目的,46,多源信息融合的主要理論基礎(chǔ),信號處理與估計理論：包括不確定、不精確、含糊的數(shù)學(xué)分支，如概率論、模糊數(shù)學(xué)、隨機集理論、粗糙集理論等； 統(tǒng)計學(xué)：包括統(tǒng)計推斷和決策理論等； 各種邏輯、推理和證據(jù)理論：包括證據(jù)推理、條件事件代數(shù)

19、、不確定性推理、可能性理論，以及近似推理等； 認(rèn)知科學(xué)與腦科學(xué)：包括認(rèn)知理論與腦科學(xué)等； 學(xué)習(xí)理論：包括統(tǒng)計學(xué)習(xí)和機器學(xué)習(xí)等； 計算機科學(xué)：包括人工智能和數(shù)據(jù)庫等； 工程：特別是機器人、信號與圖像處理、傳感器和網(wǎng)絡(luò)等； 其它：如信息論、控制論與系統(tǒng)論、神經(jīng)元網(wǎng)絡(luò)等,47,五、發(fā)展起源、現(xiàn)狀與未來,發(fā)展起源 現(xiàn)狀與未來 關(guān)鍵的問題 現(xiàn)有的統(tǒng)計推斷方法及其缺陷 新的解決思路與發(fā)展概況,48,發(fā)展起源,20世紀(jì)70年代，美國的研究機構(gòu)通過對多個獨立的連續(xù)聲納信號進行融合處理，自動檢測出敵方潛艇的位置。 1985年，美國三軍組織實驗室理事聯(lián)合會（JDL）下設(shè)的技術(shù)委員會成立了信息融合專家組（DFS），專門組織和指導(dǎo)相關(guān)技術(shù)的研究，為統(tǒng)一數(shù)據(jù)融合的定義、建立信息融合的公共參考框架做了大量卓有成效的工作。 美國1988年起把信息融合列為重點研究和開發(fā)的20項關(guān)鍵技術(shù)之一，且列為最優(yōu)先發(fā)展的A類。 1998年成立的國際信息融合學(xué)會（International Society of Information Fusion，ISIF），總部設(shè)在美國，每年都舉辦一次信息融合國際學(xué)術(shù)大會，系統(tǒng)總結(jié)該領(lǐng)域的階段性研究成果以及介紹該領(lǐng)