智能信息處理(1)

1、整理ppt1 多傳感器信息融合 整理整理ppt2 大綱大綱 信息融合研究背景及現(xiàn)狀信息融合研究背景及現(xiàn)狀1 信息融合基本簡介信息融合基本簡介2 信息融合分類及實(shí)現(xiàn)方法信息融合分類及實(shí)現(xiàn)方法3 信息融合現(xiàn)缺陷及未來展望信息融合現(xiàn)缺陷及未來展望4 整理整理ppt3 19911988 19801973 信息融合 (information fusion)起初被稱為數(shù)據(jù)融合 (data fusion)， 起源于1973年美國國防部資助開發(fā)的聲納信號處理系統(tǒng) 數(shù)據(jù)融合MSDFC3IC4I 研究背景研究背景 信息融合起源 整理整理ppt4 19911988 19801973 20世紀(jì)80年代，為了滿足軍事領(lǐng)

2、域中作戰(zhàn)的需要， 多傳感器數(shù)據(jù)融合MSDF (Multi-sensor Data Fusion)技術(shù)應(yīng)運(yùn)而生。 數(shù)據(jù)融合MSDFC3IC4I 研究背景研究背景 信息融合起源 整理整理ppt5 19911988 19801973 1988年，美國將C3I(Command，Control，Commication and Intelligence) 系統(tǒng)中的數(shù)據(jù)融合技術(shù)列為國防部重點(diǎn)開發(fā)的二十項(xiàng)關(guān)鍵技術(shù)之一。 數(shù)據(jù)融合MSDFC3IC4I 研究背景研究背景 信息融合起源 整理整理ppt6 19911988 19801973 1991年美國已有54個數(shù)據(jù)融合系統(tǒng)引入到軍用電子系統(tǒng)中去， 其中87%已有

3、試驗(yàn)樣機(jī)、試驗(yàn)床或已被應(yīng)用。 由于信息融合技術(shù)在海灣戰(zhàn)爭中表現(xiàn)出的巨大潛力， 在戰(zhàn)爭結(jié)束后,美國國防部又在C3I系統(tǒng)中加入計算機(jī)(computer)， 開發(fā)了以信息融合為中心的C4I系統(tǒng)。 數(shù)據(jù)融合MSDFC3IC4I 研究背景研究背景 信息融合起源 整理整理ppt7 研究現(xiàn)狀研究現(xiàn)狀 當(dāng)前，信息融合技術(shù)在軍事中的應(yīng)用研究己當(dāng)前，信息融合技術(shù)在軍事中的應(yīng)用研究己 經(jīng)從低層的目標(biāo)檢測、識別和跟蹤轉(zhuǎn)向了態(tài)經(jīng)從低層的目標(biāo)檢測、識別和跟蹤轉(zhuǎn)向了態(tài) 勢評估和威脅估計等高層應(yīng)用。勢評估和威脅估計等高層應(yīng)用。 目前，信息融合技術(shù)己在許多民用領(lǐng)域取得目前，信息融合技術(shù)己在許多民用領(lǐng)域取得 成效。這些領(lǐng)域主要包

4、括成效。這些領(lǐng)域主要包括:機(jī)器人和智能儀機(jī)器人和智能儀 器系統(tǒng)、智能制造系統(tǒng)、戰(zhàn)場任務(wù)與無人駕器系統(tǒng)、智能制造系統(tǒng)、戰(zhàn)場任務(wù)與無人駕 駛飛機(jī)、航天應(yīng)用、目標(biāo)檢測與跟蹤、圖像駛飛機(jī)、航天應(yīng)用、目標(biāo)檢測與跟蹤、圖像 分析與理解、慣性導(dǎo)航、模式識別等領(lǐng)域。分析與理解、慣性導(dǎo)航、模式識別等領(lǐng)域。 整理整理ppt8 信息融合定義信息融合定義 信息融合是一種多層次、多方面的處理過程, 包括 對多源數(shù)據(jù)進(jìn)行自動化的檢測、互聯(lián)、相關(guān)、估計 和組合處理，從而提高狀態(tài)和身份估計的精度，以 及對戰(zhàn)場態(tài)勢和威脅的重要程度進(jìn)行有效的評價。 -美國國防部定義：美國國防部定義：1991 利用計算機(jī)技術(shù)對按時序獲得的若干傳感

5、器的觀測 信息在一定準(zhǔn)則下加以自動分析，優(yōu)化綜合以完成 所需的決策和估計任務(wù)而進(jìn)行的信息處理過程。 -最新定義 整理整理ppt9 信息融合的基本原理 左耳和右耳的 聽覺傳感器分 別獲取一維聲 音信息，經(jīng)大 腦融合后產(chǎn)生 立體聲音信息 ； 左目和右目的視 覺傳感器分別 獲取二維圖象信 息，經(jīng)大腦融 合后產(chǎn)生立體圖 象信息； 自然界同類多傳感信息融合 整理整理ppt10 信息融合的基本原理信息融合的基本原理 自 然 界 異 類 多 傳 感 信 息 融 合 整理整理ppt11 信息融合優(yōu)勢 優(yōu)勢 改進(jìn)探測性能改進(jìn)探測性能擴(kuò)展空間和時間覆蓋范圍擴(kuò)展空間和時間覆蓋范圍 提高可信度提高可信度 提高空間分辨

6、率提高空間分辨率 增強(qiáng)系統(tǒng)的生存能力增強(qiáng)系統(tǒng)的生存能力 降低信息的模糊度降低信息的模糊度 整理整理ppt12 信息融合模型與結(jié)構(gòu) 美國三軍組織實(shí)驗(yàn)室理事聯(lián)合會（JDL）數(shù)據(jù)融合模型 (Joint Directors of Laboratories) 整理整理ppt13 評估是指評價實(shí) 體之間的相互關(guān) 系，包括敵我雙 方兵力結(jié)構(gòu)和使 用特點(diǎn)，是對戰(zhàn) 場上戰(zhàn)斗力量分 配情況的評價過 程。 主要功能包括數(shù) 據(jù)對準(zhǔn)、數(shù)據(jù)關(guān) 聯(lián)、目標(biāo)運(yùn)動學(xué) 參數(shù)估計（跟蹤 ），以及身份估 計等，其結(jié)果為 更高級別的融合 過程提供輔助決 策信息。 它將當(dāng)前態(tài)勢映射 到未來。在軍事領(lǐng) 域即指威脅估計用 以對作戰(zhàn)事件出現(xiàn) 的

7、程度和可能性進(jìn) 行估計，并對敵方 作戰(zhàn)企圖給出指示 和告警。 信息融合處理過程 一級處理 目標(biāo)評估 二級處理 態(tài)勢評估 三級處理 影響評估 四級處理 過程評估 它是一個更高級的處理 階段。通過建立一定的 優(yōu)化指標(biāo)，對整個融合 過程進(jìn)行實(shí)時監(jiān)控與評 價，從而實(shí)現(xiàn)多傳感器 自適應(yīng)信息獲取和處理 ，以支持特定的任務(wù)目 標(biāo)，并最終提高整個系 統(tǒng)的性能 整理整理ppt14 信息融合層次的劃分主要有兩種方法。 u 第一種方法是按照融合對象的層次不同，將信息融合劃分為低層（數(shù) 據(jù)級或像素級）、中層（特征級）和高層（決策級）。 u 另一種方法將是將傳感器集成和數(shù)據(jù)融合劃分為信號級、證據(jù)級和動 態(tài)級。 信息融合

8、的分類信息融合的分類 整理整理ppt15 數(shù)據(jù)級融合(或像素級融合) 對傳感器的原始數(shù)據(jù)及預(yù)處理各階段上產(chǎn)生的信息分別 進(jìn)行融合處理。盡可能多地保持了原始信息，能夠提供 其它兩個層次融合所不具有的細(xì)微信息。 局限性： (1)由于所要處理的傳感器信息量大，故處理代價高； (2)融合是在信息最低層進(jìn)行的，由于傳感器的原始數(shù) 據(jù)的不確定性、不完全性和不穩(wěn)定性，要求在融合時有 較高的糾錯能力； (3)由于要求各傳感器信息之間具有精確到一個像素的 配準(zhǔn)精度，故要求傳感器信息來自同質(zhì)傳感器； (4)通信量大。 整理整理ppt16 數(shù)據(jù)級融合(或像素級融合) 監(jiān) 測 對 象 傳感器1 特征 提取 傳感器2

9、傳感器N 數(shù) 據(jù) 融 合 識別決策 整理整理ppt17 特征級融合 利用從各個傳感器原始數(shù)據(jù)中提取的特征信息，進(jìn)行綜合 分析和處理的中間層次過程。 通常所提取的特征信息應(yīng)是數(shù)據(jù)信息的充分表示量或統(tǒng)計 量，據(jù)此對多傳感器信息進(jìn)行分類、匯集和綜合。 特征級融合分類： 目標(biāo)狀態(tài)信息融合 目標(biāo)特性融合。 監(jiān) 測 對 象 特 征 融 合 傳感器1 傳感器2 傳感器N 識別決策 特征提取 特征提取 特征提取 整理整理ppt18 決策級融合 在信息表示的最高層次上進(jìn)行的融合處理。不同類型的傳感器觀測 同一個目標(biāo)，每個傳感器在本地完成預(yù)處理、特征抽取、識別或判斷， 以建立對所觀察目標(biāo)的初步結(jié)論，然后通過相關(guān)處

10、理、決策級融合判 決，最終獲得聯(lián)合推斷結(jié)果，從而直接為決策提供依據(jù)。 因此，決策級融合是直接針對具體決策目標(biāo)，充分利用特征級融 合所得出的目標(biāo)各類特征信息，并給出簡明而直觀的結(jié)果。 決策級融合優(yōu)點(diǎn)： 實(shí)時性最好 在一個或幾個傳感器失效時仍能給出最終決策，因此具有良好的 容錯性。 整理整理ppt19 決策級融合 監(jiān) 測 對 象 決 策 融 合 傳感器1 傳感器2 傳感器N 決策 特征提取 特征提取 特征提取 識別 識別 識別 整理整理ppt20 信息融合方法 嵌入約束法 證據(jù)組合法 人工神經(jīng)網(wǎng)絡(luò)法 信息融合信息融合 方法方法 整理整理ppt21 嵌入約束法 由多種傳感器所獲得的客觀環(huán)境(即被測對

11、象) 的多組數(shù)據(jù)就是客觀環(huán)境按照某種映射關(guān)系映射關(guān)系形 成的像像，信息融合就是通過像求解原像像求解原像，即對 客觀環(huán)境加以了解。用數(shù)學(xué)語言描述就是，所 有傳感器的全部信息，也只能描述環(huán)境的某些 方面的特征，而具有這些特征的環(huán)境卻有很多， 要使一組數(shù)據(jù)對應(yīng)惟一的環(huán)境(即上述映射為一 一映射)，就必須對映射的原像和映射本身加約 束條件，使問題能有惟一的解。 嵌入約束法最基本的方法：Bayes估計估計和卡爾卡爾 曼濾波曼濾波 整理整理ppt22 證據(jù)組合法 證據(jù)組合法是對完成某一任務(wù)的需要而處理多種證據(jù)組合法是對完成某一任務(wù)的需要而處理多種 傳感器的數(shù)據(jù)信息，完成某項(xiàng)智能任務(wù)，實(shí)際是傳感器的數(shù)據(jù)信息

12、，完成某項(xiàng)智能任務(wù)，實(shí)際是 做出某項(xiàng)行動決策。它先對單個傳感器數(shù)據(jù)信做出某項(xiàng)行動決策。它先對單個傳感器數(shù)據(jù)信 息每種可能決策的支持程度給出度量息每種可能決策的支持程度給出度量( (即數(shù)據(jù)信息即數(shù)據(jù)信息 作為證據(jù)對決策的支持程度作為證據(jù)對決策的支持程度) )，再尋找一種證據(jù)組，再尋找一種證據(jù)組 合方法或規(guī)則，在已知兩個不同傳感器數(shù)據(jù)合方法或規(guī)則，在已知兩個不同傳感器數(shù)據(jù)( (即證即證 據(jù)據(jù)) )對決策的分別支持程度時，通過反復(fù)運(yùn)用組合對決策的分別支持程度時，通過反復(fù)運(yùn)用組合 規(guī)則，最終得出全體數(shù)據(jù)信息的聯(lián)合體對某決策規(guī)則，最終得出全體數(shù)據(jù)信息的聯(lián)合體對某決策 總的支持程度。得到最大證據(jù)支持決策，

13、即信息總的支持程度。得到最大證據(jù)支持決策，即信息 融合的結(jié)果。融合的結(jié)果。 整理整理ppt23 人工神經(jīng)網(wǎng)絡(luò)法 通過模仿人腦的結(jié)構(gòu)和工作原理，設(shè)計和建立相應(yīng)通過模仿人腦的結(jié)構(gòu)和工作原理，設(shè)計和建立相應(yīng) 的機(jī)器和模型并完成一定的的機(jī)器和模型并完成一定的智能任務(wù)智能任務(wù)。 神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接收到的樣本的相似性，神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接收到的樣本的相似性， 確定分類標(biāo)準(zhǔn)。這種確定方法主要表現(xiàn)在確定分類標(biāo)準(zhǔn)。這種確定方法主要表現(xiàn)在網(wǎng)絡(luò)權(quán)值網(wǎng)絡(luò)權(quán)值 分布上，同時可采用神經(jīng)網(wǎng)絡(luò)特定的分布上，同時可采用神經(jīng)網(wǎng)絡(luò)特定的學(xué)習(xí)算法學(xué)習(xí)算法來獲來獲 取知識，得到不確定性推理機(jī)制。取知識，得到不確定性推理機(jī)制。

14、 整理整理ppt24 人工神經(jīng)網(wǎng)絡(luò)法 神經(jīng)網(wǎng)絡(luò)多傳感器信息融合的實(shí)現(xiàn)，分三個重要步驟：神經(jīng)網(wǎng)絡(luò)多傳感器信息融合的實(shí)現(xiàn)，分三個重要步驟： 根據(jù)智能系統(tǒng)要求及傳感器信息融合的形式，選擇其拓?fù)涓鶕?jù)智能系統(tǒng)要求及傳感器信息融合的形式，選擇其拓?fù)?結(jié)構(gòu)；結(jié)構(gòu)； 各傳感器的輸入信息綜合處理為一總體輸入函數(shù)，并將此各傳感器的輸入信息綜合處理為一總體輸入函數(shù)，并將此 函數(shù)映射定義為相關(guān)單元的映射函數(shù)函數(shù)映射定義為相關(guān)單元的映射函數(shù), ,通過神經(jīng)網(wǎng)絡(luò)與環(huán)通過神經(jīng)網(wǎng)絡(luò)與環(huán) 境的交互作用把環(huán)境的統(tǒng)計規(guī)律反映網(wǎng)絡(luò)本身結(jié)構(gòu)；境的交互作用把環(huán)境的統(tǒng)計規(guī)律反映網(wǎng)絡(luò)本身結(jié)構(gòu)； 對傳感器輸出信息進(jìn)行學(xué)習(xí)、理解，確定權(quán)值的分配，

15、完對傳感器輸出信息進(jìn)行學(xué)習(xí)、理解，確定權(quán)值的分配，完 成知識獲取信息融合，進(jìn)而對輸入模式做出解釋，將輸入成知識獲取信息融合，進(jìn)而對輸入模式做出解釋，將輸入 數(shù)據(jù)向量轉(zhuǎn)換成高層邏輯數(shù)據(jù)向量轉(zhuǎn)換成高層邏輯( (符號符號) )概念。概念。 整理整理ppt25 基于神經(jīng)網(wǎng)絡(luò)的傳感器信息融合特點(diǎn) u具有統(tǒng)一的內(nèi)部知識表示形式，通過學(xué)習(xí)算法可具有統(tǒng)一的內(nèi)部知識表示形式，通過學(xué)習(xí)算法可 將網(wǎng)絡(luò)獲得的傳感器信息進(jìn)行融合，獲得相應(yīng)網(wǎng)將網(wǎng)絡(luò)獲得的傳感器信息進(jìn)行融合，獲得相應(yīng)網(wǎng) 絡(luò)的參數(shù)，并且可將知識規(guī)則轉(zhuǎn)換成數(shù)字形式，絡(luò)的參數(shù)，并且可將知識規(guī)則轉(zhuǎn)換成數(shù)字形式， 便于建立知識庫；便于建立知識庫； u利用外部環(huán)境的信

16、息，便于實(shí)現(xiàn)利用外部環(huán)境的信息，便于實(shí)現(xiàn)知識自動獲取知識自動獲取及及 并行聯(lián)想推理并行聯(lián)想推理； u能夠?qū)⒉淮_定環(huán)境的復(fù)雜關(guān)系，經(jīng)過能夠?qū)⒉淮_定環(huán)境的復(fù)雜關(guān)系，經(jīng)過學(xué)習(xí)推理學(xué)習(xí)推理， 融合為系統(tǒng)能理解的準(zhǔn)確信號；融合為系統(tǒng)能理解的準(zhǔn)確信號； u由于神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行處理信息能力，使由于神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行處理信息能力，使 得系統(tǒng)信息處理速度很快。得系統(tǒng)信息處理速度很快。 整理整理ppt26 應(yīng)用領(lǐng)域應(yīng)用領(lǐng)域 應(yīng)用 領(lǐng)域 工業(yè)過程監(jiān)視及 工業(yè)機(jī)器人 遙感與金融系統(tǒng) 空中交通管制與 病人照顧系統(tǒng) 船舶避碰與交通 管制系統(tǒng) 生物特征的身份 識別 采用多傳感器的 自主式武器系統(tǒng) 和自備式運(yùn)載器

17、情報收集系統(tǒng) 采用多傳感器進(jìn) 行截獲、跟蹤和 指揮制導(dǎo)的火控 系統(tǒng) 軍事力量的指揮 和控制站 敵情指示和預(yù)警 系統(tǒng) Text 民用軍用 整理整理ppt27 機(jī)器人中的傳感器信息融合機(jī)器人中的傳感器信息融合 控制和信控制和信 息融合計息融合計 算機(jī)算機(jī) 自主移動裝配機(jī)器人自主移動裝配機(jī)器人 裝配機(jī)械手裝配機(jī)械手 力覺傳感器力覺傳感器 觸覺傳感器觸覺傳感器 視覺傳感器視覺傳感器 超聲波傳感器超聲波傳感器 激光測距傳感器激光測距傳感器 多傳感器信息融合自主移動裝配機(jī)器人多傳感器信息融合自主移動裝配機(jī)器人 整理整理ppt28 多傳感器在移動機(jī)器人中的應(yīng)用 外界環(huán)境外界環(huán)境 視覺視覺視覺視覺超聲波傳感器

18、超聲波傳感器紅外接近覺紅外接近覺 立體視覺立體視覺地標(biāo)識別地標(biāo)識別 障礙探測障礙探測 目標(biāo)物探測目標(biāo)物探測 景物識別景物識別 內(nèi)部傳內(nèi)部傳 感器感器 融合融合 力覺力覺觸覺觸覺 環(huán)境模型定位 避障 操作規(guī)劃 學(xué)習(xí) 路徑規(guī)劃 任務(wù)規(guī)劃：執(zhí) 行機(jī)構(gòu)控制 指令 感覺感覺 功能功能 整理整理ppt29 艦船上的傳感器信息融合艦船上的傳感器信息融合 行掃描 處理器 紅外探測器 直流偏 壓AGC 搜索器萬向支架 慣性導(dǎo) 航系統(tǒng) 圖像攝像機(jī) 萬向支架 圖像 處理 共享 存儲器 數(shù)據(jù)融合 處理器 環(huán)境控制 顯示 記錄 人機(jī) 界面 圖像攝像機(jī) 傳感器 海軍艦船傳感器信息融合系統(tǒng) 整理整理ppt30 目標(biāo)識別與身

19、份認(rèn)證 基于音頻和視頻信息融合的身份識別 （現(xiàn)代戰(zhàn)爭、現(xiàn)代身份驗(yàn)證） 整理整理ppt31 機(jī)器人機(jī)器人 機(jī)器人作為人類20世紀(jì) 最偉大的發(fā)明之一，在短短 的40年內(nèi)發(fā)生了日新月異的 變化。機(jī)器人已經(jīng)不僅成為 先進(jìn)制造業(yè)不可缺少的自動 化裝備，而且正以驚人的速 度向海洋、航空、航天、軍 事、農(nóng)業(yè)、服務(wù)、娛樂等各 個領(lǐng)域滲透。信息融合是機(jī) 器人的現(xiàn)代支撐技術(shù)之一， 它為多傳感器的綜合利用提 供了最有效的技術(shù)手段。 搬運(yùn)和裝配工業(yè)機(jī)器人 整理整理ppt32 圖像融合 圖像融合在機(jī)器視覺監(jiān)視系統(tǒng)中的應(yīng)用 圖像融合可以增強(qiáng)影像中的信息透明度，改善解釋的精度，提高可靠性 及使用率。 整理整理ppt33 醫(yī)

20、學(xué)圖像融合 整理整理ppt34 身邊的應(yīng)用身邊的應(yīng)用 u 刑偵 多傳感器數(shù)據(jù)融合技術(shù)在刑偵中的應(yīng)用，主要是利用紅外、微波 等傳感設(shè)備進(jìn)行隱匿武器檢查、毒品檢查等。另外，將人體的各 種生物特征如人臉、指紋、聲音、虹膜等進(jìn)行適當(dāng)?shù)娜诤希艽?幅度提高對人的身份識別與認(rèn)證能力，這對提高安全保衛(wèi)能力是 非常重要的。 u 故障診斷 在工業(yè)監(jiān)控應(yīng)用中，每個傳感器基于自身的檢測統(tǒng)計量，可以提 煉出有關(guān)系統(tǒng)故障的特征信息（故障表征）。在局部故障診斷處 理單元，利用這些故障特征信息，并按照多種故障診斷方法對被 診斷的對象做出是否有故障發(fā)生的推斷。而融合中心則基于一定 的準(zhǔn)則進(jìn)行融合處理，最終得出對象是否存在故障

21、的決策。 整理整理ppt35 信息融合研究領(lǐng)域目前存在的問題 23 未形成基本 的理論框架 和有效廣義 模型及算法 關(guān)聯(lián)的二義 性是信息融 合中的主要 障礙 1 4 融合系統(tǒng) 的容錯性 和穩(wěn)健型 沒有得到 很好的解 決。 信息融合系 統(tǒng)的設(shè)計還 存在許多的 實(shí)際問題。 其絕大部分工作都是針對特定應(yīng)用領(lǐng)域內(nèi)的問題來開展研究，也 就是說目前對信息融合問題的研究都是根據(jù)問題的種類，各自建 立直觀模型，并在此基礎(chǔ)上 給出所謂的最佳融合方案。由于理論欠缺現(xiàn)象阻礙了研究者對信 息融合本身的深入認(rèn)識，也使得信息融合在某種程度上僅被看成 是一種多傳感器信息處理概念；人們無法對面向?qū)ο蟮娜诤舷到y(tǒng) 作出綜合分析和評估，使得融合系統(tǒng)的設(shè)計常有一定的盲目性。 整理整理ppt36 信息融合研究領(lǐng)域目前存在的問題 23 未形成基本 的理論框架 和有效廣義 模型及算法 關(guān)聯(lián)的二義 性是信息融 合中的主要 障礙 1 4 融合系統(tǒng) 的容錯性 和穩(wěn)健型 沒有得到 很好的解 決。 信息融合系 統(tǒng)的設(shè)計還 存在許多的 實(shí)際問題。 在進(jìn)行融合處理前，必須對信息進(jìn)行關(guān)聯(lián)，以保證融合的信息是 來自同一目標(biāo)或事件。如果對不同目標(biāo)或