信息融合技術(shù)

智能信息處理系列講座

－－信息融合技術(shù)

(InformationFusion)

合肥工業(yè)大學(xué)圖像信息處理研究室Tel:2901393Email:images@

http://images./

胡良梅主要內(nèi)容信息融合概述D-S證據(jù)理論應(yīng)用實(shí)例研究現(xiàn)狀和發(fā)展方向參考文獻(xiàn)色、香、味（視覺、嗅覺、味覺、經(jīng)驗(yàn)知識(shí)）

望、聞、問、切（視覺、聽覺、觸覺、專家知識(shí)……）人腦的信息融合功能人類本能地具有將人體的各種功能器官（眼、耳、鼻、四肢）所探測(cè)的信息（景物、聲音、氣味和觸覺）與先驗(yàn)知識(shí)進(jìn)行綜合的能力，以便對(duì)周圍的環(huán)境和正在發(fā)生的事件做出估計(jì)。這一處理過程是復(fù)雜的，也是自適應(yīng)的，它將各種信息（圖像、聲音、氣味、物理形狀、描述）轉(zhuǎn)化成對(duì)環(huán)境的有價(jià)值的解釋。1.信息融合概述融合（Fusion)

采集并集成各種信息源、多媒體和多格式信息，從而生成完整、準(zhǔn)確、及時(shí)和有效的綜合信息過程研究領(lǐng)域：智能信息處理技術(shù)優(yōu)勢(shì)應(yīng)用綜合性橫斷學(xué)科

技術(shù)優(yōu)勢(shì)可擴(kuò)展系統(tǒng)的時(shí)間和空間覆蓋范圍可增加系統(tǒng)的信息利用率可提高經(jīng)融合的信息的可信度和精度可增強(qiáng)對(duì)目標(biāo)物的檢測(cè)與識(shí)別能力可降低系統(tǒng)的投資應(yīng)用軍事應(yīng)用自動(dòng)目標(biāo)識(shí)別、自動(dòng)導(dǎo)航、遙感、戰(zhàn)場(chǎng)監(jiān)視和自動(dòng)危險(xiǎn)識(shí)別系統(tǒng)

非軍事應(yīng)用智能交通系統(tǒng)；工業(yè)過程監(jiān)視；工業(yè)機(jī)器人及智能儀器系統(tǒng)；金融系統(tǒng)；圖像分析與理解；醫(yī)學(xué)應(yīng)用；

自動(dòng)目標(biāo)識(shí)別（包括生物特征認(rèn)證）

綜合性橫斷學(xué)科數(shù)字信號(hào)處理統(tǒng)計(jì)估算控制理論人工智能經(jīng)典數(shù)學(xué)方法

1.1基本原理充分利用多個(gè)傳感器資源，通過對(duì)這些傳感器及其觀測(cè)信息的合理支配和使用，把多個(gè)傳感器在時(shí)間或空間上的冗余或互補(bǔ)信息依據(jù)某種準(zhǔn)則來進(jìn)行組合，以獲得被測(cè)對(duì)象的一致性解釋或描述，使該信息系統(tǒng)由此而獲得比它的各組成部分的子集所構(gòu)成的系統(tǒng)更優(yōu)越的性能其它術(shù)語：相關(guān)(Correlation)、合成(Integration)、混合(Commixture)、合并(Merging)、協(xié)同(Synergy)

生物特征識(shí)別系統(tǒng)

多傳感器，即利用不同的傳感器來提取同一生物特征的信號(hào)；多種生物特征系統(tǒng)，如人臉和指紋的結(jié)合；同一生物特征的不同部分，如雙手、十指或兩只虹膜的結(jié)合；同一生物特征的不同樣本，如同一手指的不同指??；同一生物特征輸入信號(hào)的多個(gè)特征和匹配算法的結(jié)合

多模態(tài)1.2信息融合的方法和技術(shù)相關(guān)技術(shù)估計(jì)理論識(shí)別技術(shù)

(1)物理類型類識(shí)別技術(shù)

(2)參數(shù)分類識(shí)別技術(shù)

(3)認(rèn)知模型類識(shí)別技術(shù)Texonomyofdetection,classfication,andidentificationalgorithms1.3融合的層次結(jié)構(gòu)數(shù)據(jù)層融合特征層融合

(1)目標(biāo)狀態(tài)融合

(2)目標(biāo)特性融合決策層融合其它數(shù)據(jù)層融合

直接在采集到的原始數(shù)據(jù)層上進(jìn)行融合，在各種傳感器的原始測(cè)報(bào)未經(jīng)預(yù)處理之前就進(jìn)行數(shù)據(jù)的綜合與分析。低層次的融合應(yīng)用：多源圖像復(fù)合、圖像分析與理解、同類（同質(zhì)）雷達(dá)波形的直接合成方法：經(jīng)典的檢測(cè)和估計(jì)方法難點(diǎn)：圖像配準(zhǔn)（Registration）特征層融合目標(biāo)狀態(tài)融合

目標(biāo)特性融合

先對(duì)來自傳感器的原始信息進(jìn)行特征提?。ㄌ卣骺梢允悄繕?biāo)的邊緣、方向、速度等），然后對(duì)特征信息進(jìn)行綜合分析和處理

目標(biāo)狀態(tài)融合應(yīng)用：目標(biāo)跟蹤領(lǐng)域方法：卡爾曼濾波和擴(kuò)展卡爾曼濾波

目標(biāo)特性融合應(yīng)用：模式識(shí)別問題方法：模式識(shí)別的相應(yīng)技術(shù)（如參數(shù)模板法、特征壓縮和聚類算法、K階最近鄰、神經(jīng)網(wǎng)絡(luò)、模糊積分）決策層融合每個(gè)傳感器在本地完成預(yù)處理、特征抽取、識(shí)別或判決等處理，建立對(duì)所觀察目標(biāo)的初步結(jié)論，然后通過關(guān)聯(lián)處理、決策層融合判決，最終獲得聯(lián)合推斷結(jié)果方法：

貝葉斯推斷、D－S證據(jù)推理理論、模糊集理論、專家系統(tǒng)方法、人工神經(jīng)網(wǎng)絡(luò)應(yīng)用：目標(biāo)識(shí)別說明：對(duì)于特定的應(yīng)用選擇在哪一個(gè)層次進(jìn)行融合是一個(gè)系統(tǒng)工程問題，需要綜合考慮通信帶寬、信源的特點(diǎn)、可用的計(jì)算資源等方面的因素影響。不存在能夠適用于所有情況或應(yīng)用的普遍結(jié)構(gòu)。

生物特征認(rèn)證系統(tǒng)FU：fusionmoduleMM：matchingmoduleDM：decisionmodule多模態(tài)特征層融合信度層融合決策層融合1.4體系結(jié)構(gòu)集中式融合（centralizedfusion)

多個(gè)傳感器提供的數(shù)據(jù)在融合處理器中進(jìn)行關(guān)聯(lián)、相關(guān)、跟蹤、估計(jì)分類等操作自主式融合（autonomousfusion）

每個(gè)傳感器獨(dú)立地進(jìn)行輸入信號(hào)的特征提取、目標(biāo)分類、確認(rèn)和跟蹤，將輸入到融合處理器混合式融合（hybridfusion）集中式融合每個(gè)傳感器向融合處理器提供預(yù)處理的數(shù)據(jù)。再對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)或相關(guān)以確定哪些傳感器的觀測(cè)是針對(duì)同一物理實(shí)體或目標(biāo)的。一旦做出觀測(cè)數(shù)據(jù)的關(guān)聯(lián)，就對(duì)數(shù)據(jù)進(jìn)行融合

自主式融合每個(gè)傳感器進(jìn)行單源（SingleSource）位置估計(jì)，得到一個(gè)狀態(tài)向量，即每個(gè)傳感器都根據(jù)它自己的觀測(cè)數(shù)據(jù)對(duì)目標(biāo)的位置和速度做出一個(gè)估計(jì)。然后根據(jù)這些狀態(tài)向量通過信息融合程序獲得基于多傳感器的聯(lián)合狀態(tài)向量估計(jì)。

混合式融合具有最大的靈活性，但要求對(duì)融合過程進(jìn)行全局的監(jiān)視以及在原始數(shù)據(jù)融合和狀態(tài)向量融合之間進(jìn)行選擇和切換。

說明如何在這幾種體系結(jié)構(gòu)中進(jìn)行選擇從原則上說是系統(tǒng)工程問題。不存在對(duì)于任何一個(gè)具體的信息融合應(yīng)用都滿足最優(yōu)化要求的單一結(jié)構(gòu)，在進(jìn)行融合體系結(jié)構(gòu)的選擇時(shí)必須綜合考慮計(jì)算資源、可用的通信帶寬、精度要求、傳感器的能力以及可用的資金成本等多方面的因素

2.D-S證據(jù)理論

D-S證據(jù)理論是在A.P.Dempster于1967年提出的“上、下概率”及其合成規(guī)則的基礎(chǔ)上，由G.Shafer在其1976年出版的專著《證據(jù)的數(shù)學(xué)理論》中建立的，20世紀(jì)80年代，它就在人工智能領(lǐng)域引起了廣泛的應(yīng)用，逐漸發(fā)展為一類重要的不確定性推理方法，可用于目標(biāo)檢測(cè)、分類和識(shí)別。

基本概念基本概率賦值

置信度

似真度鑒別框架

命題A的D-S不確定性區(qū)間

解

釋[0,1]對(duì)命題A一無所知[0.6,0.6]命題A的確切概率為0.6[0,0]命題A為假[1,1]命題A為真[0.25,1]證據(jù)提供對(duì)命題A的部分支持[0,0.85]證據(jù)提供對(duì)的部分支持[0.25,0.85]證據(jù)同時(shí)支持A和Dempster準(zhǔn)則例：D-S證據(jù)理論的特點(diǎn)依靠證據(jù)的積累，不斷地縮小假設(shè)集

能夠?qū)ⅰ安恢馈焙汀安淮_定”區(qū)分開來

要求每個(gè)證據(jù)是相互獨(dú)立的

關(guān)鍵：每個(gè)證據(jù)體對(duì)命題的基本概率賦值

3.應(yīng)用實(shí)例圖像融合多模態(tài)生物特征識(shí)別形狀識(shí)別3.1圖像融合采用特定的算法將兩幅或多幅圖像中的信息合并起來，生成新的圖像。如可見光圖像和紅外圖像的融合、以及可見光或紅外遙感圖像與合成孔徑雷達(dá)圖像的結(jié)合等。包括像素層、特征層和決策層的融合。

圖像融合算法考慮如何結(jié)合來自源圖像的信號(hào)，像素或特征從而產(chǎn)生一幅融合的圖像，是圖像融合系統(tǒng)的核心。其他處理過程也會(huì)系統(tǒng)的成功與否及其性能產(chǎn)生決定性的影響。

Imageregistration，Pre-processing，Post-processingSAR圖像數(shù)據(jù)小波變換光學(xué)圖像數(shù)據(jù)匹配處理匹配處理小波變換逆小波變換解譯二組小波系數(shù)中選大，輸出一組小波系數(shù)基于小波變換的特征層圖像融合實(shí)例

基于小波變換的圖像融合（Waveletfusion）Image1Image2FusedImage

讀目標(biāo)圖像，得T(r,g,b)讀源圖像，得S(r,g,b)

將RGB值轉(zhuǎn)換成互不關(guān)聯(lián)的luv空間值，記作T(l,u,v)將RGB值轉(zhuǎn)換成互不關(guān)聯(lián)的luv空間值，記作S(l,u,v)對(duì)S(l,u,v)進(jìn)行亮度處理再采樣，并計(jì)算每一采樣點(diǎn)在其7x7鄰域內(nèi)的平均值和標(biāo)準(zhǔn)偏差匹配匹配后目標(biāo)圖像的luv值f(l,u,v)={T(l),S(u),S(v)}并轉(zhuǎn)換成RGB，得偽彩色圖像計(jì)算每一像素在其7x7鄰域內(nèi)的平均值和標(biāo)準(zhǔn)偏差流程圖夜視圖像彩色化融合算法目標(biāo)圖像a源圖像1偽彩色圖像1實(shí)驗(yàn)結(jié)果常用的圖像融合算法像素級(jí)加權(quán)平均法多分辨率方法之金字塔分解

高斯金字塔

拉普拉斯金字塔

對(duì)比度金字塔融合

低通比率金字塔融合多分辨率方法之小波變換方法圖像融合：圖像分割胡良梅,高雋,安良,胡勇.基于D-S證據(jù)理論的模糊聚類圖像融合分割.合肥工業(yè)大學(xué)學(xué)報(bào)，27(7):721-724,2004安良.模糊理論及其在圖像分割中的應(yīng)用研究.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院碩士學(xué)位論文.2003思路：對(duì)圖像的點(diǎn)灰度特征和塊灰度特征分別進(jìn)行模糊C均值聚類，將各自的模糊隸屬度轉(zhuǎn)化為單一假設(shè)或復(fù)合假設(shè)并得到其基本概率賦值，再利用D-S證據(jù)理論進(jìn)行融合分割。實(shí)驗(yàn)結(jié)果表明該算法的分割效果優(yōu)于傳統(tǒng)的模糊聚類分割算法。

基于D-S證據(jù)理論的模糊聚類圖像分割算法

FCMFCMImageFusion：EdgedetectionHULiangmei,GAOJun,HEKefeng,XIEZhao.ImageFusionUsingD-SEvidenceTheoryandANOVAMethod.Proceedingsofthe2005IEEEInternationalConferenceonInformationAcquisition，HongKongandMacau,China,June27-July3,2005:427-431Problem：ANOVAmethodissomehowsensitivetothresholdcoefficientkandmightnoteliminatethisuncertaintyfrominformationofsingleoriginalimagealoneEdgedetectionbasedonD-SEvidenceTheoryandANOVAMethodExperimentalresulttwooriginalout-of-focusclockimages

多模態(tài)生物特征認(rèn)證胡勇,高雋,胡良梅.一種基于手形和指紋的多模態(tài)生物特征識(shí)別系統(tǒng).第十三屆全國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)，北京：人民郵電出版社，2003，360~363思路：以指紋圖像的方向場(chǎng)和手形圖像的特征為基礎(chǔ)構(gòu)建了一種多模態(tài)生物特征識(shí)別系統(tǒng)。該系統(tǒng)分別使用硬C均值聚類和模糊Knn方法作為識(shí)別層。以決策模板方法對(duì)多模態(tài)的信息進(jìn)行融合。仿真實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)具有較高的識(shí)別率和拒偽率。

基于指紋和手形的多模態(tài)生物特征識(shí)別系統(tǒng)框圖

多分類器的形狀識(shí)別HULiangmei,GAOJun,WANGAndong,HUYong.ANeuralNetworkShapeRecognitionSystemBasedonD-STheory.TheIEEE6thInternationalConferenceOnIntelligentTransportationSystems,Shanghai,China,524-528,Oct.12-15,2003KeyWords:D-STheory,RBFN,ShapeRecognitionNetworkstructure

LayerL1,composedofnunits,computesthesimilarityoftheinputpatternXandnprototypepatterns.Layer

L2computestheBBA(BasicBeliefAssignment)associatedwithprototypepatterni.Layer

L3combinesthen

BBAsaccordingtoDempster’sRule.神經(jīng)網(wǎng)絡(luò)分類器基于D-S證據(jù)理論的4研究現(xiàn)狀和發(fā)展方向4.1研究現(xiàn)狀

國(guó)際：從1973年開始迅速發(fā)展。1985年以來，先后出版了10余部有關(guān)信息融合方法的專著。國(guó)內(nèi)：80年代末開始出現(xiàn)有關(guān)多傳感器信息融合技術(shù)研究的報(bào)導(dǎo)。90年代初，這一領(lǐng)域在國(guó)內(nèi)才逐漸形成高潮。

美國(guó)是信息融合技術(shù)起步較早、發(fā)展最快的國(guó)家1984年成立了信息融合專家組。1988年，美國(guó)國(guó)防部把信息融合技術(shù)列為九十年代重點(diǎn)發(fā)展研究開發(fā)的二十項(xiàng)關(guān)鍵技術(shù)之一，且列為最優(yōu)先發(fā)展的A類。1998年成立的國(guó)際信息融合學(xué)會(huì)（InternationalSocietyofInformationFusion，ISIF）總部設(shè)在美國(guó)，每年舉行一次信息融合國(guó)際學(xué)術(shù)大會(huì)。美國(guó)國(guó)防部自從在海灣戰(zhàn)爭(zhēng)實(shí)際體會(huì)到了信息融合技術(shù)的巨大潛力之后，更加重視信息自動(dòng)綜合處理技術(shù)的研究，在C3I（Command,Control,CommunicationandIntelligence）中增加了計(jì)算機(jī)，建立以信息融合中心為核心的C4I(Command,Control,Communication,ComputationandIdentification)。其它西方國(guó)家也普遍重視信息融合技術(shù)的研究英國(guó)陸軍開發(fā)了諸如炮兵智能信息融合系統(tǒng)（AIDD）、機(jī)動(dòng)和控制系統(tǒng)（WAVELL）等，并于1982年提出研制“海軍知識(shí)庫(kù)作戰(zhàn)指揮系統(tǒng)”；1987年又與西德等歐洲五國(guó)制定了聯(lián)合開展“具有決策控制的多傳感器信號(hào)與知識(shí)綜合系統(tǒng)（SKIDS）”的研究計(jì)劃。法、德等北約國(guó)家在這方面的研究工作也十分活躍，如湯姆遜公司已將信息融合技術(shù)應(yīng)用于MARTHA防空指揮控制系統(tǒng)中。德國(guó)已在“豹2”坦克的改進(jìn)計(jì)劃中采用了信息融合、人工智能等關(guān)鍵技術(shù)。4.2發(fā)展方向建立信息融合的基本理論，編撰信息融合辭典，規(guī)范領(lǐng)域術(shù)語和定義；

研究并完善兼有魯棒性和準(zhǔn)確性的融合算法；以模糊理論、神經(jīng)網(wǎng)絡(luò)、證據(jù)理論為代表的智能方法將是信息融合中比較有發(fā)展前途的幾種數(shù)學(xué)工具；大系統(tǒng)中的信息融合技術(shù)，如算法分類和層次劃分問題等；

發(fā)展并完善JDL模型，以解決現(xiàn)有JDL模型所不能處理的非軍事應(yīng)用問題；

4.2發(fā)展方向（續(xù)）信息融合中的數(shù)據(jù)庫(kù)和知識(shí)庫(kù)技術(shù)的研究；針對(duì)具體應(yīng)用問題，建立信息融合中的數(shù)據(jù)庫(kù)和知識(shí)庫(kù)，研究高速并行推理機(jī)制，是信息融合技術(shù)工程化及實(shí)際應(yīng)用中的關(guān)鍵問題，是未來的研究重點(diǎn)之一。建立系統(tǒng)設(shè)計(jì)的工程指導(dǎo)方針，研究信息融合系統(tǒng)的工程實(shí)現(xiàn)；信息融合系統(tǒng)是一個(gè)具有強(qiáng)烈不確定性的復(fù)雜大系統(tǒng)，如何根據(jù)現(xiàn)有理論、技術(shù)、設(shè)備，保證融合系統(tǒng)的精確性、實(shí)時(shí)性以及低成本是未來研究的重點(diǎn)之一。4.2發(fā)展方向（續(xù)）建立信息融合系統(tǒng)的設(shè)計(jì)和評(píng)估方法。應(yīng)