多傳感器數(shù)據(jù)融合1

參考資料科學出版社：信息融合（2007）電子工業(yè)出版社：多傳感器信息融合及其應用（2010）清華大學出版社：多源信息融合（第二版）（2010）方崇智、蕭德云編著，《過程辨識》，清華大學出版社，北京，1988相關(guān)論文（GoogleScholar）第一章概述多傳感器問題的引入1數(shù)據(jù)融合的定義2數(shù)據(jù)融合的應用3數(shù)據(jù)融合技術(shù)發(fā)展4多傳感器數(shù)據(jù)融合研究現(xiàn)狀5多傳感器數(shù)據(jù)融合方法及研究方向6多傳感器數(shù)據(jù)融合？一個例子Thesixthsense？Makesdecisionsaboutherorhisimmediatepresentandnearfutureactions！自然界其他動物對客觀事物的認知過程數(shù)據(jù)融合能力不斷演化多傳感器數(shù)據(jù)融合問題的引入智能信息處理技術(shù)44人與傳感器人的感覺器官與對應的傳感器：眼———

耳———

鼻———

舌———

皮膚——光敏傳感器聲敏傳感器氣敏傳感器味覺傳感器壓敏、熱敏、濕敏傳感器智能信息處理技術(shù)5定義傳感器就是能感知外界信息并能按一定規(guī)律將這些信息轉(zhuǎn)換成可用信號的器件或裝置。如下圖所示:非電信息電信號智能信息處理技術(shù)6

傳感器的組成

敏感器件的作用是感受被測物理量；轉(zhuǎn)換元件是對信號進行轉(zhuǎn)換輸出。輔助器件則是對輸出的電信號進行放大、阻抗匹配，以便于后續(xù)儀表接入。

敏感元件被測信息轉(zhuǎn)換元件信號調(diào)節(jié)電路輔助電路輸出信息

傳感器組成框圖7應變式壓力傳感器

由半導體材料制成的物性性傳感器基本是敏感元件與轉(zhuǎn)換元件二合一。直接能將被測量轉(zhuǎn)換為電量輸出。壓電傳感器、光電池、熱敏電阻等。彈性膜片電阻應變片壓力應變電阻變化量敏感元件轉(zhuǎn)換元件8傳感器的普遍性9傳感器的主要應用信息處理電信電話科技測試設(shè)備控制交通控制輸電系統(tǒng)機床機器人家用電器照相機汽車飛機船舶氣象海洋環(huán)境污染醫(yī)療防火光能利用熱能利用土木建筑農(nóng)林機械能利用貨幣金融食品111551101034736598161277834313147111707693612621242014需要量電子警察10膠片式“電子警察”、數(shù)碼式“電子警察”、視頻式“電子警察”；壓力或磁電傳感器，兩個脈沖信號，觸發(fā)拍照系統(tǒng)進行拍照11全自動洗衣機中的傳感器：衣物重量傳感器，衣質(zhì)傳感器，水溫傳感器，水質(zhì)傳感器，透光率光傳感器(洗凈度)液位傳感器，電阻傳感器(衣物烘干檢測)。12鼠標:光電位移傳感器攝象頭:CCD傳感器PC機中的測試技術(shù)應用響尾蛇捕食：visualandinfrared(IR)information紅外制導武器(導彈的彈頭感知敵武器的紅外熱源)：噴氣機的發(fā)動機尾噴口，高速飛行時飛機的機頭與空氣劇烈摩擦產(chǎn)生的熱空氣團，海軍艦艇的煙囪和陸軍車輛的發(fā)動機。紅外線感知視覺感知多傳感器問題的引入13.1多傳感器數(shù)據(jù)融合概述應用簡例

多傳感器系統(tǒng)可以用于地球環(huán)境監(jiān)測。主要應用于對地面的監(jiān)視、以便識別和監(jiān)視地貌、氣象模式、礦產(chǎn)資源，植物生長、環(huán)境條件和威脅情況(如原油泄漏、輻射泄漏等)如右圖所示

圖源：D.L.HallandJ.Llinas,‘‘Anintroductiontomultisensordatafusion’’

近幾十年，科學工程技術(shù)領(lǐng)域：目標跟蹤例子(視頻監(jiān)控)Sensorfusionmeansthecombinationofsensorydataordataderivedfromsensorydata,suchthattheresultinginformationisbetterthanitwouldbeifthesesensorswereusedindividually多傳感器問題的引入多傳感器問題的引入非關(guān)聯(lián)測量項目測量不同目標或?qū)ν荒繕说牟煌瑓?shù)進行獨立測量。多傳感器融合系統(tǒng)關(guān)聯(lián)的測量項目利用多個傳感器對同一目標的相同或不同項目進行測量，綜合測量結(jié)果用于分析目標特性。當檢測對象為多目標或快速機動目標時，單一傳感器測量困難。復雜的電磁環(huán)境使檢測的目標信號淹沒在大量噪聲及不相關(guān)信號與雜波中。當單一傳感器失效或傳感器的可靠性有待提高時采用多傳感器系統(tǒng)。多傳感器問題的引入環(huán)境復雜目標復雜可靠性為什么要采用多個傳感器測量同一目標參數(shù)？數(shù)據(jù)融合的定義數(shù)據(jù)融合技術(shù)，包括對各種信息源給出的有用信息的采集、傳輸、綜合(integration)、過濾、相關(guān)(dataassociation)及合成(generation)，以便輔助人們進行態(tài)勢/環(huán)境判定、規(guī)劃、探測、驗證、診斷數(shù)據(jù)融合(信息融合)的基本原理是：充分利用傳感器資源．通過對各種傳感器及人工觀測信息的合理支配與使用．將各種傳感器在空間和時間上的互補與冗余信息，依據(jù)某種優(yōu)化準則或算法組合，產(chǎn)生對觀測對象的一致性解釋和描述。其目標是基于各傳感器檢測信息分解人工觀測信息．通過對信息的優(yōu)化組合來導出更多的有效信息。多傳感器數(shù)據(jù)融合的定義功能定義：將來自多個傳感器和信息源的數(shù)據(jù)和信息加以聯(lián)合、相關(guān)、組合，以獲得對目標精確的位置估計、身份估計、以及對戰(zhàn)場情況和威脅及其重要程度進行適時的完整評價。該定義的重點：該定義是軍事應用方面的功能性定義；多個傳感器對同一目標進行測量；重點是融合：聯(lián)合、相關(guān)、組合；目的：狀態(tài)估計、身份估計、態(tài)勢估計、威脅估計。數(shù)據(jù)融合的定義技術(shù)定義：充分利用不同時間與空間的多傳感器數(shù)據(jù)資源，采用計算機技術(shù)按時間序列獲得多傳感器的觀測數(shù)據(jù)，在一定準則下進行分析、綜合、支配和使用。獲得對被測對象的一致性解釋與描述，進而實現(xiàn)相應的決策和估計，使系統(tǒng)獲得比它各組成部分更為充分的信息。該定義的重點：方法：分析、綜合、支配、使用；目的：一致性解釋與描述、更為充分的信息。數(shù)據(jù)融合技術(shù)的應用（軍事應用）軍事上，數(shù)據(jù)融合技術(shù)為先進的作戰(zhàn)管理系統(tǒng)提供了重要的數(shù)據(jù)處理技術(shù)基礎(chǔ)。數(shù)據(jù)融合在多信息源、多平臺和多用戶系統(tǒng)內(nèi)起著重要的處理和協(xié)調(diào)作用，保證了數(shù)據(jù)處理系統(tǒng)各單元與匯集中心間的連通性與及時通信，而且使原來由軍事操作人員和情報分析人員完成的許多功能均由數(shù)據(jù)處理系統(tǒng)快速、準確、有效地自動完成。大量新的作戰(zhàn)技術(shù)的發(fā)展迫切需要數(shù)據(jù)融合技術(shù)的應用和支持。如現(xiàn)代作戰(zhàn)原則強調(diào)縱深攻擊和遮斷能力，要求能描述目標位置、運動及其企圖的信息，這已超過了使用的常規(guī)傳感器的性能水平。不少數(shù)據(jù)融合技術(shù)的研究成果和實用系統(tǒng)已在1991年的海灣戰(zhàn)爭中得到實戰(zhàn)驗證數(shù)據(jù)融合技術(shù)的應用（民用）在自動化領(lǐng)域，自動化制造過程中的實時過程控制、傳感器控制元件、工作站以及機器人和操作裝置控制等均離不開數(shù)據(jù)融合技術(shù)的應用。故障診斷系統(tǒng)中使用多傳感器技術(shù)進行多種特征量的監(jiān)測(如振動、溫度、壓力、流量等)，并對這些傳感器的信息進行融合，以提高故障定位的準確性和可靠性。對于來自無源電子支援測量、紅外、聲學、運動控測器、火與水探測器等各種信息源的數(shù)據(jù)融合，可以用于商店和家庭的防盜防火。軍事應用領(lǐng)域開發(fā)的一些復雜的數(shù)據(jù)融合應用同樣可以應用于民用部門的城市規(guī)劃、資源管理、污染監(jiān)測和分析以及氣候、作物和地質(zhì)分析，以保證在不同機關(guān)和部門之間實現(xiàn)有效的信息共享我國“八五”規(guī)劃亦已把數(shù)據(jù)融合技術(shù)列為發(fā)展計算機技術(shù)的關(guān)鍵技術(shù)之一一些數(shù)據(jù)融合技術(shù)的應用例子1、軍用系統(tǒng):航跡預測、導彈制導、無人機/車偵察與攻擊等2、非軍事領(lǐng)域：

智能機器人、水下物體探測、收割機械的自動化、工業(yè)裝配線、信息高速公路系統(tǒng)、多媒體技術(shù)和虛擬現(xiàn)實技術(shù)、輔助醫(yī)療檢測和診斷等領(lǐng)域。1）移動機器人：多傳感器測量自身位姿、速度、障礙物位置、地面變化等。通過分布式融合方式，提高系統(tǒng)可靠性和模塊化。

NASA火星車：火星表面建圖與導航，巖石監(jiān)測。5個激光雷達，

2個CCD(Charge-coupleddevice)相機檢測巖石，加速度

計等組成2）工業(yè)應用：基于神經(jīng)網(wǎng)絡(luò)的傳感器融合方案估計、預測和控制在線表面拋光；刀具磨損檢測：融合聲音、振動和電機電流傳感器信息，將磨損數(shù)據(jù)分成無-低-中-高磨損，模糊邏輯規(guī)則+最小近鄰算法->決策混凝土結(jié)構(gòu)的無損探傷：結(jié)合超聲波和沖擊回波測試3）其他方面：身份驗證、燃氣輪機動力裝置、風洞流量測量、礦產(chǎn)探測、軍事方面等數(shù)據(jù)融合技術(shù)發(fā)展位置估計和身份識別目前1995年海灣戰(zhàn)爭20世紀70年代1973年美國聲納信息融合研究現(xiàn)代化戰(zhàn)爭的警鐘我國首次數(shù)據(jù)融合技術(shù)專題會議在無人駕駛汽車上的應用WHOWILLMAKEAVs?Carmanufacturers:GM(通用汽車公司)FordVW-AudiVolvoNissanToyotaDaimlerAG(戴姆勒股份公司)TeslaSAICMotors(ShanghaiAuto.Ind.Corp.)上汽集團BatesCareyLLP28WHOWILLMAKEAVs?TechnologicalandIdeaInnovators:GoogleAmazonUberAppleAlibaba/BaiduBatesCareyLLP29WHOWILLMAKEAVs?Componentsmanufacturers:Bosch博世Continental德國大陸集團Delphi德爾菲法BatesCareyLLP30WHOWILLMAKEAVs?

CarnegieMellonandCadillacSRX(Pittsburgh,PA)SAICandAlibaba(China)NASAandNissan(CA)Ford/StateFarm/UniversityofMichigan

Partnerships:BatesCareyLLP31Googledriver-freecarsGOOGLESELF-DRIVINGCARSHOWDOESITWORK?Ultra-preciseGPSfixesScannerGoogletranslateLanedeparturewarningLanekeepassistBlindspotdetectionAutonomousVehiclesDefined

Vehiclethatgetfromonepointtoanotherpointwithouthumaninteraction.Implementanumberofwellplacedsensorsthatdetectdifferentthingssuchasothervehicles,people,trafficlights,andmovementofothervehiclesTheTechnologyoftheCar Anti-LockBrakesElectronicStabilitycontrolAdaptivecruisecontrolLane-departurewarningsystemSelfparkingAutomatedguidedvehiclesystemsLidar-Systems(withgooglecars)orCruiseAutomatedSystems(Audi)Infraredcameras.TypesofAlgorithmsThecombinationof:3-Dimagingwithmultiple1064nmlasers.Edge-DetectionAlgorithmMotion-DetectionalgorithmTrackingalgorithmSingaporeASTARWHATISANAUTONOMOUSVEHICLE?Carthatdrivesitself.Perceivestheenvironmentandmoveswheresafeanddesirable.“Robots.”Nohumansupervisionrequired.EveryoneinAVisapassenger,oritcantravelwithnooccupantsatall.Goal:ubiquitous,safeandhackerproof.BatesCareyLLP38FirstGoogleAV(Prius)BatesCareyLLP39LatestGoogleAVBatesCareyLLP40MercedesAVBatesCareyLLP41MercedesAVBatesCareyLLP42ToyotaAVBatesCareyLLP43Apple’sPrototypeBatesCareyLLP44NissanConventionalNissantaxisabove;NissanandNASAarecollaboratingtodevelopafleetofelectricautonomouscabs.BatesCareyLLP45DutchEZ-10AutonomousShuttleOFLigierGroup2/9/15,“NetherlandsFirsttoOperateaSelf-DrivingShuttleinPublicTraffic?,”.BatesCareyLLP46Delphi/AudiSQ5BatesCareyLLP47TeslaModelSBatesCareyLLP48

TeslaModelXInteriorSeats7AdultsBatesCareyLLP49HOWWILLAVsBEUSED?

Nissan/NASAdevelopingfleetofelectricautonomouscabs.Nissan’s“TaxiofTomorrow”isplannedtoreplaceNYC’straditionalFordCrownVictoriacabs.Nissan’sall-electricAVtaxiisalreadyonsaleinEurope.

Fleets/TaxisBatesCareyLLP50ProsSafety: 90%of5.5millioncrashesinU.S.causedbydrivererror.Autocrashdeathsare8thleadingcauseofdeathintheworld.1.2millionpeopleperyearworld-wide;33,000inU.S.–equivalentof5Boeingjetscrashingeveryweek.Productivity/PersonalSavings:50minutesperpersonperday=economicvalueof$100billionto$1trillion.DeclineinCarOwnership:Carsnowcostdrivers18%ofannualincomeforanassettheyuseonly5%ofthetime.

BatesCareyLLP51Pros(cont.)ReducedTrafficCongestion25%ofcongestionduetoaccidentsavertedbyAVs.AVswillrespondbettertotrafficconditions.NetworkedAVscommunicate,eliminatingneedtoanticipateactionsofothercars.EnvironmentalBenefitsGoalisforAVstobeelectricorhybrid.Carsaccountfor20%ofallgreenhousegasemissionsand60%ofpetroleumuse.Fuelefficiencywillimproveby10%to40%.

BatesCareyLLP52Pros(cont.)Newtrillion-dollarindustrywillprovidecountlessopportunitiesforentrepreneurstodevelopnewtechnologiesandservices.

BatesCareyLLP53ConsJoblossintraditionalindustries: Trucking(3.5million) Taxis CouriersLossofRevenuetoMunicipalBudgets: Fromspeedingorparking tickets Lessneedforlaw enforcementtomonitor roadwaysandaccidents Reduceduseofpublic transportationDisruptiontoCurrentLandUse Peoplemaymoveto suburbsfromcitiessince theycanbeproductive duringcommute.

BatesCareyLLP54多傳感器數(shù)據(jù)融合？一個例子多傳感器數(shù)據(jù)融合研究現(xiàn)狀

自20世紀70年代末以來，MSDF受到了各國學術(shù)界、工業(yè)界和軍屆的廣泛關(guān)注，成為研究熱點美國將MSDF技術(shù)列為90年代重點研發(fā)的二十項關(guān)鍵技術(shù)之一，A類，發(fā)展C4I系統(tǒng)，經(jīng)費投資數(shù)億美元學術(shù)方面：87年起，美三軍每年召開一次數(shù)據(jù)融合學術(shù)會議，出版SPIE專集IEEE94年首次舉辦智能系統(tǒng)多傳感器融合與集成會議MFI94，MFI96，MFI99，MFI01（德國）IEEE系統(tǒng)和控制論會議IEEE航空航天與電子系統(tǒng)會議IEEE自動控制會議IEEEC3MIS會議多傳感器數(shù)據(jù)融合？一個例子多傳感器數(shù)據(jù)融合研究現(xiàn)狀1998在美國成立了國際信息融合學會ISIF，每年舉行一次學術(shù)會議專著LLINAS&HALL:multi-sensordatafusionHALL:mathematicaltechniquesinmulti-sensordatafusion學術(shù)期刊IEEEsensorsjournalIEEEsystem,manandcyberneticsInform