談?wù)劅o人機(jī)偵察圖像情報(bào)處理關(guān)鍵技術(shù)

談?wù)劅o人機(jī)偵察圖像情報(bào)處理關(guān)鍵技術(shù)

摘要

針對(duì)無人機(jī)偵察影像的目標(biāo)檢測(cè)問題研究一種基于候選區(qū)域的無人機(jī)偵察

影像目標(biāo)檢測(cè)技術(shù)。首先圍繞無人機(jī)影像特點(diǎn)，分析了基于候選區(qū)域的目標(biāo)檢測(cè)

技術(shù)的優(yōu)勢(shì)。然后介紹了該技術(shù)的關(guān)鍵步驟并歸納了各步驟的主流算法。最后總

結(jié)了兩種較為成熟的候選區(qū)域目標(biāo)檢測(cè)框架:基于DPM的候選區(qū)域目標(biāo)檢測(cè)框

架和基于卷積神經(jīng)網(wǎng)絡(luò)的候選區(qū)域目標(biāo)檢測(cè)框架，通過對(duì)現(xiàn)有算法的分析，為下

一步改進(jìn)算法提供了思路。

現(xiàn)代戰(zhàn)爭(zhēng)對(duì)信息的依賴使得無人機(jī)發(fā)揮著越來越重要的作用。圖像是智能數(shù)

據(jù)的直觀來源，是無人機(jī)偵察最重要的智能形式。因此，圖像的處理技術(shù)在無人

機(jī)智能信息處理中發(fā)揮著重要作用。隨著無人機(jī)作戰(zhàn)任務(wù)的日益復(fù)雜和偵察載荷

的配置，無人機(jī)偵察信息處理越來越多地涉及到圖像的處理技術(shù)中的各種技術(shù)和

熱點(diǎn)。這個(gè)問題甚至給當(dāng)前的圖像的處理技術(shù)技術(shù)帶來了新的挑戰(zhàn)。

關(guān)鍵詞：候選區(qū)域；戰(zhàn)場(chǎng)目標(biāo)檢測(cè)；偵察影像；無人機(jī)；圖像與情報(bào)處理；

關(guān)鍵技術(shù)

目錄

摘要.....................................................................1

目錄.....................................................................1

刖H.........................................................................................................................................................3

1.戰(zhàn)場(chǎng)圖像情報(bào)偵察處理技術(shù)............................................4

1.1.戰(zhàn)場(chǎng)圖像情報(bào)的特點(diǎn)和主要獲取手段.................................4

1.1.1.特點(diǎn)...........................................................5

1.1.2.主要獲取手段..................................................5

1.2.美軍目前使用的幾種典型戰(zhàn)場(chǎng)圖像偵察裝備...........................5

1.2.1.無人機(jī)載偵察設(shè)備..............................................6

1.2.2.有人機(jī)載偵察設(shè)備..............................................6

1.2.3.特種部隊(duì)地面圖像偵察系統(tǒng)......................................7

1.3.戰(zhàn)場(chǎng)偵察圖像的融合處理及關(guān)鍵技術(shù)..................................7

2.無人機(jī)偵察的原理.....................................................9

3.候選區(qū)域檢測(cè).........................................................9

4.特征提取............................................................11

5.分類器..............................................................13

6.基于候選區(qū)域的圖像目標(biāo)檢測(cè)框架.....................................14

6.1.基于多尺度形變部件模型...........................................14

6.2.基于卷積神經(jīng)網(wǎng)絡(luò).................................................15

7.無人機(jī)偵察圖像信息處理關(guān)鍵技術(shù).....................................15

7.1.基于機(jī)載光電偵察平臺(tái)的地面目標(biāo)定位技術(shù)..........................15

7.2.無人機(jī)偵察視頻的實(shí)時(shí)拼接技術(shù)....................................16

7.3.無人機(jī)偵察圖像的去霧技術(shù).........................................16

7.4.無人機(jī)偵察視頻的穩(wěn)像技術(shù).........................................16

8.結(jié)語................................................................17

參考文獻(xiàn)：..............................................................17

刖百

相比于傳統(tǒng)戰(zhàn)場(chǎng)偵察方式，無人機(jī)偵察能夠在避免人員傷亡的情況下提供近

實(shí)時(shí)的情報(bào)信息，逐漸成為一種主流的偵察手段。無人機(jī)獲得戰(zhàn)場(chǎng)偵察影像數(shù)據(jù)

后，通過目標(biāo)檢測(cè)技術(shù)處理偵察影像，實(shí)現(xiàn)對(duì)戰(zhàn)場(chǎng)典型目標(biāo)的定位與分類，根據(jù)

檢測(cè)信息，可以準(zhǔn)確打擊敵方目標(biāo)、掌握敵我部署、增強(qiáng)戰(zhàn)場(chǎng)判斷力、提高作戰(zhàn)

效率。

目標(biāo)檢測(cè)技術(shù)是一種基于目標(biāo)幾何與統(tǒng)計(jì)特征的圖像識(shí)別分割技術(shù)。早期的

算法有幀差法、背景差法、光流法等，主要利用幀間信息定位出運(yùn)動(dòng)目標(biāo)的空間

位置，不涉及對(duì)目標(biāo)類別的智能分類，如需目標(biāo)判讀還要添加目標(biāo)識(shí)別模塊，過

程繁瑣冗余。止匕外，無人機(jī)偵察影像相對(duì)于一般研究的目標(biāo)檢測(cè)影像有自身的特

殊性：

(1)成像環(huán)境惡劣、目標(biāo)背景運(yùn)動(dòng)且復(fù)雜；

(2)目標(biāo)相對(duì)背景過小，定位困難；

(3)目標(biāo)特征不明顯，識(shí)別難度大；

(4)實(shí)際應(yīng)用需求對(duì)算法實(shí)時(shí)性、魯棒性要求高。

因此，快速魯棒的進(jìn)行無人機(jī)偵察影像目標(biāo)檢測(cè)成為無人機(jī)信息處理的關(guān)

鍵，而基于候選區(qū)域(RegionProposal)的目標(biāo)檢測(cè)技術(shù)正符合以上要求：

(1)對(duì)單幅或單幀影像進(jìn)行檢測(cè)，不受運(yùn)動(dòng)背景限制；

(2)候選區(qū)域檢測(cè)，縮小待計(jì)算窗口數(shù)量，運(yùn)算速度快；

(3)特征提取降維與分類器相結(jié)合，識(shí)別定位的精度與速度高；

(4)整體框架簡(jiǎn)單清晰如圖1所示，可以根據(jù)檢測(cè)要求對(duì)候選區(qū)域檢測(cè)、特

征提取、分類器三個(gè)檢測(cè)階段進(jìn)行變化，便于算法的改進(jìn)與評(píng)估。

圖1基于候選區(qū)域的目標(biāo)檢測(cè)框架

因此對(duì)基于候選區(qū)域的無人機(jī)偵察影像目標(biāo)檢測(cè)技術(shù)進(jìn)行研究具有重要意

義，接下來將對(duì)其三個(gè)階段進(jìn)行介紹和算法概述。

2018年以來，無人機(jī)目標(biāo)定位技術(shù)在民用和軍事領(lǐng)域得到了廣泛的應(yīng)用。

目前，隨著現(xiàn)代戰(zhàn)爭(zhēng)的需要和科學(xué)技術(shù)的進(jìn)步，單一的定位方法已經(jīng)不能滿足需

求。人們希望獲得一種更全面、更有效的無人機(jī)目標(biāo)定位方法，對(duì)目標(biāo)進(jìn)行實(shí)時(shí)

的位置控制，以便能夠?qū)崟r(shí)攻擊敵人并分析戰(zhàn)場(chǎng)情況。

1.戰(zhàn)場(chǎng)圖像情報(bào)偵察處理技術(shù)

戰(zhàn)場(chǎng)圖像情報(bào)是通過戰(zhàn)場(chǎng)偵察傳感器平臺(tái)所獲得的偵察圖像及其相關(guān)的情

報(bào)產(chǎn)品，它包括白光、微光、激光、紅外的圖像，各種平臺(tái)的電視偵察圖像，各

種機(jī)載平臺(tái)的合成孔徑雷達(dá)(SAR)和逆合成孔徑雷達(dá)的雷達(dá)圖像以及由地面人

工偵察所獲得的人工圖像情報(bào)。

1.1.戰(zhàn)場(chǎng)圖像情報(bào)的特點(diǎn)和主要獲取手段

1.1.1.特點(diǎn)

戰(zhàn)場(chǎng)圖像情報(bào)屬戰(zhàn)術(shù)型情報(bào)，與衛(wèi)星遙感圖像等戰(zhàn)略型圖像情報(bào)相比，具有

以下顯著特點(diǎn)：

①情報(bào)周期（包括情報(bào)任務(wù)下達(dá)、收集、處理、分析和分發(fā)的時(shí)間）短，時(shí)效

性強(qiáng)，更能滿足現(xiàn)代作戰(zhàn)對(duì)情報(bào)的需要。

②圖像偵察具有持續(xù)偵察監(jiān)視能力，可以完成全天時(shí)、全天候的圖像實(shí)時(shí)偵

察。

③能獲得多角度、全方位的情報(bào)，其中地面的人工圖像情報(bào)是空中偵察和衛(wèi)

星偵察圖像無法替代的。地面圖像情報(bào)和航空?qǐng)D像情報(bào)有機(jī)結(jié)合，可使圖像情報(bào)

更豐富，精度更高。

④戰(zhàn)場(chǎng)C-4ISR系統(tǒng)使戰(zhàn)場(chǎng)圖像的獲取、傳遞、處理、分發(fā)以及應(yīng)用形成一

個(gè)統(tǒng)一的網(wǎng)絡(luò)，使圖像情報(bào)與其他非圖像情報(bào)集成于一體，便于指揮決策機(jī)構(gòu)掌

握瞬息萬變的戰(zhàn)場(chǎng)局勢(shì)。

1.1.2.主要獲取手段

獲取戰(zhàn)場(chǎng)圖像情報(bào)的主要手段有光學(xué)觀測(cè)、照相、激光、紅外、電視、合成

孔徑雷達(dá)等。這些手段根據(jù)載體的不同又分為便攜式、車載式、機(jī)載式和艦載式

等。

地面照相偵察可記錄各種目標(biāo)、工事設(shè)施、交通情況及繪制軍事地圖等，主

要用于搜索地面、海上和低空目標(biāo)。戰(zhàn)場(chǎng)電視偵察是獲取視頻圖像情報(bào)的重要手

段，具有直觀、清晰、快速、實(shí)時(shí)傳輸?shù)忍攸c(diǎn)，能通過圖像一目了然地觀察到前

沿?cái)撤疥嚨氐匦巍⒉荚O(shè)、武器裝備、兵力部署、調(diào)動(dòng)等情況。夜視偵察裝備，如

主動(dòng)式紅外夜視儀、微光夜視儀、紅外成像儀等用于夜間觀察。用于戰(zhàn)場(chǎng)偵察的

合成孔徑雷達(dá)主要是獲取戰(zhàn)場(chǎng)圖像和地面活動(dòng)目標(biāo)信息，可在夜間和惡劣的氣候

條件下探測(cè)、搜索、跟蹤敵方運(yùn)動(dòng)中的人員、車輛、艦船等，具有探測(cè)距離遠(yuǎn)、

覆蓋面積大、測(cè)量速度快、全天候、全天時(shí)工作的特點(diǎn)。

1.2.美軍目前使用的幾種典型戰(zhàn)場(chǎng)圖像偵察裝備

在阿富汗戰(zhàn)場(chǎng)，美軍利用C-4ISR系統(tǒng)將偵察衛(wèi)星、有人/無人偵察機(jī)、地面

特種部隊(duì)結(jié)合在一起進(jìn)行聯(lián)合作戰(zhàn)，將多源情報(bào)（包括圖像情報(bào)）綜合分析處理，

縮短了目標(biāo)搜索和打擊時(shí)間，制止了敵方利用情報(bào)搜集和使用兩者之間的“時(shí)間

差”，基本上實(shí)現(xiàn)了國(guó)防部在海灣戰(zhàn)爭(zhēng)后制定的“從傳感器到射手的時(shí)間不能超

過10分鐘”的目標(biāo)。在這場(chǎng)以信息技術(shù)為基礎(chǔ)的作戰(zhàn)中，戰(zhàn)場(chǎng)實(shí)時(shí)情報(bào)的獲取

與處理起到了十分關(guān)鍵的作用。

1.2.1.無人機(jī)載偵察設(shè)備

美軍在阿富汗戰(zhàn)場(chǎng)上使用的無人偵察機(jī)有兩種，一種是“捕食者”中空長(zhǎng)航

時(shí)無人機(jī)，另一種是“全球鷹”高空無人機(jī)。

“捕食者”無人偵察機(jī)上面裝載光電、前視、紅外和合成孔徑雷達(dá)（SAR）等

圖像傳感器，是美軍現(xiàn)役的技術(shù)含量高、性能最好的遠(yuǎn)程無人偵察機(jī)，主要完成

實(shí)時(shí)戰(zhàn)場(chǎng)圖像的偵察。該機(jī)1996年首次應(yīng)用AN/ZPQ-1型合成孔徑雷達(dá)，對(duì)地

面固定和移動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)成像偵察。再加上配有先進(jìn)的“天球”（Skyball）光電

/紅外偵察平臺(tái)（在光電平臺(tái)上裝有高分辨率彩色電視攝像機(jī)、三代紅外成像儀和

激光測(cè)距/目標(biāo)指示器），因而在無人機(jī)平臺(tái)上首次真正實(shí)現(xiàn)了全天候的實(shí)時(shí)圖像

偵察，成為偵察衛(wèi)星和有人偵察機(jī)的重要補(bǔ)充及增強(qiáng)手段，特別是在復(fù)雜地形和

不良?xì)庀髼l件下，能偵察敵方縱深重要活動(dòng)目標(biāo)，并將偵察圖像實(shí)時(shí)傳回指揮所。

RQ-4A“全球鷹”高空無人偵察機(jī)上的核心是休斯飛機(jī)公司研制的集成偵

察傳感系統(tǒng)。它是一個(gè)由具有移動(dòng)目標(biāo)識(shí)別功能的合成孔徑雷達(dá)、高分辨率的光

電照相機(jī)、紅外傳感器等多種偵察儀器組成的任務(wù)平臺(tái)，采用的是“商用現(xiàn)成”

（COTS）技術(shù)，能同時(shí)收集雷達(dá)和光電圖像，通過集成的圖像處理器進(jìn)行實(shí)時(shí)處

理。雷達(dá)和光電/紅外傳感器都有廣域收集和點(diǎn)目標(biāo)搜索模式。廣域搜索模式時(shí),

24小時(shí)可搜索40000平方千米的區(qū)域。在點(diǎn)目標(biāo)模式下，能在24小時(shí)內(nèi)覆蓋1900

平方千米，并把目標(biāo)定位在20米內(nèi)。點(diǎn)目標(biāo)模式下裝在飛機(jī)兩側(cè)的合成孔徑雷

達(dá)能獲得0.3米的分辨率的圖像，止匕時(shí)SAR每小時(shí)能獲得79幅圖像。在廣域搜

索模式下能生成分辨率為1米的圖像，每小時(shí)覆蓋1842平方千米。

1.2.2.有人機(jī)載偵察設(shè)備

美軍另一種獲取圖像情報(bào)的手段是利用各種有人偵察機(jī)，以填補(bǔ)航天偵察和

長(zhǎng)航時(shí)中高空無人偵察機(jī)的不足?？哲娪腥藗刹鞕C(jī)的主力機(jī)種是U-2系列（目前

約有35架，包括改進(jìn)型U-2R和U-2U偵察機(jī)）、RC-135系列（目前主要使用的是

S、U、VI、W、X等型號(hào)），機(jī)上裝有可見光和紅外偵察設(shè)備（SYERS）以及SAR

雷達(dá)(ASARSJI)。海軍主要是P-3c反潛巡邏機(jī)，該機(jī)主要裝載標(biāo)準(zhǔn)照相機(jī)、紅

外相機(jī)、逆合成孔徑雷達(dá)。此外，陸軍的E0-5偵察飛機(jī)、改進(jìn)的C-130飛機(jī)以

及裝備了戰(zhàn)術(shù)空中偵察艙(TARPS)系統(tǒng)的艦載F-14戰(zhàn)斗機(jī)都用來完成戰(zhàn)場(chǎng)圖像

情報(bào)的任務(wù)。

1.2.3.特種部隊(duì)地面圖像偵察系統(tǒng)

特種部隊(duì)的主要任務(wù)之一是深入敵后，對(duì)重點(diǎn)目標(biāo)實(shí)施偵察，引導(dǎo)打擊。20

世紀(jì)80年代末期針對(duì)特種部隊(duì)地面圖像偵察的需求，美國(guó)防部曾開展過“電子

無膠卷攝影系統(tǒng)”的研究工作，目前已配備柯達(dá)公司研制的DCS465數(shù)字相機(jī)，

分辨率達(dá)300萬像素，經(jīng)插值處理后可達(dá)到500萬像素。在高分辨率鏡頭上集成

了激光測(cè)距和激光指示構(gòu)件，通過數(shù)字接口傳入士兵計(jì)算機(jī)中，完成圖像獲取、

目標(biāo)位置測(cè)算、圖像校正等一系列工作。通過數(shù)字圖像傳輸系統(tǒng)中的窄帶無線電

傳遞高清晰度偵察影像，也可以通過單兵便攜式衛(wèi)星終端把圖像情報(bào)傳送到情報(bào)

中心，直接對(duì)目標(biāo)實(shí)施引導(dǎo)打擊。

1.3.戰(zhàn)場(chǎng)偵察圖像的融合處理及關(guān)鍵技術(shù)

隨著信息技術(shù)在偵察情報(bào)裝備中的廣泛應(yīng)用，具有圖像偵察獲取能力的傳感

器種類和數(shù)量越來越多，圖像情報(bào)的應(yīng)用也越加廣泛，因此圖像處理技術(shù)成了戰(zhàn)

場(chǎng)情報(bào)綜合處理的重要組成部分，并產(chǎn)生出巨大的軍事效益。

由于戰(zhàn)場(chǎng)圖像偵察的數(shù)據(jù)源較多，數(shù)據(jù)量大，實(shí)時(shí)性要求較強(qiáng)，圖像里面許

多有用的信息，必須經(jīng)過去偽存真、去粗取精的處理過程才能獲得有用的信息，

并形成有價(jià)值的情報(bào)產(chǎn)品，因此，多源圖像情報(bào)的綜合處理和融合顯得非常重要。

多源圖像情報(bào)的融合處理是戰(zhàn)場(chǎng)圖像處理的主要內(nèi)容之一，主要包括圖像數(shù)

據(jù)挖掘，圖像目標(biāo)自動(dòng)識(shí)別提取，輔助圖像判讀，圖像多屬性分層標(biāo)繪。

多源圖像傳感器的數(shù)據(jù)融合是當(dāng)今戰(zhàn)場(chǎng)情報(bào)處理的一個(gè)重要發(fā)展方向，目前

圖像情報(bào)融合處理的體系結(jié)構(gòu)主要有集中式和分布式兩種。其中，集中式的融合

效果較好，但對(duì)通信能力、存儲(chǔ)能力、處理能力要求較高，時(shí)效性不強(qiáng)。

多源戰(zhàn)場(chǎng)圖像融合處理關(guān)鍵技術(shù)包括：

①多光譜戰(zhàn)場(chǎng)圖像的實(shí)時(shí)處理技術(shù)由于偵察目標(biāo)對(duì)多個(gè)光譜頻段的反應(yīng)

特性不同，多光譜圖像的融合處理極易發(fā)現(xiàn)目標(biāo)本質(zhì)特征上的差異，提取目標(biāo)特

征。因此解決多譜段的數(shù)據(jù)獲取和大容量的信息處理，要求多譜圖像通過實(shí)時(shí)處

理分析，以連續(xù)圖像流的形式顯示并提取目標(biāo)，并可形成更高分辨率的偵察圖像

供分析評(píng)估。

②戰(zhàn)場(chǎng)圖像理解技術(shù)全面戰(zhàn)場(chǎng)感知將在未來軍事行動(dòng)中帶來決定性情報(bào)

優(yōu)勢(shì)。圖像理解(ImageUnderstanding,IU)技術(shù)是圖像情報(bào)處理中的關(guān)鍵技術(shù)。

未來戰(zhàn)場(chǎng)的圖像信息主要來自陸基、空基和天基平臺(tái)的各種偵察圖像傳感器，信

息量大，需要圖像理解技術(shù)從浩如煙海的原始數(shù)據(jù)中提取所要求的情報(bào)信息。

目前圖像理解算法的不可靠性已經(jīng)極大地限制了IU系統(tǒng)在偵察情報(bào)領(lǐng)域更

廣泛的采用，需在技術(shù)和算法上不斷取得突破。

在未來，完成圖像挖掘不是通過人工搜索分析大面積的地形圖片來偵察重要

的目標(biāo)、機(jī)動(dòng)部隊(duì)，而是通過智能對(duì)比、提取、分析、特定地理區(qū)域里圖像情報(bào)

的變化來監(jiān)視和跟蹤所有敵人目標(biāo)及變化態(tài)勢(shì)，這一設(shè)想將通過維護(hù)一個(gè)巨大的

信息知識(shí)庫(kù)得以實(shí)現(xiàn)，通過與以前的知識(shí)進(jìn)行比較，可以完成圖像判讀理解。大

量圖像將按程序加以收集，用來擴(kuò)展特定區(qū)域內(nèi)的知識(shí)庫(kù)，借助超級(jí)計(jì)算機(jī)強(qiáng)大

的處理能力，利用人工智能、模糊邏輯、神經(jīng)網(wǎng)絡(luò)等技術(shù)實(shí)現(xiàn)圖像情報(bào)的自動(dòng)挖

掘、分析、理解。

美軍已可以利用無人機(jī)偵察圖像完成一定地理區(qū)域(比如一個(gè)5千米X5千

米的戰(zhàn)場(chǎng)，一個(gè)飛機(jī)場(chǎng)，或一個(gè)道路交叉點(diǎn))內(nèi)的圖像理解，自動(dòng)識(shí)別重要車輛

的地面運(yùn)動(dòng)。

③戰(zhàn)場(chǎng)圖像的自動(dòng)分發(fā)技術(shù)建立不同等級(jí)的圖像產(chǎn)品庫(kù)，針對(duì)不同的需

要，建立多功能的情報(bào)分發(fā)模型，擴(kuò)展圖像情報(bào)的應(yīng)用范圍。圖像情報(bào)產(chǎn)品應(yīng)用

很廣，經(jīng)過地理校正的遙感圖像產(chǎn)品可以作為精確的電子地圖，供導(dǎo)彈部隊(duì)、特

種部隊(duì)作戰(zhàn)使用。遙感圖像和地面圖像等相結(jié)合，可以形成三維地面可視圖，供

指揮員使用。由于圖像情報(bào)產(chǎn)品可以作為不同專題二次使用，不同處理等級(jí)的圖

像情報(bào)產(chǎn)品的分發(fā)就更為重要。

④圖像快速檢索和目標(biāo)分類由于對(duì)戰(zhàn)場(chǎng)圖像進(jìn)行融合處理的工作量大，涉

及的內(nèi)容十分廣泛，因此需要使用圖像檢索技術(shù)，快速獲取相關(guān)的圖像情報(bào)數(shù)據(jù),

進(jìn)行融合處理。戰(zhàn)場(chǎng)圖像的自動(dòng)分類技術(shù)可以在大型圖像集合中挖掘有價(jià)值的信

息，可以提取目標(biāo)的特征形成特征庫(kù)，按照一定的知識(shí)進(jìn)行自動(dòng)匹配、識(shí)別，提

高圖像情報(bào)的處理速度。目前圖像檢索的主要研究方向是基于內(nèi)容的圖像檢索技

術(shù)，即從圖像中提取目標(biāo)特征，并與圖像庫(kù)的特征庫(kù)進(jìn)行匹配，快速查出相關(guān)聯(lián)

圖像，做出對(duì)圖像的正確分析理解和融合處理。

在圖像情報(bào)的處理領(lǐng)域，應(yīng)積極建立各種目標(biāo)的特征庫(kù)，并把新的偵察圖像

與之對(duì)比，自動(dòng)匹配，從而識(shí)別出所需目標(biāo)和信息，這對(duì)于提高圖像情報(bào)產(chǎn)品時(shí)

效性，跟蹤敵移動(dòng)目標(biāo)(例如航母編隊(duì))極具重要意義。

2.無人機(jī)偵察的原理

無人機(jī)偵察目標(biāo)定位是利用攝影測(cè)量、圖像的處理技術(shù)和信息處理技術(shù)對(duì)無

人機(jī)偵察得到的圖像進(jìn)行處理和分析，最終得到目標(biāo)的精確三維坐標(biāo)。目前，無

人機(jī)目標(biāo)位置偵察圖像主要有三種方法：

一種是基于圖像匹配模式的非實(shí)時(shí)定位，該方法定位精度高，可以同時(shí)定位

多個(gè)點(diǎn)，但實(shí)時(shí)性差；

二是基于無人機(jī)遙測(cè)數(shù)據(jù)的實(shí)時(shí)定位，該方法雖然可以實(shí)現(xiàn)實(shí)時(shí)定位，但精

度不高；

三是基于空間交叉點(diǎn)的目標(biāo)定位，與前兩種方法相比，該方法具有更好的實(shí)

時(shí)性和準(zhǔn)確性。

在分析上述方法優(yōu)缺點(diǎn)的基礎(chǔ)上，提出了一種基于無人機(jī)遙測(cè)數(shù)據(jù)的高精度

實(shí)時(shí)定位改進(jìn)方法,利用圖像點(diǎn)位置、目標(biāo)點(diǎn)位置和無人機(jī)位置對(duì)圖像進(jìn)行定位,

采用坐標(biāo)變換法建立幾何關(guān)系，該方法實(shí)時(shí)性強(qiáng)、精度高。

3.候選區(qū)域檢測(cè)

候選區(qū)域檢測(cè)是利用圖像顏色、邊緣、紋理等特征，選擇性搜索目標(biāo)位置的

方法。由于目標(biāo)可能出現(xiàn)在圖像的任何位置，大小、長(zhǎng)寬比例不定，因此需要根

據(jù)一定方法將圖像分割成各種尺寸的子圖像作為候選區(qū)域，便于目標(biāo)定位與特征

提取。

而高效的分割候選區(qū)域成為候選區(qū)域檢測(cè)階段的研究重點(diǎn)。傳統(tǒng)窮舉搜索

(ExhaustiveSearch)算法也可以算作一種特殊的候選區(qū)域檢測(cè)方法,其利用幾種尺

寸相對(duì)固定的矩形窗口，逐行列或隨機(jī)對(duì)整幅圖像截取子圖像，實(shí)現(xiàn)對(duì)圖像的遍

歷。這種盲目窮舉的區(qū)域搜索方法時(shí)耗長(zhǎng)、冗余大，嚴(yán)重影響整體目標(biāo)檢測(cè)算法

的運(yùn)行速度與性能，更無法滿足無人機(jī)情報(bào)處理的實(shí)時(shí)性，因此為提高檢測(cè)效率

需要一種檢測(cè)策略對(duì)區(qū)域搜索進(jìn)行引導(dǎo)，避免復(fù)雜的運(yùn)算。

現(xiàn)有的可用于候選區(qū)域檢測(cè)的算法有很多，JanHosang等將這些算法分為

分組區(qū)域選擇法(Groupingproposalmethods)和窗口評(píng)分區(qū)域選擇法(Window

scoringproposalmethods)兩大類。分組區(qū)域選擇法將圖像先分割成小塊，隨

后按照某種原則組合成需要的候選區(qū)域。根據(jù)產(chǎn)生候選區(qū)域方式的不同，分組區(qū)

域選擇法又細(xì)分為超像素法(Superpixels,SP)、像素分割法(GraphCut,GC)

和邊緣輪廓法(EdgeContours,EC)。窗口評(píng)分區(qū)域選擇法在圖像上截取大量的

區(qū)域窗(Windows),并按照與目標(biāo)關(guān)系的大小進(jìn)行打分，選擇分?jǐn)?shù)高的生成候選

區(qū)域。圖2詳細(xì)描述了這種分類層次并列舉了主要算法。

圖2主要候選區(qū)域檢測(cè)算法分類

上述算法中比較具有代表性的有：SeletiveSearch>EdgeBoxes和MCG。

SeletiveSearch的主要思路是使用圖像分割算法將圖像分割成小區(qū)域，計(jì)算

相鄰小區(qū)域的顏色、紋理等特征的相似度，并融合相似度最高的兩個(gè)區(qū)域，重復(fù)

相似度計(jì)算和融合過程直到合成整張圖像，合成過程中產(chǎn)生的各種尺度區(qū)域即為

候選區(qū)域。

EdgeBoxes首先使用結(jié)構(gòu)化快速邊緣檢測(cè)算法得到邊緣圖像(Edge

Probabilitymap),利用非極大值抑制(Non-maximumSuppression,NMS)稀疏邊

緣圖像，然后將邊緣點(diǎn)組成邊緣組(EdgeGroup)并計(jì)算組間的相似度，進(jìn)而得到

框內(nèi)和與框邊緣重疊的兩組輪廓數(shù)，最后根據(jù)輪廓數(shù)對(duì)區(qū)域框進(jìn)行打分，根據(jù)分

數(shù)確定候選區(qū)域。

MCG與EdgeBoxes一樣先用結(jié)構(gòu)化快速邊緣檢測(cè)算法得到邊緣圖像，利用

分水嶺算法得到輪廓圖，隨后生成超度量輪廓映射圖(UCM),之后通過層次分割

得到區(qū)域集并用隨機(jī)森立分類器根據(jù)尺度、位置和邊緣強(qiáng)度等特征對(duì)區(qū)域進(jìn)行排

序，進(jìn)而選出符合要求的候選區(qū)域。

魯棒性(Robust)、實(shí)時(shí)性和召回率(Recall)是評(píng)價(jià)候選區(qū)域選擇方法的一般標(biāo)

準(zhǔn)。無人機(jī)偵察環(huán)境復(fù)雜導(dǎo)致成像過程中可能存在各種擾動(dòng)，因此良好的魯棒性

和較高的召回率是保證區(qū)域選擇算法在實(shí)際應(yīng)用中具備高質(zhì)量目標(biāo)檢測(cè)效果的

關(guān)鍵。同時(shí)提升區(qū)域選擇階段的運(yùn)行速度，也會(huì)降低整體目標(biāo)檢測(cè)過程的時(shí)耗。

4.特征提取

特征提取是目標(biāo)檢測(cè)中的關(guān)鍵步驟，其質(zhì)量直接影響到最終檢測(cè)結(jié)果的準(zhǔn)確

性。特征提取常用的圖像特征有顏色特征、紋理特征、形狀特征等。受限于無人

機(jī)實(shí)際偵察條件，應(yīng)用于復(fù)雜多目標(biāo)背景下無人機(jī)偵察目標(biāo)檢測(cè)的特征提取算法

應(yīng)對(duì)尺度、亮度、旋轉(zhuǎn)、遮擋和噪聲等干擾具有較強(qiáng)的魯棒性，而傳統(tǒng)目標(biāo)檢測(cè)

技術(shù)大部分通過人工設(shè)計(jì)提取圖像特征，常見的算法有：

Harris角點(diǎn)檢測(cè)算法以泰勒展開式構(gòu)建像素點(diǎn)鄰域內(nèi)的連續(xù)曲面，計(jì)算所有

像素點(diǎn)的微商平方和，采用其中的最大值和最小值作為判斷特征角點(diǎn)的顯著性依

據(jù)，該算法能將檢測(cè)方向擴(kuò)展到所有方向上。不足之處是計(jì)算過程復(fù)雜，且人為

設(shè)定的初始閾值對(duì)算法的穩(wěn)定性具有決定性作用。

SIFT(ScaleInvariantFeatureTransform)特征檢測(cè)算法是現(xiàn)階段較為成熟的一

種算法，首先通過高斯平滑構(gòu)建高斯尺度空間，在其中進(jìn)行極值點(diǎn)檢測(cè)并將其作

為特征點(diǎn)，經(jīng)過特征點(diǎn)描述即可用于圖像匹配。該算法對(duì)于照度變換、尺度和旋

轉(zhuǎn)變換、視點(diǎn)變化以及噪聲影像都具備一定的魯棒性，特征點(diǎn)區(qū)分力較好，信息

量豐富，匹配的準(zhǔn)確度較高，但由于算法需要構(gòu)建尺度空間并計(jì)算全局極值，計(jì)

算量大，無法滿足實(shí)時(shí)要求。

HOG(HistogramofOrientedGradient)特征檢測(cè)算法是一種利用局部圖像梯

度方向直方圖特性提取圖像特征的方法，能夠減弱局部光照、陰影對(duì)特征提取的

影響，計(jì)算像素梯度獲取圖像輪廓信息。首先將圖像劃分成多個(gè)Cell塊，每個(gè)

Cell塊由數(shù)個(gè)像素點(diǎn)組成，統(tǒng)計(jì)Cell塊的梯度直方圖，再將數(shù)個(gè)Cell塊組合成

Block區(qū)域，根據(jù)密度對(duì)區(qū)域中的Cell塊歸一化，區(qū)域中所有Cell塊的梯度特征

組合成Block特征，同理圖像中所有Block特征組合成圖像特征，HOG對(duì)光照

和輕微形變有一定的抑制能力，可以很好的表征局部像素之間的關(guān)系。與其它傳

統(tǒng)特征提取算法相同，計(jì)算冗長(zhǎng)導(dǎo)致的實(shí)時(shí)性差是算法的主要缺陷。

SURF(SpeededupRobustFeatures)檢測(cè)算法采用Hessian矩陣對(duì)SIFT算法中

高斯尺度空間構(gòu)建過程進(jìn)行近似處理，利用積分圖像和更低維度的描述子向量簡(jiǎn)

化算法體積，有效減少了計(jì)算量，彌補(bǔ)了SIFT算法運(yùn)行速度緩慢的缺點(diǎn)。但是

在采用Hessian矩陣獲得極值后，在求取特征點(diǎn)主方向階段過于依賴局部區(qū)域像

素點(diǎn)的梯度方向，可能會(huì)造成誤匹配。而且由于算法采用一種近似處理實(shí)現(xiàn)特征

點(diǎn)的檢測(cè)，導(dǎo)致其對(duì)于各種變換的魯棒性相對(duì)下降。

之后還有許多基于SIFT和SURF改進(jìn)的特征檢測(cè)算法，如BRIEF(Binary

RobustIndependentElementaryFeatures)檢測(cè)算法、ORB(OrientedFASTand

RotatedBRIEF)檢測(cè)算法、BRISK(BinaryRobustInvariantScalableKeypoints)檢測(cè)

算法、非線性特征檢測(cè)的風(fēng)式特征(KAZE)算法，魯棒性和實(shí)時(shí)性都有大幅提高,

但是傳統(tǒng)特征提取算法應(yīng)用于無人機(jī)偵察目標(biāo)檢測(cè)時(shí)，魯棒性、實(shí)時(shí)性和準(zhǔn)確性

等傳統(tǒng)指標(biāo)依然無法滿足實(shí)際需求，具體表現(xiàn)為以下四個(gè)方面：

(1)提取到的特征信息過于單一，無法完整的表述目標(biāo)；

(2)可分性較差，分類器無法準(zhǔn)確的對(duì)復(fù)雜背景下的目標(biāo)進(jìn)行分類；

(3)泛化性不足，不同的特征適用于不同的影像數(shù)據(jù)，一般人為選取的特征

都有自身特定的應(yīng)用背景；

(4)特征設(shè)計(jì)工作復(fù)雜，研發(fā)周期長(zhǎng)，且設(shè)計(jì)工作需要較強(qiáng)的專業(yè)背景。

隨著深度學(xué)習(xí)的不斷發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)(convolutionneural

network,CNN)的目標(biāo)檢測(cè)算法得到深入研究。在圖像特征提取方面，卷積神經(jīng)

網(wǎng)絡(luò)具有明顯優(yōu)勢(shì)，區(qū)別于人工設(shè)計(jì)的特征，其利用大量圖片數(shù)據(jù)學(xué)習(xí)到非人工

設(shè)計(jì)的特征，解決了由于人為選取的特征信息單一導(dǎo)致的復(fù)雜背景下魯棒性不強(qiáng)

的問題，提升影像目標(biāo)檢測(cè)效果。

5.分類器

分類是目標(biāo)檢測(cè)的核心之一，而分類器的選擇是分類的重點(diǎn)。將特征提取中

得到的特征送入分類器，判斷出圖像中目標(biāo)類別，即基本完成目標(biāo)的粗檢測(cè)。如

圖3所示為目標(biāo)檢測(cè)中分類器進(jìn)行分類的過程。

圖3分類示意圖

目標(biāo)檢測(cè)分類過程最常用的分類器有：支持向量機(jī)(supportvectormachine,

簡(jiǎn)稱SVM)、Boosting、隨機(jī)森林(RandomForest,RF)、人工神經(jīng)網(wǎng)絡(luò)(Artificial

NeuralNetwork,ANN)等。

SVM分類器是以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)的學(xué)習(xí)方法，根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)

則，以最大化分類間隔構(gòu)造最優(yōu)分類超平面來提高學(xué)習(xí)機(jī)的泛化能力，較好地解

決了非線性、高維數(shù)、局部極小點(diǎn)等問題。對(duì)于分類問題，支持向量機(jī)算法根據(jù)

區(qū)域中的樣本計(jì)算該區(qū)域的決策曲面，由此確定該區(qū)域中未知樣本的類別。傳統(tǒng)

圖像目標(biāo)檢測(cè)中大多應(yīng)用SVM分類器進(jìn)行特征分類，然而缺失數(shù)據(jù)敏感和對(duì)非

線性問題沒有通用解決方案仍是急待解決的問題。

Boosting分類器是一種集合分類器即通過組合幾個(gè)弱分類器實(shí)現(xiàn)強(qiáng)分類器

的性能。其基本思想是：訓(xùn)練數(shù)個(gè)弱分類器，在第一個(gè)弱分類器中輸入相同權(quán)值

訓(xùn)練樣本，在之后的分類器迭代過程中，不斷增加正確樣本權(quán)重直到迭代完成，

最后將所有弱分類器組合成強(qiáng)分類器用于分類決策。Adaboost(AdaptiveBoosting)

算法具體實(shí)現(xiàn)了Boosting分類器這一思想，且具有精度高、抗過擬合能力強(qiáng)、

構(gòu)建簡(jiǎn)單靈活等優(yōu)點(diǎn)，大量應(yīng)用于包括目標(biāo)特征分類等各種分類場(chǎng)景。弱分類器

的選擇是影響B(tài)oosting分類器分類效果的關(guān)鍵，也是制約其發(fā)展的阻力。

隨機(jī)森林是由多個(gè)決策樹分類器(ClassificationandRegressionTree,CART)

組成的總分類器。為達(dá)到提升泛化性的目的，分類器訓(xùn)練過程中通過隨機(jī)有放回

的采樣獲取子分類器訓(xùn)練樣本集，隨后將提取到的特征按一定比例隨機(jī)無放回的

采樣來訓(xùn)練子分類器節(jié)點(diǎn)。隨機(jī)森林相較于其它分類器具有訓(xùn)練速度快、泛化能

力強(qiáng)、實(shí)現(xiàn)簡(jiǎn)單等優(yōu)點(diǎn)，且可以有效克服樣本失衡、特征丟失、特征維度過高的

問題。但在數(shù)據(jù)噪聲較大的情況下仍會(huì)發(fā)生過擬合的問題，止匕外，該模型內(nèi)部不

可控，只能通過外部參數(shù)進(jìn)行調(diào)節(jié)。

ANN是基于人腦神經(jīng)網(wǎng)絡(luò)對(duì)信息處理分類的一種簡(jiǎn)化模擬，由大量的神經(jīng)

元節(jié)點(diǎn)連接構(gòu)成，通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)連接方式、節(jié)點(diǎn)激活函數(shù)和節(jié)點(diǎn)間權(quán)

值進(jìn)而對(duì)輸出進(jìn)行調(diào)整。根據(jù)訓(xùn)練結(jié)構(gòu)特點(diǎn)可分為前饋網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)和競(jìng)爭(zhēng)學(xué)

習(xí)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練具有良好的聯(lián)想記憶能力，且具有高精度、高并

行性、非線性、良好的容錯(cuò)性和泛化性等優(yōu)點(diǎn)，不足之處是需要大量訓(xùn)練樣本和

一定的硬件基礎(chǔ)，且需要人為經(jīng)驗(yàn)來設(shè)置參數(shù)。

6.基于候選區(qū)域的圖像目標(biāo)檢測(cè)框架

6.1.基于多尺度形變部件模型

多尺度形變部件模型(DeformablePartModel,DPM)算法是一種基于部件的

檢測(cè)算法，曾多次獲得PASCALVOC(VisualObjectClass)挑戰(zhàn)賽冠軍，是深度學(xué)

習(xí)出現(xiàn)之前應(yīng)用最廣泛、效果最好的目標(biāo)檢測(cè)算法。DPM由滑動(dòng)窗口、改進(jìn)的

HOG特征和SVM分類器組合而成，如圖4所示。

圖4DPM流程圖

DPM算法通過構(gòu)建高斯金字塔，在多尺度空間進(jìn)行檢測(cè),每一尺度層的DPM

模型包含一個(gè)根模型和幾個(gè)可變部件模型，根模型的分辨率是可變部件模型的

1/2。目標(biāo)檢測(cè)的結(jié)果由模型與待匹配特征之間的相似度確定，相似度越高則檢

測(cè)分?jǐn)?shù)越高，檢測(cè)窗口得分公式為：

n

score(xy0,/0)=&仆(與，九)+ERi一+b

09I=1

其中，score(xO,yO,10)表示10尺度空間中錨點(diǎn)為(xO,yO)窗口的分?jǐn)?shù)，RO,

EQ41-1

10(x0,yO)為10中根模型相似度得分，！=1'。為10中多個(gè)可變部件模型

得分和，b為偏差值。

DPM目標(biāo)檢測(cè)框架具有以下優(yōu)勢(shì)：

(1)采用高斯金字塔多尺度空間檢測(cè)，保證了尺度不變性；

(2)HOG特征提取算法對(duì)光照變化、細(xì)小形變具有較好的魯棒性；

(3)部件模型的提出降低了遮擋、形變等因素對(duì)目標(biāo)檢測(cè)的影響。

6.2.基于卷積神經(jīng)網(wǎng)絡(luò)

基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)框架有很多，而基于候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)

目標(biāo)檢測(cè)框架起步最早、應(yīng)用最成熟，且具有較高的準(zhǔn)確率，其中具有代表性的

是RCNN,具體步驟如下：

(1)候選區(qū)域檢測(cè)階段：應(yīng)用上文介紹的SelectiveSearch算法對(duì)偵察影像進(jìn)

行區(qū)域選擇；

(2)特征提取階段：將提取的所有候選區(qū)域進(jìn)行歸一化處理，通過訓(xùn)練過的

深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提??；

(3)分類階段：將特征輸入多個(gè)SVM二分類器中，判斷是否屬于該類別。

隨著深度學(xué)習(xí)結(jié)構(gòu)的不斷優(yōu)化，學(xué)者們將卷積神經(jīng)網(wǎng)絡(luò)貫穿包括特征提取在

內(nèi)的整個(gè)基于候選區(qū)域的目標(biāo)檢測(cè)過程中，先后出現(xiàn)了SPP-Net、Fast-RCNN、

Faster-RCNN等框架，大大提高了目標(biāo)檢測(cè)的實(shí)時(shí)性、魯棒性和準(zhǔn)確性。

7.無人機(jī)偵察圖像信息處理關(guān)鍵技術(shù)

7.1.基于機(jī)載光電偵察平臺(tái)的地面目標(biāo)定位技術(shù)

無人機(jī)偵察情報(bào)應(yīng)用的關(guān)鍵要求之一是從無人機(jī)偵察圖像/視頻信息中獲取

感興趣目標(biāo)的具體地理位置信息，無人機(jī)地面目標(biāo)定位的非實(shí)時(shí)定位方法。

二是根據(jù)無人機(jī)姿態(tài)、位置、偵察轉(zhuǎn)臺(tái)參數(shù)等遙測(cè)數(shù)據(jù)，實(shí)時(shí)快速計(jì)算目標(biāo)

的瞬時(shí)位置。

基于機(jī)載光電測(cè)量系統(tǒng)的定位功能涉及到飛行平臺(tái)的位置和姿態(tài)、偵察傳感

器的分辨率、穩(wěn)定平臺(tái)的指向精度、數(shù)據(jù)鏈路的時(shí)延等多個(gè)位置。它還涉及到各

種坐標(biāo)系的變換。定位設(shè)備包括激光測(cè)距儀、機(jī)載陀螺儀系統(tǒng)、慣性測(cè)量設(shè)備

(IMU)、慣性導(dǎo)航系統(tǒng)(INS)、定位系統(tǒng)、POS(特殊姿態(tài)測(cè)量設(shè)備)和光電穩(wěn)定平

臺(tái)山