無人機集群協(xié)同與對抗技術

無人機集群協(xié)同與對抗技術

問題與出路主要內容中心化無人機集群關鍵技術中心化集群控制系統(tǒng)存在的問題與去中心化分布式自主系統(tǒng)對策無人機集群去中心化分布式計算模型無人機集群對抗技術研究集群對抗策略仿真演練平臺建設集群決策模型設計與博弈策略演化集群智能(Swarm

Intelligence)強化學習(ReinforcementLearning)技術無人機集群對抗大賽標準設計5/9/2019無人機集群作戰(zhàn)關鍵技術當前，雖然無人機集群技術研究發(fā)展日新月異，但是在非確定復雜環(huán)境的軍事應用領域，無人機集群面對的環(huán)境復雜多變且對抗性極強，集群成員之間自主高效協(xié)作的實現(xiàn)難度很大。因此，如何實現(xiàn)無人機集群自主編隊飛行(防撞避障)，如何保障無人機集群成員間的高效信息交互(自組通信網絡與分布式局部/全局態(tài)勢感知)，如何完成無人機集群的智能優(yōu)化控制(集群行為建模與機器學習)，如何實現(xiàn)集群作戰(zhàn)任務的實時動態(tài)合理分配(集群決策建模與合作/對抗策略)，已經成為無人機集群對抗技術中極具挑戰(zhàn)性的瓶頸問題，也是無人機集群進一步發(fā)展有待廣泛研究的重要課題。無人機集群對抗涉及現(xiàn)代控制理論、代數(shù)圖論、網絡通信、分布式計算、人工智能與機器學習、集群智能(swarmintelligence)、復雜適應系統(tǒng)、博弈論以及系統(tǒng)論等多學科理論與技術，這是近二十年以來控制工程由中心化控制發(fā)展到自主多智能體的去中心化分布式集群涌現(xiàn)控制的一個技術轉捩點，是復雜性與復雜系統(tǒng)理論發(fā)展的一個工程化方向，是人工智能發(fā)展的高級階段，是自主互聯(lián)無人機器社會學的一塊實驗基地。5/9/2019中心化的無人機集群控制關鍵技術5/9/2019關鍵技術(1)集群通信組網與自主控制集群分布式實時操作系統(tǒng)內核設計集群分布式計算實時數(shù)據(jù)一致性共識協(xié)議(比如RAFT協(xié)議)無人機集群自組網絡技術(Ad-hoc)集群防撞避障自組織計算新原理動態(tài)航跡實時規(guī)劃集群分布式計算協(xié)同航路規(guī)劃編隊運動協(xié)調規(guī)劃與控制基于故障預測的任務規(guī)劃5/9/2019關鍵技術(2)集群環(huán)境感知與理解多源傳感信息融合三維實距拓撲時序圖實時建模方法基于生物視覺認知機理的目標識別與環(huán)境建模方法復雜環(huán)境下分布式協(xié)同感知與理解非結構化感知方法5/9/2019關鍵技術(3)集群任務協(xié)同規(guī)劃與決策非確定復雜環(huán)境下多目標優(yōu)化實時決策建模方法多目標在線/離線優(yōu)化與決策算法及策略參數(shù)優(yōu)化方法小樣本數(shù)據(jù)強化學習技術與策略參數(shù)在線優(yōu)化方法集群分布式計算環(huán)境下的動態(tài)多任務協(xié)同實時規(guī)劃5/9/2019關鍵技術(4)

集群人機智能融合與自適應學習人機交互技術人機功能動態(tài)分配技術人機綜合顯控技術無人機自主學習與推理能力提升方法平臺狀態(tài)/戰(zhàn)術態(tài)勢/任務協(xié)同綜合顯示技術5/9/2019問題與對策問題-中心化集群控制(集散控制思想）中心化控制思想系統(tǒng)結構復雜，工程控制難度高由頂向下的系統(tǒng)功能模塊化設計技術固定的網絡拓撲結構基于知識的集中式被動型路徑規(guī)劃與任務分配全局態(tài)勢感知與集中式行為決策決策模型與對抗策略設計節(jié)點地位不一致系統(tǒng)功能固定對策-集群智能（Swarm

Intelligence）去中心化自組織思想系統(tǒng)結構簡單，工程控制難度低由下向上的系統(tǒng)功能涌現(xiàn)機制分布式自組織網絡自適應的分布式主動型路徑尋優(yōu)與任務合作/競爭分布式局部態(tài)勢感知與獨立行為決策決策模型與對抗策略演化節(jié)點地位一致系統(tǒng)功能涌現(xiàn)5/9/2019解決思路:無人機集群

去中心化分布式計算模型

Swarm

Intelligence結構簡單的集群節(jié)點通過局部感知、局部態(tài)勢計算與局部信息交換，形成節(jié)點局部態(tài)勢三維時序拓撲圖，通過分布式共享數(shù)據(jù)庫進一步構建全局態(tài)勢三維時序拓撲圖，實時計算局部/全局友機合作態(tài)勢矩陣以及敵機與友機對抗態(tài)勢矩陣，節(jié)點基于局部/全局合作態(tài)勢與對抗態(tài)勢矩陣，根據(jù)集群合作與對抗決策模型獨立作出并發(fā)布行為決策，各節(jié)點更新態(tài)勢矩陣信息。分布式計算各節(jié)點如此獨立循環(huán)迭代感知、計算與決策，通過涌現(xiàn)出系統(tǒng)的自組織功能完成復雜的集群任務。5/9/2019無人機集群分布式計算模型分布式多智能體系統(tǒng)(Multi-Agent)去中心化自主節(jié)點智能體局部環(huán)境感知與計算智能體局部態(tài)勢計算自主節(jié)點信息交互

智能體決策模型與博弈策略分布式節(jié)點自主路徑尋優(yōu)分布式節(jié)點任務合作與競爭多方博弈均衡策略演化Markov決策模型Bellman動態(tài)規(guī)劃技術算法博弈論演化博弈論增強學習技術Q-Learning演化計算（Evolutionary

Computations）5/9/2019MultiUAV3無人機集群仿真平臺建設飛行動力學模型傳感器模型武器威脅模型網絡通訊模型友機合作模型攻防對抗模型博弈策略演化模塊5/9/2019集群合作與對抗策略仿真演化環(huán)境集群合作策略演化設計模塊復雜適應系統(tǒng)CAS理論Reynolds集群啟發(fā)性規(guī)則Boids模型Swarm模型Tanner模型Couzin模型人工勢場領航控制演化計算與強化學習集群對抗策略演化設計模塊局部三維時變拓撲圖構造局部態(tài)勢感知計算局部態(tài)勢交互通信局部態(tài)勢評估模型局部態(tài)勢-行動決策模型策略搜索演化計算與強化學習研究集群大小、網絡拓撲和單機智能與集群態(tài)勢感知、智能涌現(xiàn)以及作戰(zhàn)效能之間的關系5/9/2019強化學習(ReinforcementLearning)技術5/9/2019每步t智能體執(zhí)行：執(zhí)行動作At;接收觀察信息Ot；接收回報Rt；環(huán)境執(zhí)行：接收動作At；發(fā)出觀察信息Ot+1；發(fā)出標量回報信息Rt+1；迭代過程t以環(huán)境采樣周期遞增智能體在與環(huán)境的互動中學習5/9/2019MARL5/9/2019多智能體強化學習中的困難問題學習任務的維度災難問題狀態(tài)轉移概率函數(shù)和回報函數(shù)在多智能體聯(lián)合動作空間下計算，隨著狀態(tài)和動作的增加，計算復雜度呈指數(shù)增長問題更加嚴重學習目標的定義問題每個智能體回報跟其他智能體的行為相關，不可能單獨最大化某個智能體的回報學習過程的不穩(wěn)定性問題智能體共同學習，每個智能體都面臨一個不停變化的環(huán)境，最好的策略可能會隨著其他智能體策略的改變而改變。知識探索和利用過程的平衡問題在多智能體下，探索不僅是為了獲取環(huán)境的信息，還包括其他智能體的信息，以此適應其他智能體的行為。但過度探索會打破與其他智能體之間的平衡。5/9/2019基于任務性質可對MARL進行分類完全合作型無協(xié)調型直接協(xié)調型間接協(xié)調型完全競爭型混合型Agent-independentmethodsAgent-trackingmethodsAgent-awaremethods5/9/2019基于任務性質的MARL分類MARL=時間差分增強學習

博弈論

直接策略搜索5/9/2019按照任務性質與智能體的獨立性分類MARL5/9/2019

種群初始化解滿足要求？雜交變異更新種群選擇結束演化計算一般流程圖5/9/2019無人機集群對抗大賽標準設計集群對抗仿真平臺飛行動力學模型傳感器模型武器威脅模型網絡通訊模型對抗策略仿真演化環(huán)境友機合作模型攻防對抗模型仿真Q-Learning算法策略優(yōu)化計算集群對抗飛行試驗環(huán)境同構機型硬軟件同構有效負載相同對抗集群無人機數(shù)量相同對抗集群嵌入式決策模塊友機合作模型與合作策略攻防對抗模型與對抗策略飛行Q-Learning算法5/9/2019對抗大賽的技術意義無人機集群對抗賽是一個檢驗群體智能技術有效性的賽場，可以促進無人機集群決策建模、多智能體系統(tǒng)仿真與機器學習的研究水平。對抗雙方無人機集群硬軟件與有效負載同構，無人機決策模型與對抗策略設計成可插拔的集群控制模塊。比賽參與者分別經過仿真對抗演化平臺得到屬于自己的最優(yōu)決策模型與對抗策略，對抗雙方分別將己方集群無人機的控制模塊更新為自己的最優(yōu)決策模型與對抗策略。比賽以規(guī)定時間內對抗雙方無人機的損毀數(shù)量作為戰(zhàn)局的評估基礎，以雙方無人機的損毀數(shù)量隨對抗進行時間的變化關系給出比賽最終評分。對抗比賽檢驗各參賽方無人機集群決策模型與對抗策略的設計能力，促進無人機集群智能的研究水平。大賽平臺提供開源集群對抗仿真軟件環(huán)境，包括與比賽無人機同型號的飛行動力學模型，傳感器模型，武器威脅模型以及可用的網絡通訊模型，參賽各方主要研究集群合作與對抗決策模型，通過集群對抗仿真平臺采用智能計算與機器學習等方法搜索最優(yōu)對抗策略。比賽聚焦集群合作與對抗決策建模，重點關注對抗策略的演化發(fā)現(xiàn)與集群智能的涌現(xiàn)機理。5/9/2019對抗大賽的科學意義過去50年中，人工智能研究的主要問題是"單智能體靜態(tài)可預測環(huán)境中的問題求解"，其標準問題是國際象棋人-機對抗賽；未來50年中，人工智能的主要問題是"多智能體動態(tài)不可預測環(huán)境中的問題求解"，其標準問題是足球的機-機對抗賽和人-機對抗賽。從科學研究的觀點看，無論是現(xiàn)實世界中的智能機器人或機器人團隊(如家用機器人和軍用機器人團隊等)，還是網絡空間中的軟件智能體(如用于網絡計算和電子商務的各種自主軟件以及它們組成的"聯(lián)盟")，都可以抽象為具有自主性、社會性、反應性和能動性的"智能體"(agents)。由這些智能體以及相關的人構成的多智能體系統(tǒng)(Multi-agentSystems)，是未來物理和信息世界的一個縮影。其基本問題是智能體(包括人)之間的協(xié)調與發(fā)展，主要研究內容包括智能體設計、多智能體系統(tǒng)體系結構、智能體協(xié)商與合作、自動推理、規(guī)劃、機器學習與知識獲取、認知建模、系統(tǒng)生態(tài)和進化等一系列專題。這些專題有的是新提出的(如"合作")，有的是過去未能徹底解決并在新的條件下更加復雜化的(如機器學習)。這些問題不解決，未來社會所需的一系列關鍵性技術就無法實現(xiàn)。值得注意的是，上述問題中的大多數(shù)都會在即將到來的比機器人足球賽更具挑戰(zhàn)性的UAV(無人機)集群對抗大賽中得到集中體現(xiàn)。5/9/2019

結束5/9/2019無協(xié)調的方法基于協(xié)調的方法間接協(xié)調方法完全合作型任務:Q-Learning5/9/2019無協(xié)調：非負回報的確定式Q-Learning每個智能