人工智能在網(wǎng)絡(luò)流量分析中的研究與應(yīng)用

１AI在安全領(lǐng)域的應(yīng)用AI在安全領(lǐng)域的應(yīng)用是當(dāng)前國內(nèi)外企業(yè)技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新的重點。中國工程院院士方濱興指出了新技術(shù)和安全之間存在的兩種關(guān)系：第一種是新技術(shù)服務(wù)于安全即新技術(shù)賦能安全，既可以服務(wù)于防御，也可以服務(wù)于攻擊；第二種是新技術(shù)引入新的安全問題，即新技術(shù)和安全是伴生關(guān)系。AI作為新技術(shù)，既可以賦能網(wǎng)絡(luò)安全，提升網(wǎng)絡(luò)防護(hù)能力，也可以被惡意利用，增強攻擊性和破壞影響力。同時，AI技術(shù)自身存在脆弱性，如果被攻擊者利用，可能會引發(fā)新的安全風(fēng)險。近年來，AI的發(fā)展得益于3個主要驅(qū)動力：（1）特征降維、人工神經(jīng)網(wǎng)絡(luò)、概率圖形模型、強化學(xué)習(xí)和元學(xué)習(xí)等方面的新理論和新技術(shù)層出不窮，在學(xué)術(shù)和工業(yè)領(lǐng)域都取得明顯突破；（2）計算能力的進(jìn)步使許多計算資源消耗型機器學(xué)習(xí)算法可以大規(guī)模普及；（3）在大數(shù)據(jù)時代，數(shù)據(jù)資源的極大豐富可以讓機器學(xué)習(xí)模型泛化能力更強，尤其是深度學(xué)習(xí)技術(shù)使學(xué)者們能夠基于更多數(shù)據(jù)來構(gòu)建合理的AI模型，讓機器發(fā)揮更大的潛力，也讓各種任務(wù)取得更好的結(jié)果。AI的安全應(yīng)用是指以AI相關(guān)技術(shù)為支撐的安全應(yīng)用，具體分為安全防御和安全攻擊兩個方面的應(yīng)用。安全防御是指基于AI的安全檢測、安全防護(hù)等應(yīng)用，比如入侵檢測、入侵防御；安全攻擊是指基于AI的入侵隱藏、行為欺騙等應(yīng)用，比如社會工程攻擊。２AI在安全領(lǐng)域應(yīng)用的現(xiàn)狀隨著網(wǎng)絡(luò)安全技術(shù)向動態(tài)防御和主動防御演進(jìn)，AI以其對網(wǎng)絡(luò)安全威脅的快速識別和反應(yīng)以及自主學(xué)習(xí)的巨大潛力，成為推動網(wǎng)絡(luò)安全技術(shù)創(chuàng)新的重要引擎。當(dāng)前，AI已從初期的惡意軟件監(jiān)測廣泛應(yīng)用到入侵檢測、態(tài)勢分析、云防御、反欺詐、物聯(lián)網(wǎng)安全、移動終端安全、安全運維等諸多領(lǐng)域。例如，在入侵檢測方面，以色列公司利用AI來自動分析威脅，迅速識別和解決網(wǎng)絡(luò)攻擊，幫助企業(yè)內(nèi)部安全團(tuán)隊管理和優(yōu)先處理潛在威脅；我國山石網(wǎng)科公司研發(fā)的智能防火墻，可基于行為分析技術(shù)，幫助客戶發(fā)現(xiàn)未知網(wǎng)絡(luò)威脅，且能夠在遭受攻擊的全過程中提供防護(hù)和檢測。在終端安全方面，美國公司開發(fā)了基于大數(shù)據(jù)分析的終端主動防御平臺，可以識別移動終端的未知惡意軟件，監(jiān)控企業(yè)的數(shù)據(jù)，偵測零日威脅，并形成一套快速響應(yīng)措施，提高黑客開展攻擊的風(fēng)險和代價。在安全運維方面，美國的公司采用AI算法對日志和事件等數(shù)據(jù)進(jìn)行優(yōu)先級排序并逐一分析，以協(xié)助安全分析師發(fā)現(xiàn)網(wǎng)絡(luò)中有攻擊性的威脅，提高安全運營中心的運營效率。從應(yīng)用深度看，AI在網(wǎng)絡(luò)安全的應(yīng)用程度仍處于前期積累階段，除可提升部分網(wǎng)絡(luò)安全防護(hù)產(chǎn)品性能外，基于AI技術(shù)的網(wǎng)絡(luò)安全防護(hù)體系的創(chuàng)新仍在研究和試驗階段。目前，國外安全企業(yè)起步較早，如英國公司基于劍橋大學(xué)的機器學(xué)習(xí)和AI算法仿生人類免疫系統(tǒng)，致力于實現(xiàn)網(wǎng)絡(luò)自動自主防御潛在威脅，能夠幫助企業(yè)快速識別并應(yīng)對人為制造的網(wǎng)絡(luò)攻擊，同時還能預(yù)防基于機器學(xué)習(xí)的網(wǎng)絡(luò)攻擊。相比之下，國內(nèi)基于AI技術(shù)的網(wǎng)絡(luò)安全防護(hù)整體解決方案尚處于研究階段，仍需繼續(xù)探索如何利用AI技術(shù)實現(xiàn)整體網(wǎng)絡(luò)安全防護(hù)體系和架構(gòu)的創(chuàng)新優(yōu)化。３AI在網(wǎng)絡(luò)流量智能分析中的應(yīng)用網(wǎng)絡(luò)流量作為記錄和反映網(wǎng)絡(luò)及其用戶活動的重要載體，幾乎可以跟所有與網(wǎng)絡(luò)相關(guān)的活動聯(lián)系在一起。對于網(wǎng)絡(luò)威脅而言，網(wǎng)絡(luò)流量特征正是黑客入侵及其他威脅行為發(fā)生時會隨之產(chǎn)生的重要特征。對于網(wǎng)絡(luò)攻擊而言，不論攻擊成功與否，攻擊行為的載體只可能是網(wǎng)絡(luò)流量；因此，對海量的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行收集和處理后，經(jīng)由系統(tǒng)智能分析模型的分析，可以自動感知網(wǎng)絡(luò)明文流量中的異常行為、異常流量并及時報警，達(dá)到識別非法應(yīng)用協(xié)議、網(wǎng)絡(luò)攻擊行為的目的，提升用戶應(yīng)對應(yīng)用系統(tǒng)異常行為的效率。3.1系統(tǒng)功能架構(gòu)通過對積累的異常行為和網(wǎng)絡(luò)攻擊的數(shù)據(jù)特征進(jìn)行深入研究，將研究結(jié)果用于網(wǎng)絡(luò)流量深度檢測，可以突破目前的瓶頸，增強對未知威脅的識別能力和上報能力。按照流程，網(wǎng)絡(luò)安全流量智能分析系統(tǒng)需將采集到的數(shù)據(jù)進(jìn)行處理后入庫，然后從數(shù)據(jù)庫中提取要分析的數(shù)據(jù)，使用智能分析模塊進(jìn)行分析，最終提供異常行為監(jiān)測、威脅監(jiān)測，以及數(shù)據(jù)共享配置管理。系統(tǒng)功能架構(gòu)如圖1所示。圖1功能架構(gòu)數(shù)據(jù)采集模塊收取探針發(fā)送的流量數(shù)據(jù)，實現(xiàn)網(wǎng)絡(luò)全流量采集功能；數(shù)據(jù)處理模塊對收取的流量數(shù)據(jù)進(jìn)行預(yù)處理，包括標(biāo)準(zhǔn)化和格式化，保證數(shù)據(jù)的完整性和可用性。智能分析模塊負(fù)責(zé)提供智能分析的基本方法，即作為系統(tǒng)內(nèi)置的智能分析工具箱，提供包括但不限于關(guān)聯(lián)分析、檢索分析、機器學(xué)習(xí)、行為分析、AI分析、可視化建模分析等分析方法。異常行為監(jiān)測模塊對各種異常行為的特征進(jìn)行深入研究，融合構(gòu)建出異常行為數(shù)據(jù)模型，實現(xiàn)對網(wǎng)絡(luò)內(nèi)違規(guī)行為的識別，可以識別的網(wǎng)絡(luò)的違規(guī)行為包括但不限于失竊密檢測、失陷賬號分析、離群分析、虛擬專用網(wǎng)絡(luò)（VirtualPrivateNetwork，VPN）登陸地域賬號分析、合規(guī)分析、異常賬號登錄分析、特權(quán)濫用分析、資產(chǎn)外聯(lián)分析等。威脅監(jiān)測模塊對收取到的全流量數(shù)據(jù)基于數(shù)據(jù)特征進(jìn)行智能分析，識別當(dāng)前網(wǎng)絡(luò)中存在的威脅。針對復(fù)雜的安全場景，首先可基于單條數(shù)據(jù)特征、周期、頻率等簡單分析邏輯進(jìn)行分析建模，發(fā)現(xiàn)潛在威脅；其次，通過基于時間序列的多條數(shù)據(jù)關(guān)聯(lián)分析建模，對數(shù)據(jù)和數(shù)據(jù)之間的因果依賴、發(fā)生順序、上下文進(jìn)行分析以發(fā)現(xiàn)潛在威脅?？梢宰R別的威脅包括但不限于外聯(lián)流量攻擊、異常流量、暴力破解，僵尸主機、結(jié)構(gòu)化查詢語言（StructuredQueryLanguage，SQL）注入攻擊等。此外，支持自學(xué)習(xí)的流量分析模型，能夠動態(tài)優(yōu)化或修正模型的參數(shù)、閾值，能夠識別流量型攻擊和應(yīng)用型攻擊等。數(shù)據(jù)共享配置管理模塊接收管理系統(tǒng)下發(fā)的策略，進(jìn)行軟件配置、狀態(tài)檢測和信息收集上報，并為了滿足多個系統(tǒng)之間的數(shù)據(jù)交互與共享，制定數(shù)據(jù)共享規(guī)范，對數(shù)據(jù)外發(fā)的接口、參數(shù)、協(xié)議進(jìn)行標(biāo)準(zhǔn)化，從而實現(xiàn)多系統(tǒng)流量數(shù)據(jù)共享。3.2系統(tǒng)軟件架構(gòu)按照體系架構(gòu)的設(shè)計，軟件實現(xiàn)上劃分為數(shù)據(jù)采集、數(shù)據(jù)匯入、存儲計算、數(shù)據(jù)智能分析、安全應(yīng)用5個部分。軟件架構(gòu)如圖2所示。圖2系統(tǒng)軟件架構(gòu)數(shù)據(jù)采集層通過探針實時接收全流量數(shù)據(jù)，并實時進(jìn)行流量智能識別。收集到的數(shù)據(jù)，通過數(shù)據(jù)接入接口，進(jìn)入數(shù)據(jù)匯入層。在數(shù)據(jù)匯入層實現(xiàn)數(shù)據(jù)的預(yù)處理、數(shù)據(jù)入庫，并進(jìn)行相應(yīng)的數(shù)據(jù)治理，比如提供數(shù)據(jù)源的管理和監(jiān)控。存儲計算層，提供分布式的存儲與計算環(huán)境，以及資源調(diào)度機制。數(shù)據(jù)智能分析層可以提供檢索分析、智能安全分析和調(diào)查分析。其中的智能安全分析，可以在智能模型的基礎(chǔ)上，提供關(guān)聯(lián)分析、深度分析、行為分析、機器學(xué)習(xí)等分析類型。同時可以對模型進(jìn)行統(tǒng)一的任務(wù)管理、調(diào)控和智能修正等操作。安全應(yīng)用層使用基礎(chǔ)的智能分析工具，提供專項監(jiān)測，如異常行為監(jiān)測、威脅監(jiān)測、安全監(jiān)測，并提供數(shù)據(jù)共享的配置管理。3.3系統(tǒng)關(guān)鍵技術(shù)網(wǎng)絡(luò)流量安全智能分析中，主要結(jié)合并應(yīng)用的AI關(guān)鍵技術(shù)如下文所述。3.3.1基于自學(xué)習(xí)的網(wǎng)絡(luò)威脅特征輪廓掃描技術(shù)流量自學(xué)習(xí)掃描是為了掃描出正常狀態(tài)下的網(wǎng)絡(luò)基線，在流量學(xué)習(xí)中最重要的是學(xué)習(xí)配置結(jié)構(gòu)。學(xué)習(xí)配置結(jié)構(gòu)是描述學(xué)習(xí)方式及學(xué)習(xí)結(jié)果應(yīng)用方式，主要包含配置學(xué)習(xí)周期時長、學(xué)習(xí)次數(shù)（包括無限次）、掃描策略生成方式、掃描策略自動生成條件等。3.3.2隱蔽惡意流量檢測技術(shù)很多惡意攻擊者對安全規(guī)則、內(nèi)控措施非常了解，他們很清楚哪種操作實施到哪種程度會觸發(fā)報警。因此，惡意人員會通過降低非法操作行為的次數(shù)和規(guī)模，潛藏在正常流量中以避免被傳統(tǒng)安全系統(tǒng)檢測到，達(dá)到隱蔽攻擊的目的，而傳統(tǒng)的檢測方式難以檢測此類隱蔽威脅。隱蔽惡意流量檢測技術(shù)通過利用長周期分流量行為進(jìn)行構(gòu)建，將行為特征進(jìn)行橫向與縱向?qū)Ρ?，檢測長期低頻等隱蔽惡意流量行為。3.3.3基于隱馬爾科夫的行為序列建模技術(shù)基于隱馬爾科夫的行為序列建模技術(shù)首先提取網(wǎng)絡(luò)流量數(shù)據(jù)中的行為特征作為當(dāng)前被檢測用戶的行為特征；其次提取訓(xùn)練序列的行為特征，建立正常序列庫，并訓(xùn)練序列的馬爾科夫鏈狀態(tài)集，計算該馬爾科夫鏈狀態(tài)的轉(zhuǎn)移概率矩陣，以此來描述用戶的正常行為；最后將被檢測用戶的行為特征與歷史行為特征進(jìn)行對比，判斷當(dāng)前行為是否為異常行為：如果兩者的偏離超過一定閾值，則認(rèn)為是異常的；如果兩者的偏離在正常范圍內(nèi)，則認(rèn)為正常。3.3.4異常登陸行為檢測技術(shù)針對賬號的異地登陸、頻繁登陸進(jìn)行檢測，通過對安全域過濾、維度過濾、條件過濾等算子的研究，對異常登陸行為進(jìn)行識別。3.3.5惡意鏈接檢測技術(shù)常見的網(wǎng)絡(luò)攻擊中，惡意鏈接經(jīng)常扮演著重要角色，并被廣泛應(yīng)用到各種類型的攻擊中，如釣魚、垃圾郵件、SQL注入以及惡意軟件。傳統(tǒng)的識別方法是基于黑名單檢測和規(guī)則檢測，但黑名單具有漏判嚴(yán)重、時效性低的缺點，而規(guī)則檢測容易被攻擊者繞過。惡意鏈接檢測技術(shù)基于機器學(xué)習(xí)算法，通過分析惡意鏈接的特點提取關(guān)鍵特征進(jìn)行訓(xùn)練，可以彌補黑名單和規(guī)則檢測的不足。3.3.6基于大數(shù)據(jù)的分布式關(guān)聯(lián)分析技術(shù)將異常流量、異常行為、潛在威脅等分析結(jié)果作為輸入數(shù)據(jù)的同時，接入各種其他類型的數(shù)據(jù)，如安全日志、流量數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、漏洞數(shù)據(jù)、威脅情報數(shù)據(jù)等，并使用基于大數(shù)據(jù)的分布式關(guān)聯(lián)分析技術(shù)、圖計算技術(shù)等，實現(xiàn)追蹤溯源，以及實現(xiàn)高級持續(xù)性攻擊、定向攻擊等場景分析。４系統(tǒng)的實現(xiàn)、演示和驗證4.1演示驗證環(huán)境為了驗證網(wǎng)絡(luò)流量安全智能分析系統(tǒng)的數(shù)據(jù)采集、存儲、深度分析、智能識別威脅和實時監(jiān)測異常流量的能力，需對網(wǎng)絡(luò)流量安全智能分析系統(tǒng)進(jìn)行功能驗證與安全場景的演示驗證。網(wǎng)絡(luò)流量安全智能分析系統(tǒng)在實際驗證過程中，部署于單位網(wǎng)絡(luò)出口處。網(wǎng)絡(luò)流量安全智能分析系統(tǒng)在演示驗證環(huán)節(jié)，使用系統(tǒng)最小部署模式，如圖3所示。圖3網(wǎng)絡(luò)流量安全智能分析系統(tǒng)演示驗證部署4.2系統(tǒng)分析模型通過針對網(wǎng)絡(luò)特點進(jìn)行安全場景的構(gòu)建和對數(shù)據(jù)分析模型的研究，并綜合運用通用的智能分析方法和威脅識別技術(shù)，如表1所示，構(gòu)建了網(wǎng)絡(luò)流量安全智能分析系統(tǒng)中常用的網(wǎng)絡(luò)安全場景下的數(shù)據(jù)分析模型、實現(xiàn)思路和運用的智能算子的對應(yīng)關(guān)系。表1?數(shù)據(jù)模型、實現(xiàn)思路和運用的智能算子對應(yīng)表4.3關(guān)鍵指標(biāo)驗證在試驗環(huán)境下，結(jié)合對網(wǎng)絡(luò)流量安全智能分析系統(tǒng)的要求，可以對以下4個方面的關(guān)鍵指標(biāo)進(jìn)行驗證：（1）能夠根據(jù)網(wǎng)絡(luò)業(yè)務(wù)對網(wǎng)絡(luò)流量情況進(jìn)行智能分析，自動生成流量行為模型，根據(jù)該模型及時發(fā)現(xiàn)網(wǎng)絡(luò)中的異常流量行為。在相對獨立和封閉的一些專用網(wǎng)絡(luò)中，無法借助互聯(lián)網(wǎng)上的多種手段進(jìn)行網(wǎng)絡(luò)內(nèi)的異常發(fā)現(xiàn)，只有借助流量數(shù)據(jù)進(jìn)行分析，因此對流量的智能分析非常重要。因此，通過智能化的方法從流量數(shù)據(jù)中分析出日常的規(guī)律，將其作為基線，當(dāng)有不符合該基線的流量出現(xiàn)時，說明有疑似異常的行為出現(xiàn)。（2）機器學(xué)習(xí)算法支持的屬性至少包括應(yīng)用協(xié)議類型，源目的地址，數(shù)據(jù)包數(shù)，數(shù)據(jù)包字節(jié)發(fā)現(xiàn)分布，網(wǎng)絡(luò)流向，時間維度，數(shù)據(jù)類型等7種維度屬性。發(fā)生異常行為時，體現(xiàn)在流量數(shù)據(jù)特征上的可能有多種維度，比如使用了非法的協(xié)議、產(chǎn)生了過大的流量、錯誤的時間序列等。因此，需要智能分析行為基線的機器學(xué)習(xí)方法，且至少能夠支持流量數(shù)據(jù)的7個基本維度屬性。（3）支持自學(xué)習(xí)的流量分析模型，能夠動態(tài)優(yōu)化或修正模型的參數(shù)和閾值，能夠識別流量型攻擊和應(yīng)用型攻擊。在實際的業(yè)務(wù)運轉(zhuǎn)過程中，不同階段、不同時期、不同區(qū)域、不同業(yè)務(wù)系統(tǒng)，對正常流量的標(biāo)準(zhǔn)可能會不同。因此，需要流量分析模型具備動態(tài)調(diào)整參數(shù)和基線的功能。（4）網(wǎng)絡(luò)行為數(shù)據(jù)的特征建模方式不少于5種。網(wǎng)絡(luò)中的異常行為都有其特征，識別異常行為的模型也是依據(jù)數(shù)據(jù)特征進(jìn)行匹配和計算。根據(jù)業(yè)務(wù)的需要，能夠識別出的異常行為不少于5種，至少包括非法賬戶、非法權(quán)限等類型。（5）能夠識別至少4種網(wǎng)絡(luò)流量攻擊。網(wǎng)絡(luò)中的攻擊行為也會在網(wǎng)絡(luò)流量數(shù)據(jù)中體現(xiàn)其相應(yīng)的特征，需要能識別不少于4種常見的攻擊行為。５應(yīng)用場景本系統(tǒng)的研究成果可應(yīng)用于以下場景：（1）面向大規(guī)模網(wǎng)絡(luò)的全維流量智能分析。可進(jìn)行分布式的、多網(wǎng)絡(luò)節(jié)點的全維流量采集，由系統(tǒng)生成分析模型，自動感知網(wǎng)絡(luò)明文流量中的異常行為、異常流量并及時報警，識別非法應(yīng)用協(xié)議、網(wǎng)絡(luò)攻擊行為，提升用戶應(yīng)對應(yīng)用系統(tǒng)異常行為的處理效率。（2）面向網(wǎng)絡(luò)空間作戰(zhàn)的未知威脅深度檢測。利用該系統(tǒng)可提升未知威脅的發(fā)現(xiàn)能力，并且可以靈活擴(kuò)展威脅識別算法，從而提高檢測的準(zhǔn)確性，并能夠告警上報未知的惡意代碼和異常行為。（3）面向高級持續(xù)性威脅的網(wǎng)絡(luò)攻擊溯源分析。系統(tǒng)使用智能化的數(shù)據(jù)模型從全流量數(shù)據(jù)中分析出攻擊者的路徑和所處的攻擊階段，對持續(xù)性威脅進(jìn)行追蹤和溯源分析。（4）全局網(wǎng)絡(luò)安全預(yù)警。系統(tǒng)可對網(wǎng)內(nèi)各個關(guān)鍵節(jié)點中的潛在惡意行