數(shù)據(jù)驅(qū)動(dòng)的未知網(wǎng)絡(luò)威脅檢測(cè)綜述

近幾年，在網(wǎng)絡(luò)空間規(guī)模逐漸擴(kuò)大、結(jié)構(gòu)日趨復(fù)雜的同時(shí)，網(wǎng)絡(luò)安全形勢(shì)也越來(lái)越嚴(yán)峻。為了逃避日益先進(jìn)的檢測(cè)技術(shù)，各類網(wǎng)絡(luò)威脅正變得愈加具有隱蔽性和對(duì)抗性。并且隨著新冠肺炎疫情在世界范圍內(nèi)的流行，越來(lái)越多的組織將資產(chǎn)和業(yè)務(wù)遷移到線上，導(dǎo)致攻擊面快速擴(kuò)張，各類新型威脅數(shù)量和種類也急劇增多。SkyboxSecurity在《2022年漏洞和威脅趨勢(shì)報(bào)告》中指出，2021年0day（零日）漏洞新增數(shù)量再創(chuàng)新高，各類新型惡意軟件也層出不窮，同時(shí)攻擊者利用0day漏洞的速度及其攻擊能力得到進(jìn)一步提升，使得網(wǎng)絡(luò)空間安全面臨著更多來(lái)自未知網(wǎng)絡(luò)威脅的挑戰(zhàn)。本文將防御者在系統(tǒng)訓(xùn)練和運(yùn)行階段未見(jiàn)過(guò)的網(wǎng)絡(luò)威脅稱為未知網(wǎng)絡(luò)威脅，即缺少相關(guān)標(biāo)注訓(xùn)練數(shù)據(jù)的網(wǎng)絡(luò)威脅。在以往的相關(guān)研究中，大多是關(guān)注對(duì)已知網(wǎng)絡(luò)威脅的檢測(cè)，但近年來(lái)各種未知網(wǎng)絡(luò)威脅不斷涌現(xiàn)，給政府、企業(yè)及關(guān)鍵基礎(chǔ)設(shè)施帶來(lái)了巨大的安全風(fēng)險(xiǎn)。而由于未知網(wǎng)絡(luò)威脅種類的新增速度不斷增加，采用以往的人工設(shè)計(jì)規(guī)則等方法實(shí)現(xiàn)檢測(cè)的效率太低，難以滿足如今的網(wǎng)絡(luò)安全需求。對(duì)未知網(wǎng)絡(luò)威脅的檢測(cè)已經(jīng)成為當(dāng)前的研究熱點(diǎn)和難點(diǎn)。在實(shí)際應(yīng)用中，未知網(wǎng)絡(luò)威脅缺乏標(biāo)記數(shù)據(jù)的原因主要有兩種。一是攻擊者在實(shí)施攻擊時(shí)采用了新0day漏洞或新技術(shù)。除了對(duì)新0day漏洞的利用，由于許多攻擊工具或新技術(shù)（如人工智能）可以從開源社區(qū)中被輕易獲取，這不僅提高了攻擊技術(shù)，還降低了攻擊成本。例如韓宇等人采用生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks，GAN）算法實(shí)現(xiàn)了惡意流量偽裝，成功繞過(guò)了網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)（NetworkIntrusionDetectionSystems，NIDS）的檢測(cè)。這類網(wǎng)絡(luò)威脅由于防御者在此前沒(méi)有相關(guān)知識(shí)，因此缺乏相關(guān)標(biāo)記數(shù)據(jù)。二是攻擊者在實(shí)施攻擊時(shí)采用加密或社會(huì)工程等技巧，使得攻擊行為與正常行為難以區(qū)分。例如，被廣泛應(yīng)用的傳輸層安全協(xié)議（TransportLayerSecurity，TLS）也同樣被用于網(wǎng)絡(luò)攻擊，據(jù)統(tǒng)計(jì)，在2020年有70%的惡意攻擊采用了加密技術(shù)。防御方一方面需要維護(hù)數(shù)據(jù)傳輸?shù)臋C(jī)密性，另一方面需要在加密環(huán)境下找出惡意攻擊，這給攻擊檢測(cè)帶來(lái)了極大的困難。這類網(wǎng)絡(luò)威脅由于防御者的成本等因素限制，無(wú)法及時(shí)從海量無(wú)標(biāo)注的數(shù)據(jù)中找出并標(biāo)記此類攻擊，因此缺乏相關(guān)標(biāo)記數(shù)據(jù)。及時(shí)檢測(cè)和分析未知網(wǎng)絡(luò)威脅的意義在于如下兩個(gè)方面。一是可以幫助系統(tǒng)盡快從攻擊中恢復(fù)，以減少造成的損失。二是多步攻擊[也有文獻(xiàn)稱為高級(jí)持續(xù)威脅（AdvancedPersistentThreat，APT）]常常包含未知網(wǎng)絡(luò)威脅（例如，MITRE公司搜集的多個(gè)真實(shí)APT案例中就包含了眾多單步的未知攻擊，包括0day攻擊、社會(huì)工程攻擊等），這類多步攻擊也可以視作多步的未知網(wǎng)絡(luò)威脅。及時(shí)發(fā)現(xiàn)這些攻擊碎片可以幫助防御方了解所遭受的多步攻擊的意圖并預(yù)測(cè)后續(xù)攻擊，以幫助防御方及時(shí)采取保護(hù)措施并阻止后續(xù)攻擊。可以預(yù)見(jiàn)，隨著未來(lái)網(wǎng)絡(luò)攻擊場(chǎng)景更加復(fù)雜，未知網(wǎng)絡(luò)威脅也將愈發(fā)常見(jiàn)。然而以往對(duì)已知網(wǎng)絡(luò)威脅檢測(cè)的基于簽名的方法對(duì)未知網(wǎng)絡(luò)威脅束手無(wú)策，基于異常的方法誤報(bào)率高。并且，如今面對(duì)越來(lái)越復(fù)雜的網(wǎng)絡(luò)攻擊以及海量安全數(shù)據(jù)，大多研究采用了機(jī)器學(xué)習(xí)（MachineLearning）算法實(shí)現(xiàn)高性能的威脅檢測(cè)。在機(jī)器學(xué)習(xí)算法中，分類任務(wù)定義了以下4個(gè)基本類：已知的已知類（KnownKnownClasses，KKC）、已知的未知類（KnownUnknownClasses，KUC）、未知的已知類（UnknownKnownClasses，UKC）和未知的未知類（UnknownUnknownClasses，UUC）。而對(duì)未知類（UKC或UUC類）的識(shí)別方法包括異常檢測(cè)（AnomalyDetection）、開集識(shí)別（OpenSetRecognition）和零樣本學(xué)習(xí)（Zero-ShotLearning）3種，相關(guān)任務(wù)及差異如表1所示。從方法的角度來(lái)看，現(xiàn)有對(duì)單步未知網(wǎng)絡(luò)威脅的檢測(cè)方法也可以分為這3類，而對(duì)包含多步未知網(wǎng)絡(luò)威脅來(lái)說(shuō)，檢測(cè)原理大多基于上下文推理。表1分類中不同任務(wù)的差異從表1可以看出，這3類方法適用場(chǎng)景的差異主要在于所需數(shù)據(jù)的不同。然而，數(shù)據(jù)作為網(wǎng)絡(luò)空間安全中的重要資源，獲取高質(zhì)量數(shù)據(jù)的成本很高。現(xiàn)有的研究都是針對(duì)某一具體場(chǎng)景下未知網(wǎng)絡(luò)威脅檢測(cè)的需求，給出了具體的解決方案。目前該領(lǐng)域缺乏系統(tǒng)性的綜述研究，特別是從數(shù)據(jù)視角分析不同場(chǎng)景下適合的算法。為此，本文從實(shí)際應(yīng)用出發(fā)，從數(shù)據(jù)視角總結(jié)了不同場(chǎng)景下的未知網(wǎng)絡(luò)威脅的檢測(cè)方法，并分析了不同數(shù)據(jù)條件下的檢測(cè)思路，同時(shí)詳細(xì)地闡述了各類檢測(cè)方法的優(yōu)缺點(diǎn)以及適用場(chǎng)景，為實(shí)際中各類未知網(wǎng)絡(luò)威脅檢測(cè)的實(shí)現(xiàn)提供了指導(dǎo)和參考。１用于未知威脅檢測(cè)的數(shù)據(jù)類型數(shù)據(jù)是網(wǎng)絡(luò)威脅檢測(cè)和分析的基礎(chǔ)。特別是在機(jī)器學(xué)習(xí)架構(gòu)中，數(shù)據(jù)的可用性與質(zhì)量直接影響了模型的性能。對(duì)本文所研究的未知威脅檢測(cè)來(lái)說(shuō)，不同來(lái)源的安全數(shù)據(jù)具有不同的語(yǔ)義，也具有不同的獲取難度，而數(shù)據(jù)的可用性直接決定了實(shí)際應(yīng)用中應(yīng)該采用何種方法來(lái)實(shí)現(xiàn)檢測(cè)。如何對(duì)不同來(lái)源的安全數(shù)據(jù)進(jìn)行分類是一個(gè)重要的研究課題?；诓煌恼Z(yǔ)義級(jí)別將安全相關(guān)的數(shù)據(jù)分為3類：非語(yǔ)義數(shù)據(jù)（NonsemanticData）、語(yǔ)義數(shù)據(jù)（SemanticData）和安全知識(shí)數(shù)據(jù)（SecurityKnowledgeData）。本文在此研究的基礎(chǔ)上，擴(kuò)展和完善了相關(guān)概念，并分析了其在實(shí)際未知網(wǎng)絡(luò)威脅檢測(cè)中的位置和獲取難度。本文給出了一個(gè)簡(jiǎn)化的通用網(wǎng)絡(luò)威脅檢測(cè)框架，并標(biāo)注了各類數(shù)據(jù)在其中的所屬位置，如圖1所示。根據(jù)研究對(duì)象的不同，可將檢測(cè)框架分為5層，分別為感知層、事件層、告警層、態(tài)勢(shì)分析層和威脅情報(bào)層。感知層的任務(wù)是采集、傳輸并預(yù)處理系統(tǒng)中的各類原生數(shù)據(jù)（RawData）；事件層的任務(wù)是對(duì)感知層中的非語(yǔ)義數(shù)據(jù)進(jìn)行分析，將其分割和提煉為與安全相關(guān)的事件；告警層的任務(wù)是采用模式匹配、異常檢測(cè)等方法對(duì)感知層的語(yǔ)義數(shù)據(jù)以及事件層提煉的安全事件數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)對(duì)各種單步攻擊的檢測(cè)；態(tài)勢(shì)分析層的任務(wù)是結(jié)合威脅情報(bào)層的相關(guān)安全知識(shí)數(shù)據(jù)，對(duì)告警層檢測(cè)到的多個(gè)單步攻擊進(jìn)行關(guān)聯(lián)分析和場(chǎng)景重構(gòu)等，以發(fā)現(xiàn)復(fù)雜的多步攻擊，并呈現(xiàn)當(dāng)前系統(tǒng)的網(wǎng)絡(luò)安全態(tài)勢(shì)；威脅情報(bào)層需要采集并處理各類需要的安全知識(shí)數(shù)據(jù)。圖1包含3類安全數(shù)據(jù)的典型網(wǎng)絡(luò)威脅檢測(cè)框架1.1非語(yǔ)義數(shù)據(jù)非語(yǔ)義數(shù)據(jù)是指系統(tǒng)本身正常運(yùn)行時(shí)所產(chǎn)生的數(shù)據(jù)，不包括安全語(yǔ)義信息的各程序或組件的詳細(xì)記錄。其主要數(shù)據(jù)類型包括鏡像的流量數(shù)據(jù)、系統(tǒng)調(diào)用、操作日志、NetFlow、各類審計(jì)設(shè)備日志、服務(wù)器日志、數(shù)據(jù)庫(kù)日志等。雖然這類數(shù)據(jù)自身并不包含與安全相關(guān)的語(yǔ)義信息，但安全分析人員可以通過(guò)異常檢測(cè)、規(guī)則匹配等方法從中發(fā)現(xiàn)潛在的網(wǎng)絡(luò)威脅。在實(shí)際應(yīng)用中，這類數(shù)據(jù)較容易被獲取，但因數(shù)量龐大且是無(wú)標(biāo)注的，因此在威脅檢測(cè)時(shí)還需進(jìn)一步處理分析。1.2語(yǔ)義數(shù)據(jù)語(yǔ)義數(shù)據(jù)是包含安全語(yǔ)義的數(shù)據(jù)，包括各類安全設(shè)備的告警和日志，以及從非語(yǔ)義數(shù)據(jù)中提煉的與安全相關(guān)的事件，如圖1所示。其主要數(shù)據(jù)類型包括各類入侵檢測(cè)系統(tǒng)（IntrusionDetectionSystem，IDS）、防火墻和蜜罐等安全組件的告警和日志，以及安全人員提煉的與安全相關(guān)的事件。這類數(shù)據(jù)自身包含了與安全相關(guān)的語(yǔ)義信息，所以是有標(biāo)注的。獲取這類數(shù)據(jù)需要部署各類安全組件，并且數(shù)據(jù)的質(zhì)量與安全設(shè)備的性能高度相關(guān)。近年來(lái)，雖然各類安全組件的性能進(jìn)步很大，但仍難以應(yīng)對(duì)層出不窮的攻擊。在實(shí)際應(yīng)用中，這類數(shù)據(jù)中可能存在較多的誤報(bào)和漏報(bào)。在未知網(wǎng)絡(luò)威脅檢測(cè)中，語(yǔ)義數(shù)據(jù)應(yīng)當(dāng)不包含單步未知威脅（否則就是已知威脅），但多步未知威脅可以通過(guò)對(duì)語(yǔ)義數(shù)據(jù)中的部分已知單步攻擊的上下文推理中發(fā)現(xiàn)未知網(wǎng)絡(luò)威脅。1.3安全知識(shí)數(shù)據(jù)安全知識(shí)數(shù)據(jù)主要包括系統(tǒng)相關(guān)信息和攻擊相關(guān)知識(shí)兩個(gè)部分。系統(tǒng)相關(guān)信息是指系統(tǒng)自身相關(guān)但又難以準(zhǔn)確獲取的安全相關(guān)信息，例如網(wǎng)絡(luò)拓?fù)?、資產(chǎn)信息、訪問(wèn)控制策略、各類系統(tǒng)設(shè)置和安全規(guī)則等，進(jìn)一步還包括利用外界的威脅情報(bào)構(gòu)建的知識(shí)圖譜等高級(jí)數(shù)據(jù)形式。這類數(shù)據(jù)往往不能從真實(shí)部署的環(huán)境中直接獲取或在建設(shè)、運(yùn)行、維護(hù)時(shí)經(jīng)常變更，需要對(duì)其進(jìn)行實(shí)時(shí)監(jiān)控并提供人工維護(hù)。攻擊相關(guān)知識(shí)包括各種外部威脅情報(bào)信息（如漏洞庫(kù)、惡意域名庫(kù)等）以及其他與網(wǎng)絡(luò)攻擊相關(guān)的知識(shí)（如各類攻擊模型等）。威脅情報(bào)已成為檢測(cè)網(wǎng)絡(luò)威脅的重要數(shù)據(jù)源，這類數(shù)據(jù)或由專業(yè)安全機(jī)構(gòu)實(shí)時(shí)發(fā)布更新，或以非結(jié)構(gòu)化的文本形式存在于互聯(lián)網(wǎng)中。安全知識(shí)數(shù)據(jù)的獲取難度各不相同，需要結(jié)合具體場(chǎng)景分析。但對(duì)未知網(wǎng)絡(luò)威脅檢測(cè)而言，很多最新的攻擊技巧或0day漏洞往往是最先碎片化存在于社交網(wǎng)站中，要從互聯(lián)網(wǎng)的海量信息中獲取高質(zhì)量的威脅情報(bào)數(shù)據(jù)十分困難。２不同數(shù)據(jù)場(chǎng)景下的未知網(wǎng)絡(luò)威脅的檢測(cè)方法2.1采用非語(yǔ)義數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法采用非語(yǔ)義數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法是指僅利用系統(tǒng)業(yè)務(wù)所產(chǎn)生的非語(yǔ)義數(shù)據(jù)實(shí)現(xiàn)檢測(cè)，主要用于對(duì)單步未知網(wǎng)絡(luò)威脅的檢測(cè)。從采用數(shù)據(jù)角度來(lái)說(shuō)，實(shí)際中使用的非語(yǔ)義數(shù)據(jù)主要是原始流量數(shù)據(jù)，其他類型的非語(yǔ)義數(shù)據(jù)主要用于用戶實(shí)體行為分析（UserandEntityBehaviorAnalytics，UEBA）。從使用方法的角度來(lái)說(shuō)，主要采用異常檢測(cè)和開集識(shí)別的方法，并且最終通過(guò)相似度匹配思想實(shí)現(xiàn)檢測(cè)。這類方法的檢測(cè)流程如圖2所示。圖2采用非語(yǔ)義數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法采用原始流量數(shù)據(jù)來(lái)識(shí)別未知威脅檢測(cè)的方法框架與傳統(tǒng)惡意流量識(shí)別任務(wù)基本相同。流量分類主要包括3種方法，分別是基于端口（Port-Based）、基于載荷（PayloadInspection-Based）和基于流（Flow-Based）。然而，由于缺乏與未知網(wǎng)絡(luò)威脅相關(guān)的先驗(yàn)知識(shí)，并且對(duì)于動(dòng)態(tài)端口、端口混淆、加密等技術(shù)的應(yīng)用使得傳統(tǒng)的、基于端口和載荷的流量識(shí)別方法幾乎失效。因此，基于流的方法已經(jīng)成為識(shí)別未知網(wǎng)絡(luò)威脅的主流方法。在海量實(shí)時(shí)數(shù)據(jù)中，相比于傳統(tǒng)方法，基于機(jī)器學(xué)習(xí)的惡意流量識(shí)別方法的性能優(yōu)勢(shì)愈發(fā)凸顯

。目前，該方面的研究都是基于流級(jí)特征，并采用機(jī)器學(xué)習(xí)算法，從而實(shí)現(xiàn)檢測(cè)。這類方法基本可以分為異常檢測(cè)和開集識(shí)別。基于異常檢測(cè)的方法是采用大量無(wú)標(biāo)注的正常類數(shù)據(jù)訓(xùn)練模型，檢測(cè)時(shí)將明顯偏離正常類的離群點(diǎn)識(shí)別為未知網(wǎng)絡(luò)威脅。例如，提出了一種基于單類支持向量機(jī)（OneClassSupportVectorMachine，OCSVM）和一維卷積自編碼器（One-DimensionalConvolutionalAutoencoder，1D-CAE）的方法，通過(guò)設(shè)計(jì)一個(gè)將重構(gòu)誤差與分類誤差相結(jié)合的統(tǒng)一目標(biāo)函數(shù)，同時(shí)優(yōu)化兩個(gè)模型并實(shí)現(xiàn)對(duì)未知流量的識(shí)別。同樣地，Shang等人提出了一種基于OCSVM的方法，并設(shè)計(jì)了粒子群優(yōu)化算法對(duì)模型參數(shù)進(jìn)行優(yōu)化，在工控網(wǎng)絡(luò)中實(shí)現(xiàn)了對(duì)未知流量的實(shí)時(shí)檢測(cè)。為了解決單一模型性能不足的問(wèn)題，許多研究采用集成學(xué)習(xí)的方式集成多個(gè)檢測(cè)模型。例如，汪潔等人設(shè)計(jì)了多級(jí)分布式集成分類器，可以用于對(duì)未知惡意流量的識(shí)別。這種方法對(duì)數(shù)據(jù)質(zhì)量要求較低，但在模式不固定的大規(guī)模網(wǎng)絡(luò)中應(yīng)用時(shí)往往容易產(chǎn)生較多的誤報(bào)和漏報(bào)，其原因在于大多偏離正常類的離群點(diǎn)與威脅無(wú)關(guān)，并且對(duì)抗樣本攻擊、流量混淆等技術(shù)可以使惡意流量與正常流量類似，使得這類方法準(zhǔn)確率大幅下降?；陂_集識(shí)別的方法是采用各類標(biāo)記數(shù)據(jù)訓(xùn)練細(xì)粒度的分類模型，檢測(cè)時(shí)通過(guò)極值理論（ExtremeValueTheory，EVT）等方法校正分類結(jié)果，以實(shí)現(xiàn)對(duì)已知類和未知類的識(shí)別。例如，Cruz等人

采用Weibull-calibrated支持向量機(jī)（Weibull-calibratedSupportVectorMachine，W-SVM）對(duì)流量進(jìn)行細(xì)粒度識(shí)別，并采用EVT進(jìn)行評(píng)估校準(zhǔn)以識(shí)別出未知惡意流量。Henrydoss等人

通過(guò)EVT近似計(jì)算每個(gè)已知類的邊緣距離分布并實(shí)現(xiàn)開集流量分類。Yang等人

設(shè)計(jì)了一個(gè)兩階段分類方法，采用條件變分自編碼器（ConditionalVariationalAuto-Encoder，CVAE）和EVT分別在不同階段對(duì)已知和未知惡意流量進(jìn)行識(shí)別，實(shí)現(xiàn)分類性能的進(jìn)一步提升。此外，基于深度學(xué)習(xí)檢測(cè)未知網(wǎng)絡(luò)威脅產(chǎn)生的流量時(shí)，也可以結(jié)合強(qiáng)化學(xué)習(xí)（ReinforcementLearning）實(shí)現(xiàn)。例如，Puzanov等人

設(shè)計(jì)了一個(gè)小樣本下基于深度強(qiáng)化學(xué)習(xí)的檢測(cè)模型。在該方法中，如果某一新樣本特征經(jīng)檢測(cè)模型判斷與當(dāng)前已知類都不符合，則需要分析人員判斷其是否屬于新類的未知威脅。一旦有新的未知類被確定，則檢測(cè)模型會(huì)學(xué)習(xí)識(shí)別后續(xù)同類樣本。這類方法實(shí)質(zhì)上是采用度量學(xué)習(xí)思想，通過(guò)計(jì)算未知威脅的流量特征與所有已知類特征的相似度來(lái)進(jìn)行識(shí)別，而主要區(qū)別在于所采用的識(shí)別算法和相似度計(jì)算方法不同。綜上所述，采用非語(yǔ)義數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法的優(yōu)點(diǎn)在于：（1）數(shù)據(jù)的獲取成本較低；（2）方法性能與安全設(shè)備的性能無(wú)關(guān)；（3）模型大多較簡(jiǎn)單，輕量化的方法能夠?qū)崿F(xiàn)快速部署。相應(yīng)地，其缺點(diǎn)在于：（1）基于異常檢測(cè)的方法誤報(bào)率高，容易將離群點(diǎn)都認(rèn)為是威脅或攻擊行為；（2）針對(duì)隱蔽性較強(qiáng)的網(wǎng)絡(luò)威脅效果欠佳；（3）方法性能受非語(yǔ)義數(shù)據(jù)質(zhì)量的影響，且輸出結(jié)果只包含是否異常，具體威脅所屬細(xì)粒度類型還需要大量人工分析。此類方法適合于業(yè)務(wù)或通信模式相對(duì)固定的小規(guī)模網(wǎng)絡(luò)系統(tǒng)，如工業(yè)控制網(wǎng)絡(luò)系統(tǒng)等。這類系統(tǒng)模式相對(duì)固定，因此異常往往與攻擊相關(guān)，并且由于系統(tǒng)規(guī)模較小，人工分析工作量較小。2.2采用非語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法采用非語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法是指利用系統(tǒng)業(yè)務(wù)所產(chǎn)生的非語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)來(lái)實(shí)現(xiàn)檢測(cè)。從采用數(shù)據(jù)的角度來(lái)說(shuō)，實(shí)際中使用的非語(yǔ)義數(shù)據(jù)是原始流量數(shù)據(jù)；使用的安全知識(shí)數(shù)據(jù)包括攻擊相關(guān)知識(shí)和系統(tǒng)相關(guān)信息。從使用方法的角度來(lái)說(shuō)，主要有基于零樣本學(xué)習(xí)和基于攻擊圖兩類方法，并且最終通過(guò)相似度匹配實(shí)現(xiàn)檢測(cè)。這類方法的檢測(cè)流程如圖3所示。圖3采用非語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法第一類方法基于零樣本學(xué)習(xí)，采用攻擊相關(guān)知識(shí)實(shí)現(xiàn)未知網(wǎng)絡(luò)威脅檢測(cè)。零樣本學(xué)習(xí)作為遷移學(xué)習(xí)的一種特殊場(chǎng)景，可以通過(guò)安全知識(shí)數(shù)據(jù)實(shí)現(xiàn)對(duì)未知網(wǎng)絡(luò)威脅的檢測(cè)。相關(guān)研究處于起步階段，零樣本方法利用威脅情報(bào)的語(yǔ)義數(shù)據(jù)，在語(yǔ)義空間中實(shí)現(xiàn)知識(shí)轉(zhuǎn)移，從而精準(zhǔn)識(shí)別和分析未知威脅的類型。例如，提出了一種基于自編碼器（Autoencoder，AE）的零樣本學(xué)習(xí)方法用于未知攻擊檢測(cè)。該方法將已知攻擊的流量特征映射到語(yǔ)義空間，再通過(guò)AE的重構(gòu)誤差建立特征到語(yǔ)義的映射關(guān)系，實(shí)現(xiàn)對(duì)未知攻擊的檢測(cè)及其語(yǔ)義分析。第二類方法基于攻擊圖，采用基于漏洞和網(wǎng)絡(luò)拓?fù)涞认到y(tǒng)相關(guān)信息構(gòu)建的攻擊圖，利用模式匹配實(shí)現(xiàn)對(duì)多步未知網(wǎng)絡(luò)威脅的檢測(cè)。例如，Nia等人

首先將所有偏離正常模式的未知流量假定為惡意流量，提取其屬性信息并采用MulVAL工具生成輕量級(jí)的攻擊圖，其次采用隨機(jī)游走和模式定理與已知攻擊圖進(jìn)行相似度計(jì)算，最后判斷該未知流量是良性類還是惡意類。綜上所述，采用非語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法的優(yōu)點(diǎn)在于：（1）方法的識(shí)別性能與安全設(shè)備的性能無(wú)關(guān)；（2）輸出細(xì)粒度識(shí)別結(jié)果，理論上誤報(bào)率比基于非語(yǔ)義數(shù)據(jù)的方法低。相應(yīng)地，其缺點(diǎn)在于：（1）方法的性能與安全知識(shí)數(shù)據(jù)的質(zhì)量高度相關(guān)，而高質(zhì)量的安全知識(shí)數(shù)據(jù)獲取難度較大；（2）容易受到業(yè)務(wù)模式改變（概念漂移）的影響；（3）模型復(fù)雜度和數(shù)據(jù)成本較大。此類方法適合于缺少安全設(shè)備的系統(tǒng)。這類環(huán)境中由于安全設(shè)備的缺失，難以獲取語(yǔ)義數(shù)據(jù)，因此采用非語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)來(lái)識(shí)別未知威脅。2.3采用語(yǔ)義數(shù)據(jù)和非語(yǔ)義數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法采用語(yǔ)義數(shù)據(jù)和非語(yǔ)義數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法是指利用語(yǔ)義數(shù)據(jù)和非語(yǔ)義數(shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)多步未知威脅的檢測(cè)。從采用數(shù)據(jù)角度來(lái)說(shuō)，實(shí)際中使用的語(yǔ)義數(shù)據(jù)是各類安全設(shè)備的告警或日志；使用的非語(yǔ)義數(shù)據(jù)是各類審計(jì)設(shè)備的日志數(shù)據(jù)。從使用方法的角度來(lái)說(shuō)，首先采用聚類或異常檢測(cè)的方法篩選出可能證明存在未知威脅的日志事件，再與現(xiàn)有的安全事件基于屬性跨域關(guān)聯(lián)分析，實(shí)現(xiàn)對(duì)未知網(wǎng)絡(luò)威脅的檢測(cè)。這類方法本質(zhì)上與采用非語(yǔ)義數(shù)據(jù)方法的檢測(cè)思想類似，只是采用語(yǔ)義數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，進(jìn)一步篩選出可疑日志，降低誤報(bào)率。這類方法的檢測(cè)流程如圖4所示。圖4采用語(yǔ)義數(shù)據(jù)和非語(yǔ)義數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法這類方法的相關(guān)研究極少，這是因?yàn)槲粗{大多隱蔽性強(qiáng)，很難通過(guò)對(duì)各類日志的分析篩選出來(lái)，對(duì)包含未知威脅的多步攻擊檢測(cè)性能欠佳。這類方法主要針對(duì)已知攻擊檢測(cè)，但也有對(duì)未知攻擊檢測(cè)的能力，在部分特殊場(chǎng)景中表現(xiàn)不錯(cuò)。例如，在物聯(lián)網(wǎng)（InternetofThings，IoT）場(chǎng)景中將各類日志轉(zhuǎn)化為圖結(jié)構(gòu)，采用社區(qū)發(fā)現(xiàn)算法聚類分析，找出可疑日志并參與安全事件的關(guān)聯(lián)分析，以發(fā)現(xiàn)可能的多步攻擊。綜上所述，采用語(yǔ)義數(shù)據(jù)和非語(yǔ)義數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法的優(yōu)點(diǎn)在于：（1）誤報(bào)率相對(duì)之前的方法較低；（2）模型大多較簡(jiǎn)單，輕量化的方法能夠?qū)崿F(xiàn)快速部署；（3）能夠重構(gòu)攻擊場(chǎng)景，節(jié)省安全人員分析時(shí)間。相應(yīng)地，其缺點(diǎn)在于：（1）適用場(chǎng)景有限；（2）針對(duì)隱蔽性較強(qiáng)的網(wǎng)絡(luò)威脅效果欠佳。此類方法適合于業(yè)務(wù)或通信模式相對(duì)固定的網(wǎng)絡(luò)系統(tǒng)，能夠從日志層面快速篩選出潛在威脅。2.4采用語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法采用語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法是指利用語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)多步未知威脅的檢測(cè)。從采用數(shù)據(jù)的角度來(lái)說(shuō)，實(shí)際中使用的語(yǔ)義數(shù)據(jù)是各類安全設(shè)備的告警或日志；使用的安全知識(shí)數(shù)據(jù)主要包括實(shí)時(shí)更新的漏洞信息和網(wǎng)絡(luò)拓?fù)涞刃畔ⅰ⒐粝嚓P(guān)知識(shí)數(shù)據(jù)、基于威脅情報(bào)構(gòu)建的安全知識(shí)圖譜3種類型。從使用方法的角度來(lái)說(shuō)，主要采用基于攻擊圖、基于攻擊模型和基于知識(shí)圖譜3種方法，最終通過(guò)上下文推理實(shí)現(xiàn)對(duì)未知威脅的檢測(cè)。這類方法的檢測(cè)流程如圖5所示。圖5采用語(yǔ)義數(shù)據(jù)和安全知識(shí)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅檢測(cè)方法第一類方法采用系統(tǒng)相關(guān)信息中的漏洞和網(wǎng)絡(luò)拓?fù)涞刃畔⒆鳛榘踩R(shí)數(shù)據(jù)，通過(guò)構(gòu)建當(dāng)前網(wǎng)絡(luò)的攻擊圖，分析系統(tǒng)中存在的攻擊路徑，再結(jié)合語(yǔ)義數(shù)據(jù)匹配攻擊圖中的攻擊路徑，結(jié)合上下文推理來(lái)發(fā)現(xiàn)潛在的多步未知威脅。例如，提出了一種基于攻擊圖的警報(bào)關(guān)聯(lián)方法，首先使用MulVAL根據(jù)網(wǎng)絡(luò)拓?fù)浜吐┒礃?gòu)建攻擊圖，其次將警報(bào)聚類并映射到攻擊圖中呈現(xiàn)入侵情況，最后通過(guò)攻擊圖上的上下文推理，發(fā)現(xiàn)漏報(bào)的未知網(wǎng)絡(luò)威脅。第二類方法采用攻擊相關(guān)知識(shí)中的網(wǎng)絡(luò)攻擊模型作為安全知識(shí)數(shù)據(jù)，結(jié)合語(yǔ)義數(shù)據(jù)中的碎片攻擊，通過(guò)上下文推理識(shí)別和預(yù)測(cè)可能存在的多步未知威脅。所采用的攻擊模型包括兩類，一是從攻擊階段建模，采用的典型的攻擊模型包括MITREATT&CK（MITREAdversarialTactics,Techniques,andCommonKnowledge）模型、統(tǒng)一鏈（UnifiedKillChain，UKC）模型等；二是為攻擊者的能力、成本和收益等屬性建模，如鉆石模型（DiamondModel）。具體來(lái)說(shuō)，采用有限狀態(tài)機(jī)基于典型殺傷鏈（KillChain）模型將告警映射到不同的攻擊階段上，通過(guò)圖上的推理實(shí)現(xiàn)對(duì)多步未知威脅的檢測(cè)。在對(duì)基于攻擊者建模的方法中，Yin等人提出了一種基于博弈論的安全度量方法，從攻擊者的角度，通過(guò)量化分析攻擊者的收益與風(fēng)險(xiǎn)計(jì)算出最優(yōu)攻擊時(shí)機(jī)，利用空間結(jié)構(gòu)來(lái)建模長(zhǎng)期博弈過(guò)程，將每個(gè)節(jié)點(diǎn)被攻擊的可能性作為安全度量結(jié)果，以提前預(yù)測(cè)可能發(fā)生的未知威脅。第三類方法采用攻擊相關(guān)知識(shí)中的外部威脅情報(bào)，構(gòu)建安全知識(shí)圖譜作為安全知識(shí)數(shù)據(jù)，首先利用威脅情報(bào)，例如，攻擊類型枚舉和分類數(shù)據(jù)集用漏洞庫(kù)（CommonVulnerabilitiesandExposures，CVE）等構(gòu)建知識(shí)圖譜，其次將語(yǔ)義數(shù)據(jù)中的安全事件基于網(wǎng)絡(luò)安全本體實(shí)例化，通過(guò)圖譜上的邊關(guān)系推理和上下文推