全流量日志AI智能分析系統(tǒng)

0引言工業(yè)互聯(lián)網(wǎng)的飛速發(fā)展，在給原本封閉的工業(yè)環(huán)境帶來巨大變革的同時(shí)，也使得網(wǎng)絡(luò)空間以前未被察覺的、隱蔽性強(qiáng)的、潛在的安全隱患日益凸顯。伴隨國(guó)內(nèi)外安全事件頻發(fā)，企業(yè)普遍存在對(duì)威脅事件溯源分析和取證的需求。全流量日志AI智能分析系統(tǒng)（以下簡(jiǎn)稱“系統(tǒng)”），創(chuàng)新性的提出并實(shí)現(xiàn)日志數(shù)據(jù)、網(wǎng)絡(luò)全流量數(shù)據(jù)二合一，推動(dòng)威脅事件溯源過程更精準(zhǔn)、更有序、更高效。1平臺(tái)架構(gòu)設(shè)計(jì)1.1框架模式根據(jù)數(shù)據(jù)采集、轉(zhuǎn)發(fā)、應(yīng)用的全流程，平臺(tái)架構(gòu)自上而下依次分為基礎(chǔ)架構(gòu)層、數(shù)據(jù)采集層、數(shù)據(jù)處理與存儲(chǔ)層和數(shù)據(jù)應(yīng)用層，如圖1所示。

圖1系統(tǒng)框架模式設(shè)計(jì)

基礎(chǔ)架構(gòu)層，該層是由基礎(chǔ)IT設(shè)備和彈性云框架兩部分構(gòu)成。以利舊與集約化利用為目的，在現(xiàn)有IT資源基礎(chǔ)上建立高可用的、可動(dòng)態(tài)擴(kuò)展的彈性云框架。

數(shù)據(jù)集采集層，數(shù)據(jù)的采集主要通過智能采集器（態(tài)勢(shì)感知套件設(shè)備）的方式同時(shí)采集日志數(shù)據(jù)、流量數(shù)據(jù)，其中日志部分指采集主機(jī)服務(wù)器、數(shù)據(jù)庫、工程師站、操作員站、網(wǎng)絡(luò)設(shè)備、安全設(shè)備等產(chǎn)生的運(yùn)行狀態(tài)、登錄日志、操作日志等信息。流量部分，采用鏡像或分光方式復(fù)制交換機(jī)流量信息，通過DPI（DeepPacketInspection，DPI）深度包解析技術(shù)進(jìn)行協(xié)議的深度包解析，結(jié)合邊緣AI模型檢測(cè)生成告警事件。

數(shù)據(jù)處理與存儲(chǔ)層，主要通過分布式大數(shù)據(jù)采集到的數(shù)據(jù)進(jìn)行預(yù)處理操作及處理后的數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)處理，通過ETL技術(shù)處理成全流量日志分析系統(tǒng)可接收識(shí)別的信息，由其進(jìn)行存儲(chǔ)與分析。系統(tǒng)數(shù)據(jù)存儲(chǔ)分別由關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)分布式共同構(gòu)建，格式規(guī)范的數(shù)據(jù)在關(guān)系型數(shù)據(jù)庫存儲(chǔ)，如漏洞信息、設(shè)備指紋、IP歸屬等知識(shí)庫，海量的主機(jī)日志信息和原始告警事件在Elasticsearch中存儲(chǔ)，便于數(shù)據(jù)高效聚合與檢索。處理后的數(shù)據(jù)再提供給數(shù)據(jù)總線（元數(shù)據(jù)分析引擎、協(xié)議異常分析引擎、事件分析引擎、關(guān)聯(lián)分析引擎、AI安全分析引擎）進(jìn)行使用，在原始事件中基于時(shí)間和設(shè)備進(jìn)行關(guān)聯(lián)分析、數(shù)據(jù)挖掘、AI安全建模分析等。

數(shù)據(jù)應(yīng)用層，主要是為運(yùn)維安全人員提供后臺(tái)管理功能及為企業(yè)高層管理者提供大屏可視化能力，查看企業(yè)維度場(chǎng)站采集數(shù)據(jù)構(gòu)成的綜合風(fēng)險(xiǎn)態(tài)勢(shì)、工控網(wǎng)絡(luò)威脅態(tài)勢(shì)、威脅事件處置態(tài)勢(shì)、工控資產(chǎn)態(tài)勢(shì)、工控脆弱性態(tài)勢(shì)。企業(yè)管理者站在安全管理的角度，對(duì)威脅事件告警與處置、協(xié)議解析及流量監(jiān)視、業(yè)務(wù)系統(tǒng)及資產(chǎn)臺(tái)賬、威脅事件溯源分析、系統(tǒng)管理以及規(guī)則配置管理、日志檢索等，對(duì)企業(yè)整體的安全風(fēng)險(xiǎn)態(tài)勢(shì)與安全業(yè)務(wù)運(yùn)營(yíng)情況進(jìn)行把握。

1.2部署模式

全流量日志AI智能分析系統(tǒng)，可用作中小型企業(yè)態(tài)勢(shì)感知平臺(tái)，也可以彌補(bǔ)大型企業(yè)態(tài)勢(shì)感知建設(shè)中關(guān)于場(chǎng)站邊緣分析的缺失。系統(tǒng)一般部署在生產(chǎn)管理大區(qū)，具有大數(shù)據(jù)體系架構(gòu)，可橫向無限擴(kuò)展，縱向可向上級(jí)聯(lián)集團(tuán)態(tài)勢(shì)感知平臺(tái)，也可對(duì)外向監(jiān)管部門提供重要數(shù)據(jù)。

圖2系統(tǒng)在工業(yè)環(huán)境中的部署位置

智能采集器采用旁路部署模式，采集全流量、日志數(shù)據(jù)，安全I(xiàn)區(qū)、安全I(xiàn)I區(qū)數(shù)據(jù)通過智能采集器可通過網(wǎng)閘向全流量日志AI智能分析系統(tǒng)傳輸，從而打破區(qū)域隔離的壁壘。單獨(dú)架設(shè)數(shù)據(jù)通道，不影響客戶現(xiàn)有網(wǎng)絡(luò)與業(yè)務(wù)數(shù)據(jù)，如圖2所示。

1.3業(yè)務(wù)模型

平臺(tái)提供多種業(yè)務(wù)模型的構(gòu)建，主要包括多源異構(gòu)的數(shù)據(jù)采集模型、風(fēng)險(xiǎn)管理模型與運(yùn)營(yíng)管理模型等，如圖3所示。

圖3系統(tǒng)業(yè)務(wù)模型

根據(jù)數(shù)據(jù)采集的實(shí)時(shí)性可分為兩類，一是多種主機(jī)服務(wù)器設(shè)備、安全設(shè)備、網(wǎng)絡(luò)設(shè)備等的實(shí)時(shí)數(shù)據(jù)，二是對(duì)接工具箱、威脅情報(bào)等離線數(shù)據(jù)。數(shù)據(jù)采集分析采用平臺(tái)與邊緣相結(jié)合的方式，邊緣設(shè)備可提供采集器內(nèi)嵌AI模型，采集的同時(shí)進(jìn)行實(shí)時(shí)分析與異常檢測(cè)。平臺(tái)側(cè)針對(duì)邊緣分析結(jié)果進(jìn)行數(shù)據(jù)挖掘和關(guān)聯(lián)分析，數(shù)據(jù)挖掘分析主要包括統(tǒng)計(jì)、關(guān)聯(lián)與AI建模，常用技術(shù)包括復(fù)雜事件處理CEP分析、智能規(guī)則報(bào)警、智能聚合、事件關(guān)聯(lián)分析、邏輯回歸、遷移學(xué)習(xí)算法、決策樹、SVM、特征庫匹配等，關(guān)聯(lián)分析常用技術(shù)包括精簡(jiǎn)聚合、攻擊鏈分析、全基線、圖分析等。2關(guān)鍵技術(shù)與最佳實(shí)踐2.1二合一的最佳實(shí)踐

流量日志二合一，不是單純將流量監(jiān)測(cè)審計(jì)、日志監(jiān)測(cè)審計(jì)兩套程序部署在同一硬件上，而是對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢測(cè)、審計(jì)進(jìn)行全生命周期的二合一。

數(shù)據(jù)采集方面，使用智能采集器同時(shí)進(jìn)行流量、日志數(shù)據(jù)采集。采集流量數(shù)據(jù)時(shí)，通過旁路部署在交換機(jī)上通過端口鏡像或分光的方式實(shí)現(xiàn)流量復(fù)制，采集日志數(shù)據(jù)通過Syslog、SNMPTRAP、FTP、WMI等多方式對(duì)主機(jī)服務(wù)器、網(wǎng)絡(luò)設(shè)備、安全設(shè)備等進(jìn)行運(yùn)行狀態(tài)、登錄日志、操作日志進(jìn)行采集。數(shù)據(jù)存儲(chǔ)方面，對(duì)范式化后的日志數(shù)據(jù)、流量元數(shù)據(jù)、威脅事件均在Elasticsearch中存儲(chǔ)。數(shù)據(jù)檢測(cè)分析方面，配置雙引擎分析并行執(zhí)行，對(duì)流量元數(shù)據(jù)解析、協(xié)議識(shí)別與深度解析、日志數(shù)據(jù)分析并行解析，當(dāng)數(shù)據(jù)處理達(dá)到百億級(jí)時(shí)，利用多顆多核CPU和YARN資源管理調(diào)度，提升并行處理能力。數(shù)據(jù)審計(jì)方面，日志數(shù)據(jù)、流量數(shù)據(jù)的處理結(jié)果均在Elasticsearch中存儲(chǔ)，充分利用其數(shù)據(jù)高效聚合和檢索的優(yōu)勢(shì)，百億級(jí)業(yè)務(wù)數(shù)據(jù)秒級(jí)響應(yīng)，為用戶帶來極致的體驗(yàn)。

2.2基于深度學(xué)習(xí)的AI檢測(cè)模型技術(shù)

圖4基于深度學(xué)習(xí)的AI流量閾值預(yù)測(cè)目前系統(tǒng)中應(yīng)用到的基于深度學(xué)習(xí)的AI安全檢測(cè)技術(shù)，已在產(chǎn)品的流量檢測(cè)與趨勢(shì)預(yù)測(cè)（如圖4所示）、C&C檢測(cè)、APT分析等多方面進(jìn)行應(yīng)用。

對(duì)于網(wǎng)絡(luò)攻擊的異常流量檢測(cè)，通過捕獲大量網(wǎng)絡(luò)攻擊流量數(shù)據(jù)，用較少的行為與分析算法，精準(zhǔn)捕捉到問題行為與流量，推動(dòng)威脅事件的定位。

結(jié)合工業(yè)現(xiàn)場(chǎng)分區(qū)情況、資產(chǎn)分布情況，充分運(yùn)用基于深度學(xué)習(xí)的AI安全檢測(cè)模型，對(duì)不同安全區(qū)域的歷史流量、單資產(chǎn)的上下行歷史流量進(jìn)行學(xué)習(xí)，形成閾值基線并生成告警事件，同時(shí)提供對(duì)當(dāng)日流量的趨勢(shì)預(yù)測(cè)。

2.3協(xié)議分析與落地應(yīng)用系統(tǒng)通過網(wǎng)絡(luò)流量數(shù)據(jù)能實(shí)時(shí)監(jiān)測(cè)工控網(wǎng)絡(luò)行為和狀態(tài)，檢測(cè)工控網(wǎng)絡(luò)中的入侵行為、流量異常，追蹤溯源工控網(wǎng)絡(luò)安全事件。通過捕獲交換機(jī)鏡像口流量，對(duì)工業(yè)控制協(xié)議和常規(guī)IT協(xié)議的通信報(bào)文進(jìn)行深度解析，能夠?qū)崟r(shí)檢測(cè)工控協(xié)議異常、針對(duì)工業(yè)協(xié)議的網(wǎng)絡(luò)攻擊報(bào)文、未知設(shè)備接入、開啟非法服務(wù)、用戶誤操作、用戶違規(guī)操作、登錄監(jiān)控以及病毒木馬蠕蟲等利用資產(chǎn)漏洞進(jìn)行惡意的入侵、傳播和破壞行為，實(shí)時(shí)檢測(cè)并告警。同時(shí)對(duì)整個(gè)網(wǎng)絡(luò)通信過程和包括工業(yè)控制協(xié)議會(huì)話進(jìn)行記錄，為安全事故調(diào)查提供依據(jù)。

以下為常見協(xié)議列表：

工業(yè)控制協(xié)議：BACnet、CIP、DNP3、Ethernet_IP、HART_IP、IEC104、IEC61850、ModbusTCP、OPCda、OPCua、COTP、S7、FINS、PROFINET等。

IT協(xié)議：arp、coap、dhcp、dns、ftp、ftp-data、http、tls、icmp、igmp、imap、mpls、mqtt、mysql、nfs、pop、radius、rtmpt、rtsp、rtp、sip、smtp、ssh、stp、telnet、udt、vlan、xmpp等。

2.4資產(chǎn)畫像與拓?fù)淅L制業(yè)務(wù)系統(tǒng)及資產(chǎn)在安全評(píng)估和問題整改中是基礎(chǔ)核心數(shù)據(jù)，因此資產(chǎn)信息收集的準(zhǔn)確性與完整性是安全工作至關(guān)重要的一環(huán)。由于工業(yè)環(huán)境復(fù)雜、排查困難等歷史原因造成工控資產(chǎn)分布是否運(yùn)行、資產(chǎn)在業(yè)務(wù)系統(tǒng)中的作用不清晰，資產(chǎn)拓?fù)湟宰詣?dòng)生成為主，人工干預(yù)為輔，幫助企業(yè)快速摸清家底、認(rèn)清風(fēng)險(xiǎn)、發(fā)現(xiàn)隱患、有效整改。

對(duì)于安全I(xiàn)區(qū)、安全I(xiàn)I區(qū)重點(diǎn)關(guān)注的工程師站、操作員站、接口機(jī)及服務(wù)器設(shè)備，通過在主機(jī)上部署Agent，監(jiān)測(cè)多重安全指標(biāo)數(shù)據(jù)，包括高危命令、高危服務(wù)、關(guān)鍵操作日志、關(guān)鍵目錄變更等，實(shí)時(shí)監(jiān)測(cè)工控安全風(fēng)險(xiǎn)。3結(jié)語全流量日志AI智能分析系統(tǒng)，是一款具有大數(shù)據(jù)架構(gòu)的高可用、可彈性擴(kuò)展的監(jiān)測(cè)分析一體機(jī)，可同時(shí)處理來自采集器的實(shí)時(shí)的、離線的日志、全流量數(shù)據(jù)。多臺(tái)采集器分布式部署，覆蓋整個(gè)場(chǎng)站不同安全區(qū)域。系統(tǒng)支持工業(yè)控制協(xié)議、常規(guī)IT協(xié)議深度解析，并對(duì)元數(shù)據(jù)、會(huì)話數(shù)據(jù)存儲(chǔ)及展示，具備定位復(fù)雜事件溯源分析與關(guān)聯(lián)分析的能力，對(duì)實(shí)時(shí)全流量數(shù)據(jù)檢測(cè)、預(yù)警并形成