大數(shù)據(jù)下統(tǒng)一審計技術(shù)框架研究

０引言各大安全廠商將審計追責功能集成到各自的安全產(chǎn)品中，將審計追責貫穿到各個安全功能中，根據(jù)安全產(chǎn)品功能不同而形成的審計追責功能，大致可分為主機審計、網(wǎng)絡審計、數(shù)據(jù)庫審計。隨著信息系統(tǒng)的迅速發(fā)展以及用戶需求的不斷增加，網(wǎng)絡規(guī)模日益龐大，應用系統(tǒng)日益復雜。同時，網(wǎng)絡安全事件層出不窮，使得信息系統(tǒng)面臨著嚴峻的安全形勢，傳統(tǒng)的單一的防御設(shè)備或者檢測設(shè)備已經(jīng)無法滿足安全需求。有針對性的審計技術(shù)能夠綜合各方面的安全因素，從整體上動態(tài)反映網(wǎng)絡安全狀況，并對安全狀況的發(fā)展趨勢進行預測和預警，為增強網(wǎng)絡安全性提供可靠的參照依據(jù)。同時，國內(nèi)各類網(wǎng)絡安全法和網(wǎng)絡安全等級保護標準2.0[2]相繼出臺與發(fā)布，其中明確了，審計追責功能不僅成為合規(guī)的需求，也是企業(yè)及組織關(guān)注的重點?？偟膩碚f，一套行之有效的監(jiān)控審計系統(tǒng)，能夠形成威懾力，降低人為破壞和攻擊的可能性。1日志審計基本框架應用大數(shù)據(jù)存儲分析技術(shù)，采用服務化、組件化的思想，本文提出一種前后端的日志審計體系框架，通過前段嵌入應用，后端能力輸出的模式構(gòu)建統(tǒng)一安全審計體系。如圖1所示。圖1審計系統(tǒng)結(jié)構(gòu)圖在前端，提供2種方式嵌入應用：數(shù)據(jù)采集服務接口，被動接收應用系統(tǒng)的事件日志；數(shù)據(jù)采集構(gòu)件，主動嵌入應用中，采集應用系統(tǒng)的事件日志。在后端，通過部署服務，結(jié)合前端提取的日志信息，經(jīng)過分析處理后，提供安全審計能力輸出。在后端服務中，日志接收服務接收前端采集提取的應用系統(tǒng)日志信息，傳遞給數(shù)據(jù)處理模塊進行數(shù)據(jù)處理及存儲；統(tǒng)計分析服務通過集成告警行為模式和各類插件式告警規(guī)則，完成告警事件分析、日志快速檢索、日常報表整理、定制報表匯總等功能。2數(shù)據(jù)采集審計系統(tǒng)的審計日志采集分為被動接收和主動采集兩種方式，被動接收以提供審計接口，各系統(tǒng)通過調(diào)用審計接口，上報日志的方式采集用戶行為日志數(shù)據(jù)；主動采集是通過直接訪問業(yè)務系統(tǒng)或者既有系統(tǒng)的日志數(shù)據(jù)庫或者文件的方式，主動獲取日志數(shù)據(jù)。2.1數(shù)據(jù)接口收集使用服務化的方式，提供日志采集接口，為用戶提供日志集中的通道，各數(shù)據(jù)源應用通過調(diào)用采集接口服務的方式，完成數(shù)據(jù)采集過程。此方式的優(yōu)點在于：不侵入應用系統(tǒng)，相關(guān)數(shù)據(jù)的準備由數(shù)據(jù)源系統(tǒng)自行準備，有利于數(shù)據(jù)源系統(tǒng)開展數(shù)據(jù)責任授權(quán)及控制擴散范圍。同時，也有利于數(shù)據(jù)采集源與目的系統(tǒng)狀態(tài)的固化，運維中系統(tǒng)升級帶來的接口風險較少。缺點在于，由于現(xiàn)有系統(tǒng)狀態(tài)的固化，不利于對現(xiàn)有系統(tǒng)的數(shù)據(jù)采集，對形成數(shù)據(jù)效能存在一定的阻力及風險。2.2數(shù)據(jù)主動采集主動獲取式采集模式，通過數(shù)據(jù)采集系統(tǒng)嵌入設(shè)備應用系統(tǒng)中，根據(jù)數(shù)據(jù)源系統(tǒng)，主動適配采集方式及數(shù)據(jù)格式，收集相關(guān)數(shù)據(jù)。此方式的優(yōu)點在于，能夠快速地集成現(xiàn)有數(shù)據(jù)，形成數(shù)據(jù)能力。缺點在于，對于內(nèi)含敏感數(shù)據(jù)的系統(tǒng)，面臨著數(shù)據(jù)擴散授權(quán)的風險，若數(shù)據(jù)格式未形成規(guī)范或標準，則不利于系統(tǒng)升級改造。3日志存儲采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫與大數(shù)據(jù)存儲相結(jié)合的方式完成，將數(shù)據(jù)量較小的基礎(chǔ)數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫存儲，將數(shù)據(jù)量大的日志數(shù)據(jù)采用分布式大數(shù)據(jù)技術(shù)存儲。系統(tǒng)采用大數(shù)據(jù)中心的海量安全數(shù)據(jù)的統(tǒng)一存儲。隨著安全基礎(chǔ)數(shù)據(jù)的不斷匯聚，數(shù)據(jù)大小將呈現(xiàn)爆發(fā)式增長，而數(shù)據(jù)共享服務需要提供快速、高效的數(shù)據(jù)訪問與存儲能力，傳統(tǒng)的集中式數(shù)據(jù)庫顯然不能夠滿足需求。因此，安全大數(shù)據(jù)采用分布式數(shù)據(jù)庫，提供對文本、圖片、關(guān)系型數(shù)據(jù)等類型數(shù)據(jù)的存儲與高效檢索能力，以及分布式冗余存儲能力，節(jié)點動態(tài)擴容能力，滿足態(tài)勢數(shù)據(jù)的大容量存儲需求。相比于傳統(tǒng)集中式數(shù)據(jù)庫，分布式數(shù)據(jù)庫具有基于海量數(shù)據(jù)的高性能、高可靠性和動態(tài)擴展性的優(yōu)點。在分布式大數(shù)據(jù)系統(tǒng)中，可以隨時靈活地訪問信息而不必關(guān)心數(shù)據(jù)存放的地點和方法，數(shù)據(jù)不是集中存放在網(wǎng)絡的各個節(jié)點上，節(jié)點之間相互冗余備份，來實現(xiàn)數(shù)據(jù)服務的高可用性。從大數(shù)據(jù)架構(gòu)視圖來看，大數(shù)據(jù)設(shè)計如下圖2所示。圖2大數(shù)據(jù)架構(gòu)視圖采用大數(shù)據(jù)分析架構(gòu)，具有如下特點：一是提供大數(shù)據(jù)的基礎(chǔ)能力，包含大容量存儲能力、快速處理能力、快速檢索能力、智能分析能力等。二是在基礎(chǔ)之上提高使用效率，能夠為用戶在大數(shù)據(jù)平臺上開發(fā)數(shù)據(jù)業(yè)務，包含數(shù)據(jù)倉庫、數(shù)據(jù)可視化、智能分析等功能提高效率，實現(xiàn)大數(shù)據(jù)中心的核心價值。三是提升管理效率，將各方面的管理納入體系，為升級、擴容、技術(shù)支持等工作降低代價。四是多用戶安全性，大數(shù)據(jù)中心服務于多個安全業(yè)務，需要用戶安全作為保障，將各個安全業(yè)務線流程隔離。4日志分析網(wǎng)絡行為分析的目的是通過分析用戶及網(wǎng)絡中的行為模式，從海量日志中分析出具有參考價值的事件，提醒管理維護人員注意。在實際使用過程中，一方面，用戶及網(wǎng)絡中的行為模式多種多樣，分析方法也完全不同；另一方面，未知的一些威脅行為模式特征無法確定，需在使用過程中累積知識和經(jīng)驗，完成針對新的行為模式特征的提取與分析。網(wǎng)絡行為分析采用插件式的規(guī)則分析方法，一個分析方法對應一類行為模式，通過插件管理程序加載到分析引擎中，輸入日志事件，輸出分析結(jié)果，如圖3所示。圖3基于構(gòu)件化的動態(tài)分析引擎技術(shù)同時，系統(tǒng)采用離線數(shù)據(jù)分析方法，挖掘網(wǎng)絡中的異常行為及威脅[3]，并通過追蹤溯源開展責任認定。離線數(shù)據(jù)分析是大數(shù)據(jù)分析的主要分析場景，將海量的數(shù)據(jù)通過大數(shù)據(jù)的分析方法，挖掘出有用的知識后，供用戶查詢和展示。分析方法按照技術(shù)實現(xiàn)的方案不同，可以分為以下三類：基于行為規(guī)則的審計，該方法是提取已知異常行為特征，通過對行為特征進行邏輯范式描述后寫入審計規(guī)則知識庫中，在開展審計活動時，審計規(guī)則和標準化日志進行模式識別與匹配，發(fā)現(xiàn)可能存在的異常行為。基于統(tǒng)計的審計，該方法的原理是利用統(tǒng)計學模型的特點，使用隨機變量及其概率分布刻畫目標對象的行為，通過統(tǒng)計學方法描述目標對象的行為特點?；诮y(tǒng)計學的審計則是在統(tǒng)計學上發(fā)現(xiàn)目標行為特點偏離一般正常行為的異常行為。基于特征自學習的審計，該方法是利用大數(shù)據(jù)挖掘相關(guān)分析方法，總結(jié)出一般行為間的頻繁模式、關(guān)聯(lián)和相關(guān)性，從總結(jié)出的數(shù)據(jù)規(guī)律間尋找異常行為的方法。系統(tǒng)分析算法管理模塊可綜合容納這三種方法的分析算法，針對不同的分析場景，開展適應性、針對性強的審計分析。5時間分析在系統(tǒng)中，各類業(yè)務進行的工作越來越復雜，為了保護系統(tǒng)的安全，方便監(jiān)控系統(tǒng)運行狀況，查看日志并進行分析已經(jīng)成為一個重要手段。管理員可以查看在某時間段內(nèi)所發(fā)生的事件，也可以通過對各種日志進行分析輔助安全保密管理工作。由于日志具有數(shù)據(jù)量大，不容易讀懂的特點，如果僅憑借管理員查看日志記錄的手段，其中所蘊含的有用信息也難以發(fā)現(xiàn)。將數(shù)據(jù)挖掘技術(shù)應用于日志分析是一個關(guān)鍵技術(shù)，能夠關(guān)聯(lián)多種類型的日志事件，綜合分析，依據(jù)事先設(shè)定的規(guī)則進行匹配，達到及時提醒和告警的效果，減輕管理人員的分析負擔，如圖4所示。日志事件分析負責對篩選后的待審計信息結(jié)合審計規(guī)則進行分析，從中發(fā)現(xiàn)異常和違規(guī)行為，為采取相應安全措施提供依據(jù)。圖4事件分析與告警流程示意圖該流程能夠運用于重保任務和重點監(jiān)控方向的實時監(jiān)控，通過設(shè)置重保區(qū)域、對象、智能分析引擎來完成。同時，可以將實時分析結(jié)果用于網(wǎng)絡安全態(tài)勢呈現(xiàn)。管理員在審計告警規(guī)則設(shè)置頁面事先設(shè)置關(guān)注的人員、關(guān)注對象、關(guān)注行為后，通過人工設(shè)置與自學習調(diào)整等方