大數(shù)據(jù)安全分析-理論

1、大數(shù)據(jù)安全分析沙龍旗下【蘿卜網(wǎng)】推出互聯(lián)網(wǎng)人必學(xué)的的精品課，注冊(cè)即送7天VIP!一、引言單純的防御措施無(wú)法阻止蓄意的攻擊者，這已經(jīng)是大家都認(rèn)同的事實(shí)， 應(yīng)對(duì)挑戰(zhàn)業(yè)界有了諸多方面的探索和實(shí)踐，而其中最有趣的就非安全分 析莫屬了，圍繞著安全分析展開(kāi)，我們可以看到大數(shù)據(jù)、安全智能、情 景感知、威脅情報(bào)、數(shù)據(jù)挖掘、可視化等等，因?yàn)檫@些都是安全分析師 手中的武器。二、安全戰(zhàn)略思路的變化壞的消息是，入侵總會(huì)發(fā)生，再?gòu)?qiáng)的防御也難以做到御敵于國(guó)門之外， 攻擊者總會(huì)進(jìn)入到你的網(wǎng)絡(luò)中；那么好消息就是入侵和破環(huán)是兩回事， 雖然也存在入侵開(kāi)始到實(shí)際損害發(fā)生之間時(shí)間窗口很短的情況，但是我 們也還是看到，大多數(shù)入侵如果想

2、達(dá)到目的，需要較長(zhǎng)的時(shí)間，特別定 向攻擊和APT攻擊。那么如果安全團(tuán)隊(duì)可以在攻擊者完成使命之前阻 止其活動(dòng)，就可以做到這點(diǎn)：我們有可能遭受入侵，但可能不會(huì)遭遇破 環(huán)。據(jù)此有效的戰(zhàn)略是盡可能多的進(jìn)行實(shí)時(shí)防御，來(lái)防止入侵的可能，同時(shí) 配合積極的檢測(cè)（Hunting）與事件響應(yīng)來(lái)避免出現(xiàn)破環(huán)，或者最大限 度的減少破壞的影響。由此我們知道，傳統(tǒng)的安全產(chǎn)品沒(méi)有過(guò)時(shí)，我們還是需要4A，需要防 火墻、IDPs以及AV這些不同的產(chǎn)品，形成一定的防御縱深，阻止隨機(jī) 性的攻擊（通常追求機(jī)會(huì)，被選中往往是因?yàn)檎宫F(xiàn)了易被利用的漏洞）， 并且延緩攻擊節(jié)奏，擴(kuò)大檢測(cè)和響應(yīng)的時(shí)間窗口。這是一切的基礎(chǔ)，如 果沒(méi)有這一步，后續(xù)

3、的檢測(cè)和響應(yīng)也就缺少了根基，在現(xiàn)實(shí)中無(wú)法實(shí)施。從這點(diǎn)上說(shuō)，個(gè)人也不贊成將某些針對(duì)特定組織的攻擊都?xì)w屬于APT 范圍，如果它是一些傳統(tǒng)的安全措施就可以防范的。這可能誤導(dǎo)某些組 織，在缺乏基本防護(hù)措施（產(chǎn)品、組織、制度等）的情況下，盲目的追 新求異，達(dá)不到切實(shí)的安全效果。三、以威脅為中心的安全理念實(shí)時(shí)防御是以漏洞為中心的，基于漏洞的簽名檢測(cè)機(jī)制有著較高的準(zhǔn)確 性，可以用以進(jìn)行自動(dòng)化的阻截。但當(dāng)基于已知威脅的簽名機(jī)制不能檢 測(cè)針對(duì)其的高級(jí)別威脅時(shí)，我們就需要轉(zhuǎn)化思路，因此積極的檢測(cè)和響 應(yīng)則是以威脅為中心，它不再?gòu)?qiáng)調(diào)單點(diǎn)的檢測(cè)，也不再單純的追求告警 的精確性，它促使你從面上去著手，將若干的點(diǎn)關(guān)聯(lián)起來(lái)

4、，以數(shù)據(jù)為驅(qū) 動(dòng)來(lái)解決問(wèn)題。在整個(gè)過(guò)程中（數(shù)據(jù)收集、檢測(cè)、分析）都需要以威脅 為中心，如果丟掉這個(gè)中心點(diǎn)，單純的追求數(shù)據(jù)的大而全，則必然達(dá)不 到效果。以威脅為中心，用數(shù)據(jù)來(lái)驅(qū)動(dòng)安全，是檢測(cè)APT類型威脅的 有效手段。以漏洞為中心以威脅為中心1儂賴防御知道昉御總會(huì)失敗聚焦在檢測(cè)上聚焦在收集（可見(jiàn)性）不區(qū)分不同類型的威脅了解不同威脅4吏用不同的工具、戰(zhàn)術(shù)和行為模式在真空申分析攻擊，不考慮環(huán)境數(shù)依板情報(bào)（自身業(yè)務(wù)及威脅等）進(jìn)行分據(jù)及威E辦情報(bào)析依賴基于簽名的檢LfJ用各種來(lái)源的數(shù)掘一 5 |C Di I 7- ： 77-= _I.一 一/ = -= - - J w拷考 cAppli&cf netwR

5、 seeurrly ffiariiionrigJ |需要強(qiáng)調(diào)的是，以威脅為中心聚焦在數(shù)據(jù)收集，但并不強(qiáng)調(diào)數(shù)據(jù)的大，而是價(jià)值的高，認(rèn)為它是一個(gè)動(dòng)態(tài)的、周期性的過(guò)程，隨著威脅的變化，以及分析能力的改變，數(shù)據(jù)收集的范圍將會(huì)產(chǎn)生變化的。四、數(shù)據(jù)收集古語(yǔ)言“磨刀不誤砍柴工”，這句諺語(yǔ)非常適合來(lái)描述數(shù)據(jù)收集的重要性。但如果我們單純的強(qiáng)調(diào)全量的數(shù)據(jù)，會(huì)是什么樣子？通過(guò)簡(jiǎn)單的數(shù)據(jù)計(jì)算，我們可以知道監(jiān)控1G的數(shù)據(jù)流量，如果采用PCAP文件格式存儲(chǔ)完整的內(nèi)容數(shù)據(jù)，那么一天就需要大約10T的磁盤空間。如果我們要保留90天的數(shù)據(jù)，再考慮備份、數(shù)據(jù)索引等需要的空間，哪會(huì)是多少？ 如果你需要監(jiān)控的網(wǎng)絡(luò)流量不止1G,如果還

6、需要考慮主機(jī)及業(yè)務(wù)應(yīng)用 的日志？龐大數(shù)據(jù)的存儲(chǔ)和維護(hù)固然是問(wèn)題，還需要考慮到當(dāng)盲目收集 數(shù)據(jù)之后，也許這些數(shù)據(jù)的命運(yùn)是永遠(yuǎn)躺在磁盤中，仿佛從不存在，更 甚者還會(huì)給后續(xù)分析過(guò)程帶來(lái)混亂、不確定性和低效率。因此明智的問(wèn)題是“我從哪里獲得所需要的數(shù)據(jù)？ ”，而不是“我需要對(duì)該 數(shù)據(jù)提出什么樣的問(wèn)題？ Gartner在Security Information and Event Management Futures and Big Data Analytics for Security 一文中也特 別的強(qiáng)調(diào)“分析的意識(shí)和探索數(shù)據(jù)的欲望”，認(rèn)為這才是大數(shù)據(jù)安全中最 關(guān)鍵的成功標(biāo)準(zhǔn)，首先學(xué)會(huì)問(wèn)問(wèn)題，而不是

7、盲目收集數(shù)據(jù)或者是急于建 立一套Hadoop大數(shù)據(jù)平臺(tái)。五、數(shù)據(jù)種類以威脅為中心進(jìn)行數(shù)據(jù)收據(jù)，自然包括威脅情報(bào)的收集，在之前的小 議威脅情報(bào)中已有涉及，后續(xù)有時(shí)間也會(huì)就如何建立組織的威脅情報(bào) 平臺(tái)整理自己的觀點(diǎn)和大家共同討論，這里不再多言，而專注于組織內(nèi) 部的數(shù)據(jù)收集。企業(yè)內(nèi)部數(shù)據(jù)一般需要考慮一下幾個(gè)種類：環(huán)境業(yè)務(wù)類數(shù)據(jù)：包括資產(chǎn)及屬性（業(yè)務(wù)、服務(wù)、漏洞、使用者.）、 員工與賬號(hào)、組織結(jié)構(gòu)等，這類數(shù)據(jù)也會(huì)被稱環(huán)境感知數(shù)據(jù)、友好類情 報(bào)等。此類數(shù)據(jù)往往難以從機(jī)器中直接獲取，但對(duì)安全分析會(huì)有巨大的幫助，往往要依賴安全體系建設(shè)而逐步完善；網(wǎng)絡(luò)數(shù)據(jù)：包括 FPC （Full Packet Captur

8、e, 一般是 PCAP 格式）、 會(huì)話或Flow數(shù)據(jù)，PSTR （Packet String,這種數(shù)據(jù)格式包括指定的協(xié) 議頭部?jī)?nèi)容，如HTTP頭數(shù)據(jù)）。PSTR數(shù)據(jù)大約是FPC的4%左右， 而Flow數(shù)據(jù)則是0.01%。PSTR是大小更容易管理，并且允許增強(qiáng)可 見(jiàn)性的一種數(shù)據(jù)類型。設(shè)備、主機(jī)及應(yīng)用的日志：它可以包括諸如Web代理日志、路由器 防火墻日志、VPN日志、windows安全及系統(tǒng)日志等，不同來(lái)源的數(shù) 據(jù)類型在大小和實(shí)用價(jià)值上都不同。報(bào)警數(shù)據(jù)：檢測(cè)工具基于其配置發(fā)現(xiàn)異常，進(jìn)而生成的通知就是報(bào)警， 通常的報(bào)警數(shù)據(jù)來(lái)自IDS （主機(jī)或網(wǎng)絡(luò)）、防火墻、AV等安全設(shè)備。 依據(jù)環(huán)境和配置，日志的

9、數(shù)據(jù)量可以有很大的變化，但通常小于PSTRo六、ACF方法那么如何確定需要采集用以進(jìn)行安全分析的數(shù)據(jù)呢，這里介紹一個(gè)ACF （Applied Collection Framework）方法1，它可以幫助評(píng)估哪些數(shù)據(jù)應(yīng)該是收集工作的重點(diǎn)。ACF不是一個(gè)純技術(shù)的手段，需要安全團(tuán)隊(duì)從 其他業(yè)務(wù)部門收集早期的信息，并配合完成整個(gè)工作。它由四個(gè)階段組 成：定義威脅、量化風(fēng)險(xiǎn)、確定數(shù)據(jù)源、篩選聚焦。更多精彩內(nèi)容，請(qǐng)關(guān)注互聯(lián)網(wǎng)分析沙龍微信：techxue每天為您推送最新、最熱干貨！互聯(lián)網(wǎng)分析沙龍一一互聯(lián)網(wǎng)人的實(shí)戰(zhàn)分享平臺(tái)，一個(gè)為您提供專業(yè)的商 業(yè)模式、產(chǎn)品、數(shù)據(jù)、用戶、電子商務(wù)、社會(huì)化媒體、移動(dòng)互聯(lián)網(wǎng)等深

10、度分析的信息網(wǎng)站！請(qǐng)?jiān)谖⑿殴娰~號(hào)中搜索techxue，或用手機(jī) 掃描左方二維碼，即可獲得互聯(lián)網(wǎng)分析沙龍每日精華內(nèi)容推送和最優(yōu)搜 索體驗(yàn)，并參與編輯活動(dòng)。定義威脅：這里不是泛泛而談，如競(jìng)爭(zhēng)對(duì)手、腳本小子等，需要確 定針對(duì)具體組織的具體威脅。它應(yīng)該是“發(fā)生什么樣糟糕的事情，會(huì)影 響到組織的生存”這樣的問(wèn)題，并且答案應(yīng)該來(lái)自領(lǐng)導(dǎo)層或者是被其認(rèn) 可。一旦關(guān)鍵業(yè)務(wù)安全需求確定了，就需要深入挖掘可能的威脅，通過(guò) 研究網(wǎng)絡(luò)基礎(chǔ)設(shè)施及相關(guān)的業(yè)務(wù)流程，明確相關(guān)研究、生產(chǎn)、存儲(chǔ)、加 工、訪問(wèn)等相關(guān)環(huán)節(jié)，進(jìn)而明確可能的入侵及破壞方法。量化風(fēng)險(xiǎn)：一旦潛在的威脅名單確定，就需要考慮優(yōu)先級(jí)，一般實(shí)現(xiàn) 的方式是通過(guò)計(jì)算威

11、脅影響和概率的乘積，得到每個(gè)潛在威脅的風(fēng)險(xiǎn)。 雖然這種方法可以提供和威脅相關(guān)的量化指標(biāo)，但畢竟是主觀的。為保 障評(píng)估確實(shí)符合實(shí)際，往往需要一組人來(lái)參與量化風(fēng)險(xiǎn)的過(guò)程，有些機(jī) 構(gòu)還會(huì)在這個(gè)過(guò)程中引入第三方的網(wǎng)絡(luò)滲透測(cè)試人員，共同參與完成這 個(gè)過(guò)程。確定數(shù)據(jù)源：在這個(gè)階段確定可以提供檢測(cè)和分析價(jià)值的主要數(shù)據(jù)元， 從具有最高風(fēng)險(xiǎn)權(quán)重的技術(shù)威脅開(kāi)始，考慮可以從哪里看到威脅相應(yīng)的 線索、證據(jù)。比如考慮關(guān)鍵文件服務(wù)器的數(shù)據(jù)泄露威脅，應(yīng)該確定服務(wù) 器的架構(gòu)、網(wǎng)絡(luò)位置、具有訪問(wèn)權(quán)的用戶，以及可以獲得數(shù)據(jù)的其它途 徑。根據(jù)這些信息，得到相應(yīng)的數(shù)據(jù)源清單。篩選聚焦：在最后的階段你需要選擇最需要的數(shù)據(jù)源，這是技術(shù)上

12、最 深入的步驟，需要評(píng)估每個(gè)數(shù)據(jù)源以評(píng)估其價(jià)值。往往有一些數(shù)據(jù)源需 要很高的存儲(chǔ)空間，它提供的價(jià)值和處理管理的開(kāi)銷相比，可能不值得 收藏。組織必須考慮成本/效益關(guān)系，從成本的角度看，這種分析應(yīng)該 考慮到硬件和軟件的資源，例如維護(hù)產(chǎn)生的人員組織成本，數(shù)據(jù)存儲(chǔ)資 源等。可以評(píng)估有問(wèn)題的數(shù)據(jù)源在分析過(guò)程中可能出現(xiàn)的幾率?？紤]需 要到類似這樣的程度：哪些類型（源目的地址、端口協(xié)議）的PACP 包需要捕獲，那種windows日志（如登錄成功、登錄失敗、賬號(hào)創(chuàng)建、 文件權(quán)限變更等）是最重要的需要保留。通過(guò)這樣的方法，你可以通過(guò)直接和業(yè)務(wù)目標(biāo)掛鉤，以及對(duì)業(yè)務(wù)連續(xù)性 的威脅來(lái)證明需求的合理性，這樣也可以較大限

13、度保證之后在基礎(chǔ)設(shè)施 建設(shè)上的投入。正如之上曾經(jīng)提到的，威脅為中心的方法強(qiáng)調(diào)周期性的過(guò)程，需要明白， 永遠(yuǎn)不會(huì)完成數(shù)據(jù)收集的工作，當(dāng)你做了更多的檢測(cè)和分析的工作，當(dāng) 網(wǎng)絡(luò)逐步擴(kuò)展，需要重新評(píng)估你的收集計(jì)劃。七、基于威脅情報(bào)和攻擊鏈的方法ACF雖然是一個(gè)經(jīng)過(guò)實(shí)踐驗(yàn)證的方法，但是也有自身的不足，特別是缺 乏實(shí)踐經(jīng)驗(yàn)情況下，往往集中在入侵的后期階段相關(guān)數(shù)據(jù)收集，存在檢 測(cè)縱深不足，缺少冗余的響應(yīng)時(shí)間等風(fēng)險(xiǎn)。這時(shí)可以參照一種基于威脅 情報(bào)和攻擊鏈的方法，用來(lái)驗(yàn)證、完善數(shù)據(jù)收集計(jì)劃，此方法來(lái)源于 David J. Bianco的關(guān)于情報(bào)驅(qū)動(dòng)的企業(yè)安全監(jiān)控的講演（PPT、視頻）。這種方法大體步驟如下，對(duì)更

14、詳細(xì)內(nèi)容感興趣的可以去參考他的PPT 及視頻：以攻擊鏈為橫軸，檢測(cè)指標(biāo)（參考之前的小議威脅情報(bào)）為縱軸， 完成對(duì)應(yīng)的表格，體現(xiàn)在攻擊的各個(gè)階段可以利用的相關(guān)數(shù)據(jù)；基于不同檢測(cè)指標(biāo)對(duì)黑客攻擊的影響程度，給出評(píng)估；基于有效檢測(cè)APT類型攻擊而不被大量報(bào)警淹沒(méi)，給出評(píng)估（參見(jiàn) 下圖）；基于現(xiàn)實(shí)中可達(dá)的工具能夠?qū)崿F(xiàn)，給出評(píng)估；綜合以上3項(xiàng)評(píng)估的數(shù)據(jù)，確定數(shù)據(jù)收集計(jì)劃。Score Card: Effectiveness Against APT-w,心吁育町父叫眠叩-FKft5 炬 Mfy Ctwi- 保 Pw=x=sirjATEEHoEyr - *,UR Jkain MfiE .sISbi 蟲(chóng).心EM通

15、削工|肥心-i.viaLm-URT-URL Sfrwfcnw-,如gn5fiwgW m s-iM*艮村曲型i ifrkFlfl-FuN PUh 注4也ma n f， HS?F.- 碩EL*MI 1H 山0傾I Sriftfl- ，心時(shí)牌h pmo鼻，Mt岬 iHMT MDAF AXI|y rlg.HWpjjWmPrew-WeiRngsAnKie/FifeFIvFijIF仙*UW!- UNI- N-griBfHP GET-Fiehrr pos nc- Poth-l-TTF “心驢附-IJRh JRSViTgE - STi iuigi lf/ininHMll 心“囪 *crrail N:g-ifl

16、MnH雪-*-nariM JbItpah WAJchXtL pvflidfll這種方法也是一種周期性的活動(dòng)，需要根據(jù)新的威脅情報(bào)和分析工作的 進(jìn)展而不斷修訂，個(gè)人更傾向于認(rèn)為它是對(duì)ACF方法中步驟3、4的具 體化操作指南，ACF中的步驟3對(duì)應(yīng)著這里的步驟1,而ACF的步驟 4對(duì)應(yīng)了這里的步驟2-5。八、小結(jié)大數(shù)據(jù)安全分析的第一部分內(nèi)容就寫到這里了。我們反思了當(dāng)前威脅形 式下安全理念的變化，我們需要以實(shí)時(shí)防御為基礎(chǔ)的積極檢測(cè)（Hunting） 和響應(yīng)來(lái)避免出現(xiàn)或者緩解可能的破壞活動(dòng)，它以威脅為中心，側(cè)重于 數(shù)據(jù)的收集。在考慮數(shù)據(jù)收集計(jì)劃時(shí)，我們可以參考ACF方法，以及 基于威脅情報(bào)和攻擊鏈的方法，確