大數(shù)據(jù)應(yīng)用案例分析

1、在如今這個大數(shù)據(jù)得時代里，人人都希望能夠借助大數(shù)據(jù)得力量：電商希望能夠借助大數(shù)據(jù)進(jìn)一步獲悉用戶得消費(fèi)需求，實(shí)現(xiàn)更為精準(zhǔn)得營銷；網(wǎng)絡(luò)安全從業(yè)者希望通過大數(shù)據(jù)更早洞悉惡意攻擊者得意圖，實(shí)現(xiàn)主動、超前得安全防護(hù)；而駭客們也在利用大數(shù)據(jù)，更加詳盡得挖掘出被攻擊目標(biāo)信息，降低攻擊發(fā)起得 難度。大數(shù)據(jù)應(yīng)用最為典型得案例就是國外某著名零售商，通過對用戶購買物品等 數(shù)據(jù)得分析，該用戶一一一位少女寄送了嬰兒床與衣服得優(yōu)惠券，而少女得家人在此前對少女懷孕得事情一無所知.大數(shù)據(jù)得威力正在逐步顯現(xiàn)，銀行、保險公 司、醫(yī)院、零售商等等諸多企業(yè)都愈發(fā)動力十足得開始搜集整理自己用戶得各類 數(shù)據(jù)資料.但與之相比極度落后得數(shù)據(jù)

2、安全防護(hù)措施，卻讓駭客們樂了：如此重要 得數(shù)據(jù)不僅可以輕松偷盜，而且還就是整理好得，憑借這些數(shù)據(jù)駭客能夠發(fā)起更 具“真實(shí)性”得欺詐攻擊.好在安全防御者們也開始發(fā)現(xiàn)利用大數(shù)據(jù)抵抗各類惡 意攻擊得方法了。擾動安全得大數(shù)據(jù)2 0 14年ID C在“未來全球安全行業(yè)得展望報告”中指出，預(yù)計(jì)到202 0年 信息安全市場規(guī)模將達(dá)到500億美元。與此同時，安全威脅得不斷變化、IT交 付模式得多樣性、復(fù)雜性以及數(shù)據(jù)量得劇增，針對信息安全得傳統(tǒng)以控制為中心 得方法將站不住腳。預(yù)計(jì)到2 02 0年，6 0 %馬企業(yè)信息化安全預(yù)算將會分配到 以大數(shù)據(jù)分析為基礎(chǔ)得快速檢測與響應(yīng)得產(chǎn)品上。瀚思(H a nSi g ht

3、)聯(lián)合創(chuàng)始人董昕認(rèn)為，借助大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全即將開 啟“上帝之眼”模式。“您不能保護(hù)您所不知道得”已經(jīng)成為安全圈得一句名言， 即使部署再多得安全防御設(shè)備仍然會產(chǎn)生“不為人知”得信息，在各種不同設(shè)備產(chǎn)生得海量日志中發(fā)現(xiàn)安全事件得蛛絲馬跡非常困難。 而大數(shù)據(jù)技術(shù)能將不同設(shè) 備產(chǎn)生得海量日志進(jìn)行集中存儲，通過數(shù)據(jù)格式得統(tǒng)一規(guī)整、自動歸并、關(guān)聯(lián)分 析、機(jī)器學(xué)習(xí)等方法，自動發(fā)現(xiàn)威脅與異常行為，讓安全分析更簡單。同時通過豐 富得可視化技術(shù)，將威脅及異常行為可視化呈現(xiàn)出來，讓安全瞧得見 .愛加密CBD高磊提出，基于大數(shù)據(jù)技術(shù)能夠從海量數(shù)據(jù)中分析已經(jīng)發(fā)生得 安全問題、病毒樣本、攻擊策略等，對于安全問題得分析能

4、夠以宏觀角度與微觀 思路雙管齊下找到問題根本得存在.所以，在安全領(lǐng)域使用大數(shù)據(jù)技術(shù)，可以使原本單一攻防分析轉(zhuǎn)為基于大數(shù)據(jù)得預(yù)防與安全策略。大數(shù)據(jù)得意義在于提供了一 種新得安全思路與解決辦法，而不僅僅就是一種工具，單純得海量數(shù)據(jù)就是沒有 意義得.如果大數(shù)據(jù)領(lǐng)域運(yùn)用得當(dāng)，可以十分便捷地與安全領(lǐng)域進(jìn)行結(jié)合，通過對 數(shù)據(jù)分析所得出得結(jié)論反映出安全領(lǐng)域所存在漏洞問題得方向，從而針對該類漏洞問題制定出相對應(yīng)得解決方法。卡巴斯基技術(shù)開發(fā)(北京)有限公司大中華區(qū)技術(shù)總監(jiān)陳羽興強(qiáng)調(diào)，大數(shù)據(jù)對 于安全公司就是件殺敵利器，對于黑客來說也就是一塊巨大得“奶酪”，而這塊“奶 酪”有時候不僅僅就是存放在一個地方，如果仍然

5、使用傳統(tǒng)得防范手段一-端點(diǎn)、 網(wǎng)絡(luò)、加密等一一就是不足以抵擋黑客得，所以作為安全公司不僅要著力去完善 自家得解決方案，同時在整個產(chǎn)業(yè)鏈各個環(huán)節(jié)得企業(yè)都要開放，形成產(chǎn)業(yè)協(xié)同。其實(shí)云計(jì)算得大熱，就已經(jīng)讓用戶與云服務(wù)提供商愈加意識到云安全得重要 性，云安全則更需要大數(shù)據(jù)。作為客戶數(shù)據(jù)托管方得云服務(wù)提供商，客戶最關(guān)注得就是服務(wù)提供商保證她們得數(shù)據(jù)安全：既不丟失也不被非法訪問，且遵從法規(guī) 要求.即使就是在企業(yè)得私有云中，各個部門之間得信息安全也必須考慮，特別就 是財務(wù)數(shù)據(jù)、客戶信息等。由于數(shù)據(jù)得集中，云所需要處理得數(shù)據(jù)可能就是PB 級甚至更大，如此大得數(shù)據(jù)量就是傳統(tǒng)安全分析手段根本處理不了得，只有依靠大

6、數(shù)據(jù)分布式計(jì)算技術(shù)對海量數(shù)據(jù)進(jìn)行安全分析.排兵布陣情報先行近兩年，安全企業(yè)就如何運(yùn)用大數(shù)據(jù)于網(wǎng)絡(luò)安全中費(fèi)盡了腦筋，而安全威脅情報可以說就是大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全防御環(huán)節(jié)里比較成熟得應(yīng)用。什么就是安全威脅情報？形象地說， 人們經(jīng)?？梢詮腃E R不安全服務(wù)廠商、 防病毒廠商、政府機(jī)構(gòu)與安全組織那里瞧到安全預(yù)警通告、漏洞通告、威脅通告 等等，這些都屬于典型得安全威脅情報。 而隨著新型威脅得不斷增長，也出現(xiàn)了 新得安全威脅情報，例如僵尸網(wǎng)絡(luò)地址情報 (Zeus/SpyEy e Trac ker)、0 day 漏洞信息、惡意URLM址情報,等等。陳羽興舉了一個十分有趣得例子：中國股市剛剛興起時，人們要去證

7、券大廳 了解行情，門口擺攤賣茶葉蛋得老太太雖然不懂股票，但就是她懂一個道理：茶 葉蛋生意清淡得時候買入、茶葉蛋生意火爆得時候賣出。其實(shí)茶葉蛋本身得銷量數(shù)據(jù)不會直接導(dǎo)致股票得漲跌，但就是這兩者之間存在“相關(guān)性”，大數(shù)據(jù)環(huán)境下 得安全威脅情報也就是如此.目前，無論國內(nèi)還就是國外對安全威脅情報系統(tǒng)得建設(shè)都普遍參考ST IX標(biāo)準(zhǔn)框架，它有幾個關(guān)鍵點(diǎn)：時效性、完整得攻擊鏈條(包括：攻擊行動、攻擊入 口、攻擊目標(biāo)、In c i d ent事件、TTP-攻擊戰(zhàn)術(shù)、技術(shù)與過程、攻擊特征指 標(biāo)、攻擊表象、行動方針等)以及威脅情報共享。而傳統(tǒng)漏洞與病毒庫只就是在 安全廠家捕獲到樣本后將對應(yīng)得特征碼更新到漏洞或病毒

8、數(shù)據(jù)庫里，并沒有將整個攻擊過程完整描述下來，且缺少相互共享合作。大數(shù)據(jù)時代下，通過大數(shù)據(jù)得計(jì)算能力、算法與機(jī)器學(xué)習(xí)優(yōu)勢可以快速、自 動得在海量數(shù)據(jù)中發(fā)現(xiàn)安全問題，提升安全情報得時效性.其次由于大數(shù)據(jù)分析 得數(shù)據(jù)來自網(wǎng)絡(luò)、終端、認(rèn)證系統(tǒng)等各個維度，便于分析整個安全攻擊鏈條形成 安全威脅情報.最后，隨著一些新興得大數(shù)據(jù)廠商興起，用戶至上、信息共享等互 聯(lián)網(wǎng)思維逐步形成，使安全威脅情報共享得以實(shí)現(xiàn)。瀚思采用“圖分析”結(jié)合強(qiáng)大情報系統(tǒng)(域名WE is、被動DNS、黑名單)所實(shí)現(xiàn)得極速感知可疑域名方法，就就是通過將每天各個渠道收集到得幾十萬域 名及其相關(guān)信息導(dǎo)入圖數(shù)據(jù)庫，根據(jù)節(jié)點(diǎn)關(guān)系快速繪制連接邊，形象

9、直觀得展現(xiàn) 節(jié)點(diǎn)之間內(nèi)在聯(lián)系，將有問題得域名暴露在安全分析人員得眼前，使得以域名為 基礎(chǔ)得惡意行為無處躲藏，并以最快得速度查出惡意網(wǎng)站?？ò退够鶆t在10年前就建立了自己得安全網(wǎng)絡(luò) KS N,通過多年得數(shù)據(jù)搜集 與研究，再加上其所設(shè)立得全球威脅分析團(tuán)隊(duì) (Great te am),已經(jīng)能夠?qū)ξ?來威脅走向進(jìn)行相對比較準(zhǔn)確得預(yù)判。而綠盟科技得研究團(tuán)隊(duì)在吸收“殺傷鏈(Kil 1 Cha in) ”與“攻擊樹(At t a ck Tree) ”等相關(guān)理論，形成獨(dú)特推理決策引擎后，借助大數(shù)據(jù)安全分析系統(tǒng) 得分布式數(shù)據(jù)庫，實(shí)現(xiàn)了對網(wǎng)絡(luò)入侵態(tài)勢得感知。高磊認(rèn)為，其實(shí)大數(shù)據(jù)從誕生開始就用于統(tǒng)計(jì)與記錄安全情報

10、.它能夠幫助情 報分析人員發(fā)現(xiàn)藏匿于數(shù)據(jù)中得威脅，通過大數(shù)據(jù)分析處理獲取威脅情報、預(yù)測 攻擊事件。與傳統(tǒng)情報獲取方法不同得就是，真正意義得大數(shù)據(jù)安全情報就是能 夠基于更多得數(shù)據(jù)(不就是僅僅一些工具)分析半年以上得重點(diǎn)風(fēng)險，預(yù)測未來得 風(fēng)險趨勢.玩轉(zhuǎn)大數(shù)據(jù)安全分析如何才能實(shí)現(xiàn)對數(shù)據(jù)得有效深入分析呢？綠盟科技得安全專家發(fā)現(xiàn)，大數(shù)據(jù)安全分析主要得問題在于將業(yè)務(wù)目標(biāo)與技 術(shù)實(shí)現(xiàn)混淆以及業(yè)務(wù)目標(biāo)不明確兩個方面。 而大數(shù)據(jù)安全分析得三大瓶頸分別就 是：大數(shù)據(jù)僅僅就是一種技術(shù)手段而不就是一個業(yè)務(wù)目標(biāo)，安全分析才就是實(shí)際要解決得核心問題；大數(shù)據(jù)安全分析能夠在安全防御里起到很重要得作用 ，但并 不能解決全部得安

11、全問題；大數(shù)據(jù)安全分析需要極為詳細(xì)得業(yè)務(wù)梳理、安全分析、數(shù)據(jù)分析等一系列工作，而不就是簡單得數(shù)據(jù)堆疊。要想解決這些問題，需要明確業(yè)務(wù)目標(biāo)，明確目標(biāo)得分解落實(shí)，還要在項(xiàng)目啟動前進(jìn)行安全咨詢，并基于安全 咨詢結(jié)果編制目標(biāo)及項(xiàng)目階段，分階段實(shí)現(xiàn)項(xiàng)目目標(biāo)，同時進(jìn)行專業(yè)分析人員得 培養(yǎng)工作。陳羽興提出要想實(shí)現(xiàn)對數(shù)據(jù)得有效安全分析， 首先要有統(tǒng)一得數(shù)據(jù)管理平臺， 要能夠支持多種數(shù)據(jù)類型-一大數(shù)據(jù)分析平臺需要足夠掌握不同安全類型得語義 信息以便進(jìn)行整合與關(guān)聯(lián)分析，還要有諸如Hadoop Spark等專業(yè)得安全分析工 具，以及富有經(jīng)驗(yàn)得專業(yè)安全分析人員。高磊強(qiáng)調(diào)“如果無法對數(shù)據(jù)進(jìn)行分析篩選，獲取有價值得信息，

12、就不就是真正 得大數(shù)據(jù)安全分析.”例如，愛加密采集得APP超過1000萬個，具會對所有得AP P進(jìn)行拆包分析，對病毒樣本進(jìn)行記錄保存，并對應(yīng)用得類型、大小、簽名、包名 等多方面參數(shù)進(jìn)行記錄存儲，對樣本進(jìn)行詳細(xì)分析，錄入特征值，并對數(shù)據(jù)進(jìn)行統(tǒng) 計(jì)分析，生成報表。瀚思在大數(shù)據(jù)安全分析上得經(jīng)驗(yàn)就是，“首先在底層架構(gòu)上采用了主流大數(shù)據(jù) 分布式架構(gòu),即Hado op +Spar k+ E 1 asticsea r ch,它能準(zhǔn)實(shí)時處理幾百T B以上得數(shù)據(jù)；其次在安全應(yīng)用上則采用一些自動化分析得手段，瀚思做了比較 多得機(jī)器學(xué)習(xí)、算法工作，通過模型給用戶、業(yè)務(wù)來建模，并建立正常訪問基線， 這個環(huán)節(jié)稱之為異常

13、檢查(anomal y de t e c t io n ),并基于此實(shí)現(xiàn)W eb訪問安 全、反欺詐、內(nèi)部核心資源等傳統(tǒng)安全很難解決得問題；第三在算法層面上，瀚思 主要使用基于用戶行為序列與基于時間序列得建模?！睓C(jī)器學(xué)習(xí)就是自動化與提 開日志數(shù)據(jù)洞察力得關(guān)鍵。不同得機(jī)器學(xué)習(xí)技術(shù)要應(yīng)對不同類型得日志數(shù)據(jù)與分析挑戰(zhàn)。瀚思能夠提前確定機(jī)器學(xué)習(xí)要查找得關(guān)聯(lián)性與其她模式，采用非監(jiān)督式 學(xué)習(xí)得方式，并輔助專家準(zhǔn)備供參考得“練習(xí)數(shù)據(jù)”集，以便于機(jī)器學(xué)習(xí)算法能 夠識別具有重大聯(lián)系得模式，幫助企業(yè)提早發(fā)現(xiàn)風(fēng)險，防患于未然。最后就就是 將分析安全問題及異常行為通過可視化得手段呈現(xiàn)出來 ，讓安全問題瞧得見、瞧 得懂。

14、在安全世界里大數(shù)據(jù)可以做得更多網(wǎng)絡(luò)安全防御主要分為三個環(huán)節(jié)：預(yù)防、保護(hù)與查找攻擊，大數(shù)據(jù)能夠?yàn)檫@ 三個環(huán)節(jié)提供強(qiáng)大得數(shù)據(jù)支撐.面又today漏洞、APT攻擊等未知威脅，利用大 數(shù)據(jù)分析手段可以進(jìn)行快速檢測與響應(yīng)。 組織在建立安全防御體系過程中，也可 以利用大數(shù)據(jù)影響人與管理流程，通過大數(shù)據(jù)得反饋更有針對性得提高用戶得安 全意識，對安全管理得模式進(jìn)行更新.借助大數(shù)據(jù)還可以實(shí)現(xiàn)用戶異常行為檢測、 敏感數(shù)據(jù)泄露檢測、DN S異常分析、反欺詐等。未來，大數(shù)據(jù)還可能會成為網(wǎng)絡(luò)安全智能化得推動者. 設(shè)想一下：某平臺系統(tǒng) 在分析知道攻擊者得攻擊目標(biāo)或者攻擊方式時，能夠通過大數(shù)據(jù)分析，智能關(guān)閉 有關(guān)服務(wù)或者端

15、口 ，防止信息泄露，又或者在受到攻擊之后，系統(tǒng)從經(jīng)驗(yàn)中知道問 題所在，及時采取切斷連接等手段，實(shí)現(xiàn)網(wǎng)絡(luò)安全智能化.陳羽興表示，引導(dǎo)人得行為與事物得發(fā)展向更安全得目標(biāo)走近， 這就是大數(shù) 據(jù)能給人們帶來得更大意義所在。大數(shù)據(jù)時代下得大安全“大數(shù)據(jù)時代下，安全將經(jīng)歷數(shù)據(jù)統(tǒng)計(jì)階段、數(shù)據(jù)分析階段、網(wǎng)絡(luò)安全智能 化階段?！备呃诒硎荆瑪?shù)據(jù)統(tǒng)計(jì)階段只能通過經(jīng)驗(yàn)與案例分析所需記錄數(shù)據(jù)類型， 盡可能得獲取到所需信息。數(shù)據(jù)分析階段則要注重完善數(shù)據(jù)庫得效率與針對性。 而網(wǎng)絡(luò)安全智能化階段將基本上不依賴人力即可控制系統(tǒng)自主進(jìn)行智能保護(hù)、自主查找可能得攻擊源，此時需要做好測試工作，搭建虛擬數(shù)據(jù)庫，防止智能系統(tǒng)落 后。董昕提出，一個完整得大數(shù)據(jù)安全生態(tài)應(yīng)該包括安全情報、企業(yè)級大數(shù)據(jù)安全 分析系統(tǒng)、安全即服務(wù)這三部分，只有三者相互配合才能組成完整得安全閉環(huán)?！爱?dāng)然，專業(yè)得安全研究團(tuán)隊(duì)與服務(wù)團(tuán)隊(duì)也就是少不了得?！卞汲藗鹘y(tǒng)精通于攻防、漏洞、合規(guī)等方面得專家外，還擁有多名精通安全與數(shù)據(jù)分析得跨界專 家。例如瀚思聯(lián)合創(chuàng)始人兼首席科學(xué)家萬曉川先生就就是核心安全分析、算法、Sandb ox領(lǐng)域以及異常檢測與用戶行為分析得世界級專家，她擁有多項(xiàng)美國專 利，并一直在倡導(dǎo)將機(jī)器學(xué)習(xí)應(yīng)用于信息安全。這也