AI驅(qū)動(dòng)高級(jí)威脅檢測與自動(dòng)化響應(yīng)(AI網(wǎng)絡(luò)安全)

AI驅(qū)動(dòng)高級(jí)威脅檢測與自動(dòng)化響應(yīng)網(wǎng)絡(luò)沖突和攻擊成為國家間對抗主要形式中國網(wǎng)：藍(lán)皮書稱網(wǎng)絡(luò)沖突和攻擊成為國家間對抗主要形式2011年—2018年2016年7月2016年11月2014年APT38針對全球范圍金融機(jī)構(gòu)的攻擊，是目前以經(jīng)濟(jì)利益為動(dòng)機(jī)的最為活躍的APT組織藍(lán)寶菇APT組織針對中國的一系列定向攻擊事件，包括中國政府、軍工、科研、金融等重點(diǎn)單位和部門“豐收行動(dòng)”：一場潛伏三年的“網(wǎng)絡(luò)狙擊”行動(dòng)

，針對至少6個(gè)國家，近800名受害者，攻擊者竊取了包含部分大使館通訊錄和軍事外交相關(guān)的文件蔓靈花組織：中國等國某部委、大型能源央企2018年5月VPNFilter：針對烏克蘭IOT設(shè)備的惡意代碼攻擊事件備注：藍(lán)皮書是上海社會(huì)科學(xué)院信息研究所、中國信息通信研究院安全研究所及社會(huì)科學(xué)文獻(xiàn)出版社主辦的《網(wǎng)絡(luò)空間安全藍(lán)皮書》。國家網(wǎng)絡(luò)資產(chǎn)測繪：網(wǎng)絡(luò)發(fā)展落后，設(shè)備類型簡單XX威脅情報(bào)分析：存在大量高危害漏洞，補(bǔ)丁升級(jí)緩慢關(guān)鍵網(wǎng)絡(luò)設(shè)施測繪：大量暴露面，容易被攻擊2019年3月7日下午4:56

（當(dāng)?shù)貢r(shí)間）開始，委內(nèi)瑞拉國內(nèi)包括首都加拉加斯在內(nèi)的20個(gè)州停電超過24小時(shí)，停電給委內(nèi)瑞拉帶來了重大損失，全國交通癱瘓，地鐵系統(tǒng)關(guān)閉，醫(yī)院手術(shù)中斷，所有通訊線路中斷，航班無法正常起降，手機(jī)和網(wǎng)絡(luò)也無法正常使用。3月12日，該國部分地區(qū)電力已經(jīng)恢復(fù)，但加拉加斯仍然只有部分供電，與哥倫比亞接壤的西部地區(qū)仍處于黑暗狀態(tài)。截至3月14日，停電尚未完全解決。通過威脅情報(bào)分析，該國電力系統(tǒng)存在如下網(wǎng)絡(luò)安全隱患：網(wǎng)絡(luò)基礎(chǔ)設(shè)施攻擊—委內(nèi)瑞拉電廠停電事件分析大數(shù)據(jù)關(guān)聯(lián)分析威脅情報(bào)等多源數(shù)據(jù)監(jiān)測全球勒索病毒爆發(fā)美國指責(zé)北朝鮮發(fā)動(dòng)WannaCry網(wǎng)絡(luò)攻擊網(wǎng)絡(luò)戰(zhàn)武器泄露導(dǎo)致的勒索病毒大規(guī)模爆發(fā)黑客干擾2016年美國總統(tǒng)選舉Infection/注入C&CExfil/數(shù)據(jù)竊取March

10:攻擊者利用Apache

Struts

Web框架中的漏洞獲取在線Web應(yīng)用程序的根訪問權(quán)限攻擊者投入大約30個(gè)web

Shell，并且建立超過35個(gè)不同公網(wǎng)IP地址的訪問鏈接。（外部遠(yuǎn)程訪問，可疑域活動(dòng)）攻擊者自定義工具，以有效利用Equifax的軟件，并查詢和分析數(shù)十個(gè)數(shù)據(jù)庫，以確定哪些數(shù)據(jù)庫保存了最有價(jià)值的數(shù)據(jù)。（端口探測、端口掃描、內(nèi)部網(wǎng)絡(luò)掃描、Kerberos帳戶掃描）Recon/偵查攻擊將數(shù)據(jù)拆分成較小的片段，以躲避監(jiān)測。（通過隱藏的HTTPS隧道將數(shù)據(jù)外發(fā)）Lateral/橫向擴(kuò)展May

13

–

July

30:

攻擊者利用隱蔽的隧道繞過防火墻，逐個(gè)分析和破解公司的數(shù)據(jù)庫和存儲(chǔ)系統(tǒng)。（隱藏的https隧道、可疑的管理員）Equifax是美國三大個(gè)人信用評估機(jī)構(gòu)之一，由于遭遇黑客攻擊，約有1.43億用戶的個(gè)人重要信息泄漏。Equifax數(shù)據(jù)泄漏成熟的網(wǎng)絡(luò)犯罪經(jīng)濟(jì)生態(tài)50C$to

$20信用卡號(hào)、郵箱賬號(hào)$7to$8云端賬號(hào)Upto

$50醫(yī)療信息記錄Upto$3,500定制化惡意程序Upto

$1,000/dayDDoSAttackand

SaaSEndpoint eNtwork CloudUsersMobileDevicesLoTmaliciousInsidersTerroristsOrganizedCrimeHacktivistsNationStates不斷擴(kuò)大的攻擊面資金充裕和有目的團(tuán)伙復(fù)雜高級(jí)的攻擊手段CustomMalwareZero-DayExploitsSocial PhysicalEngineering

CompromiseSpear-PhishingModern

ThreatLandscape我們所面臨的安全威脅美國2016年發(fā)布《21世紀(jì)美國國家安全科技與創(chuàng)新戰(zhàn)略》2016年，美國發(fā)布《21世紀(jì)美國國家安全科技與創(chuàng)新戰(zhàn)略》，指出美國政府將依賴大數(shù)據(jù)分析、人工智能等技術(shù)，提出新的方案在隱私保護(hù)、網(wǎng)絡(luò)安全、國家安全及經(jīng)濟(jì)利益之間取得平衡。歐盟2016年7月，通過《網(wǎng)絡(luò)與信息系統(tǒng)安全指令》2016年7月6日，歐盟立法機(jī)構(gòu)正式通過首部網(wǎng)絡(luò)安全法《網(wǎng)絡(luò)與信息系統(tǒng)安全指令》，通過立法立法致力實(shí)現(xiàn)統(tǒng)一的、高水平的網(wǎng)絡(luò)與信息系統(tǒng)安全亞洲日本政府為2020年奧運(yùn)會(huì)制訂網(wǎng)絡(luò)安全戰(zhàn)略日本政府將設(shè)立“網(wǎng)絡(luò)安全應(yīng)對協(xié)調(diào)中心”，新戰(zhàn)略強(qiáng)調(diào)，隨著人工智能（AI）和物聯(lián)網(wǎng)（IoT）的發(fā)展，網(wǎng)絡(luò)攻擊恐將導(dǎo)致停電、金融機(jī)構(gòu)停擺等，對國民生活造成重大損失。為防備此類事態(tài)，相關(guān)機(jī)構(gòu)要開展新技術(shù)研究，提高應(yīng)對能力。世界各國網(wǎng)絡(luò)空間戰(zhàn)略和政策的升級(jí)調(diào)整，指明需要需要加強(qiáng)新技術(shù)、新方向的研究，特別是加強(qiáng)大數(shù)據(jù)分析、人工智能技術(shù)的研究，應(yīng)對新型的網(wǎng)絡(luò)空間威脅。世界各國網(wǎng)絡(luò)空間戰(zhàn)略調(diào)整2016出席習(xí)總書記“419”網(wǎng)絡(luò)安全與信息化工作座談會(huì)2018年4月20日至21日，全國網(wǎng)絡(luò)安全和信息化工作會(huì)議“沒有網(wǎng)絡(luò)安全就沒有國家安全；加快構(gòu)建關(guān)鍵信息基礎(chǔ)設(shè)施安全保障體系；全天候全方位感知網(wǎng)絡(luò)安全態(tài)勢?！睒淞⒄_的網(wǎng)絡(luò)安全觀，加快構(gòu)建關(guān)鍵信息基礎(chǔ)設(shè)施安全保障體系，全天候全方位感知網(wǎng)絡(luò)安全態(tài)勢，增強(qiáng)網(wǎng)絡(luò)安全防御能力和威懾能力。4.19要筑牢網(wǎng)絡(luò)安全防線，提高網(wǎng)絡(luò)安全保障水平，強(qiáng)化關(guān)鍵信息基礎(chǔ)設(shè)施防護(hù)，加大核心技術(shù)研發(fā)力度和市場化引導(dǎo)，加強(qiáng)網(wǎng)絡(luò)安全預(yù)警監(jiān)測，確保大數(shù)據(jù)安全，實(shí)現(xiàn)全天候全方位感知和有效防護(hù)。2.17樹立正確的網(wǎng)絡(luò)安全觀，加強(qiáng)信息基礎(chǔ)設(shè)施網(wǎng)絡(luò)安全防護(hù)，加強(qiáng)網(wǎng)絡(luò)安全信息系統(tǒng)統(tǒng)機(jī)制、手段、平臺(tái)建設(shè)，加強(qiáng)網(wǎng)絡(luò)安全事件應(yīng)急指揮能力建設(shè)，積極發(fā)展網(wǎng)絡(luò)安全產(chǎn)業(yè)，做到關(guān)口前移，防患于未然。4.20我國網(wǎng)絡(luò)空間安全戰(zhàn)略信息安全正在成為一個(gè)大數(shù)據(jù)智能分析問題SecuritysolutionsbasedonperimeterdefendingfailtosolveAPTthreats.Detectingsecuritythreatsisbecomingaproblemforbig-datamining,analysisandmodeling

problem.—Gartner

Analyst網(wǎng)絡(luò)安全大數(shù)據(jù)與機(jī)器學(xué)習(xí)人工智能的70年沉浮歷史人工智能在網(wǎng)絡(luò)安全中的應(yīng)用Gartner2019:

Modern

SIEM

/

新一代SIEM安全運(yùn)營生命周期智能安全運(yùn)營三部曲惡意軟件高級(jí)威脅APT數(shù)據(jù)泄露UEBA異常檢測安全編排自動(dòng)化響應(yīng)安全知識(shí)圖譜一鍵封堵通報(bào)預(yù)警追蹤溯源流量畫像威脅情報(bào)碰撞漏洞脆弱性關(guān)聯(lián)資產(chǎn)畫像與拓?fù)渲悄苎信蠥I檢測自動(dòng)化響應(yīng)大數(shù)據(jù)智能安全分析（AI檢測）威脅情報(bào)海量告警數(shù)據(jù)融合AIIP指紋相鄰服務(wù)通信樣本域名庫+DNS+ICP+WhoisIP信譽(yù)黑客特征黑客組織僵尸網(wǎng)絡(luò)回歸積分滑動(dòng)平均模型，平穩(wěn)時(shí)間序列.將非平穩(wěn)時(shí)間序列轉(zhuǎn)化為支撐以一周時(shí)間為一個(gè)周期

算法的呈規(guī)律性分布的時(shí)間序列

聲干擾，利用觀測數(shù)據(jù)往往包含噪RPCA重構(gòu)矩陣剔除噪聲，監(jiān)測掩蓋在噪聲下的異常。RPCA-SST數(shù)據(jù)，利用

3-sigma

準(zhǔn)則進(jìn)行異常檢測。WeeklyGaussian

EstimationExponential

Smoothing平滑法常用于中短期趨勢預(yù)測。是一種加權(quán)移動(dòng)平均法，時(shí)可控制權(quán)重的變化速率。ARIMA支撐算法Mo Tu We Th Fr Sa Su論文：2018

IEEE（DSC）

：A

RobustChange-pointDetection

Method

by

Eliminating

Sparse

Noises論文：

2018

IEEE（DSC）

：A

Categorically

Reweighted

Feature

Extraction

Method

forAnomaly

Detection專利：一種網(wǎng)絡(luò)流量異常檢測方法及系統(tǒng)

專利號(hào)：201710803213.1上上周上周本周warning大數(shù)據(jù)智能安全分析框架網(wǎng)絡(luò)監(jiān)測HTTPDNSFTPSMTP...全流量，7層協(xié)議，深度包分析，全包捕獲文件/注冊表，進(jìn)程，網(wǎng)絡(luò)通信，用戶行為資產(chǎn)與弱點(diǎn)管理數(shù)據(jù)庫訪問與審計(jì)威脅情報(bào)APM性能與運(yùn)維賬號(hào)管理與認(rèn)證各類應(yīng)用日志全面的數(shù)據(jù)源及治理多級(jí)動(dòng)態(tài)規(guī)劃多種映射解析符合國際、行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)分級(jí)分類數(shù)據(jù)清洗與過濾數(shù)據(jù)壓縮高性能智能解析與特征提取毫秒級(jí)計(jì)算流數(shù)據(jù)復(fù)雜分析關(guān)聯(lián)引擎支持秒級(jí)查詢多級(jí)索引優(yōu)化，支持PB級(jí)動(dòng)態(tài)在線調(diào)整機(jī)器學(xué)習(xí)模型可在線調(diào)整HDFS????Siddhi

CEP ElasticSearch?????? ????SOC???? Kafka???? ????Logstash??????Flink?????YARN????WAF???????????????Docker??ZooKeeper?????Ambari

API????MYSQL????Java1.8??Python

2.7?????????????????????????CDPS ????Complex

Data

Process ????Server???????DPIAPT???????????????AiLPHA大數(shù)據(jù)平臺(tái)智能自動(dòng)化降維機(jī)器學(xué)習(xí)算法模型聚類異常模型：孤立森林(iForest)自組織映射(SOM)K-means等等時(shí)序基線異常：差分整合自回歸模型RPCA-SST隱馬科夫HMM等等安全專家經(jīng)驗(yàn)加權(quán)平均計(jì)算風(fēng)險(xiǎn)值P1P2P3P4P5∑W1W2W3W4W5內(nèi)外網(wǎng)絡(luò)資產(chǎn) 全面多維度特征提取與畫像選取了10份真實(shí)數(shù)據(jù)：準(zhǔn)確率~96%與傳統(tǒng)策略（WAF、IDS）相比檢新率為~25%與威脅情報(bào)相比檢新率為~45%結(jié)果驗(yàn)證自動(dòng)化選取最佳閾值資產(chǎn)行為異常檢測（AiLPHA深度感知智能引擎DSI）基于AI模型的安全威脅檢測技術(shù)

——

失陷資產(chǎn)多維度畫像和風(fēng)險(xiǎn)分析用戶整體風(fēng)險(xiǎn)態(tài)勢AiLPHA大數(shù)據(jù)智能分析行為分析權(quán)限分析時(shí)序分析基于行為數(shù)據(jù)（可以是應(yīng)用日志、安全設(shè)備日志、全流量、終端EDR等）進(jìn)行特征提取。對被分析對象（用戶、數(shù)據(jù)、應(yīng)用、資產(chǎn)等）進(jìn)行全方位行為畫像和分析。然后利用機(jī)器學(xué)習(xí)手段（特別是無監(jiān)督學(xué)習(xí)）通過對歷史特征和畫像數(shù)據(jù)的學(xué)習(xí)（通常需要至少4周的數(shù)據(jù)）來建立正常行為的基線模式。利用基線進(jìn)行多維度畫像刻畫，快速發(fā)現(xiàn)可疑的安全威脅行為。用戶異常行為感知Time-seriesanomaly

detection可能是業(yè)內(nèi)首創(chuàng)的AI智能引擎高級(jí)未知威脅賬號(hào)被盜數(shù)據(jù)泄漏服務(wù)異常域名請求異常網(wǎng)絡(luò)擁堵API服務(wù)健康度數(shù)據(jù)共享交換流程監(jiān)控對業(yè)務(wù)開展和數(shù)據(jù)流轉(zhuǎn)全過程的安全監(jiān)管用戶數(shù)據(jù)使用行為監(jiān)控對政務(wù)數(shù)據(jù)基礎(chǔ)設(shè)施安全風(fēng)險(xiǎn)的持續(xù)監(jiān)管敏感數(shù)據(jù)訪問使用監(jiān)控對數(shù)據(jù)供應(yīng)鏈服務(wù)商人員的有效監(jiān)管應(yīng)用解決方案：某數(shù)據(jù)資源局大數(shù)據(jù)安全全生命周期管控智能安全運(yùn)營三部曲惡意軟件高級(jí)威脅APT數(shù)據(jù)泄露UEBA異常檢測安全編排自動(dòng)化響應(yīng)安全知識(shí)圖譜一鍵封堵通報(bào)預(yù)警追蹤溯源流量畫像威脅情報(bào)碰撞漏洞脆弱性關(guān)聯(lián)資產(chǎn)畫像與拓?fù)渲悄苎信蠥I檢測自動(dòng)化響應(yīng)Sumap網(wǎng)絡(luò)空間測繪：發(fā)現(xiàn)全球資產(chǎn)風(fēng)險(xiǎn)Sumap大數(shù)據(jù)平臺(tái)探測引擎Sumap全球網(wǎng)絡(luò)空間超級(jí)雷達(dá)，利用全網(wǎng)快速掃描引擎，完成全網(wǎng)資產(chǎn)探測、漏洞掃描和風(fēng)險(xiǎn)趨勢分析。發(fā)現(xiàn)暴露在互聯(lián)網(wǎng)上的重要設(shè)施與系統(tǒng)60萬每秒并發(fā)2小時(shí)全網(wǎng)極速掃描43億IP掃描空間IPv4/v6

支持IPv4/v6雙棧威脅情報(bào)關(guān)聯(lián)溯源2.8億活躍域名483.3萬網(wǎng)站存量漏洞484.9萬在線設(shè)備漏洞65.7萬全球在線設(shè)備監(jiān)測4776起安全事件通報(bào)6.1億Web攻擊樣本180.9億Web訪問樣本1.3億IP行為識(shí)別庫8.2萬僵尸主機(jī)338.3萬惡意IP黑名單27.8萬釣魚網(wǎng)站30.1萬惡意文件樣本威脅情報(bào)分析引擎：通過最新的威脅情報(bào)信息與安全日志碰撞發(fā)現(xiàn)最新和潛在的威脅：威脅情報(bào)庫定期更新，支持自定義配置導(dǎo)入等管理方式情報(bào)分類包含DDoS、C&C、僵尸網(wǎng)絡(luò)、木馬、惡意域名等情報(bào)IOC與安全日志中的IP、域名等信息實(shí)時(shí)碰撞產(chǎn)生告警。XX風(fēng)暴中心威脅情報(bào)數(shù)據(jù)能力：TIPSherlock--資產(chǎn)畫像 鉆取、關(guān)聯(lián)、行為畫像系統(tǒng)通過多維度的關(guān)聯(lián)、鉆取、以及行為畫像發(fā)現(xiàn)攻擊手段和目的知識(shí)圖譜，流量畫像，快速發(fā)現(xiàn)攻擊源頭鉆取溯源關(guān)系擴(kuò)展資產(chǎn)流量畫像上下文取證攻擊者畫像資產(chǎn)威脅畫像應(yīng)用案例：某三甲醫(yī)院感染勒索病毒案件智能分析研判過程圖譜分析一目了然藥房門診手術(shù)室住院部辦公室通過全網(wǎng)連接關(guān)系圖譜，快速尋找病毒影響最大區(qū)域，優(yōu)先處置擴(kuò)散面最大終端，以點(diǎn)破面，擺脫安服無從下手困境。資產(chǎn)感知-快速定位查殺從成千上萬的告警中擺脫出來多臺(tái)安全設(shè)備總計(jì)2w+安全告警AiLPHA平臺(tái)5個(gè)失陷資產(chǎn)病毒感染溯源被感染成功后成為新的病毒源頭3月6號(hào)12:27正在遭受病毒感染3月6號(hào)11:02被感染資產(chǎn)自動(dòng)開放不常用端口1、資產(chǎn)自動(dòng)開放445，22105，49834等不常用端口288個(gè)。2、445端口流入流量858MB，基本可以確認(rèn)是通過445端口感染。智能安全運(yùn)營三部曲惡意軟件高級(jí)威脅APT數(shù)據(jù)泄露UEBA異常檢測安全編排自動(dòng)化響應(yīng)安全知識(shí)圖譜一鍵封堵通報(bào)預(yù)警追蹤溯源流量畫像威脅情報(bào)碰撞漏洞脆弱性關(guān)聯(lián)資產(chǎn)畫像與拓?fù)渲悄苎信蠥I檢測自動(dòng)化響應(yīng)SOAR--跨系統(tǒng)協(xié)作編排與自動(dòng)化響應(yīng)SOAR編排事件管理協(xié)作自動(dòng)化響應(yīng)將分析人員從耗時(shí)且重復(fù)的分析工作中解放出來。自動(dòng)檢測和自動(dòng)響應(yīng)，使響應(yīng)時(shí)間從小時(shí)甚至天降低到分鐘級(jí)別。將人工分析經(jīng)驗(yàn)沉淀為標(biāo)準(zhǔn)流程，不斷優(yōu)化響應(yīng)流程，減少對人工的依賴。流程化完成事件管理，提高協(xié)作溝通效率。通過智能編排，把人、過程和技術(shù)整合起來。SOAR--跨系統(tǒng)協(xié)作編排與自動(dòng)化響應(yīng)Firewall EDR IAMWAF API

Gateway DatabaseIPSGatekeeper Bastion

host多場景多設(shè)備

(3000+)云平臺(tái)安全數(shù)據(jù)安全應(yīng)用安全網(wǎng)絡(luò)安全邊界安全終端安全人工查驗(yàn)應(yīng)急響應(yīng)安全報(bào)告知識(shí)庫實(shí)現(xiàn)從“被動(dòng)防守“到“主動(dòng)防御“的轉(zhuǎn)型，提高應(yīng)急響應(yīng)效率EDREDREDR①

失陷終端持續(xù)請求惡意域名，并對外發(fā)送數(shù)據(jù)②

聯(lián)動(dòng)EDR查殺惡意木馬文件③

處置結(jié)果自動(dòng)發(fā)送安全管理人員流程編排Use

Case：失陷終端自動(dòng)研判處置流程編排Use

Case：自動(dòng)阻斷惡意行為關(guān)聯(lián)威脅情報(bào)驗(yàn)證攻擊源①

告警發(fā)現(xiàn)境外訪問請求數(shù)增多，且存在注入嘗試②

告警IP和情報(bào)碰撞判定惡意IP③

聯(lián)動(dòng)到WAF防火墻自動(dòng)設(shè)置攔截策略④

同時(shí)郵件通知安全管理人員運(yùn)維操作傳統(tǒng)運(yùn)維SOAR編排發(fā)現(xiàn)：訪問量劇增觸發(fā)告警5分鐘20秒觸發(fā)告警分析：多規(guī)則、多維度多事件關(guān)聯(lián)，篩選可疑來源1小時(shí)20秒模型編排分析碰撞：登錄情報(bào)平臺(tái)與可疑IP碰撞匹配20分鐘20秒情報(bào)模型