第5章 大數(shù)據(jù)安全

BIGDATA導論V2第5章

大數(shù)據(jù)安全目錄5.1安全與隱私問題凸顯5.2大數(shù)據(jù)時代的安全挑戰(zhàn)5.3如何解決大數(shù)據(jù)安全問題5.4如何解決隱私保護問題第五章大數(shù)據(jù)安全網(wǎng)絡安全與隱私保護問題-云視頻會議軟件Zoom

案例5-1【安全技術(shù)問題】Zoom并未完全實現(xiàn)端對端（E2EE）加密，而是廣泛采用傳輸（TLS）加密，僅保證服務器到用戶間的傳輸加密，保留了服務器訪問傳輸內(nèi)容的權(quán)限，會議內(nèi)容存在泄露風險?！井a(chǎn)品本身的設計邏輯】如默認會議主持人允許可以隨意錄制屏幕，且以相同的命名方式保存上傳至云端或公開網(wǎng)站；隱私權(quán)限政策中對于個人數(shù)據(jù)責權(quán)說明含糊其辭等。

端到端加密技術(shù)是指數(shù)據(jù)在發(fā)送時被發(fā)送方加密，在接收方接收時被解密的技術(shù)。端到端加密只發(fā)生在發(fā)送方與接收方，而在整個傳輸過程中數(shù)據(jù)均已密文的形式存在，且無法進行解密操作，極大的加強了數(shù)據(jù)的安全性。安全與隱私問題凸顯>>>5.1視頻資料：央視新聞直播間大數(shù)據(jù)安全和個人信息保護

視頻來源/2018/09/19/VIDEpSNW430tb4L2qv7FzYnx180919.shtml安全與隱私問題凸顯網(wǎng)絡安全漏洞個人隱私泄露企業(yè)與政府已經(jīng)搜集了所有的數(shù)據(jù):該干什么？如何對這些數(shù)據(jù)進行保護？該如何安全合法地利用這些數(shù)據(jù)？網(wǎng)絡風險產(chǎn)生的主要因素網(wǎng)絡安全漏洞個人隱私泄露在大數(shù)據(jù)時代的背景下，你可以想象一些場景，如圖所示。網(wǎng)絡安全漏洞個人隱私泄露安全與隱私問題凸顯個人隱私泄露例如2018年3月，F(xiàn)acebook因保護數(shù)據(jù)不周導致超8700萬用戶的個人數(shù)據(jù)，被美國聯(lián)邦貿(mào)易委員會處以50億美元罰款；2020年9月，知名游戲硬件制造商Razer雷蛇，由于后臺服務器的錯誤配置遭遇數(shù)據(jù)泄露，相關(guān)信息包括電子郵件、地址、訂單信息等內(nèi)容，據(jù)估計受影響客戶數(shù)量約為10萬；2021年6月，逯某、黎某因侵犯公民個人信息被判刑，兩人通過自己開發(fā)的軟件爬取淘寶用戶ID、手機號碼、評價內(nèi)容等信息，共計11億余條，用于公司營利活動，非法獲利395萬余元。網(wǎng)絡安全漏洞個人隱私泄露安全與隱私問題凸顯電信云堤&愛加密《2020中國互聯(lián)網(wǎng)移動應用隱私情況年度觀察報告》大數(shù)據(jù)時代的安全挑戰(zhàn)>>>5.2大數(shù)據(jù)時代的安全挑戰(zhàn)信息安全的發(fā)展歷程網(wǎng)絡安全早期的也是最基礎的安全涉及到的是信息系統(tǒng)的物理安全，以及整個系統(tǒng)能否可靠運行等方面，這些是信息系統(tǒng)安全運行的基本保障。物理安全數(shù)據(jù)安全，一是防止數(shù)據(jù)丟失，二是防止數(shù)據(jù)泄露，三是需要防止數(shù)據(jù)被非法訪問和盜取。在數(shù)據(jù)的傳輸和處理過程中對數(shù)據(jù)的防護也很重要。數(shù)據(jù)安全信息安全的發(fā)展歷程應用安全信息一般都是通過應用系統(tǒng)來存取，因此，應用系統(tǒng)的安全也是確保信息安全的一個重要部分。信息安全帶來的挑戰(zhàn)網(wǎng)絡安全包含網(wǎng)絡設備安全、網(wǎng)絡軟件安全和網(wǎng)絡信息安全。大數(shù)據(jù)時代的安全挑戰(zhàn)信息安全的發(fā)展歷程信息安全帶來的挑戰(zhàn)信息安全帶來挑戰(zhàn)新興技術(shù)日新月異，物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)和移動互聯(lián)網(wǎng)被稱為新一代信息技術(shù)的“四架馬車”，它們提供了科技發(fā)展的核心動力，這些技術(shù)在給人民、企業(yè)、政府和社會帶來極大便利的同時，也催生了不同于以往的安全問題和威脅。名稱說明例子前面攻擊數(shù)據(jù)隱私從內(nèi)部網(wǎng)移到云中后，遭受來自互聯(lián)網(wǎng)的攻擊黑客利用Web應用中的安全漏洞，盜取企業(yè)數(shù)據(jù)庫中的信息側(cè)面攻擊公有云中的數(shù)據(jù)隱私，遭受同一云中其他租客的攻擊競爭者利用CPUCovertChannel安全缺陷，盜取同一物理機上對方虛擬機的密鑰后面攻擊云中的數(shù)據(jù)隱私，遭受來自云服務商務內(nèi)部人員的攻擊不滿者利用管理員權(quán)限，盜取客戶信息“壞分子”云攻擊模式身份或服務賬戶劫持信息安全帶來的挑戰(zhàn)業(yè)界總結(jié)為以下8種云安全攻擊性威脅類型。其他還有一些非攻擊性的威脅風險，包括無法支持法庭案件調(diào)查、不了解數(shù)據(jù)的物理存放位置和災難恢復等。濫用和非法使用云計算商業(yè)模式變化風險數(shù)據(jù)丟失或者泄露

惡意的內(nèi)部人員不安全的應用編程接口資源隔離問題大數(shù)據(jù)時代的安全挑戰(zhàn)信息安全的發(fā)展歷程信息安全帶來的挑戰(zhàn)對企業(yè)內(nèi)部網(wǎng)的攻擊如何解決大數(shù)據(jù)安全問題>>>5.3如何解決安全問題大數(shù)據(jù)安全防護對策大數(shù)據(jù)安全防護關(guān)鍵技術(shù)大數(shù)據(jù)安全防護對策大數(shù)據(jù)存儲安全對策（1）通過加密手段保護數(shù)據(jù)安全，如采用PGP、TrueCrypt等程序?qū)Υ鎯Φ臄?shù)據(jù)進行加密，同時將加密數(shù)據(jù)和密鑰分開存儲和管理。（2）通過加密手段實現(xiàn)數(shù)據(jù)通信安全，如采用SSL協(xié)議保證數(shù)據(jù)節(jié)點和應用程序之間通信數(shù)據(jù)的安全性。（3）通過數(shù)據(jù)災難備份機制，確保大數(shù)據(jù)的災難恢復能力。大數(shù)據(jù)應用安全對策（1）對大數(shù)據(jù)核心業(yè)務系統(tǒng)和數(shù)據(jù)進行集中管理，保持數(shù)據(jù)口徑一致，通過嚴格的字段級授權(quán)訪問控制、數(shù)據(jù)加密，實現(xiàn)在規(guī)定范圍內(nèi)對大數(shù)據(jù)資源快速、便捷、準確地綜合查詢與統(tǒng)計分析，防止超范圍查詢數(shù)據(jù)、擴大數(shù)據(jù)知悉范圍。（2）針對部分敏感字段進行過濾處理，對敏感字段進行屏蔽，防止重要數(shù)據(jù)外泄。（3）通過統(tǒng)一身份認證與細粒度的權(quán)限控制技術(shù)，對用戶進行嚴格的訪問控制，有效保證大數(shù)據(jù)應用安全。數(shù)據(jù)治理與數(shù)據(jù)安全大數(shù)據(jù)管理安全對策如何解決安全問題大數(shù)據(jù)安全防護對策大數(shù)據(jù)安全防護關(guān)鍵技術(shù)（1）加強大數(shù)據(jù)建立和使用的審批管理通過大數(shù)據(jù)資源規(guī)劃評審，實現(xiàn)大數(shù)據(jù)平臺建設由“面向過程”到“面向數(shù)據(jù)”的轉(zhuǎn)變，從數(shù)據(jù)層面建立較為完整的大數(shù)據(jù)模型，面向不同平臺的業(yè)務特點、數(shù)據(jù)特點、網(wǎng)絡特點，建立統(tǒng)一的元數(shù)據(jù)管理、主數(shù)據(jù)管理機制。在數(shù)據(jù)應用上，按照“一數(shù)一源，一源多用”的原則，實現(xiàn)大數(shù)據(jù)管理的集中化、標準化、安全化。（2）實現(xiàn)大數(shù)據(jù)的生命周期管理依據(jù)數(shù)據(jù)的價值與應用的性質(zhì)將數(shù)據(jù)進行劃分，將數(shù)據(jù)劃分為在線數(shù)據(jù)、近線數(shù)據(jù)、歷史數(shù)據(jù)、歸檔數(shù)據(jù)、銷毀數(shù)據(jù)等，依據(jù)數(shù)據(jù)的價值，分別制定相應的安全管理策略，有針對性地使用和保護不同級別的數(shù)據(jù)，并建立配套的管理制度，解決大數(shù)據(jù)管理策略單一所帶來的安全防護措施不匹配、性能瓶頸等問題。（3）建立集中日志分析、審計機制匯總收集數(shù)據(jù)訪問操作日志和基礎數(shù)據(jù)庫數(shù)據(jù)手工維護操作日志，實現(xiàn)對大數(shù)據(jù)使用安全記錄的監(jiān)控和查詢統(tǒng)計，建立數(shù)據(jù)使用安全審計規(guī)則庫。依據(jù)審計規(guī)則對選定范圍的日志進行審計檢查，記錄審計結(jié)論，輸出風險日志清單，生成審計報告。實現(xiàn)數(shù)據(jù)使用安全的自動審計和人工審計。（4）完善大數(shù)據(jù)的動態(tài)安全監(jiān)控機制對大數(shù)據(jù)平臺的運行狀態(tài)數(shù)據(jù)，如內(nèi)存數(shù)據(jù)、進程等進行安全監(jiān)控與檢測，保證計算系統(tǒng)健康運行。從操作系統(tǒng)層次看，包括內(nèi)存、磁盤以及網(wǎng)絡I/O數(shù)據(jù)的全面監(jiān)控檢測。從應用層次看，包括對進程、文件以及網(wǎng)絡連接的安全監(jiān)控。建立有效的動態(tài)數(shù)據(jù)細粒度安全監(jiān)控和分析機制，滿足對大數(shù)據(jù)分布式可靠運行的實時監(jiān)控需求。數(shù)據(jù)治理與數(shù)據(jù)安全如何解決安全問題基礎云安全防護技術(shù)如何解決安全問題1.訪問控制技術(shù)大數(shù)據(jù)安全防護中的訪問控制技術(shù)主要用于防止非授權(quán)訪問和使用受保護的大數(shù)據(jù)資源。目前，訪問控制主要分為自主訪問控制和強制訪問控制兩大類。自主訪問控制是指用戶擁有絕對的權(quán)限，能夠生成訪問對象，并能決定哪些用戶可以使用訪問。強制訪問控制是指系統(tǒng)對用戶生成的對象進行統(tǒng)一的強制性控制，并按已制定的規(guī)則決定哪些用戶可以使用訪問。2.安全威脅的分析技術(shù)對于大數(shù)據(jù)安全防護而言，提前預警安全威脅和惡意代碼是重要的安全保障技術(shù)手段。安全威脅和惡意代碼預警可以通過對一系列歷史數(shù)據(jù)和實時數(shù)據(jù)的場景關(guān)聯(lián)分析來實現(xiàn)。對大數(shù)據(jù)的安全問題進行可行性預測分析，識別潛在的安全威脅，可以達到更好地保護大數(shù)據(jù)的目的。3.大數(shù)據(jù)稽核和審計技術(shù)對大數(shù)據(jù)系統(tǒng)間或服務間的隱秘存儲通道進行稽核，對大數(shù)據(jù)平臺發(fā)送和接收信息進行審核，可以有效發(fā)現(xiàn)大數(shù)據(jù)平臺內(nèi)部的信息安全問題，從而降低大數(shù)據(jù)的信息安全風險。4.大數(shù)據(jù)安全漏洞發(fā)現(xiàn)大數(shù)據(jù)安全漏洞主要是指大數(shù)據(jù)平臺和服務程序由于設計缺陷或人為因素留下的后門和問題，安全漏洞攻擊者能夠在未授權(quán)的情況下利用該漏洞訪問或破壞大數(shù)據(jù)平臺及其數(shù)據(jù)。5基于大數(shù)據(jù)的認證技術(shù)基于大數(shù)據(jù)的認證技術(shù)，利用大數(shù)據(jù)技術(shù)采集用戶行為及設備行為的數(shù)據(jù)，并對這些數(shù)據(jù)進行分析，獲得用戶行為和設備行為的特征，進而通過鑒別操作者行為及其設備行為來確定身份，實現(xiàn)認證，從而能夠彌補傳統(tǒng)認證技術(shù)中的缺陷。大數(shù)據(jù)安全防護關(guān)鍵技術(shù)大數(shù)據(jù)安全防護關(guān)鍵技術(shù)大數(shù)據(jù)安全防護對策大數(shù)據(jù)安全防護關(guān)鍵技術(shù)數(shù)據(jù)治理與數(shù)據(jù)安全如何解決安全問題基礎云安全防護技術(shù)如何解決安全問題數(shù)據(jù)治理與數(shù)據(jù)安全大數(shù)據(jù)安全防護對策大數(shù)據(jù)安全防護關(guān)鍵技術(shù)數(shù)據(jù)治理與數(shù)據(jù)安全什么是數(shù)據(jù)治理？

簡單來講，數(shù)據(jù)治理是指對零散的數(shù)據(jù)進行統(tǒng)一管理，保證企業(yè)中使用數(shù)據(jù)的可用性、易用性、完整性和安全性，如同使商場里的規(guī)格不一、雜亂無章的貨物整齊有序的陳列于貨架上，其目的是增加數(shù)據(jù)價值，使數(shù)據(jù)相關(guān)成本和風險最小化。由于現(xiàn)在數(shù)據(jù)呈現(xiàn)高容量大、高多樣性、高速且實時的特征，所以大數(shù)據(jù)治理更具有挑戰(zhàn)性。圖5-4大數(shù)據(jù)治理概念框架如何解決隱私保護問題>>>5.4隱私問題防不勝防的隱私泄露隱私保護的政策法規(guī)隱私保護技術(shù)防不勝防的隱私泄露【應用2】早在2000年，哈佛大學教授就表明只需要3個信息就可以確定87%的美國人：ZIP代碼、出生日期和性別，而這些信息都可以在公共記錄中找到。另外，根據(jù)用戶的搜索記錄也可以輕易鎖定一個人?！緫?】美國在線AOL早2006年曾公布了3個月近兩千萬條真實搜索記錄，雖然記錄里沒有真實姓名，紐約時報的記者根據(jù)一名用戶的搜索如“60歲的單身女子”，“在各種東西上小便的狗”，“里爾本市的園丁”等，將該用戶鎖定為一位住在里爾本市的62歲的寡婦，她養(yǎng)了3條狗。同年美國Netflix公司公布的競賽數(shù)據(jù)也導致了一位中西部未表明身份的同性戀母親的曝光?！緫?】來自美國羅徹斯特大學的亞當·薩迪克和來自微軟實驗室的工程師約翰·克拉姆收集了32000天里703個志愿者和396輛車的GPS數(shù)據(jù)并建造了一個“大規(guī)模數(shù)據(jù)集”。他們通過編寫一個算法，可以大致預測一個人未來可能達到的位置，最多可以預測到80周后，其準確度高達80%。區(qū)塊鏈技術(shù)與隱私保護聯(lián)邦學習與隱私保護隱私的政策法規(guī)隱私問題1995年制定的《歐盟隱私保護指令》是保護網(wǎng)絡隱私權(quán)的重要法規(guī)，其對網(wǎng)絡環(huán)境下的隱私保護做了較全面、系統(tǒng)的規(guī)定。此后，歐盟頒布了《電子通信資料保護指令》和《歐洲電子商務行動方案》。1986年頒布的《電子通信隱私法案》2016年11月，全國人大常委會發(fā)布了《中華人民共和國網(wǎng)絡安全法》。2016年12月，國家互聯(lián)網(wǎng)信息辦公室發(fā)布《國家網(wǎng)絡空間安全戰(zhàn)略》，提出要實施國家大數(shù)據(jù)戰(zhàn)略，建立大數(shù)據(jù)安全管理制度，支持大數(shù)據(jù)、云計算等新一代技術(shù)創(chuàng)新和應用，為保障國家網(wǎng)絡安全夯實產(chǎn)業(yè)基礎。2021年6月，我國首部《中華人民共和國數(shù)據(jù)安全法》正式出臺與此前頒布的《網(wǎng)絡安全法》，對加強網(wǎng)絡安全管控，有效防御國家安全風險，保障國家安全具有重要意義。2021年8月，全國人大常委會頒布了《中華人民共和國個人信息保護法》，這是我國首部針對個人隱私保護的法律。防不勝防的隱私泄露隱私保護的政策法規(guī)隱私保護技術(shù)區(qū)塊鏈技術(shù)與隱私保護聯(lián)邦學習與隱私保護隱私保護技術(shù)隱私問題對于隱私保護的效果可以用“披露風險”來度量。披露風險表示攻擊者根據(jù)所發(fā)布的數(shù)據(jù)和其他相關(guān)的背景知識，能夠披露隱私的概率，那么隱私保護的目的就是盡可能地降低披露風險。隱私保護技術(shù)大致可以分為以下幾類：防不勝防的隱私泄露隱私保護的政策法規(guī)隱私保護技術(shù)區(qū)塊鏈技術(shù)與隱私保護聯(lián)邦學習與隱私保護技術(shù)類型優(yōu)點缺點基于數(shù)據(jù)失真技術(shù)保護效率高計算開銷小容易實現(xiàn)數(shù)據(jù)信息缺損度高數(shù)據(jù)依賴性強，處理數(shù)據(jù)算法靈活性要求高基于數(shù)據(jù)加密技術(shù)數(shù)據(jù)的準確程度高隱私保護度高，安全性較強開銷較大部署復雜，實際應用難度大基于限制發(fā)布技術(shù)發(fā)布的數(shù)據(jù)真實，可用性較高適用范圍很廣，算法移植性強容易實現(xiàn)計算開銷較大存在一定信息丟失區(qū)塊鏈技術(shù)與隱私保護隱私問題防不勝防的隱私泄露隱私保護的政策法規(guī)隱私保護技術(shù)區(qū)塊鏈技術(shù)與隱私保護聯(lián)邦學習與隱私保護區(qū)塊鏈中的主要幾種隱私保護技術(shù)零知識證明技術(shù)

區(qū)塊鏈即一個分布在網(wǎng)絡上的公共分類賬，記錄、儲存數(shù)字資產(chǎn)交易。本質(zhì)上是一個分散的數(shù)據(jù)庫，保持信息在分布于遠程位置的多個節(jié)點之間的復制和共享。混合技術(shù)環(huán)簽名技術(shù)同態(tài)加密技術(shù)匿名性防篡改性聯(lián)邦學習與隱私保護隱私問題聯(lián)邦學習是一種特殊的分布式機器學習（DML），調(diào)動多個客戶端如智能手機、平板電腦或傳感器等，由中央服務器協(xié)調(diào)，以協(xié)作的方式訓練機器學習模型，如圖。防不勝防的隱私泄露隱私保護的政策法規(guī)隱私保護技術(shù)區(qū)塊鏈技術(shù)與隱私保護聯(lián)邦學習與隱私保護同態(tài)加密技術(shù)安全多方計算差分隱私百度大數(shù)據(jù)安全實踐百度大數(shù)據(jù)平臺安全架構(gòu)

百度大數(shù)據(jù)平臺關(guān)鍵能力百度提出4A安全體系來構(gòu)建大數(shù)據(jù)平臺的關(guān)鍵安全能力，主要包括：1)Account（賬號）：為每個用戶創(chuàng)建唯一的用戶賬號，并對用戶身份進行鑒別，確保數(shù)據(jù)訪問控制和安全審計可以追溯到個人賬號。同時，采用基于角色的用戶分組管理，將系統(tǒng)管理角色、系統(tǒng)數(shù)據(jù)建設角色和數(shù)據(jù)查看角色進行區(qū)分。2)Authentication（鑒別）：百度大數(shù)據(jù)平臺上的數(shù)據(jù)訪問必須有統(tǒng)一的身份鑒別機制。百度大數(shù)據(jù)平臺采用統(tǒng)一單點登錄身份認證技術(shù)對用戶進行身份鑒別管理。3)Authorization（授權(quán)）：百度大數(shù)據(jù)平臺需要根據(jù)數(shù)據(jù)訪問主體身份，以及被訪問數(shù)據(jù)的密級，實現(xiàn)對各類數(shù)據(jù)的訪問授權(quán)。對于機密等級以上的數(shù)據(jù)，需要對接到具體的電子審批流程。此外，數(shù)據(jù)在流轉(zhuǎn)過程中，大數(shù)據(jù)平臺可以自動判斷對應的下一個節(jié)點的安全等級和人員授權(quán)情況，進行數(shù)據(jù)流轉(zhuǎn)的安全判斷和維護。4)Audit（審計）：百度大數(shù)據(jù)平臺具有審計日志記錄功能，實現(xiàn)對系統(tǒng)中針對用戶管理、權(quán)限管理、