《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目二-任務(wù)三 淺析數(shù)據(jù)安全

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目二淺析大數(shù)據(jù)存儲(chǔ)技術(shù)任務(wù)三

淺析數(shù)據(jù)安全大數(shù)據(jù)存儲(chǔ)架構(gòu)？嵌入式存儲(chǔ)架構(gòu)，應(yīng)用場景？云存儲(chǔ)架構(gòu)？大數(shù)據(jù)在醫(yī)療領(lǐng)域的應(yīng)用？回顧任務(wù)引入-數(shù)據(jù)丟失8月5日，前沿?cái)?shù)控在微博上發(fā)表長文《騰訊云給一家創(chuàng)業(yè)公司帶來的災(zāi)難》，文章中表示，“2018年7月20日，我們近千萬元級的平臺(tái)數(shù)據(jù)全部丟失，包括經(jīng)過長期推廣導(dǎo)流積累起來的精準(zhǔn)注冊用戶以及內(nèi)容數(shù)據(jù)，這瞬間將一家創(chuàng)業(yè)公司摧毀”。任務(wù)描述:本節(jié)任務(wù)要求從備份策略入手，通過系統(tǒng)學(xué)習(xí)，對大數(shù)據(jù)時(shí)代的數(shù)據(jù)安全有一個(gè)初步的認(rèn)識，為后續(xù)項(xiàng)目實(shí)踐打下基礎(chǔ)。任務(wù)教學(xué)目標(biāo)：了解文件系統(tǒng)的核心了解訪問文件的流程了解日志文件系統(tǒng)XFS文件系統(tǒng)任務(wù)概要教學(xué)內(nèi)容數(shù)據(jù)備份策略文件級備份與塊級備份Rsync介紹一二三快照技術(shù)四數(shù)據(jù)備份策略知識點(diǎn)一（一）為什么要備份計(jì)算機(jī)本身也是一個(gè)相當(dāng)不可靠的機(jī)器受到惡意攻擊人為操作失誤132（二）數(shù)據(jù)備份方式手動(dòng)備份U盤光盤（二）數(shù)據(jù)備份方式使用備份程序下載一個(gè)備份程序。有免費(fèi)提供的程序和要購買的程序，但都提供了許多相同的基本功能。使用購買的程序備份數(shù)據(jù)比手動(dòng)備份好的其中一個(gè)優(yōu)點(diǎn)是定時(shí)和自動(dòng)化選項(xiàng)。這使可以不用擔(dān)心數(shù)據(jù)備份工作。（三）備份的常見策略與關(guān)鍵技術(shù)全部備份即把硬盤或數(shù)據(jù)庫內(nèi)的所有文件、文件夾或數(shù)據(jù)作一次性的復(fù)制。0102指對上一次全部備份或增量備份后更新的數(shù)據(jù)進(jìn)行備份。03差異備份提供運(yùn)行完整備份后變更的文件的備份。增量備份差異備份（三）備份的常見策略與關(guān)鍵技術(shù)系統(tǒng)處于停機(jī)或維護(hù)狀態(tài)下的備份。這種情況下，備份的數(shù)據(jù)與系統(tǒng)中此時(shí)段的數(shù)據(jù)完全一致。系統(tǒng)處于正常運(yùn)轉(zhuǎn)狀態(tài)下的備份。這種情況下，由于系統(tǒng)中的數(shù)據(jù)可能隨時(shí)在更新，備份的數(shù)據(jù)相對于系統(tǒng)的真實(shí)數(shù)據(jù)可有一定滯后。冷備份熱備份對系統(tǒng)的一部分進(jìn)行備份選擇式備份文件級備份與塊級備份知識點(diǎn)二（一）文件級備份與塊備份概念塊級是指以扇區(qū)為基礎(chǔ)，一個(gè)或多個(gè)連續(xù)的扇區(qū)組成一個(gè)塊，也叫物理塊。它是在文件系統(tǒng)與塊設(shè)備（例如：磁盤驅(qū)動(dòng)器）之間。塊級概念（一）文件級備份與塊備份概念物理塊（驅(qū)動(dòng)層）磁盤驅(qū)動(dòng)器（扇區(qū)）邏輯塊（文件系統(tǒng)如：NTFS，EXT4，XFS，JFS）132文件級概念：文件級是指文件系統(tǒng)，單個(gè)文件可由一個(gè)或多個(gè)邏輯塊組成，且邏輯塊之間是不連續(xù)分布。邏輯塊大于或等于物理塊整數(shù)倍。塊備份備份是以磁盤塊為基本單位將數(shù)據(jù)從主機(jī)復(fù)制到備機(jī)。也就是說每次備份數(shù)據(jù)都是以一個(gè)扇區(qū)(512B)為單位來進(jìn)行備份。文件備份文件備份是以文件為基本單位將數(shù)據(jù)從主機(jī)復(fù)制到備機(jī)。同樣，我們是以一個(gè)完整的文件來做為備份單位的。而大小是由文件本身來決定。（二）備份模式的區(qū)別備份機(jī)制塊備份塊備份避免了當(dāng)文件出現(xiàn)一個(gè)小的改動(dòng)的時(shí)候，就需要對整個(gè)文件做備份，只是會(huì)去做改動(dòng)部分的備份，有效的提高了備份效率，節(jié)省了備份時(shí)間。文件備份文件備份模式下，文件即使一個(gè)很小的改變，也需將整個(gè)文件備份。這樣如果一個(gè)文件很大的情況下，就會(huì)大幅度的降低備份效率，增加磁盤開銷和備份時(shí)間。（二）備份模式的區(qū)別高效性塊備份塊備份可以做到高效的實(shí)時(shí)備份，這種寫入操作都是基于磁盤扇區(qū)的，所以，很快就能被識別。文件備份文件備份是很難做到實(shí)時(shí)備份的，因?yàn)樗拿看涡薷亩际腔谖募模募哪牟糠直恍薷?，系統(tǒng)很難實(shí)時(shí)捕獲到。（二）備份模式的區(qū)別實(shí)時(shí)性塊備份塊備份是在文件系統(tǒng)之下對數(shù)據(jù)進(jìn)行復(fù)制，所以它不受文件系統(tǒng)限制，可以支持各種文件系統(tǒng)包括RAW分區(qū)。文件備份文件備份是以單個(gè)文件為單位對數(shù)據(jù)進(jìn)行復(fù)制，所以它受文件系統(tǒng)限制，僅能對部分支持的文件系統(tǒng)做備份，不支持RAW分區(qū)。（二）備份模式的區(qū)別支持度Rsync介紹知識點(diǎn)三rsync是類unix系統(tǒng)下的數(shù)據(jù)鏡像備份工具——remotesync。一款快速增量備份工具RemoteSync，遠(yuǎn)程同步支持本地復(fù)制，或者與其他SSH、rsync主機(jī)同步。sync概念（一）rsync介紹（二）sync特點(diǎn)可以鏡像保存整個(gè)目錄樹和文件系統(tǒng)?？梢院苋菀鬃龅奖３衷瓉砦募臋?quán)限、時(shí)間、軟硬鏈接等。無須特殊權(quán)限即可安裝。第一次同步時(shí)rsync會(huì)復(fù)制全部內(nèi)容，但在下一次只傳輸修改過的文件。rsync在傳輸數(shù)據(jù)的過程中可以實(shí)現(xiàn)壓縮及解壓縮操作，因此可以使用更少的帶寬?？梢允褂胹cp、ssh等方式來傳輸文件，當(dāng)然也可以通過直接的socket連接。支持匿名傳輸，以方便進(jìn)行網(wǎng)站鏡象。（三）sync配置概述配置文件/etc/rsyncd.confpath=/home/backup///需要做鏡像的目錄readonly=yes//只讀hostsallow=192.168.1.1,10.10.10.10//允許主機(jī)hostsdeny=0.0.0.0/0//禁止主機(jī)logfile=/var/log/rsyncd.log//日志記錄文件的存放位置快照技術(shù)知識點(diǎn)四快照的作用主要是能夠進(jìn)行在線數(shù)據(jù)恢復(fù)，當(dāng)存儲(chǔ)設(shè)備發(fā)生應(yīng)用故障或者文件損壞時(shí)可以進(jìn)行及時(shí)數(shù)據(jù)恢復(fù)，將數(shù)據(jù)恢復(fù)成快照產(chǎn)生時(shí)間點(diǎn)的狀態(tài)?？煺盏淖饔茫ㄒ唬┛煺占夹g(shù)概念與作業(yè)基于文件系統(tǒng)式基于子系統(tǒng)式的基于卷管理器/虛擬化式（二）快照的三種基本形式即寫即拷貝即寫即拷快照可以在每次輸入新數(shù)據(jù)或已有數(shù)據(jù)被更新時(shí)生成對存儲(chǔ)數(shù)據(jù)改動(dòng)的快照。分割鏡像快照分割鏡像快照引用鏡像硬盤組上所有數(shù)據(jù)。每次應(yīng)用運(yùn)行時(shí)，都生成整個(gè)卷的快照，而不只是新數(shù)據(jù)或更新的數(shù)據(jù)。（三）快照的兩種類型進(jìn)行冷快照拷貝是保證系統(tǒng)可以被完全恢復(fù)的最安全的方式。在進(jìn)行任何大的配置變化或維護(hù)過程之前和之后，一般都需要進(jìn)行冷拷貝，以保證完全的恢復(fù)原狀（rollback）。冷快照拷貝暖快照拷貝利用服務(wù)器的掛起功能。當(dāng)執(zhí)行掛起行動(dòng)時(shí)，程序計(jì)數(shù)器被停止，所有的活動(dòng)內(nèi)存都被保存在引導(dǎo)硬盤所在的文件系統(tǒng)中的一個(gè)臨時(shí)文件（.vmss文件）中，并且暫停服務(wù)器應(yīng)用。暖快照拷貝發(fā)生的所有的寫操作都立即應(yīng)用在一個(gè)虛硬盤上，以保持文件系統(tǒng)的高度的一致性。服務(wù)器提供讓持續(xù)的虛擬硬盤處于熱備份模式的工具，以通過添加REDO日志文件在硬盤子系統(tǒng)層上復(fù)制快照拷貝。熱快照拷貝（四）快照的三種使用方法（五）快照與鏡像、復(fù)制的區(qū)別鏡像、快照和復(fù)制是三種不同的功能。鏡像是通過從一個(gè)I/O創(chuàng)建兩個(gè)I/O來復(fù)制數(shù)據(jù)。復(fù)制是通過網(wǎng)絡(luò)傳輸數(shù)據(jù)對象（文件）任務(wù)小結(jié)1.系統(tǒng)角色不同，備份需求也不同，針對個(gè)人電腦常用：手動(dòng)備份、備份到云端。2.在企業(yè)里常見的備份策略有：全部備份、增量備份、差異備份、冷備份、熱備份。3.塊備份是以磁盤塊為基本單位將數(shù)據(jù)從主機(jī)復(fù)制到備機(jī)。4.文件備份是以文件為基本單位將數(shù)據(jù)從主機(jī)復(fù)制到備機(jī)。5.rsync是類unix系統(tǒng)下的數(shù)據(jù)鏡像備份工具——remotesync。6.快照的作用主要是能夠進(jìn)行在線數(shù)據(jù)恢復(fù)，當(dāng)存儲(chǔ)設(shè)備發(fā)生應(yīng)用故障或者文件損壞時(shí)可以進(jìn)行及時(shí)數(shù)據(jù)恢復(fù)，將數(shù)據(jù)恢復(fù)成快照產(chǎn)生時(shí)間點(diǎn)的狀態(tài)。課外研讀大數(shù)據(jù)標(biāo)準(zhǔn)獨(dú)立學(xué)習(xí)到今天，我們國家已經(jīng)有12項(xiàng)大數(shù)據(jù)國家標(biāo)準(zhǔn)正式獲批發(fā)布。我們可以通過研讀《GB/T386