數(shù)據(jù)管理基本常識_第1頁
數(shù)據(jù)管理基本常識_第2頁
數(shù)據(jù)管理基本常識_第3頁
數(shù)據(jù)管理基本常識_第4頁
數(shù)據(jù)管理基本常識_第5頁
已閱讀5頁,還剩61頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

數(shù)據(jù)管理de基本常識目錄1備份、快照、復制、歸檔的基本常識數(shù)據(jù)去重的基本常識云存儲的基本常識如何調(diào)研用戶的數(shù)據(jù)環(huán)境數(shù)據(jù)管理的基本原則CommVault的應對策略備份、快照、復制、歸檔的基本常識備份(Backup)收集生產(chǎn)系統(tǒng)上的數(shù)據(jù),存儲在備份介質(zhì)上,萬一當生產(chǎn)系統(tǒng)的數(shù)據(jù)丟失或不能訪問時,可以用來進行恢復。備份就是創(chuàng)建備份副本的操作,應用和用戶不能直接訪問備份副本。什么是備份?3文件服務器數(shù)據(jù)庫服務器備份服務器磁帶庫磁帶恢復(Recovery)重新創(chuàng)建生產(chǎn)系統(tǒng)應用或計算環(huán)境的過去操作狀態(tài)在應用或計算環(huán)境被破壞或其他原因?qū)е碌牟荒苁褂煤螅枰M行恢復操作恢復模式:完全恢復,小顆?;謴褪裁词腔謴??4文件服務器數(shù)據(jù)庫服務器備份服務器磁帶庫磁帶備份傳輸模式5LANBackupLAN備份服務器生產(chǎn)系統(tǒng)LANSANLAN-freeBackup主控服務器生產(chǎn)系統(tǒng)LANSANServer-lessBackup備份服務器生產(chǎn)系統(tǒng)LANSAN備份服務器Server-freeBackup生產(chǎn)系統(tǒng)備份類型6備份類型原理優(yōu)點缺點全備份對備份集合中所有數(shù)據(jù)進行備份完全恢復系統(tǒng)需要的時間最短。費時,如果文件不頻繁進行更改,備份內(nèi)容幾乎完全相同。增量備份對自上次備份后改變的數(shù)據(jù)進行備份存儲的數(shù)據(jù)最少,備份速度最快。完全恢復系統(tǒng)需要的時間比全備份或差異備份長。差量備份對自上次全備份后改變的數(shù)據(jù)進行備份恢復時僅需要最新全備份和相應的差分備份,備份速度比全備份快。完全恢復系統(tǒng)需要的時間比全備份長。如果大量數(shù)據(jù)發(fā)生變化,備份所需的時間長于增量備份的時間。合成全備份將上次全備份和與其相關增量備份或差量備份重新組成一個全備份第一次全備份后,不再需要進行全備份,可進行永久增量/差量備份只能對文件系統(tǒng)、文檔系統(tǒng)和郵件系統(tǒng)進行合成全備份,不能對數(shù)據(jù)庫進行合成全備份。備份介質(zhì)7備份設備優(yōu)點缺點磁帶庫備份速度快保留時間長存儲容量大價格低易于離場保護1.磨損快,易出錯

2.不易維護

3.順序讀寫磁盤隨機讀寫,速度快易于配置和維護可支持重復數(shù)據(jù)刪除1.很多原有備份軟件不支持

2.無法實現(xiàn)離場保護光盤庫壽命最長,介質(zhì)不容易老化1.備份和恢復速度最慢

2.硬件選擇受限虛擬磁帶庫(VTL)隨機讀寫,速度快易于配置和維護原有備份軟件支持可支持重復數(shù)據(jù)刪除1.最貴

2.增加管理層次

3.無法實現(xiàn)離場保護映像級備份(ImageLevelBackup)對整個文件卷進行數(shù)據(jù)塊級別備份,備份傳輸?shù)氖菙?shù)據(jù)塊而不是文件。這種備份不僅做全備份時效率高,而且在隨后的增量備份時會更快。采用快照技術來創(chuàng)建一個近似于及時的數(shù)據(jù)映像,然后對快照數(shù)據(jù)映像進行備份,對應用的影響很小。雖然采用數(shù)據(jù)塊級別的備份,但仍然能提供文件級的小顆?;謴汀_m合下列環(huán)境:文件個數(shù)在百萬量級以上的大型文件系統(tǒng),備份速度比文件備份快10倍;對備份速度的要求比恢復速度要求高的應用環(huán)境;更多要求恢復整個文件卷的應用環(huán)境。什么是Image備份8LAN/SAN備份副本磁盤磁帶云存儲生產(chǎn)服務器1能夠恢復設計備份/恢復時主要考慮因素保證數(shù)據(jù)的有效恢復!92恢復的數(shù)據(jù)可以使用3恢復速度快4恢復對系統(tǒng)的影響要小5能恢復到指定的時間點備份數(shù)據(jù)定位備份成功率備份顆粒度數(shù)據(jù)保留周期與應用結合離場保護多個數(shù)據(jù)副本備份模式數(shù)據(jù)恢復目標對備份的要求快照(Snapshot)一種快速數(shù)據(jù)保護技術,快照是某個數(shù)據(jù)集在某一特定時刻的鏡像,也稱為即時拷貝,是數(shù)據(jù)集的一個完整可用的副本。實現(xiàn)方式:寫時復制(COW:Copy

On

Write)

I/O重定向(I/ORedirect)鏡像分離(SplitMirror)克隆快照(Copyonwritewithbackgroundcopy)持續(xù)數(shù)據(jù)保護(Continuousdataprotection)常用快照產(chǎn)品:存儲設備:EMCTimeFinder、IBMFlashCopy、HDSShadowImage、NetAppSnapshot卷級別:VeritasVolumeManager、LinuxLVM、IBMTivoliStorageManagerLVSA、Microsoft?Windows?2003VSSSystemprovider文件系統(tǒng)級別:AIXJFS2、IBMTotalStorageSANFileSystem、IBMGeneralParallelFileSystem、IBMNseries、NetAppfilers、VeritasFileSystem。什么是快照?10不同類型快照的特點對比11快照類型工作原理讀寫防止邏輯錯誤防止物理錯誤寫時復制(COW)創(chuàng)建快照時僅復制物理數(shù)據(jù)塊的元數(shù)據(jù)(指針),當對源卷首次寫入數(shù)據(jù)塊時,先把源數(shù)據(jù)塊復制到快照區(qū)。讀取快照時,變化的數(shù)據(jù)塊從快照區(qū)中讀取,沒變化的數(shù)據(jù)塊從源卷中讀取。只讀YESNO

I/O重定向(I/ORedirect)創(chuàng)建快照時把源卷變成快照卷,新寫入的數(shù)據(jù)塊寫到快照區(qū)中。這樣讀源卷數(shù)據(jù)時需要重定向,新寫的數(shù)據(jù)塊從快照區(qū)讀,不變的數(shù)據(jù)塊從源卷中讀。只讀YESNO鏡像分離(SplitMirror)快照前,源卷和快照卷進行實時鏡像,保持數(shù)據(jù)同步。創(chuàng)建快照時,終止鏡像操作,這樣就獲得一個完整快照副本。讀寫YESYES克隆快照(COW

with

Copy)創(chuàng)建快照時,先創(chuàng)建一個寫時快照(COW),然后在后臺把COW快照復制到另一個存儲卷上。讀寫YESYES持續(xù)數(shù)據(jù)保護(CDP)CDP分為真CDP(TrueCDP)和準CDP(NearCDP)兩類。真CDP持續(xù)不間斷的監(jiān)控數(shù)據(jù)變化,生成瞬間快照,可以恢復到過去任意時間點,缺點是開銷大。準CDP持續(xù)的記錄數(shù)據(jù)變化,按一定時間頻率生成快照,優(yōu)點是開銷小,更實用。復制時只讀YESYES創(chuàng)建快照時僅復制物理數(shù)據(jù)塊的元數(shù)據(jù)(指針),當對源卷首次寫入數(shù)據(jù)塊時,先把源數(shù)據(jù)塊復制到快照區(qū)。讀取快照時,變化的數(shù)據(jù)塊從快照區(qū)中讀取,沒變化的數(shù)據(jù)塊從源卷中讀取。寫時復制(COW)工作原理12第一次寫入數(shù)據(jù)時先將原數(shù)據(jù)塊復制出來源卷快照空間變化的數(shù)據(jù)塊從快照區(qū)中讀數(shù)據(jù)沒變化的數(shù)據(jù)塊從源卷中讀數(shù)據(jù)讀取快照數(shù)據(jù)變化的數(shù)據(jù)塊原數(shù)據(jù)塊空白存儲空間復制(Replication)通過網(wǎng)絡(LAN/WAN)即時地把數(shù)據(jù)從一個地方傳輸?shù)搅硪粋€地方復制的種類:數(shù)據(jù)塊級別復制:當數(shù)據(jù)發(fā)生變化時,即時傳輸相關的數(shù)據(jù)塊。文件級別復制:當一部分數(shù)據(jù)發(fā)生變化,即時傳輸整個文件。字節(jié)級別復制:僅即時傳輸變化的字節(jié)。復制模式:同步復制:要求每一個寫入操作在執(zhí)行下一個操作處理之前,在源端和目標端都能完成。數(shù)據(jù)丟失少,會影響生產(chǎn)系統(tǒng)性能,除非目標系統(tǒng)物理上離生產(chǎn)系統(tǒng)比較近。異步復制:在處理下一個操作前,不等待數(shù)據(jù)復制到目標系統(tǒng)中。復制的數(shù)據(jù)與源數(shù)據(jù)有時間差,但這種復制對生產(chǎn)系統(tǒng)性能影響較小。復制實現(xiàn)的方法:存儲嵌入式復制:復制軟件運行在網(wǎng)上的存儲設備中EMC(SymmetrixSRDFandCLARiiONMirrorView);NetworkAppliance(SnapMirror);IBMShark內(nèi)置的復制軟件;HPContinuousAccess基于主機的復制:復制軟件運行在服務器中,通常駐留在文件系統(tǒng)或在操作系統(tǒng)級別的邏輯卷中CommVaultSimpanaReplicationSoftware;DoubleTake;SymantecContinuousProtectionServer;EMCRepliStor什么是復制?13分級存儲歸檔(HSMArchiving)把不常訪問的數(shù)據(jù)遷移到其他存儲設備上。遷移后可以選擇在原系統(tǒng)中留下歸檔存根,用戶通過對歸檔存根直接訪問,自動回調(diào)歸檔數(shù)據(jù),從而實現(xiàn)透明訪問歸檔數(shù)據(jù)。歸檔特點:歸檔改變了系統(tǒng)中的數(shù)據(jù)及狀態(tài);可大量節(jié)省在線存儲空間,提高在線存儲性能;提高備份/恢復速度,并節(jié)省備份介質(zhì)。歸檔主要應用對象:文件系統(tǒng)、NAS郵件系統(tǒng):MS

Exchange、Lotus

Domino文檔系統(tǒng):SharePoint什么是歸檔?14設定一個時間線,把文件分成常用數(shù)據(jù)和歷史數(shù)據(jù)兩個部分定期進行歸檔操作,把歷史數(shù)據(jù)存放于歸檔存儲歸檔后的文件/郵件在原處可留下存根用戶訪問存根,歸檔文件/郵件自動回調(diào)歸檔后,只需要對常用數(shù)據(jù)進行備份。大大減少備份數(shù)據(jù)量。只要恢復常用數(shù)據(jù),系統(tǒng)就能工作,大大降低恢復時間歷史數(shù)據(jù)歸檔卷文件存根常用數(shù)據(jù)歷史數(shù)據(jù)歸檔回調(diào)主存儲歸檔存儲1到4年4到N年如何進行歸檔RTO(恢復時間目標)—在業(yè)務中斷后的某一個時間點,業(yè)務的進程或應用服務必須恢復,確保業(yè)務正常進行(您能接受多長的宕機時間)RPO(恢復點目標)—在已確定的RTO內(nèi),應用數(shù)據(jù)或文件系統(tǒng)信息必須恢復到某一個時間順序點(您能接受丟失多少數(shù)據(jù))什么是RTO/RPO?數(shù)據(jù)保護時間軸Failure出錯時刻12hrs12hrs12hrs12hrs12hrs12hrsRecoveryPointObjectiveBUBURecoveryTimeObjectiveRecover數(shù)據(jù)保護方法對比分析RAID復制快照備份物理錯誤(47%)自然災害YESYES硬件失效YESYESYESYES邏輯錯誤(53%)人工出錯YESYES軟件失效YESYES病毒YESYES恢復點(RPO)能容忍丟失多少數(shù)據(jù)?沒丟失秒、分鐘、小時小時天恢復時間(RTO)要多久才能恢復實時分鐘、小時分鐘小時、天數(shù)據(jù)保留時間能恢復多長時間內(nèi)丟失的數(shù)據(jù)不能不能幾小時幾天幾周幾月幾年數(shù)據(jù)保護系統(tǒng)主要有5個目標:防止物理錯誤、防止邏輯錯誤、滿足RPO及RTO、滿足數(shù)據(jù)保留的時間,沒有一種單一的數(shù)據(jù)保護算法能同時完全滿足這5個目標。因此一個完整的數(shù)據(jù)備份系統(tǒng)應該是這幾種算法結合而構成。數(shù)據(jù)去重的基本常識為什么要進行重復數(shù)據(jù)刪除在服務器應用中有大量完全相同的數(shù)據(jù)塊不同計算機中,有許多完全相同的文件,特別在虛擬機中有80%以上重復數(shù)據(jù)。在連續(xù)的全備份數(shù)據(jù)中,有70%-90%的重復數(shù)據(jù)在歸檔文件中,也有大量的數(shù)據(jù)塊是相同的當進行集中數(shù)據(jù)備份和歸檔時,重復的數(shù)據(jù)塊會導致存儲費用快速上升,同時也會占用數(shù)據(jù)傳輸帶寬。如何進行重復數(shù)據(jù)刪除原數(shù)據(jù)集合邏輯視圖物理存儲重復數(shù)據(jù)刪除節(jié)省大量磁盤空間!在存儲數(shù)據(jù)前,以塊為單位進行哈希比對,對已經(jīng)存儲的數(shù)據(jù)塊不再進行存儲,只是用索引來記錄該數(shù)據(jù)塊;對沒有存儲的新數(shù)據(jù)塊,進行物理存儲,再用索引記錄,這樣相同的數(shù)據(jù)塊物理上只存儲一次。通過索引,可以看到完整的數(shù)據(jù)邏輯視圖,而實際上物理存儲的數(shù)據(jù)卻很少。重復數(shù)據(jù)刪除的過程當數(shù)據(jù)從“源端”傳輸?shù)健澳繕硕恕敝埃谠炊讼葘Ρ粋鬏數(shù)臄?shù)據(jù)塊進行哈希比對,如果該數(shù)據(jù)塊先前已經(jīng)被傳輸過,只需要傳輸哈希索引值;如果該數(shù)據(jù)塊先前沒有被傳輸過,就傳輸該數(shù)據(jù)塊,并記錄該數(shù)據(jù)塊的哈希值。優(yōu)點:可節(jié)約傳輸帶寬缺點:要占用源端資源進行去重處理源端“去重”源端目標端傳送的是新數(shù)據(jù)塊和老數(shù)據(jù)塊的索引當數(shù)據(jù)從“源端”傳輸?shù)健澳繕硕恕钡倪^程中,把數(shù)據(jù)塊傳送到目標端,在目標端進行去重操作。優(yōu)點:不占用源端的資源缺點:不能節(jié)省傳輸帶寬在目標端有兩種處理方式:在線處理方式(In-Line):在數(shù)據(jù)塊存儲之前進行去重處理,優(yōu)點是占用存儲空間較少,缺點是要影響數(shù)據(jù)傳輸性能。后處理方式(Post-Processing):先把數(shù)據(jù)塊存儲在緩存中,等系統(tǒng)空閑時再進行去重處理。優(yōu)點是不影響數(shù)據(jù)傳輸性能,缺點是需要額外的存儲空間。目標端“去重”源端目標端傳送的都是數(shù)據(jù)塊為什么需要多層存儲架構?

“去重”后,相同的數(shù)據(jù)塊在物理存儲上只存儲了一次,假如某一個數(shù)據(jù)塊被損壞,將導致大面積數(shù)據(jù)被破壞,為了防止出現(xiàn)這種意外情況,數(shù)據(jù)副本應該存放多層存儲介質(zhì)上,如:B2D2D2T?!叭ブ亍焙蟾枰鄬哟鎯軜婼FInInInInInCycle2FInInInInInCycle1SFInInInInInCycle3FInInInInInCycle4去重備份磁盤FInSF全備份增量備份合成全備份去重備份磁盤SFInInInInInCycle2FInInInInInCycle1SFInInInInInCycle3FInInInInInCycle4不要迷信高“去重比”去重前容量去重后容量去重比這些曲線擠在一起,說明不同去重比之間,磁盤容量相差并不多。去重比去重前容量去重后容量容量相差20:120TB1TB1TB(相當1塊硬盤)10

:120TB2TB許多廠商過分夸大“去重比”作用,其實高“去重比”并不能節(jié)省太多存儲費用!例如,去重比“20:1”與去重比“10:1”進行比較,結果只多節(jié)約了1TB容量,價值3000多元。也許購買“20:1”的去重設備需要多花費10多萬元。不可否認去重比越高,對帶寬的占用越低。高“去重比”影響恢復速度數(shù)據(jù)集合“去重”數(shù)據(jù)從“去重”數(shù)據(jù)中恢復數(shù)據(jù)反復多次讀取相同數(shù)據(jù)塊,會降低恢復速度。磁盤是機電一體化設備,順序讀的效率大大高于隨機讀的效率,隨機讀需要消耗大量尋道時間。“去重”雖然可以減少寫入的數(shù)據(jù)塊個數(shù),但不能減少讀出的數(shù)據(jù)塊個數(shù)。高“去重比”往往會導致相同的數(shù)據(jù)塊反復多次讀取,大大增加了磁頭尋道時間,嚴重影響磁盤的讀性能。

“去重”是數(shù)據(jù)保護方案中的一個選項,不能替代保護方案本身

一個完善的數(shù)據(jù)保護方案涉及到:數(shù)據(jù)丟失量少、恢復速度快、保留周期長、災難備份容易、實施及運維很方便、擴展靈活、可靠性高、性價比高?!叭ブ亍边x項對部分要求有幫助,但決不能替代數(shù)據(jù)保護方案。如何解讀“去重”的技術指標:專用“去重”設備:只是接口為NAS或VTL的存儲設備,需要另外配備份軟件軟件內(nèi)置“去重”功能:在備份軟件中內(nèi)置了“去重”功能,具有應用感知能力源端“去重”:對窄帶寬下數(shù)據(jù)備份很有幫助,但并不是唯一選擇目標端“去重”:對生產(chǎn)服務器的影響較少,但不能節(jié)省帶寬去重比:對節(jié)省帶寬有較大幫助,但不要迷信高去重比,高去重比不能節(jié)省更多磁盤,反而會影響恢復速度。選擇“去重”方案時需要回答的問題必須要選擇“去重”方案嗎,有沒有更好的方案?如何保護“去重”設備中的數(shù)據(jù)?方案的性能如何,能同時滿足備份和恢復的要求嗎?方案整體性價比如何?選擇昂貴的“去重”設備的投資回報如何?方案的靈活性及擴展性如何?如何選擇“去重”方案云存儲的基本常識什么是“云”28現(xiàn)實世界中云的特點規(guī)模大:

云可以覆蓋很大的區(qū)域動態(tài)伸縮:

云的邊緣模糊,動態(tài)變化伸縮虛幻:

在空中飄忽不定,無法也無需確定具體位置IT世界中的云是一種新興共享IT基礎架構的方法,能把巨大的系統(tǒng)連接在一起提供各種IT服務。提供資源的網(wǎng)絡被稱為“云”。IT世界中云的特點超大規(guī)模:

具有相當大規(guī)模,能擁有成千上萬臺服務器虛擬化:

通過網(wǎng)絡提供服務,無需知道具體的位置高可靠性:

數(shù)據(jù)多副本容災,計算節(jié)點同構可互換,可高性更高通用性:

不針對特定的應用,但同時可支撐不同的應用高可擴展性:

規(guī)模可以動態(tài)伸縮,滿足應用和用戶的增長需求按需服務:

是一個龐大的資源池,按需購買,可以計費極其廉價:

具有極大的成本優(yōu)勢如果需要提供幾十頁的需求說明書如果不能按需購買如果想賣給你硬件設備如果沒有提供API如果需要重新構架你的系統(tǒng)如果不能在短時間內(nèi)部署或撤銷如果你知道你所使用資源的位置如果需要咨詢顧問來幫助你如果不能用網(wǎng)絡連到你的機器上如果需要安裝軟件才能使用如果只能運行一種操作系統(tǒng)……什么不是“云”29云工作方式應該是這樣的使用一個傳統(tǒng)存儲設備,用戶必須要做:了解物理特性存儲設備型號、接口和傳輸協(xié)議多少塊硬盤、多大容量與服務器之間的連接線放置在什么地方進行維護和管理數(shù)據(jù)備份系統(tǒng)、容災系統(tǒng)狀態(tài)監(jiān)控、維護軟硬件更新和升級傳統(tǒng)存儲設備的特點30云存儲是在云計算概念上的延伸和發(fā)展當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時,云計算系統(tǒng)中就需要配置大量的存儲設備,那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)。通過集群應用、網(wǎng)絡技術或分布式文件系統(tǒng)等功能,將大量各種不同類型的存儲設備集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。如何訪問云存儲云狀存儲系統(tǒng)中的所有設備對使用者來講都是完全透明的,任何地方的任何一個經(jīng)過授權的使用者都可以通過一根接入線纜與云存儲連接,對云存儲進行數(shù)據(jù)訪問什么是“云存儲”31存儲層–基礎部分存儲設備:FC、NAS、iSCSI設備管理:邏輯虛擬化、多鏈路冗余、設備狀態(tài)監(jiān)控和故障維護基礎管理層–核心部分集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術,實現(xiàn)多個存儲設備之間的協(xié)同工作,對外提供同一種服務權限管理、數(shù)據(jù)加密、數(shù)據(jù)備份確保云存儲自身安全和穩(wěn)定應用接口層–靈活多變部分根據(jù)實際業(yè)務類型,開發(fā)不同的應用服務接口,提供不同的應用服務訪問層–用戶端任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統(tǒng),享受云存儲服務云存儲的結構模型32可管理性以最少的資源來管理系統(tǒng),達到降低總成本的目的訪問方法云存儲有多種訪問方式,應該公開云存儲所用的協(xié)議性能數(shù)據(jù)傳輸?shù)哪芰κ亲畲筇魬?zhàn),根據(jù)寬帶和延遲使性能最大化多租戶支持多個用戶(或承租者)可擴展性通過擴展?jié)M足更高要求或能方便地擴展性能能力數(shù)據(jù)可用性對系統(tǒng)正常運行時間的衡量標準控制客戶控制系統(tǒng)的能力—能對成本、性能等特征進行配置存儲效率度量如何高效使用原始存儲成本度量存儲成本(通常以美元每GB為單位)云存儲的特征33傳統(tǒng)存儲方式數(shù)據(jù)庫:基于數(shù)據(jù)庫,如:SAN、iSCSI文件:基于文件,如:NAS對象存儲每個存儲對象都包含:數(shù)據(jù)(Data)和元數(shù)據(jù)(Metadata)數(shù)據(jù)--解析的字節(jié)序列元數(shù)據(jù)--描述對象的可擴展屬性集利用了一個平鋪的地址空間,而不是一個層級型的樹形文件架構通過簡單的GET-PUT命令訪問,創(chuàng)建,刪除和移動具有簡潔性、有效性、經(jīng)濟性和擴展性,已成為云存儲中的主導力量。夠存儲大量的非結構化數(shù)據(jù),適合動態(tài)的大規(guī)模數(shù)據(jù)歸檔。對象存儲與傳統(tǒng)共存對象存儲(Object-BasedStore)34訪問存儲空間有三種主流方式:基于數(shù)據(jù)塊(FCSAN或iSCSI)基于文件(CIFS/NFS)Web服務的接口(SOAP和REST)REST脫穎而出RepresentationalStateTransfer

--

具象狀態(tài)傳輸所有的可訪問的對象都被抽象為資源所有的資源都有唯一的URI提供對外訪問接口對同一資源的操作仍使用同樣的URI,而僅僅不同的請求方式(GET/POST/PUT/DELETE)所有的操作都是無狀態(tài)的REST的優(yōu)點:可以利用緩存Cache來提高響應速度通訊本身的無狀態(tài)性可以讓不同的服務器的處理一系列請求中的不同請求,提高服務器的擴展性瀏覽器即可作為客戶端,簡化軟件需求相對與其他疊加在HTTP協(xié)議之上的機制,REST的軟件依賴性更小不需要額外的資源發(fā)現(xiàn)機制在軟件技術演進中的長期的兼容性更好與傳統(tǒng)的應用程序卻完全不兼容云存儲的訪問協(xié)議35GUID概念GloballyUniqueIdentifier(全球唯一標識符),GUID是一個通過特定算法產(chǎn)生的二進制長度為128位的數(shù)字標識符,用于指示產(chǎn)品的唯一性。GUID主要用于在擁有多個節(jié)點、多臺計算機的網(wǎng)絡或系統(tǒng)中,分配必須具有唯一性的標識符。在Windows平臺上,GUID廣泛應用于微軟的產(chǎn)品中,用于標識如如注冊表項、類及接口標識、數(shù)據(jù)庫、系統(tǒng)目錄等對象。GUID格式GUID的格式為“xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx”,其中每個x是0-9或a-f范圍內(nèi)的一個32位十六進制數(shù)。例如:6F9619FF-8B86-D011-B42D-00C04FC964FF即為有效的GUID值。GUID特點GUID在空間上和時間上具有唯一性,保證同一時間不同地方產(chǎn)生的數(shù)字不同。世界上的任何兩臺計算機都不會生成重復的GUID值。需要GUID的時候,可以完全由算法自動生成,不需要一個權威機構來管理。GUID的長度固定,并且相對而言較短小,非常適合于排序、標識和存儲。GUID36如何調(diào)研用戶的數(shù)據(jù)環(huán)境數(shù)據(jù)管理面臨的復雜IT環(huán)境

38典型的IT環(huán)境管理層報告類型預檢、費用、使用、報警、事件實現(xiàn)目的恢復、ILM、檢索訪問方式桌面、WEB、PDASLARPO、RTO、DR應用層數(shù)據(jù)類型文件系統(tǒng)、數(shù)據(jù)庫、郵件系統(tǒng)、文檔……主機層操作系統(tǒng)Windows、Linux、Unix虛擬環(huán)境VMware、Citrix、Hyper-V服務器Unix服務器、PC服務器存儲層T1:生產(chǎn)層存放在線生產(chǎn)數(shù)據(jù):文件系統(tǒng)、數(shù)據(jù)庫、郵件系統(tǒng)等T2:恢復層存放快照、克隆、復制數(shù)據(jù),滿足快速恢復要求T3:保護層存放備份數(shù)據(jù),防止生產(chǎn)層和恢復層數(shù)據(jù)丟失T4:保留層存放長期保留或歸檔數(shù)據(jù),滿足法規(guī)存儲協(xié)議FC-SAN、IP-SAN、NAS存儲廠家EMC、NetApp、HDS、IBM、DELL、HP網(wǎng)絡層多網(wǎng)絡內(nèi)網(wǎng)、外網(wǎng)、因特網(wǎng)、防火墻地點數(shù)據(jù)中心、DR中心、分公司、辦事處、移動辦公數(shù)據(jù)的3V特點數(shù)據(jù)的3V特性(Volume、Variety、Velocity)海量:已經(jīng)跨入海量數(shù)據(jù)時代,需要處理TB級甚至PB級數(shù)據(jù)多樣:數(shù)據(jù)庫、文件、郵件、視頻、圖像、音頻和其他種類數(shù)據(jù)速度:數(shù)據(jù)訪問和處理速度,必須滿足業(yè)務需求數(shù)據(jù)需要長期保存法規(guī)和審計對數(shù)據(jù)存儲要求日益嚴格、規(guī)范,導致數(shù)據(jù)保留期增長數(shù)據(jù)就是資產(chǎn)任何資產(chǎn)必須進行有效的管理,才能真正實現(xiàn)其價值。對于數(shù)據(jù)資產(chǎn)來說更是如此,分散無序的、低質(zhì)量的、錯誤的數(shù)據(jù)是沒有多少價值的,甚至會給經(jīng)營管理帶來負面作用。39數(shù)據(jù)管理的挑戰(zhàn)40數(shù)據(jù)管理越來越復雜為了滿足數(shù)據(jù)3V特征,用戶不得不采用更多存儲設備,存儲架構越來越復雜應用越來越多,數(shù)據(jù)管理手段各不相同,手工管理風險增高數(shù)據(jù)管理要求越來越高業(yè)務不能容忍生產(chǎn)數(shù)據(jù)不能訪問和丟失,導致數(shù)據(jù)有更多副本:復制、快照、備份、災備合規(guī)、審計要求數(shù)據(jù)長期保留,并能快速檢索數(shù)據(jù)管理成本越來越大存儲設備費用逐年增多管理人員人數(shù)逐年增多,技術水平要求更高非結構化數(shù)據(jù)通常把沒有“數(shù)據(jù)模型”的計算機信息稱為非結構化數(shù)據(jù)文字、圖、音頻、視頻MicrosoftOffice文檔,Web頁面,等。結構化數(shù)據(jù)關系數(shù)據(jù)庫,應用Oracle,DB2,SQLServer非結構化數(shù)據(jù)VS結構化數(shù)據(jù)基于備份代理的保護在DB/App服務器上安裝客戶端軟件在線備份(DB/App在運行時可以備份)與原廠家應用接口(API)工具相集成快照保護(Snapshots)利用軟件或硬件創(chuàng)建基于時間點的副本小時級別數(shù)據(jù)保護對生產(chǎn)系統(tǒng)影響較低復制保護(Replication)利用軟件或硬件創(chuàng)建創(chuàng)建復制副本近實時數(shù)據(jù)保護不能防止邏輯錯誤轉(zhuǎn)存(Dump)利用原廠的工具把數(shù)據(jù)備份到文件系統(tǒng)中需要多個步驟,沒有統(tǒng)一的備份管理策略需要人工進行介質(zhì)管理理解數(shù)據(jù)保護的選擇明確了解客戶具體的環(huán)境用戶使用什么數(shù)據(jù)庫和應用?具體的版本?在什么操作系統(tǒng)上?數(shù)據(jù)量有多大?有什么獨特或特殊設置?集群?分區(qū)?內(nèi)部使用還是商用的?探討的問題-1詢問用戶當前數(shù)據(jù)保護的方法備份方法備份代理或快照或復制或轉(zhuǎn)存?全備份、增量、日志備份有備份計劃嗎?恢復數(shù)據(jù)的經(jīng)驗完整數(shù)據(jù)庫、表或單個目標?描述最近恢復情況,成功嗎?服務級別要求(SLAs)備份窗口能滿足嗎?RTO/RPO能滿足嗎?探討的問題-2努力發(fā)現(xiàn)用戶所有的痛點性能低能在規(guī)定的窗口內(nèi)完成備份嗎?備份可靠性受到挑戰(zhàn)嗎?恢復操作很繁瑣?服務中斷影響到生產(chǎn)系統(tǒng)嗎?災難恢復(DR)有什么樣的DR恢復計劃?做過恢復測試嗎?成功還是失?。刻接懙膯栴}-3對未來發(fā)展及長期措施的理解要遷移和升級?有新的供貨商嗎?操作系統(tǒng)和DB應用要升級嗎?有費用控制要求嗎?準備要進行虛擬化嗎?有DR計劃嗎?有服務水平協(xié)議的細則嗎?有法規(guī)遵從或電子數(shù)據(jù)發(fā)現(xiàn)需求嗎?探討的問題-4角色&責任保護公司數(shù)據(jù)最小化保護費用對生產(chǎn)系統(tǒng)影響最小工作目標最大化成功率備份vsSLA恢復時間vsSLA方案控制在預算內(nèi)最大化應用的可用性我們和誰說話?--IT主管角色&責任確保備份和恢復操作能順利進行滿足備份窗口在預期的時間內(nèi)完成恢復操作工作目標滿足備份窗口保證備份的成功率實現(xiàn)及時恢復我們和誰說話?--備份管理員角色&責任優(yōu)化數(shù)據(jù)庫性能保持訪問及可用性日常維護及升級備份困境不愿意為傳統(tǒng)備份操作去操心(如介質(zhì)管理)腳本大師(作業(yè)安全性)是轉(zhuǎn)存還是不用轉(zhuǎn)存“Todumpornottodump”我們和誰說話?--數(shù)據(jù)庫管理員(DBA)“ToDumporNottoDump”優(yōu)點容易-過程相對簡單(例如,沒有介質(zhì)管理)DBA不需要管理備份系統(tǒng)由于關閉數(shù)據(jù)庫,所以能確保時間點副本的一致性,能知道在特定的時間所備份的內(nèi)容缺點DBA并不擁有備份權限,需要依靠其他人備份操作需要多個步驟,恢復操作也需要多個步驟效率低(dump操作也許要在多個區(qū)域進行)因為沒有增量和去重,占用大量存儲空間沒有統(tǒng)一的備份策略轉(zhuǎn)存操作優(yōu)點與缺點數(shù)據(jù)管理的基本原則操作簡單數(shù)據(jù)可用安全可靠管理規(guī)范數(shù)據(jù)管理的基本原則52操作簡單復雜的IT環(huán)境、海量數(shù)據(jù)的多樣性導致數(shù)據(jù)管理操作十分復雜復雜管理操作會導致:出錯風險增加、響應速度下降、增加管理人員或增加工作量操作簡單化要求:簡單操作能到達數(shù)據(jù)管理目的,重復操作過程自動化數(shù)據(jù)可用性數(shù)據(jù)能在規(guī)定的條件下和規(guī)定的時刻或時間區(qū)間內(nèi),處于可執(zhí)行規(guī)定功能狀態(tài)的能力。要求數(shù)據(jù)多個副本都具有可用性:在線、近線及離線數(shù)據(jù)安全性數(shù)據(jù)只能被有權限的用戶進行訪問,要防止數(shù)據(jù)泄露、更改或破壞安全性要考慮的問題:防止越權訪問、防止數(shù)據(jù)被盜管理規(guī)范規(guī)范的管理組織架構制定數(shù)據(jù)采集、傳輸、儲存、監(jiān)控、分析的工作規(guī)范及數(shù)據(jù)管理工作流程健全數(shù)據(jù)管理監(jiān)控體制,實現(xiàn)數(shù)據(jù)采集標準化、數(shù)據(jù)運行自動化、數(shù)據(jù)分析制度化數(shù)據(jù)管理基本原則主要內(nèi)容53制度管理管理人員的三層架構設置操作員(備份、查看結果)、管理員(所有操作、監(jiān)控)、主任(監(jiān)控、管理)分散型用戶的統(tǒng)一管理統(tǒng)一制訂策略、統(tǒng)一監(jiān)控各地人員只能管理所屬的數(shù)據(jù)及設備系統(tǒng)健康檢查提高備份的可靠性,防患于未然,檢查的頻率盡可能高檢查主機狀態(tài)、網(wǎng)絡狀態(tài)、軟件狀態(tài)、檢查介質(zhì)狀態(tài)定期恢復演練定期進行異機恢復測試檢驗恢復環(huán)境、備份數(shù)據(jù)、恢復流程備份數(shù)據(jù)離場保護備份數(shù)據(jù)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論