EMC-DD白皮書(shū).doc

1、EMC-DD白皮書(shū)Data Domain 技術(shù)白皮書(shū)1.1.1綜述Data Domain DD600/800 Restorer產(chǎn)品是基于硬盤的備份存儲(chǔ)器件（liance）。盡管DD600/800是建立在串行A TA硬盤技術(shù)基礎(chǔ)之上的，但并不是又一種廉價(jià)RAID磁盤陣列。具備容量?jī)?yōu)化技術(shù)（Capacity Optimized Storage）和數(shù)據(jù)防損架構(gòu)（Data Invulnerability Architecture）的DD OS 操作系統(tǒng)，在為數(shù)據(jù)提供空前的保護(hù)的同時(shí)，其每GB費(fèi)用成本已遠(yuǎn)遠(yuǎn)低于所謂的廉價(jià)磁盤，而是接近于自動(dòng)化磁帶解決方案的費(fèi)用成本，某些情況下甚至接近于磁帶機(jī)的成本。DD

2、600/800s系列產(chǎn)品是為滿足備份和恢復(fù)存儲(chǔ)設(shè)備的特殊需求而設(shè)計(jì)的。備份和恢復(fù)兼顧的高性能單個(gè)DD600控制器的吞吐量最高可達(dá)5400GB/小時(shí)，這種性能可與LTO-4磁帶機(jī)以及許多主存儲(chǔ)系統(tǒng)的性能相媲美。而且DD600/800并不像磁帶機(jī)那樣需要持續(xù)的數(shù)據(jù)流來(lái)保證備份的性能。DD600/800同時(shí)可以接受多個(gè)不同速度的數(shù)據(jù)流。此外DD600/800可以利用磁盤所具備的隨機(jī)訪問(wèn)特性的優(yōu)勢(shì)快速恢復(fù)單個(gè)文件。如果需要更高的性能，可以通過(guò)配備多個(gè)DD600/800產(chǎn)品來(lái)增加吞吐量。經(jīng)濟(jì)性DD OS操作系統(tǒng)通過(guò)只保存唯一一份備份鏡像冗余部分中的數(shù)據(jù)樣本，從而大大減少需要的存儲(chǔ)容量。這使得DD600/

3、800不但可以發(fā)現(xiàn)并消除同樣文件重復(fù)存儲(chǔ)，而且發(fā)現(xiàn)和消除在文件內(nèi)和文件間重復(fù)的數(shù)據(jù)樣本。通過(guò)其獨(dú)特的全局壓縮（Global Compression）技術(shù)，在使用一段時(shí)間后，DD OS操作系統(tǒng)提供的壓縮率可以達(dá)到20:1。所以說(shuō)DD600/800與以備份存儲(chǔ)為使用目的的廉價(jià)磁盤陣列相比，小得多、簡(jiǎn)單得多、使用和管理得更方便。數(shù)據(jù)防損DD600/800設(shè)計(jì)之初，為了保證數(shù)據(jù)的完整性和可恢復(fù)性，就充分考慮到了要防止和及時(shí)發(fā)現(xiàn)硬件或軟件的故障，并能夠在出現(xiàn)故障后自動(dòng)恢復(fù)過(guò)來(lái)。DD OS 的文件系統(tǒng)和RAID設(shè)計(jì)從根本上保證了復(fù)制、發(fā)現(xiàn)和糾正軟件和硬件故障，同時(shí)與通用的文件系統(tǒng)和磁盤存儲(chǔ)相比其保護(hù)程度更

4、為嚴(yán)格。易于在已有的備份軟件環(huán)境中使用和集成DD600/800所采用的工業(yè)標(biāo)準(zhǔn)NFS或CIFS接口，對(duì)于UNI_、Linu_或dows存儲(chǔ)管理員來(lái)說(shuō)非常熟悉。DD600/800可以很容易地接入到現(xiàn)有備份軟件環(huán)境中，并且支持諸如VERITAS、EMC/Legato和CommV ault等業(yè)界領(lǐng)先的企業(yè)級(jí)備份軟件。DD OS還激活了備份產(chǎn)品中許多常被忽視的功能，比如用戶發(fā)起的文件恢復(fù)。高性能的備份、恢復(fù)和磁帶拷貝DD600/800系列產(chǎn)品在設(shè)計(jì)之初就從三個(gè)方面考慮到性能上的需求：?滿足日益縮小的備份窗口所需的更快速備份?滿足日益縮短的可容忍停機(jī)時(shí)間所需的更快速、更簡(jiǎn)便的恢復(fù)?更快速、更簡(jiǎn)便地復(fù)制到

5、異地存儲(chǔ)1.1.2備份性能在備份和恢復(fù)應(yīng)用方面，DD600/800在性能上可以和高端的串行A TA RAID 系統(tǒng)媲美。與磁帶驅(qū)動(dòng)器不同，DD600/800不需要備份服務(wù)器為保證最佳的性能而發(fā)送持續(xù)的數(shù)據(jù)流。在使用磁帶時(shí)，為補(bǔ)償慢速的客戶端和網(wǎng)絡(luò)以及諸如增量備份等短時(shí)備份的影響，常會(huì)使用復(fù)用技術(shù)。而在使用DD600/800時(shí)，可以將多個(gè)并發(fā)的、不同速度的數(shù)據(jù)流發(fā)給一個(gè)DD600/800。如果需要增加吞吐量和容量，只要增加DD600/800的數(shù)量就可以滿足在可用的備份窗口傳輸任意量數(shù)據(jù)的需要。1.1.3恢復(fù)性能恢復(fù)性能是DD600/800產(chǎn)品最具有優(yōu)勢(shì)的地方。我們以一個(gè)典型的備份策略為例：每星期

6、六的全備份加每天的增量備份。這種策略下如果采用磁帶備份，那么如果在星期五早上做完全恢復(fù)，就需要順序讀取所有的磁帶，還要反復(fù)的加載和卸載磁帶。如果在磁帶庫(kù)中沒(méi)有所需要的磁帶，那為了找到必須的磁帶可能花費(fèi)幾個(gè)小時(shí)，甚至幾天的時(shí)間。復(fù)用技術(shù)的采用會(huì)惡化性能，因?yàn)樾枰贿呑x磁帶、一邊要跳過(guò)其他客戶端的數(shù)據(jù)。與其相反，不管所需的恢復(fù)影像數(shù)據(jù)分布得多散，DD600/800在響應(yīng)備份軟件的請(qǐng)求時(shí)可以提供持久的高性能。我們?cè)趤?lái)看另一個(gè)更常見(jiàn)的情況：在星期五早上的部分恢復(fù)即只有幾個(gè)文件需要恢復(fù)。采用磁帶備份，盡管這只是部分恢復(fù)，但仍需要多盤磁帶；當(dāng)然如果一盤磁帶找不到就會(huì)耽誤時(shí)間。就算按照平均的文件訪問(wèn)和介質(zhì)加

7、載時(shí)間計(jì)算，開(kāi)始讀取數(shù)據(jù)前所需的時(shí)間是按分鐘計(jì)的；而采用DD600/800，這種時(shí)間是按毫秒計(jì)的。DD600/800由于采用磁盤隨機(jī)訪問(wèn)的特性，其性能比磁帶高出許多。1.1.4DD600/800的在線保存技術(shù)和中轉(zhuǎn)平臺(tái)技術(shù)的比較由于DD600/800可高效地保存數(shù)月的備份數(shù)據(jù)，所以從DD600/800上實(shí)現(xiàn)的恢復(fù)就算不是全部，也是絕大部分。這與以磁盤為中轉(zhuǎn)設(shè)備的以磁帶介質(zhì)為主的恢復(fù)不同。在某些備份系統(tǒng)中，磁盤是作為磁帶的緩存使用的。在緩存的方案中，備份數(shù)據(jù)首先會(huì)被導(dǎo)向或中轉(zhuǎn)到磁盤上。在備份數(shù)據(jù)復(fù)制到磁帶上后，為了下一次的備份騰出空間，磁盤上緩存的數(shù)據(jù)就會(huì)被刪除。這種備份方式可以利用到磁盤的速度

8、優(yōu)勢(shì)以提高備份性能。不過(guò)在恢復(fù)時(shí)還是需要磁帶來(lái)完成，所以影響性能的定位、加載和一序列磁帶的順序訪問(wèn)等問(wèn)題依然存在。1.1.5DD600/800用于災(zāi)難恢復(fù)的異地復(fù)制DD600/800讓異地復(fù)制或網(wǎng)絡(luò)倉(cāng)庫(kù)（work vaulting）方案更加簡(jiǎn)單、快速、成本更低?？蛇x的Data Domain Replicator軟件利用DD OS特有的優(yōu)勢(shì)特性，將在兩個(gè)DD600/800之間通過(guò)網(wǎng)絡(luò)的異步備份數(shù)據(jù)復(fù)制構(gòu)建得更為簡(jiǎn)單和高效。通過(guò)采用Replicator，數(shù)據(jù)首先經(jīng)標(biāo)準(zhǔn)的備份軟件備份到本地的DD600/800上；隨后本地的DD600/800會(huì)作為“發(fā)起端”通過(guò)TCP/IP或廣域網(wǎng)W AN將數(shù)據(jù)復(fù)制到

9、遠(yuǎn)端的復(fù)制用DD600/800上。由于容量?jī)?yōu)化（Capacity Optimization）技術(shù)的原因，與其他基于磁盤的備份系統(tǒng)相比，其通過(guò)廣域網(wǎng)傳輸?shù)臄?shù)據(jù)量減少了95以上。如果必要的話，數(shù)據(jù)可以通過(guò)網(wǎng)絡(luò)以同樣的效率從異地的復(fù)制端恢復(fù)，或者將異地的數(shù)據(jù)直接在異地恢復(fù)。異地的復(fù)制用DD600/800也可以把數(shù)據(jù)導(dǎo)入到磁帶上以便存檔。所以說(shuō)一對(duì)Restorer的復(fù)制性能遠(yuǎn)遠(yuǎn)高于實(shí)際物理鏈接所能夠提供的性能。在ESG實(shí)驗(yàn)室所演示的性能高達(dá)450MB/s，這是因?yàn)閷?duì)于整個(gè)要傳輸?shù)溺R像來(lái)說(shuō)只會(huì)傳那些唯一的數(shù)據(jù)段。所有的備份都被定向到Site A的磁盤設(shè)備； 所有的備份數(shù)據(jù)都被異步復(fù)制到Site B； 既

10、可以在Site A也可以在Site B恢復(fù)文件； 磁帶被轉(zhuǎn)用于長(zhǎng)期歸檔應(yīng)用； 1.1.6DD600/800到磁帶的拷貝當(dāng)為了長(zhǎng)期存檔的目的而需要將數(shù)據(jù)拷貝到磁帶上時(shí)，單個(gè)DD600/800就足以提供足夠的數(shù)據(jù)流以便讓一臺(tái)高端的磁帶機(jī)發(fā)揮最佳的性能。而在做往磁帶上拷貝數(shù)據(jù)的同時(shí)，DD600/800還可以執(zhí)行備份和恢復(fù)操作。與使用磁帶相反，在做磁帶歸檔操作時(shí)，如果需要從DD600/800上恢復(fù)數(shù)據(jù)是不需要停止歸檔操作的。DD600/800將高吞吐量，可以保存許多星期備份數(shù)據(jù)的存儲(chǔ)容量，隨機(jī)訪問(wèn)特性，以及通過(guò)網(wǎng)絡(luò)的高速?gòu)?fù)制這些優(yōu)勢(shì)結(jié)合在一起，從而大大改善了整個(gè)備份和恢復(fù)過(guò)程。1.1.7為高效益恢復(fù)存

11、儲(chǔ)而設(shè)計(jì)的容量?jī)?yōu)化技術(shù)備份數(shù)據(jù)中會(huì)包含太多的冗余部分，而當(dāng)我們將某一周的全備份鏡像和其隨后的各個(gè)周的全備份鏡像相比尤其如此。盡管增量備份只是取那些變化的文件，但增量備份中通常會(huì)包含冗余的數(shù)據(jù)塊。DD OS 容量?jī)?yōu)化（Capacity Optimization）技術(shù)是通過(guò)只保存唯一一份備份鏡像冗余部分中的數(shù)據(jù)段來(lái)實(shí)現(xiàn)的。當(dāng)數(shù)據(jù)寫入到DD600/800時(shí)，數(shù)據(jù)會(huì)被分成可變長(zhǎng)度的數(shù)據(jù)段，也可以說(shuō)一序列的字節(jié)。DD OS會(huì)實(shí)時(shí)將該數(shù)據(jù)段與已經(jīng)存儲(chǔ)的各數(shù)據(jù)段做比較。這種方式保證每個(gè)唯一獨(dú)特的數(shù)據(jù)段只保留一份。所以DD OS可以在文件內(nèi)或文件間，甚至是數(shù)據(jù)塊內(nèi)發(fā)現(xiàn)重復(fù)的文件和數(shù)據(jù)段。實(shí)際所需的存儲(chǔ)空間也就

12、相對(duì)于所保存的數(shù)據(jù)量低一個(gè)數(shù)據(jù)量級(jí)。要使得容量?jī)?yōu)化有效率的關(guān)鍵是要不依賴于數(shù)據(jù)格式。DD OS的實(shí)現(xiàn)方式全局壓縮（Global Compression）是基于對(duì)數(shù)據(jù)內(nèi)容和重復(fù)模式的研究分析p 而定的。Global Compression技術(shù)可以應(yīng)用到任意類型的重復(fù)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)（比如數(shù)據(jù)庫(kù)）或者非結(jié)構(gòu)化數(shù)據(jù)（比如文本文件，存儲(chǔ)在文件系統(tǒng)或原始卷（raw volume）上的數(shù)據(jù)）。DD OS通過(guò)采用Global Compression技術(shù)，不管什么樣的數(shù)據(jù)格式，都可以實(shí)現(xiàn)高效率的備份。其實(shí)容量?jī)?yōu)化技術(shù)所依據(jù)的原理并不是新出現(xiàn)的，而是在學(xué)術(shù)圈里已經(jīng)存在數(shù)十年了（參見(jiàn)本文檔的【參考文獻(xiàn)】：p ）。D

13、ata Domain的實(shí)現(xiàn)方式和知識(shí)產(chǎn)權(quán)在優(yōu)化算法中屬于性能卓越的，這使得大量數(shù)據(jù)空間節(jié)省的優(yōu)勢(shì)對(duì)于備份和恢復(fù)過(guò)程來(lái)說(shuō)是完全透明的。1.1.8容量?jī)?yōu)化技術(shù)原理Global Compression算法會(huì)對(duì)所有要存放在DD600/800上數(shù)據(jù)做分析p ，而不管數(shù)據(jù)的格式和排列方式如何。優(yōu)化的好處隨著時(shí)間的推移會(huì)越來(lái)越明顯。對(duì)于壓縮效果最大的一個(gè)影響是備份策略。全備份相對(duì)于增量備份的重復(fù)度更高；越多的全備份越能夠加劇壓縮效率。但就算使用增量備份，Global Compression算法依然可以減少80到90的數(shù)據(jù)量。假設(shè)是每周全備結(jié)合每天的增量備份的話，經(jīng)過(guò)四個(gè)星期，預(yù)計(jì)壓縮率可以達(dá)到10：1。八個(gè)

14、星期后，預(yù)計(jì)壓縮率為14倍。在18個(gè)星期后可以達(dá)到20倍的壓縮率。而對(duì)于Oracle和E_change所推薦的每天全備份策略來(lái)說(shuō)，壓縮效果更快的顯現(xiàn)出來(lái)，一般預(yù)計(jì)會(huì)在1個(gè)星期后達(dá)到10倍的壓縮率；2個(gè)星期后就可以達(dá)到20倍的壓縮率。Global Compression技術(shù)被應(yīng)用于各種各樣類型的數(shù)據(jù)，比如Oracle和其他SQL型數(shù)據(jù)庫(kù)、SAP數(shù)據(jù)、文本文件、home目錄、工程文件（如軟件開(kāi)發(fā)和半導(dǎo)體設(shè)計(jì)）、UNI_二進(jìn)制文件、PC應(yīng)用軟件、? E_change，和 Office文檔。影響壓縮效果的另一個(gè)因素是數(shù)據(jù)本身。一份包含多份副本文件或相似文件（一個(gè)文件被拷貝很多次，各個(gè)版本間的變化很小）

15、的備份鏡像，顯然容量?jī)?yōu)化利于應(yīng)用于這種數(shù)據(jù)。某些數(shù)據(jù)并不重復(fù)，容量?jī)?yōu)化技術(shù)也不是很有利于應(yīng)用在其上，這些數(shù)據(jù)包括含有靜態(tài)二進(jìn)制圖像的地震映射數(shù)據(jù)或衛(wèi)星遙感數(shù)據(jù)等。如果數(shù)據(jù)無(wú)冗余可資利用，DD OS的算法依然比其他常用的壓縮算法或重復(fù)文件消除算法更能夠保證數(shù)據(jù)的壓縮效率。第一份全備份減少的3-4倍的數(shù)據(jù)量； 文件級(jí)增量備份的效果是6-7倍，而隨后的全備份可以達(dá)到50-60倍壓縮比； 每星期全備和每天增量備份結(jié)合的效果是20倍1.1.9全局壓縮和快照或塊級(jí)增量備份的比較全局壓縮（Global Compression）存儲(chǔ)備份數(shù)據(jù)非常高。那么與其他高效存儲(chǔ)技術(shù)（比如基于文件系統(tǒng)的快照或者所塊級(jí)增量備

16、份）相比又如何呢？文件系統(tǒng)快照一般是基于即寫即拷貝（copy-on-write）技術(shù)，快照只復(fù)制變化了的文件系統(tǒng)塊。同樣，基于塊的增量備份也是只取變化的塊（這或者作用在文件系統(tǒng)級(jí)別，或者作用在諸如數(shù)據(jù)庫(kù)的應(yīng)用級(jí)別）。這些技術(shù)通過(guò)只復(fù)制變化的數(shù)據(jù)塊，與諸如第三鏡像分離（third mirror break-off）或文件級(jí)增量備份技術(shù)相比，存儲(chǔ)的效率要更高。不過(guò)請(qǐng)注意以下容量?jī)?yōu)化（Capacity Optimization）和其他技術(shù)的主要區(qū)別：異構(gòu)性容量?jī)?yōu)化（Capacity Optimization）技術(shù)不依賴于數(shù)據(jù)格式和存儲(chǔ)，可以應(yīng)用于結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)，并且支持任意文件系統(tǒng)或原始卷（

17、raw volume）。與之相反，快照依賴于特定的文件系統(tǒng)（或者說(shuō)卷管理器V olume Manager）。只能作用于相應(yīng)系統(tǒng)中的數(shù)據(jù)。數(shù)據(jù)塊級(jí)的增量備份也是如此，它需要依賴于底層機(jī)制，通過(guò)這種機(jī)制它才能夠跟蹤文件系統(tǒng)或者諸如Oracle數(shù)據(jù)庫(kù)等應(yīng)用的數(shù)據(jù)塊變化。和備份軟件的集成效果決定存儲(chǔ)的效率其他技術(shù)需要和備份軟件集成。無(wú)論如何，備份軟件對(duì)這些技術(shù)的不同利用方式會(huì)影響存儲(chǔ)效率。絕大多數(shù)備份軟件產(chǎn)品在使用快照時(shí)，一般是利用其能夠提供穩(wěn)定的、某一時(shí)間點(diǎn)的文件系統(tǒng)視圖的功能，而不是用其獲取變化數(shù)據(jù)塊的功能。當(dāng)從快照上備份時(shí)，備份軟件會(huì)保存整個(gè)文件，從而失去部分存儲(chǔ)效率。同樣，盡管數(shù)據(jù)塊級(jí)的增量備

18、份相對(duì)于文件級(jí)增量備份的效率高很多，還是需要包含大部分未變化數(shù)據(jù)塊的全備份。與它們相反，容量?jī)?yōu)化（Capacity Optimization）技術(shù)應(yīng)用于來(lái)自備份服務(wù)器的數(shù)據(jù)，只是當(dāng)數(shù)據(jù)要存儲(chǔ)到DD600/800上時(shí)才用。不管備份是來(lái)自快照，還是來(lái)自數(shù)據(jù)塊級(jí)的變化，DD OS都會(huì)分析p 出重復(fù)數(shù)據(jù)，從而保證了更高級(jí)別的存儲(chǔ)效率?；跀?shù)據(jù)內(nèi)容和數(shù)據(jù)位置的不同存儲(chǔ)效率容量?jī)?yōu)化（Capacity Optimization）與快照或數(shù)據(jù)塊級(jí)增量備份相比，由于其對(duì)數(shù)據(jù)內(nèi)容的分析p 以及允許數(shù)據(jù)變化的粒度更細(xì)，所以更可以提高備份存儲(chǔ)數(shù)據(jù)的效率和效益。DD OS會(huì)跟蹤數(shù)據(jù)變化，或者說(shuō)是基于內(nèi)容發(fā)現(xiàn)新數(shù)據(jù)段并和

19、已存儲(chǔ)在DD600/800上的數(shù)據(jù)做比較。另一方面文件系統(tǒng)快照或基于數(shù)據(jù)塊級(jí)的增量備份是在每個(gè)文件的基礎(chǔ)上跟蹤數(shù)據(jù)的變化。讓我們來(lái)看看下面這些簡(jiǎn)單的實(shí)例：1.復(fù)制文件：比如我們把file1拷貝到file2。用于file2的內(nèi)容和file1完全一樣，備份后DD600/800只會(huì)保存file1中的唯一獨(dú)特?cái)?shù)據(jù)段，而不會(huì)保存任何file2中的數(shù)據(jù)段。但從快照或數(shù)據(jù)塊級(jí)增量備份的角度看，file2是一個(gè)新文件，也就是說(shuō)其所有數(shù)據(jù)塊都是新的，所以需要保存file1和file2中所有的數(shù)據(jù)塊。2.多個(gè)文件中同樣的變化：比如file1和file2都被追加了相同的數(shù)據(jù)。全局壓縮（Global Compress

20、ion）首先檢查這些新數(shù)據(jù)，如果新的數(shù)據(jù)是唯一獨(dú)特的，盡管兩個(gè)文件都被修改了，那么也只保存一份。與全局壓縮（Global Compression）不同，快照或數(shù)據(jù)塊級(jí)增量備份跟蹤和存儲(chǔ)每個(gè)文件的變化。3.一個(gè)文件內(nèi)的多個(gè)同樣的修改：假設(shè)file2被用同樣的數(shù)據(jù)修改了多處。由于容量?jī)?yōu)化（Capacity Optimization）可以發(fā)現(xiàn)到file2文件內(nèi)重復(fù)的數(shù)據(jù)樣本，所以只會(huì)保存一份變化中唯一獨(dú)特的部分。與前例相似，快照或數(shù)據(jù)塊級(jí)增量備份會(huì)分別存儲(chǔ)每一個(gè)變化部分。4.文件內(nèi)數(shù)據(jù)位置變化：一個(gè)文件經(jīng)過(guò)多次的插入和刪除操作，數(shù)據(jù)不會(huì)再在原有的位置上。由于容量?jī)?yōu)化（Capacity Optimiz

21、ation）技術(shù)是基于內(nèi)容而不是位置的，所以可以發(fā)現(xiàn)實(shí)際沒(méi)有變化的數(shù)據(jù)。而快照或數(shù)據(jù)塊級(jí)增量備份會(huì)把每個(gè)插入或刪除后的數(shù)據(jù)當(dāng)作新數(shù)據(jù)處理，也就是要存儲(chǔ)實(shí)際上并沒(méi)有變化的數(shù)據(jù)。存儲(chǔ)恢復(fù)拷貝時(shí)，容量?jī)?yōu)化（Capacity Optimization）技術(shù)比快照或數(shù)據(jù)塊級(jí)增量備份需要存儲(chǔ)空間更小。由于DD600/800支持各種標(biāo)準(zhǔn)的備份軟件，快照或數(shù)據(jù)塊級(jí)增量備份可以把數(shù)據(jù)發(fā)給DD600/800，從而利用其全局壓縮（Global Compression）技術(shù)而獲得更高的效率。1.1.10可驗(yàn)證的可恢復(fù)性和數(shù)據(jù)自愈技術(shù)DD OS的文件系統(tǒng)就算和企業(yè)級(jí)主存儲(chǔ)系統(tǒng)相比，明顯更為堅(jiān)固，因?yàn)樗峁┩暾则?yàn)證和可

22、自愈的存儲(chǔ)容量。不管怎樣，備份主存儲(chǔ)系統(tǒng)的一個(gè)主要原因就是：這些系統(tǒng)都有漏洞或缺陷。所以備份存儲(chǔ)系統(tǒng)應(yīng)當(dāng)比主存儲(chǔ)系統(tǒng)受到更高級(jí)別的保護(hù)。在主存儲(chǔ)系統(tǒng)中，邏輯一致性檢查總會(huì)伴隨著風(fēng)險(xiǎn)。如果軟件缺陷導(dǎo)致寫入錯(cuò)誤的數(shù)據(jù)，那么可能會(huì)破壞數(shù)據(jù)塊指針、位圖或者鏈接計(jì)數(shù)。一般最好的防范此類問(wèn)題的辦法是在卸載文件系統(tǒng)后運(yùn)行文件系統(tǒng)檢查程序（比如fsck）。如果文件系統(tǒng)中保存的是備份數(shù)據(jù)，直到恢復(fù)時(shí)需要訪問(wèn)數(shù)據(jù)前，錯(cuò)誤是很難被發(fā)現(xiàn)的，而到時(shí)候已經(jīng)可能沒(méi)有足夠的時(shí)間來(lái)糾錯(cuò)了。在高端企業(yè)級(jí)RAID系統(tǒng)中，如果有足夠的時(shí)間，磁盤故障是不會(huì)破壞數(shù)據(jù)塊的。當(dāng)讀數(shù)據(jù)時(shí)會(huì)把它和校驗(yàn)和做比較，如果發(fā)現(xiàn)數(shù)據(jù)塊有錯(cuò)誤可以通過(guò)擦操作

23、（scrubbing）來(lái)糾正。在備份存儲(chǔ)上這可能需要在幾個(gè)星期后才能完成。如果同時(shí)發(fā)生磁盤失效的故障，數(shù)據(jù)就可能丟失。很多RAID系統(tǒng)并不做軟錯(cuò)誤（soft-error）檢查。而當(dāng)做糾正時(shí)，只是針對(duì)數(shù)據(jù)段，而不是針對(duì)文件系統(tǒng)的缺陷。最后，這種校驗(yàn)和的機(jī)制有失效的可能；如果錯(cuò)誤所造成的校驗(yàn)和與正確的相同，那么錯(cuò)誤就會(huì)被忽略；校驗(yàn)和是某種程度上的哈希算法，這也就是所謂的“哈希沖突”（hash collision）。要知道驗(yàn)證的強(qiáng)度取決于系統(tǒng)中最弱的校驗(yàn)和。備份數(shù)據(jù)是備份工作中最有價(jià)值的部分。備份數(shù)據(jù)也不會(huì)經(jīng)常性地被訪問(wèn)，而一旦需要訪問(wèn)備份數(shù)據(jù)時(shí)，往往意味著在什么地方發(fā)生了人為或系統(tǒng)的故障需要做數(shù)據(jù)

24、恢復(fù)。要檢查文件系統(tǒng)在恢復(fù)操作時(shí)的一致性，需要等到下一次系統(tǒng)重啟或者讓系統(tǒng)下線，這都會(huì)增加不必要的風(fēng)險(xiǎn)。依靠每星期的數(shù)據(jù)完整性檢查的擦操作，意味著當(dāng)發(fā)現(xiàn)問(wèn)題時(shí)，你也已經(jīng)解決不了。DD OS 包括：文件系統(tǒng)一致性驗(yàn)證和初始時(shí)、使用中和在線時(shí)的自愈。文件系統(tǒng)軟件故障保護(hù)。數(shù)據(jù)完整性驗(yàn)證和初始時(shí)、使用中和在線時(shí)的自愈?？煽康臄?shù)據(jù)保護(hù)基礎(chǔ)，比如：?防止磁盤錯(cuò)誤和電力失效?集成到現(xiàn)有的程序中，用磁帶做支持異地保存的補(bǔ)充不過(guò)盡管具有上述特性，DD600/800依然可能會(huì)收到不正確的數(shù)據(jù)（來(lái)自主存儲(chǔ)系統(tǒng)或者存儲(chǔ)網(wǎng)絡(luò)fabric的故障），使得恢復(fù)的數(shù)據(jù)不正確。所以定期的恢復(fù)測(cè)試依然是必要的，這樣可以從備份軟件

25、和最終用戶應(yīng)用的角度測(cè)試數(shù)據(jù)。1.1.11文件系統(tǒng)一致性驗(yàn)證和自愈主存儲(chǔ)系統(tǒng)中和快速完整性驗(yàn)證的相關(guān)的最弱一環(huán)就是文件系統(tǒng)。盡管傳統(tǒng)企業(yè)級(jí)文件系統(tǒng)的品質(zhì)很高，依然是軟件，也就必然存在錯(cuò)誤。軟件錯(cuò)誤會(huì)破壞指針、位圖、或鏈接計(jì)數(shù)。而這種問(wèn)題在如下事情發(fā)生前是不會(huì)出現(xiàn)：錯(cuò)誤導(dǎo)致系統(tǒng)停機(jī)離線文件系統(tǒng)檢查發(fā)現(xiàn)問(wèn)題在DD OS中，備份一旦完成，幾小時(shí)內(nèi)新文件系統(tǒng)元數(shù)據(jù)的一致性和數(shù)據(jù)完整性就會(huì)被驗(yàn)證。隨后所有數(shù)據(jù)都會(huì)在后臺(tái)不斷地被驗(yàn)證。1.1.12DD OS 端到端（end-to-end）驗(yàn)證過(guò)程1.生成新數(shù)據(jù)的強(qiáng)校驗(yàn)和2.寫入磁盤3.通過(guò)文件系統(tǒng)由磁盤讀回4.與校驗(yàn)和比較初始端到端（end-to-end）

26、驗(yàn)證。一旦收到數(shù)據(jù)，DD OS就會(huì)計(jì)算出強(qiáng)校驗(yàn)和，然后數(shù)據(jù)會(huì)被保存在由電池后備的DD600/800的NAM中，隨后再存儲(chǔ)到磁盤上。幾小時(shí)后，DD OS會(huì)重新生成校驗(yàn)和并通過(guò)文件系統(tǒng)將磁盤上的數(shù)據(jù)讀回來(lái)，以檢驗(yàn)所保存的數(shù)據(jù)就是原來(lái)要保存的，并驗(yàn)證數(shù)據(jù)的完整性和邏輯一致性。DD OS會(huì)及時(shí)將備份錯(cuò)誤通知給管理員，以便修正。傳統(tǒng)文件系統(tǒng)完全不會(huì)在線檢查數(shù)據(jù)的一致性。持續(xù)的檢查和報(bào)告。元數(shù)據(jù)記錄在DD OS文件系統(tǒng)中，同時(shí)也存在數(shù)據(jù)內(nèi)容本身，此外DD OS 文件系統(tǒng)也是自描述釋的。元數(shù)據(jù)中包括關(guān)于數(shù)據(jù)應(yīng)當(dāng)存儲(chǔ)在哪里的參考信息，這還和系統(tǒng)中其他數(shù)據(jù)的地址相關(guān)。利用這些窗口信息就可以實(shí)現(xiàn)活動(dòng)的、持續(xù)的文件

27、一致性檢查。絕大多數(shù)故障可以自愈。所有的都可以迅速產(chǎn)生報(bào)告。時(shí)間最近的文件系統(tǒng)快照拷貝會(huì)被隔離地保存在系統(tǒng)內(nèi)部；在多數(shù)情況下，快照拷貝中正確的元數(shù)據(jù)會(huì)被用來(lái)糾正當(dāng)前系統(tǒng)中元數(shù)據(jù)的錯(cuò)誤。比如用于將唯一的數(shù)據(jù)段映射為虛擬文件的索引中就包括磁盤上數(shù)據(jù)的元數(shù)據(jù)，這樣就可以通過(guò)磁盤上的信息完全自我恢復(fù)索引數(shù)據(jù)。如果出現(xiàn)級(jí)別更嚴(yán)重的數(shù)據(jù)一致性問(wèn)題，不得不卸載文件系統(tǒng)來(lái)修復(fù)，由于DD OS在之前所做的在線驗(yàn)證，DD OS可以及時(shí)提供通知，以便你有足夠的時(shí)間來(lái)修復(fù)故障。1.1.13防護(hù)軟件錯(cuò)誤的文件系統(tǒng)DD OS的文件系統(tǒng)和絕大多數(shù)的企業(yè)文件系統(tǒng)相比更為簡(jiǎn)單，這就將潛在的錯(cuò)誤降至最低。絕大多數(shù)文件系統(tǒng)是為隨機(jī)

28、數(shù)據(jù)塊修改和低時(shí)延而優(yōu)化的。為滿足這些要求的數(shù)據(jù)結(jié)構(gòu)復(fù)制度較高，并易受不一致性的影響。要非常好地管理這種數(shù)據(jù)結(jié)構(gòu)（數(shù)據(jù)塊地址指針、位圖和link count鏈接計(jì)數(shù)）非常困難，尤其是其中交叉有系統(tǒng)錯(cuò)誤。由于軟件的復(fù)雜性，要找到軟件的Bug很難。DD OS是為另一種設(shè)計(jì)目的而建立的。一般備份文件都會(huì)較大，并會(huì)以整個(gè)文件的形式輸入進(jìn)來(lái)，而且一般不會(huì)被備份軟件修改。一般要寫、讀或刪除備份文件，并且系統(tǒng)每天都會(huì)有空閑時(shí)間。DD OS就是為備份的需求而開(kāi)發(fā)出來(lái)的。所以DD OS作為一種存儲(chǔ)層，可以做到比常用存儲(chǔ)系統(tǒng)來(lái)得更簡(jiǎn)單和更易于容錯(cuò)。DD OS以順序日志結(jié)構(gòu)寫入數(shù)據(jù)。一旦一個(gè)數(shù)據(jù)塊被寫入，就不能再被

29、修改和覆蓋；只有清除命令才可以改數(shù)據(jù)（在備份軟件刪除數(shù)據(jù)塊后，安全地將正在使用中的數(shù)據(jù)塊移到日志的末尾，隨后只釋放不再被文件使用的數(shù)據(jù)塊）。這意味著DD OS不會(huì)出現(xiàn)混淆從而覆蓋有效數(shù)據(jù)的問(wèn)題；有效的數(shù)據(jù)一旦寫入到磁盤就處于安全保護(hù)中。通過(guò)減少數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性，DD OS可以提供更嚴(yán)格的、在線的系統(tǒng)和數(shù)據(jù)完整性驗(yàn)證，并降低了錯(cuò)誤的整體風(fēng)險(xiǎn)。如果傳統(tǒng)文件系統(tǒng)中的指針說(shuō)是指向的數(shù)據(jù)塊是82，在請(qǐng)求數(shù)據(jù)時(shí)就會(huì)訪問(wèn)82數(shù)據(jù)塊；假設(shè)指針指錯(cuò)了，它說(shuō)是指向84數(shù)據(jù)塊了；傳統(tǒng)的文件系統(tǒng)是沒(méi)有辦法發(fā)現(xiàn)整個(gè)錯(cuò)誤的，而DD OS訪問(wèn)數(shù)據(jù)的方式更簡(jiǎn)單，并可以在讀過(guò)程中重新驗(yàn)證數(shù)據(jù)，所以可以避免上述問(wèn)題。1.1.14

30、數(shù)據(jù)完整性驗(yàn)證和自愈RAID系統(tǒng)有兩種數(shù)據(jù)完整性檢查和糾正方法：1）高端企業(yè)級(jí)RAID陣列在數(shù)據(jù)塊段級(jí)使用校驗(yàn)和，而在讀數(shù)據(jù)時(shí)再糾錯(cuò)。很少有高端的磁盤陣列一寫入數(shù)據(jù)就在其后很短的時(shí)間內(nèi)再擦它，也很少用校驗(yàn)鏡像或復(fù)制鏡像修改數(shù)據(jù)。這種策略使得數(shù)據(jù)驗(yàn)證會(huì)被拖到幾天甚至幾個(gè)星期之后。如果數(shù)據(jù)只有在讀的時(shí)候才驗(yàn)證，那么只能在恢復(fù)時(shí)才發(fā)現(xiàn)問(wèn)題；如果磁盤故障發(fā)生在RAID檢驗(yàn)檢查之前，數(shù)據(jù)永遠(yuǎn)也不能被恢復(fù)了。2）低端RAID系統(tǒng)完全不使用校驗(yàn)和或者擦技術(shù)，所以磁盤段的錯(cuò)誤會(huì)在隱藏的、不可修復(fù)的錯(cuò)誤區(qū)域潛伏著。A TA RAID系統(tǒng)相對(duì)于光纖通道fibre channel RAID更容易產(chǎn)生錯(cuò)誤，這是因?yàn)锳

31、 TA RAID系統(tǒng)不能夠保證I/O命令在緩存中排隊(duì)。比如斷電時(shí)，如果要寫到磁盤上的數(shù)據(jù)還沒(méi)有從緩存中寫入到磁介質(zhì)上數(shù)據(jù)就會(huì)丟失，而RAID系統(tǒng)可能還以為數(shù)據(jù)已經(jīng)寫完了呢。A TA RAID廠商需要增加驗(yàn)證措施以保證數(shù)據(jù)的完整性。DD OS為了保證數(shù)據(jù)完整性提供了完全的、及時(shí)的方法。如前所述，DD OS 在備份完成后幾小時(shí)內(nèi)做完整性檢查，這既包括數(shù)據(jù)完整性和文件系統(tǒng)一致性檢查。如果在磁盤層發(fā)現(xiàn)錯(cuò)誤，DD OS可以使用DD RAID校驗(yàn)數(shù)據(jù)糾正軟件錯(cuò)誤，并可以對(duì)壞的數(shù)據(jù)塊做重定位。在初始的恢復(fù)數(shù)據(jù)驗(yàn)證之后，DD OS還在后臺(tái)使用非常強(qiáng)的校驗(yàn)和做持續(xù)性的數(shù)據(jù)驗(yàn)證。那么強(qiáng)度是多大呢？比如每寫入1PB

32、的數(shù)據(jù)（這是磁盤本身數(shù)據(jù)量的上千倍），DD600/800的每個(gè)具備ECC校驗(yàn)功能的磁盤驅(qū)動(dòng)器才有出現(xiàn)一次錯(cuò)誤的可能；DD OS校驗(yàn)和的驗(yàn)證方法的強(qiáng)度達(dá)到了10-20。通過(guò)嚴(yán)格的檢查，數(shù)據(jù)在進(jìn)入DD600/800后出現(xiàn)錯(cuò)誤的幾率遠(yuǎn)遠(yuǎn)低于進(jìn)入前。不過(guò)Data Domain還是希望用戶從備份和應(yīng)用軟件的角度定期檢查備份鏡像。作為基于磁盤存儲(chǔ)系統(tǒng)的DD600/800，比自動(dòng)化磁帶技術(shù)更能支持?jǐn)?shù)據(jù)檢查功能。1.1.15可靠的數(shù)據(jù)保護(hù)基礎(chǔ)DD600/800也具備傳統(tǒng)數(shù)據(jù)保護(hù)的所有技術(shù)，包括：雙校驗(yàn)碼DD RAID技術(shù)兩個(gè)DD RAID校驗(yàn)條帶中的每一個(gè)都具有數(shù)據(jù)塊校驗(yàn)和，以確保數(shù)據(jù)的正確性。在線驗(yàn)證期間和

33、從DD600/800讀取數(shù)據(jù)時(shí)一直會(huì)使用校驗(yàn)和。采用雙校驗(yàn)方式，系統(tǒng)最多可以允許兩塊磁盤同時(shí)出現(xiàn)故障，而依然可以恢復(fù)過(guò)來(lái)。RAID操作由DD OS完成，而不是由硬件來(lái)做。如果發(fā)現(xiàn)壞數(shù)據(jù)塊，系統(tǒng)會(huì)使用校驗(yàn)條帶恢復(fù)數(shù)據(jù)塊。這也是有時(shí)所謂的RAID6。顯然這比鏡像或帶熱備的RAID5安全得多，因?yàn)殓R像或帶熱備的RAID5在數(shù)據(jù)重建時(shí)第二塊磁盤若出現(xiàn)故障就會(huì)是災(zāi)難性的。存儲(chǔ)緩存用NAM一旦數(shù)據(jù)被DD OS保存在DD600/800上的、由電池保護(hù)的NAM后，就會(huì)回應(yīng)一個(gè)NFS V3的確認(rèn)信息。當(dāng)出現(xiàn)斷電故障時(shí)，要恢復(fù)還沒(méi)有寫入磁盤的寫操作，只需要簡(jiǎn)單地回滾請(qǐng)求并檢查之，這就克服了A T A緩存無(wú)斷電保護(hù)

34、的弱點(diǎn)。在所有數(shù)據(jù)寫完之前，不會(huì)寫入任何元數(shù)據(jù)信息，這就保證在NAM出現(xiàn)故障時(shí)不會(huì)導(dǎo)致出現(xiàn)數(shù)據(jù)的不一致性或混亂。在NAM出現(xiàn)故障時(shí)，最多只會(huì)丟失最近的寫數(shù)據(jù)，而系統(tǒng)依然保持著一致性。為了減少必須的NAM的容量，在其中只保存壓縮后的數(shù)據(jù)。作為磁帶支持補(bǔ)充的數(shù)據(jù)完整性備份軟件熟悉磁帶驅(qū)動(dòng)器的故障，并非常清楚如何通知管理員以及如何重新開(kāi)始備份工作?；謴?fù)管理員也很熟悉此類情況。DD600/800比磁帶方式更可靠多數(shù)情況下，DD600/800在碰見(jiàn)故障后，會(huì)修復(fù)故障，并不間斷地繼續(xù)備份。極少的情況下問(wèn)題會(huì)很嚴(yán)重，不次于磁帶驅(qū)動(dòng)器出現(xiàn)故障給備份所造成的影響一樣。直到出現(xiàn)故障時(shí)間點(diǎn)前所接收到的所有的完整數(shù)據(jù)

35、都被保存起來(lái)，只是需要重新啟動(dòng)備份操作。與作為備份存儲(chǔ)的主存儲(chǔ)系統(tǒng)不同，DD600/800不會(huì)對(duì)數(shù)據(jù)丟失不做任何響應(yīng)完全的數(shù)據(jù)完整性和自覺(jué)的一致性使得DD600/800可以給管理員提供全面的報(bào)告。多數(shù)情況下，依據(jù)服務(wù)級(jí)別要求，備份軟件會(huì)為異地存儲(chǔ)復(fù)制多個(gè)磁帶拷貝。多份拷貝可以提供最終的數(shù)據(jù)保護(hù)，而DD600/800支持所有領(lǐng)先備份軟件的磁帶克隆技術(shù)。異地?cái)?shù)據(jù)存儲(chǔ)和災(zāi)難恢復(fù)DD600/800企業(yè)級(jí)系列恢復(fù)器（restorer）支持兩種形式的異地?cái)?shù)據(jù)保護(hù)：一種是由標(biāo)準(zhǔn)備份軟件驅(qū)動(dòng)的全自動(dòng)的容量?jī)?yōu)化復(fù)制機(jī)制，其目的是降低網(wǎng)絡(luò)帶寬成本；另一種是傳統(tǒng)的磁帶倉(cāng)庫(kù)機(jī)制。對(duì)于很多公司來(lái)說(shuō)，以磁帶備份作為異地存

36、儲(chǔ)是實(shí)際上的災(zāi)難恢復(fù)策略。不過(guò)隨著存儲(chǔ)數(shù)據(jù)天文數(shù)字的增長(zhǎng)，在加上全球化的、全天候的業(yè)務(wù)趨勢(shì)，磁帶方案已經(jīng)不切實(shí)際了。另外磁帶技術(shù)容易出現(xiàn)錯(cuò)誤。在恢復(fù)的過(guò)程中，發(fā)現(xiàn)關(guān)鍵的磁帶是不可讀的往往會(huì)導(dǎo)致原來(lái)成功的業(yè)務(wù)的失敗。對(duì)于有異地機(jī)構(gòu)的公司，使用磁帶的困難還要加上缺少專業(yè)的技術(shù)人員了正確的管理復(fù)雜的磁帶備份系統(tǒng)。由于磁帶結(jié)構(gòu)、軟件和其最佳實(shí)踐都已經(jīng)成熟，而且改變它的成本很高，IT 部門不得不在如下幾種方式做出選擇：把磁帶運(yùn)送到異地把磁帶保存在本地，用于本地恢復(fù)做兩份拷貝（好像一份還不夠麻煩）很多IT部門現(xiàn)在視網(wǎng)絡(luò)磁帶倉(cāng)庫(kù)或在線復(fù)制為異地磁帶存儲(chǔ)的替代災(zāi)難恢復(fù)方案。采用復(fù)制解決方案，數(shù)據(jù)會(huì)經(jīng)由局域網(wǎng)或

37、廣域網(wǎng)從本地的主磁盤存儲(chǔ)被拷貝到遠(yuǎn)程的磁盤存儲(chǔ)上。為加強(qiáng)保護(hù)，可以提高數(shù)據(jù)同步的頻率；而且還可以將遠(yuǎn)程的站點(diǎn)配置成完全的災(zāi)難恢復(fù)站點(diǎn)，一旦主站出現(xiàn)需要停機(jī)一段時(shí)間的時(shí)候，可以在遠(yuǎn)程站點(diǎn)啟動(dòng)業(yè)務(wù)操作。盡管通過(guò)廣域網(wǎng)的磁盤到磁盤的復(fù)制提供了高級(jí)別的災(zāi)難恢復(fù)功能，但傳統(tǒng)上各種因素使得這種方案的成本很高，除了最關(guān)鍵的高價(jià)值應(yīng)用，其他應(yīng)用很難承擔(dān)其成本。最重要的是廣域網(wǎng)的成本過(guò)高。而且并沒(méi)有按照原先預(yù)想的那樣有所下降。在必須的成本之外，可用的軟件解決方案也很昂貴，而且難于實(shí)施和管理。這些因素使得很多公司看不到在線災(zāi)難恢復(fù)技術(shù)的好處。1.1.16兼容性-簡(jiǎn)單地集成到現(xiàn)有備份環(huán)境中DD600/800對(duì)于系統(tǒng)

38、或存儲(chǔ)管理員來(lái)說(shuō)，就是一個(gè)在千兆以太網(wǎng)上支持NFS 和CIFS協(xié)議的NAS硬件設(shè)備。但相對(duì)于NAS的“文件服務(wù)器”功能，DD600/800更注重于自己的“恢復(fù)者”角色。使用同樣的存儲(chǔ)容量，采用全局壓縮（Global Compression）技術(shù)的DD600/800存儲(chǔ)的數(shù)據(jù)量是平臺(tái)NAS的20倍以上。業(yè)界領(lǐng)先的備份軟件（比如Bakbone V ault，CommV ault Gala_y，Legato Worker和VERITAS Backup）都已經(jīng)支持，把一個(gè)目錄指定為管理設(shè)備的方式，做數(shù)據(jù)到磁盤的備份。備份軟件中的設(shè)定非常簡(jiǎn)單，比如在Worker中只需要把DD600/800指定為一個(gè)Filesystem或Advanced Filesystem；或在V ault中將其指定為Disk Storage Unit。然后修改或新增備份策略，將磁帶系統(tǒng)替換為DD600/800。之后備份數(shù)據(jù)就會(huì)流向DD600/800。Worker和V ault還可以管理DD600/800的恢復(fù)鏡像，刪除那些已經(jīng)過(guò)期的。一旦備份數(shù)據(jù)安全地存儲(chǔ)到DD600/800上，可以很容易地使用克隆、復(fù)制或出庫(kù)功能將數(shù)據(jù)從DD600/800拷貝到