數(shù)據(jù)保護技術(shù)

數(shù)據(jù)保護技術(shù)2一、數(shù)據(jù)保護技術(shù)從底層來分，數(shù)據(jù)保護可以分為文件級保護塊級保護數(shù)據(jù)保護3一、數(shù)據(jù)保護技術(shù)文件級備份文件級備份：將磁盤上所有文件通過調(diào)用文件系統(tǒng)接口備份到另一個介質(zhì)上。也就是把數(shù)據(jù)以文件形式讀出，然后存儲在另一個介質(zhì)上面。此時備份軟件只能感知到文件這一層。我們知道一般來說，文件在原來的介質(zhì)上，可以是不連續(xù)存放的，通過文件系統(tǒng)來管理和訪問。當備份到新的介質(zhì)上以后，文件完全可以連續(xù)存放。正因為如此，沒有必要備份元數(shù)據(jù)，因為利用新介質(zhì)進行恢復(fù)的時候，反正會重構(gòu)文件系統(tǒng)。4一、數(shù)據(jù)保護技術(shù)塊級備份塊級備份就是不管塊上是否有數(shù)據(jù)，不考慮文件系統(tǒng)的邏輯，備份塊設(shè)備上的每個塊。這樣好處是不通過調(diào)用文件系統(tǒng)接口，速度更快，缺點的是備份的時候會把所有的塊復(fù)制一遍，但是實際上很多扇區(qū)的數(shù)據(jù)是不對應(yīng)真實文件的，也就是會備份很多僵尸扇區(qū)。而且備份之后，原來不連續(xù)的文件一樣是不連續(xù)的文件，有很多的碎片。5二、高級數(shù)據(jù)保護遠程文件復(fù)制遠程文件復(fù)制：通過網(wǎng)絡(luò)傳輸?shù)疆惖厝轂?zāi)點。典型的代表是rsync異步遠程文件同步軟件。可以監(jiān)視文件系統(tǒng)的動作，將文件的變化，同步到異地站點。增量復(fù)制。6二、高級數(shù)據(jù)保護遠程卷鏡像這是基于塊的遠程備份。與遠程文件復(fù)制不同的地方在于，是把塊數(shù)據(jù)備份到異地站點。又可以分為同步和異步復(fù)制。同步復(fù)制：必須等數(shù)據(jù)復(fù)制到異地站點以后，才通報上層IO成功消息異步復(fù)制：寫入成功即可回復(fù)成功，然后通過網(wǎng)絡(luò)傳輸?shù)疆惖?。不能保證一致性，但是上層響應(yīng)快。基于塊的備份措施，一般都是在底層設(shè)備上進行，不耗費主機資源。7二、高級數(shù)據(jù)保護RAID存取數(shù)據(jù)的基本方式遠程鏡像確實是對生產(chǎn)數(shù)據(jù)一種非常好的保護，但是需要鏡像卷一直在線，主卷有寫IO，那么鏡像卷也需要有寫IO。如果想對鏡像卷進行備份，需要將停止主卷的讀寫，然后將兩個卷的鏡像關(guān)系分離。所以當恢復(fù)主卷的IO的時候，鏡像卷不會再被讀寫。然后才可以備份鏡像卷的數(shù)據(jù)。這樣會存在一個問題，主卷上還繼續(xù)有IO，將會導(dǎo)致數(shù)據(jù)與備份的鏡像不一致。所以主卷上所有的寫IO動作，會以位圖bitmap方式記錄下來，bitmap上的每個位表示卷上的一個塊，0表示未寫入，1表示已寫入，所以當拆分鏡像以后，被寫入了數(shù)據(jù)，程序?qū)itmap文件對應(yīng)位從0變?yōu)?。備份完成以后，再做數(shù)據(jù)同步即可。可以看出上述過程比較的繁瑣，而且需要占用一塊和主卷一樣大小的鏡像卷?？煺占夹g(shù)就是為了解決這種問題，其基本思想是抓取某一時間點磁盤卷上的所有數(shù)據(jù)。8三、快照文件系統(tǒng)管理的精髓：鏈表、B樹、位圖，也就是元數(shù)據(jù)文件系統(tǒng)將扇區(qū)組合成更大的邏輯塊來降低管理規(guī)模。NTFS最大塊可以到4KB，也就是8個扇區(qū)一組一個簇（Block），這樣可以減少管理成本。文件系統(tǒng)會創(chuàng)建所管理存儲空間上所有簇的位圖文件。每個位代表卷上的簇（或者物理扇區(qū)）是否被使用，如果被使用，則置1。文件系統(tǒng)保存一份文件和其對應(yīng)簇號的映射鏈。因為映射鏈本身和簇位圖也是文件，也有自己的映射鏈，所以針對重要的元數(shù)據(jù)，有一個固定的入口：rootinode基于文件系統(tǒng)的快照9三、快照寫入新數(shù)據(jù)查找簇位圖，找位值為0的簇號，計算所需空間，分配簇號給文件將數(shù)據(jù)寫入簇，再去文件——簇號映射圖更新將對應(yīng)的簇映射關(guān)系記錄下來，到簇位圖將對應(yīng)位置改為1.刪除數(shù)據(jù)直接在簇號映射鏈中抹掉，簇位圖對應(yīng)簇改為0可以看出刪除數(shù)據(jù)實際上不會抹掉實際的數(shù)據(jù)?；谖募到y(tǒng)的快照10三、快照基于物理卷的快照基于物理卷的快照比文件系統(tǒng)快照要簡單得多。因為LUN一般在底層磁盤上是恒定的，不像文件系統(tǒng)一樣可以隨機細粒度的分布。所以可以認為LUN的元數(shù)據(jù)就是在底層磁盤的起始和結(jié)束地址這樣在快照的時候，需要復(fù)制的元數(shù)據(jù)就更少了，但是完成了以后，需要按照一定粒度來做CoFW或者RoFW，還需要記錄更多數(shù)據(jù)映射指針，就比較難受了。對于實現(xiàn)了塊級虛擬化的系統(tǒng)如NetApp,XIV,3PAR等，它們的LUN在底層位置是不固定的，LUN就相當于一個文件，存在元數(shù)據(jù)鏈來進