NetApp技術簡介

1、第 1章 NetApp 技術簡介1.1 NetApp RAID 技術介紹NetApp 可以提供 WAFL Optimized intelligent RAID 4( 增強型 RAID 4) 、 雙校驗盤 RAID DP 、SyncMirror 和組合型 RAID 等多種技術手段，不僅滿足傳 統(tǒng) RAID 的四種需求目標 安全、經(jīng)濟、效率、擴充，另外對資料安全還提供更 多層不影響資料服務的線上防護機制：硬盤區(qū)塊驗證系統(tǒng) (Block-level checksum) ，當有一顆硬盤故障時， RAID 系統(tǒng)可保護資料不會流失，但是硬盤無故障時，如果某個硬盤的 區(qū)塊 (Block) 資料有錯誤時， R

2、AID 將無法偵測與更正，此時讀取的的 資料將會錯誤。 WAFL 內(nèi)建硬盤區(qū)塊驗證系統(tǒng) (Block-level checksum) 功能，在RAID所寫入資料的Block都會加寫checksum在每顆硬盤上， 每次讀取資料時都會同時檢查 checksum 值。若檢查不符時， 就會利用 RAID 的 Parity 將該 Block 進行修復與更正，如此所讀出的資料就可得 到正確性的保障了。(專利申請中)硬盤扇區(qū)檢查系統(tǒng) (Disk scrubbing) ，每周 WAFL 會自動自我掃描檢查 每顆有資料的硬盤所有區(qū)塊， 檢查的周期與時間長度亦可自行調(diào)整， 于 所定的時間內(nèi)未完成時， 也會在下次檢

3、查時繼續(xù)未完成的部分。 如此可 以提早剔除將會故障的扇區(qū)， 提供更安全、 穩(wěn)定的硬盤環(huán)境， 更進一步 降低風險。文件系統(tǒng)線上檢查系統(tǒng) (Online File System Check) ，一般的文件系統(tǒng) 檢查都必須在離線狀態(tài)下才能進行(例如 fsck 和 scandisk )，不僅需 要漫長的等待時間， 更造成服務的中斷， 文件系統(tǒng)容量越大時， 服務停 頓的時間就越長。 為避免任何可能造成文件系統(tǒng)錯誤的因素， 同時避免 因著檢查而讓服務中斷， WAFL 具有獨步全球的線上進行文件系統(tǒng)檢查 的能力，進行檢查時仍可正常提供資料服務， 達到同時兼顧安全、 不帶 來服務停頓的效果。NetApp Fi

4、ler的RAID組大小可靈活配置。NetApp的RAID 4支持2-14 個任意個硬盤， RAID DP 支持 3-28 任意個硬盤的配置，這些硬盤不是 限制在一個或幾個磁盤柜內(nèi)，可以跨磁盤柜配置 RAID 。 NetApp Filer 的熱備盤為全局模式。熱備盤可以在任意位置，并且每個 熱備盤都可服務于所有的 RAID 組。當檢測到硬盤故障后， 系統(tǒng)會自動 從熱備盤中選擇一個最合適的盤來接管故障硬盤；當更換了故障硬盤 后，該新硬盤立即成為新的熱備盤， 而不會去接管剛才頂替上去的熱備 盤，以減小數(shù)據(jù)重建對性能的影響。1.2 NetApp 獨有 RAID DP 技術傳統(tǒng)的單一奇偶校驗 RAID

5、技術，能為單個故障磁盤驅(qū)動器提供保護。需 要警告的是， 在重建故障磁盤時必須確保不能發(fā)生其他磁盤故障， 而且不能在讀 操作過程中出現(xiàn)不可修復的誤碼。 如果在重建過程中出現(xiàn)上面任何一種事件， 那 么保留在 RAID 陣列或卷中的部分或所有數(shù)據(jù)就可能會丟失。 隨著現(xiàn)代更大的磁 盤存儲介質(zhì)的出現(xiàn)， 由于磁盤容量顯著增加， 而誤碼率仍是原來的水平， 這就使 得出現(xiàn)不可修復的誤碼的可能性相當高。 因此，傳統(tǒng)的單一奇偶校驗 RAID 保護 數(shù)據(jù)的方法已經(jīng)超出了其保護極限。更高一級的 RAID 數(shù)據(jù)保護已經(jīng)發(fā)展到 RAID 雙奇偶校驗，也稱作 RAID DP ，它可以應用于整個網(wǎng)絡應用數(shù)據(jù)存儲產(chǎn)品 線。從D

6、ATAONTAP? 6.5版開始，NetApp推出了雙奇偶校驗RAID，叫做RAID D P 。本文給出 RAID DP 的概覽和 RAID DP 如何在各種磁盤故障情況下動態(tài)提 高數(shù)據(jù)的容錯性。其他所涉及的關鍵領域包括 RAID DP 的費用是（它是免費的）、 特殊硬件要求（無）,以及如何將現(xiàn)存的RAID4卷升級到RAID DP （非常容易）。 這里將借助對雙磁盤故障的恢復情形來說明 RAID DP 如何做到允許卷既能不間 斷地提供數(shù)據(jù)，又能同時對兩塊故障磁盤上損失的數(shù)據(jù)進行重建。在最基本的層面上， RAID DP 為卷中的每個 RAID 組增加了第二個奇偶校 驗磁盤。 RAID 組是建立卷

7、的基本結(jié)構。每一個傳統(tǒng)的 NetApp RAID4 組都有 一些數(shù)據(jù)磁盤和一個奇偶校驗磁盤， 而一個卷通常會包括一個或多個 RAID4 組。 而 RAID4 卷上的奇偶校驗磁盤則通過 RAID4 組上的磁盤對行奇偶校驗進行存 儲，額外的 RAID DP 奇偶校驗磁盤則通過 RAID DP 組上的磁盤存儲對角線上 的奇偶校驗。 通過 RAID DP 上的這兩個奇偶校驗條， （一個傳統(tǒng)的水平奇偶校 驗和一個對角線奇偶校驗，即使同一 RAID 組上的兩個磁盤發(fā)生故障時也能得 到數(shù)據(jù)保護。在 RAID DP 中，仍然使用了傳統(tǒng)的 RAID4 水平奇偶校驗結(jié)構，并且這種 結(jié)構已成為 RAID DP 結(jié)構

8、的子集 換句話說， RAID DP 并沒有改變 RAID4 在 NetApp 存儲上的工作方式。數(shù)據(jù)通過每一行的奇偶校驗計算被寫入水平行，并 被視作雙奇偶校驗中的行，這個同樣的過程仍會保留到 RAID DP 中。實際上， 如果是單一磁盤故障，或是從壞數(shù)據(jù)塊中的讀取錯誤， 或者出現(xiàn)誤碼，那么 RAID4 的行奇偶校驗方法就是進行數(shù)據(jù)恢復的唯一手段，無需采用RAID DP。在這種情況下， RAID DP 的對角線奇偶校驗組件僅僅是行奇偶校驗組件周圍的保護層。RAID DP 卷的性能可以與 RAID4 相媲美。每種類型的 RAID 的讀操作幾乎 一樣。 RAID DP 的寫操作性能要比 RAID4

9、慢 2%到 3%。造成性能微小差距的 原因是 RAID DP 卷上的第二個對角線奇偶校驗磁盤會出現(xiàn)額外的寫操作。 相對 于RAID4，運行RAID DP時CPU的利用率并無明顯差別。1.3 Snapshot 技術介紹SnapShot 是 WAFL 文件系統(tǒng) “任意位置寫入 ”功能帶來的一項突出優(yōu)勢。 一 份 SnapShot 是文件系統(tǒng)的在線只讀拷貝。 創(chuàng)建文件系統(tǒng)的一份 SnapShot 僅僅 需要幾秒種的時間， 并且除非原始文件被刪除或者更改， 數(shù)據(jù)快照并不占用額外 的磁盤空間。這種只有當數(shù)據(jù)塊發(fā)生改動時才進行數(shù)據(jù)塊復制的技術被稱作 “cop-yon- write ，”只有修改活動文件系統(tǒng)

10、中的數(shù)據(jù)塊并寫入磁盤中新的位置時， SnapShot 才會占用額外的磁盤空間。用戶可以采用 SnapShot 作為數(shù)據(jù)的在線備份，以備將來進行數(shù)據(jù)恢復時 使用。用戶也可以方便的把 SnapShot 快照備份到磁帶上。無需將 Filer 系統(tǒng)下 線，用戶管理員就可以將最近的 SnapShot 快照備份到離線存儲系統(tǒng)中。應仙4AftwSnapshotSnEiptbo*AftfrrBlock Updated圖（a ）是簡化了的文件系統(tǒng)結(jié)構，在頂部以樹狀結(jié)構指向其下的數(shù)據(jù)塊圖（b ）顯示了 SnapShot快照復制了根結(jié)構以及數(shù)據(jù)塊指向關系。圖（c）數(shù)據(jù)塊C發(fā)生了更新，這樣文件系統(tǒng)指向新的數(shù)據(jù)塊 C&

11、#39;,而在此之前創(chuàng)建的SnapShot 仍然指向原來的數(shù)據(jù)塊C o該圖展示了 SnapShot是如何工作的。WAFL文件系統(tǒng)本身就可以理解成 數(shù)據(jù)塊樹狀結(jié)構，其根部的數(shù)據(jù)結(jié)構描述了 inode文件信息。這份inode文件信 息則包含了對文件系統(tǒng)中所有in ode的描述，它包含諸如空閑塊圖和空閑inode 圖等元數(shù)據(jù)信息。圖a也可以視為整個文件系統(tǒng)的概貌圖，其上部展現(xiàn)的就是根 數(shù)據(jù)結(jié)構。WAFL通過復制根數(shù)據(jù)結(jié)構創(chuàng)建新的數(shù)據(jù)拷貝 SnapShot。因為根數(shù) 據(jù)結(jié)構只有128B，并且不需要在硬盤上復制其它數(shù)據(jù)塊，一個新的SnapShot幾乎不耗費額外的磁盤存儲空間，除非用戶修改或者刪除文件系統(tǒng)

12、中的數(shù)據(jù)。Filer可以對一個卷組創(chuàng)建最多 255個Snap Shot快照。Snap Shot快照可 以通過手動或者人為預先定制策略的方式來自動創(chuàng)建。每一個SnapSHot快照可以保存的時間取決于文件系統(tǒng)變動的頻度。 在眾多應用環(huán)境中，文件系統(tǒng)中的大 部分數(shù)據(jù)并不是每天都在變化，比如一個使用10MB大小Home Directory的用戶，其數(shù)據(jù)通常每天只變動100到500KB。當文件變動緩慢的時候，SnapShot 可以在線保存數(shù)天甚至數(shù)周，直到它們消耗的磁盤空間過多以至用戶無法接受。 而另外一些文件系統(tǒng)中的數(shù)據(jù)則在經(jīng)常不停的變動，比如CAD應用環(huán)境下，需要經(jīng)常覆蓋寫入許多大尺寸的文件，甚至可

13、能一兩天內(nèi)就會更新整個文件系統(tǒng)的 存儲內(nèi)容。在此類環(huán)境下，可能只有保存數(shù)小時SnapShot的空間。1.4 FlexVol 技術介紹1.4.1 Flexible Volumes 的概念Flexible Volumes 是一個劃時代的新技術，所有的卷被視為邏輯的數(shù)據(jù)容 器，同時可以在不破壞底層物理存儲結(jié)構的前提下被獨立的設置、 調(diào)整大小， 管 理和移動。NetApp FlexVol 技術提供了真正的存儲虛擬化解決方案，能夠縮減開銷和 資本費用， 減少業(yè)務中斷并降低風險， 同時還具有很高的靈活性， 可以快速方便 地適應企業(yè)不斷變化的需求。 FlexVol 技術可以自動集中存儲資源，便于您在一 個大

14、型磁盤池中創(chuàng)建多個靈活的卷。 有了這一靈活性， 您就可以簡化操作， 最大 限度地提高利用率和效率，并可以快速、無縫地進行修改。利用 NetApp 存儲 解決方案， 您可以隨時隨地根據(jù)需要以最低成本增加存儲容量， 并且無需中斷業(yè) 務運作。如下圖所示，一個 Aggregate 被定義為給卷( Volumes )分配空間的許多 磁盤的池( pool )。從管理者的角度來看，卷仍保持著對主要項的數(shù)據(jù)管理。但 由于是對管理者透明， Flexible Volumes 現(xiàn)在面向的是邏輯項而不是傳統(tǒng)的物理 存儲了。Flexible Volumes 因此不再受限于它們存在的磁盤的限制了。 你可以在一個 存儲的

15、“池”中定義一個你需要多大的空間的 FlexVol ，而不是由你創(chuàng)建卷所在的 磁盤個數(shù)硬性規(guī)定。一個 FlexVol 也可以不需要停機任意收縮或者擴展。同時 Flexible Volumes 可以在 Aggregate 所擁有的所有物理磁盤上實現(xiàn)條帶化。 對于 那些對性能敏感的應用來說， Flexible Volumes 比那些由磁盤個數(shù)限定大小的卷 擁有更好的性能。卷：不是固定在物理的存儲空間上磁盤磁盤物理存儲池1.4.2 FlexVol 的特點性能的提高在Data ONTAP 7G中，RAID組仍由磁盤組成，其中包含一個校驗盤（如 果是RAID-DP?則需要兩塊校驗盤）和一定數(shù)量的數(shù)據(jù)盤。

16、以前Data ONTAP將一個或多個RAID組組成一個卷（Volume ）。這種方式現(xiàn)在還可以在 7G中實 現(xiàn)（在7G中稱之為傳統(tǒng)的“traditional卷）但是從7G以后RAID組將通常組成 一個 aggregates。假設在數(shù)據(jù)庫系統(tǒng)中有一個存放數(shù)據(jù)文件的卷是一個最繁忙卷，在DataONTAP 7G之前，該卷只能存在于給定的RAID組上。通常，根據(jù)卷的容量需求， RAID組將由少量磁盤組成。結(jié)果就是由于 RAID是由很少的硬盤組成，此卷的 性能將會受到磁盤數(shù)量的限制。常規(guī)的存儲卷*有限的卷性能八熱點“卷被隔離*共亭多個磁盤的性能典型情況下得到雙倍的改善（1D個磁盤的卷蝶共享4DF磁盤的卷

17、）0NetApp在Data ONTAP 7G中，RAID組被整合起來創(chuàng)建出一個 aggregates。由于 卷仍然是存儲管理的基本單位，它將跨越存在于一個NetApp filer中組成aggregates的所有磁盤，同時在這個大的aggregates上也可以上可以存在多個 卷。這將使該卷充分利用所有磁盤的并行性能，滿足在系統(tǒng)中某些比較繁忙的 卷對于性能的需求。FlexVol是靈活的，因為底層的存儲的物理結(jié)構不需被預分 區(qū)。靈活的容量規(guī)劃對于一個FlexVol的大小本質(zhì)上是沒有約束的，同時 flexible volumes可以 動態(tài)的調(diào)整大小。管理員可以將 flexible volumes作為一

18、個強大的工具為不同的 用戶、組和項目分配和提供存儲資源。舉例來說，假設一個數(shù)據(jù)庫比原先預計增長快很多時，管理員可以在系統(tǒng)運行時隨時重新配置相關的flexible volumes 。重新分配存儲資源的過程不需要任何宕機過程，而且它是對用戶透明的VoJ1 V»I2 VqJ3 VqI4C，預分配Free. ) O-剩余空間分散沒有預分配剩余空間共享精簡的自動配置可以動態(tài)擴大和縮小NetApp當需要額外的物理空間時，管理員可以通過添加指定磁盤給aggregate以提高其容量，新的磁盤將成為aggregate的一部分，同時其容量和I/O帶寬將對 存在于該aggregate中的所有的flexib

19、le volumes 生效。所有存在于同一個 aggregate上的flexible volumes的總?cè)萘恳部梢猿^ aggregate的實際物理總?cè)萘?。增加某一個 FlexVol容量時也不需要改變存在相 同aggregate其它的FlexVol的容量或者aggregate本身的容量。1.4.3 FlexVol的技術優(yōu)勢靈活的尺寸：NetApp的靈活卷的最小顆粒度是4KB，可以精確的適合 各種大小的存儲應用的需求。其它的系統(tǒng)需要卷或者文件系統(tǒng)的大小要 基于底層物理或者邏輯磁盤的整數(shù)倍而定，顯然會浪費數(shù)百兆甚至數(shù)吉 以至更多的物理容量。靈活地改變尺寸（擴展和收縮）：NetApp FlexVol

20、技術允許WAFL文件 系統(tǒng)在線且安全的進行擴展和收縮，以使文件系統(tǒng)精確的適合用戶的數(shù) 據(jù)需求。其它的存儲提供商基本能夠提供不停機的容量擴展機制，但他們卻不提供類似NetApp FlexVol的無縫和簡單的容量擴展，并且不能 提供在線且安全的文件系統(tǒng)收縮的功能?？臻e空間池：由于 NetApp FlexVol 可以像擴展一樣簡單的實現(xiàn)容量的 收縮，已分配給 FlexVol 的未使用空間可以非常簡單且安全的從 FlexVol 移出并重新分配給其它即將被填滿需要更多空間的 FlexVol 。通過 NetApp FlexVol 技術，未使用或者未分配的空間在 aggregate 容器層 被視為一個池( poo