華為存儲培訓資料

華為存儲培訓資料2024/3/25華為存儲培訓資料評審專家LS劉晶磊、鐘美華、楚國祥NRON/ACS王鵬翔NTSN/AMSN/ANI艾源TSD夏志祥、員工培訓鄧星、中國區(qū)周義林張磊研發(fā)測試趙學武、資料沙鷗、SE胡利明、羅正萍本頁不打印2024/3/25華為存儲培訓資料存儲基礎知識V1.1華為存儲培訓資料參考資料《存儲基礎知識白皮書》2024/3/25華為存儲培訓資料培訓目標學完本課程后，您應該能：掌握存儲的基礎知識和技能熟悉存儲的各種特性和功能2024/3/25華為存儲培訓資料目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念2024/3/25華為存儲培訓資料存儲分類封閉系統(tǒng)的存儲開放系統(tǒng)的存儲內(nèi)置存儲外掛存儲Direct-AttachedStorage直接式存儲（DAS）Fabric-AttachedStorage網(wǎng)絡存儲（FAS）Network-AttachedStorage網(wǎng)絡接入存儲（NAS）StorageAreaNetwork存儲區(qū)域網(wǎng)絡（SAN）2024/3/25華為存儲培訓資料DAS/SAN/NAS組網(wǎng)示意圖2024/3/25華為存儲培訓資料DAS（DirectAttachmentStorage）直接連接存儲：存儲設備是通過電纜（通常是SCSI接口電纜）直接連到服務器的。I/O請求直接發(fā)送到存儲設備應用服務器BlockI/OSCSI協(xié)議StorageDAS華為存儲培訓資料典型DAS結構2024/3/25華為存儲培訓資料DAS分析連接簡單集成在服務器內(nèi)部；點到點的連接；距離短；安裝技術要求不高低成本需求SCSI總線成本低較好的性能通用的解決方案DAS的投資低，絕大多數(shù)應用可以接受DAS優(yōu)勢有限的擴展性SCSI總線的距離最大25米；最多15個設備專屬的連接空間資源無法與其他服務器共享備份和數(shù)據(jù)保護備份到與服務器直連的磁帶設備上硬件失敗將導致更高的恢復成本TCO（總擁有成本高）存儲容量的加大導致管理成本上升存儲使用效率低DAS劣勢華為存儲培訓資料NAS（NetworkAttachmentStorage）應用服務器FileI/OIP協(xié)議NAS網(wǎng)絡連接存儲：存儲設備連接到現(xiàn)有的網(wǎng)絡上，提供數(shù)據(jù)和文件服務華為存儲培訓資料典型NAS結構2024/3/25華為存儲培訓資料NAS的優(yōu)勢資源共享構架于IP網(wǎng)絡之上部署簡單較好的擴展性異構環(huán)境下的文件共享易于管理備份方案簡單低的TCONAS優(yōu)勢擴展性有限一些應用會占用帶寬資源不適應某些數(shù)據(jù)庫的應用NAS劣勢華為存儲培訓資料SAN（StorageAreaNetwork）應用服務器BlockI/OFCP協(xié)議SAN存儲區(qū)域網(wǎng)絡：它是一個用在服務器和存儲資源之間的、專用的、高性能的網(wǎng)絡體系。它為實現(xiàn)大量原始數(shù)據(jù)的傳輸而進行了專門的優(yōu)化。華為存儲培訓資料典型SAN結構2024/3/25華為存儲培訓資料SAN的優(yōu)勢實現(xiàn)存儲介質(zhì)的共享非常好的擴展性易于數(shù)據(jù)備份和恢復實現(xiàn)備份磁帶共享LANFree和ServerFree高性能支持服務器群集技術容災手段低的TCOSAN優(yōu)勢成本較高需要專用的連接設備如FC交換機以及HBASAN孤島技術較為復雜需要專業(yè)的技術人員維護SAN劣勢華為存儲培訓資料DAS/NAS/SAN三種形態(tài)比較DASNASFC-SANIP-SAN傳輸類型SCSI、FCIPFCIP數(shù)據(jù)類型塊級文件級塊級塊級典型應用任何文件服務器數(shù)據(jù)庫應用視頻監(jiān)控優(yōu)點易于理解兼容性好易于安裝成本低高擴展性高性能高可用性高擴展性成本低缺點難以管理，擴展性有限存儲空間利用率不高性能較低對某些應用不適合比較昂貴，配置復雜互操作性問題性能較低2024/3/25華為存儲培訓資料目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念2024/3/25華為存儲培訓資料存儲傳輸?shù)挠布ǖ烙腥N：

傳輸通道通過以太網(wǎng)線連接通過SCSI線纜連接通過光纖線纜連接

iSCSIHBACardiSCSI磁盤陣列SCSIHBACardSCSI磁盤陣列FCHBACardFC磁盤陣列以太網(wǎng)線SCSI線纜光纖線纜主機GECard華為存儲培訓資料SCSI協(xié)議SCSI是小型計算機系統(tǒng)接口（SmallComputerSystemInterface）的簡稱，主要用于高端系統(tǒng)的連接，現(xiàn)在已完全普及到了小型機及高端服務器。SCSI存儲是以主機為中心的；一條SCSI總線上可以串接多臺不同類型的設備。SCSI協(xié)議可以劃分為SCSI-1、SCSI-2、SCSI-3，最新的為SCSI-3，也是目前應用最廣泛的SCSI版本。屬于SCSI-3的Ultra320SCSI的最高數(shù)據(jù)傳輸率已經(jīng)達到了320MB/s。2024/3/25華為存儲培訓資料iSCSI協(xié)議iSCSI是互聯(lián)網(wǎng)小型計算機系統(tǒng)接口（InternetSmallComputerSystemInterface）的簡稱，是一種在TCP/IP上進行數(shù)據(jù)塊傳輸?shù)臉藴?，可以理解為SCSIoverIP。iSCSI實現(xiàn)在IP網(wǎng)絡上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進行快速的數(shù)據(jù)存取備份操作。可用于構成基于IP的SAN，為用戶提供高速、低價、長距離的存儲解決方案。iSCSI是將SCSI命令封裝到TCP/IP數(shù)據(jù)包中，使I/O數(shù)據(jù)塊可通過IP網(wǎng)絡傳輸。iSCSI的數(shù)據(jù)包結構：2024/3/25華為存儲培訓資料FC協(xié)議及組件FC是光纖通道（FiberChannel）的簡稱，用于服務器共享存儲設備的連接，存儲控制器和驅(qū)動器之間的內(nèi)部連接。FC是一種高性能的串行連接標準。其接口傳輸速率目前有1G、2G、4Gbit/s幾種標準。傳輸介質(zhì)可以選擇銅纜或光纖，支持多種互聯(lián)拓撲結構。FiberChannel組件：HBA卡：HostBusAdapter(主機通道適配器)，F(xiàn)CHBA卡在應用中，相當于SCSI卡。我們后面講到的node和port就在HBA卡上，F(xiàn)Cswitch：光纖交換機，SAN架構中核心設備，連接服務器和存儲設備。2024/3/25華為存儲培訓資料iSCSI協(xié)議的分層結構FC協(xié)議的分層結構iSCSI和FC協(xié)議層次比較華為存儲培訓資料目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念2024/3/25華為存儲培訓資料RAID簡介RAID是廉價冗余磁盤陣列(RedundantArrayofInexpensiveDisks)的簡稱名詞說明分區(qū)又稱為Extent；是一個磁盤上的地址連續(xù)的存儲塊。一個磁盤可以劃分為多個分區(qū)，每個分區(qū)可以大小不等，有時也稱為邏輯磁盤。分塊又稱為Strip；將一個分區(qū)分成多個大小相等的、地址相鄰的塊，這些塊稱為分塊。分塊通常被認為是條帶的元素。虛擬磁盤以它為單位將虛擬磁盤的地址映射到成員磁盤的地址。條帶又稱為Stripe；是陣列的不同分區(qū)上的位置相關的strip的集合，是組織不同分區(qū)上條塊的單位。軟RAIDRAID的所有功能都依賴于操作系統(tǒng)（OS）與服務器CPU來完成，沒有第三方的控制/處理（業(yè)界稱其為RAID協(xié)處理器――RAIDCo-Processor）與I/O芯片硬RAID有專門的RAID控制/處理與I/O處理芯片，用來處理RAID任務，不需耗用主機CPU資源，效率高，性能好。華為存儲培訓資料RAID0：StripedDiskArraywithoutFaultTolerance(沒有容錯設計的條帶磁盤陣列，以條帶形式將RAID陣列的數(shù)據(jù)均勻分布在各個陣列中。

總容量=(磁盤數(shù)量)*(磁盤容量)

RAID0（一）華為存儲培訓資料優(yōu)點缺點可多I/O操作并行處理，極高的讀寫效率速度快，由于不存在校驗，所以不占用cpu資源設計，使用與配置簡單無冗余，一個RAID0的磁盤失敗，那么數(shù)據(jù)將徹底丟失不能用于關鍵數(shù)據(jù)環(huán)境適用領域：視頻生成和編輯圖像編輯較為“擁擠”的操作其他需要大的傳輸帶寬的操作

至少需要磁盤數(shù)：2個

RAID0（二）華為存儲培訓資料RAID1：以鏡像作為冗余手段，虛擬磁盤中的數(shù)據(jù)有多個拷貝，放在成員磁盤上。

總容量=(磁盤數(shù)量/2)*(磁盤容量)

RAID1（一）華為存儲培訓資料RAID1（二）優(yōu)點缺點理論上讀效率是單個磁盤的兩倍；100％的數(shù)據(jù)冗余；設計、使用簡單ECC效率低下，磁盤ECC的CPU占用率是所有RAID等級中最高的，在所有成本高；軟RAID方式下，很少能支持硬盤的熱插拔；空間利用率只有1/2適用領域：財務統(tǒng)計與數(shù)據(jù)庫金融系統(tǒng)其他需要高可用的數(shù)據(jù)存儲環(huán)境至少需要磁盤數(shù)2個華為存儲培訓資料

RAID3(條帶分布+專用盤校驗)：以xor校驗為冗余方式，使用專門的磁盤存放校驗數(shù)據(jù)，虛擬磁盤上的數(shù)據(jù)塊被分為更小的數(shù)據(jù)塊并行傳輸?shù)礁鱾€成員物理磁盤上，同時計算出xor校驗數(shù)據(jù)存放到校驗磁盤上。

總容量=(磁盤數(shù)量-1)*(磁盤容量)

RAID3（一）華為存儲培訓資料RAID3（二）優(yōu)點缺點相對較高的讀取傳輸率高可用性，如果有一個磁盤損壞，對吞吐量影響較小高效率的ECC操作校驗盤成為性能瓶頸每次讀寫牽動整個組，每次只能完成一次I/O適用領域：視頻生成和在線編輯圖像和視頻編輯其他需要高吞吐量的的場合至少需要磁盤數(shù)3個華為存儲培訓資料RAID5(條帶技術+分布式校驗)：以XOR檢驗為冗余方式，校驗數(shù)據(jù)均勻分布在各個數(shù)據(jù)磁盤上，對各個數(shù)據(jù)磁盤的訪問為異步操作?？側萘?(磁盤數(shù)-1)*(磁盤容量)RAID5（一）A0A1A2A34PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4ABCDE華為存儲培訓資料RAID5（二）優(yōu)點缺點高讀取速率中等寫速率異或校驗影響存儲性能磁盤損壞后，重建很復雜適用領域：文件服務器和應用服務器OLTP環(huán)境的數(shù)據(jù)庫WEB，E－MAIL服務器至少需要磁盤數(shù)3個華為存儲培訓資料RAID6：能夠允許兩顆磁盤同時失效的RAID級別系統(tǒng)。

總容量=(磁盤數(shù)-2)*(磁盤容量)A0A1A23PRITYC01PRITY2PRITYA3B0B12PRITY3PRITY0PRITY1PRITYB2B30PRITYC1C2C3ABCDERAID6（一）1234雙重校驗碼的硬盤存儲結構在raid5的基礎上發(fā)展而成,具有更高的可靠性允許出現(xiàn)故障的磁盤達到兩個最少需要四個磁盤raid6華為存儲培訓資料RAID6（二）優(yōu)點缺點快速的讀取性能更高的容錯能力很慢的寫入速度成本更高適用領域：高可靠性環(huán)境至少需要磁盤數(shù)：4個華為存儲培訓資料RAID10(鏡像陣列條帶化)：將鏡像和條帶組合起來的組合RAID級別，最低一級是RAID1鏡像對，第二級為RAID0。總容量=(磁盤數(shù)/2)*(磁盤容量)D1D2D4D4D2D7D8D8D10D11D11D1D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15邏輯磁盤物理磁盤0物理磁盤1物理磁盤2物理磁盤3stripe0stripe1stripe2stripe3D13D14D13stripe4D5D7D10D5D14D3D3D9D9D12D12D15D6D6D15物理磁盤4物理磁盤5

RAID10（一）華為存儲培訓資料RAID10（二）優(yōu)點缺點高讀取速率高寫速率，較校驗RAID而言，寫開銷最小至多可以容許N個磁盤同時損壞（2N個磁盤組成的RAID10陣列）貴只有1/2的磁盤利用率適用領域：要求高可靠性和高性能的數(shù)據(jù)庫服務器至少需要磁盤數(shù)：4個華為存儲培訓資料RAID50定義：將鏡像和條帶組合起來的組合RAID級別，最低一級是RAID5鏡像對，第二級為RAID0?？側萘?(磁盤數(shù)-1)*(磁盤容量)…D1P11D4P12D2P13D11P23D15P14D16D0D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15邏輯磁盤物理磁盤0物理磁盤1物理磁盤2物理磁盤3stripe0stripe1stripe2stripe3D5D10D14D6D3P21D12D13D17P24P22D7物理磁盤4物理磁盤5D16D17D0RAID50（一）華為存儲培訓資料RAID50（二）優(yōu)點缺點比單個RAI5容納更多的磁盤比單個RAID5有更好的讀性能至多可以容許n個磁盤同時損壞（N個RAID5組成的RAID50陣列）比相同容量的單個RAID5重建時間更短比較難實現(xiàn)同一個RAID5組內(nèi)的兩個磁盤損壞會導致整個RAID50陣列的失效適用領域：大型數(shù)據(jù)庫服務器應用服務器文件服務器至少需要磁盤數(shù)：6個華為存儲培訓資料RAID級別比較項目RAID0

RAID1RAID10

RAID5

、RAID3RAID6最小配置12434性能HighestLowestRAID5<RAID10<RAID0RAID1<RAID5<RAID10RAID6<RAID5<RAID10特點無容錯最佳的容錯最佳的容錯提供容錯提供容錯磁盤利用率100%50%50%(N-1)/N(N-2)/N描述

不帶奇偶效驗的條帶集磁盤鏡像RAID0與RAID1的結合帶奇偶效驗的

條帶集雙校驗位其中RAID3與RAID5的區(qū)別為：RAID3更適合于順序存取，RAID5更適合于隨機存取。需要根據(jù)具體的應用情況決定使用那種RAID級別。2024/3/25華為存儲培訓資料目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念2024/3/25華為存儲培訓資料所謂熱備份是在建立RAID磁盤陣列系統(tǒng)的時候，將其中一磁盤指定為熱備磁盤，此熱備磁盤在平常并不操作，當陣列中某一磁盤發(fā)生故障時，熱備磁盤便取代故障磁盤，并自動將故障磁盤的數(shù)據(jù)重構在熱備磁盤上。熱備盤分為：全局熱備盤和局部熱備盤全局熱備盤：針對整個磁盤陣列，對陣列中所有RAID組起作用。局部熱備盤：只針對某一RAID組起作用。因為反應快速，加上快取內(nèi)存減少了磁盤的存取，所以數(shù)據(jù)重構很快即可完成，對系統(tǒng)的性能影響不大。對于要求不停機的大型數(shù)據(jù)處理中心或控制中心而言，熱備份更是一項重要的功能，因為可避免晚間或無人守護時發(fā)生磁盤故障所引起的種種不便。熱備（HotSpare）2024/3/25華為存儲培訓資料熱備與重構在線操作特性

系統(tǒng)中需設置一個熱添加的備份盤或用一個新的替代磁盤替代故障磁盤當滿足以下條件時開始數(shù)據(jù)自動重構

1、有一個熱備份盤存在獨立于故障磁盤的2、所有磁盤都配置為冗余陣列(RAID1,3,5,10)所有的操作都是在不中斷系統(tǒng)操作的情況下進行的RAID5setofdrives:4active,1hot-spareCOPYBACK完成某個磁盤損壞，重構過程開始重構過程結束，RAID5可靠性恢復冗余插入新磁盤，COPYBACK開始2024/3/25華為存儲培訓資料目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念2024/3/25華為存儲培訓資料邏輯卷快照(snapshot)DEAC基本概念：BaseVolume：快照源卷RepositoryVolume：快照倉儲卷，保存快照源卷在快照過程中被修改以前的數(shù)據(jù)SnapshotVolume：快照卷某一個時間點的邏輯卷映像：邏輯上相當于整個BaseVolume的拷貝可將SanpshotVolume分配給任何一臺主機SnapshotVolume可讀取、寫入或拷貝存儲空間需求需要相當于BaseVolume20%的額外空間用途文件、邏輯卷恢復備份、測試、數(shù)據(jù)分析等2024/3/25華為存儲培訓資料快照(snapshot)過程演示BASEVOLUMEXYZ并且我們的卷有足夠的空間來創(chuàng)建快照首先保證我們的源卷和陣列的運行是正常的2024/3/25華為存儲培訓資料WREPOSITSNAPSHOTVOLUMBASEVOLUMEXYZRITES首先，在快照完成之前控制器是禁止對源卷進行寫操作的。倉儲卷默認是源卷大小的20%滿足上面條件后，快照過程開始進行快照(snapshot)開始2024/3/25華為存儲培訓資料倉儲卷（20%源卷大?。┈F(xiàn)在可用快照(snapshot)完成REPOSITSNAPSHOTVOLUMBASEVOLUMEXYZWRITES快照完成狀態(tài)，實際上是一些指針當快照完成之后，控制器釋放對源卷的寫權限，我們可以對源卷進行寫操作2024/3/25華為存儲培訓資料當源卷數(shù)據(jù)改變時我們的源卷數(shù)據(jù)在改變之前會順序的寫到倉儲卷上，然后再把快照指針指導這邊來。BASVOETSNAPSHOTVOLUMBASEVOLUMEXYZWRITES然后源卷的數(shù)據(jù)才會開始更新2024/3/25華為存儲培訓資料最后一步我們源卷的原數(shù)據(jù)已經(jīng)寫到了倉儲卷上BASVOETSNAPSHOTVOLUMWRIETELUMSXYZ快照卷的指針指到了新的數(shù)據(jù)位置源卷數(shù)據(jù)更新完畢2024/3/25華為存儲培訓資料邏輯卷拷貝(VolumeCopy)生產(chǎn)主機測試主機基本概念將一個邏輯卷（Source）上的內(nèi)容完全物理上拷貝到另一個邏輯卷（Target）拷貝過程中源卷只讀在同一個存儲系統(tǒng)內(nèi)目標邏輯卷可以做另一個VolumeCopy的源卷用途目標邏輯卷可用來做經(jīng)營分析、數(shù)據(jù)挖掘、測試、備份等對目標卷的操作不影響源卷的性能重新分配數(shù)據(jù)，使性能和容量分配達到最優(yōu)化將數(shù)據(jù)遷移到新的、更大的、更快的磁盤上將邏輯卷遷移到更合適的邏輯卷組上2024/3/25華為存儲培訓資料邏輯卷快照+邏輯卷拷貝通過快照獲得BaseVolume的SnapshotVolume在SnapshotVolume被拷貝的過程中BaseVolume