計算機軟件及應(yīng)用存儲基礎(chǔ)知識

2024/7/231存儲分類封閉系統(tǒng)的存儲開放系統(tǒng)的存儲內(nèi)置存儲外掛存儲Direct-AttachedStorage直接式存儲（DAS）Fabric-AttachedStorage網(wǎng)絡(luò)存儲（FAS）Network-AttachedStorage網(wǎng)絡(luò)接入存儲（NAS）StorageAreaNetwork存儲區(qū)域網(wǎng)絡(luò)（SAN）2024/7/232DAS/SAN/NAS組網(wǎng)示意圖3DAS（DirectAttachmentStorage）直接連接存儲：存儲設(shè)備是通過電纜（通常是SCSI接口電纜）直接連到服務(wù)器的。I/O請求直接發(fā)送到存儲設(shè)備應(yīng)用服務(wù)器BlockI/OSCSI協(xié)議StorageDAS2024/7/234典型DAS結(jié)構(gòu)5DAS分析連接簡單集成在服務(wù)器內(nèi)部；點到點的連接；距離短；安裝技術(shù)要求不高低成本需求SCSI總線成本低較好的性能通用的解決方案DAS的投資低，絕大多數(shù)應(yīng)用可以接受DAS優(yōu)勢有限的擴展性SCSI總線的距離最大25米；最多15個設(shè)備專屬的連接空間資源無法與其他服務(wù)器共享備份和數(shù)據(jù)保護備份到與服務(wù)器直連的磁帶設(shè)備上硬件失敗將導(dǎo)致更高的恢復(fù)成本TCO（總擁有成本高）存儲容量的加大導(dǎo)致管理成本上升存儲使用效率低DAS劣勢6NAS（NetworkAttachmentStorage）應(yīng)用服務(wù)器FileI/OIP協(xié)議NAS網(wǎng)絡(luò)連接存儲：存儲設(shè)備連接到現(xiàn)有的網(wǎng)絡(luò)上，提供數(shù)據(jù)和文件服務(wù)2024/7/237典型NAS結(jié)構(gòu)8NAS的優(yōu)勢資源共享構(gòu)架于IP網(wǎng)絡(luò)之上部署簡單較好的擴展性異構(gòu)環(huán)境下的文件共享易于管理備份方案簡單低的TCONAS優(yōu)勢擴展性有限一些應(yīng)用會占用帶寬資源不適應(yīng)某些數(shù)據(jù)庫的應(yīng)用NAS劣勢9SAN（StorageAreaNetwork）應(yīng)用服務(wù)器BlockI/OFCP協(xié)議SAN存儲區(qū)域網(wǎng)絡(luò)：它是一個用在服務(wù)器和存儲資源之間的、專用的、高性能的網(wǎng)絡(luò)體系。它為實現(xiàn)大量原始數(shù)據(jù)的傳輸而進行了專門的優(yōu)化。2024/7/2310典型SAN結(jié)構(gòu)11SAN的優(yōu)勢實現(xiàn)存儲介質(zhì)的共享非常好的擴展性易于數(shù)據(jù)備份和恢復(fù)實現(xiàn)備份磁帶共享LANFree和ServerFree高性能支持服務(wù)器群集技術(shù)容災(zāi)手段低的TCOSAN優(yōu)勢成本較高需要專用的連接設(shè)備如FC交換機以及HBASAN孤島技術(shù)較為復(fù)雜需要專業(yè)的技術(shù)人員維護SAN劣勢2024/7/2312DAS/NAS/SAN三種形態(tài)比較DASNASFC-SANIP-SAN傳輸類型SCSI、FCIPFCIP數(shù)據(jù)類型塊級文件級塊級塊級典型應(yīng)用任何文件服務(wù)器數(shù)據(jù)庫應(yīng)用視頻監(jiān)控優(yōu)點易于理解兼容性好易于安裝成本低高擴展性高性能高可用性高擴展性成本低缺點難以管理，擴展性有限存儲空間利用率不高性能較低對某些應(yīng)用不適合比較昂貴，配置復(fù)雜互操作性問題性能較低2024/7/23目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念14存儲傳輸?shù)挠布ǖ烙腥N：

傳輸通道通過以太網(wǎng)線連接通過SCSI線纜連接通過光纖線纜連接

iSCSIHBACardiSCSI磁盤陣列SCSIHBACardSCSI磁盤陣列FCHBACardFC磁盤陣列以太網(wǎng)線SCSI線纜光纖線纜主機GECard2024/7/2315SCSI協(xié)議SCSI是小型計算機系統(tǒng)接口（SmallComputerSystemInterface）的簡稱，主要用于高端系統(tǒng)的連接，現(xiàn)在已完全普及到了小型機及高端服務(wù)器。SCSI存儲是以主機為中心的；一條SCSI總線上可以串接多臺不同類型的設(shè)備。SCSI協(xié)議可以劃分為SCSI-1、SCSI-2、SCSI-3，最新的為SCSI-3，也是目前應(yīng)用最廣泛的SCSI版本。

屬于SCSI-3的Ultra320SCSI的最高數(shù)據(jù)傳輸率已經(jīng)達到了320MB/s。iSCSI協(xié)議的分層結(jié)構(gòu)FC協(xié)議的分層結(jié)構(gòu)iSCSI和FC協(xié)議層次比較2024/7/2317目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念18RAID簡介RAID是廉價冗余磁盤陣列(RedundantArrayofInexpensiveDisks)的簡稱名詞說明分區(qū)又稱為Extent；是一個磁盤上的地址連續(xù)的存儲塊。一個磁盤可以劃分為多個分區(qū)，每個分區(qū)可以大小不等，有時也稱為邏輯磁盤。分塊又稱為Strip；將一個分區(qū)分成多個大小相等的、地址相鄰的塊，這些塊稱為分塊。分塊通常被認為是條帶的元素。虛擬磁盤以它為單位將虛擬磁盤的地址映射到成員磁盤的地址。條帶又稱為Stripe；是陣列的不同分區(qū)上的位置相關(guān)的strip的集合，是組織不同分區(qū)上條塊的單位。軟RAIDRAID的所有功能都依賴于操作系統(tǒng)（OS）與服務(wù)器CPU來完成，沒有第三方的控制/處理（業(yè)界稱其為RAID協(xié)處理器――RAIDCo-Processor）與I/O芯片硬RAID有專門的RAID控制/處理與I/O處理芯片，用來處理RAID任務(wù)，不需耗用主機CPU資源，效率高，性能好。19RAID0：StripedDiskArraywithoutFaultTolerance(沒有容錯設(shè)計的條帶磁盤陣列，以條帶形式將RAID陣列的數(shù)據(jù)均勻分布在各個陣列中。

總?cè)萘?(磁盤數(shù)量)*(磁盤容量)

RAID0（一）20優(yōu)點缺點可多I/O操作并行處理，極高的讀寫效率速度快，由于不存在校驗，所以不占用cpu資源設(shè)計，使用與配置簡單無冗余，一個RAID0的磁盤失敗，那么數(shù)據(jù)將徹底丟失不能用于關(guān)鍵數(shù)據(jù)環(huán)境適用領(lǐng)域：視頻生成和編輯圖像編輯較為“擁擠”的操作其他需要大的傳輸帶寬的操作

至少需要磁盤數(shù)：2個

RAID0（二）21RAID1：以鏡像作為冗余手段，虛擬磁盤中的數(shù)據(jù)有多個拷貝，放在成員磁盤上。

總?cè)萘?(磁盤數(shù)量/2)*(磁盤容量)

RAID1（一）22RAID1（二）優(yōu)點缺點理論上讀效率是單個磁盤的兩倍；100％的數(shù)據(jù)冗余；設(shè)計、使用簡單ECC效率低下，磁盤ECC的CPU占用率是所有RAID等級中最高的，在所有成本高；軟RAID方式下，很少能支持硬盤的熱插拔；空間利用率只有1/2適用領(lǐng)域：財務(wù)統(tǒng)計與數(shù)據(jù)庫金融系統(tǒng)其他需要高可用的數(shù)據(jù)存儲環(huán)境至少需要磁盤數(shù)2個23

RAID3(條帶分布+專用盤校驗)：以xor校驗為冗余方式，使用專門的磁盤存放校驗數(shù)據(jù)，虛擬磁盤上的數(shù)據(jù)塊被分為更小的數(shù)據(jù)塊并行傳輸?shù)礁鱾€成員物理磁盤上，同時計算出xor校驗數(shù)據(jù)存放到校驗磁盤上。

總?cè)萘?(磁盤數(shù)量-1)*(磁盤容量)

RAID3（一）24RAID3（二）優(yōu)點缺點相對較高的讀取傳輸率高可用性，如果有一個磁盤損壞，對吞吐量影響較小高效率的ECC操作校驗盤成為性能瓶頸每次讀寫牽動整個組，每次只能完成一次I/O適用領(lǐng)域：視頻生成和在線編輯圖像和視頻編輯其他需要高吞吐量的的場合至少需要磁盤數(shù)3個25RAID5(條帶技術(shù)+分布式校驗)：以XOR檢驗為冗余方式，校驗數(shù)據(jù)均勻分布在各個數(shù)據(jù)磁盤上，對各個數(shù)據(jù)磁盤的訪問為異步操作?？?cè)萘?(磁盤數(shù)-1)*(磁盤容量)RAID5（一）A0A1A2A34PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4ABCDE26RAID5（二）優(yōu)點缺點高讀取速率中等寫速率異或校驗影響存儲性能磁盤損壞后，重建很復(fù)雜適用領(lǐng)域：文件服務(wù)器和應(yīng)用服務(wù)器OLTP環(huán)境的數(shù)據(jù)庫WEB，E－MAIL服務(wù)器至少需要磁盤數(shù)3個27RAID6（二）優(yōu)點缺點快速的讀取性能更高的容錯能力很慢的寫入速度成本更高適用領(lǐng)域：高可靠性環(huán)境至少需要磁盤數(shù)：4個28RAID10（二）優(yōu)點缺點高讀取速率高寫速率，較校驗RAID而言，寫開銷最小至多可以容許N個磁盤同時損壞（2N個磁盤組成的RAID10陣列）貴只有1/2的磁盤利用率適用領(lǐng)域：要求高可靠性和高性能的數(shù)據(jù)庫服務(wù)器至少需要磁盤數(shù)：4個29RAID50（二）優(yōu)點缺點比單個RAI5容納更多的磁盤比單個RAID5有更好的讀性能至多可以容許n個磁盤同時損壞（N個RAID5組成的RAID50陣列）比相同容量的單個RAID5重建時間更短比較難實現(xiàn)同一個RAID5組內(nèi)的兩個磁盤損壞會導(dǎo)致整個RAID50陣列的失效適用領(lǐng)域：大型數(shù)據(jù)庫服務(wù)器應(yīng)用服務(wù)器文件服務(wù)器至少需要磁盤數(shù)：6個2024/7/23目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念2024/7/2331所謂熱備份是在建立RAID磁盤陣列系統(tǒng)的時候，將其中一磁盤指定為熱備磁盤，此熱備磁盤在平常并不操作，當(dāng)陣列中某一磁盤發(fā)生故障時，熱備磁盤便取代故障磁盤，并自動將故障磁盤的數(shù)據(jù)重構(gòu)在熱備磁盤上。熱備盤分為：全局熱備盤和局部熱備盤全局熱備盤：針對整個磁盤陣列，對陣列中所有RAID組起作用。局部熱備盤：只針對某一RAID組起作用。因為反應(yīng)快速，加上快取內(nèi)存減少了磁盤的存取，所以數(shù)據(jù)重構(gòu)很快即可完成，對系統(tǒng)的性能影響不大。對于要求不停機的大型數(shù)據(jù)處理中心或控制中心而言，熱備份更是一項重要的功能，因為可避免晚間或無人守護時發(fā)生磁盤故障所引起的種種不便。熱備（HotSpare）2024/7/23目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念2024/7/2333邏輯卷快照(snapshot)DEAC基本概念：BaseVolume：快照源卷RepositoryVolume：快照倉儲卷，保存快照源卷在快照過程中被修改以前的數(shù)據(jù)SnapshotVolume：快照卷某一個時間點的邏輯卷映像：邏輯上相當(dāng)于整個BaseVolume的拷貝可將SanpshotVolume分配給任何一臺主機SnapshotVolume可讀取、寫入或拷貝存儲空間需求需要相當(dāng)于BaseVolume20%的額外空間用途文件、邏輯卷恢復(fù)備份、測試、數(shù)據(jù)分析等2024/7/2334W

R

E

P

O

S

I

T

S

N

A

P

S

H

O

T

V

O

L

UM

B

A

S

E

V

O

L

UM

E

X

Y

Z

R

I

T

E

S首先，在快照完成之前控制器是禁止對源卷進行寫操作的。倉儲卷默認是源卷大小的20%滿足上面條件后，快照過程開始進行快照(snapshot)開始2024/7/2335最后一步我們源卷的原數(shù)據(jù)已經(jīng)寫到了倉儲卷上

B

A

S

V

O

E

T

S

N

A

P

S

H

O

T

V

O

L

UMW

R

I

E

T

E

L

UM

S

X

Y

Z快照卷的指針指到了新的數(shù)據(jù)位置源卷數(shù)據(jù)更新完畢2024/7/23目錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念37數(shù)據(jù)分級存儲概念數(shù)據(jù)分級存儲：

把數(shù)據(jù)存放在不同類別的存儲設(shè)備（磁盤、磁盤陣列、光盤庫、磁帶）中，通過分級存儲管理軟件實現(xiàn)數(shù)據(jù)實體在存儲設(shè)備之間的自動遷移。根據(jù)數(shù)據(jù)的訪問頻率、保留時間、容量、性能要求等因素確定最佳存儲