分布式存儲解決方案

1、分布式存儲技術(shù)架構(gòu)方案.需求分析應(yīng)用數(shù)據(jù)流邏輯架構(gòu)如下圖表示，整個系統(tǒng)應(yīng)用數(shù)據(jù)流結(jié)構(gòu)。庫卻JK專 器盅H北 皿E將城寫入持麟讀出ssaioaws/s搞就讀出51 K皿瘡蟲在線存儲 150T8庫卻JK專 器盅H北 皿E將城寫入持麟讀出ssaioaws/s搞就讀出51 K皿瘡蟲在線存儲 150T8西研叼牯席翼達(dá)利近續(xù)存儲600TB歸檔性期歸檔存儲4PB根據(jù)數(shù)據(jù)流和應(yīng)用情況，得出下面要求：用于存放流數(shù)據(jù)的存儲分為在線、近線和長期歸檔三部分，容量需求分別不低于150TB、600TB和4PB；另有用于管理和索引的數(shù)據(jù)庫、以及服務(wù)器虛擬化數(shù)據(jù)，各占5TB的空間，共10TB空間；在線數(shù)據(jù)保留7天（可根據(jù)要求

2、進(jìn)行靈活修改），7天后自動遷移 到近線存儲（采用廉價磁盤）；遷移后，對應(yīng)用訪問的路徑不變。更長時間的數(shù)據(jù)（如100天），將按照策略歸檔到離線光盤庫設(shè) 備；流數(shù)據(jù)的性能需求o在線存儲能夠支撐3路200MB/S寫入流、12路100MB/s寫 入流和15路100MB/S讀取流，即近2GB/S持續(xù)寫和1.5GB/S 持續(xù)讀的并發(fā)讀寫需求。o在線到近線的遷移速度，應(yīng)達(dá)到200MB/S。o近線存儲讀取速度，可以達(dá)到單路80乂8公支持大于15路 讀，總共1.2GB/S讀。自動解決在線存儲上的碎片問題，保證性能；需求分析管理數(shù)據(jù)庫和虛擬化數(shù)據(jù)融合部署流數(shù)據(jù)為典型的順序I/O, OLTP類型管理數(shù)據(jù)庫根據(jù)程序類

3、型， 存在隨機(jī)和順序I/O多種情況，服務(wù)器虛擬化在存儲介質(zhì)中表現(xiàn)為封 裝好的文件，具備空間局部性特征。國際主流數(shù)據(jù)中心建設(shè)模式傾向扁平化、大二層組網(wǎng)，融合架構(gòu) 兼具可控性和高擴(kuò)展性，因此建議合并部署。1）流數(shù)據(jù)部署在高性能分布式存儲-提供極高的I/O吞吐性能， 并按照在線、近線和離線三部級存儲進(jìn)行署。下面的文字將主要 對這部分需求進(jìn)行討論和分析。2）管理數(shù)據(jù)庫部署在通用磁盤陣列存儲上，提供高效的OLTP性能、集成于應(yīng)用的管理和數(shù)據(jù)保護(hù)功能。這部分存儲容量需求為5TB，主流的企業(yè)級存儲都可滿足要求。3）服務(wù)器虛擬化部署在高性能分布式存儲上，充分利用分布式 存儲性能優(yōu)勢和數(shù)據(jù)多副本優(yōu)勢，提供高可靠

4、的集群文件系統(tǒng)功 能。由于虛擬化服務(wù)器主要使用計算資源，而分布式存儲I/O需 求較大，有效利用技術(shù)優(yōu)勢，利用Hypervisor底層充分整合分布 式存儲，構(gòu)建智能的軟件定義的數(shù)據(jù)中心。在線和近線存儲性能分析在線存儲可用容量需求為150TB。性能方面，用于生產(chǎn)的性能需 求為：并發(fā)達(dá)到1.8GB/S的持續(xù)寫入和1.5GB的持續(xù)讀取。1、近線存儲性能指標(biāo)：這就要求，近線存儲能夠滿足以下的并發(fā)I/O要求：1.8GB/S的 寫入，同時還有1.2GB/S的讀取，以及向磁帶庫（三級存儲）的歸檔。 由于讀、寫是同時進(jìn)行，因此在進(jìn)行存儲選項和規(guī)劃時，考慮一定產(chǎn) 品指標(biāo)因素，建議最大寫性能2倍處理，即3.6 GB

5、/s寫為選型指標(biāo)。2、在線存儲性能指標(biāo)：同理，對于在線存儲的并發(fā)I/O要求：1.8GB/S的持續(xù)寫入和 1.5GB的持續(xù)讀取，可選取3.6GB/S最大寫入性能為標(biāo)準(zhǔn)。但需要注 意的是在部分部件損壞后，該存儲必須能夠滿足生產(chǎn)性能要求。因此，在線存儲必須考慮較多的性能余量，因此可將選型標(biāo)準(zhǔn)定為最大寫入 性能5GB/s或者更高123.在線和近線存儲容量需求分析在線和近線存儲的容量規(guī)劃，是根據(jù)數(shù)據(jù)保存策略估算，規(guī)劃中 真正使用空間是總?cè)萘康?0%左右，確保存儲容量、穩(wěn)定性和數(shù)據(jù)應(yīng) 用的安全。1、在線存儲容量分析在線存儲保存7天數(shù)據(jù)容量=21.4TB * 7 = 150TB。從數(shù)據(jù)保留在在線存儲的策略評

6、估，進(jìn)行最大化估算， 3路 200MB/S寫入流、12路100MB/S寫入流，總共需持續(xù)最大化寫入 1.8GB/S,但是平均寫入數(shù)據(jù)較低，21.4TB/60（1分鐘60秒）* 60（1 小時60分鐘）* 24（1天24小時）小47MB/S （每秒寫入數(shù)據(jù)）分布式存儲提供了多副本機(jī)制保證數(shù)據(jù)高可靠，考慮到性能和 安全性,設(shè)置兩份副本,150TB在線數(shù)據(jù)量共需要300TB存儲空間。2、近線存儲容量需求分析近線存儲數(shù)據(jù)容量為600TB。近線存儲容量，是根據(jù)數(shù)據(jù)遷移策略和數(shù)據(jù)歸檔策略的定義情況 來平衡并評估出需要的容量，即每天從在線存儲中遷移150TB （最大 化）容量到近線存儲，在線數(shù)據(jù)7天自動遷移

7、近線存儲，因此寫滿一 次近線數(shù)據(jù)周期為一個月。.分布式存儲系統(tǒng)架構(gòu)設(shè)計分布式存儲物理架構(gòu)拓?fù)浞桨敢匀诤霞軜?gòu)為基礎(chǔ)，充分結(jié)合分布式數(shù)據(jù)特征，利用物理硬件資源的不同使用消耗，整合存儲、計算、網(wǎng)絡(luò)資源，實現(xiàn)軟件定義IT。計系密集區(qū)數(shù)據(jù)計系密集區(qū)數(shù)據(jù)管理區(qū)遷移歸檔區(qū)分布式存儲架構(gòu)設(shè)計說明縱向分區(qū)設(shè)計計算密集區(qū)，主要提供分布式存儲架構(gòu)中的計算用途。計算功能:部署20臺存儲服務(wù)器。確保計算優(yōu)先，即運(yùn)行流數(shù)據(jù)業(yè)務(wù)的虛擬機(jī)， 在線存儲能夠支撐3路200MB/S寫入流、12路100MB/S寫入流和15 路100MB/S讀取流，即近2GB/S持續(xù)寫和1.5GB/S持續(xù)讀的并發(fā)讀寫 需求。每服務(wù)器系統(tǒng)盤本地部署，建

8、議SATA硬盤RAID1；存儲功能： 提供分布式存儲數(shù)據(jù)環(huán)境，考慮橫向連池，與其他兩區(qū)存儲硬盤配置 相同，建議500GB SSD高速存儲。數(shù)據(jù)管理區(qū)，主要提供分布式存儲架構(gòu)中的數(shù)據(jù)庫管理和虛擬機(jī) 管理。數(shù)據(jù)庫管理建議以虛擬機(jī)形式部署，近線存儲介質(zhì)中劃分5TB 空間，以裸設(shè)備形式映射給Hypervisor，滿足OLTP I/O要求。虛擬 機(jī)集群管理通過vCenter建立狀態(tài)，實現(xiàn)HA功能，完成計算資源的 高可用。并且可根據(jù)實際軟件資源響應(yīng)情況，靈活調(diào)整計算資源，在 業(yè)務(wù)連續(xù)運(yùn)行狀態(tài)下實現(xiàn)動態(tài)遷移。遷移歸檔區(qū)，提供在線數(shù)據(jù)到近線數(shù)據(jù)遷移，近線數(shù)據(jù)到歸檔 存儲遷移。在線到近線的遷移速度，應(yīng)達(dá)到200

9、MB/S，近線存儲讀取 速度，可以達(dá)到單路80乂8信支持大于15路讀，總共1.2GB/S讀。 在線到近線的遷移利用Hypervisor存儲遷移功能，在虛機(jī)開機(jī)狀態(tài)下 遷移數(shù)據(jù)業(yè)務(wù)。歸檔遷移利用第三方備份軟件或光盤塔實現(xiàn)。膜向互聯(lián)設(shè)計管理千兆網(wǎng)，實現(xiàn)虛擬機(jī)管理，數(shù)據(jù)庫管理，虛擬機(jī)遷移和集群 通信四大功能。千兆以太網(wǎng)建議專網(wǎng)專用。Hypervisor主機(jī)采用SSD， 以SSD硬盤為介質(zhì)的存儲池承擔(dān)在線存儲，提供的巨大的吞吐量和 高速的讀寫性能，滿足項目中對在線存儲讀寫性能的需求。生產(chǎn)萬兆網(wǎng)，運(yùn)行虛擬機(jī)業(yè)務(wù)系統(tǒng)，聯(lián)通服務(wù)器區(qū)向在線存儲區(qū) 讀寫職能。提供1.8GB寫，1.5GB讀。在線萬兆網(wǎng)，兩臺萬兆

10、網(wǎng)絡(luò)交換機(jī)（外網(wǎng)）通過堆疊技術(shù)（可橫 向擴(kuò)展），實現(xiàn)兩臺萬兆交換機(jī)雙活應(yīng)用，即兩臺萬兆交換機(jī)同時工 作，充分發(fā)揮網(wǎng)絡(luò)性能和應(yīng)用帶寬性能。每個存儲節(jié)點通過至少捆綁 兩個萬兆端口，并連接存儲外部網(wǎng)絡(luò)萬兆交換機(jī)，實現(xiàn)單個存儲節(jié)點 供應(yīng)用直接讀取帶寬至少為物理20GBps。近線FC網(wǎng)，提供SSD在線數(shù)據(jù)向SATA盤陣200MB/s寫入， 和服務(wù)器區(qū)從近線存儲1.2GB/S讀。建議多路徑FC交換機(jī)。以大量 的SATA硬盤為介質(zhì)的存儲池承擔(dān)近線存儲，提供滿足業(yè)務(wù)需求的容 量，同時也提供巨大的吞吐量，滿足項目中對近線存儲讀寫性能需求。離線千兆網(wǎng)，以帶庫方式或光盤塔方式完成長期數(shù)據(jù)歸檔要求， 共 4PB。分布

11、式存儲架構(gòu)特征展性和高性能分布式集群存儲利用雙重特性（多副本）來提供幾TB至數(shù)PB的 高擴(kuò)展存儲解決方案。Scale-Out架構(gòu)允許通過簡單地增加資源來提 高存儲容量和性能，磁盤、計算和I/O資源都可以獨立增加，支持 10GbE高速網(wǎng)絡(luò)互聯(lián)。彈性哈希（Elastic Hash）解除了分布式存儲對 元數(shù)據(jù)服務(wù)器的需求，消除了單點故障和性能瓶頸，真正實現(xiàn)了并行 化數(shù)據(jù)訪問。.負(fù)載自動均衡技術(shù)分布式存儲采用無中心服務(wù)器架構(gòu)模式來管理整個分布式存儲 文件系統(tǒng)，所有元數(shù)據(jù)和數(shù)據(jù)均保存在各個節(jié)點上，文件則劃分為多 個塊存儲在不同的存儲節(jié)點上。管理節(jié)點維護(hù)了一個統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)存儲 節(jié)點的

12、使用情況，當(dāng)客戶端向元數(shù)據(jù)發(fā)送數(shù)據(jù)讀寫的請求時，根據(jù)存 儲節(jié)點的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況，選擇負(fù)擔(dān)最輕的存儲節(jié)點 對外提供服務(wù)，自動均衡負(fù)載負(fù)擔(dān)。另外，當(dāng)有一個存儲節(jié)點因為機(jī)器故障或者其他原因造成離線時， 節(jié)點會將此機(jī)器自動屏蔽掉，不再將此存儲節(jié)點提供給客戶端使用， 同時存儲在此存儲節(jié)點上的數(shù)據(jù)也會自動的備份到其他可用的存儲 節(jié)點上，自動屏蔽存儲節(jié)點故障對系統(tǒng)的影響。.高可用性分布式存儲可以對文件進(jìn)行自動復(fù)制，如鏡像或多次復(fù)制，從而 確保數(shù)據(jù)總是可以訪問，甚至是在硬件故障的情況下也能正常訪問。 自我修復(fù)功能能夠把數(shù)據(jù)恢復(fù)到正確的狀態(tài)，而且修復(fù)是以增量的方 式在后臺執(zhí)行，幾乎不會產(chǎn)生性能負(fù)載

13、。.全局統(tǒng)一命名空間全局統(tǒng)一命名空間將磁盤和內(nèi)存資源聚集成一個單一的虛擬存儲 池，對上層用戶和應(yīng)用屏蔽了底層的物理硬件。存儲資源可以根據(jù)需要在虛擬存儲池中進(jìn)行彈性擴(kuò)展，比如擴(kuò)容或收縮。當(dāng)存儲虛擬機(jī)映 像時，存儲的虛擬映像文件沒有數(shù)量限制，成千虛擬機(jī)均通過單一掛 載點進(jìn)行數(shù)據(jù)共享。虛擬機(jī)I/O可在命名空間內(nèi)的所有服務(wù)器上自動 進(jìn)行負(fù)載均衡，消除了 SAN環(huán)境中經(jīng)常發(fā)生的訪問熱點和性能瓶頸 問題。.彈性哈希算法分布式集群存儲采用彈性哈希算法在存儲池中定位數(shù)據(jù)，而不是 采用集中式或分布式元數(shù)據(jù)服務(wù)器索引。在其他的Scale-Out存儲系 統(tǒng)中，元數(shù)據(jù)服務(wù)器通常會導(dǎo)致I/O性能瓶頸和單點故障問題。所有

14、 在Scale-Out存儲配置中的存儲系統(tǒng)都可以智能地定位任意數(shù)據(jù)分片， 不需要查看索引或者向其他服務(wù)器查詢。這種設(shè)計機(jī)制完全并行化了 數(shù)據(jù)訪問，實現(xiàn)了真正的線性性能擴(kuò)展。.彈性卷管理數(shù)據(jù)儲存在邏輯卷中，邏輯卷可以從虛擬化的物理存儲池進(jìn)行獨 立邏輯劃分而得到。存儲服務(wù)器可以在線進(jìn)行增加和移除，不會導(dǎo)致 應(yīng)用中斷。邏輯卷可以在所有配置服務(wù)器中增長和縮減，可以在不同 服務(wù)器遷移進(jìn)行容量均衡，或者增加和移除系統(tǒng)，這些操作都可在線 進(jìn)行。文件系統(tǒng)配置更改也可以實時在線進(jìn)行并應(yīng)用，從而可以適應(yīng) 工作負(fù)載條件變化或在線性能調(diào)優(yōu)。理于標(biāo)準(zhǔn)協(xié)議存儲服務(wù)支持NFS, CIFS, HTTP協(xié)議，完全與POSIX標(biāo)

15、準(zhǔn)兼容。 現(xiàn)有應(yīng)用程序不需要作任何修改或使用專用開放的API,就可以對分 布式存儲中的數(shù)據(jù)進(jìn)行訪問。存儲內(nèi)部數(shù)據(jù)透明遷移設(shè)計在線存儲池虛抵化存儲范存儲以虛擬化存儲概念整合成一個大的存儲，分在線存儲池題據(jù)恃續(xù)近線存儲池在線存儲池虛抵化存儲范存儲以虛擬化存儲概念整合成一個大的存儲，分在線存儲池題據(jù)恃續(xù)近線存儲池（SSD硬盤介質(zhì)）和近線存儲池（SATA磁盤介質(zhì)），設(shè)置在線存儲 數(shù)據(jù)保留周期策略，例如7天，數(shù)據(jù)分多路經(jīng)過集群應(yīng)用服務(wù)器處理 后，持續(xù)寫入到在線存儲池保存，通過存儲系統(tǒng)內(nèi)部檢測和判斷，發(fā) 現(xiàn)超過7天的數(shù)據(jù)，存儲內(nèi)部通過數(shù)據(jù)分層保存機(jī)制，自動遷移數(shù)據(jù) 至近線存儲池保存。而近線存儲池的數(shù)據(jù)也需

16、設(shè)置數(shù)據(jù)保留周期策略， 通過第三方歸檔軟件，把近線存儲池中超過生命周期的數(shù)據(jù)，自動遷 移至永久保存介質(zhì)，進(jìn)行長期保存。虛擬化存儲池具備下面使用和數(shù)據(jù)透明遷移:當(dāng)在線存儲池的容量有可用容量時，所有從應(yīng)用服務(wù)器至虛擬化存儲池的寫入的數(shù)據(jù)直接保存至在線存儲池中。通 過存儲自動遷移機(jī)制，把在線存儲池的數(shù)據(jù)（超過保留生 命周期）遷移至近線存儲保存，保持?jǐn)?shù)據(jù)路徑不變。當(dāng)在線存儲池的容量沒有可用容量時，所以從應(yīng)用服務(wù)器至虛擬化存儲池的寫入數(shù)據(jù)直接透明地保存至近線存儲池 中，杜絕在線存儲池容量不足可能導(dǎo)致應(yīng)用業(yè)務(wù)中斷的風(fēng) 險。應(yīng)用服務(wù)器集群可直接從在線存儲池中讀取數(shù)據(jù)（在線存儲池中的數(shù)據(jù)在7天在的保留周期內(nèi)）

17、，也可直接從近線 存儲讀去數(shù)據(jù)（超過7天，少于90天（或自定義一定的生 命保留周期）。25數(shù)據(jù)歸檔設(shè)計“數(shù)據(jù)歸檔”這塊，是通過利舊現(xiàn)有第三方歸檔軟件和新的光盤塔 系統(tǒng)，與萬兆網(wǎng)絡(luò)與分布式存儲連接，按近線存儲池中的數(shù)據(jù)保存生 命周期，接受存儲遷移的調(diào)度命令，主要完成把超出生命周期的數(shù)據(jù) 從近線存儲池的原始存儲位置遷移到目標(biāo)光盤塔介質(zhì)位置的工作。同 時也負(fù)責(zé)整個恢復(fù)過程的執(zhí)行，完成分布式存儲與光盤塔系統(tǒng)之間的 數(shù)據(jù)歸檔與恢復(fù)。運(yùn)維和監(jiān)控管理直觀、高度集成的WEB統(tǒng)一管理平臺，對存儲平臺存儲節(jié)點服 務(wù)器、網(wǎng)絡(luò)設(shè)備、硬盤等核心組成部分，進(jìn)行實時的監(jiān)控存儲設(shè)備管 理和運(yùn)行日志保存、策略管理等管理工作，實

18、現(xiàn)報警、故障日志Mail 發(fā)送，使運(yùn)維工作變得更簡單高效，滿足運(yùn)維管理的標(biāo)準(zhǔn)。提供開放的API接口，與整個監(jiān)控管理平臺集成耦合，形成統(tǒng)一 的運(yùn)維監(jiān)控界面，利于集中、統(tǒng)一、高效的運(yùn)維管理。3.分布式存儲架構(gòu)性能估測分布式存儲是一款基于萬兆網(wǎng)絡(luò)和X86服務(wù)器組成分布式存儲， 整個存儲讀寫帶寬、IOPS性能，可以理解為由組成存儲的節(jié)點帶寬 組成單節(jié)點吞吐量、單節(jié)點硬盤介質(zhì)的IOPS組成節(jié)點性能，整個集 群的節(jié)點性能近線性性能的累加，組成集群的整體性能。系統(tǒng)架構(gòu)及性能組成在線萬兆網(wǎng). 兩臺或兩倍以上的萬兆網(wǎng)絡(luò)交換機(jī)（外網(wǎng)）通過堆疊技術(shù)（可 橫向擴(kuò)展），實現(xiàn)兩臺萬兆交換機(jī)雙活應(yīng)用，即兩臺萬兆交換機(jī) 同時

19、工作，充分發(fā)揮網(wǎng)絡(luò)性能和應(yīng)用帶寬性能。.每個存儲節(jié)點通過至少捆綁兩個萬兆端口，并連接存儲外部網(wǎng)絡(luò)萬兆交換機(jī)，實現(xiàn)單個存儲節(jié)點供應(yīng)用直接讀取帶寬至少為 物理 20GBps。.同理，單個存儲節(jié)點內(nèi)部數(shù)據(jù)交換網(wǎng)絡(luò)數(shù)據(jù)交換網(wǎng)絡(luò)（通過交 換機(jī)堆疊技術(shù)橫向擴(kuò)展）至少也為物理上20GBps。. 通過劃分幾個存儲節(jié)點為一個ZONE （安全劃分），每個ZONE 提供20GBps，總體存儲吞吐量帶寬=ZONE的數(shù)量*20GBps.相應(yīng)的一批光纖模塊和尾纖存儲設(shè)備與性能1）、在線存儲主機(jī)配置每存儲節(jié)點由配置多磁盤的X86存儲服務(wù)器，支持24個SSD盤位， 并通過HBA卡支持連接SATA磁盤陣列。每個存儲節(jié)點磁盤配置

20、：24 （槽位）*512GB SSD在線存儲池可用容量=25* 24*512GB = 300TB （做雙副本處理）2）、近線存儲盤陣配置采用8GB主機(jī)通道，雙控存儲盤陣，多鏈路設(shè)置，掛載數(shù)據(jù)管 理區(qū)和遷移歸檔區(qū)服務(wù)器，根據(jù)實際情況，可靈活調(diào)配兩個區(qū)域服務(wù) 器，完成在線向近線的數(shù)據(jù)處理，全SATA磁盤600TB容量分布式存儲性能估算1）、存儲硬盤參數(shù)根據(jù)目前市場主流設(shè)備參數(shù)，設(shè)定三種硬盤的性能參數(shù)如下（實 際參數(shù)值以項目采購的實際型號為準(zhǔn)，以下數(shù)值僅供參考）：類型容量（TB）IOPS （次/秒）SAS0.6150SATA490SSD0.51230002）、存儲節(jié)點性能參數(shù)在線存儲性能最小化估算在線存儲池的SSD盤IOPS性能參數(shù)24（個SSD使用硬盤）*25（臺存儲節(jié)點）* 3000CIOPS值）=1800000 經(jīng)過分布式存儲聚合成存儲池，磁盤介質(zhì)后的集群管理損耗30%（最大值）估算，能提供1，160，000 IOPS。吞吐量結(jié)合IOPS，每個存儲服務(wù)器節(jié)點能平均提供700MB/S （寫）吞吐 量，并且這一數(shù)值