云存儲(chǔ)平臺(tái)建設(shè)方案

云存儲(chǔ)平臺(tái)建設(shè)方案1.1.1.1云存儲(chǔ)簡(jiǎn)介cStor云存儲(chǔ)系統(tǒng)是xxxx技股份有限公司自主研發(fā)的高科技產(chǎn)品，是一種軟件與硬件相結(jié)合的系統(tǒng)，其中專有技術(shù)和軟件是高附加值部分。與目前國(guó)際上知名的云存儲(chǔ)技術(shù)相比，具有低功耗、超高性價(jià)比、高可靠、通用、免維護(hù)的優(yōu)勢(shì)，可以廣泛應(yīng)用于需要存儲(chǔ)大量數(shù)據(jù)的應(yīng)用場(chǎng)合，cStor每個(gè)標(biāo)準(zhǔn)機(jī)架的最高容量可達(dá)1024TB以上，是國(guó)際最高水平的3倍，擁有成本和運(yùn)營(yíng)成本都僅為同類產(chǎn)品的幾分之一。cStor系列產(chǎn)品存儲(chǔ)機(jī)柜1.1.1.2云存儲(chǔ)架構(gòu)設(shè)計(jì)存儲(chǔ)資源管理系統(tǒng)采用分布式的存儲(chǔ)機(jī)制，將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的存儲(chǔ)服務(wù)器上。它采用包括卷管理服務(wù)器、元數(shù)據(jù)管理服務(wù)器(MasterServer)、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)服務(wù)器(ChunkServer)和掛接訪問(wèn)客戶端以及管理監(jiān)控中心服務(wù)器的結(jié)構(gòu)構(gòu)成虛擬統(tǒng)一的海量存儲(chǔ)空間。在每個(gè)服務(wù)器節(jié)點(diǎn)上運(yùn)行存儲(chǔ)資源管理系統(tǒng)相應(yīng)的軟件服務(wù)程序模塊，系統(tǒng)架構(gòu)框圖如下：用戶掛戟客戶端卷管理節(jié)一C卷A工元姓X百理3孕工元打兔真理七點(diǎn)I包三三熨上管理〒占::三三泄上管在〒占：：卷C工元姓X百理用戶掛戟客戶端卷管理節(jié)一C卷A工元姓X百理3孕工元打兔真理七點(diǎn)I包三三熨上管理〒占::三三泄上管在〒占：：卷C工元姓X百理工元打兔真理七蘭?元顫據(jù)管理節(jié)點(diǎn)存世=1毛上歸設(shè)者狀態(tài)監(jiān)控首理監(jiān)控中心對(duì)打不空欄:，.壯對(duì)打通■據(jù)節(jié)點(diǎn)n樹也與二1力布'X.二觸據(jù)節(jié)點(diǎn):]轆節(jié)點(diǎn)M監(jiān)控中心用七狀二上技U崖主控Vlj±窖存儲(chǔ)資源管理系統(tǒng)架構(gòu)圖其中，MasterServer保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)對(duì)整個(gè)文件系統(tǒng)的管理，MasterServer在邏輯上只有一個(gè)，但采用主備雙機(jī)鏡像的方式，保證系統(tǒng)的不間斷服務(wù)；ChunkServer負(fù)責(zé)具體的數(shù)據(jù)存儲(chǔ)工作，數(shù)據(jù)以文件的形式存儲(chǔ)在ChunkServer上，ChunkServer的個(gè)數(shù)可以有多個(gè)，它的數(shù)目直接決定了存儲(chǔ)系統(tǒng)的規(guī)模；掛接訪問(wèn)客戶端即為服務(wù)器對(duì)外提供數(shù)據(jù)存儲(chǔ)和訪問(wèn)服務(wù)的窗口，通常情況下，客戶端可以部署在ChunkServer上，每一個(gè)塊數(shù)據(jù)服務(wù)器，既可以作為存儲(chǔ)服務(wù)器同時(shí)也可以作為客戶端服務(wù)器。由一對(duì)元數(shù)據(jù)服務(wù)器及其管理的存儲(chǔ)服務(wù)器節(jié)點(diǎn)所提供的存儲(chǔ)空間稱為一個(gè)卷空間，不同的卷空間由卷管理服務(wù)器虛擬化統(tǒng)一管理，對(duì)外可提供統(tǒng)一的海量存儲(chǔ)空間。管理監(jiān)控中心提供統(tǒng)一易用的WEB配置管理監(jiān)控平臺(tái)，提供設(shè)備監(jiān)控、空間監(jiān)控、文件監(jiān)控、服務(wù)監(jiān)控、用戶認(rèn)證管理、配額管理、故障告警及預(yù)警等功能，實(shí)現(xiàn)智能化管理。這種分布式系統(tǒng)最大的好處是有利于存儲(chǔ)系統(tǒng)的擴(kuò)展和實(shí)現(xiàn)，在小規(guī)模的數(shù)據(jù)擴(kuò)展時(shí)，只需要添加具體的ChunkServer即可，而不需要添加整套設(shè)備。在實(shí)現(xiàn)大規(guī)模擴(kuò)展時(shí)也可方便地添加整個(gè)卷設(shè)備。管理監(jiān)控中心管理監(jiān)控中心為系統(tǒng)管理員配置和維護(hù)cStor云存儲(chǔ)資源管理系統(tǒng)的有效工具，充分體現(xiàn)了系統(tǒng)的可維護(hù)性。管理監(jiān)控中心提供帳戶管理、設(shè)備管理、系統(tǒng)監(jiān)控、卷管理、告警管理、故障管理等功能。以下為部分系統(tǒng)管理界面。＞設(shè)備管理＞系統(tǒng)監(jiān)控＞告警信息平臺(tái)優(yōu)勢(shì)特性＞高度可靠存儲(chǔ)系統(tǒng)采用云架構(gòu)，數(shù)據(jù)被分塊存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上，數(shù)據(jù)采用先進(jìn)的1:1容錯(cuò)機(jī)制進(jìn)行容錯(cuò)，可在任意損壞一個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)的情況下實(shí)現(xiàn)數(shù)據(jù)完整可靠，系統(tǒng)對(duì)外存儲(chǔ)訪問(wèn)服務(wù)不間斷。云存儲(chǔ)的管理節(jié)點(diǎn)采用了主備雙機(jī)鏡像熱備的高可用機(jī)制，在主管理節(jié)點(diǎn)出現(xiàn)故障時(shí)，備管理節(jié)點(diǎn)自動(dòng)接替主管理節(jié)點(diǎn)的工作，成為新的主管理節(jié)點(diǎn)，待故障節(jié)點(diǎn)修復(fù)并重啟服務(wù)后，它則成為新的備管理節(jié)點(diǎn)，保障系統(tǒng)的7X24小時(shí)不間斷服務(wù)。＞優(yōu)異性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲(chǔ)或讀取實(shí)際上是與各個(gè)存儲(chǔ)節(jié)點(diǎn)上并行讀寫，這樣隨著存儲(chǔ)節(jié)點(diǎn)數(shù)目的增多，整個(gè)系統(tǒng)的吞吐量和IO性能將呈線性增長(zhǎng)。同時(shí)，cStor采用負(fù)載均衡技術(shù)，自動(dòng)均衡各服務(wù)器負(fù)載，使得各存儲(chǔ)節(jié)點(diǎn)的性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配置。＞無(wú)限容量系統(tǒng)容量?jī)H受限于卷管理服務(wù)器內(nèi)存，可支撐的容量接近無(wú)限，經(jīng)推算，理論容量為1024X1024X1024PB（1G個(gè)PB容量）。＞在線伸縮cStor云存儲(chǔ)資源管理系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無(wú)需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時(shí)，無(wú)需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，存儲(chǔ)在此節(jié)點(diǎn)上的數(shù)據(jù)將會(huì)重新備份到其他節(jié)點(diǎn)上。＞通用易用cStor云存儲(chǔ)系統(tǒng)提供符合POSIX標(biāo)準(zhǔn)的通用文件系統(tǒng)接口，無(wú)論是哪種操作系統(tǒng)下的應(yīng)用程序，都可以不經(jīng)修改將云存儲(chǔ)當(dāng)成自己的海量磁盤來(lái)使用。同時(shí)，也提供專用的API接口，供開發(fā)人員調(diào)用。＞智能管理提供基于WEB的管理控制平臺(tái)，所有的管理工作均由cStor管理模塊自動(dòng)完成，使用人員無(wú)需任何專業(yè)知識(shí)便可以輕松管理整個(gè)系統(tǒng)。通過(guò)管理平臺(tái)，可以對(duì)cStor中的所有節(jié)點(diǎn)實(shí)行實(shí)時(shí)監(jiān)控，用戶通過(guò)監(jiān)控