容災(zāi)-異地容災(zāi)備份-容災(zāi)一體機-數(shù)據(jù)安全備份-數(shù)據(jù)庫雙活網(wǎng)關(guān)

1、宮殖厚緋結(jié)嫌單曲翌彌目普尋19解IsajaAa-ddBiBa駟AllrightreservedbyDatappTechnologyCO.,Ltd一、產(chǎn)品背景隨著我國進入信息化時代，企業(yè)對信息化技術(shù)的依賴越來越強。在計算機技術(shù)高速發(fā)展的今天，存儲作為計算機的一個重要功能在不斷發(fā)展著。然而在傳統(tǒng)的計算資源與存儲資源分離的體系架構(gòu)下，光靠越來越快、核數(shù)越來越多的CPU是不夠的，瓶頸在于傳統(tǒng)存儲的硬盤讀寫太慢了，計算主機上大部分的CPU計算能力都空閑或者說在等待存儲數(shù)據(jù)傳輸過來，這種不匹配的架構(gòu)已經(jīng)不能滿足I/O傳統(tǒng)SAN存儲架構(gòu)存在UO瓶頸問阪企業(yè)IT數(shù)據(jù)中心高速發(fā)展和變化的需求。存儲陣列擴展困難：

2、卄算主機計算主機計算主機傳統(tǒng)存儲SAN/NAS通過添加新的存儲柜擴容升級（ScaleUp），但是這種方法并不能帶來線性的性能提升。存儲訪問性能并不能隨著虛擬機數(shù)據(jù)量增加而線性增加，致使存儲訪問性能最終成為數(shù)據(jù)中心性能和容量的瓶頸。性能瓶頸虛擬化將多個業(yè)務(wù)系統(tǒng)打包成獨立的虛擬機同時運行，眾多虛擬機的同時運行使得整個存儲系統(tǒng)基本都是隨機I/O讀寫，現(xiàn)有存儲通常采用SATA/SAS機械磁盤實現(xiàn)，無法應(yīng)對大量并發(fā)隨機讀寫請求。服務(wù)質(zhì)量保證問題虛擬化數(shù)據(jù)中心中運行著大量不同的應(yīng)用，這些應(yīng)用通常對應(yīng)不同的服務(wù)等級。現(xiàn)有存儲為20年前的設(shè)計，并沒有考慮虛擬化環(huán)境中的應(yīng)用負(fù)載，利用現(xiàn)有存儲很難為不同的應(yīng)用負(fù)載

3、制定存儲性能策略，以適應(yīng)不同的應(yīng)用負(fù)載。管理復(fù)雜IT管理員不僅需要同時管理計算和存儲兩套系統(tǒng)，還往往需要面對專有化設(shè)備的配置，非常繁瑣。傳統(tǒng)網(wǎng)絡(luò)存儲架構(gòu)SAN/NAS起初是為靜態(tài)負(fù)載場景設(shè)計，對于動態(tài)變化的負(fù)載，其管理運維就會變得相對復(fù)雜。硬件專有化，成本高在未來，企業(yè)用戶在構(gòu)建信息系統(tǒng)時最關(guān)注的應(yīng)該是存儲系統(tǒng)的設(shè)計與配備。主流存儲廠商使用自行設(shè)計的專有芯片去優(yōu)化I/O路徑，如利用專有芯片做數(shù)據(jù)壓縮，去冗等。這些專有化硬件帶來的高額研發(fā)和生產(chǎn)成本必然會提升存儲系統(tǒng)的總體擁有成本。在政府、醫(yī)療、石油、電力、頂級互聯(lián)網(wǎng)等超大型信息化應(yīng)用環(huán)境中，普通的存儲產(chǎn)品已經(jīng)無法滿足爆炸增長的數(shù)據(jù)業(yè)務(wù)需求，同時

4、對硬件平臺的性能、價格也會有個更高的要求，更需要一個分布式架構(gòu)的計算存儲資源池來解脫對性能與價格的束縛。二、DatappEverest系統(tǒng)設(shè)計理念分布式計算DatappEverest采用數(shù)據(jù)融池分布式集群架構(gòu)，每一個數(shù)據(jù)節(jié)點都有能力承擔(dān)另一數(shù)據(jù)節(jié)點的功能，節(jié)點之間用內(nèi)部的分布式協(xié)議完成相互協(xié)作和通信，系統(tǒng)中的任意組件都不會成為瓶頸，不但能夠?qū)崿F(xiàn)橫向擴展，還具備與各種先進的網(wǎng)絡(luò)存儲解決方案相同甚至更好的企業(yè)級數(shù)據(jù)管理功能，包括高可用性、備份、快照、災(zāi)難恢復(fù)等。系統(tǒng)冗余DatappEverest始終把可靠性作為系統(tǒng)設(shè)計的最高優(yōu)先級。在實際環(huán)境中，任何硬件都無法保證100%可靠，磁盤可能損壞從而導(dǎo)致

5、服務(wù)器宕機。為處理這些不可預(yù)期的硬件錯誤，保證數(shù)據(jù)的完整以及業(yè)務(wù)的連續(xù)性，Everest采用信息稀疏矩陣算法及加密技術(shù)將數(shù)據(jù)平均分散至每個物理數(shù)據(jù)節(jié)點上，即便一個元數(shù)據(jù)服務(wù)器停機，也完全不影響元數(shù)據(jù)服務(wù)；同一份數(shù)據(jù)塊也會復(fù)制到不同的物理數(shù)據(jù)節(jié)點，防止單點故障。虛擬化DatappEverest是面向虛擬化環(huán)境設(shè)計的分布式存儲系統(tǒng)，能夠支持虛擬機遷移和高可用性等的管理功能。Everest能夠在不停虛機的情況下實現(xiàn)集群系統(tǒng)升級，可感知數(shù)據(jù)塊的熱點，調(diào)度數(shù)據(jù)塊到距離VM最近的節(jié)點，較少遠程I/O的訪問。分層存儲DatappEverest充分利用了企業(yè)級固態(tài)硬盤的技術(shù)優(yōu)勢，采用連續(xù)自適應(yīng)數(shù)據(jù)分片技術(shù)對數(shù)

6、據(jù)進行切分，細(xì)粒度可達4KB,同時記錄和分析數(shù)據(jù)的冷熱程度，將熱門數(shù)據(jù)分布式地存儲在SSD空間以獲得最高性能，將“冷”數(shù)據(jù)或非常用數(shù)據(jù)遷移至大容量機械硬盤空間上。自動化管理運維DatappEverest從部署、日常管理、容錯處理都力爭做到自動化。Everest的安裝部署非常簡單迅速，只需簡單配置IP地址和服務(wù)器角色等信息就能在1小時內(nèi)完成安裝部署；當(dāng)硬盤損壞，數(shù)據(jù)可靠性降低時，Everest會觸發(fā)自動修復(fù)將數(shù)據(jù)復(fù)制到健康的節(jié)點，整個過程無需人工參與。Everest提供了Web可視化管理和豐富的分析功能，可以采集和分析當(dāng)前系統(tǒng)的多維指標(biāo)，并設(shè)置預(yù)警，第一時間通知管理員。三、系統(tǒng)架構(gòu)及產(chǎn)品功能VM

7、VMHDDHDD數(shù)據(jù)交換陳絡(luò)NODEM2NODENODE,VMVMEverestControllerDatappEverest是一個由多個高性能服務(wù)器節(jié)點組成的可實現(xiàn)橫向擴展的集群系統(tǒng)，集群系統(tǒng)包含有處理器、內(nèi)存和SSD高速存儲器以及SATA大容量存儲器，每臺計算節(jié)點都運行一個標(biāo)準(zhǔn)的管理程序，通過先進的數(shù)據(jù)管理功能，形成冗余的Server-SAN超融合計算存儲平臺。在這平臺上用戶可以在任意節(jié)點上啟動VM，這些VM可像使用本地存儲一樣創(chuàng)建出虛擬盤。按需Scale-out擴展Everest摒棄了傳統(tǒng)的通過擴展磁盤柜擴展容量的方式，而是通過添加新的服務(wù)器節(jié)點同時獲得存儲容量和性能的水平擴展，擴展后的

8、Rack空間、容量和性能是可預(yù)估的，能極大幫助企業(yè)IT選擇最合適的軟硬件解決方案。在Everest超融合架構(gòu)中，每一次水平擴展都具有如下特性：自動負(fù)載均衡擴展節(jié)點后，Everest會根據(jù)集群中各個服務(wù)器節(jié)點的負(fù)載和容量使用情況做負(fù)載均衡，以達到整個系統(tǒng)的負(fù)載均衡，避免單點過熱的情況出現(xiàn)。擴展無需暫停業(yè)務(wù)水平擴展只需要將部署了Everest的新節(jié)點和原有集群連接到同一網(wǎng)絡(luò)，通過圖形控制臺或者命令將新節(jié)點添加到Everest集群中即可，整個擴容過程不會影響任何服務(wù)，虛擬機無需停機。即刻生效節(jié)點被添加到集群，該新增節(jié)點的計算和存儲資源會通過一輪“心跳”向集群匯報，集群系統(tǒng)的整體容量和性能也隨之線性擴

9、展，此后新節(jié)點的資源就會被Everest接管。數(shù)據(jù)保護數(shù)據(jù)高可靠性是Everest設(shè)計中非常重要的一點：彈性多副本和智能修復(fù)同一份數(shù)據(jù)可以有多個副本，副本會分布到不同的物理節(jié)點，即便一個節(jié)點損壞也不會影響數(shù)據(jù)的可用性和可靠性。據(jù)塊校驗為防止數(shù)據(jù)的靜默損壞，Everest會對每個數(shù)據(jù)塊做校驗，通過周期性地掃描數(shù)據(jù)塊的校驗值發(fā)現(xiàn)損壞的數(shù)據(jù)塊，并進行修復(fù)。冷熱數(shù)據(jù)分層存儲SATA.冷數(shù)據(jù)下沉至大容屋存儲池?zé)釘?shù)據(jù)回遷至髙速存儲池|大容量存儲池FSSDLd11CPUUUfrSSDJ1:jJTrSSD1三|高速:存儲池Everest可管理服務(wù)器節(jié)點上所有的本地存儲盤，當(dāng)需要進行數(shù)據(jù)讀取時，Everest會

10、按照4kB細(xì)粒度大小統(tǒng)計所有數(shù)據(jù)塊訪問頻度，根據(jù)其最近的熱度，將熱數(shù)據(jù)保存在SSD中，并將冷數(shù)據(jù)替換到SATA盤中。Everest還進一步優(yōu)化文件系統(tǒng)，通過將隨機的小I/O寫請求合并成一個大I/O寫請求，順序?qū)懙絊SD日志中，既減少對SSD的擦寫，提高SSD壽命，又大大提升了I/O吞吐量。3.4主動自愈式數(shù)據(jù)容錯DatappEverest在多節(jié)點上可實現(xiàn)多副本的方式來提供數(shù)據(jù)冗余和高可用特性，并能夠進行主動式的自愈修復(fù)。Everest對每個虛擬存儲盤支持13個不同的副本，因此用戶可以根據(jù)業(yè)務(wù)需求靈活的制定業(yè)務(wù)所需要的副本數(shù)。同一份數(shù)據(jù)的多個副本會分布到不同的物理服務(wù)器節(jié)點上，即便一個服務(wù)器節(jié)點

11、損壞也不會影響數(shù)據(jù)的可用性和可靠性。Everest會周期性的掃描系統(tǒng)中可用的數(shù)據(jù)塊，一旦發(fā)現(xiàn)某個數(shù)據(jù)塊的可靠性級別低于設(shè)定值，就會觸發(fā)智能恢復(fù)。例如用戶設(shè)定某個虛擬盤副本數(shù)為三份，同一份數(shù)據(jù)會復(fù)制到三個不同的物理服務(wù)器上假使某臺服務(wù)器損壞得數(shù)據(jù)副本數(shù)減少,Everest會及時發(fā)現(xiàn)這一事件，并將數(shù)據(jù)恢復(fù)到另一臺健康的物理服務(wù)器，以確保三副本的數(shù)據(jù)可靠性。業(yè)務(wù)連續(xù)性3.5.1不停機擴容DatappEverest在擴容升級過程無需暫停任何服務(wù)，用戶虛擬機里的業(yè)務(wù)無需中斷。3.5.2硬盤熱插拔當(dāng)磁盤損壞需要更換的時候，無需停機斷電，用好的磁盤替換損壞的磁盤即可，Everest可以自動將順壞磁盤的數(shù)據(jù)恢

12、復(fù)出來。存儲服務(wù)自動重連網(wǎng)絡(luò)分區(qū)在分布式系統(tǒng)里是很常見的錯誤，這類錯誤會導(dǎo)致分布式存儲暫時不可用，Everest支持虛擬機自動重連存儲服務(wù)的機制，使得虛擬機I/O不會受短暫網(wǎng)絡(luò)錯誤影響。VM熱遷移Everest天然支持虛擬機熱遷移，允許在不關(guān)閉虛擬機的情況下，將其轉(zhuǎn)移到另一臺物理服務(wù)器上運行。Everest是一款分布式塊存儲系統(tǒng)，虛擬機熱遷移不再需要遷移本地存儲盤，僅僅需要拷貝內(nèi)存和CPU狀態(tài)，因此極大的提高了虛擬機熱遷移的速度，提升業(yè)務(wù)的連續(xù)性?？煺张c精簡配置DatappEverest能夠?qū)?shù)據(jù)進行快速的快照保護動作，其快照只是對元數(shù)據(jù)的一個拷貝，不影響其系統(tǒng)的運行。每一個快照都是獨立的，用

13、戶可修改刪除任何一個時間點的快照而不影響后續(xù)的快照，同時，用戶也可以在幾秒內(nèi)將任何一個存儲盤回滾到任何一個時間點的快照上。Everest還能夠提供精簡配置功能。依托精簡配置的功能，用戶可以劃分出大于當(dāng)前實際容量的存儲空間，而磁盤只有寫入實際數(shù)據(jù)時才會被消耗存儲空間。這項功能為公有云提供了強力的容量許可支持，為私有云客戶也節(jié)約了成本支持，實現(xiàn)真正的按需購買。3.7自動化運維管DatappEverest可實現(xiàn)自動運維管理。在統(tǒng)一管理平臺上，可提供硬件管理、虛擬化平臺管理、資源池管理，以及在統(tǒng)一資源池之上的虛擬機數(shù)據(jù)管理、應(yīng)用管理等功能。同時也能完成對全系統(tǒng)各種資源的生命周期維護。Everest的管

14、理平臺可以部署在其中一個計算節(jié)點上，也可以部署在多臺計算集群上實現(xiàn)高可用。能夠提供以下功能：應(yīng)用自動部署：通過鏡像模板自動部署應(yīng)用，包括創(chuàng)建虛擬機、安裝OS、配置網(wǎng)絡(luò)、安裝應(yīng)用，應(yīng)用拓?fù)涞纫幌盗械牟僮?；統(tǒng)一資源管理：建立統(tǒng)一的資源管理模型對使用者提供統(tǒng)一的資源管理視圖，包括各種資源的監(jiān)控以及預(yù)警；硬件自動探測與恢復(fù)：系統(tǒng)能夠自動發(fā)現(xiàn)并掃描內(nèi)部的硬件信息，并自動完成軟件的安裝、配置并加入資源池；同時能夠快速發(fā)現(xiàn)新加入的硬件并自動加入資源池；硬件發(fā)生故障后能夠自動探測，故障解決后也能夠自動恢復(fù)。硬件規(guī)格型號Everest2000系列Everest3000系列機架規(guī)格2U機架式單節(jié)點2U高密度耦合式（含