LeoStor助力HPC存儲(chǔ)解決方案

聯(lián)想LeoStor助力能源行業(yè)高性能

—構(gòu)建新一代軟件定義存儲(chǔ)架構(gòu)2015LenovoInternal.Allrightsreserved.李秀峰，聯(lián)想軟件定義存儲(chǔ)解決方案產(chǎn)品經(jīng)理01November2022超算……FlopsCPU個(gè)數(shù)、主頻GPU存儲(chǔ)系統(tǒng)管理軟件作業(yè)調(diào)度軟件編譯器函數(shù)庫油藏模擬OpenMP存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)環(huán)境2015LenovoInternal.Allrightsreserved.高性能計(jì)算基礎(chǔ)架構(gòu)建設(shè)高效率、高帶寬可持續(xù)穩(wěn)定運(yùn)行便于升級(jí)擴(kuò)展整體擁有成本低2015LenovoInternal.Allrightsreserved.高性能計(jì)算中的存儲(chǔ)陣營(yíng)IBMEMCHDS文件系統(tǒng)I/O節(jié)點(diǎn)I/O節(jié)點(diǎn)I/O節(jié)點(diǎn)I/O節(jié)點(diǎn)軟件存儲(chǔ)引擎（文件系統(tǒng)）計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)LenovoLeoStorSoganParaStorHUAWEIOceanStor2015LenovoInternal.Allrightsreserved.軟件定義分布式存儲(chǔ)系統(tǒng)的優(yōu)勢(shì)……存儲(chǔ)節(jié)點(diǎn)1存儲(chǔ)節(jié)點(diǎn)2存儲(chǔ)節(jié)點(diǎn)3……海量數(shù)據(jù)時(shí)容量性能線性增長(zhǎng)分布并行式的數(shù)據(jù)讀寫架構(gòu)Scale-Out橫向擴(kuò)展基因多種數(shù)據(jù)保護(hù)模式保證穩(wěn)定性開放的x86平臺(tái)提供更低的擁有成本輕松實(shí)現(xiàn)百PB級(jí)別數(shù)據(jù)存儲(chǔ)擴(kuò)展聯(lián)想軟件定義存儲(chǔ)（SDS）理念

——提供敏捷化配置、高性能、高效（簡(jiǎn)化）運(yùn)維管理的存儲(chǔ)解決方案軟件定義存儲(chǔ)的特質(zhì)：敏捷化配置：借助軟件引擎的多元性和通用x86服務(wù)器的配置靈活性、高可擴(kuò)展性的特質(zhì)，滿足客戶數(shù)據(jù)中心的多種數(shù)據(jù)管理需求；高性能：存儲(chǔ)軟件引擎在存儲(chǔ)中處于一個(gè)核心的地位，并借助先進(jìn)的Scale-Out架構(gòu)和底層為更高性能的x86服務(wù)器；高效（簡(jiǎn)化）運(yùn)維管理：對(duì)資源和數(shù)據(jù)實(shí)現(xiàn)高效、整體上的有效管理，簡(jiǎn)化運(yùn)維；介質(zhì)層聯(lián)想LeoStor，是SDS解決方案的理想技術(shù)和產(chǎn)品選擇硬件層系統(tǒng)層接口層應(yīng)用層LeoStor分布式存儲(chǔ)系統(tǒng)LenoFSHDFSCinderISCSINFSLenovoserverLenoSANFTPHTTPCIFSLenoSync非編/媒資網(wǎng)盤數(shù)據(jù)挖掘HPC高性能計(jì)算視頻監(jiān)控.....衛(wèi)星數(shù)據(jù)聯(lián)想LeoStor分布式存儲(chǔ)系統(tǒng)全家福豐富產(chǎn)品家族，滿足企業(yè)存儲(chǔ)的不同需求家族清單A10000全閃磁盤，適用4K高清類、單數(shù)據(jù)流600MB/s~1.2GB/s，高IO低延遲場(chǎng)景P3000適用于高IO負(fù)載復(fù)雜應(yīng)用場(chǎng)景，單節(jié)點(diǎn)IO帶寬可達(dá)1.5GB/sC3000實(shí)現(xiàn)性能和容量的有效平衡，靈活支持千兆/萬兆網(wǎng)絡(luò)，2U空間實(shí)現(xiàn)700TB容量的同時(shí)，可達(dá)800MB/S的IO帶寬。C2000實(shí)現(xiàn)入門級(jí)軟件定義存儲(chǔ)解決方案，可選千兆網(wǎng)絡(luò)，可選融合節(jié)點(diǎn)模式，單節(jié)點(diǎn)IO帶寬可達(dá)600MB/sC4000適用于海量、高密度數(shù)據(jù)管理需求，實(shí)現(xiàn)1PB到100PB間容量擴(kuò)展，單節(jié)點(diǎn)IO帶寬可達(dá)1.4GB/sA60004U60高密度存儲(chǔ)，適用冷數(shù)據(jù)存儲(chǔ)、歸檔類存儲(chǔ)、與其他系列存儲(chǔ)配合做分層數(shù)據(jù)管理場(chǎng)景F：Flash-全閃陣列P：Performance–高I/OC：Capacity–大容量高帶寬A：Archive–冷數(shù)據(jù)歸檔可支持多種類型應(yīng)用前端接入linux：紅旗/麒麟、Ubuntu/RedHat/Suse等，內(nèi)核在2.6.18以上Winds：2000以上Apple：10.6以上2016LenovoInternal.Allrightsreserved.LeoStor分布式存儲(chǔ)系統(tǒng)技術(shù)規(guī)格存儲(chǔ)節(jié)點(diǎn)性能安全網(wǎng)絡(luò)元數(shù)據(jù)節(jié)點(diǎn)所有硬件采用完全開放的x86架構(gòu)可配置2/4/6/8…256個(gè)元數(shù)據(jù)節(jié)點(diǎn)單節(jié)點(diǎn)的緩存16G~1.5TB支持元數(shù)據(jù)負(fù)載均衡技術(shù)所有硬件采用完全開放的x86架構(gòu)支持不小于4000個(gè)存儲(chǔ)節(jié)點(diǎn)擴(kuò)展采用前端切片并行存儲(chǔ)體系架構(gòu)單存儲(chǔ)節(jié)點(diǎn)最大480TB容量支持1/10/25/40/100GbE、40/56IB網(wǎng)絡(luò)接口；支持LUN塊設(shè)備、標(biāo)準(zhǔn)NAS協(xié)議和LenoFS專有協(xié)議；支持冗余網(wǎng)絡(luò)和802.3ad鏈路冗余和聚合；I/O帶寬輸出：不少于100GB/秒；OPS并發(fā)打開文件；不少于100萬/秒；響應(yīng)時(shí)間：小于3ms；單卷容量：不少于200PB；跨存儲(chǔ)節(jié)點(diǎn)的副本、N+M糾錯(cuò)碼，最大可利用空間80%；無需節(jié)點(diǎn)內(nèi)硬件RAID保護(hù)；分布式數(shù)據(jù)切片存儲(chǔ)機(jī)制私有研發(fā)數(shù)據(jù)傳輸協(xié)議動(dòng)態(tài)小文件檢索算法動(dòng)態(tài)小文件算法，可通過應(yīng)用端的計(jì)算單元，直接定位文件元數(shù)據(jù)信息，極大提升文件檢索效率；采用分布式讀寫算法，將文件切分之后并行存儲(chǔ)在多臺(tái)存儲(chǔ)服務(wù)器中，以此提升整個(gè)存儲(chǔ)系統(tǒng)數(shù)據(jù)吞吐效率；私有研發(fā)的數(shù)據(jù)傳輸協(xié)議，可針對(duì)應(yīng)用系統(tǒng)的特點(diǎn)進(jìn)行定制化更改，以此契合相關(guān)業(yè)務(wù)應(yīng)用，提升系統(tǒng)訪問效率LeoStor提供高效的數(shù)據(jù)訪問技術(shù)2015LenovoInternal.Allrightsreserved.1PB可用容量情況下，提供10GB/s有效帶寬軟件存儲(chǔ)引擎（文件系統(tǒng)）計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)10GB/sServersServersServersServersServersServers目前系統(tǒng)單盤提供70MB/s的聚合帶寬，系統(tǒng)整體性能比競(jìng)爭(zhēng)友商存儲(chǔ)系統(tǒng)提升30%以上高效的數(shù)據(jù)讀寫方式某石油勘探院某勘探開發(fā)研究院監(jiān)控界面性能截圖全局冗余模式私有研發(fā)數(shù)據(jù)保護(hù)算法存儲(chǔ)內(nèi)部訪問權(quán)限系統(tǒng)內(nèi)部可根據(jù)用戶需求設(shè)置用戶對(duì)數(shù)據(jù)的訪問權(quán)限，此權(quán)限為存儲(chǔ)系統(tǒng)獨(dú)有，即使操作系統(tǒng)管理員權(quán)限也無法逾越系統(tǒng)內(nèi)置全局冗余模式，自動(dòng)探測(cè)系統(tǒng)內(nèi)故障，并啟動(dòng)數(shù)據(jù)恢復(fù)機(jī)制，可屏蔽掉服務(wù)器損壞、硬盤損壞、網(wǎng)絡(luò)損壞對(duì)數(shù)據(jù)影響私有研發(fā)的數(shù)據(jù)保護(hù)算法，將硬件RAID機(jī)制遷移到文件上，使安全性提高的同時(shí)，提升系統(tǒng)整體利用率LeoStor提供高安全性全局冗余模式私有研發(fā)數(shù)據(jù)保護(hù)算法存儲(chǔ)內(nèi)部訪問權(quán)限系統(tǒng)內(nèi)部可根據(jù)用戶需求設(shè)置用戶對(duì)數(shù)據(jù)的訪問權(quán)限，此權(quán)限為存儲(chǔ)系統(tǒng)獨(dú)有，即使操作系統(tǒng)管理員權(quán)限也無法逾越系統(tǒng)內(nèi)置全局冗余模式，自動(dòng)探測(cè)系統(tǒng)內(nèi)故障，并啟動(dòng)數(shù)據(jù)恢復(fù)機(jī)制，可屏蔽掉服務(wù)器損壞、硬盤損壞、網(wǎng)絡(luò)損壞對(duì)數(shù)據(jù)影響私有研發(fā)的數(shù)據(jù)保護(hù)算法，將硬件RAID機(jī)制遷移到文件上，使安全性提高的同時(shí)，提升系統(tǒng)整體利用率LeoStor提供高安全性優(yōu)化的數(shù)據(jù)管理策略空間分配動(dòng)態(tài)切片之后，按照負(fù)載均衡機(jī)制平均分?jǐn)偟剿蟹?wù)器的硬盤中，以此機(jī)制來降低傳統(tǒng)存儲(chǔ)系統(tǒng)給磁盤帶來的壓力以及提升存儲(chǔ)系統(tǒng)的整體性能負(fù)載均衡數(shù)據(jù)切片之后存放在所有存儲(chǔ)服務(wù)器中，且數(shù)據(jù)問是全網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)，無單點(diǎn)訪問效應(yīng)，實(shí)現(xiàn)訪問壓力以及寫入壓力完全負(fù)載均衡擴(kuò)展方式存儲(chǔ)容量增加后，所有數(shù)據(jù)會(huì)實(shí)現(xiàn)自動(dòng)數(shù)據(jù)遷移，實(shí)現(xiàn)在線擴(kuò)展的情況下，系統(tǒng)讀寫性能以及訪問壓力也平滑擴(kuò)展強(qiáng)大的系統(tǒng)管理功能系統(tǒng)全局自動(dòng)容錯(cuò)，所有錯(cuò)誤均可自動(dòng)檢測(cè)并修復(fù)，無需人為參與系統(tǒng)內(nèi)所有服務(wù)器的狀態(tài)均可實(shí)時(shí)反饋到監(jiān)控界面上內(nèi)置管理界面系統(tǒng)，此界面可以進(jìn)行存儲(chǔ)系統(tǒng)所有配置內(nèi)置自動(dòng)報(bào)警機(jī)制，系統(tǒng)運(yùn)行轉(zhuǎn)臺(tái)實(shí)時(shí)反饋給運(yùn)維人員數(shù)據(jù)遠(yuǎn)程容災(zāi)技術(shù)可通過存儲(chǔ)容災(zāi)技術(shù)，保證數(shù)據(jù)完整性。節(jié)點(diǎn)間可實(shí)現(xiàn)模式：“一對(duì)一”“多對(duì)一”“一對(duì)多”的數(shù)據(jù)復(fù)制。總分分WAN(專線)統(tǒng)一存儲(chǔ)無限擴(kuò)容無單點(diǎn)故障統(tǒng)一管理/監(jiān)控業(yè)務(wù)無感知在線軟硬件升級(jí)硬件自檢/報(bào)警機(jī)制可做現(xiàn)有環(huán)境利舊文件快照克隆原生網(wǎng)盤支持容災(zāi)套件自動(dòng)精簡(jiǎn)配置WORM（WriteOnceReadMany）產(chǎn)品功能總結(jié)接口支持系統(tǒng)特