SUSE分布式存儲技術(shù)解決方案

1、SUSE 分布式存儲技術(shù)解決方案Breadcrumbs2產(chǎn)品概述技術(shù)特點(diǎn)產(chǎn)品路線圖使用場景成功案例內(nèi)容3產(chǎn)品概述SUSE Enteprise Storage一個高度“產(chǎn)品化”的開源存儲軟件存儲池2013年組建Ceph開發(fā)團(tuán)隊, 加入Ceph社區(qū)Ceph理事會，8大理事會員代碼貢獻(xiàn)TOP3很多前Inktank 開發(fā)人員加大研發(fā)投入: 2016年中收購存儲管理廠家:openATTIC存儲管理工具openATTIC貢獻(xiàn)給Ceph社區(qū)，作為默認(rèn)的Ceph管理工具(Ceph dashboard)SUSE 在Ceph社區(qū)上的地位 6技術(shù)特點(diǎn)SUSE Enterprise Storage 架構(gòu)客戶端(Win

2、dows, Linux, Unix)SUSE Enterprise Storage塊設(shè)備存儲（SAN）Server對象存儲（Objects）文件系統(tǒng)（NAS）Storage ServerStorage ServerStorage ServerStorage ServerServerServerStorage ServerStorage Server應(yīng)用程序共享文件OSDOSDOSDOSDOSDOSD網(wǎng)絡(luò)協(xié)議集群MONRBDiSCSIS3SWIFTNFSCephFS*NFSCIFSMonitorsMONMONSUSE Enterprise Storage核心開發(fā)領(lǐng)域統(tǒng)一塊、文件和物件結(jié)構(gòu)互連緩存

3、分層容器化分層存儲管理備份/歸檔持續(xù)數(shù)據(jù)保護(hù)遠(yuǎn)程復(fù)制易于安裝基于GUI的監(jiān)控和管理易管理性互操作性性能可用性9產(chǎn)品路線圖2017201820202021SUSE Enterprise Storagev4v5v6基于Ceph Luminous版本SUSE Linux Enterprise Server 12 SP3易管理性openATTIC 第2階段Grafana監(jiān)控儀表板Prometheus事件告警 電子郵件DeepSea (Salt) 第2階段從Filestore在線升級到BlueStore互操作性NFS GaneshaNFS接入S3部分CIFS Samba*支持CephFS Multi M

4、DS可用性帶糾刪碼的塊和文件效率BlueStore后端數(shù)據(jù)壓縮v5基于Ceph Luminus版本SUSE Linux Enterprise Server 12 SP3易管理性國際化適用性增強(qiáng)預(yù)定義的簡檔自主數(shù)據(jù)平衡器*DeepSea (Salt) 第3階段互操作性非SUSE RBD和CephFS客戶端CIFS/Samba AppArmor安全模塊可用性通過N/N-1實現(xiàn)多站點(diǎn)RADOSGW N+1效率BlueStore/RocksDB優(yōu)化基于Ceph Octopus版本SUSE CaaS Platform 易管理性與Rook + Kubernetes集成Phone home 第2階段自主PG

5、擴(kuò)展自愈PG互操作性容器化部署原生Windows客戶端驅(qū)動程序節(jié)點(diǎn)至節(jié)點(diǎn)加密一個集群中有多個CephFS實例NFS-Ganesha雙活架構(gòu)RDMA后端*可用性通過S3單向同步到外部云異步文件復(fù)制效率SW緩存層對象存儲Daemon優(yōu)化S3對象策略驅(qū)動的分層基于Ceph Nautilus版本SUSE Linux Enterprise Server 15 SP1易管理性Ceph儀表板（取代oA）Phone home（指標(biāo)和錯誤分析）增強(qiáng)的PG平衡自主PG擴(kuò)展*CephFS目錄配額平滑系統(tǒng)關(guān)閉存儲機(jī)箱磁盤集成互操作性IPv6RGW Elasticsearch同步模塊節(jié)點(diǎn)至節(jié)點(diǎn)加密*一個集群中有多個Ce

6、phFS實例*NFS-Ganesha雙活架構(gòu)*可用性通過S3單向同步到外部云CephFS快照異步文件復(fù)制*效率RBD和后臺操作的QoSS3對象策略驅(qū)動的分層* V5.5V6V7* 前瞻信息，可能隨時更改2019v7* 技術(shù)預(yù)覽項SUSE Enterprise Storage 管理安裝導(dǎo)入未管理的SUSE Enterprise Storage集群配置在線文件恢復(fù)到BlueStore管理部署、配置、分配節(jié)點(diǎn)iSCSI目標(biāo)管理RGW用戶、區(qū)間、密鑰查看、創(chuàng)建、刪除CephFSNFS Ganesha網(wǎng)關(guān)監(jiān)控Grafana儀表板CephFS狀態(tài)診斷OSD健康狀態(tài)配置將EC轉(zhuǎn)換為復(fù)制（反之亦然）管理RBD

7、快照OpenStack集成集群重構(gòu)流程管理節(jié)點(diǎn)冗余階段1 監(jiān)控事件通知告警*配置向現(xiàn)有節(jié)點(diǎn)部署新OSDCIFS/Samba RGW和CephFS遠(yuǎn)程復(fù)制同步到外部云管理CephFS快照集群拓?fù)鋱D指導(dǎo)升級流程監(jiān)控OSD和MDS統(tǒng)計Ceph客戶端性能診斷預(yù)測性磁盤故障分析故障排除指導(dǎo)OSD修復(fù)指導(dǎo)配置iSCSI NFS-Ganesha Phone homeRBD QoS參數(shù)后臺操作參數(shù) (QoS) RBD遠(yuǎn)程復(fù)制管理基于角色的Ceph儀表板本地化Ceph儀表板Ceph儀表板SSO (SAMLv2)Crush地圖查看器RBD快照監(jiān)控實時性能指標(biāo)橫向擴(kuò)展Prometheus 監(jiān)控事件通知告警SNMP捕

8、獲命令審計日志 2017201820202021v4v5v6v5V5.5V6V72019v7* 前瞻信息，可能隨時更改* 技術(shù)預(yù)覽項12場景和案例場景： 虛擬化和OpenStack私有云SUSE Enterprise Storage 軟件痛點(diǎn)： 軟件成本僅支持一種虛擬化平臺部署有限的擴(kuò)展能力單一存儲訪問方式,內(nèi)部或iscsi方案優(yōu)勢： 支持多種虛擬化平臺：Vmware，HyperV，KVM/XEN，OpenStack, Huawei Fusionphere提供多種連接方式：iSCSI，NFS，CIFS，RBD支持多品牌服務(wù)器，簡化IT基礎(chǔ)架構(gòu)70%的openstack 使用Ceph 作為其存儲

9、高級軟件功能：克隆，Cache Tiering案例： VsphereHyper-VKVM/OpenStackiSCSINFSiSCSICIFSRBDNFS高速IP 網(wǎng)絡(luò) 案例：某省移動混合云平臺的企業(yè)級存儲解決方案VMware vSphereVM1VM2VMFSvmdk1vmdk2SUSE 分布式存儲SUSE Enterprise StorageiSCSI華為虛擬化Fusionsphere塊存儲iSCSI同時滿足VMWare vSphere和各種虛擬化(KVM/XEN/Hyper-v)對存儲的需求云原生存儲SUSE Enterprise Storage物理機(jī)虛擬機(jī), GPU容器云 Kubere

10、netesHadoop SparkKafka ElasticsearchKibana Hue數(shù)據(jù)分析Kubeflow PytorchAI LibraryJupyterHub人工智能AI 機(jī)器學(xué)習(xí)ML場景：某銀行容器云存儲RBDCephFS場景： 文件服務(wù)器16NFSv3/4CephFSCIFS/SMB痛點(diǎn)： 多臺文件服務(wù)器，服務(wù)器磁盤沒有保護(hù)，沒有統(tǒng)一的數(shù)據(jù)保護(hù)和備份策略每個文件服務(wù)器上都有空間沒有被利用，存儲利用率不高。方案優(yōu)勢： SES 可以提供TB到PB的擴(kuò)展。數(shù)據(jù)整合后，提高了存儲的利用率強(qiáng)大的數(shù)據(jù)保護(hù)能力SUSE Enterprise Storage 軟件案例：XX汽車公司XX半導(dǎo)體

11、制造公司 XX報業(yè)集團(tuán)案例：某銀行替換錄音系統(tǒng)NAS場景：視頻監(jiān)控痛點(diǎn)： 成本提高磁盤利用效率，降低磁盤空間消耗容量擴(kuò)展：高容量以及可伸縮的容量擴(kuò)展能力性能：大路數(shù)并發(fā)搞清碼流的實時數(shù)據(jù)讀寫方案優(yōu)勢： Scale Out 架構(gòu)，滿足容量和性能彈性伸縮糾刪碼保護(hù)方式，提供高可靠性的同時，提供高存儲效率軟件定義：支持通用硬件，降低采購成本案例： 場景：數(shù)據(jù)備份云存儲痛點(diǎn)支持多種備份接口方案特點(diǎn)案例1, 陣列備份成本高2, 磁帶保護(hù)環(huán)境要求苛刻磁帶備份隨機(jī)恢復(fù)速度慢4 磁帶介質(zhì)可靠性差5, 備份性能無法滿足業(yè)務(wù)擴(kuò)展需要標(biāo)準(zhǔn)接口：NFS，CIFS，RBD，iSCSI云接口： S3， Swift滿足備份

12、數(shù)據(jù)增長的需要適用于100TB- PB備份環(huán)境Scale-out 架構(gòu)，增加節(jié)點(diǎn)能夠擴(kuò)展 到數(shù)百PB增加硬件后，自動平衡數(shù)據(jù)的分布滿足備份服務(wù)級別分布式存儲提供超高吞吐量，減少備份窗口備份到磁盤，減少了數(shù)據(jù)恢復(fù)時間降低擁有成本開源軟件+ 通用硬件存儲集群自我管理、自我修復(fù)能力，降低了管理成本XX保險公司 （中國）XX汽車座椅制造（中國）XX醫(yī)院 （德國）Data Protector 應(yīng)用服務(wù)器備份服務(wù)器SUSE 企業(yè)存儲S3 API生產(chǎn)網(wǎng)絡(luò)場景：大數(shù)據(jù)分析數(shù)據(jù)分析MRSparkHDFSS3 APIRGWMDS計算性能S3 比HDFS 性能相當(dāng)收益：解決了大數(shù)據(jù)環(huán)境下的快速部署解決了數(shù)據(jù)遷移復(fù)制

13、開銷彈性計算和存儲各個應(yīng)用之間統(tǒng)一使用 S3 進(jìn)行存儲數(shù)據(jù)和管理，方便和其他的系統(tǒng)做數(shù)據(jù)交互場景：數(shù)據(jù)高可靠園區(qū)高速網(wǎng)絡(luò)樓宇1樓宇2樓宇2痛點(diǎn)方案特點(diǎn)案例1, 如何實現(xiàn)數(shù)據(jù)中心維護(hù)切換, 數(shù)據(jù)訪問不間斷2, 如何保證樓宇災(zāi)難,數(shù)據(jù)訪問不間斷3, 傳統(tǒng)存儲復(fù)制技術(shù)需要切換時間, 如何實現(xiàn)RTO=0, RPO=0數(shù)據(jù)均衡分布在多三個故障域中， 單故障域發(fā)生故障時， 務(wù)不中斷,無數(shù)據(jù)丟失，無切換時間：RPO=0, RTO=0 某大學(xué)醫(yī)院(德國)場景：對象存儲- 海量小文件存儲解決方案WebMobileDesktop應(yīng)用服務(wù)器集群S3 APISUSE Enterprise Storage 軟件終端設(shè)備

14、對象存儲性能池負(fù)載均衡設(shè)備HTTP/REST痛點(diǎn)： 海量小文件，文件規(guī)模達(dá)到億級別，NAS查詢性能低存儲容量增長迅速，PB級別的存儲多種類型終端設(shè)備訪問(傳感器，IOT設(shè)備，手機(jī)等)方案優(yōu)勢： SES 可以提供TB到PB的擴(kuò)展,無縫平滑擴(kuò)展提供S3和URL標(biāo)準(zhǔn)訪問方式，滿足多種終端設(shè)備的訪問EC保護(hù)方式，提供高可靠性的同時，提供高存儲效率支持性能和容量存儲池，滿足不同業(yè)務(wù)需求Gartner 排名前10的對象存儲廠商對象存儲容量池案例： XX保險公司XX汽車研究院案例:某省遠(yuǎn)程醫(yī)療省級管理平臺用戶需求: 其中影像數(shù)據(jù)、遠(yuǎn)程音視頻數(shù)據(jù)采用分布式存儲的方式進(jìn)行數(shù)據(jù)保存業(yè)務(wù)影像數(shù)據(jù)和視頻數(shù)據(jù)的容量為760T，業(yè)務(wù)影像視頻數(shù)據(jù)是逐年增長，即一年存儲容量240T,第二年存儲容量490T，第三年存儲容量760T.23配置:序號組件范圍組件數(shù)量a1主機(jī)箱(包含典配模型的其他組配件 風(fēng)扇 上架套件 至少含雙端口1GE)典配2-1模型1機(jī)箱(包含典配模型的其他組配件 風(fēng)扇 上架套件 至少含雙端口1GE)1 2CPUSilver 4114 （10c 2.2GHz）2 3單條內(nèi)存單條DDR4-2400 及以上ECC Registered DIMM_32GB12 4單塊硬盤960G【Intel S4500或同等級企業(yè)級ssd】2 單塊硬盤PCI