ViPR和DJ領跑軟件定義存儲

1、 ViPR和DJ領跑軟件定義存儲 針對軟件定義存儲(SDS)，各廠商基于在某一領域優(yōu)勢和技術積累都有自己的定義和理解，類似云計算概念，眾說風云。但個人認為，無論廠商提出怎樣差異化的定義都應該靠近SDS可編程、策略驅動、資源池虛擬化，數據面與控制面分離、以服務自動化等的SDS要求。實際上這些要求也是IDC對SDS的定義。 IDC對SDS定義與ONF對軟件定義網絡SDN (OpenFlow)思想不謀而合。SND的核心思想就是數據面和控制面分離，支持異構、業(yè)務編排和服務自動化。因為這樣才能通過軟件層服務目錄和策略做到存儲自動化、模板化和數據智能化。 上個月我在文章大數據時代下數據重刪的考慮中做了技術

2、興趣問卷，從僅有的反饋結果來看，大家還是比較關心存儲和云計算，非常感謝大家的反饋和建議，我會進行相應調整。 今天給大家寫一篇關于存儲的文章。文章以VMware SDDC為引線，對比分析下業(yè)界兩款已經有商業(yè)交付經驗、真正意義上實現控制數據分離的SDS純軟件存儲產品，EMC VIPR和華為OceanStor DJ。SDDC參考架構 SDDC參考架構也是采用類似控制和數據面的劃分思想，目前SDDC已經集成VIPR和NSX產品。其中管理層作為一個獨立的平面掌管整個數據中心，類似于存儲網管軟件?；A架構層包含各種物理基礎設施，承載數據業(yè)務流。 控制層面類似SDN控制面，向下對應計算、網絡、存儲進行虛擬化

3、(虛擬化框架)，向上提供統一的抽象層制定控制策略。應用層包括VMware的各種應用、其他服務以及用戶的應用程序。 2013年EMC發(fā)布了ViPR，接著在ViPR2.0納入ScaleIO、并提供OpenStack的Cinder支持異構存儲、打包軟件ViPR和ECS采用商業(yè)硬件部署；今年在EMC World大會上發(fā)布ViPR3.0增強云集成和第三方存儲接管能力。相比之下，華為DJ發(fā)布要晚一些，但是目前DJ在金融、運營商和汽車制造業(yè)已經有商業(yè)應用，結合企業(yè)網管軟件eSight實現統一管理和服務自動化能力。下面我們從系統架構、生態(tài)合作、技術優(yōu)勢和解決方案等方面對這兩個產品進行分析。系統邏輯架構 ViP

4、R將所有存儲(包括第三方)集成一個存儲池中，將虛擬存儲陣列作為系統管理對象，同時又保留底層物理存儲的特性?？梢钥缭蕉鄠€地點和數據中心分布式部署，對外提供統一的塊存儲、文件存儲以及對象等存儲服務，同時，ViPR基于多租戶提供了統一的元數據服務和自助式的部署、計量和監(jiān)控服務。 控制平面負責發(fā)現、設置和管理存儲設備，包括多租戶、自助式門戶、計量和調配等。ViPR將發(fā)現的物理存儲或存儲池劃分為多個虛擬存儲陣列，按需提供存儲服務?；谔摂M存儲池，實現卷、NFS/CIFS文件系統及高級保護服務(如快照、克隆和復制容災等)，并且提供接口實現了和云平臺的集成。 數據平面負責實際數據的讀寫?？刂破矫嬷惶峁┓漳?/p>

5、錄視圖和管理，真正的數據流通過數據平面直接與底層存儲硬件交互。所以ViPR不會成為性能瓶頸，目前支持NAS和Object的轉換協議(文件中對象數據服務，Isilon對象和文件互通)、支持Amazon S3、OpenStack Swift、Atmos對象API、EMC VNX、Isilon、NetApp文件存儲訪問、HDFS數據服務等。 OceanStor DJ基于X86硬件架構實現，支持文件、塊、對象(計劃中)等存儲服務，并實現和第三方數據保護、容災等軟件和增值特性集成。架構類似于了ViPR，基于策略和可定制模板實現調度、編排和自動化。通過對企業(yè)級存儲的異構接管(呈現成華為的存儲卷)和提供Op

6、enStack存儲標準接口實現資源池化、統一管理存儲和SAN交換機等設備。 EMC VIPR和華為OceanStor DJ產品在架構上比較相似，采用數據平面和控制平面分離架構?；谔摂M存儲池，實現卷、NFS/CIFS文件系統及高級保護服務(如快照、克隆、復制容災和備份等)，并且提供OpenAPI接口實現了和云平臺的集成。 DJ支持華為存儲、FusionStorage和第三方存儲設備(HDS、EMC和HP等)。相比ViPR區(qū)別主要在于DJ完全遵循OpenStack架構，包括對第三方存儲管理都是完全采用Cinder、Malina等接口實現，沒有類似ViPR的私有接口。ViPR架構和主要功能 ViP

7、R是部署在VMware虛擬機純軟件產品，并運行在3-5個服務器虛擬機上組成的ESX集群，由多個虛擬機組成的ViPR實例vApp。用戶在ViPR中基于虛擬陣列創(chuàng)建Virtual Storage Pools(VSP)，為每一個VSP指定存儲屬性(如軟件特性、RAID、路徑數量等)，ViPR根據VSP屬性的匹配來聚集所有物理存儲陣列，根據租戶的請求對應到VSP找到正確的陣列和Pool來滿足資源請求。 ViPR可以自動發(fā)現物理存儲陣列以及其中的物理存儲池和端口，將這些物理存儲池按照能力的不同分到各個虛擬存儲池。同一個物理存儲陣列產品上的多個物理存儲池可以配到多個虛擬存儲池。 一個ViPR實例可以擴展管

8、理位于不同城市的多個物理數據中心，處于不同地理位置并且由同一個ViPR管理的物理存儲集合成一個虛擬存儲中心。 ViPR可以提供存儲DR的自動化，EMCViPR(虛擬)塊控制器與 VPLEX 和 RecoverPoint(物理)塊數據節(jié)點相結合，不同位置的虛擬存儲陣列之間可以通過ContinuousRemote Replication(CRR)技術可以提供數據容災功能。DJ架構和主要功能 OceanStor DJ也是純軟件產品，支持物理部署和虛擬機部署、單節(jié)點和多節(jié)點HA部署(3節(jié)點及以上)方式。DJ在架構上分為存儲功能虛擬化(SFV)架構和SDS架構。 SFV架構支持通用物理硬件、X86服務器

9、和Hypervisor虛擬化服務器等資源。OceanStor存儲平臺和特性可以運行在虛擬機中，基于虛擬機提供定制化和模塊化存儲服務(HDFS、NAS、SAN等)。SDS架構是DJ的核心，把底層的物理存儲和基于SFV虛擬化存儲統一管理，最終池化、自動化和模板化按需自動分配給用戶。 存儲功能虛擬化(SFV)類似于NFV功能，OceanStor OS存儲平臺軟件類似與NFV的管道OS，提供硬件抽象和資源池化；存儲基本功能和增值特性(如NAS、對象、復制、備份、容災等)如同NFV中的網元EPC、IMS、DPI等，DJ SDS平臺就如同NFV中的MANO或Amazon公有云中的Marketplace。

10、DJ提供了數據容災功能，需要提供至少兩臺主備的存儲陣列，分別部署到兩個站點，但兩個站點存儲可以被同一個DJ云平臺管理。 主備復制的災備卷由DJ擴展OpenStack Cinder模塊負責創(chuàng)建，DJ根據被保護的LUN大小、能力、AZ等信息，創(chuàng)建與之對應的災備卷。DPS調用OM服務實現復制關系的創(chuàng)建、啟動、取消等接口轉換，把命令下發(fā)對應的Cinder接口，對應的Cinder驅動找到相應的陣列并執(zhí)行的災備任務。 OceanStor DJ提供了強大的數據保護服務模塊DPS，每個租戶登陸系統提交數據保護(備份和容災等)需求之后，DPS引擎就自動匹配所需資源完成用戶請求，完全向租戶屏蔽了底層數據交互細節(jié)。

11、 租戶通過ManageOne服務中心提交備份服務請求，由DPS完成匹配和任務調度(選擇匹配的備份存儲、備份策略、網絡等)，備份驅動調用備份軟件實現基于快照的備份。業(yè)務自動化發(fā)放流程 ViPR采用基于服務目錄和策略的存儲分配方式，當用戶登錄ViPR portal并請求相關存儲時，首先用戶提交服務要求(如High Performance)，接著ViPR查看與該VSP關聯的策略，找到最合適的存儲陣列和陣列池。 然后自動基于性能選擇存儲端口，按照需求建立zone；將設備放置在一個存儲組中并且指定FAST策略；在這個存儲陣列上執(zhí)行輸出工作流；確認主機到物理存儲的連接。 主機將這些設備視為High Per

12、formance設備并直接讀寫這些設備；當用戶想要做數據保護和數據容災、擴容或刪除等操作，則可直接登錄ViPR portal根據用戶選項來執(zhí)行這些任務。 OceanStor DJ采用服務目錄實現定義了各種存儲服務或特性（如資源池、是否Thin分配、是否使用分層存儲、分層存儲的遷移策略、QoS設定等），用戶可以自定義這些信息。 當租戶提交存儲資源請求時，調度層根據要求的服務類型尋找合適的存儲設備提供服務。調度算法根據底層存儲設備的能力自動匹配這些要求，并找到最合適的存儲設備。 系統管理員根據存儲的類型、用途、容量等屬性，規(guī)劃存儲池。同時根據設計并配置服務目錄。租戶查看OceanStor DJ系統

13、中的存儲服務目錄，租戶通過目錄選取并預定所需的存儲服務。OceanStorDJ系統根據租戶選取的服務種類實現存儲資源的自動配置和發(fā)放，支持存儲掛載到主機。接口開放能力 ViPR提供了Restful API南向、北向接口，可以很好的與第三方應用（如AppSync）和管理軟件進行集成。通過OpenStack接口、SMI-S、XML、存儲接管私有接口、REST等API發(fā)現和管理物理存儲，兼容第三方陣列實現自動連接、發(fā)現陣列和主機和SAN交換機。 ViPR可以與VMware、Hyper-V以及OpenStack進行集成。此外ViPR對VASA，vCenterOrchestrator和vCenter O

14、perations都提供了良好支持。例如vCenter 管理員可以獲得從虛擬機到物理存儲的端到端可見性。 DJ完全融入OpenStack架構，無縫對接OpenStack云平臺，對原來的存儲能力進行了增強。在技術上完全可以替換OpenStack的存儲模塊，并提供更強的存儲能力、業(yè)務自動化能力和數據保護能力。 DJ提供了Restful/Open API北向接口實現和OpenStack、VMware VASA、ManageOne、eSight和第三方管理軟件(CA、vCenter等)對接，提供Restful(OpenStack API)、SMI-S南向接口實現和第三方存儲對接。 DJ和Veritas

15、、CV等主流備份廠商合作，實現了Data Protection Engine(Smaug)數據保護服務模塊，通過Restful接口與第三方備份軟件集成，租戶可以實現數據自助備份和恢復?？梢暬芾砟芰?ViPR版本集成了SRM(Storage Resource Management)和SAS(ServiceAssurance Suites)軟件管理整個ViPR數據中心。 SRM提供資源利用率和容量規(guī)劃，變更管理和性能分析和報告等功能。支持VNXE3200, XtremIO, HDS, HP, IBM XIV以及NetApp等存儲管理。SAS提供端到端的服務等級保障；ViPR管理虛擬存儲。 DJ主

16、要用于存儲資源管理、調度，它在數據中心是被數據中心ManageOne服務中心調度的。eSight則是作為運維中心的部件被集成。ManageOne是云數據中心管理軟件，包括服務自動化SC部件，服務保障OC部件、設備管理eSight部件。 eSight完成數據中心統一管理和監(jiān)控，兼容異構設備，提供統一運維。作為監(jiān)控組件被ManageOne集成。OceanStorDJ專注于存儲虛擬化和服務化，可獨立銷售，也可被華為云管理平臺集成在FusionSphere云計算平臺里。簡單總結： 目前雖有不少廠商把存儲軟硬件解耦、平臺X86化、新硬件、存儲異構接管能力等同于SDS，但是真正基于控制平面和數據平面的SD

17、S才更貼近軟件定義的思想，直接接入而不需改動現網結構，基于非網關形態(tài)從而避免成為性能瓶頸。向上通過北向接口開放存儲能力，在整體SDS方案中保留異構存儲的高級特性。下面簡單對ViPR和DJ進行總結。架構對比 ViPR和DJ都是數據和控制平面分離架構，實現了服務目錄和業(yè)務自動化發(fā)放；但是部署方式和架構實現還是存儲在很大區(qū)別。ViPR采用一般虛擬化部署，采用OpenStack(Cinder、Malina、Swift等)和私有接口實現對第三方存儲進行管理；DJ支持單節(jié)點和HA物理部署和虛擬化部署，對部署虛擬化平臺沒要求，比較靈活。對第三方存儲管理全部采用OpenStack接口，所以主要異構存儲支持Op

18、enStack接口就可以實現和DJ對接，但是支持度依賴于第三方存儲對接口的實現程度。第三方陣列管理 ViPR和NetApp合作通過私有接口實現對FAS存儲管理，私有接口在通信效率和特性展示上具有優(yōu)勢，但是產品升級和換代需要重新定制適配，成本比較高。DJ依賴OpenStack和陣列異構接管第三方存儲(當作華為設備管理)，技術比較開放，但是目前支持的異構陣列還沒有ViPR多。數據保護能力 ViPR集成VPLEX，AppSync、RecoveryPoint和存儲增值特性，在雙活和DCP方面優(yōu)勢比較明顯。DJ基礎數據保護套件，如eBackup、存儲復制、第三方備份軟件(CV)和存儲增值特性，所以在數據備份領域具有一定優(yōu)勢，尤其是集成并增強FusionSphere OpenStack版本存儲能力，可以實現云平臺的數據備份和容災等能力。自動化能力 ViPR和DJ在業(yè)務模板、服務目錄和資源管理方面能力基本差不多，但是ViPR在資源自動掛載上具有優(yōu)勢，目前支持AIX、AIX VIO、Linux、Windows、ESXi等服務器自動掛載，但是DJ目前只限于Linux和ESXi服務器。開放能力 ViPR和DJ都是比較開放的平臺，開放接口支持第三方運維、管理平臺。但是ViPR目前主要還是與VMware