OceanStor Dorado存儲(chǔ)基于VMWare VSI重刪壓縮配置指南

1、華為 OceanStor Dorado6000 存儲(chǔ)基于VMware VSI 場(chǎng)景的重刪壓縮配置指南虛擬化為數(shù)據(jù)中心帶來了一次偉大的變革，企業(yè)數(shù)據(jù)中心已經(jīng)由傳統(tǒng)數(shù)據(jù)中心逐漸轉(zhuǎn)向虛擬化，而且數(shù)量正在不斷增長(zhǎng)。在 VMware VSI 基礎(chǔ)架構(gòu)下使用華為存儲(chǔ)重刪壓縮特性改善資源利用、提升運(yùn)營(yíng)效率。目錄 HYPERLINK l _bookmark0 概述4 HYPERLINK l _bookmark1 內(nèi)容簡(jiǎn)介4 HYPERLINK l _bookmark2 面向讀者4 HYPERLINK l _bookmark3 用戶收益4 HYPERLINK l _bookmark4 關(guān)鍵組件4 HYPERLI

2、NK l _bookmark5 負(fù)載模型5 HYPERLINK l _bookmark6 數(shù)據(jù)庫(kù)類5 HYPERLINK l _bookmark7 郵件類5 HYPERLINK l _bookmark8 Web/App 類5 HYPERLINK l _bookmark9 適用場(chǎng)景6 HYPERLINK l _bookmark10 服務(wù)器虛擬化6 HYPERLINK l _bookmark11 業(yè)務(wù)場(chǎng)景6 HYPERLINK l _bookmark12 注意事項(xiàng)7 HYPERLINK l _bookmark13 VSI 場(chǎng)景配置存儲(chǔ)壓縮特性8 HYPERLINK l _bookmark14 VS

3、I 場(chǎng)景應(yīng)用簡(jiǎn)介8 HYPERLINK l _bookmark15 數(shù)據(jù)庫(kù)類8 HYPERLINK l _bookmark16 郵件類8 HYPERLINK l _bookmark17 Web/App 類8 HYPERLINK l _bookmark18 解決方案9 HYPERLINK l _bookmark19 方案架構(gòu)9 HYPERLINK l _bookmark20 方案硬件配置9 HYPERLINK l _bookmark21 方案軟件配置10 HYPERLINK l _bookmark22 方案存儲(chǔ)配置10 HYPERLINK l _bookmark23 應(yīng)用配置11 HYPERLI

4、NK l _bookmark24 驗(yàn)證步驟11 HYPERLINK l _bookmark25 環(huán)境部署11 HYPERLINK l _bookmark26 數(shù)據(jù)重刪壓縮效果測(cè)試12 HYPERLINK l _bookmark27 4 附錄14 HYPERLINK l _bookmark28 參考文檔14 HYPERLINK l _bookmark29 術(shù)語表14 1 概 述內(nèi)容簡(jiǎn)介OceanStor Dorado6000 V3 全閃存存儲(chǔ)的智能數(shù)據(jù)重刪壓縮特性（SmartDedupe & SmartCompression ），旨在減少冗余數(shù)據(jù)占用的存儲(chǔ)空間，提高存儲(chǔ)系統(tǒng)的傳輸、處理和存儲(chǔ)效率

5、。本文主要驗(yàn)證 OceanStor Dorado6000 V3 全閃存存儲(chǔ)的 SmartDedupe &SmartCompression 特性在 VMware VSI 場(chǎng)景下的效果，旨在為華為合作伙伴和華為用戶的 IT 系統(tǒng)解決方案提供參考。面向讀者本文檔面向華為員工、合作伙伴與客戶。用戶收益使用華為 OceanStor Dorado6000 V3 全閃存存儲(chǔ)的 SmartDedupe & SmartCompression 特性，能有效減少冗余數(shù)據(jù)及其所占用的存儲(chǔ)空間。關(guān)鍵組件本文中描述的內(nèi)容主要基于以下硬件和軟件。硬件：華為 OceanStor Dorado6000 V3 全閃存存儲(chǔ)系統(tǒng) V

6、300R100C00 版本華為 RH2288 V2 服務(wù)器應(yīng)用軟件和測(cè)試工具：VMware vSphere 6.0 虛擬化軟件Huawei UltraPath 8.06.063 多路徑軟件Oracle Database 數(shù)據(jù)庫(kù)軟件Microsoft Exchange Server 2013 郵件軟件Web 2.0 負(fù)載測(cè)試軟件SLOB 測(cè)試工具M(jìn)icrosoft Exchange Load Generator 2013 測(cè)試工具應(yīng)用操作系統(tǒng)：Redhat Enterprise Server 6.5Windows Server 2012 R2 x64SUSE Linux Enterprise S

7、erver 11SP2負(fù)載模型數(shù)據(jù)庫(kù)類本文使用業(yè)界通用的 SLOB（Silly Little Oracle Benchmark）測(cè)試工具模擬了 Oracle OLTP（Online Transaction Processing）業(yè)務(wù)負(fù)載模型。從 I/O 層來看，該業(yè)務(wù)負(fù)載模型為小數(shù)據(jù)塊隨機(jī)訪問，讀寫比例可變，代表了一種典型的 OLTP 業(yè)務(wù)模型。郵件類本文使用與Exchange Server 配套的測(cè)試工具Load Generator 2013 模擬了Microsoft Office Outlook 2003/2007（聯(lián)機(jī)和緩存）和 Outlook Web App 客戶端活動(dòng)。該測(cè)試工具可以

8、使用一種或多種協(xié)議生成負(fù)載，從而達(dá)到模擬郵件類業(yè)務(wù)的效果。Web/App 類本文使用 Apache 旗下的一個(gè)基于 Web 2.0 的應(yīng)用和負(fù)載生成器模擬了 Web/App 類虛擬服務(wù)器的業(yè)務(wù)模型。該類虛擬服務(wù)器需要處理運(yùn)行程序和大量用戶請(qǐng)求的業(yè)務(wù)邏輯，并將存儲(chǔ)在數(shù)據(jù)庫(kù)或文件系統(tǒng)內(nèi)的動(dòng)態(tài)資源傳輸客戶端，是典型的 Web/App 類業(yè)務(wù)模型。 2適用場(chǎng)景服務(wù)器虛擬化將獨(dú)立部署在大量物理服務(wù)器上的應(yīng)用部署在虛擬機(jī)上，可以有效提升服務(wù)器資源利用率、實(shí)現(xiàn)管理維護(hù)的便捷性、實(shí)現(xiàn)更好的擴(kuò)展性和可靠性，為 IT 帶來了一次偉大的變革。據(jù)調(diào)研機(jī)構(gòu)的數(shù)據(jù)顯示，應(yīng)用已轉(zhuǎn)向虛擬化平臺(tái)的比例越來越高，隨著業(yè)務(wù)的不斷增

9、長(zhǎng)，企業(yè)的業(yè)務(wù)數(shù)據(jù)也呈現(xiàn)爆炸式的增長(zhǎng)，需要存儲(chǔ)的數(shù)據(jù)越來越多。隨著數(shù)據(jù)量的增大，企業(yè)可能面臨如下問題：業(yè)務(wù)數(shù)據(jù)中可能存在大量的冗余數(shù)據(jù)。冗余數(shù)據(jù)的增長(zhǎng)勢(shì)必導(dǎo)致購(gòu)買存儲(chǔ)設(shè)備的費(fèi)用大幅增長(zhǎng)。存儲(chǔ)設(shè)備的增加，提高了維護(hù)管理的復(fù)雜性。同時(shí)，為了維持設(shè)備的正常運(yùn)行，需要投入大量的資金用于建設(shè)機(jī)房環(huán)境、提供電力和冷卻系統(tǒng)。冗余數(shù)據(jù)帶來的價(jià)值遠(yuǎn)遠(yuǎn)小于企業(yè)用于維護(hù)存儲(chǔ)設(shè)備的成本。因此，在保證信息不丟失， 不影響業(yè)務(wù)數(shù)據(jù)準(zhǔn)確性的前提下，縮減冗余數(shù)據(jù)量，減少冗余數(shù)據(jù)占用的存儲(chǔ)空間已經(jīng)成為了企業(yè)不可避免的問題。為了解決上述問題，OceanStor Dorado V3 全閃存存儲(chǔ)提供 SmartDedupe &Sma

10、rtCompression 特性，解決了冗余數(shù)據(jù)占用大量存儲(chǔ)空間的問題，實(shí)現(xiàn)存儲(chǔ)資源利用率最大化，同時(shí)提高存儲(chǔ)系統(tǒng)的傳輸、處理和存儲(chǔ)效率。業(yè)務(wù)場(chǎng)景華為 OceanStor Dorado6000 V3 全閃存存儲(chǔ)提供的 SmartDedupe & SmartCompression 特性在虛擬化應(yīng)用場(chǎng)景中具有較大的優(yōu)勢(shì)。在虛擬化應(yīng)用中，用戶將大量虛擬機(jī)文件存放在存儲(chǔ)設(shè)備中，這些文件通常包含相同的操作系統(tǒng)，這就意味著大量的重復(fù)數(shù)據(jù)，另外用戶數(shù)據(jù)也存在大量的重復(fù)數(shù)據(jù)。華為 OceanStor Dorado6000 V3 全閃存存儲(chǔ)可以對(duì)接不同廠家的虛擬化平臺(tái)，用戶可根據(jù)實(shí)際情況在虛擬化平臺(tái)之上構(gòu)建多個(gè)

11、虛擬化應(yīng)用以滿足不同的業(yè)務(wù)需求。表 2-1 描述的是常見的虛擬化平臺(tái)及部分虛擬化應(yīng)用，版本支持滿足兼容性的所有通用版本。表2-1 常見業(yè)務(wù)場(chǎng)景虛擬化平臺(tái)VSI 應(yīng)用存儲(chǔ)VMware ESXIWeb/App Server Oracle Database Microsoft SQL ServerMicrosoft Exchange Server華 為 OceanStor Dorado V3 全閃存存儲(chǔ)Huawei FusionComputeMicrosoft Hyper-VCitrix XenServerFile Sharing ApplicationERP Application注意事項(xiàng)為達(dá)到更

12、好的重刪壓縮效果而不影響性能，請(qǐng)?jiān)趯?shí)際配置中注意一下幾點(diǎn)：數(shù)據(jù)庫(kù)類虛擬服務(wù)器建議應(yīng)用層面不開啟壓縮，并且將虛擬機(jī)的系統(tǒng)盤與數(shù)據(jù)盤分開放置于不同 LUN 之中，系統(tǒng)盤所在 LUN 只開啟重刪，數(shù)據(jù)盤所在 LUN 只開啟壓縮。華為 OceanStor Dorado V3 全閃存存儲(chǔ)系統(tǒng)采用全局重刪方式，因此，數(shù)據(jù)縮減效果與 LUN 數(shù)量無直接關(guān)系，可配置多個(gè) LUN，提高并發(fā)性以提高性能。郵件類和 Web/App 類的虛擬服務(wù)器，應(yīng)根據(jù)實(shí)際應(yīng)用和性能需求，確定重刪壓縮配置。 3 VSI 場(chǎng)景配置存儲(chǔ)壓縮特性VSI 場(chǎng)景應(yīng)用簡(jiǎn)介根據(jù)虛擬機(jī)的資源需求，可將虛擬機(jī)歸類于“算密集型”、“網(wǎng)絡(luò)密集型”、“

13、存儲(chǔ)密集型”三種類型，根據(jù)不同類型虛擬機(jī)的存儲(chǔ)需求（容量、IOPS/GB、響應(yīng)時(shí)間等）， 制定不同的存儲(chǔ)方案和重刪壓縮配置，做到最大化資源利用率。企業(yè)資源管理系統(tǒng)和辦 公協(xié)作系統(tǒng)的核心系統(tǒng)都是基于數(shù)據(jù)庫(kù)系統(tǒng)，其業(yè)務(wù)特性和數(shù)據(jù)庫(kù)系統(tǒng)的業(yè)務(wù)特性類同。因此，虛擬化的關(guān)鍵業(yè)務(wù)可以分為數(shù)據(jù)庫(kù)系統(tǒng)、郵件服務(wù)系統(tǒng)和企業(yè) Web 系統(tǒng)三類。數(shù)據(jù)庫(kù)類數(shù)據(jù)庫(kù)虛擬機(jī)屬于計(jì)算密集和存儲(chǔ)密集類型。數(shù)據(jù)庫(kù)業(yè)務(wù)承載著企業(yè)的關(guān)鍵信息資產(chǎn)， 其性能和可用性要求最高，隨著虛擬化技術(shù)的發(fā)展，將傳統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器部署在虛擬化 平臺(tái)上，可實(shí)現(xiàn)服務(wù)器虛擬化，極大地降低了生產(chǎn)和維護(hù)成本。常見的數(shù)據(jù)包括 Oracle 和 Microsoft

14、SQL Server，部署數(shù)據(jù)庫(kù)類的虛擬機(jī)時(shí)，應(yīng)考慮分配高 SLA 級(jí)別（高 IOPS/GB、低 I/O 響應(yīng)時(shí)間）的存儲(chǔ)池，滿足關(guān)鍵應(yīng)用的性能需求。郵件類郵件類虛擬機(jī)屬于計(jì)算密集和網(wǎng)絡(luò)密集類型。在 Exchange 2013 中，郵箱服務(wù)器角色通過以下過程直接與 Active Directory、客戶端訪問服務(wù)器和 Microsoft Outlook 客戶端進(jìn)行交互：郵箱服務(wù)器使用 LDAP 從 Active Directory 中訪問收件人、服務(wù)器和組織配置信息?？蛻舳嗽L問服務(wù)器提供身份驗(yàn)證、代理和有限重定向服務(wù)，并提供所有常見的客戶端訪問協(xié)議：HTTP、POP、IMAP 和 SMTP。客

15、戶端訪問服務(wù)器是無狀態(tài)的瘦服務(wù)器，不執(zhí)行任何數(shù)據(jù)渲染?？蛻舳嗽L問服務(wù)器上從不會(huì)排隊(duì)或存儲(chǔ)任何內(nèi)容。Web/App 類Web 類虛擬機(jī)屬于網(wǎng)絡(luò)密集和存儲(chǔ)密集類型。此類虛擬機(jī)運(yùn)行 Web 和應(yīng)用服務(wù)器，為最終用戶提供客戶端接入和業(yè)務(wù)邏輯處理等功能，Web 或應(yīng)用服務(wù)器接收到用戶的HTTP 或 TCP/IP 請(qǐng)求時(shí)，運(yùn)行服務(wù)器端的網(wǎng)頁、腳本、Java 等程序，處理業(yè)務(wù)邏輯，并從本地讀取靜態(tài)文件，從后端的數(shù)據(jù)庫(kù)服務(wù)器獲取或更新動(dòng)態(tài)數(shù)據(jù)，從后端的文件服務(wù)器獲取或更新動(dòng)態(tài)文件，將數(shù)據(jù)傳輸?shù)娇蛻舳苏宫F(xiàn)。Web/App 服務(wù)端程序和靜態(tài)文件一般只有幾十 MB若干 GB，在頻繁的用戶請(qǐng)求過程中，這些程序和靜態(tài)文

16、件一般會(huì)緩存到服務(wù)器內(nèi)存，不再?gòu)谋P上讀取，該類虛擬機(jī)產(chǎn)生的 I/O 主要來自于服務(wù)器程序日志和OS 內(nèi)存交換，對(duì) I/O 吞吐量和 I/O 響應(yīng)時(shí)間的要求不高。解決方案方案架構(gòu)本方案使用 4 臺(tái)服務(wù)器，2 臺(tái) 16G 光纖交換機(jī)搭建的雙交換網(wǎng)絡(luò)；組成 VSI 環(huán)境進(jìn)行測(cè)試；主要測(cè)試內(nèi)容是 OceanStor Dorado6000 V3 全閃存存儲(chǔ)的 SmartDedupe &SmartCompression 特性解決業(yè)務(wù)數(shù)據(jù)增長(zhǎng)時(shí)冗余數(shù)據(jù)占用大量存儲(chǔ)空間的問題。本方案中驗(yàn)證的問題：1） 使用 SmartDedupe & SmartCompression 特性對(duì)后端存儲(chǔ)空間的節(jié)省情況。圖3-1

17、方案架構(gòu)方案硬件配置服務(wù)器采用華為 RH2288 V2 服務(wù)器，存儲(chǔ)采用 OceanStor Dorado6000 V3，配置 2 臺(tái) 8G光纖交換機(jī)，2 臺(tái) 1GE 交換機(jī)，具體配置如表 3-1 所示：表3-1 硬件配置設(shè)備名稱組件數(shù)量服務(wù)器RH2288 V2：256GB memory2 Intel(R) Xeon(R)E5-2660 CPUs2 Qlogic 8Gbps FC Dual-Port HBA2 Intel 1Gbps Ethernet HBA card4存儲(chǔ)設(shè)備OceanStor Dorado6000 V3： 2 controllers1 2U 25 slots disk en

18、closures 25 900GB SSD disks2Four-Port SmartIO I/O Modules1光纖交換機(jī)SNS222421GE 交換機(jī)S57002方案軟件配置軟件和操作系統(tǒng)選擇使用通用版本，多路徑軟件選擇匹配 OceanStor Dorado6000 V3 的版本，具體配置如表 3-2 所示：表3-2 軟件配置環(huán)境項(xiàng)目名稱軟件數(shù)據(jù)庫(kù)環(huán)境操作系統(tǒng)Redhat Enterprise Linux Server 6.5數(shù)據(jù)軟件Oracle Database 郵件系統(tǒng)操作系統(tǒng)Windows Server 2012郵件工具M(jìn)icrosoft Exchange Server 2013W

19、eb/App 軟件操作系統(tǒng)SUSE Linux Enterprise Server 11SP2存儲(chǔ)OceanStor Dorado6000 V3V003R100C00多路徑軟件UltraPathHuawei UltraPath 8.06.063方案存儲(chǔ)配置創(chuàng)建一個(gè)硬盤域，采用高熱備策略；在硬盤域創(chuàng)建一個(gè)存儲(chǔ)池，采用 RAID6 配置。為了便于管理，數(shù)據(jù)庫(kù)和郵件虛擬機(jī)都采取系統(tǒng)盤與數(shù)據(jù)盤分開放置的方式，3 種應(yīng)用的LUN 的容量和數(shù)量參考圖 3-2。圖3-2 存儲(chǔ)配置示意圖（表）LUN 名稱ID重刪壓縮開關(guān)容量描述VSI_DB_OS_010重刪500GB存放數(shù)據(jù)庫(kù)類虛擬機(jī)的系統(tǒng)盤VSI_DB_O

20、S_021重刪500GB存放數(shù)據(jù)庫(kù)類虛擬機(jī)的系統(tǒng)盤VSI_DB_DATA_012壓縮1TB存放數(shù)據(jù)庫(kù)類虛擬機(jī)的數(shù)據(jù)盤VSI_DB_DATA_023壓縮1TB存放數(shù)據(jù)庫(kù)類虛擬機(jī)的數(shù)據(jù)盤VSI_DB_DATA_034壓縮1TB存放數(shù)據(jù)庫(kù)類虛擬機(jī)的數(shù)據(jù)盤VSI_DB_DATA_045壓縮1TB存放數(shù)據(jù)庫(kù)類虛擬機(jī)的數(shù)據(jù)盤VSI_Mail_OS6重刪壓縮500GB存放郵件類虛擬機(jī)的系統(tǒng)盤VSI_Mail_DATA_017重刪壓縮7TB存放郵件類虛擬機(jī)的數(shù)據(jù)盤VSI_Mail_DATA_028重刪壓縮7TB存放郵件類虛擬機(jī)的數(shù)據(jù)盤VSI_WEB_DB_019重刪壓縮500GB存放 Web/App 類的數(shù)據(jù)

21、庫(kù)虛擬機(jī)VSI_WEBserver_0110重刪壓縮500GB存放 Web/App 類的服務(wù)器虛擬機(jī)應(yīng)用配置表3-3 應(yīng)用配置表應(yīng)用類別需求容量/類型/數(shù)量數(shù)據(jù)庫(kù)類讀寫比例7：3DB 配置數(shù)8郵件類郵箱數(shù)量2000郵箱大小2GB用戶預(yù)置數(shù)據(jù)1GB每日發(fā)送/接受郵件數(shù)150Web/App 類Web Server 總數(shù)20驗(yàn)證步驟環(huán)境部署表3-4 環(huán)境部署步驟TaskStepDescription1準(zhǔn)備物理環(huán)境（硬件及組網(wǎng)）2安裝配置操作系統(tǒng)2.1在四臺(tái) RH2288 服務(wù)器上安裝 ESXi 6.02.2配置 IP 地址2.3安裝 OceanStor UltraPath 并重啟系統(tǒng)3配置存儲(chǔ)子系統(tǒng)3.1導(dǎo)入存儲(chǔ)配置需要的相關(guān) License3.2配置存儲(chǔ)資源 (Disk Domain, Storage Pool, LUNs, LUN group)3.3創(chuàng)建主機(jī)、主機(jī)