在虛擬化平臺(tái)上運(yùn)行中間件的最佳實(shí)踐

1、在虛擬化平臺(tái)運(yùn)行中間件的最佳實(shí)踐Agenda? Java平臺(tái)概述? 為什么虛擬化Java平臺(tái)? Java平臺(tái)設(shè)計(jì)與規(guī)劃? 遷移方法論? Java平臺(tái)最佳實(shí)踐和調(diào)優(yōu)? 成功案例Java平臺(tái)概述應(yīng)用架構(gòu)?Java平臺(tái)一般都會(huì)涉及多個(gè)組織，維護(hù)較為復(fù)雜數(shù)據(jù)庫Java應(yīng)用負(fù)載均衡層負(fù)載均衡Web 服務(wù)器IT運(yùn)維 網(wǎng)絡(luò)組IT運(yùn)維 服務(wù)器組IT運(yùn)維 開發(fā)團(tuán)隊(duì)IT運(yùn)維 DBA關(guān)鍵利益相關(guān)部門Web服務(wù)器層應(yīng)用服務(wù)器層數(shù)據(jù)庫層DB Servers負(fù)載均衡層Web服務(wù)器層數(shù)據(jù)層Web Server PoolApp Server PoolDB Connection PoolHtml靜態(tài)查詢請(qǐng)求 (負(fù)載位于Web服

2、務(wù)器)對(duì)后臺(tái)數(shù)據(jù)庫的動(dòng)態(tài)請(qǐng)求(負(fù)載位于應(yīng)用服務(wù)器與DB)應(yīng)用服務(wù)器層為什么虛擬化Java平臺(tái)? 提供新的應(yīng)用系統(tǒng)需要大量的時(shí)間和技術(shù)資源? 72% vs. 28% 運(yùn)維與創(chuàng)新比率? 整個(gè)企業(yè)范圍的打補(bǔ)丁和系統(tǒng)升級(jí)十分困難? 不能通過池化實(shí)現(xiàn)資源的彈性調(diào)配人力資源Java EEApplication ServerCRM 應(yīng)用Java EEApplication Server財(cái)務(wù)系統(tǒng)Java EEApplication Server測(cè)試系統(tǒng)Java EEApplication Server人力CRM財(cái)務(wù)研發(fā)傳統(tǒng)應(yīng)用系統(tǒng)的挑戰(zhàn)每個(gè)應(yīng)用的實(shí)例都需要一個(gè)獨(dú)立的操作系統(tǒng)和一套獨(dú)立的硬件環(huán)境? 每套應(yīng)用環(huán)境

3、都需要獨(dú)立的系統(tǒng)會(huì)導(dǎo)致服務(wù)器的泛濫研發(fā)集群人力集群人力資源Java EE ApplicationServerWindows NTVirtual Machine財(cái)務(wù)集群財(cái)務(wù)應(yīng)用Java EE ApplicationServerSUSE LinuxVirtual Machine測(cè)試系統(tǒng)Java EE ApplicationServerWindows2000 ServerVirtual MachineCRM集群CRM 應(yīng)用Java EE ApplicationServerWindows2003 ServerVirtual Machine測(cè)試系統(tǒng)Java EEApplication ServerWin

4、dows NTVirtual Machine財(cái)務(wù)應(yīng)用Java EE ApplicationServerRed HatLinuxVirtual MachineCRM 應(yīng)用Java EE ApplicationServerRed HatLinuxVirtual Machine銷售部門資源池開發(fā)部門資源池VMware ESX Server #1VMware Vmotion技術(shù)VMware ESX Server #2VMware Infrastructure/vSphereStorageServers池化整合系統(tǒng)資源后臺(tái)部門資源池Java平臺(tái)的虛擬化?Java本身就是虛擬化概念的體現(xiàn)（JVM）?Jav

5、a中間件在vSphere上經(jīng)過了廣泛地測(cè)試 (包括在VMware，合作伙伴以及客戶的環(huán)境中)?Java基于虛擬化的性能和基于物理機(jī)的性能十分接近?中間件一直以來都以云作為自己的發(fā)展方向，虛擬化正是將應(yīng)用移動(dòng)到云端的第一步Java平臺(tái)基于虛擬化平臺(tái)的好處?靈活的調(diào)配計(jì)算資源的配置，例如虛機(jī)大小，增加更多的節(jié)點(diǎn)?靈活的部署軟硬件補(bǔ)丁，并保證最小的停機(jī)時(shí)間?通過減少中間件創(chuàng)建維護(hù)消耗時(shí)間來建立更加方便管理的系統(tǒng)?方便的進(jìn)行整體的性能調(diào)優(yōu)?方便的監(jiān)控整個(gè)中間件平臺(tái)?方便的處理不同時(shí)期的工作負(fù)載，可以方便的進(jìn)行按需管理Java虛擬化平臺(tái)的規(guī)劃與設(shè)計(jì)第一步：建立負(fù)荷模型? 從生產(chǎn)環(huán)境的日志、監(jiān)控報(bào)告、需求

6、分析、當(dāng)初設(shè)計(jì)文檔等確定：? 并發(fā)用戶數(shù)? 反應(yīng)時(shí)間? 高峰反應(yīng)時(shí)間? 評(píng)價(jià)反應(yīng)時(shí)間? 建立SLA第二步：建立性能基線? 在測(cè)試環(huán)境下，通過多次迭代測(cè)試，確定滿足SLA的虛機(jī)容量? 在測(cè)試的過程中，進(jìn)行各種參數(shù)調(diào)優(yōu)，這些參數(shù)最終可以應(yīng)用到生產(chǎn)環(huán)境第一步：生產(chǎn)環(huán)境容量設(shè)計(jì)? 在第二步測(cè)試的基礎(chǔ)上，設(shè)計(jì)生產(chǎn)環(huán)境的容量，根據(jù)業(yè)務(wù)的發(fā)展留有一定的空間設(shè)計(jì)和規(guī)劃Java平臺(tái)應(yīng)用平臺(tái)從Unix物理機(jī)器遷移到Linux，往往存在拓?fù)鋽U(kuò)展情況，一般需要重新設(shè)計(jì)虛機(jī)容量縱向擴(kuò)展測(cè)試決定需要多少個(gè)VM建立水平的可伸縮性水平擴(kuò)展測(cè)試?在CPU使用率70-80%的情況下需要建立多少臺(tái)虛擬機(jī)滿足響應(yīng)時(shí)間，TPS，并發(fā)用

7、戶的需求?在應(yīng)用出現(xiàn)瓶頸之前，確定水平可以擴(kuò)展的系數(shù)橫向擴(kuò)展測(cè)試標(biāo)準(zhǔn)虛機(jī)標(biāo)準(zhǔn)虛機(jī)SLA 滿足?測(cè)試結(jié)束查看出現(xiàn)瓶頸的原因：網(wǎng)絡(luò)，存儲(chǔ)，應(yīng)用配置和vSphere如果水平擴(kuò)展的瓶頸解決，繼續(xù)進(jìn)行水平擴(kuò)展測(cè)試如果是建立的標(biāo)準(zhǔn)虛擬機(jī)存在瓶頸？不滿足Building Block VM?第二步 建立性能基線建立標(biāo)準(zhǔn)虛擬機(jī)建立垂直的可伸縮性縱向擴(kuò)展測(cè)試估算每臺(tái)虛擬機(jī)承載多少JVM?估算虛擬機(jī)的大小，配置多少vCPU和虛擬內(nèi)存建立標(biāo)準(zhǔn)虛機(jī)JVM Max Heap -Xmx JVM 內(nèi)存 Perm Gen Ini3al Heap 操作系統(tǒng)內(nèi)存 基于vSphere的JVMVM 內(nèi)存 Java Stack -Xss

8、 per thread -XX:MaxPermSize -Xms Other mem 本地內(nèi)存Java內(nèi)存?操作系統(tǒng)的內(nèi)存占用一般為1G?“other mem” 是指NIO buffers, JIT code cache, classloaders, Socket Buffers (receive/send), JNI, GC internal info這些組件需要的內(nèi)存?如果您再一臺(tái)VM上面部署多個(gè)JVM，那么VM的內(nèi)存計(jì)算如下:? 虛擬機(jī)內(nèi)存 = 操作系統(tǒng)內(nèi)存 + N * JVM內(nèi)存JAVA虛擬機(jī)內(nèi)存計(jì)算方式虛擬機(jī)內(nèi)存 = 操作系統(tǒng)內(nèi)存 + JVM內(nèi)存 JVM 內(nèi)存 = JVM Max H

9、eap (-Xmx value) + JVM Perm Size (-XX:MaxPermSize) + NumberOfConcurrentThreads * (-Xss) + “other Mem” 常規(guī)JVM設(shè)計(jì)示例虛擬機(jī) 內(nèi)存 (5088m) JVM 內(nèi)存 (4588m) JVM Max Heap -Xmx (4096m) 操作系統(tǒng)內(nèi)存 Java Stack Perm Gen Ini3al Heap 設(shè)置虛擬機(jī)內(nèi)存預(yù)留為 5088m 500m used by OS -Xss per thread (256k*100) Other mem (=217m) -XX:MaxPermSize

10、(256m) -Xms (4096m) 基于內(nèi)存數(shù)據(jù)庫技術(shù)的大JVM示例JVM Max Heap -Xmx (30g) Perm Gen Ini3al Heap -Xms (30g) 操作系統(tǒng)內(nèi)存 Java Stack Other mem (=1g) -XX:MaxPermSize (0.5g) 設(shè)置虛擬機(jī)內(nèi)存預(yù)留為 34g 0.5-1g used by OS -Xss per thread (1M*500) JVM 內(nèi)存 (32g) 虛擬機(jī)內(nèi)存 (34g) 為什么使用內(nèi)存預(yù)留? 當(dāng)各個(gè)內(nèi)存部分確定好以后，根據(jù)需求確定虛擬機(jī)設(shè)置內(nèi)存預(yù)留，預(yù)留內(nèi)存為各個(gè)內(nèi)存的總和? 這是保證對(duì)已經(jīng)啟動(dòng)的虛擬機(jī)分

11、配的實(shí)際VMware ESX/VMware ESXi (tm)主機(jī)內(nèi)存是可用的，以避免內(nèi)存過度承諾產(chǎn)生爭用? ESX/ESXi的內(nèi)存管理技術(shù), 例如ballooning和swapping機(jī)制都要避免采用以防止對(duì)性能產(chǎn)生影響16 Exabytes 設(shè)計(jì)VM內(nèi)存大小的影響64-bit Java theore3cal limit Guest OS limit is 1TB to 16TB ESXi 5 limit 32 vCPU 1TB RAM Physical server limit 256GB 93GB=93*0.95= 88.5GB每個(gè)NUMA節(jié)點(diǎn)的內(nèi)存= 88.5GB/2Approx. 4

12、5GB for each VM服務(wù)器96GB內(nèi)存每個(gè)MUMA節(jié)點(diǎn)擁有94/2=45GB每個(gè)VM： 8vCPU不大于45GB內(nèi)存ESX調(diào)度如果設(shè)計(jì)的VM內(nèi)存大于45GB或CPU多于8CPUs,那么跨NUMA節(jié)點(diǎn)訪問內(nèi)存會(huì)導(dǎo)致30%左右的性能下降遷移方法U2VL遷移方法論階段一：評(píng)估? 數(shù)據(jù)收集? 性能基線? 需求映射? 依賴性調(diào)查? 數(shù)據(jù)分析? 業(yè)務(wù)用例? 遷移策略? TCO/ROI階段四：運(yùn)行? VMware駐場(chǎng)計(jì)劃? 運(yùn)維上線支持? 技術(shù)客戶經(jīng)理支持（TAM）? BCSMCS支持階段三：實(shí)施? 構(gòu)建最優(yōu)虛擬化架構(gòu)? 使用最適合的工具對(duì)應(yīng)用的業(yè)務(wù)邏輯和數(shù)據(jù)進(jìn)行遷移? 完成系統(tǒng)管理框架實(shí)施階段二

13、：設(shè)計(jì)? 概要設(shè)計(jì)? 詳細(xì)設(shè)計(jì)? 風(fēng)險(xiǎn)分析? 防范措施? POC測(cè)試? 最佳實(shí)踐? 遷移計(jì)劃CONFIDENTIAL26一般遷移步驟? Phase 1 虛擬化Web Server層? Phase 2 虛擬化Java應(yīng)用層? Phase 3 虛擬化DB Server層? Phase 4 虛擬化Load Balancer層? Java應(yīng)用是平臺(tái)無關(guān)的，所以一般來說很方便進(jìn)行遷移? 從Unix到Linux的遷移:? 通常JVM會(huì)發(fā)生變化 (不同的OS需要特定的JVM), 但是這是與應(yīng)用無關(guān)的? 應(yīng)用的代碼不需要變化，除非一些情況可能會(huì)因?yàn)槲覀儼袹VM從32位升級(jí)到64位一些特殊方法需要變化? 當(dāng)進(jìn)行

14、操作系統(tǒng)的改變的時(shí)候一些JVM的命令和操作可能會(huì)發(fā)生變化，但這些變化影響的范圍很小遷移注意事項(xiàng)Java虛擬化平臺(tái)最佳實(shí)踐對(duì)于Java平臺(tái)一般通用虛機(jī)配置?每個(gè)JVM配置兩顆vCPU?當(dāng)縱向擴(kuò)展或者橫向擴(kuò)展的時(shí)候都盡量保持這樣的比例1JVM : 2vCPU?盡量采用橫向擴(kuò)展而不要采用縱向擴(kuò)展?對(duì)于普通的應(yīng)用系統(tǒng)建議采用這種方式進(jìn)行設(shè)計(jì)2 vCPU VM1 JVM (-Xmx 4096m)Approx 5GB RAM ReservationGC機(jī)制?ESXi并不關(guān)心采用哪種GC機(jī)制，因?yàn)閷?duì)于EXSi來說操作系統(tǒng)和JAVA虛擬機(jī)都是各自獨(dú)立的EnterpriseJavaApplicationsonV

15、MwareBestPracticesGuidehttp:/ 那么需要保證足夠的vCPU用于垃圾回收(number of threads =number of vCPUs)? example : -Xgcthreads4?Locators/heartbeat類的程序不要開啟vMotion, 一旦開啟會(huì)導(dǎo)致網(wǎng)絡(luò)風(fēng)暴等問題?當(dāng)做常規(guī)維護(hù)需要使用vMotion時(shí)候建議要使用10Gbps以上的網(wǎng)絡(luò)帶寬行業(yè)實(shí)施案例? 石油天然氣生產(chǎn)商和供應(yīng)商，同時(shí)也是全球主要的油田服務(wù)供應(yīng)商之一， 其作為工程建設(shè)領(lǐng)域的全球承包商也享有很高的名譽(yù)。挑戰(zhàn)交付項(xiàng)價(jià)值/收益案例分享-能源客戶 SAP,Java&Oracle公司簡

16、介?老HPUX服務(wù)器的CPU和內(nèi)存資源已塊接近耗盡SAP和Java應(yīng)用在業(yè)務(wù)高峰期平凡遇到性能問題需要一個(gè)開放的且可擴(kuò)展的基礎(chǔ)架構(gòu)平臺(tái)來提高服務(wù)管理水平系統(tǒng)改造要跟符合集團(tuán)云計(jì)算戰(zhàn)略的方向?yàn)镾AP系統(tǒng)和Java系統(tǒng)，總共數(shù)百臺(tái)服務(wù)器提供虛擬化評(píng)估基于VMware解決方案提供系統(tǒng)概要設(shè)計(jì)和詳細(xì)設(shè)計(jì)，其中詳細(xì)設(shè)計(jì)的對(duì)象為加管系統(tǒng)中體量最大的SAP系統(tǒng)（SRP）和JAVA系統(tǒng)（卡核心）測(cè)試系統(tǒng)（SRP和卡核心）遷移并伴隨完整測(cè)試，驗(yàn)證虛擬化環(huán)境下的可靠性和性能等指標(biāo)，最終給出可行性分析結(jié)論從HPUX遷移到Linux on VMWare (x86)將幫助客戶節(jié)省大量成本虛擬化以后體現(xiàn)出比老架構(gòu)更好的性

17、能更易實(shí)現(xiàn)的應(yīng)用和數(shù)據(jù)庫高可用對(duì)于關(guān)鍵業(yè)務(wù)應(yīng)用來講，vSphere平臺(tái)提供卓越的延展性和兼容性數(shù)據(jù)交換平臺(tái) 應(yīng)用支撐平臺(tái) 基礎(chǔ)架構(gòu)平臺(tái) 生產(chǎn)數(shù)據(jù)中心 虛擬化架體架構(gòu) 同城 災(zāi)備中心 地市/站級(jí)系統(tǒng) 地市/站級(jí)系統(tǒng) 地市/站級(jí)系統(tǒng) 地市/站級(jí)系統(tǒng) 異地遠(yuǎn)程 災(zāi)備中心 地市/站級(jí)系統(tǒng) 生產(chǎn)機(jī)房生產(chǎn)存儲(chǔ)數(shù)據(jù)備份存儲(chǔ)虛擬化設(shè)備存儲(chǔ)虛擬化設(shè)備同城機(jī)房同城災(zāi)備存儲(chǔ)存儲(chǔ)虛擬化設(shè)備存儲(chǔ)虛擬化設(shè)備同城跨機(jī)房雙活存儲(chǔ)光纖交換機(jī)光纖交換機(jī)跨站點(diǎn)在線遷移VMware SRM容災(zāi)切換數(shù)據(jù)備份基于存儲(chǔ)的復(fù)制異地機(jī)房光纖通道活動(dòng)災(zāi)難切換光纖通道HOS生產(chǎn)系統(tǒng)卡系統(tǒng)生產(chǎn)系統(tǒng)集成平臺(tái)HOS開發(fā)測(cè)試系統(tǒng)卡系統(tǒng)開發(fā)測(cè)試系統(tǒng)集成平臺(tái)

18、開發(fā)測(cè)試系統(tǒng)兩地三中心 活動(dòng)關(guān)鍵業(yè)務(wù)虛擬化方法論 咨詢建議遷移實(shí)施運(yùn)維管理評(píng)估分析 VMware vBCA 評(píng)估服務(wù) ? 當(dāng)前狀態(tài)評(píng)估 ? 未來狀態(tài)需求及建議 ? 風(fēng)險(xiǎn)分析 ? 遷移實(shí)施路線圖 規(guī)劃設(shè)計(jì) VMware vBCA 規(guī)劃與設(shè)計(jì)服務(wù) ? 項(xiàng)目計(jì)劃 ? 架構(gòu)設(shè)計(jì) ? 遷移策略 ? 容量規(guī)劃 實(shí)施支持 VMware vBCA 實(shí)施服務(wù) ? 遷移支持 ? 管理解決方案的支持 ? 測(cè)試驗(yàn)證 ? 上線支持 優(yōu)化服務(wù) 虛擬化架構(gòu) 優(yōu)化服務(wù) ? 架構(gòu)優(yōu)化 ? 運(yùn)維就緒支持 ? 性能調(diào)優(yōu) 策略制定 虛擬化顧問咨詢 研討會(huì) ? 業(yè)務(wù)及技術(shù)的挑戰(zhàn)/目標(biāo)/任務(wù) ? 路線圖支持 ? 最佳實(shí)踐建議 確保風(fēng)險(xiǎn)是

19、可控的，需求被滿足的，并加速項(xiàng)目的成功 提供應(yīng)用和組織架構(gòu)層面運(yùn)作的完整性和優(yōu)越特性 Vmware從成百上千個(gè)實(shí)際項(xiàng)目中積累了豐富經(jīng)驗(yàn)，為實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)應(yīng)用虛擬化藍(lán)圖提供專家級(jí)的建議和解決方案 ，從而為投資創(chuàng)造最大價(jià)值 隨時(shí)就緒參與到整個(gè)藍(lán)圖轉(zhuǎn)換過程中的每一個(gè)階段！ 實(shí)際遷移方法 實(shí)際遷移方法 應(yīng)用分析與遷移策略遷移案例-虛擬機(jī)承載JAVA性能體量?Tiler-1應(yīng)用系統(tǒng)可考慮采用2-8 vCPU / VM?Tiler-1數(shù)據(jù)庫系統(tǒng)科考慮采用8+ vCPU / VM?HotSpot YoungGen占總Heap的 33%?并發(fā)GC線程為vCPU的50%?橫向擴(kuò)展，虛擬機(jī)優(yōu)先、然后主機(jī)、最后集群2

20、+ vCPU VM1 JVM (-Xmx 4096m)Approx 5GB RAM ReservationFor large JVMs8+ vCPU VM1 JVM (16-128GB)CONFIDENTIAL42JVM Memory (4588m) JVM Max Heap -Xmx (4096m) Perm Gen Ini3al Heap VM Memory (5088m) Guest OS Memory Java Stack Other mem (=217m) -XX:MaxPermSize (256m) -Xms (4096m) set mem Reserva3on to 5088m

21、500m used by OS -Xss per thread (256k*100) 遷移案例-內(nèi)存配置最佳實(shí)踐(JVM)測(cè)試場(chǎng)景虛機(jī)配置并發(fā)量平均響應(yīng)TPS現(xiàn)狀對(duì)比網(wǎng)店交易8C+8C5001.6s26040測(cè)試場(chǎng)景虛機(jī)配置并發(fā)量平均響應(yīng)TPS現(xiàn)狀對(duì)比網(wǎng)店交易4C+4C5001.8s19040虛擬機(jī)承載JAVA性能對(duì)比?資源池后不低于現(xiàn)有系統(tǒng)的性能表現(xiàn)，并保留快速橫向擴(kuò)展能力。?按業(yè)務(wù)類型或應(yīng)用功能劃分，例如卡系統(tǒng)核心集群，卡系統(tǒng)門戶集群，卡系統(tǒng)業(yè)務(wù)集群，卡匯聚集群及IT管理集群等。按不同安全級(jí)別應(yīng)用部署到不同的集群；比如 DMZ 區(qū)單獨(dú)創(chuàng)建一個(gè)集群。按物理分布劃分，根據(jù)集群在數(shù)據(jù)中心所屬，集

22、群最好不要跨機(jī)房邊界，例如 M5，M8等。在規(guī)劃群集時(shí)，需要考慮如下最佳實(shí)踐：?安全性：基于安全考慮，實(shí)現(xiàn)管理網(wǎng)與業(yè)務(wù)網(wǎng)的隔離。一個(gè)業(yè)務(wù)群集不能有過多的網(wǎng)段，防止廣播域過大。一個(gè)業(yè)務(wù)群集必須跨兩個(gè)以上機(jī)架進(jìn)行部署，以實(shí)現(xiàn)部署冗余。每個(gè)業(yè)務(wù)群集上鏈網(wǎng)絡(luò)鏈路必須冗余。每個(gè)業(yè)務(wù)群集上鏈存儲(chǔ)鏈路必須冗余。集群規(guī)格設(shè)計(jì)原則：?Newly added VMs automatically added to load balancer負(fù)載均衡規(guī)劃負(fù)載均衡集成? 建議業(yè)內(nèi)性能較好的F5負(fù)載均衡設(shè)備來進(jìn)行負(fù)載? 通過F5物理設(shè)備VS和members來控制虛擬機(jī)的均衡負(fù)載Load Balancer? 通過HM來檢查

23、VM上應(yīng)用系統(tǒng)的健康度? 其他設(shè)備和VMware的高級(jí)功能? 與受支持的負(fù)載均衡設(shè)備與vCenter高度集成? 比如F5在vCenter的免費(fèi)插件對(duì)在F5中的虛擬機(jī)池進(jìn)行維護(hù)? iControl API (F5提供VM的管理接口函數(shù))2所有安全策略配置從物理防火墻上移動(dòng)到虛擬化防火墻上不需要對(duì)物理結(jié)構(gòu)做大改動(dòng)也可以實(shí)現(xiàn)網(wǎng)絡(luò)隔離安全微分段設(shè)計(jì)存儲(chǔ)池等級(jí) 磁盤類型 磁盤轉(zhuǎn)速 Raid 安全等級(jí) 卡系統(tǒng)業(yè)務(wù) 金 SSD+SAS 高端（15K） 10 高 核心DB， 門戶DB， 數(shù)據(jù)平臺(tái) DB 銀 SAS 中高端（15K /10K） 5 中 系統(tǒng)前置服務(wù)器 系統(tǒng)應(yīng)用服務(wù)器 VSAN SSD+傳統(tǒng)磁盤(SAS/SA