OracleEXADATA技術架構與應用平臺實施經驗分享

理數(shù)據(jù)庫云平臺EXADATA技術架構與應用平臺實施經驗分享1234567Agenda1234567景及需求分析解決方案的選擇發(fā)測試環(huán)境建設快捷部署，完美整合壓力測試，極致性能從磁盤到數(shù)據(jù)庫，集中管理平穩(wěn)上線，成功交付CopyrightOracle.Allrightsreserved.2CONFIDENTIAL–ORACLEHIGHLYRESTRICTED3東風日產汽車有限公司是東風汽車公司與日本日產汽車公司于2003年6月9日成立的合資公司?？偛吭O在武漢，工廠分布于湖北十堰、襄陽、廣州花都、河南鄭州-行業(yè)還在高速發(fā)展、對自身發(fā)展IT建設等有很高的要求大小應用上百個，軟硬件平臺復雜---IT日常運維工作量大、有整合的需求業(yè)務持續(xù)性系統(tǒng)維護過程中的可用性服務的SLA標準求業(yè)務持續(xù)性系統(tǒng)維護過程中的可用性服務的SLA標準求低成本、易管理降低系統(tǒng)建設、系統(tǒng)維護及管理成本統(tǒng)一管理，集中實時監(jiān)控合和擴展要求整合，建立企業(yè)私有云滿足未來3~5年的發(fā)展需求具有良好的擴展性1.簡單、動態(tài)、靈活的架構2.資源的合理利用和分配3.數(shù)據(jù)的集中整合求滿足核心交易系統(tǒng)的高性能要求更加及時和準確的報表和決策支持能力1.消除瓶頸，高效的業(yè)務數(shù)據(jù)訪問2.資源共享和負載均衡3.更高的I/O吞吐量，更快的批處理能力數(shù)據(jù)集成的高效性1.冗余設計2.多層次數(shù)據(jù)保護機制3.災備機制1.提高資源利用率3.簡化管理，降低風險CONFIDENTIAL–ORACLEHIGHLYRESTRICTED4SAPCISAPCI云平臺整合SPPEWM務器SAPCISAPCI云平臺整合SPPEWM務器AppServerAppServer兩個關鍵應用 1個數(shù)據(jù)庫云平臺一體化運營管理系一體化運營管理系統(tǒng)臺啟辰DMS應用服務器 3大優(yōu)勢：整合、高性能、易于管理CONFIDENTIAL–ORACLEHIGHLYRESTRICTED5CONFIDENTIAL–ORACLEHIGHLYRESTRICTED61234567Agenda1234567景及需求分析解決方案的選擇發(fā)測試環(huán)境建設快捷部署，完美整合壓力測試，極致性能從磁盤到數(shù)據(jù)庫，集中管理平穩(wěn)上線，成功交付解決方案的選擇CXLinuxCONFIDENTIAL–ORACLEHIGHLYRESTRICTED7CONFIDENTIAL–ORACLEHIGHLYRESTRICTED8Exadata在2011年6月10日獲得SAP認證CONFIDENTIAL–ORACLEHIGHLYRESTRICTED9最佳性能最佳可用性最佳整合-SAPDBs或SAPDBs+其它庫最佳安全高度工程化，標準化SAPonExadata認證適用的SAP產品范圍口口口可以跑在Exadata上面業(yè)方案如::?SAPERP(ECC)6.0?SAPBW7.x?SAPCRM2005/2007/7.x?SAPPLM6.0/7.0x?SAPSRM2005/2007/7.x?SAPSCM2005/2007/7.x?SAPOil&Gas2005/6.x?SAPBankingServices5.0/6.0/7.0/8.0CONFIDENTIAL–ORACLEHIGHLYRESTRICTED11解決方案確立項目實施 EM2C管理驗證安裝部署ASR及EMEM2C管理驗證可行性研究東風在埃森哲、聯(lián)友和甲骨文的協(xié)助調研下，確定了引入ExadataforSAP&DMS的必要性開發(fā)測試環(huán)境的安裝驗證了SAP在RAC方式下運行的可行性DMS數(shù)據(jù)庫部署及應用部署支持，功能測試SAP數(shù)據(jù)庫部署及應用部署支持，功能測試SAPBR*Tools安裝部署及功能測試協(xié)助實施商埃森哲和聯(lián)友進行上線前的壓力測試和性能優(yōu)化EM12c和ASR安裝部署及管理驗證CONFIDENTIAL–ORACLEHIGHLYRESTRICTED13東風有限花都數(shù)據(jù)庫云項目推進歷程文簽署合約并開始采購Exadata合聯(lián)友和埃森哲部署開發(fā)測試環(huán)境2011年12月底Exadata到貨，并開始硬件安裝2012年1月配合聯(lián)友安裝和部署ExadataDMS數(shù)據(jù)庫2012年2月初配合埃森哲部署ExadataSAP數(shù)據(jù)庫2012年3月協(xié)助實施商埃森哲和聯(lián)友進行上線前壓力測試和2012年3月底部署EM12c進行管理的測試CONFIDENTIAL–ORACLEHIGHLYRESTRICTED141234567Agenda1234567景及需求分析解決方案的選擇發(fā)測試環(huán)境建設快捷部署，完美整合壓力測試，極致性能從磁盤到數(shù)據(jù)庫，集中管理平穩(wěn)上線，成功交付SMD-CI/ASCS(4000SAPs)WMD-CI/ASCS(3000SAPs)XID-CI/ASCS(2000SAPs)LCD-1(1000SAPs)SMD-CI/ASCS(4000SAPs)WMD-CI/ASCS(3000SAPs)XID-CI/ASCS(2000SAPs)LCD-1(1000SAPs)LGxCGBMemSMDDBInstance1(5000SAPs)WMDDBInstance1(3750SAPs)XIDDBInstance1(1250SAPs)SMDDBInstance2(5000SAPs)SMDDBInstance1(5000SAPs)WMDDBInstance1(3750SAPs)XIDDBInstance1(1250SAPs)SMDSMD-DI/ERS(4000SAPs)WMD-DI/ERS(3000SAPs)XID-DI/ERS(2000SAPs)LCD-2(1000SAPs)CONFIDENTIAL–ORACLEHIGHLYRESTRICTED15SMQ-CI/ASCS(4000SAPs)WMQ-CI/ASCS(3000SAPs)XIQ-CI/ASCS(2000SAPs)LCQ-1(1000SAPs)SMQ-CI/ASCS(4000SAPs)WMQ-CI/ASCS(3000SAPs)XIQ-CI/ASCS(2000SAPs)LCQ-1(1000SAPs)LGxCGBMemSMQDBInstance1(5000SAPs)WMQDBInstance1(3750SAPs)XIQDBInstance1(1250SAPs)SMQDBInstance2(5000SAPs)SMQDBInstance1(5000SAPs)WMQDBInstance1(3750SAPs)XIQDBInstance1(1250SAPs)SMQSMQ-DI/ERS(4000SAPs)WMQ-DI/ERS(3000SAPs)XIQ-DI/ERS(2000SAPs)LCQ-2(1000SAPs)CONFIDENTIAL–ORACLEHIGHLYRESTRICTED16CONFIDENTIAL–ORACLEHIGHLYRESTRICTED17SAP開發(fā)/測試數(shù)據(jù)庫部署方案開發(fā)測試數(shù)據(jù)庫環(huán)境和Exadata保持一致，使用IntelXeonX86_64服務器,操作系統(tǒng)為OEL5.5,安裝基于ASM的11.2RAC；開發(fā)測試數(shù)據(jù)庫打上和Exadata一樣版本的SAPBundlePatches； SAP雖然支持MultipleComponentsinOneDatabase(MCOD),但考慮到SAP不同模塊對Oracle的版本和補丁要求可能不一樣，EWM、SPP、PI各系統(tǒng)采用獨立的INSTANCE；CONFIDENTIAL–ORACLEHIGHLYRESTRICTED181234567Agenda1234567景及需求分析解決方案的選擇發(fā)測試環(huán)境建設快捷部署，完美整合壓力測試，極致性能從磁盤到數(shù)據(jù)庫，集中管理平穩(wěn)上線，成功交付CONFIDENTIAL–ORACLEHIGHLYRESTRICTED19 a從頭開始構建參考配置ExadataDatabaseExadataDatabaseMachine PDMSSAP和DMS兩大系統(tǒng)整合 PDMSSAP和DMS兩大系統(tǒng)整合EMSESVDiskGroupDiskGroupDiskGroupDiskGroupOracleAutomaticStorageManagementUPEXADATA不同的數(shù)據(jù)庫，將數(shù)據(jù)存放在ASM上不同的表空間中，相互沒有影響CONFIDENTIAL–ORACLEHIGHLYRESTRICTEDnnectionVTLInfinibandnnectionVTLInfinibandnnectionwitchesbAASMCONFIDENTIAL–ORACLEHIGHLYRESTRICTEDSAPBRTOOLS在Exadata安裝和使用ightsreserved1234567Agenda1234567景及需求分析解決方案的選擇發(fā)測試環(huán)境建設快捷部署，完美整合壓力測試，極致性能從磁盤到數(shù)據(jù)庫，集中管理平穩(wěn)上線，成功交付SAP系統(tǒng)數(shù)據(jù)庫壓力測試壓力測試是埃森哲根據(jù)以往經驗，針對通常SAP壓力最大的SPP模塊進行測試，SPP模塊主要是用來執(zhí)行下圖所示的計劃任務。CONFIDENTIAL–ORACLEHIGHLYRESTRICTEDCONFIDENTIAL–ORACLEHIGHLYRESTRICTED25SAP壓力測試結果TaskName況備注ZSPP9_FCST_FIRST_RUN_MONTHLY881.7倍于每月通過對歷史數(shù)據(jù)的計算，壓力稍大ZSPP3_EOQ_SFT_MONTHLY萬條5倍存量，以便預測訂單數(shù)量ZSPP1_DRP_DAILY00萬.3倍PerformDRP(Daily,KITomponentandotherpartsZSPP5_SUPERSESSION相當用于計算可用的備件替代件ZSPP5_DRP_MONTHLY萬萬.9倍ZSPP014_NEW_PRODUCT_EOQ_S萬條5倍計算庫存計劃ZSPP012_PHASE_IN45倍新備件導入預測CONFIDENTIAL–ORACLEHIGHLYRESTRICTED26東風和埃森哲對本次壓力測試的高度評價了Exadata對混合負載(在線交易和批處理)卓越支持。JOB，在ZSPPFCSTFIRSTRUNMONTHLY每月通過對歷史備件的需求預測)這個腳本在傳統(tǒng)架構的系統(tǒng)環(huán)境中通常時，在Exadata上的運行時間只有80分鐘，大大超出CONFIDENTIAL–ORACLEHIGHLYRESTRICTED27東風啟辰DMS系統(tǒng)壓力測試內容準備和匹配好100家門店對應的測試數(shù)據(jù)；使用5臺測試機，每臺分別模擬10個用戶同時執(zhí)行使用10臺工作電腦，每臺模擬5個用戶執(zhí)行3家專營店(廣州萬江、深圳東風南方華辰、威海鑫通)模擬3個用戶場景設置：每個用戶對7個功能分別執(zhí)行5次測試項目平均響應時間(s)AP處理時間成功率東風啟辰DMS系統(tǒng)壓力測試結果從上面兩個性能分析圖中可以看出，一體機中的兩個節(jié)點的CPU使用率都在5%以內，說明DMS系統(tǒng)在一體機上運行時沒有瓶頸和壓力的。在做DMS的壓力測試的同時SAP系統(tǒng)也在這臺一體機上運行，DMS的壓力測試沒有對SAP系統(tǒng)造成任何影響。CONFIDENTIAL–ORACLEHIGHLYRESTRICTED28CONFIDENTIAL–ORACLEHIGHLYRESTRICTED29大量的數(shù)據(jù)訪問會出現(xiàn)瓶大量的數(shù)據(jù)訪問會出現(xiàn)瓶頸 求傳統(tǒng)架構的數(shù)據(jù)庫系統(tǒng)量CPU存儲量數(shù)據(jù)傳輸了瓶頸IO的瓶頸儲 DBServer④“SmartFlashCache”：FlashCache隨機I/O性能高達1MIOPS求性能提升的理由用數(shù)據(jù)SmartScanEHCCSmartFlashCache等是OracleExadata獨有的關鍵性能突破技術送量小送量小到服務器負載低②數(shù)據(jù)篩選，排序價值的數(shù)據(jù)傳送到數(shù)SmartScan智能掃描技術服務器的CPU負擔，同時極大地降低②數(shù)據(jù)篩選，排序提取所有被訪問的數(shù)據(jù)②數(shù)據(jù)篩選，排序提取所有被訪問的數(shù)據(jù)(含Oracle)才以從送(SAN/NAS)CONFIDENTIAL–ORACLEHIGHLYRESTRICTED30OracleExadataOracleExadataU讀取IO瓶算時也IO等待(包括Oracle)(SAN/NAS)?2010OracleCorporation31Exadata混合列壓縮更高的容量，更低的成本-為提高速度進行了優(yōu)化-掃描成比例增長-為減小空間進行了優(yōu)化CONFIDENTIAL–ORACLEHIGHLYRESTRICTED32存 讀取高性存 讀取更快隨機I/O的閃存技術，實現(xiàn)了大，實現(xiàn)了大存?2010OracleCorporation33高性?將熱點數(shù)據(jù)透明地緩存在閃存卡上采用SSD實現(xiàn)透明的數(shù)據(jù)庫2級緩存(SGA是1級)?比磁盤更快(100xfasterforreads)?比內存便宜($50pergigabyte)?大容量(hundredsofgigabytesperflashdisk)CIExpress?比基于LRU的算法更加聰明?知道何時跳過緩存對象，以避免污染或清除?允許明確指定緩存的對象?ALTERTABLEcalldetailSTORAGE(CELL_FLASH_CACHEKEEP)?2010OracleCorporation34CONFIDENTIAL–ORACLEHIGHLYRESTRICTED35??40Gb/sHigh????40Gb/sHigh??響應入FlashFlashCacheUsagelashlash盤的cheCONFIDENTIAL–ORACLEHIGHLYRESTRICTED3640Gb/s數(shù)據(jù)庫節(jié)點CPU負載大幅減少磁盤的次數(shù)減少間帶寬增加，二傳輸?shù)臄?shù)據(jù)量減少，節(jié)省了帶寬I/O低40Gb/s數(shù)據(jù)庫節(jié)點CPU負載大幅減少磁盤的次數(shù)減少間帶寬增加，二傳輸?shù)臄?shù)據(jù)量減少，節(jié)省了帶寬I/O低通過整合的存儲層的軟件，減少不必要的數(shù)據(jù)讀取，減少了服務器端的通過整合的存儲層的軟件，減少不必要的數(shù)據(jù)讀取，減少了服務器端的負載CONFIDENTIAL–ORACLEHIGHLYRESTRICTED371234567Agenda1234567景及需求分析解決方案的選擇發(fā)測試環(huán)境建設快捷部署，完美整合壓力測試，極致性能從磁盤到數(shù)據(jù)庫，集中管理平穩(wěn)上線，成功交付整合ExadataI/O資源管理多個共享存儲環(huán)境數(shù)據(jù)庫之間和同一數(shù)據(jù)庫內部口確保共享Exadata存儲池的多個不配相對合理-數(shù)據(jù)庫A:33%I/O資源-數(shù)據(jù)庫B:67%I/O資源口確保在同一個數(shù)據(jù)庫內部，不同配相對合理-數(shù)據(jù)庫A:?報表:60%的I/O資源?ETL:40%的I/O資源-數(shù)據(jù)庫B:?交互應用:30%的I/O資源?批處理:70%的I/O資源(Single-Instance)(RAC)CONFIDENTIAL–ORACLEHIGHLYRESTRICTED38CONFIDENTIAL–ORACLEHIGHLYRESTRICTED39InfrastructureDatabaseInfrastructureDatabase管理資料庫Database易管理管理AgentEM12C對Exadata的集中和便捷的管理InfrastructureDatabaseInfrastructureDatabase管理資料庫Database易管理管理AgentOracle運維部門為東風在花都數(shù)據(jù)庫云服務器系統(tǒng)中部署了OracleEnterpriseManager12C用管管理Agent管管理服務器(OMS)ExadataStorageServer搭建GridControl統(tǒng)一監(jiān)控平臺，針對Exadata數(shù)據(jù)庫服務器部署Agent，對默認數(shù)據(jù)庫參數(shù)進行監(jiān)控部署Exadata監(jiān)控插件,對ExadataStorageServer,InfinibandNetwork,KVM,PDU,ILOM,CISCOSWITCH默認配置參數(shù)進行集中監(jiān)控幫助客戶配置默認郵件報警機制 RUdupportCenterOracleSupportServices?CPU?Diskcontrollers?Disks?FlashCards?Flashmodules? RUdupportCenterOracleSupport