中國移動ERP域系統(tǒng)一期工程（ERP核心）交流 - 專題應答-stepye-20151110

6

系統(tǒng)部署及云化架構方案——移動ERP核心的應用規(guī)模應用規(guī)模：項目供應商物料采購訂單應付發(fā)票總賬憑證資產卡片庫存事務24萬+31萬+138萬+474萬+2947萬+2131萬+4348萬+1.8億+數據量：過半單位硬件內存利用率峰值超過70%超過80%單位數據庫空閑空間過小過半單位忙時業(yè)務響應緩慢，普遍出現月結過賬、折舊運行、PA轉資等功能非常慢，運行資產折舊甚至需20小時以上

當前運行狀況應用范圍：集團總部、31省上市公司、TD分公司、鐵通合建、全資子公司、各專業(yè)公司、各直屬單位用戶數：注冊用戶數活躍用戶數并發(fā)用戶數約30萬近10萬5000+全集團大省30T700G存儲空間：賬套業(yè)務實體188845設計中國移動未來ERP核心系統(tǒng)部署方案時，需要充分考慮中國移動ERP核心系統(tǒng)的應用規(guī)模和運行現狀采購訂單應付發(fā)票總賬憑證資產卡片庫存事務12萬+65萬+20萬+71萬+215萬+月均業(yè)務量：6

系統(tǒng)部署及云化架構方案——部署架構的設計要求可擴展海量數據高可用數據有效冗余，并避免服務器單點故障，保證系統(tǒng)的高可用性保證大數據量操作下的系統(tǒng)整體響應速度在數據規(guī)模進一步增大時，有有效的方式進行能力擴展支撐海量數據與高并發(fā)ERP核心系統(tǒng)由分省部署改為集中式部署之后，能帶來數據共享程度高、實現全局統(tǒng)一管理等好處，但也將面對數十T的海量數據及超過5000的高并發(fā)訪問的挑戰(zhàn)。高并發(fā)保證高并發(fā)操作下的系統(tǒng)整體響應速度6

系統(tǒng)部署及云化架構方案——部署架構的可選方案單實例部署多實例部署全集團一個Instance數據庫集群應用集群根據各省公司的用戶數和數據量劃分Instance數據庫集群應用集群方案一方案二多實例方案是確定可行的，但是單實例方案是否可行？6

系統(tǒng)部署及云化架構方案——單實例POC驗證設計中國移動未來ERP核心系統(tǒng)部署方案時，應參考Oracle針對中國移動數據規(guī)模所進行的POC結果6系統(tǒng)部署及云化架構方案——單實例應用案例設計中國移動未來ERP核心系統(tǒng)部署方案時，還可參照全球范圍內規(guī)模接近的OracleEBS應用案例案例案例國內某大型通信設備制造商韓國某大型制造業(yè)企業(yè)國外某大型制造業(yè)企業(yè)應用規(guī)模數據總量50T120T42T每月增量1T1T帳套數180+OU數220+庫存組織數2100部署方案部署實例單實例單實例單實例應用服務器數量8臺8臺7臺并發(fā)服務器數量4臺8臺2臺數據庫服務器數量3臺RAC8臺RAC2臺RAC數據庫服務器型號IBMP780IBMP795IBMP7506系統(tǒng)部署及云化架構方案——單實例的可行性分析海量數據

高并發(fā)可擴展設計目標POC結果現有案例模擬180萬張資產卡片創(chuàng)建，2小時內完成模擬3780萬張資產卡片運行折舊，約2.5小時完成模擬520萬行日記賬過賬，約0.5小時完成現有OracleEBS單實例部署案例中，支撐的最大數據量達到120T使用2-3臺高端小型機搭建數據庫集群，可支撐40-50T的海量數據單節(jié)點應用服務器在600用戶并發(fā)時性能尚可，800用戶并發(fā)時變差多節(jié)點應用服務器200/400/600用戶并發(fā)時，用戶體驗相同5臺應用服務器共運行34個FormServer，可支撐3000用戶并發(fā)現有OracleEBS單實例部署案例中，已知的有用8臺應用服務器支撐4000+的并發(fā)用戶并發(fā)服務器獨立部署，分擔應用服務器的并發(fā)壓力隨著FormServer數量增加，支持的并發(fā)用戶數基本保持線性擴展隨著應用服務器節(jié)點數量增加，支持的并發(fā)用戶數保持良好線性擴展可以通過增加服務器節(jié)點的數量，支持更多的并發(fā)用戶數現有OracleEBS單實例部署案例中，應用服務器和并發(fā)服務器都采用了多節(jié)點集群部署的方式，可靈活擴展數據庫采用高端小型機RAC的架構，控制節(jié)點數量，預留擴展的空間POC結果和現有案例均證明，采用適當的部署架構與硬件配置，單實例部署方式可以達到支撐海量數據、高并發(fā)及可擴展的設計目標6系統(tǒng)部署及云化架構方案—單實例與多實例方案比較對比項單實例部署多實例部署實施難度只需部署一套環(huán)境，不存在多實例可能存在的程序及版本差異問題，實施難度低需部署多套環(huán)境，環(huán)境安裝、補丁應用和客戶化程序移植均需執(zhí)行多遍，且需保證各實例的移植內容與版本完全一致，實施難度高系統(tǒng)對接難度集團一級集中系統(tǒng)和各省公司系統(tǒng)只需要與單實例集成，系統(tǒng)對接難度低集團一級集中系統(tǒng)和各省公司系統(tǒng)需要與多個實例集成，需要部署多套接口且由ESB實現自動路由，系統(tǒng)對接難度高系統(tǒng)性能在硬件配置、網絡條件相同的情況下，單實例部署因數據量大、并發(fā)高，系統(tǒng)性能較多實例低在硬件配置、網絡條件相同的情況下，多實例部署因數據量小、并發(fā)少，系統(tǒng)性能較單實例高維護風險單實例出現故障將影響所有省份業(yè)務，維護風險高某個實例出現故障只影響部分省份業(yè)務，維護風險低運維成本實例數少，補丁應用、程序移植、環(huán)境備份等工作無需重復多次，工作量小，運維成本低實例數多，補丁應用、程序移植、環(huán)境備份等工作需重復進行多次，工作量大，運維成本高注2：單實例的維護風險，可通過合理設計部署架構，避免單點故障，以及完善的備份機制，確保數據的安全、完整和可恢復性來降低注1：單實例系統(tǒng)性能低的問題，可通過提高單臺服務器配置、增加服務器數量、使用高速存儲、提高網絡帶寬等方法解決推薦6系統(tǒng)部署及云化架構方案——單實例配置估算每16核CPU運行5個FormServer，每個FormServer支持100個Form并發(fā)用戶每16核CPU運行5個OACORE，每個OACORE支持100個Web并發(fā)用戶應用并發(fā)用戶數約5000，需運行5000/100=50個FormServer和OACORECPU核數為：50/5*16+50/5*16=320Core內存：CPU核數的4倍，320*4=1280G應用服務器每核CPU可支持同時運行10個并發(fā)請求高峰時保證每OU可同時運行2個并發(fā)請求，845個OU共1690個并發(fā)請求CPU核數為：1690/10=169Core內存：CPU核數的4倍，169*4=676G并發(fā)服務器每核CPU可支持同時處理10個數據庫并發(fā)高峰時數據庫并發(fā)數約為50%應用并發(fā)用戶數+并發(fā)請求數+接口并發(fā)數（按每OU運行1個接口計算），即2500+1690+845=5035CPU核數為：5035/10=504Core內存：CPU核數的8倍，504*8=4032G數據庫服務器6系統(tǒng)部署及云化架構方案——單實例數據庫機型選擇對比項小型機X86系列服務器處理器架構采用RISC（精簡指令集）或EPIC（顯性并行指令計算）架構：多線程能力采用CISC（復雜指令集）架構：不支持多線程性能使用的UNIX操作系統(tǒng)可以更好地協(xié)調多用戶、多進程之間的調度，充分發(fā)揮并在各個進程之間合理分配CPU處理能力；IO吞吐能力強，有效支持CPU強大的計算能力IO能力不如小型機，高并發(fā)、大數據量處理時，IO可能先于CPU的計算能力成為性能瓶頸可靠性專用、封閉的計算機系統(tǒng)，特有體系結構，主要部件由廠商自行生產，經過整體長時間測試后出廠，特點為安全、穩(wěn)定通用、開放的計算機系統(tǒng)，強調兼容性，部件可由多個廠商遵守同一標準設計、生產，安全性和穩(wěn)定性相對稍差服務性具有強大的自治愈功能，能夠自動預測錯誤、避免錯誤、修復錯誤、替換失效部件具有一定的故障預測、錯誤檢測和錯誤修復功能可用性以多冗余體系結構設計為主要特征，如冗余電源系統(tǒng)、冗余I/O系統(tǒng)、散熱系統(tǒng)等對關鍵部件提供冗余支持1單臺頂配高端小型機的配置高于高性能x86服務器；而因處理器架構、操作系統(tǒng)及IO能力的差別，即使在相同配置（CPU核數和內存）的情況下，單臺x86服務器的處理能力也不及小型機2OracleRAC不宜部署過多的數據庫節(jié)點，以避免節(jié)點間的通信和同步成為性能瓶頸。因此單個節(jié)點數據庫服務器的處理能力成為影響系統(tǒng)性能的關鍵因素3考慮到中國移動的數據量及并發(fā)量，單個節(jié)點數據庫服務器需要具有極強的處理能力以提升TPS、降低響應時間，從而保證系統(tǒng)整體的性能推薦6系統(tǒng)部署及云化架構方案——單實例部署方案應用服務器10臺數據庫服務器2臺并發(fā)服務器6臺高性能X86系列服務器高端小型機高速存儲1、采用硬件負載均衡器以取得更好的性能2、應用服務器、并發(fā)服務器與數據庫服務器間，需要高速通道3、數據庫節(jié)點間需要極高速互聯(lián)，以提高數據爭用效率4、使用高速存儲以提升IO效率存儲不能成為瓶頸！1、并發(fā)服務器獨立部署，分擔應用服務器的并發(fā)壓力2、采用高性能x86系列服務器搭建應用服務器和并發(fā)服務器集群，實現系統(tǒng)的高可用和可擴展3、采用高端小型機搭建數據庫服務器集群，提高單臺配置、減少節(jié)點數量，實現系統(tǒng)高可用的同時預留擴展空間RAC6系統(tǒng)部署及云化架構方案——單實例部署配置建議ERP核心系統(tǒng)部署方案單實例部署應用服務器服務器個數10臺服務器操作系統(tǒng)Linux服務器型號現有X86系列統(tǒng)一資源池服務器配置（單臺）CPU：32核內存：128GB并發(fā)服務器服務器個數6臺服務器操作系統(tǒng)Linux服務器型號現有X86系列統(tǒng)一資源池服務器配置（單臺）CPU：32核內存：128GB數據庫服務器服務器個數2臺服務器操作系統(tǒng)AIX服務器型號IBMP795服務器配置（單臺）CPU：256核內存：2TB磁盤陣列可用容量ASM普通冗余后80TB8.2備份及容災—容災所需基礎準備ERP容災方式ERP容災所需主要基礎設施同城應用級容災中心（實時同步級）場地選址需要同城容災中心場地等配套基礎設施需要空調、電源、監(jiān)控、機架等配備網絡及安全設備需要光纖專線、防火墻等配備服務器與存儲需要與ERP生產環(huán)境同等級別和配置的服務器、存儲、備份設備等應用軟件實時同步的ERP生產環(huán)境配置同步軟件或設備實時同步ERP數據庫、ERP應用的軟件和設備異地數據級容災中心（異步同步級）場地選址異地容災中心場地，非數據中心城市或區(qū)域配套基礎設施需要空調、電源、監(jiān)控、機架等配備網絡及安全設備需要光纖專線、防火墻等配備服務器與存儲一套ERP數據庫服務器、存儲、備份設備等配置同步軟件或設備實時同步ERP數據庫、異步同步ERP應用的軟件和設備8.2備份及容災—容災設備及軟件建議備份及容災設備及軟件建議數量備份設備及軟件建議備份軟件如：EMCNetworkBackup1套(16臺應用+2臺數據庫服務器)備份虛擬帶庫建議如：EMCDataDomainDD2500，最少200T容量（6天*30Tb+冗余20TB=180TB)1套備份物理帶庫建議如：IBMTS3200磁帶庫，最少200T容量（6天*30Tb+冗余20T=200TB)1套同城應用級容災（實時同步級）軟件建議實時應用同步軟件如：SymantecSF或VCS