《云平臺及大數(shù)據(jù)建設(shè)思路》

1、云平臺及大數(shù)據(jù)建設(shè)思路2016.11.25SaaSPaaSIaaS+應(yīng)用平臺應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)大數(shù)據(jù)服務(wù)器服務(wù)器服務(wù)器服務(wù)器虛擬化 IaaS虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機虛擬機云平臺 PaaS云應(yīng)用服務(wù)器云關(guān)系數(shù)據(jù)庫大數(shù)據(jù)庫軟件應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用服務(wù)器服務(wù)器虛擬化 IaaS虛擬機虛擬機數(shù)據(jù)庫應(yīng)用中間件應(yīng)用C/S、單機巨石型Web應(yīng)用IaaS虛擬機遷移物理設(shè)備繼續(xù)運行盡量上云PaaS分布式運行環(huán)境微服務(wù)化輕量級新型云化應(yīng)用DaaS統(tǒng)一數(shù)據(jù)

2、層數(shù)據(jù)整合數(shù)據(jù)整合數(shù)據(jù)整合數(shù)據(jù)利用敏捷上線啟動時間數(shù)分鐘無法上云 故障有可能發(fā)生 隨時備份數(shù)據(jù)，用于服務(wù)恢復(fù) 不惜一切代價保證服務(wù)器的運行 當(dāng)服務(wù)器宕機時-攤上大事了 基礎(chǔ)設(shè)施恢復(fù) 自動或者手動 應(yīng)用恢復(fù) 手動 應(yīng)用模塊緊耦合 無法根據(jù)負載自動擴展 很難持續(xù)集成 應(yīng)用聚合困難(ESB) 應(yīng)用升級麻煩端口變化負載增加配置變化環(huán)境依賴代碼變化RTO/RPO傳統(tǒng)巨石特征傳統(tǒng)巨石應(yīng)用云化應(yīng)用很難根據(jù)負載自動擴展自動，水平擴展應(yīng)用模塊牽一發(fā)而動全身應(yīng)用由多個微服務(wù)組成，松耦合應(yīng)用的恢復(fù)是靠人工的 應(yīng)用的恢復(fù)是自動化的 應(yīng)用系統(tǒng)的物理環(huán)境錯誤導(dǎo)致業(yè)務(wù)停頓 應(yīng)用的物理環(huán)境的出錯是可以接受的不遺余力的保障物理

3、機的運轉(zhuǎn) 物理機對應(yīng)用不是那么重要物理機的宕機是一件特大事故！沒什么大驚小怪的！積極備份數(shù)據(jù)以便應(yīng)用環(huán)境出錯時恢復(fù) 設(shè)計時要盡量避免數(shù)據(jù)恢復(fù)的必要升級時候不睡覺灰度發(fā)布、發(fā)布回滾一期項目就半年，一期接一期持續(xù)集成巨石應(yīng)用和云化應(yīng)用的特征對比傳統(tǒng)巨石應(yīng)用云化應(yīng)用垂直擴展；硬件定義可靠性水平擴展；應(yīng)用設(shè)計消除對基礎(chǔ)設(shè)施的依賴性虛擬化輕量級運行環(huán)境（容器，進程，PaaS平臺）3層架構(gòu)，有狀態(tài)，緊耦合松耦合，微服務(wù)，API對操作系統(tǒng)和虛機有察覺和依賴抽象于操作系統(tǒng)、虛機和容器管理員控制系統(tǒng)控制（自動擴展，自動配置，自動恢復(fù)）瀑布式開發(fā) 敏捷開發(fā)敏捷開發(fā) 持續(xù)集成，持續(xù)部署, DevOps巨石應(yīng)用和云化

4、應(yīng)用的技術(shù)對比物理設(shè)備PaaSIaaSDaaS小機應(yīng)用物理設(shè)備依賴C/SEXE巨石型Web應(yīng)用巨石應(yīng)用微服務(wù)化云化應(yīng)用應(yīng)用上云的分層實施應(yīng)用應(yīng)用應(yīng)用VMware/Openstack/Incloud OS服務(wù)器應(yīng)用負載均衡應(yīng)用應(yīng)用服務(wù)化運維成本高可用數(shù)據(jù)整合應(yīng)用創(chuàng)新容器容器基礎(chǔ)服務(wù)對象存儲負載均衡彈性主機大數(shù)據(jù)服務(wù)流式計算數(shù)據(jù)總線Hadoop應(yīng)用中間件服務(wù)消息隊列搜索引擎應(yīng)用引擎開發(fā)服務(wù)持續(xù)集成交付服務(wù)注冊與發(fā)現(xiàn)全局配置推送斷路保護器數(shù)據(jù)庫服務(wù)MDB For RedisNoSQL DBRDS For MySQLRDS For OracleMDB For Memcached+本地開發(fā)測試環(huán)境SDK

5、集成開發(fā)云打包發(fā)布單元測試提交代碼服務(wù)綁定測試云自動化測試生產(chǎn)云IOP Dev本地云服務(wù)模擬IDE微服務(wù)分布式開發(fā)服務(wù)DevOps助力快速應(yīng)用創(chuàng)新負載均衡通信MDBRDSHadoop分布式配置對象存儲數(shù)據(jù)總線開發(fā)服務(wù)測試服務(wù)產(chǎn)品名稱技術(shù)架構(gòu)關(guān)鍵功能特性適應(yīng)場景響應(yīng)時間云海Insight HD基于Hadoop大規(guī)模分布式架構(gòu)l 可視化運維l 統(tǒng)一用戶、證書認證l 滾動升級l 4000節(jié)點的橫向擴展能力l適合PB級以上的海量數(shù)據(jù)離線處理l大數(shù)據(jù)應(yīng)用建設(shè)中構(gòu)建基礎(chǔ)資源庫分鐘-小時云海Insight MPP基于MPP架構(gòu)的分布式關(guān)系型數(shù)據(jù)庫l 查詢性能是傳統(tǒng)關(guān)系數(shù)據(jù)庫的10-100倍l 支持千節(jié)點內(nèi)的

6、穩(wěn)定運行l(wèi)處理TB-PB級的結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫和數(shù)據(jù)集市的最優(yōu)選擇lBI領(lǐng)域替換傳統(tǒng)架構(gòu)毫秒-分鐘云海Insight MemDB基于內(nèi)存的無共享分布式架構(gòu)l 支持Key-Value、及SQL關(guān)系型存儲l 跨地區(qū)集群能力l 支持分布式事務(wù)l 毫秒級響應(yīng)l適合GB-TB級規(guī)模超高并發(fā)訪問的OLTP 和OLAP實時計算和加速場景毫秒-秒大數(shù)據(jù)處理平臺面臨業(yè)務(wù)的復(fù)雜性、多樣性、數(shù)據(jù)量大、以及各種業(yè)務(wù)數(shù)據(jù)處理時間要求的不一致性，僅靠單一產(chǎn)品無法滿足業(yè)務(wù)需求，組合使用，效果更佳基礎(chǔ)服務(wù)數(shù)據(jù)庫服務(wù)大數(shù)據(jù)服務(wù)應(yīng)用中間件服務(wù)開發(fā)服務(wù)云海 IOPEMR服務(wù)存儲資源池 SDSHDFS API 多租戶 彈性服務(wù)彈性計算池計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元計算單元小規(guī)模中規(guī)模大規(guī)模計算擴容存儲擴容基礎(chǔ)服務(wù)對象存儲負載均衡彈性主機大數(shù)據(jù)服務(wù)流式計算數(shù)據(jù)總線大數(shù)據(jù)Hadoop應(yīng)用中間件服務(wù)消息隊列搜索引擎應(yīng)用引擎開發(fā)服務(wù)持續(xù)集成交付服務(wù)注冊與發(fā)現(xiàn)全局配置推送斷路保護器數(shù)據(jù)庫服務(wù)內(nèi)存數(shù)據(jù)庫for RedisNoSQL數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫for MySQL關(guān)系數(shù)據(jù)庫for KDB內(nèi)存數(shù)據(jù)庫for Memcac