云技術(shù)驅(qū)動的架構(gòu)演進(jìn)與變遷-組件化、系統(tǒng)化、微服務(wù)化

組件化、系統(tǒng)化、微服務(wù)化誕生于1994年11月的思源企業(yè)，在21年的創(chuàng)業(yè)過程中，已經(jīng)發(fā)展成為以互聯(lián)網(wǎng)科技產(chǎn)業(yè)為核心，房地產(chǎn)服務(wù)業(yè)和投融資業(yè)務(wù)三位一體的平1994年，思源計算機(jī)軟件有限公司在深圳成立，并迅速走向全國，成為國內(nèi)最大的物業(yè)軟件供應(yīng)商。個數(shù)字化社區(qū)系統(tǒng)(回龍觀數(shù)字化社區(qū)系統(tǒng))。2014年，思源科技集團(tuán)正式掛牌成2015年1月1日，思源企業(yè)戰(zhàn)略全面升級，定位為打造綜合服務(wù)生態(tài)圈，思源將成為以互聯(lián)網(wǎng)業(yè)務(wù)為核心的平臺型企業(yè)企業(yè)解決方案／物業(yè)方案政務(wù)解決方案管理與分析主機(jī)入侵檢測系統(tǒng)omcatRabbitMQacheJettyMemcacheMysql企業(yè)解決方案／物業(yè)方案政務(wù)解決方案管理與分析主機(jī)入侵檢測系統(tǒng)omcatRabbitMQacheJettyMemcacheMysqleperedis監(jiān)控告警平臺DockerOpenStacKTrove(Liberty)數(shù)據(jù)庫審計系統(tǒng)管理數(shù)據(jù)庫邊界防火墻HDFS(HBase)Swift數(shù)據(jù)庫管理平臺壘機(jī)安全掃描引擎服務(wù)社交／服務(wù)／測試應(yīng)用防火墻KSaharaLibertyServicesJuno測、預(yù)生產(chǎn)、生產(chǎn)環(huán)境應(yīng)用?應(yīng)用?第一階段OpenStackasIaaS?第二階段SolutionsonOpenStackGartner對運行在云端的三大類應(yīng)用工作負(fù)載進(jìn)行了定義：?云托管系統(tǒng)被認(rèn)為是擺脫基于硬件的昂貴解決方案的“初級階托管系統(tǒng)從專用的手動管理硬件轉(zhuǎn)移到了云配置的裸?云優(yōu)化服務(wù)通過云能力支持系統(tǒng)的可用性和性能，例如允許軟擴(kuò)展其資源。云優(yōu)化后的工作負(fù)載仍然運行在服務(wù)器分層、縱向切割化用架構(gòu)?云原生系統(tǒng)通常會有其他的抽象層作為應(yīng)用架構(gòu)(例如PaaS或容器框架)的一部分。例如，云原生應(yīng)用不會有專用的服務(wù)器備，它們完全嵌入到了隱匿的傳統(tǒng)基礎(chǔ)設(shè)施資源的云微服務(wù)化tackKVM架構(gòu)物理機(jī)運維融企業(yè)的核心交易系統(tǒng)、電商企業(yè)的核心網(wǎng)站物理機(jī)運維用架構(gòu)軟件設(shè)計與架構(gòu)痛點：?大量開源組件的使用：?中間件使用：?架構(gòu)設(shè)計：理?運維人員參與的人工或者半自動化方式，錯誤率高?多環(huán)境部署，需要大量時間，效率低下?部署過程中，相關(guān)數(shù)據(jù)無法保存，難展現(xiàn)，難追溯?需要較多運維人員參與，人力資源成本高?重復(fù)性勞動，對人員成長及團(tuán)隊穩(wěn)定不利眾多數(shù)據(jù)庫、中間件、緩存、應(yīng)用“精巧”地運行同一物理服務(wù)器k眾多數(shù)據(jù)庫、中間件、緩存、應(yīng)用“精巧”地運行同一物理服務(wù)器kKVMansible動化“Docker”化dinit“環(huán)境”自動化中間件、緩存的Kerbernete適配系統(tǒng)架構(gòu)“微服務(wù)”化運行環(huán)境應(yīng)用部署?高可用中間件部署批量應(yīng)用部署?高可用中間件部署TomcatApache用Docker化統(tǒng)環(huán)境定制化?應(yīng)用配置綜合ansible+Heat搭建復(fù)雜的完整環(huán)境高可用數(shù)據(jù)庫集群自動化?中間件、緩存集群自動化?應(yīng)用批量部署自動化“”“”ockerOpenStackovaComputeDriverComputeAPI理后返回成功。樣每個DockerContainer便成為一個虛擬的NovaHypervisorNode,便可以模擬Controller集群管理超大量Compute節(jié)點的狀況；同時fakedriver和同時銷毀時給控制節(jié)點和MQ帶來的壓力狀況。OpenStack自動打包:們內(nèi)部的定制化需求也很高(例如集群中計算資源的主機(jī)級別和機(jī)架級別的反親和等等)。內(nèi)部維護(hù)了兩個OpenStack的版本將OpenStack所涉及的包括Nova、Nueturn、Glance、Cinder、Trove、Sahara等項目的編譯依賴環(huán)境統(tǒng)統(tǒng)放進(jìn)一個DockerImage中。通過參數(shù)來指定要編譯的OpenStack的版本和組件。GIT庫內(nèi)部源碼?？梢匀我馍纱虬h(huán)境DockerNova項目:是第一步。需要其他開發(fā)團(tuán)隊逐步熟悉面向容器的開發(fā)以及我們esMesos進(jìn)而推進(jìn)Magnum。通過NovaAPI調(diào)度NovaCompute生產(chǎn)Novainstance，而Novainstance的類型kerNovaDocker同的方式.?Kubernetes內(nèi)部負(fù)載均衡器實現(xiàn)及其訪問模式-kubeproxy內(nèi)部負(fù)載均衡器實現(xiàn)原理-KubeproxyServicePort?外部訪問k8sService-直接訪問POD-外部負(fù)載均衡器-通過NodePort訪問內(nèi)部負(fù)載均衡器-內(nèi)外結(jié)合?Kubernetes對接ELK在trove項目中，為了安全因素我們希望Mysql實例在Centos6中運行，為了代碼兼容以及社區(qū)跟進(jìn)度我們希望Trove在centos7中運行。高版本的Sahara面臨同樣的問題。OS版本以及OS相關(guān)庫的沖突成為痛點。不改變之前任何結(jié)構(gòu)，僅僅將Trove的相關(guān)Agent和Controller。網(wǎng)絡(luò)：采用Host模式，Controller直接復(fù)用物理機(jī)或者VM的網(wǎng)絡(luò)，不改變網(wǎng)絡(luò)結(jié)構(gòu)。Docker采用autorestart模式，保證agent的自動啟動更新：通過改變agentContainer鏡像，簡化升級步驟，VM鏡像升級則只有放置系統(tǒng)：VM、物理機(jī)都采用Centos6，Container使用centos7,不改變MySQL的運行環(huán)境.“環(huán)境”“環(huán)境”O(jiān)nOpenStack－自動化拉起?實現(xiàn)自動化部署的思想及架構(gòu)圖機(jī)創(chuàng)建完成后，讓程序得知虛擬機(jī)已創(chuàng)建完成，并把所需的配置推送到創(chuàng)建出的虛擬機(jī)中，推送完成后，重啟相應(yīng)的服務(wù)，達(dá)集群可用狀態(tài)，基于以上的分析，引入了一臺推送配置服，在整個推送配置過程中，所有環(huán)節(jié)的狀態(tài)信息，配置產(chǎn)生部署數(shù)量(套)mysql主從集群3mycat+mysql集群1mha+mysql集群1mongodb集群1r1fka1dis211?采用不同配置策略應(yīng)對多環(huán)境需求?開發(fā)應(yīng)用信息管理界面，形成應(yīng)用部署核心數(shù)據(jù)庫署優(yōu)化，最終可以實現(xiàn)完整的自動化部署過程應(yīng)用的方方面面，有一個環(huán)節(jié)沒有處理好，自動化項目都會遇到很大的。在整個實踐中，研發(fā)人員對運維工作的認(rèn)識不足，也導(dǎo)致在設(shè)計整署流程時，走過一段很長的彎路。但就在走彎路的過程中，其實也收大量的經(jīng)驗，加深了很多認(rèn)識，對后來的調(diào)整、改進(jìn)也起到了很好的etes規(guī)范?數(shù)據(jù)庫使用規(guī)范?緩存使用規(guī)范?應(yīng)用配置規(guī)范?KVM、Docker、物理機(jī)?數(shù)據(jù)庫高可用，應(yīng)用讀寫分離；嘗試Mycat解決分庫分表；?緩存支持高可用，應(yīng)用通過Zookeeper注冊與發(fā)現(xiàn)；?Dubbo、Disconf?Tomcat、Apache、NodeJs?日志、監(jiān)控、安全