云計算PaaS平臺總體設(shè)計說明書

1、云計算PaaS平臺總體設(shè)計說明書1. 引言41.1 目的41.2 背景41.3 術(shù)語和縮略語41.4 參考資料41.5 約定42. 概述52.1 產(chǎn)品描述52.2 假設(shè)與約束52.3 環(huán)境、工具及相關(guān)約定52.3.1. 開發(fā)環(huán)境52.3.2. 運行環(huán)境53. 總體結(jié)構(gòu)73.1 總體設(shè)計思路73.2 系統(tǒng)邏輯圖73.3 子系統(tǒng)邏輯圖83.4 生產(chǎn)平臺部署物理架構(gòu)圖103.5 開發(fā)測試平臺部署物理架構(gòu)圖113.6 生產(chǎn)環(huán)境的災(zāi)備部署架構(gòu)圖123.7 子系統(tǒng)設(shè)計133.7.1. 平臺運行時設(shè)計143.7.2. 控制臺143.7.3. 平臺定時伸縮153.7.4. 用戶管理163.7.5. 租戶管理1

2、73.7.6. 提醒服務(wù)183.7.7. 服務(wù)監(jiān)控183.7.8. 平臺監(jiān)控193.7.9. 審計子系統(tǒng)架構(gòu)設(shè)計203.7.10. laaS適配架構(gòu)設(shè)計203.7.11. 應(yīng)用彈性伸縮架構(gòu)設(shè)計213.7.12. 日志處理架構(gòu)設(shè)計223.7.13. MySQLServiceBroker設(shè)計233.7.14. Redis服務(wù)設(shè)計253.7.15. RabbitMQ服務(wù)設(shè)計253.7.16. Jenkins服務(wù)設(shè)計263.8 業(yè)務(wù)場景/流程設(shè)計283.8.1. 業(yè)務(wù)場景/流程清單294. 數(shù)據(jù)標(biāo)準(zhǔn)使用及數(shù)據(jù)結(jié)構(gòu)設(shè)計294.1 使用的信息項清單294.2 數(shù)據(jù)結(jié)構(gòu)設(shè)計295. 接口設(shè)計305.1 系統(tǒng)

3、外部接口305.2 子系統(tǒng)間接口306. 復(fù)用設(shè)計316.1 使用的復(fù)用資源316.2 創(chuàng)建的復(fù)用資源317. 非功能性的設(shè)計317.1 xxx指標(biāo)設(shè)計317.1.1. 設(shè)計思路327.1.2. 實現(xiàn)要點327.1.3. 對部署方案的約束327.2 xxx指標(biāo)設(shè)計327.2.1. 設(shè)計思路327.2.2. 實現(xiàn)要點327.2.3. 對部署方案的約束328. 詳細(xì)設(shè)計文檔規(guī)劃331.引言1.1 目的雙擊此處添加本文檔的目的本文檔對PaaS平臺進(jìn)行總體架構(gòu)設(shè)計，目標(biāo)用戶為設(shè)計人員、開發(fā)人員、測試人員、項目管理人員。1.2 背景雙擊此處添加本文檔的背景目前銀行IT并沒有PaaS平臺，應(yīng)用的開發(fā)、測試

4、、上線、試運行都是按照傳統(tǒng)的金融IT發(fā)布流程進(jìn)行。對于以需要快速響應(yīng)、快速發(fā)布、迭代更新為特征的互聯(lián)網(wǎng)應(yīng)用來說，傳統(tǒng)IT已經(jīng)難以滿足這種快速發(fā)布的需要，主要表現(xiàn)在：環(huán)境準(zhǔn)備時間過長：產(chǎn)品運行所需要的硬件、軟件環(huán)境往往需要在上線前幾個月就要申請、準(zhǔn)備，在產(chǎn)品上線前就需要規(guī)劃出產(chǎn)品今后可能用到的資源數(shù)量；無彈性擴展，擴容難：產(chǎn)品投產(chǎn)后很難再變更應(yīng)用的部署規(guī)模及資源配給，難以應(yīng)付突發(fā)流量，難以應(yīng)對日益增長的數(shù)據(jù)量；測試環(huán)境與生產(chǎn)環(huán)境差異較大：應(yīng)用的測試環(huán)境和生產(chǎn)環(huán)境存在較大差異（例如生產(chǎn)環(huán)境是集群部署，而測試環(huán)境則只是單節(jié)點部署），測試案例并不能完全模擬生產(chǎn)環(huán)境；應(yīng)用的配置信息在不同的環(huán)境需要手工修

5、改（例如修改配置參數(shù)），增加了出錯幾率；上線過程復(fù)雜：上線過程除了開發(fā)人員外，往往需要運維人員、DBA等各個環(huán)節(jié)的人員共同參與，或修改配置、或部署應(yīng)用、或執(zhí)行數(shù)據(jù)庫腳本，增加了上線人力成本的投入，降低了上線投產(chǎn)的效率；建設(shè)周期長：部署周期長，軟件定制開發(fā)慢，與外圍系統(tǒng)接口復(fù)雜，實施推廣需要大量的實施人力完成。通過PaaS云的建設(shè)解決以上問題。1.3 術(shù)語和縮略語雙擊此處添加本文檔的術(shù)語和縮略語PaaS:PlatformasaService,平臺服務(wù)，把應(yīng)用平臺作為服務(wù)提供PCF:PivotalCloudFoundryPivotal的PaaS云平臺1.4 參考資料雙擊此處添加本文檔所引用的參考資

6、料應(yīng)完整列出本文檔所參考或引用的資料，可包括項目其他文檔。標(biāo)識出每個文件的名稱、編號（如果有）、日期、出版組織、獲取來源，可以通過在此處定義、引用本文檔的附錄、或者引用其它文件的方式來提供。1.5 約定雙擊此處添加本文檔的約定說明在編寫或閱讀本文檔時的一些約定，如需求編號的編碼規(guī)則、圖例規(guī)則等，可以通過在此處定義、引用本文檔的附錄、或者引用其它文件的方式來提供。2才既述雙擊此處添加銀行PaaS平臺建設(shè)，為應(yīng)用提供統(tǒng)一的云平臺，大量實現(xiàn)應(yīng)用平臺相關(guān)的自動化和可用性進(jìn)一步提高，比如灰度發(fā)布、開發(fā)部門的持續(xù)集成（CI）和DevOps（開發(fā)運維）、應(yīng)用監(jiān)控、及進(jìn)一步提升應(yīng)用的可用性。這些功能大多屬于P

7、aaS功能，通過PaaS平臺的建設(shè)，并且逐步把應(yīng)用遷移到PaaS平臺，可以進(jìn)一步簡化運維，特別是應(yīng)用部署的標(biāo)準(zhǔn)化和簡化；也可以進(jìn)一步提高硬件資源池的使用效率，通過PaaS云的自動彈性伸縮、多重的應(yīng)用故障自動恢復(fù)、平臺的高可用性區(qū)等進(jìn)一步提高平臺的高可用性，實現(xiàn)應(yīng)用的在線升級包括灰度發(fā)布等，并通過平臺來實現(xiàn)應(yīng)用日志的集中管理。對開發(fā)部門來說，通過平臺支持的敏捷開發(fā)、CI和DevOps來進(jìn)一步提高開發(fā)效率，縮短從需求到IT實現(xiàn)的周期。2.1 .產(chǎn)品描述雙擊此處添加PaaS平臺構(gòu)建了開發(fā)、測試、生產(chǎn)運行環(huán)境。通過BuildPack構(gòu)建包提供了銀行主要的幾種應(yīng)用平臺，包括dk1.6,jdk1.7，jd

8、k1.8（分OpenJDK和OracleJDK兩版本）、EMJDK1.6、JBossEAP6.2、Tomcat7、Tomcat8等。提供的服務(wù)包括mySQL、RabbitMQ、Redis、Jenkins等。除了平臺和服務(wù)，還提供了統(tǒng)一的日志聚合和日志管理，應(yīng)用彈性伸縮、平臺定時伸縮、應(yīng)用監(jiān)控、服務(wù)監(jiān)控、平臺監(jiān)控、審計等功能。2.2 .假設(shè)與約束雙擊此處添加列出可能影響設(shè)計的假設(shè)條件和約束條件。這里不應(yīng)包含人力資源、時間等項目管理類的約束條件。此節(jié)需要具體包含什么內(nèi)容尚不明確，須在后續(xù)試點項目重點跟進(jìn)。23環(huán)境、工具及相關(guān)約定2.3.1. 開發(fā)環(huán)境雙擊此處添加dk1.6,jdk1.7，jdk1.

9、8（分OpenJDK和OracleJDK兩版本）以及舊MJDK1.6的Buildpack；定制以JBossEAP6.2為應(yīng)用服務(wù)器的Buildpack；定制以Tomcat?、Tomcat8為應(yīng)。Tomcat8等。提供的服務(wù)包括mySQL、RabbitMQ、Redis、Jenkins等。除了平臺和服務(wù)，還提供了統(tǒng)一的日志聚合和日志管理，應(yīng)用彈性伸縮、平臺定時伸縮、應(yīng)用監(jiān)控、服務(wù)監(jiān)控、平臺監(jiān)控、審計等功能。2.3.2. 運行環(huán)境雙擊此處添加參照可行性分析報告，說明運行環(huán)境的軟硬件要求。例如數(shù)據(jù)庫服務(wù)器的配置要求、應(yīng)用服務(wù)器的配置要求等。如果該系統(tǒng)對硬件敏感性高，則必須對硬件要求（如CPU、內(nèi)存、存

10、儲、帶寬等）進(jìn)行詳細(xì)的說明。Tomcat8等。提供的服務(wù)包括mySQL、RabbitMQ、Redis、Jenkins等。除了平臺和服務(wù)，還提供了統(tǒng)一的日志聚合和日志管理，應(yīng)用彈性伸縮、平臺定時伸縮、應(yīng)用監(jiān)控、服務(wù)監(jiān)控、平臺監(jiān)控、審計等功能。溜于F5的DNSF5前端分發(fā)把匚下遁品樽桁軌F5 :_131, . . dfc r tpa tmbM| 2, .lRb|；PaaS*WiA.2 : *.szpaas.cmb cn如下圖為銀行PaaS雙活架構(gòu)圖，在深圳和上海各部署二. paas.cm!i |曄(料過一些雙活的配置，實現(xiàn)兩地PCF的雙活。深圳PaaSfPCF集群A)匕海PTPCF集群A)PCFR

11、outerPCF RouterRouterR44ltrKosterPCF fPCFtri Rou terPCFRxrttrPCFPCFPCFRouter(RouterRouterPCFM彳也藏塊$mySQLu kcr果中U芯營理PCF借展限務(wù)服務(wù)町腎戶粹理r&KnhMSjfi 和審計應(yīng)用楸戶管理謫配控制臺審計3.總體結(jié)構(gòu)雙擊此處添加本章內(nèi)容須在后續(xù)試點項目重點跟進(jìn)3.1. 總體設(shè)計思路總體設(shè)計思路是以PCF提供的產(chǎn)品功能為基礎(chǔ)，加上一定的定制和開發(fā)來實現(xiàn)所有的需求功能，同時，考慮主要的非功能要求，比如高可用性、災(zāi)備、性能、安全性等。在PCF現(xiàn)有的產(chǎn)品特性基礎(chǔ)上，定制實現(xiàn)非功能性需求。32系統(tǒng)邏

12、輯圖雙擊此處添加根據(jù)IT系統(tǒng)架構(gòu)圖編制標(biāo)準(zhǔn)，繪制系統(tǒng)邏輯圖，說明本軟件產(chǎn)品和其它軟件產(chǎn)品的關(guān)聯(lián)關(guān)系n ： Hl 巾一4 t mysql. shia 啾 .Imysgl,1|最前端是一個DNS實現(xiàn)兩個PCF的域名解析，分別把PaaS應(yīng)用訪問域名C假定是此域名)、深圳PaaS系統(tǒng)域名(L)和上海PaaS系統(tǒng)域名G)統(tǒng)一泛域名解析到一個F5的負(fù)載均衡器，而F5把深圳PaaS系統(tǒng)域名(*)請求轉(zhuǎn)發(fā)至I1深圳PCF，把上海PaaS系統(tǒng)域名(*)統(tǒng)一泛域名請求轉(zhuǎn)發(fā)到上海PCF上。而應(yīng)用域名*請求則配置轉(zhuǎn)發(fā)策略，不同的應(yīng)用可以配置不同的轉(zhuǎn)發(fā)策略，比如90%的請求轉(zhuǎn)發(fā)到深圳PCF，10%的請求轉(zhuǎn)發(fā)到上海的PC

13、F，要求轉(zhuǎn)化的時候配置Session親和性，確保同一個Session只會轉(zhuǎn)發(fā)到一個PCF。每個PCF都會需要配置自己的系統(tǒng)mySQLHA，可以選用PCF自帶的mySQL服務(wù)，也可以采用外部的DBaaS數(shù)據(jù)庫。而對PCF定制的應(yīng)用，則主要訪問銀行DBaaS數(shù)據(jù)庫。除了采用F5作為請求分發(fā)，也可以采用HA Proxy做請求分發(fā)。如下圖采用HA Proxy做請求分發(fā)的邏輯架構(gòu)圖。PaaS的基于HAPexy的雙詹一杷H下域名髯圻到HAP H勺耐切P.xi11,應(yīng)月i方習(xí)城名；*（示平?。?. irti PaaSA*.szpaa5 cmb cnJfePaaS域茗；* shpaas cmb cnas cm

14、b cnnnysql nb cnrnysql.sza?s cmb cn/ kT vf山 PaaS(PCFAJIA)KfPCFJt他摸塊鶴中H去翳章中普應(yīng)卅并性忡唱按醍廉*押監(jiān)曾粗戶甘uasgifF!HA Proxy-1KeepAlive IP:1PCF ROvitlt皿噩;Z抽站附時MGPCF VPbT PCFIltouteT Rout R。常 L Rf就1t就rter ,QIPCFPCF其但模塊.臺手時伸瑞l用用葬件MRjuterPCFRouter顯舄鎏如利5哄*幀審計ifu-PaaSfPCFftJIA)PCFRourtr配置兩臺高配的X86虛機做HAProxy服務(wù)器，建議每臺HAProxy

15、服務(wù)器配置為8G內(nèi)存，12vCPU。每臺HAProxy安裝HAProxy和KeepAlive軟件。兩臺HAProxy配置出虛擬IP（VIP），在DNS中把應(yīng)用訪問域名、深圳PaaS系統(tǒng)域名和上海PaaS系統(tǒng)域名的都解析到VIP。通過對HAProxy的負(fù)載算法進(jìn)行配置（URI配分發(fā)權(quán)重），可以對不同的應(yīng)用分發(fā)不同的流量到深圳PCF集群或是上海PCF集群。根據(jù)對目前銀行的F5使用情況的了解，主要是5000S型，可以支持每秒新建并發(fā)連接35萬，最大的在線長連接為2400萬。而采用HAProxy的服務(wù)器，性能無法和F5同等，因為F5有專用的硬件加速芯片，根據(jù)一些測試經(jīng)驗，在高配的X86服務(wù)器上，記過優(yōu)

16、化，HAProxy的最大在線長連接可能可以達(dá)到千萬。本方案建議采用F5作為請求分發(fā)均衡器。典子系統(tǒng)邏輯圖如下為模塊邏輯圖：雙擊此處添加根據(jù)IT系統(tǒng)架構(gòu)圖編制標(biāo)準(zhǔn)，繪制各子系統(tǒng)的模塊邏輯圖，說明各子系統(tǒng)的模塊劃分及模塊間關(guān)系。列出所有模塊，依次說明各模塊的功能以及該模塊與其他模塊間的協(xié)作方式。如：交易處理模塊負(fù)責(zé)接受渠道提交的投保、撤單等業(yè)務(wù)請求，通過網(wǎng)關(guān)對接模塊最終發(fā)送到保險公司系統(tǒng)，所記錄的交易記錄為清算等其它模塊提供數(shù)據(jù)基礎(chǔ)。如下圖，為基于PCF的銀行PaaS系統(tǒng)邏輯架構(gòu)圖，包括銀行用到的PCF內(nèi)置模塊，定制模塊，以及和外部模塊的接口。這是對PCF現(xiàn)有模塊的裁剪，有些需要定制，有些可以直接

17、用，有些需要和銀行的系統(tǒng)集成，如和用戶目錄、日志集中處理等模塊的集成。招行PaaSCloudFoundry邏輯視圖whWardenBuild PackJStADbabbitmySQLRe卸serviceBrokerStager 組裝器址中打 匙處理serviceBrolkerMobik - Appifi 間metrics根據(jù)銀行的需求在對PCF模塊進(jìn)行裁剪后，需要定制的子系統(tǒng)分為如下三大群，分別是應(yīng)用運行時、服務(wù)和PCF自身功能的定制：股應(yīng)n 運行時Tomcat 7/8 1OpenJDK/OradeJBdss /IBM JDKiFAP 6.2服務(wù)Red Is RabbitfAQ1、應(yīng)用運行時，

18、為應(yīng)用提供運行環(huán)境，包括：a) Tomcat7/8b) JDK1.6(OpenJDKJBMJDK,OracleJDK)c) JDK1.7(OpenJDK,OracleJDK)d) JDK1.8(OpenJDK,OracleJDK)e) JBOSSEAPV6.2PCF的應(yīng)用運行時基于PCF的應(yīng)用平臺構(gòu)建規(guī)范BuildPack的規(guī)范進(jìn)行構(gòu)建。，基于PCF自身提供或是定制的服務(wù)，為應(yīng)用的運行提供服務(wù)支撐：)/ )/ )/ |7abedMySQLRedisRabbitMQJenkinsPCF提供了ServiceBrokerAPIV2，通過對這些ServiceBroker的API來實現(xiàn)每個服務(wù)，同時通過

19、PCFBOSHAPI來實現(xiàn)服務(wù)虛機的部署。3、PCF平臺自身定制功能，針對銀行的需求，對PCF平臺進(jìn)行定制，包括：a）提醒服務(wù)b）服務(wù)監(jiān)控c）平臺監(jiān)控d）審計e）租戶管理f）用戶管理g）平臺定時伸縮h）應(yīng)用彈性伸縮i）集中日志管理j）控制臺k）laaS適配PCF的自身定制功能是在PCF現(xiàn)有提供的功能基礎(chǔ)上，通過PCF提供的API進(jìn)行定制，實現(xiàn)和需求相結(jié)合的功能。34生產(chǎn)平臺部署物理架構(gòu)圖雙擊此處添加根據(jù)IT系統(tǒng)架構(gòu)圖編制標(biāo)準(zhǔn)，繪制應(yīng)用部署圖，說明程序?qū)嶓w和數(shù)據(jù)實體的部署情況，以及各部署節(jié)點的軟硬件環(huán)境要求。物理架構(gòu)設(shè)計原則如下：3實現(xiàn)高可用性同一應(yīng)用多客M實例運行應(yīng)用故I ,自動恢兄應(yīng)故障自動

20、恢慕*虛抓故障自動恢具物理機分群-一組物理機故障，蔡第 和應(yīng)用鮑運行-機H亟官后自動恢于細(xì)顆腿的容器運維和生產(chǎn)網(wǎng)蠟的陶離本應(yīng)用和嗣務(wù)同給的陶覷應(yīng)用珂應(yīng)用之同的安全*生產(chǎn)系統(tǒng)和測試每統(tǒng)的DNSF5前端分發(fā)p.mrsaLrwECXRediA-1vSphere W. Sr 1 vSphere *10TvttsnPaaS在深圳和上海分別部署一套 PCF集群，深圳5臺X86服務(wù)器配置為一個PCF集群，一個集群又分兩 個高可用性區(qū)，3臺X86為組成一個vSphere集群1，做成一個PCF的高可用性區(qū)A，另外2臺X86為組 成一個fA-sl irff HJ4GVAAETCDI vCffflarUYS0A2D

21、EA4KA5DEASKA?DEA3DEAWOA11DM2DEAUDA14EA9exuPSvSphere 集 iPM vSphere 集冢 2wCentern系統(tǒng)部署分為生產(chǎn)環(huán)境和開發(fā)測試環(huán)境。如下為物理部署邏輯架構(gòu)圖：PaaS的生產(chǎn)系統(tǒng)雙活物理部署架構(gòu)PCF的部署自動分布vSphere集群2,做成一個PCF的高可用性區(qū)B。通過配置兩個高可用性區(qū)，在兩個高可用性區(qū)，無論是PCF部件、還是應(yīng)用實例還是服務(wù)，都分布在兩個高可用性區(qū)，確保沒有單點故障根據(jù)邏輯架構(gòu)設(shè)計，物理資源分為三大池，一個是應(yīng)用資源池，二是PCF部件池，第三的服務(wù)池。PCF部件池部署PCF的各個部件，每個部件都做HA或是集群，確保每

22、個部件有2份以上，考慮到未來并發(fā)訪問量會比較大，要至少配5個Router部件。應(yīng)用資源池為DEA池，作為PaaS應(yīng)用容器，根據(jù)資源的容量計算每個DEA的CPU、內(nèi)存、磁盤額度，至少運行16個以上DEA。服務(wù)資源池部署Redis、RabbitMQ、mySQL等服務(wù)，所有的服務(wù)都支持HA或是集群，確保高可用性。通過資源池的方式提供資源共享程度，提高資源利用率。通過資源分池，提高安全隔離性之開發(fā)測試平臺部署物理架構(gòu)圖雙擊此處添加根據(jù)IT系統(tǒng)架構(gòu)圖編制標(biāo)準(zhǔn)，繪制應(yīng)用部署圖，說明程序?qū)嶓w和數(shù)據(jù)實體的部署情況，以及各部署節(jié)點的軟硬件環(huán)境要求。如下為開發(fā)測試環(huán)境的物理部署邏輯架構(gòu)圖：潮J物理DNSF5前端分

23、發(fā)UAAFTCD| TZ7 Wnrl 日志 魚里PCFSEftrtt.OPSPCF.EaPCF肥務(wù)淮和生產(chǎn)平臺的部署不一樣，開發(fā)測試環(huán)境只在深圳部署一套PCF,但是一套PCF也做兩個高可用性區(qū)，5臺X86服務(wù)器做成一個vSphere集群，同時配置為一個PCF高可用性區(qū)。和生產(chǎn)平臺的部署不一樣，開發(fā)測試環(huán)境需要配置更多的存儲，因為不同的部門都會來使用開發(fā)測試環(huán)境，每個部門都會部署開發(fā)測試的應(yīng)用。另外，因為以管理的方式訪問PCF的更多，需要多配置PCF的CloudController實例數(shù)，實現(xiàn)應(yīng)用生命周期管理的大并發(fā)量訪問。DEA在測試環(huán)境也需要配置的更多，可以容納更多的應(yīng)用實例。開發(fā)測試環(huán)境的

24、服務(wù)池也需要配置的更大，因訪問為不同的租戶要PCF服務(wù)池，要為不同的租戶配置服務(wù)實例。和生產(chǎn)環(huán)境不一樣，在測試環(huán)境有Jenkins服務(wù)，而在生產(chǎn)平臺沒有Jenkins服務(wù)。36生產(chǎn)環(huán)境的災(zāi)備部署架構(gòu)圖雙擊此處添加根據(jù)IT系統(tǒng)架構(gòu)圖編制標(biāo)準(zhǔn)，繪制應(yīng)用部署圖，說明程序?qū)嶓w和數(shù)據(jù)實體的部署情況，以及各部署節(jié)點的軟硬件環(huán)境要求。如下為生產(chǎn)環(huán)境的災(zāi)備部署架構(gòu)圖：PaaS的史備架構(gòu)F5前端分U深圳 PaaS(PCPJ 護(hù) A)服務(wù)Tomcat 7/8PaaS平臺門片功能定制PaaS Vf泊彷功能定制f宦甜*it犀篝員戶警用戶住用戶管理JBoss EAPaTHnySQL AtrvfCtBfQkiir應(yīng)川鼻性

25、I胡齡監(jiān)忻of JfjPaa5(PCFAAB)JDK 1.6/1.7/1.8 OpenJDK/OracAe /IBM JDK典申uztrTArtW舊昨RdbbrLMQ K 音召甩戶管應(yīng)LU運行時Tomcat 7/8 J DK1.&/1.7/1.SIOpenJDK/Oratle )Bo$S /IBM JDKEAP建申在深圳和上海分別部署一套置不麗牌堀的勤留第蒯艘用部署是5食應(yīng)用部瀚的環(huán)境和深圳部署架構(gòu)一樣。設(shè)的功再返回。配置Service和現(xiàn)地燧fgFQker的時候兩邊一樣配置,生產(chǎn)一樣的ServicePlan。用戶管理統(tǒng)一抽榴到W市絢e中分別往深圳PCF和上海PCF部署應(yīng)用，等兩地的應(yīng)用均部署

26、成Service名和ServiceBroker的AD上。MySQLService使用外部的銀行MySQLasaService,做一個Broker即可。Redis服務(wù)兩邊不復(fù)制。RabbitMQ通過腳本實現(xiàn)兩邊的元數(shù)據(jù)同步。平臺監(jiān)控采用Zabbix，在監(jiān)控數(shù)據(jù)采集的時候分別往上海和深圳兩個Zabbix服務(wù)器發(fā)一份。PCF采用兩個內(nèi)部mySQL數(shù)據(jù)庫PCF的系統(tǒng)數(shù)據(jù)庫，由于mySQL有HA功能，可以避免數(shù)據(jù)庫的單點故障。深圳和上海兩個PCF分別用各自的內(nèi)置mySQLHA集群。3.7. 子系統(tǒng)設(shè)計雙擊此處添加根據(jù)銀行總行信息技術(shù)部IT系統(tǒng)清單管理規(guī)范），定義出子系統(tǒng)，說明本軟件產(chǎn)品和其它軟件產(chǎn)品的關(guān)

27、聯(lián)關(guān)系。子系統(tǒng)清單子系統(tǒng)編號子系統(tǒng)名稱配置系統(tǒng)的單元名稱（可選）關(guān)聯(lián)系統(tǒng)編號/子系統(tǒng)編號關(guān)聯(lián)關(guān)系的描述PASS.01平臺運行時PASS.02控制臺PASS.01控制臺應(yīng)用部署在平臺運行時PASS.03平臺定時伸縮PASS.01平臺定時伸縮應(yīng)用部署在平臺運行時PASS.04用戶管理PASS.05租戶管理PASS.06提醒服務(wù)PASS.07服務(wù)監(jiān)控PASS.08平臺監(jiān)控PASS.09審計PASS.10laaS適配PASS.11應(yīng)用彈性伸縮PASS.12集中日志管理PASS.13MySQ服務(wù)BrokerPASS.14Redis服務(wù)PASS.15RabbitMQ服務(wù)PASS.16Jenkins服務(wù)3.

28、7.1. 平臺運行時設(shè)計應(yīng)用運行時，為應(yīng)用提供運行環(huán)境，包括以下運行時：1. Tomcat7/82. JDK1.6(OpenJDKJBMJDK,OracleJDK)3. JDK1.7(OpenJDK,OracleJDK)4. JDK1.8(OpenJDK,OracleJDK)5. JBOSSEAPV6.2以上平臺運行時均是通過PCF的BuildPack來實現(xiàn)的，而PCF的BuildPack有相應(yīng)的規(guī)范，根據(jù)規(guī)范即可實現(xiàn)相應(yīng)的Buildpack。buildpack是工作在CloudFoundry這個大框架下的，尊從一些規(guī)范，規(guī)范要求buildpack至少含有一個bin目錄，bin目錄下有三個文件

29、，文件名固定，分別是：detect#這個文件的作用是偵測你的項目，比如是個Java項目orphp項目，用的什么Runtime和Framework之類的compile#這是buildpack的核心文件，一般作用就是去拉取相應(yīng)的Runtime(e.g.python2.7/ruby1.9.3)下來做一卜配置放到指定位置拉取相應(yīng)的Framework(e.g.Flask/Django)卜來，做一下配置，放到指定位置release#這個文件最終要求輸出一個yaml，來描述如何啟動app之類的三個腳本由Cloudfoundry順次執(zhí)行。根據(jù)Buildpack的規(guī)范，我們可以從OpenJDK/OracleJD

30、K/IBMJDK等生產(chǎn)相應(yīng)的Buildpack。3.7.2. 控制臺控制臺是部署在PCF上的一個應(yīng)用，供不同的角色登錄使用，如管理員登錄到控制臺進(jìn)行系統(tǒng)管理、設(shè)定等，租戶管理員登錄控制臺設(shè)置權(quán)限、分配資源，普通用戶登錄控制臺部署應(yīng)用、監(jiān)控應(yīng)用、綁定服務(wù)、管理應(yīng)用等。控制臺分別在深圳和上海兩個PCF上部署，訪問同一個DBaaS數(shù)據(jù)庫。平常只訪問深圳PCF上部署的console應(yīng)用，在Console應(yīng)用中如果有對PCF的操作，會通過CFSDK分別訪問深圳PCF和上海PCF，使得在兩邊都有操作,比如通過console部署應(yīng)用或是綁定服務(wù)，console會控制分別在深圳PCF上和上海PCF上部署同一應(yīng)

31、用，綁定同一服務(wù)名，雖然深圳的服務(wù)和上海的服務(wù)名字相同，但是各自運行在各自的PCF上。雖然角色不一樣,但是Console是一個獨立的應(yīng)用，部署在PCF中，如下為控制臺的技術(shù)架構(gòu)。控制臺技術(shù)架構(gòu)CF API封裝為一個汪圳PCF上御PCF問數(shù)據(jù)，這部分還包括審計模塊，詳見審計架構(gòu)設(shè)計。第三是把控制臺要用到的控制 ffAAWARPCFDEA有杈臺港弟WAR刷VC業(yè)召邏輯頭理豐計于eCFSDKCF SDK，直接提供java接口供MVC業(yè)務(wù)邏輯實現(xiàn)部分實現(xiàn)，CFAPICF SDK調(diào)用PCF提供的標(biāo)準(zhǔn)的Restful的API。CFftPIPCFCloudControllerHmySQLDBaalPCFCl

32、oudControllerPCF UAA3大模塊，控制臺開發(fā)為一個war包應(yīng)用，部署在PCFDEA，作為PCF的一個應(yīng)用。控制臺應(yīng)用分為一個是GUI，也即Web界面，符合招呼Web風(fēng)格的界面，主要是基于jQuery界面控件和JavaScript實現(xiàn)。第二是基于SpringMVC的業(yè)務(wù)邏輯模塊，界面各個業(yè)務(wù)功能的Java實現(xiàn)，其中部分業(yè)務(wù)會訪數(shù)據(jù)庫采用銀行提供的DBaas數(shù)據(jù)庫服務(wù)。由于銀行現(xiàn)有基于AD的用戶目錄，一方面PCF可以配置和AD的SSO,也即AD的用戶可以登錄到PCF，但是登錄到PCF以后，還需要選擇用戶在什么組織架構(gòu)，用戶在AD的組織架構(gòu)和在PCF的組織架構(gòu)的映射關(guān)系可以保存在my

33、SQL數(shù)據(jù)庫中，用戶第一次登錄PCF的時候要選擇相應(yīng)的PCF組織架構(gòu)。而在MVC的業(yè)務(wù)邏輯實現(xiàn)部分,也可以實現(xiàn)和AD的SSO，這樣用戶在現(xiàn)有的應(yīng)用環(huán)境中登錄以后可以直接進(jìn)入Console。3.7.3. 平臺定時伸縮平臺定時是部署在Ops上的一個應(yīng)用，也即根據(jù)Ops安裝包規(guī)范開發(fā)的的一個Ruby程序，由管理員登錄使用。平臺定時伸縮Ruby應(yīng)用分為兩大模塊，一個是設(shè)置部分，包括配置定時伸縮的界面，如伸縮起始結(jié)束時間，伸縮多少虛機。另外就是伸縮的實現(xiàn)，通過調(diào)用Ops提供的API把伸縮的虛機配置發(fā)送給Ops，同時調(diào)用BOSHAPI，通過BOSHAPI來實現(xiàn)虛機的增加和減少，從而實現(xiàn)預(yù)定的平臺伸縮。程序

34、包還包括一個定時器，根據(jù)預(yù)定的時間定時調(diào)用伸縮的BOSHAPI和OpsAPI。另外，平臺定時伸縮還需要配置一個數(shù)據(jù)庫服務(wù)，采用PCF內(nèi)置的mySQL數(shù)據(jù)庫服務(wù)，伸縮策略、伸縮時間、伸縮記錄等均需要寫如數(shù)據(jù)庫。平臺定時伸縮osh APIService PoolPCFBOSHPCFOpsMySQL數(shù)據(jù)服務(wù)PCF Ops定時伸縮Rub芋應(yīng)用MVC業(yè)務(wù)邏輯實現(xiàn)3.74用戶管理用戶管理子系統(tǒng)技術(shù)架構(gòu)和控制臺類似，也是部署在 進(jìn)行用戶管理。PCF上的一個應(yīng)用，主要供管理員登錄到控制臺用戶管理技術(shù)架構(gòu)瀏覽器j QueryPCF DEAAD 用戶目錄GUIMVC業(yè)務(wù)邏輯實現(xiàn)CFSDKPCF UAA用戶管理分為

35、兩大邏輯模塊，一個是和AD域的集成，一個是非AD用戶管理，包括用戶創(chuàng)建、停用、刪除、權(quán)限分配等。PCFCloudController由于銀行現(xiàn)有基于AD的用戶目錄，一方面PCF可以配置和AD的SSO,也即AD的用戶可以登錄到PCF，但是登錄到PCF以后,還需要選擇用戶在什么組織架構(gòu),用戶在AD的組織架構(gòu)和在PCF的組織架構(gòu)的映射關(guān)系可以保存在mySQL數(shù)據(jù)庫中，用戶第一次登錄PCF的時候要選擇相應(yīng)的PCF組織架構(gòu)或是根據(jù)組織架構(gòu)映射確定用戶在PCF的組織架構(gòu)。而在MVC的業(yè)務(wù)邏輯實現(xiàn)部分，也需要實現(xiàn)和AD的SSO,這樣用戶在現(xiàn)有的應(yīng)用環(huán)境中登錄以后可以直接進(jìn)入Consoleo系統(tǒng)要用創(chuàng)建數(shù)據(jù)庫

36、，采用PCF內(nèi)置的PCF mySQL數(shù)據(jù)庫，數(shù)據(jù)庫包括組織架構(gòu)關(guān)系等，目前的組織架構(gòu)關(guān) 系如如下的二級架構(gòu)：一級錨門二級料;門蓼償業(yè)務(wù)金部門對公業(yè)務(wù)三級部門 開發(fā)二室三級部門守戈三室內(nèi)此組織架構(gòu)的三級部門和吸部(PCFOrg) 開發(fā)一室PCF的Org對應(yīng),四級部門和Space對應(yīng)。對于非AD的用戶，通過PCF的API可以創(chuàng)建用戶、分配到組織架構(gòu)和項目中去、配置資源權(quán)限、停止用戶、刪除用戶等。非AD的用戶一方面要在數(shù)據(jù)庫中配置組織架構(gòu)關(guān)系，另外，在通過PCFAPI創(chuàng)建用戶、配置PCF角色以后，要把相應(yīng)的信息寫入數(shù)據(jù)庫，用于統(tǒng)一的用戶管理。3.7.5.租戶管理租戶管理子系統(tǒng)技術(shù)架構(gòu)和控制臺類似，也

37、是部署在PCF上的一個應(yīng)用，主要供管理員登錄到控制臺進(jìn)行租戶管理。租戶管理技術(shù)架構(gòu)PCF DEAGU中巴臺尬主WARCFSDKService PoolPCF UAAMVC業(yè)岫PCFCloudController MySQL租戶管理的 主要功能通過持，比如磁PCFAPI實現(xiàn)，如創(chuàng)建租戶、修改租戶信息等。由于部門信息PCF不內(nèi)置支再寫數(shù)據(jù)庫，把額度配置信息寫入數(shù)據(jù)庫。同時每次部署應(yīng)用的時候，Push應(yīng)用的發(fā)現(xiàn)Push應(yīng)用的用戶所屬租戶磁盤額度不夠,并終盤額度控制,需止應(yīng)用Push。如果可以Push應(yīng)用，要把應(yīng)用所占有的磁盤信息更新到租戶磁盤實際用要把應(yīng)用的磁盤信息更新到租戶表，如果在需告警，量表。

38、另外，按照需要分析，把租戶的基本信息寫入數(shù)據(jù)庫，便于查詢，支持需求的各種模糊查詢條件。管理員刪除租戶的時候要查詢數(shù)據(jù)庫表的租戶信息，如果租戶的內(nèi)存實際用量或磁盤實際用量不為零，這提示不能刪除，同時通過PCFAPI查詢有什么應(yīng)用部署在此租戶。管理員查看租戶的詳細(xì)信息時，通過PCFAPI檢索租戶的詳細(xì)信息頁，除了顯示租戶的基本信息外,還需檢索顯示租戶的工作空間列表、用戶列表、應(yīng)用列表等信息3.76提醒服務(wù)PCF內(nèi)置有提醒服務(wù)，需要配置,目前只支持Email的方式。提醒服務(wù)技術(shù)架構(gòu)PCF提供了基于Web頁面和命令行的配置方式，配置提醒服務(wù)，包括提醒服務(wù)的Email模板，哪些情況進(jìn)行提醒，比如應(yīng)用故障

39、了，彈性伸縮了等。PCF需要配置Email服務(wù)器，才能安裝提醒服務(wù)。PCF的提醒服務(wù)還提供了API，可以定制開發(fā)一個提醒配置應(yīng)用。本期只實施基于PCF內(nèi)置提供的Web配置和命令行配置，不通過提醒服務(wù)的API定制節(jié)目。如下圖杲配置哪此信息需要提醒。ManageNotifications111F電I曲HFernjllriotiihEElU3Cl-oldFourdryAjtnscajngSerwice旦ScalingDortmdJanjalScaling;DetectedflMBdmuminstanaLimitReachedlV5JLmgUp訥zdPartySenicesgNuiEfMtHk4cdM

40、bsl.insdlnfaBrccmJo5hlareiTirter.cain提醒服務(wù)也可以配置發(fā)送給特定的人員，或是發(fā)給某Space或是某組織。3.7.7.服務(wù)監(jiān)控如下圖為服務(wù)監(jiān)管的技術(shù)架構(gòu)，服務(wù)監(jiān)管主要基于Zabbix的監(jiān)控方案。PCF內(nèi)置的P-metrics可以采集PCF安裝的所有虛機的監(jiān)控信息，包括各個服務(wù)的以及各個部件的監(jiān)控信息。對于Service監(jiān)控信息，ServiceBroker,如果是定制開發(fā)的ServiceBroker，如果是PCF內(nèi)置的Service,會有專門的虛機運行相應(yīng)的Broker，相應(yīng)的ServiceBroker程序在PCFDEA上以PCF應(yīng)用的方式運行。本方案中，也會

41、對系統(tǒng)的JavaBuildpack打包一個ZabbixAgent,可以采集到應(yīng)用運行的各種狀態(tài)信息。Zabbix包括5大部分，核心是ZabbixServer、ZabbixServer：負(fù)責(zé)接收agent發(fā)送的報告信息的核心組件，所有配置、統(tǒng)計數(shù)據(jù)及操作數(shù)據(jù)均由其組織進(jìn)行ZabbixDatabase:專用于存儲所有配置信息，以及有zabbix收集的數(shù)據(jù)，在本設(shè)計中采用PCF內(nèi)置的mySQL數(shù)據(jù)庫服務(wù)，根據(jù)銀行現(xiàn)有需求的估計，每個月可能會產(chǎn)生上百G的數(shù)據(jù)，可以給mySQL配置較大的服務(wù)計劃，同時定時的把數(shù)據(jù)轉(zhuǎn)儲出去。Webinterface(frontend)：zabbix的GUI接口，通常與se

42、rver運行在同一臺機器上。根據(jù)招呼的界面風(fēng)格，對Zabbix的Web界面進(jìn)行定制。Proxy:用于分布式,監(jiān)控環(huán)境中，代理Server收集部分被監(jiān)控數(shù)據(jù)并統(tǒng)一發(fā)往Server端Agent:部署在被監(jiān)控主機上,負(fù)責(zé)收集本地數(shù)據(jù)并發(fā)往Server端或者Proxy端3.78平臺監(jiān)控和服務(wù)監(jiān)管技術(shù)架構(gòu)類似，PaaS的監(jiān)控平臺統(tǒng)一采用Zabbix,分別監(jiān)控PCF的三大資源池：PCF部件池、服務(wù)池、應(yīng)用DEA池。一方面可以監(jiān)控各個服務(wù)的狀態(tài)信息，另外一方面可以監(jiān)控PCF各個部件模塊的狀態(tài)信息，也可以監(jiān)控PCF上運行的應(yīng)用狀態(tài)信息。對于服務(wù)監(jiān)管和PCF部件監(jiān)控而言，都是通過PCF內(nèi)置的P-metrics把

43、所有的狀態(tài)信息采集到P-Metrics服務(wù)器上,然后通過JMX的方式傳送到ZabbixServer。由ZabbixServer進(jìn)行存儲、分析、處理和展示。平臺監(jiān)控技術(shù)架構(gòu)3.7.9.審計子系統(tǒng)架構(gòu)設(shè)計審計子系統(tǒng)作為一個應(yīng)用部署到PCFDEA。審計子系統(tǒng)作為控制臺的一部分，分為兩個模塊，第一是操作記錄模塊，把所有對Console的操作寫入數(shù)據(jù)庫,審計子系統(tǒng)的數(shù)據(jù)庫部署在審計子系統(tǒng)技術(shù)架構(gòu)上海PCF1SSIPCFPCF DEA 3.7.10.HrokArDEASDKPCF 1.5已經(jīng)支持了 OpenStack,目前我們在PCF 1.5的Beta版本已經(jīng)安裝在OpenStack環(huán)境下了，而 青云會直

44、接支持OpenStack的API。PCF是通過CPI(CloudProgrammingInterface)來和下面的laaS接口，如下圖。只要實現(xiàn)了BOSH的CPI接口即可。AgentsOutershell如下圖，CPI只要實現(xiàn)下面的10個API即可。BOSH: Cloud Provider InterfaceStemcellcreate stemeel Icloud_propert ies* deleie_stmcel 1 (stctnt:ell_id)VMcrente_vni TL_locality)delete_dik(di sk_id) attach disk(vmjdt disk,

45、id) detactudisk(vncid disk-id)laaS NeutralAvmwareETC對于招呼目前的laaS接口，我們的方案建議是采用PCF已經(jīng)指出的OpenStack標(biāo)準(zhǔn)接口，無論是青云還是華為的FusionSphere，都可以提供標(biāo)準(zhǔn)的OpenStackAPI接口，只要這些接口完全兼容OpenStackAPI，就可以直接接口，如果有不完全兼容的地方，可以對laaS層的接口再做一層封裝，使之完全兼容即可。3.7.11. 應(yīng)用彈性伸縮架構(gòu)設(shè)計應(yīng)用彈性伸縮作為一個PCF應(yīng)用部署在PCF的DEA上運行。系統(tǒng)架構(gòu)如下圖：應(yīng)用彈性伸縮技術(shù)架構(gòu)PCFAPI決耽比隹CPU信息彈性伸縮需要

46、獲取伸縮策略所需的實時數(shù)據(jù)。數(shù)據(jù)采集分為兩個來源:應(yīng)用彈性伸縮的子系統(tǒng)由三部分組成，一是指標(biāo)采集，如上所述，第二是控制界面，對彈性伸縮策略的配置，第三是伸縮控制，包括定時控制（根據(jù)預(yù)先設(shè)定的時間進(jìn)行伸縮），伸縮的實際控制是通過PCFAPI直接訪問CloudController,實現(xiàn)應(yīng)用實例的擴張或是收縮。另外，應(yīng)用伸縮需要把應(yīng)用伸縮策略的配置、伸縮操作等寫入數(shù)據(jù)庫，采用DBaas的mySQL數(shù)據(jù)庫，創(chuàng)建一個mySQL的服務(wù)即可。3.7.12. 日志處理架構(gòu)設(shè)計如下圖為PaaS日志處理子系統(tǒng)的架構(gòu)設(shè)計，子系統(tǒng)主要分為兩部分：1、PCF日志采集聚合服務(wù)，通過PCF內(nèi)置的Doppler模塊負(fù)責(zé)采集日

47、志，日志的來源有三種：A、PCF各個部件的日志，在PCF的OPS通過配置就可以把日志都采集到DopplerB、PCF各個服務(wù)的日志，在PCF的OPS通過配置各個服務(wù)日志輸出的就可以把日志都采集到DopplerC、PCF的各個應(yīng)用日志，PCF缺省會把所有的應(yīng)用日志都輸出到DopplerDoppler采集的日志包括監(jiān)控日志、錯誤日志和其他等日志。2、日志處理采用舊MSmartCloudAnalytics，Doppler可以把所有的日志通過syslog協(xié)議輸出到舊MSmartCloudAnalytics，由舊MSmartCloudAnalytics進(jìn)行統(tǒng)一處理。對于PCF的外置服務(wù)，通過標(biāo)準(zhǔn)的日志協(xié)

48、議采集到舊MSmartCloudAnalytics。通過對舊MSmartCloudAnalytics（簡稱ISCA）的定制，系統(tǒng)管理員和開發(fā)人員能夠登錄ISCA平臺查看日志；通過對ISCA的定制把監(jiān)控日志和錯誤日志實時導(dǎo)出并顯示到機房監(jiān)控界面上。日志燉子系轆術(shù)和H 土卜2r PCF DEALog AnalysisMVO業(yè)備邏輯實現(xiàn)OF SDK服務(wù)池(UbbttMQmy5QL善PCF燒件淙肛GUI 拽制臺點用WARPCF外逮服務(wù)PCF部件池PCF H總聚合融務(wù)DopplermySQLAA3.7.13. MySQLServiceBroker設(shè)計mySQL的服務(wù)設(shè)計分兩個，一個是生產(chǎn)環(huán)境的mySQL

49、服務(wù)，一個是開發(fā)測試環(huán)境的mySQL服務(wù)。開發(fā)測試環(huán)境不需要災(zāi)備,是一個標(biāo)準(zhǔn)的服務(wù)設(shè)計方法。但是生產(chǎn)環(huán)境的mySQL要考慮深圳和上海兩個PCF的災(zāi)備，所以設(shè)計方法和常規(guī)不一樣。如下為開發(fā)測試環(huán)境的mySQL服務(wù)：開發(fā)測試環(huán)境也采用銀行的DBasaService數(shù)據(jù)庫服務(wù)池，開發(fā)一個mySQLServiceBroker的應(yīng)用程序，部署在PCF的DEA上運行。mySQL開發(fā)測網(wǎng)境II務(wù)技術(shù)孵PCFDEADropletRedisServiceBroker創(chuàng)雀耐SQL實例gmJsQL弓戶等北碌nny$QL丈町ffl 除mySQL用“等招行DBasaService資源池mySQL我群mySQL集群myS

50、QL集群此ServiceBroker要實現(xiàn)ServiceBrokerV2的規(guī)范,包括FetchCatalog、ProvisionInstanceCreateBinding、RemoveBinding、RemoveInstance等。比如ProvisionInstance的時候要調(diào)用數(shù)據(jù)庫的API去創(chuàng)建數(shù)據(jù)庫的實例,并創(chuàng)建相應(yīng)的用戶，在removeinstance的時候做反操作，調(diào)用數(shù)據(jù)庫的API去刪除數(shù)據(jù)庫的實例，并刪除相應(yīng)的用戶。 cf id- service brokerServices APIFatdi Lataloj 【冼】wcamog產(chǎn)VZ cf bind- serviceCloud

51、ControllerMySQLBrokerPTOltori Instywe(PUT NZKervSr instances* idV (previouslyGateway)Bindir*mgsrunti nd-setvce cfdelete-serviceRemoveBMng(DELtlEJv2，se2Qe_bEi*kI)RemoveinMunce一下Ar2fser/8nsarcesirt)對于生產(chǎn)環(huán)境的mySQL服務(wù)架構(gòu)如下圖:PCF DEA上海PCFSWIPCF廠用行DB asDServi |K源池BrokermySQL集群mySQLmySQLmySQL廿環(huán)朋務(wù)技術(shù)架構(gòu)mySQL的Servi

52、ceBroker作為一個PCF應(yīng)用分別部署在深圳的PCF和上海的PCF,兩個ServiceBroker完全-樣，訪問同一個ServiceBroker的數(shù)據(jù)庫，這個數(shù)據(jù)庫目前建議是采用現(xiàn)有的DBasaService，保存ServiceBroker的一些數(shù)據(jù)，比如ServiceInstanee的元數(shù)據(jù)信息、用戶名口令等。同時，在深圳和上海的控制臺上調(diào)用PCF來創(chuàng)建服務(wù)、綁定服務(wù)。在深圳控制臺創(chuàng)建服務(wù)的時候，會調(diào)用深圳的ServiceBroker去真正創(chuàng)建服務(wù)實例、創(chuàng)建用戶等，如果調(diào)用深圳的ServiceBroker故障，則轉(zhuǎn)向調(diào)用上海的ServiceBroker去真正創(chuàng)建服務(wù)實例、創(chuàng)建用戶等，并確保只會調(diào)用一次創(chuàng)建數(shù)據(jù)庫實例。當(dāng)深圳PCF故障，切換到上海PCF的時候，上海的PCFMySQLServiceBroker正常運行，而且上海PCF的Console也正常運行，原有的所有數(shù)據(jù)庫Instanee都在上海的ServiceBroker中有創(chuàng)建，只是通過Console創(chuàng)建數(shù)據(jù)庫實例的時候會控制只創(chuàng)建一份。3.7