基于阿里云P層的開發(fā)模式

1、時(shí) 間 2014.012客戶原子服務(wù)用戶原子服務(wù)SLB（軟負(fù)載均衡器）WEB應(yīng)用ESBXX原子服務(wù)資源原子服務(wù)資源域數(shù)據(jù)訪問分布式緩存批量加載緩存更新數(shù)據(jù)訪問緩存數(shù)據(jù)訪問產(chǎn)品原子服務(wù)產(chǎn)品域批量加載緩存更新數(shù)據(jù)訪問緩存數(shù)據(jù)訪問訂單原子服務(wù)訂單域數(shù)據(jù)訪問緩存數(shù)據(jù)訪問公共公共域數(shù)據(jù)訪問緩存數(shù)據(jù)訪問文件訪問數(shù)據(jù)存儲(chǔ)后端服務(wù)前端應(yīng)用數(shù)據(jù)訪問組合服務(wù)1組合服務(wù)2組合服務(wù)N客戶域客戶域用戶域用戶域分布式緩存分布式緩存分布式緩存實(shí)時(shí)加載WEB應(yīng)用WEB應(yīng)用WEB應(yīng)用消息中間件分布式文件系統(tǒng)3TDDLTDDL 緩存關(guān)系數(shù)據(jù)庫(kù)配合使用模式批量加載緩存更新公共表產(chǎn)品域產(chǎn)品表訂單域訂單表資源域號(hào)碼主表號(hào)碼維度表用戶域

2、用戶主表用戶維度表客戶域客戶主表客戶維度表TAIR分布式緩存產(chǎn)品原子服務(wù)產(chǎn)品原子服務(wù)數(shù)據(jù)查詢新數(shù)據(jù)保存新數(shù)據(jù)保存訂單原子服務(wù)訂單原子服務(wù)CRUDCRUD客戶原子服務(wù)TDDL客戶原子服務(wù)用戶原子服務(wù)TDDL用戶原子服務(wù)客戶資料認(rèn)證服務(wù)CRUDCRUD客戶資料認(rèn)證應(yīng)用WEB應(yīng)用前端應(yīng)用組合服務(wù)原子服務(wù)數(shù)據(jù)存儲(chǔ)組裝服務(wù)原子服務(wù)層組合服務(wù)層 同步異步配合使用模式資源域號(hào)碼主表號(hào)碼維度表用戶域用戶主表用戶維度表客戶域客戶主表客戶維度表客戶原子服務(wù)TDDL客戶原子服務(wù)用戶原子服務(wù)TDDL用戶原子服務(wù)組裝服務(wù)CRUDCRUDWEB應(yīng)用Notify異步消息mqMq等TDDL資源原子服務(wù)X組裝服務(wù)TAIR分布式

3、緩存WEB應(yīng)用組裝服務(wù)6采集DCC-PROXYOTS集群查重?cái)?shù)據(jù)OSS集群原始話單標(biāo)準(zhǔn)話單NOTIFY集群話單消息余額變更消息賬單變更消息開停機(jī)消息費(fèi)用變更消息SLB集群計(jì)費(fèi)消息OTS集群歷史詳單數(shù)據(jù)歷史賬單數(shù)據(jù)詳單入庫(kù)賬單變更余額變更預(yù)處理批價(jià)累帳信用控制會(huì)話管理/批價(jià)扣費(fèi)周期費(fèi)計(jì)算月結(jié)優(yōu)惠批量銷賬繳費(fèi)充值詳帳單查詢MYSQL集群累積量集群賬本余額集群實(shí)時(shí)賬單集群會(huì)話信息集群TAIR集群會(huì)話信息集群用戶資料集群MYSQL集群在線賬單集群出賬余額集群出賬賬單集群在線詳單集群NOTIFY消息集群用戶資料集群實(shí)時(shí)優(yōu)惠實(shí)時(shí)賬單變更DRC資料同步OSS文件讀寫OTS查重/賬詳單讀寫MYSQL數(shù)據(jù)庫(kù)讀寫

4、NOTIFY異步消息訪問TAIR內(nèi)存緩存訪問APPNAME應(yīng)用集群 原數(shù)據(jù)庫(kù)附加能力被禁用 存儲(chǔ)過程、視圖、自定義函數(shù)或過程、觸發(fā)器、sequence等；聚合函數(shù) 數(shù)據(jù)的強(qiáng)一致性被丟棄了：去外鍵、加冗余 復(fù)雜sql被禁用 復(fù)雜SQL拆分為簡(jiǎn)單SQL應(yīng)用多次調(diào)用 強(qiáng)一致性事務(wù)分布式環(huán)境下變成異步的了、并且是由應(yīng)用來(lái)控制 Notify消息中間件 狀態(tài)機(jī)7 原數(shù)據(jù)庫(kù)的事現(xiàn)在由應(yīng)用來(lái)干 數(shù)據(jù)庫(kù)附加能力、事務(wù)、聚合、排序 大表join得拆開干 引入消息中間件notify的副作用應(yīng)用得擺平 消息沒有順序了 消息發(fā)重復(fù)了也不知道 得增加很多技術(shù)類異常處理 需要剔重、異常需要進(jìn)行補(bǔ)償8 優(yōu)點(diǎn) 產(chǎn)品體系比較完整

5、 用消息機(jī)制完成分布式事務(wù)是一種創(chuàng)新 互聯(lián)網(wǎng)思維（技術(shù)角度）執(zhí)行比較到位 能力不足堆機(jī)器 快速迭代9 缺點(diǎn) 數(shù)據(jù)方面 強(qiáng)一致性被打破，而這恰是電信業(yè)務(wù)數(shù)據(jù)要保證的。數(shù)據(jù)一致性稽核。 數(shù)據(jù)庫(kù)附加能力的減少，導(dǎo)致系統(tǒng)很難平移過來(lái)，應(yīng)用大部分要重寫（除上層服務(wù)不用改之外，底層的跟數(shù)據(jù)庫(kù)打交道的都要改，至少60）。存儲(chǔ)過程、function等。 SQL：Join的限制、Like不支持、聚合函數(shù)等 數(shù)據(jù)匯總能力不強(qiáng) 引入冗余表，應(yīng)用對(duì)冗余表的操作難度增加了 對(duì)數(shù)據(jù)的維護(hù)難度加大了10 缺點(diǎn) 應(yīng)用層面 分布式事務(wù)得應(yīng)用控制，工作量加大了。 各種異常的補(bǔ)償機(jī)制得考慮周全。 出現(xiàn)問題后，查找原因變得很復(fù)雜、很

6、麻煩 消息中間件的重復(fù)、無(wú)順序投遞問題得應(yīng)用解決 業(yè)務(wù)遠(yuǎn)比阿里、淘寶復(fù)雜，是否能順利支撐未深入驗(yàn)證過 對(duì)單筆業(yè)務(wù)時(shí)間有較苛刻要求的業(yè)務(wù)，在云上遇到阻礙 每個(gè)產(chǎn)品都有一些不適應(yīng)1112能力能力阿里產(chǎn)品（阿里產(chǎn)品（HSF/Dubblo）我們（我們（ESB）服務(wù)注冊(cè)服務(wù)注冊(cè)與發(fā)布與發(fā)布采用全Spring配置方式，透明化接入應(yīng)用，對(duì)應(yīng)用沒有任何API侵入，只需用Spring加載Dubbo的配置即可，使用zookeeper注冊(cè)中心進(jìn)行服務(wù)的自動(dòng)注冊(cè)與發(fā)布。通過管理控制臺(tái)對(duì)服務(wù)進(jìn)行治理。通過esbAdmin頁(yè)面注冊(cè)服務(wù)，并將注冊(cè)服務(wù)內(nèi)容保存到數(shù)據(jù)庫(kù)中。啟動(dòng)時(shí)esbWS進(jìn)行服務(wù)自動(dòng)發(fā)布。協(xié)議支持協(xié)議支持We

7、bservice、Hessian、dubbo、rmi、http、thrift；不同服務(wù)不同協(xié)議；同一服務(wù)多協(xié)議暴露Webservice、rest負(fù)載均衡負(fù)載均衡軟件負(fù)載均衡：采用基本于配置中心訂閱推送，客戶端軟負(fù)載，容災(zāi)、失效恢復(fù)，路由等規(guī)則支持。軟負(fù)載、硬件負(fù)載均支持路由路由通過控制臺(tái)配置。路由規(guī)則： 接口路由， 方法路由，參數(shù)路由。選址算法：隨機(jī)，權(quán)重。通過硬編碼實(shí)現(xiàn)異步調(diào)用異步調(diào)用并行發(fā)起多個(gè)請(qǐng)求，但只使用一個(gè)線程：基于NIO的非阻塞實(shí)現(xiàn)并行調(diào)用，客戶端不需要啟動(dòng)多線程即可完成并行調(diào)用多個(gè)遠(yuǎn)程服務(wù)，相對(duì)多線程開銷較小。通過硬編碼實(shí)現(xiàn)事件通知事件通知在調(diào)用之前，調(diào)用之后，出現(xiàn)異常時(shí)，會(huì)觸發(fā)

8、oninvoke, onreturn, onthrow三個(gè)事件，可以配置當(dāng)事件發(fā)生時(shí)，通知哪個(gè)類的哪個(gè)方法。不支持13能力能力TDDLTDDL思特奇思特奇- -分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù) 架構(gòu)架構(gòu)1.采用組件形式和應(yīng)用集成2.支持spring和ibatise兩種框架1,采用代理中間件方式，需要一定的內(nèi)存空間轉(zhuǎn)存臨時(shí)數(shù)據(jù)2。支持所有mysql協(xié)議連接和應(yīng)用無(wú)關(guān)功功能能讀寫分離讀寫分離先進(jìn)行數(shù)據(jù)源選擇，再進(jìn)行讀寫分離和負(fù)載均衡先進(jìn)行讀寫分離判斷，在進(jìn)行具體數(shù)據(jù)源的選擇垂直水平切分垂直水平切分垂直只能通過應(yīng)用自己選擇不同的數(shù)據(jù)源，水平不能動(dòng)態(tài)變更垂直水平能夠動(dòng)態(tài)變更生效存儲(chǔ)過程存儲(chǔ)過程不支持支持存儲(chǔ)過

9、程、function等負(fù)載均衡負(fù)載均衡支持按照權(quán)重發(fā)送，但有故障時(shí)需要程序重新建立連接支持，按照在線節(jié)點(diǎn)進(jìn)行負(fù)載均衡，不支持權(quán)重配置事務(wù)處理事務(wù)處理不支持支持，XA分布式事務(wù)嵌套查詢路由嵌套查詢路由不支持支持DQL查詢查詢支持支持結(jié)果集合并結(jié)果集合并不支持，每次只向一個(gè)節(jié)點(diǎn)發(fā)送請(qǐng)求。支持結(jié)果集合并。多節(jié)點(diǎn)發(fā)送多節(jié)點(diǎn)發(fā)送不支持，每次只向一個(gè)節(jié)點(diǎn)發(fā)送請(qǐng)求。支持，能夠進(jìn)行數(shù)據(jù)冗余處理開發(fā)復(fù)雜度開發(fā)復(fù)雜度難，程序需要將切分規(guī)則寫到程序中，很多數(shù)據(jù)源要先定義好一般，用戶不用關(guān)系具體的業(yè)務(wù)規(guī)則，可以在開發(fā)完畢后配置切分規(guī)則配置管理配置管理支持，主要對(duì)數(shù)據(jù)源管理支持，有自己的管理界面，能夠靈活對(duì)接點(diǎn)進(jìn)行配置

10、監(jiān)控管理監(jiān)控管理不支持支持，能夠查看各個(gè)節(jié)點(diǎn)的運(yùn)行情況擴(kuò)展性擴(kuò)展性不支持，需要重新調(diào)整代碼實(shí)現(xiàn)能夠靈活擴(kuò)展，增加節(jié)點(diǎn)高可用性高可用性不支持，用戶在異常時(shí)需要重新建立連接然后再進(jìn)行切庫(kù)操作，可以設(shè)置嘗試次數(shù)支持，能夠通過心跳檢測(cè)規(guī)避離線節(jié)點(diǎn)。容災(zāi)機(jī)制容災(zāi)機(jī)制支持配置中心管理規(guī)則，直接和應(yīng)用集成部署支持通過配置中心管理規(guī)則，支持代理HA部署，主節(jié)點(diǎn)出現(xiàn)故障可以切換到從節(jié)點(diǎn)點(diǎn)14能力能力阿里產(chǎn)品（阿里產(chǎn)品（Notify/MetaQ）思特奇（消息中間件）思特奇（消息中間件）分布式事務(wù)支持支持消息順序Notify不支持；metaQ支持支持消息模型Notify push；metaQ pullpush主題分

11、區(qū)支持支持消息存儲(chǔ)Notify mysql/file;metaQ myql/file分布式mysql數(shù)據(jù)庫(kù)流量控制支持支持最終一致（check）notify支持；metaQ3.0支持支持主備雙寫notify支持；metaQ3.0支持支持集群化（云）生產(chǎn)者、消費(fèi)者、broker均集群生產(chǎn)者,消費(fèi)者,broker均集群非阻塞通訊（NIO） 支持支持15能力能力阿里產(chǎn)品（阿里產(chǎn)品（Tair）思特奇（分布式緩存）思特奇（分布式緩存）擴(kuò)展性支持，自我管理不支持在線增減節(jié)點(diǎn)集群支持，自我管理支持，外加代理方式持久化兩種：內(nèi)存，本地持久化兩種：內(nèi)存，分布式文件系統(tǒng)持久化讀寫性能高高可靠性高高容錯(cuò)支持支持，定時(shí)快照緩存類型Key/value，bytesKey/value，數(shù)據(jù)結(jié)構(gòu)豐富，string,list