工商銀行分布式技術(shù)及應(yīng)用白皮書 2024

中國(guó)?商銀?軟件開發(fā)中?摘編或利?其它?式使?本??書?字或者觀點(diǎn)的，應(yīng)注明“來(lái)源:中國(guó)?商銀?軟件開發(fā)中?”。違反上述聲明者，我們將追究其相關(guān)法律責(zé)任。第?章概述 2 3 4第?章分布式體系發(fā)展現(xiàn)狀 5 5 5 第三章分布式體系應(yīng)?案例 (?)全?位滿?及適應(yīng)銀?復(fù)雜場(chǎng)景的需求 第四章總結(jié)與展望 1分布式技術(shù)系統(tǒng)是?種建?在?絡(luò)之上的軟件系統(tǒng)，其特點(diǎn)是多臺(tái)計(jì)算機(jī)通過(guò)?絡(luò)連接，協(xié)同?作以完成特定的任務(wù)。每個(gè)節(jié)點(diǎn)?度?治，??感知不到數(shù)據(jù)的分布，感覺像是在使??個(gè)統(tǒng)?的系統(tǒng)。分布式技術(shù)體系的發(fā)展?共可分為以下四個(gè)階段。1、原始分布式時(shí)代（20世紀(jì)70年代末到80年代初）：這個(gè)時(shí)期的特點(diǎn)是計(jì)算能??常有限，科學(xué)家們通過(guò)多臺(tái)計(jì)算機(jī)協(xié)同?作來(lái)完成復(fù)雜的任務(wù)，奠定了分布式計(jì)算的基礎(chǔ)。這個(gè)時(shí)期的探索出現(xiàn)了遠(yuǎn)程調(diào)?（RPC）和分布式?件系統(tǒng)的雛形。2、分布式計(jì)算的興起（20世紀(jì)90年代）：隨著技術(shù)的進(jìn)步，分布式計(jì)算開始興起，特別是分布式渲染和?向服務(wù)的架構(gòu)（SOA）的提出和應(yīng)?，使得分布式系統(tǒng)在處理?規(guī)模計(jì)算任務(wù)時(shí)更加?效和靈活。3、微服務(wù)架構(gòu)的時(shí)代（2005年以后）：微服務(wù)架構(gòu)的崛起進(jìn)?步推動(dòng)了分布式技術(shù)的發(fā)展，使得系統(tǒng)更加模塊化，易于管理和擴(kuò)展。4、云計(jì)算和虛擬化技術(shù)的發(fā)展（21世紀(jì)初?今）：隨著云計(jì)算和虛擬化技術(shù)的發(fā)展，分布式系統(tǒng)進(jìn)?步發(fā)展，形成了資源池和彈性調(diào)度的云計(jì)算模式和云原?架構(gòu)。以微服務(wù)為核?的分布式技術(shù)在產(chǎn)業(yè)界已基本發(fā)展成熟。在分布式技術(shù)架構(gòu)建設(shè)過(guò)程中，基于以微服務(wù)為核?的開放式架構(gòu)，不斷拓展周邊?態(tài)，利?微服務(wù)實(shí)現(xiàn)應(yīng)?的分層解耦，通過(guò)分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)開放平臺(tái)數(shù)據(jù)的彈性布局，利?緩存提升?頻數(shù)據(jù)的處理能?，引?分布式事務(wù)解決跨平臺(tái)、跨應(yīng)?的事務(wù)最終?致性問題。隨著微服務(wù)、軟負(fù)載、事務(wù)、消息、批量、緩存、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)、?件存儲(chǔ)等能?的建設(shè)，分布式系統(tǒng)的?撐場(chǎng)景及運(yùn)?能?持續(xù)提升，并同步形成了與分布式架構(gòu)相匹配的研發(fā)及運(yùn)維?撐能?。根據(jù)對(duì)業(yè)界分布式技術(shù)產(chǎn)品的綜合分析，分布式架構(gòu)技術(shù)能?圖譜如圖1所?。Dubbo起步早、是最受歡迎的微服務(wù)框架，SpringCloud也是主流選型之?；分布式事務(wù)多采??研，但模型以TCC、SAGA及可靠消息為主；軟負(fù)載??，HAProxy及Nginx能?各有千秋；Kafka與Redis處于消息和緩存領(lǐng)域的統(tǒng)治地位；原?分布式數(shù)據(jù)庫(kù)應(yīng)?較少，基于Mysql+分布式訪問層是數(shù)據(jù)布局選型的主流技術(shù)?案；Springboot憑借簡(jiǎn)化研發(fā)成為開發(fā)框架的標(biāo)配；Apollo、ELK、Zipkin等是配置及監(jiān)控的典型選擇；熔斷限流??Hystrix和Sentinel均有嘗試；??等少數(shù)銀?已基于Chaosblade開展混沌?程實(shí)踐。3微服務(wù)架構(gòu)推動(dòng)應(yīng)?從傳統(tǒng)單體式向分布式轉(zhuǎn)型，實(shí)現(xiàn)了應(yīng)?系統(tǒng)的解耦，但同時(shí)也?臨著需要?持多種語(yǔ)?中間件，客?端版本升級(jí)困難等問題。因此產(chǎn)業(yè)界逐步從軟件層?獨(dú)?應(yīng)對(duì)微服務(wù)架構(gòu)問題，發(fā)展到軟、硬?體，合?應(yīng)對(duì)微服務(wù)架構(gòu)問題。如ServiceMesh（服務(wù)?格）架構(gòu)的理念，通過(guò)技術(shù)平臺(tái)的基礎(chǔ)設(shè)施化改造，將分布式能?逐步下沉到硬件層，實(shí)現(xiàn)與應(yīng)?解耦，簡(jiǎn)化應(yīng)?開發(fā)過(guò)程，提供應(yīng)?更?的技術(shù)選型靈活度。如云原?應(yīng)?運(yùn)?時(shí)架構(gòu)，通過(guò)集成SDK內(nèi)核，統(tǒng)?交互協(xié)議及對(duì)外API，實(shí)現(xiàn)能?的抽象，使分布式能?進(jìn)?步下沉?基礎(chǔ)設(shè)施。載、事務(wù)、消息、批量、緩存、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)、?件存儲(chǔ)等九?運(yùn)??撐平臺(tái)，實(shí)現(xiàn)公共技術(shù)能?的集約建設(shè)與運(yùn)營(yíng)。??軟負(fù)載均衡由四層負(fù)載節(jié)點(diǎn)（LVS/DP）和七層負(fù)載節(jié)點(diǎn)（Haproxy/Nginx）、管控平臺(tái)?個(gè)部分組成，具備?可?、可擴(kuò)展、動(dòng)態(tài)5級(jí)，經(jīng)歷了多次“紀(jì)念幣預(yù)約”“雙??快捷?付”的?產(chǎn)?并發(fā)考驗(yàn)，滿?了“雙??”萬(wàn)級(jí)TPS處理需求。??分布式服務(wù)采??性能RPC調(diào)?模式，為應(yīng)?提供了?性能、靈已落地超2萬(wàn)個(gè)服務(wù)，?均調(diào)?量260億次。??分布式事務(wù)提供SAGA、TCC、可靠消息等事務(wù)解決?案，具備多級(jí)事務(wù)失敗處理機(jī)制，并提供事后的?站式運(yùn)維管理能?，?持應(yīng)?側(cè)部署和集中部署兩種?式。7服務(wù)化改造及主機(jī)下平臺(tái)過(guò)程中的跨服務(wù)、跨應(yīng)?交易的事務(wù)最終?致性提供保障，平臺(tái)?均?撐業(yè)務(wù)調(diào)?量數(shù)億次。??分布式消息平臺(tái)基于業(yè)界主流消息引擎Kafka建設(shè)，為分布式系統(tǒng)內(nèi)部以及系統(tǒng)間異步解耦、消息通知、流量削峰、數(shù)據(jù)共享等場(chǎng)景提供解決?案，并具備節(jié)點(diǎn)安裝部署、監(jiān)控告警、?平擴(kuò)縮容等完善的?動(dòng)化消息平臺(tái)服務(wù)于??百余個(gè)應(yīng)?，?均消息量千億級(jí)，TPS百萬(wàn)級(jí)，具備毫秒級(jí)消息傳遞能?。??分布式數(shù)據(jù)庫(kù)采?分布式數(shù)據(jù)訪問層+MySQL+?研運(yùn)維管理平臺(tái)搭建模式，?規(guī)模實(shí)施云化部署，具備?鍵式快速供給能?。并在云化部署基礎(chǔ)上，同步建設(shè)性能容量、健康檢查等豐富的速擴(kuò)展、數(shù)據(jù)備份/災(zāi)備、安全審計(jì)等企業(yè)級(jí)?撐能?，具備?動(dòng)化運(yùn)維能分布式數(shù)據(jù)庫(kù)在在同業(yè)率先實(shí)現(xiàn)MySQL數(shù)據(jù)庫(kù)?規(guī)模云化服務(wù)，數(shù)據(jù)庫(kù)節(jié)點(diǎn)數(shù)量達(dá)到數(shù)千個(gè)，應(yīng)?于多個(gè)重點(diǎn)業(yè)務(wù)場(chǎng)景，?撐雙??、春節(jié)業(yè)務(wù)?峰萬(wàn)級(jí)TPS。??分布式緩存平臺(tái)，基于Redis定制化擴(kuò)展提升服務(wù)性能，降低數(shù)據(jù)庫(kù)讀寫壓?等場(chǎng)景，具備?性能、動(dòng)態(tài)擴(kuò)展、?可?、易?性四?特性。9平臺(tái)?泛應(yīng)?于?結(jié)算賬?、電?銀?等業(yè)務(wù)場(chǎng)景，已在紀(jì)念幣、融e?均交易量達(dá)?億級(jí)。??分布式批量平臺(tái)完全?研，主要?于集中式批量業(yè)務(wù)分布式轉(zhuǎn)型后，不能與分布式應(yīng)?有效適配，存在單點(diǎn)故障、性能容量上限的問題。平臺(tái)通過(guò)數(shù)據(jù)分?、作業(yè)編排、?動(dòng)調(diào)度等功能提升批量運(yùn)?時(shí)間，并具備?可?、易擴(kuò)展和完善的運(yùn)維能?。分布式批量平臺(tái)?泛在??開放平臺(tái)體系中使?，服務(wù)于數(shù)百多個(gè)應(yīng)數(shù)百萬(wàn)次作業(yè)。撐我?開放平臺(tái)業(yè)務(wù)系統(tǒng)?件共享存儲(chǔ)需求，并打通云上云下應(yīng)?的?件共享，具備?可?、?平擴(kuò)展、集約管理等能?。平臺(tái)已落地??應(yīng)?數(shù)?余個(gè)，對(duì)外提供總計(jì)百余TB的共享?件存儲(chǔ)??分布式對(duì)象存儲(chǔ)平臺(tái)，實(shí)現(xiàn)海量??件快速讀寫，為?內(nèi)的業(yè)務(wù)影像類、與業(yè)務(wù)流程密切相關(guān)的?視頻類，業(yè)務(wù)?檔類等?結(jié)構(gòu)化數(shù)據(jù)提供?并發(fā)數(shù)據(jù)訪問能?。平臺(tái)已成功?撐數(shù)?余個(gè)應(yīng)?系統(tǒng)，滿?融e聯(lián)、融e購(gòu)等互聯(lián)?應(yīng)?對(duì)象密集存儲(chǔ)的需求，?持萬(wàn)級(jí)TPS，數(shù)據(jù)存量已經(jīng)達(dá)到千余TB。??開放平臺(tái)分布式技術(shù)在境內(nèi)系統(tǒng)已實(shí)現(xiàn)?規(guī)模應(yīng)?，基于開放平臺(tái)分布式架構(gòu)已能實(shí)現(xiàn)核?業(yè)務(wù)完整閉環(huán)處理，?型商業(yè)銀?的“平臺(tái)版”核?銀?系統(tǒng)已初具雛形。此外，??基于開放平臺(tái)分布式技術(shù)體系建?了境外核?銀?系統(tǒng)，并已在印尼、莫斯科等境外機(jī)構(gòu)的推?應(yīng)?。?前分布式架構(gòu)轉(zhuǎn)型應(yīng)?數(shù)超250個(gè)，服務(wù)?均調(diào)?量超260億，峰值?萬(wàn)級(jí)TPS，交易響應(yīng)耗時(shí)50毫秒以內(nèi)。基于分布式技術(shù)體系，我?初步構(gòu)建起包括業(yè)務(wù)基礎(chǔ)服務(wù)、核?賬?體系、重點(diǎn)產(chǎn)品服務(wù)等體系完整的開放平臺(tái)核?銀?系統(tǒng)（境內(nèi)）。業(yè)務(wù)基礎(chǔ)服務(wù)提供企業(yè)級(jí)公共服務(wù)，包括機(jī)構(gòu)管理、柜員管理、會(huì)計(jì)核算、客?信息等為客?及內(nèi)部管理服務(wù)的公共基礎(chǔ)功能，?撐業(yè)務(wù)交易在開放平臺(tái)閉環(huán)捷?付、積存?、賬?外匯等產(chǎn)品下移主機(jī)，打造系，有效?撐?頻業(yè)務(wù)的快速增?。??分布式技術(shù)體系經(jīng)過(guò)?規(guī)模的?主研發(fā)及技術(shù)創(chuàng)新，?泛適?于?融復(fù)雜場(chǎng)景的需要，已?規(guī)模覆蓋賬務(wù)型、信息型、交互型、轉(zhuǎn)發(fā)型等典型的應(yīng)?場(chǎng)景。1、為賬務(wù)型應(yīng)?提供?性能、強(qiáng)?致性事務(wù)保障。??依托分布式技術(shù)建設(shè)個(gè)?賬?應(yīng)?為客?提供基本結(jié)算服務(wù)。通過(guò)Mysql本地SSD磁盤部署+分庫(kù)分表，提供單庫(kù)5萬(wàn)QPS的更新性能；通過(guò)分布式事務(wù)框架，提供跨應(yīng)?、跨節(jié)點(diǎn)的事務(wù)?致性保障；通過(guò)Mysql?主三備+同城?動(dòng)化切換技術(shù)，確保2分鐘內(nèi)完成同城?損切換。??是國(guó)內(nèi)?家采?分布式技術(shù)進(jìn)??規(guī)模賬務(wù)處理的銀?，承載9億個(gè)?借記卡數(shù)據(jù)，可?持6萬(wàn)TPS交易率，交易響應(yīng)時(shí)間50毫秒以內(nèi)。2、為?型信息型應(yīng)?提供低成本解決?案。??通過(guò)分布式技術(shù)建設(shè)企業(yè)級(jí)客?信息，為全?業(yè)務(wù)系統(tǒng)提供客?信息維護(hù)與查詢服務(wù)。通過(guò)使??主研發(fā)基于分布式數(shù)據(jù)訪問層技術(shù)的分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)對(duì)應(yīng)?透明的智能路由訪問，?撐?容量數(shù)據(jù)分?存儲(chǔ)，實(shí)現(xiàn)整體集群的橫向擴(kuò)展與數(shù)據(jù)再平衡，滿?海量數(shù)據(jù)庫(kù)操作的性能要求，?幅降低應(yīng)?研發(fā)成本。為全?180多個(gè)總分?應(yīng)?提供?均超2億次維護(hù)與查詢服務(wù)，?持最?交易并發(fā)數(shù)為7600TPS，平均交易耗時(shí)?于30ms，?撐應(yīng)?范圍同業(yè)最?，?均訪問數(shù)量同業(yè)最多。3、為互聯(lián)?交互型應(yīng)?提供極致??體驗(yàn)。??依托分布式技術(shù)建設(shè)紀(jì)念幣預(yù)約系統(tǒng)，為全國(guó)互聯(lián)???提供紀(jì)念幣預(yù)約服務(wù)。?絡(luò)層采取多種負(fù)載均衡措施，后臺(tái)系統(tǒng)采?分布式技術(shù)體系設(shè)計(jì)，結(jié)合服務(wù)器云化部署、數(shù)據(jù)庫(kù)分庫(kù)分表及?可?設(shè)計(jì)，提升系統(tǒng)?并發(fā)處理能?。采?CDN緩存、分布式緩存等多種措施，提升系統(tǒng)快速響應(yīng)能?。系統(tǒng)可?撐?萬(wàn)TPS處理能?，交易響應(yīng)時(shí)間百毫秒以內(nèi)，成功完成歷年??紀(jì)念幣發(fā)?任務(wù)，同業(yè)綜合表現(xiàn)尤為突出。4、為流?轉(zhuǎn)發(fā)型應(yīng)?提供?并發(fā)、?可靠的彈性?持。??依托分布式技術(shù)建設(shè)快捷?付應(yīng)?，對(duì)接清算機(jī)構(gòu)為個(gè)?客?提供快捷?付結(jié)算服務(wù)。通過(guò)橫向擴(kuò)展對(duì)等應(yīng)?節(jié)點(diǎn)分散承載?并發(fā)交易，通過(guò)應(yīng)?節(jié)點(diǎn)?云實(shí)現(xiàn)快速?gòu)椥陨炜s，通過(guò)數(shù)據(jù)庫(kù)垂直/?平分庫(kù)分散?并發(fā)數(shù)據(jù)訪問壓?；通過(guò)應(yīng)?和數(shù)據(jù)庫(kù)節(jié)點(diǎn)同城部署、并以不同應(yīng)?分別處理?聯(lián)和銀聯(lián)的交易，確保?可?。作為業(yè)內(nèi)領(lǐng)先的?型發(fā)卡銀?，??快捷?付業(yè)務(wù)內(nèi)部壓測(cè)可達(dá)近?萬(wàn)TPS，順利完成歷年“雙??”、春節(jié)紅包等?峰期保障，“雙??”全天交易量超2億筆。??已構(gòu)建完備構(gòu)建分布式技術(shù)架構(gòu)體系并深?使?，伴隨著分布式技術(shù)體系進(jìn)?步成熟，未來(lái)將有以下三個(gè)??趨勢(shì)推動(dòng)分布式架構(gòu)持續(xù)發(fā)1、分布式技術(shù)體系進(jìn)?步下沉?基礎(chǔ)設(shè)施微服務(wù)架構(gòu)推動(dòng)應(yīng)?從傳統(tǒng)單體式向分布式轉(zhuǎn)型，實(shí)現(xiàn)了應(yīng)?系統(tǒng)的解耦，但同時(shí)也?臨著需要?持多種語(yǔ)?中間件，客?端版本升級(jí)困難等困難。為了解決上述挑戰(zhàn)，社區(qū)提出了ServiceMesh（服務(wù)?格）架構(gòu)，它重新將服務(wù)治理能?下沉到基礎(chǔ)設(shè)施，這樣既實(shí)現(xiàn)了服務(wù)治理和業(yè)務(wù)邏輯的解耦，?使服務(wù)?格架構(gòu)減少對(duì)業(yè)務(wù)邏輯的侵?性。但服務(wù)?格架構(gòu)的定位主要是?絡(luò)流量代理，對(duì)于跨語(yǔ)?、跨業(yè)務(wù)部署應(yīng)?，仍未能統(tǒng)?SDK及交互協(xié)議。因此業(yè)界提出了云原?應(yīng)?運(yùn)?時(shí)架構(gòu)，通過(guò)集成SDK內(nèi)核，統(tǒng)?交互協(xié)議及對(duì)外API，實(shí)現(xiàn)能?的抽象?；蛟S云原?應(yīng)?運(yùn)?時(shí)是中間件基礎(chǔ)技術(shù)的未來(lái)形態(tài)，使分布式能?進(jìn)?步下沉?基礎(chǔ)設(shè)施。2、多地多中?及單元化部署是未來(lái)基礎(chǔ)設(shè)施的趨勢(shì)?前?型?融機(jī)構(gòu)的數(shù)據(jù)中?多數(shù)均采?兩地三中?的部署架構(gòu)，隨著對(duì)?可?要求的不斷提?，多地多中?的部署模式逐漸成為未來(lái)的發(fā)展?向?；ヂ?lián)?頭部企業(yè)較多通過(guò)多地多中?及單元化部署來(lái)實(shí)現(xiàn)更加細(xì)粒度的流量劃撥和系統(tǒng)?可?，使得客?交易相關(guān)流量可在單元內(nèi)部最?限度完成閉環(huán)，可在區(qū)域性故障場(chǎng)景有效控制故障爆炸半徑，在降低切換粒度的同時(shí)提升切換靈活性