金融機構(gòu)基礎(chǔ)架構(gòu)分布式轉(zhuǎn)型研究

1、金融機構(gòu)基礎(chǔ)架構(gòu)分布式轉(zhuǎn)型研究一、金融機構(gòu)全面布局分布式架構(gòu) 3.二、分布式架構(gòu)轉(zhuǎn)型提速計劃 6.三、分布式架構(gòu)轉(zhuǎn)型挑戰(zhàn)與對策 8.務(wù)線上化、多樣化的客觀形勢，信息系統(tǒng)對于銀行服務(wù)的基礎(chǔ)支撐作用日趨關(guān)鍵，迫切要求 ITIT架構(gòu)在業(yè)務(wù)承載能力等方面提供更加有力的保障，而傳統(tǒng)的集中式架構(gòu)由于缺乏快速有效的橫向擴容能力，已不能滿足大型商業(yè)銀行的業(yè)務(wù)發(fā)展需求。同時，在金融服務(wù)場景化、生態(tài)化的趨勢下，商業(yè)銀行需要使用主流、開放的分布式技術(shù)來增強與第三方的合作，共同建設(shè)開放、合作、共享的生態(tài)環(huán)境。在經(jīng)營競爭及互聯(lián)網(wǎng)企業(yè)跨界滲透的雙重壓力下，商業(yè)銀行迫切需要使用分布式技術(shù)快速靈活創(chuàng)新，在產(chǎn)品的推出效率、客戶

2、體驗、精準營銷、業(yè)務(wù)場景方面隨需而變。在此過程中，基礎(chǔ)架構(gòu)的分布式轉(zhuǎn)型尤為關(guān)鍵，且正在提速。一、金融機構(gòu)全面布局分布式架構(gòu)經(jīng)過幾年的技術(shù)轉(zhuǎn)型發(fā)展，商業(yè)銀行的分布式架構(gòu)布局已具規(guī)模。工商銀行自 20152015 年就開始布局建設(shè)“開放性、高容量、易擴展、成本可控、安全穩(wěn)定、便捷研發(fā)”為特征的分布式技術(shù)體系。經(jīng)過幾年的持續(xù)努力，建立了同業(yè)領(lǐng)先的金融級分布式技術(shù)體系，建設(shè)了分布式服務(wù)、事務(wù)、消息、批量、緩存、數(shù)據(jù)庫、對象存儲、文件存儲在內(nèi)的九大運行平臺和配套研發(fā)運維支持平臺，覆蓋了研發(fā)、運行的全生命周期。中國工商銀行金融科技部副總經(jīng)理陳滿才談到，依托分布式技術(shù)體系，工商銀行面向賬務(wù)型、轉(zhuǎn)發(fā)型、信息型

3、、交互型等不同類型應(yīng)用的負載特征，攻克了高并發(fā)、高可靠、高性能、一致性事務(wù)保障、彈性擴展等一系列技術(shù)難題，形成了可復制的參考架構(gòu)方案。率先構(gòu)建了包括基礎(chǔ)支撐服務(wù)、核心賬戶體系、重點產(chǎn)品服務(wù)在內(nèi)提及 20202020 年的金融科技熱點話題,分布式架構(gòu)轉(zhuǎn)型再次成為銀行業(yè)的關(guān)注重點面對銀行業(yè)的開放平臺核心銀行系統(tǒng)，支撐主機業(yè)務(wù)向開放平臺有序遷移，完成了快捷支付、積存金、賬戶外匯等重點產(chǎn)品下移主機，實現(xiàn)了大型銀行 ITIT 架構(gòu)的歷史性突破。在“雙 1111”大促、春節(jié)紅包、電商秒殺等互聯(lián)網(wǎng)場景，工商銀行借助分布式技術(shù)建立對大容量、高并發(fā)負載的彈性支撐能力。在 20192019 年“雙 1111”業(yè)務(wù)

4、高峰期間，秒級交易率瞬時提高 1616 倍，行內(nèi)交易耗時平穩(wěn)控制在 68ms68ms,系統(tǒng)成功率 100%100%;在新中國成立 7070 周年紀念幣開放預約后的 5 5 分鐘內(nèi)，成功完成了 30003000 多萬筆預約。工商銀行的分布式技術(shù)體系經(jīng)受住了大規(guī)模生產(chǎn)環(huán)境的實戰(zhàn)檢驗，并在工銀印尼、工銀莫斯科等境外機構(gòu)應(yīng)用推廣，成為率先在境外使用分布式核心銀行系統(tǒng)的中資銀行。建設(shè)銀行則通過新一代核心系統(tǒng)建設(shè)，建立了組件化、分層松耦合、面向服務(wù)的企業(yè)級架構(gòu)，有力地支持了全行業(yè)務(wù)運營和創(chuàng)新。中國建設(shè)銀行金融科技部應(yīng)用架構(gòu)管理處處長韋有華談到，在分布式實施技術(shù)路線選擇上，建設(shè)銀行非常慎重，為保證安全可靠、

5、平穩(wěn)切換，建設(shè)銀行進行了充分分析論證，綜合考慮了技術(shù)的先進性、可靠性、持續(xù)性、建設(shè)成本等方面因素，最終確定以“主機-開放-分布式-國產(chǎn)化”為實施路徑，從分布式平臺建設(shè)入手，以平臺化方式實現(xiàn)分布式能力的匯聚，對上支撐核心應(yīng)用，對下屏蔽基礎(chǔ)設(shè)施差異，全面推進分布式架構(gòu)轉(zhuǎn)型。建設(shè)銀行的分布式平臺是在“新一代”建設(shè)的“開放產(chǎn)品服務(wù)平臺”基礎(chǔ)上，融合微服務(wù)、容器化和 DevOpsDevOps 等最新理念，以支撐金融級核心系統(tǒng)應(yīng)用、網(wǎng)格應(yīng)用與服務(wù)架構(gòu)（MASAMASA）為目標的基礎(chǔ)技術(shù)平臺。平臺融合網(wǎng)格化服務(wù)處理、無服務(wù)器等先進架構(gòu)理念，實現(xiàn)應(yīng)用位置無關(guān)的多中心多活部署和彈性伸縮等。全面提升建設(shè)銀行企業(yè)級

6、 ITIT 架構(gòu)的技術(shù)能力，持續(xù)保持架構(gòu)的先進性。而中信銀行應(yīng)用的分布式產(chǎn)品主要分為存儲類、組件類、計算框架類和運維管理 4 4 類，涉及業(yè)務(wù)場景涵蓋借記卡和信用卡、消息推送、內(nèi)容管理、實時風控、智能營銷、運行維護等。中信銀行信息技術(shù)管理部副總經(jīng)理陳蓿表示，存儲類產(chǎn)品主要實現(xiàn)數(shù)據(jù)在硬件層面的持久化保存，確保“硬件故障可恢復，軟件故障不丟數(shù)”，包括分布式數(shù)據(jù)庫、分布式文件系統(tǒng)等。組件類產(chǎn)品擴展和強化了應(yīng)用系統(tǒng)功能，簡化系統(tǒng)開發(fā)復雜性，降低系統(tǒng)耦合度，提升應(yīng)用系統(tǒng)的整體性能，包括分布式緩存、分布式消息隊列等。計算框架類產(chǎn)品負責解析應(yīng)用程序訪問請求、生成執(zhí)行計劃，并將執(zhí)行計劃自動路由到各計算節(jié)點并行

7、執(zhí)行。運維管理類產(chǎn)品為分布式系統(tǒng)快速發(fā)現(xiàn)問題、定位問題提供便捷可靠的工具，包括分布式運行監(jiān)控、分布式日志管理、分布式數(shù)據(jù)備份管理等。陳蓿還透露，中信銀行早在六年前就聯(lián)合中興通訊開始啟動布局分布式數(shù)據(jù)庫的研發(fā)，在 CAPCAP理論難以突破的前提下，雙方攻克了實時一致的分布式事務(wù)控制、全局一致的分布式備份和恢復、支持兩地三中心部署架構(gòu)的一致性災(zāi)備能力等多項技術(shù)難題，申請了多項國家技術(shù)專利，打磨出滿足商業(yè)銀行核心業(yè)務(wù)系統(tǒng)要求的分布式數(shù)據(jù)庫 GoldenDBGoldenDB。目前已成功應(yīng)用于中信銀行信用卡新核心系統(tǒng)、電子渠道線上融和系統(tǒng)、開放銀行系統(tǒng)等多個關(guān)鍵交易系統(tǒng)。其中，信用卡新核心系統(tǒng)于 201

8、92019 年 1010 月投產(chǎn)，業(yè)務(wù)數(shù)據(jù)總量約 26TB26TB, ,日均交易量約 90009000 萬筆，平均響應(yīng)時間小于 4040 毫秒。該數(shù)據(jù)庫產(chǎn)品的成功應(yīng)用，為基礎(chǔ)架構(gòu)的分布式推進發(fā)揮了關(guān)鍵作用。二、分布式架構(gòu)轉(zhuǎn)型提速計劃20202020 年，工商銀行將進一步夯實分布式技術(shù)體系，持續(xù)強化研發(fā)、運行、運維方面的支撐能力。陳滿才表示，在研發(fā)支持環(huán)節(jié)，面向分布式、高并發(fā)場景，進一步完善全行統(tǒng)一的開發(fā)平臺，以組件化機制，標準化復用等手段，提高工商銀行分布式系統(tǒng)研發(fā)支撐能力及研發(fā)效率；在運行支撐環(huán)節(jié)，持續(xù)完善分布式技術(shù)平臺的支撐能力，進一步提升彈性伸縮、災(zāi)備和高可用水平，全面支撐主機下移；在運

9、維支撐環(huán)節(jié)，持續(xù)完善全鏈路監(jiān)控平臺、灰度發(fā)布平臺，完善節(jié)點隔離、交易限流等功能建設(shè)，提升運維管控能力。建設(shè)銀行同樣會按照統(tǒng)一部署，分別從企業(yè)級分布式能力建設(shè)、大規(guī)模核心業(yè)務(wù)系統(tǒng)分布式改造、中等規(guī)模業(yè)務(wù)系統(tǒng)分布式改造、終端機具和辦公系統(tǒng)四個方面推進基礎(chǔ)架構(gòu)分布式轉(zhuǎn)型。韋有華談到，建設(shè)銀行將在“新一代”建成的企業(yè)級架構(gòu)的基礎(chǔ)上，打造企業(yè)級“分布式平臺”全面提升企業(yè)級分布式架構(gòu)能力。整個“分布式平臺”由應(yīng)用路由、配置中心、數(shù)據(jù)訪問代理、數(shù)據(jù)復制、分布式運營監(jiān)控、服務(wù)集成代理、分布式批處理框架共七大子平臺組成。此外是建設(shè)分布式銀行核心系統(tǒng)。其建設(shè)目標是基于自研分布式平臺，通過充分研究、分析和原型驗證，

10、編制完成核心銀行業(yè)務(wù)系統(tǒng)的分布式解決方案，開發(fā)形成基于開放技術(shù)體系的分布式核心版本。建設(shè)范圍涵蓋銀行對公、對私核心業(yè)務(wù)。建設(shè)思路是先進行應(yīng)用移植，再開展架構(gòu)轉(zhuǎn)型。 通過應(yīng)用移植， 實現(xiàn)主機平臺基礎(chǔ)應(yīng)用功能的移植； 同時構(gòu)建自主可控面向業(yè)務(wù)規(guī)則的可視化開發(fā)工具，將金融業(yè)務(wù)流程服務(wù)的設(shè)計、開發(fā)和測試流程與開發(fā)語言環(huán)境解耦，優(yōu)化業(yè)務(wù)邏輯設(shè)計，提高應(yīng)用開發(fā)效率，改造部署測試流程，實現(xiàn)業(yè)務(wù)應(yīng)用基于自主模型開發(fā)。架構(gòu)轉(zhuǎn)型則是通過采用聯(lián)機服務(wù)微型化與整合、批處理作業(yè)拆分與編排、公共應(yīng)用分布式適配改造等方法和技術(shù)手段，實現(xiàn)對聯(lián)機服務(wù)和批處理作業(yè)的分布式改造，完成核心銀行業(yè)務(wù)技術(shù)架構(gòu)轉(zhuǎn)型。而中信銀行的 Gold

11、enDBGoldenDB 在信用卡新核心系統(tǒng)和電子渠道線上融合項目的成功投產(chǎn)和穩(wěn)定運行，更是表明自主研發(fā)的金融級分布式數(shù)據(jù)庫在為海量高并發(fā)訪問的核心交易系統(tǒng)提供數(shù)據(jù)庫層解決方案上邁出了堅實一步。這對于落實人民銀行提出的金融科技發(fā)展規(guī)劃，促進銀行業(yè)架構(gòu)轉(zhuǎn)型，帶動國產(chǎn)數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展，推動國家安全戰(zhàn)略落地做出了重要貢獻。陳蓿認為，GoldenDBGoldenDB 的最大價值在于能適應(yīng)高度集中和復雜的金融業(yè)務(wù)處理邏輯的需要， 無需重構(gòu)傳統(tǒng)銀行“核心系統(tǒng)”也可以實現(xiàn)分布式架構(gòu)， 最大程度保護了銀行多年積淀的 ITIT 應(yīng)用資產(chǎn),完成技術(shù)平臺的平滑遷移，實現(xiàn)“核心系統(tǒng)”分布式架構(gòu)轉(zhuǎn)型，最大程度降低實施風險

12、和成本。下一步的重點工作是緊密圍繞 X86X86 分布式核心投產(chǎn)切換，通過研發(fā)混沌測試、問題分析診斷以及 SQLSQL 審核等工具，提升分布式數(shù)據(jù)庫的運維能力、穩(wěn)定性和可靠性。在行內(nèi)系統(tǒng)穩(wěn)定運行、數(shù)據(jù)庫功能臻于完善的基礎(chǔ)上，可在業(yè)內(nèi)推廣，并進行深度優(yōu)化。分布式架構(gòu)轉(zhuǎn)型挑戰(zhàn)與對策基礎(chǔ)架構(gòu)分布式轉(zhuǎn)型的全面實現(xiàn)將會對金融機構(gòu)數(shù)字化轉(zhuǎn)型的持續(xù)推進發(fā)揮積極作用。銀行信息系統(tǒng)將擺脫傳統(tǒng)集中式架構(gòu)的性能容量上限，有效應(yīng)對移動互聯(lián)網(wǎng)時代業(yè)務(wù)線上化、多樣化引發(fā)的性能容量需求；商業(yè)銀行和合作伙伴之間可以通過主流、開放的分布式技術(shù)，共同為客戶提供場景化、生態(tài)化的金融服務(wù)，共同建設(shè)開放、合作、共享的生態(tài)環(huán)境；商業(yè)銀行

13、可以通過分布式技術(shù)快速靈活創(chuàng)新，提升產(chǎn)品的推出效率、客戶體驗，實現(xiàn)精準營銷，取得競爭優(yōu)勢;銀行信息系統(tǒng)將降低對外商主導軟硬件產(chǎn)品的依賴，提升研發(fā)運維效能和自主可控水平，確保銀行業(yè)務(wù)連續(xù)運營。然而，商業(yè)銀行在加速推進分布式轉(zhuǎn)型方面仍然面臨不少的挑戰(zhàn)。例如在基礎(chǔ)平臺建設(shè)方面，產(chǎn)業(yè)側(cè)缺少開箱即用、適應(yīng)分布式架構(gòu)、體系性的解決方案，在很多領(lǐng)域，銀行業(yè)仍需依托開源產(chǎn)品自行定制開發(fā)，對開源產(chǎn)品和底層技術(shù)掌控的深度仍有待加強；在應(yīng)用場景方面，在大型銀行關(guān)鍵核心系統(tǒng)上的應(yīng)用案例相對缺乏，仍需試點摸索；在應(yīng)用轉(zhuǎn)型方面，商業(yè)銀行在長期的發(fā)展過程中積累了大量的軟件資產(chǎn)，轉(zhuǎn)型過程需要較多的人力資源投入，分布式轉(zhuǎn)型與業(yè)

14、務(wù)創(chuàng)新的平衡難度較高；在安全生產(chǎn)方面，分布式技術(shù)本身以及人員相關(guān)技能都要有一個逐步完善和成熟的過程，相關(guān)工作的快速推進，對生產(chǎn)的穩(wěn)定運行也帶來挑戰(zhàn)。針對上述問題，陳滿才提出了相應(yīng)的應(yīng)對措施：在平臺建設(shè)方面要通過內(nèi)部挖潛、外部采購，行業(yè)合作增強對分布式技術(shù)的掌控能力；在應(yīng)用場景方面要堅持先外圍、后核心，在積累經(jīng)驗的基礎(chǔ)上，逐步擴大分布式技術(shù)的使用范圍；在應(yīng)用轉(zhuǎn)型方面采用問題導向、差異處理的策略，優(yōu)化存量，管好增量；在人員技能方面要明確技術(shù)路線，通過外部合作、內(nèi)部專業(yè)分工、梯隊培養(yǎng)，實現(xiàn)重點突破；在安全生產(chǎn)方面要提升分布式應(yīng)用的災(zāi)備高可用水平，建立完善適應(yīng)分布式技術(shù)的運維體系，通過全鏈路監(jiān)控和運維

15、自動化技術(shù)提高應(yīng)急處理能力。從現(xiàn)在開始到今后很長一段時間，分布式技術(shù)都將是銀行業(yè)最基礎(chǔ)、最重要的技術(shù)之一，但因為分布式技術(shù)并不是一種理論上完備的技術(shù)，在面對紛繁復雜的業(yè)務(wù)場景時，需要在實踐過程中創(chuàng)造性地解決各類問題。對此，韋有華認為，在分布式架構(gòu)轉(zhuǎn)型過程中，應(yīng)該向資源整合、做好生態(tài)體系建設(shè)的方向努力。首先從合作共贏、協(xié)同攻關(guān)的方向出發(fā)，建立金融科技生態(tài)聯(lián)盟體系，做好資源的垂直整合工作。銀行從直接服務(wù)人民群眾角度出發(fā)，重點是金融場景創(chuàng)新和業(yè)務(wù)解決方案創(chuàng)新；金融科技公司從技術(shù)實現(xiàn)和技術(shù)使用角度出發(fā)，向上承接銀行業(yè)的業(yè)務(wù)創(chuàng)新，向下充分利用第三方科技公司提供的技術(shù)產(chǎn)品，做好金融科技創(chuàng)新的實施工作；第三方科技公司要深耕技術(shù)細節(jié)，從產(chǎn)品的功能和可靠性等性能方面做好技術(shù)替代工作。其次是做好標準化和共享工作。建議由行業(yè)協(xié)會或者監(jiān)管機構(gòu)牽頭組建分布式技術(shù)及應(yīng)用專家委員會，成員由分布式技術(shù)各個領(lǐng)域的專家組成，定期或不定期交流分布式技術(shù)的最新發(fā)展動態(tài)，對主要技術(shù)方案進行評審，