分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報告_第1頁
分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報告_第2頁
分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報告_第3頁
分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報告_第4頁
分布式數(shù)據(jù)庫金融應(yīng)用發(fā)展報告_第5頁
已閱讀5頁,還剩75頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

分布式數(shù)據(jù)庫金融應(yīng)發(fā)展報告2)目 錄景 1快 1熟 3況 10關(guān) 10設(shè) 13測 15況 21布 21構(gòu) 26用 30署 40份 44果 53述 53析 55、對 1側(cè) 1側(cè) 68一、分布式數(shù)據(jù)庫金融應(yīng)用背景(一)數(shù)字化轉(zhuǎn)型持續(xù)加快國“十四五規(guī)劃明確提出加快數(shù)字化發(fā)展建設(shè)數(shù)字中國金融業(yè)一直以來重視信息科技創(chuàng)新應(yīng)用以人工智能、區(qū)塊鏈大數(shù)據(jù)云計算等先進技術(shù)為代表的金融科技快速發(fā)展助力金融業(yè)解決傳統(tǒng)金融面臨的痛點難點實現(xiàn)金融服務(wù)的提質(zhì)增效數(shù)據(jù)庫作為金融信息系統(tǒng)的核心基礎(chǔ)設(shè)施有力支撐金融業(yè)數(shù)字化轉(zhuǎn)型北京金融科技產(chǎn)業(yè)聯(lián)(以下簡“聯(lián)盟分布式數(shù)據(jù)庫專委會在開展行業(yè)調(diào)研的基礎(chǔ)上,深入研究并總結(jié)金融業(yè)務(wù)發(fā)展趨勢。業(yè)務(wù)發(fā)展持續(xù)創(chuàng)新隨著互聯(lián)網(wǎng)金融不斷發(fā)展,金融業(yè)在金融服務(wù)場景化、生態(tài)化的趨勢下,業(yè)務(wù)創(chuàng)新發(fā)展需要進一步加強多方第合作,以滿足《金融科技發(fā)展規(guī)劃(222205年)》“以市場為導(dǎo)向以需求為牽引深挖數(shù)據(jù)綜合應(yīng)用場景發(fā)揮數(shù)據(jù)和技術(shù)雙輪驅(qū)動作用,在服務(wù)實體經(jīng)濟、惠及百姓民生、創(chuàng)新驅(qū)動發(fā)展助力鄉(xiāng)村振興等領(lǐng)域?qū)崿F(xiàn)數(shù)據(jù)綜合應(yīng)用與多向賦能”的要求。數(shù)字化建設(shè)的業(yè)務(wù)改造過程中數(shù)據(jù)庫轉(zhuǎn)型顯得尤為關(guān)鍵不同種類金融業(yè)務(wù)有著不同的數(shù)據(jù)需求與之相對應(yīng)的數(shù)據(jù)庫不僅需要有海量數(shù)據(jù)存儲能力和高并發(fā)交易支撐能力,還需要針對不同業(yè)務(wù)有多樣化的功能。圍繞客戶體驗、精準營銷風(fēng)險控制等金融應(yīng)用場景的業(yè)務(wù)創(chuàng)新對數(shù)據(jù)庫技術(shù)提出了“更快捷、更高效、更穩(wěn)定”的要求。業(yè)務(wù)連續(xù)性要求不斷提升數(shù)字化轉(zhuǎn)型發(fā)展的不斷深入進一步提高了對金融業(yè)重要業(yè)務(wù)系統(tǒng)運行連續(xù)性的要求在移動金融加速金融服務(wù)普適化后,以銀行業(yè)為代表的金融領(lǐng)域服務(wù)渠道呈現(xiàn)多渠道、移動化和全天候的特征核心業(yè)務(wù)系統(tǒng)對連續(xù)性要求已達到“365天×24小時級別使系統(tǒng)維護補丁升級等對數(shù)據(jù)庫有全局影響的變更操作窗口時長縮短同時由于經(jīng)營服務(wù)在社會經(jīng)濟運行中的特殊性質(zhì)監(jiān)管部門對銀行等金融場景的核心業(yè)務(wù)系統(tǒng)的穩(wěn)定連續(xù)性提出了極其嚴格的要求?!督鹑诳萍及l(fā)展規(guī)劃(202-025年)》也提出了“建高可靠多層級容災(zāi)體系滿足日常生產(chǎn)同城災(zāi)備異地容災(zāi)、極端條件能力保全等需求,提升金融數(shù)據(jù)中心縱深防御能力,逐步形成高可用數(shù)據(jù)中心格局”的要求。隨著金融科技不斷發(fā)展系統(tǒng)變得越來越復(fù)雜數(shù)據(jù)的穩(wěn)定與可靠成為金融業(yè)數(shù)字化轉(zhuǎn)型面臨的主要挑戰(zhàn)之一分布式數(shù)據(jù)庫和數(shù)據(jù)存儲技術(shù)的不斷發(fā)展為金融數(shù)據(jù)的存儲帶來更可靠的保障和容災(zāi)能力的提升以此保證數(shù)據(jù)持續(xù)可靠,做到無損容災(zāi),滿足恢復(fù)點目標(biāo)(RO)、恢復(fù)時間目標(biāo)(RO)的要求,降低了服務(wù)器斷電、宕機、硬盤損壞、自然災(zāi)害等意外場景對金融業(yè)務(wù)帶來的影響。業(yè)務(wù)遷移更加平滑金融業(yè)的應(yīng)用軟件最高優(yōu)先級關(guān)注點就是穩(wěn)定性數(shù)字化轉(zhuǎn)型過程中首先追求穩(wěn)定從銀行等金融機構(gòu)部署架構(gòu)趨勢來看早期通常是將服務(wù)器集中部署在大型機上為的就是穩(wěn)定高效多并發(fā)隨著應(yīng)用的發(fā)展基于服務(wù)器來搭建不同應(yīng)用的架構(gòu)成為趨勢Orcle數(shù)據(jù)庫開始席卷市場。后來X86服務(wù)器興起引起應(yīng)用架構(gòu)發(fā)生變化盡管這時候數(shù)據(jù)庫市場還離不開OaceDB但百花齊放的理念已經(jīng)萌芽如今在分布式數(shù)據(jù)庫技術(shù)蓬勃發(fā)展的前提下金融業(yè)將部署在Oace、DB2等數(shù)據(jù)庫上的數(shù)據(jù)遷移至其他分布式數(shù)據(jù)庫產(chǎn)品上時必須平滑的實現(xiàn)新舊系統(tǒng)的替換以降低新技術(shù)轉(zhuǎn)型帶來的風(fēng)險,需要特別關(guān)注穩(wěn)定性的保障,容災(zāi)過程當(dāng)中RORO的真實情況同城異地RPO等重點。業(yè)務(wù)動態(tài)擴展需求逐步加強為應(yīng)對線上金融突發(fā)的業(yè)務(wù)增長場景如搶購秒殺等,金融業(yè)基于持續(xù)進步的技術(shù)手段不斷快速創(chuàng)新和發(fā)展金融應(yīng)用從追求業(yè)務(wù)多元化到追求場景化創(chuàng)新業(yè)務(wù)創(chuàng)新再到金融數(shù)字化轉(zhuǎn)型深入推進新應(yīng)用對金融系統(tǒng)的技術(shù)架構(gòu)有了更為嚴格的標(biāo)準和要求在業(yè)務(wù)轉(zhuǎn)型過程中金融機構(gòu)須充分考慮應(yīng)用架構(gòu)和數(shù)據(jù)庫部署架構(gòu)可動態(tài)擴展性要求,并且在擴縮容過程中保持對業(yè)務(wù)透明。(二)數(shù)據(jù)庫技術(shù)不斷成熟歷史沿革20世紀50年代,計算機開始應(yīng)用于數(shù)據(jù)管理方面。但傳統(tǒng)的文件系統(tǒng)無法滿足數(shù)據(jù)指數(shù)型增長帶來的數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)檢索的訴求。為了解決以上問題,60年代,數(shù)據(jù)庫誕生。數(shù)據(jù)庫的核心理論支撐是數(shù)據(jù)模型最早一代的數(shù)據(jù)庫采用的是網(wǎng)狀數(shù)據(jù)模型和層次數(shù)據(jù)模型但這兩種數(shù)據(jù)庫在數(shù)據(jù)獨立性和抽象級別上都有很大的欠缺為了解決這些問題190年關(guān)系數(shù)據(jù)模型的發(fā)表奠定了關(guān)系數(shù)據(jù)庫的理論基礎(chǔ),具有里程碑式的時代意義。隨后,IBM在該關(guān)系數(shù)據(jù)模型的基礎(chǔ)上于20世紀80年代發(fā)布了D2數(shù)據(jù)庫系統(tǒng)。與此同時,Orcle,Syase,MirooftSQLSever、Inori、PstreQL等其他眾多的數(shù)據(jù)庫系統(tǒng)開始問世。經(jīng)過幾十年的發(fā)展和實際應(yīng)用關(guān)系型數(shù)據(jù)庫技術(shù)越來越成熟和完善當(dāng)前關(guān)系型數(shù)據(jù)庫仍占據(jù)著全球數(shù)據(jù)庫的主要市場。隨著互聯(lián)網(wǎng)的興起數(shù)據(jù)量爆炸式增長單機數(shù)據(jù)庫越來越難滿足大規(guī)模數(shù)據(jù)的需求在互聯(lián)網(wǎng)金融移動金融的快速發(fā)展下移動互聯(lián)網(wǎng)帶來的渠道和服務(wù)的多樣化如銀企互聯(lián)移動支付等引起業(yè)務(wù)量數(shù)據(jù)規(guī)模以及瞬間峰(搶購的快速增長傳統(tǒng)單機數(shù)據(jù)庫無法滿足業(yè)務(wù)性能容量的需求,分布式數(shù)據(jù)庫在這個背景下應(yīng)運而生。20世紀90年代以來,分布式數(shù)據(jù)庫從技術(shù)研究開始進入商業(yè)化應(yīng)用階段逐漸成為了數(shù)據(jù)庫領(lǐng)域的主流方向之一也成為金融分布式新核心技術(shù)架構(gòu)的基礎(chǔ)。從整體來看數(shù)據(jù)庫行業(yè)發(fā)展經(jīng)歷“單機時代“集群時代“分布式時代“分布式和云時代”如表1和圖1所示:表1表代間件品代9-0014年IM出STMN。于IM30的IS層和D2于M和NX統(tǒng)的Oce據(jù)庫代0-1221布OceACOceR、yL等代0-1722發(fā)布SnrGgepnry等代07今27推出Cudpn布Aoa文CudSn、WSAo、nfkMSze等圖1圖技術(shù)趨勢金融業(yè)在進行數(shù)字化轉(zhuǎn)型的過程中須以應(yīng)用場景為牽引推動以分布式數(shù)據(jù)庫為代表的關(guān)鍵核心技術(shù)持續(xù)迭代善,讓技術(shù)成為金融業(yè)務(wù)發(fā)展的“新引擎”。當(dāng)前的金融業(yè)核心業(yè)務(wù)系統(tǒng)呈現(xiàn)由集中式走向分布式的發(fā)展趨勢數(shù)據(jù)庫作為核心基礎(chǔ)軟件之一未來也將面臨承載金融應(yīng)用向分布式轉(zhuǎn)型的挑戰(zhàn)從之前數(shù)據(jù)庫技術(shù)的發(fā)展歷程來看未來分布式數(shù)據(jù)庫技術(shù)的發(fā)展將呈現(xiàn)五大技術(shù)趨勢:資源服務(wù)化當(dāng)管理的數(shù)據(jù)庫實例數(shù)量上千后不但運維成(OPX)增加而且數(shù)據(jù)庫的管理運維挑戰(zhàn)將會呈現(xiàn)指數(shù)型上升數(shù)據(jù)庫管理人(DB如果投入大量時間在硬件操作系統(tǒng),安裝部署升級等運維工作上,將無法聚焦核心價值。因此,數(shù)據(jù)庫產(chǎn)品的發(fā)展趨勢之一將是利用虛擬化容器化等云基礎(chǔ)設(shè)施實現(xiàn)彈性伸縮高效安全的運維管理能力實現(xiàn)數(shù)據(jù)庫的服務(wù)化和資源化,提升數(shù)據(jù)庫運維管理能力。運維智能化隨著卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的普及AI能力下沉到數(shù)據(jù)庫成為未來另一發(fā)展趨勢。通過與AI技術(shù)結(jié)合,有望提升數(shù)庫的自學(xué)習(xí)能力,從而提升數(shù)據(jù)庫在運維過程中的參數(shù)配置索引制定路徑規(guī)劃的自處理能力實現(xiàn)自監(jiān)控自診斷自優(yōu)化和自安全端到端運維管理技術(shù)提升數(shù)據(jù)庫產(chǎn)的可用性和高性能,達到優(yōu)化SQL、提高效率、降低運維成本的作用。數(shù)據(jù)庫密態(tài)化攻擊數(shù)據(jù)庫竊取信息是當(dāng)今信息系統(tǒng)的一個主要安全問題數(shù)據(jù)泄露或被篡改等安全事件對企業(yè)和組織帶來的損失將是多方面的既有可量化的經(jīng)濟損失也有不可量化的品牌信譽和業(yè)務(wù)影響。因此,確保數(shù)據(jù)庫安全越來越重要。數(shù)據(jù)庫的另一發(fā)展趨勢是密態(tài)化即無論在何種業(yè)務(wù)場景和環(huán)境下數(shù)據(jù)在傳輸運算以及存儲的各個環(huán)節(jié)始終都處于密文狀態(tài)當(dāng)數(shù)據(jù)擁有者在客戶端完成數(shù)據(jù)加密并發(fā)送給服務(wù)端后在攻擊者借助系統(tǒng)脆弱點竊取用戶數(shù)據(jù)的情況下仍然無法獲得有效的價值信息,從而起到保護數(shù)據(jù)隱私的作用。設(shè)計松耦合從新技術(shù)的前瞻性來看分布式數(shù)據(jù)庫的核心價值在于數(shù)據(jù)庫資源池在保證與傳統(tǒng)數(shù)據(jù)庫兼容的基礎(chǔ)上必須滿足分布式彈性擴張當(dāng)資源池空間和計算能力不足時需要通過動態(tài)增加計算存儲節(jié)點的方式進行擴容隨著系統(tǒng)的功能的添加新的實體對象的加入新的關(guān)系關(guān)聯(lián)修改數(shù)據(jù)庫將變得困難重重因此逐步松耦合成為數(shù)據(jù)庫設(shè)計的發(fā)展趨勢表現(xiàn)在將訪問層與內(nèi)核層松耦合將計算層與存儲層松耦合訪問層具備兼容多種生態(tài)接口一個數(shù)據(jù)庫支持多種插件兼容多種引擎提供標(biāo)準的統(tǒng)一接口屏蔽掉不同引擎的差異性存算分離技術(shù)是實現(xiàn)松耦合的一種比較典型的技術(shù)類型可以將傳統(tǒng)分布式數(shù)據(jù)庫的存儲組(數(shù)據(jù)持久化)與計算組件(計算與內(nèi)存管理)分開?;旌县撦d處理隨著金融機構(gòu)數(shù)據(jù)量不斷增長數(shù)據(jù)業(yè)務(wù)場景的日益復(fù)雜數(shù)據(jù)庫技術(shù)不再僅僅只面向于結(jié)構(gòu)化的OLP數(shù)據(jù)交易,需要進一步擴展到面向多樣化數(shù)據(jù)實時對客服務(wù)的負責(zé)場景傳統(tǒng)的在線數(shù)據(jù)庫拆分后的架構(gòu)也需滿足一些關(guān)聯(lián)統(tǒng)計和實時分析的要求在此類需求的驅(qū)動下分布式數(shù)據(jù)庫數(shù)據(jù)處理分析的實時性和融合性都將有所提升??蛻艨赏ㄟ^HTP技術(shù)在支持高并發(fā)在線吞吐的同時提供海量數(shù)據(jù)的實時在線分析能力實現(xiàn)在線業(yè)務(wù)團隊的實時分析會員營銷等。二、分布式數(shù)據(jù)庫金融應(yīng)用進展情況(一)關(guān)鍵技術(shù)攻關(guān)人民銀行《金融科技發(fā)展規(guī)劃(202-225年)》提出“深化關(guān)鍵核心技術(shù)應(yīng)用”“加強核心技術(shù)的應(yīng)用攻關(guān)”。傳統(tǒng)的數(shù)據(jù)庫性能主要依賴于硬件能力但隨著摩爾定律失效數(shù)據(jù)庫的性能高并發(fā)能力擴展都出現(xiàn)了瓶頸難以有較大突破分布式數(shù)據(jù)庫具有高性能高可靠低成本平滑擴容等優(yōu)勢能較好地適應(yīng)當(dāng)前金融領(lǐng)域數(shù)據(jù)庫的應(yīng)用要求順應(yīng)數(shù)據(jù)庫技術(shù)未來的發(fā)展方向聯(lián)盟在落《金融科(FiTeh發(fā)展規(guī)(209-021年《金融科技發(fā)展規(guī)劃(22-225年)》要求的過程中,探索產(chǎn)用聯(lián)合新模式有計劃分步驟地穩(wěn)妥推動分布式數(shù)據(jù)庫產(chǎn)品先行先試。搭建平臺考慮分布式數(shù)據(jù)庫在硬件條件系統(tǒng)架構(gòu)和關(guān)鍵技術(shù)上與傳統(tǒng)數(shù)據(jù)庫存在較大差異聯(lián)盟開展分布式數(shù)據(jù)庫金融應(yīng)用數(shù)據(jù)強一致性服務(wù)高可用分布式事務(wù)隔離級別語法支持與遷移復(fù)雜計算性能容量彈性伸縮異構(gòu)復(fù)制、運維監(jiān)控等關(guān)鍵技術(shù)的多項研究推動金融領(lǐng)域數(shù)據(jù)庫上下游適配性驗證聯(lián)合金融業(yè)有分布式數(shù)據(jù)庫成功實施經(jīng)驗的銀行機構(gòu)和國內(nèi)數(shù)據(jù)庫廠家調(diào)研銀行機構(gòu)基礎(chǔ)設(shè)施整理方案和實施經(jīng)驗形成國內(nèi)分布式數(shù)據(jù)庫典型應(yīng)用案例解決分布式數(shù)據(jù)庫在金融應(yīng)用中存在的數(shù)據(jù)一致性服務(wù)可靠性難題推動會員間科技創(chuàng)新合作發(fā)揮不同業(yè)態(tài)的比較優(yōu)勢,促進分布式數(shù)據(jù)庫技術(shù)與金融業(yè)務(wù)深度融合。一是創(chuàng)造舞臺落實重點工作任務(wù)征集機制廣泛研究,充分調(diào)查,辨識分布式數(shù)據(jù)庫在金融業(yè)應(yīng)用中遇到的“急、重險難的關(guān)鍵問題并將其作為推動分布式數(shù)據(jù)庫技術(shù)成熟發(fā)展的著力點“以點帶面激發(fā)金融領(lǐng)域的科技創(chuàng)新活力。二是建立牽頭單“掛帥責(zé)任制促成金融機構(gòu)和科技公司項目結(jié)對形成多方共商的工作機制在處理重點工作的過程中,鼓勵大型金融機構(gòu)和科技企業(yè)進行創(chuàng)新突破,組織中小企業(yè)積極貢獻智慧,激發(fā)不同主體的科技創(chuàng)新活力合力解決制約分布式數(shù)據(jù)庫技術(shù)在金融業(yè)穩(wěn)妥發(fā)展的關(guān)鍵技術(shù)難題。三是拓展多重成果推廣渠道,重視聯(lián)合攻關(guān)成果的呈現(xiàn)采用論壇講堂、專題講座案例分享、課題匯報等方式積極宣傳匯報攻關(guān)進程樹立行業(yè)標(biāo)桿和模板以榜樣的示范引導(dǎo)作用,帶動整個行業(yè)探索實施分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用的熱情推動重大應(yīng)用成果產(chǎn)出的行業(yè)共享助力金融服務(wù)提質(zhì)增效。推動攻關(guān)220年聯(lián)盟組織研究了分布式數(shù)據(jù)庫產(chǎn)品在容災(zāi)和遷移2個應(yīng)用場景中的重、難點問題。分布式數(shù)據(jù)庫容災(zāi)該課題分為容災(zāi)調(diào)研和容災(zāi)案例兩部分容災(zāi)調(diào)研方面為了解銀行信息系統(tǒng)的容災(zāi)要求課題組對多家銀行進行IT基礎(chǔ)設(shè)施和關(guān)鍵信息系統(tǒng)容災(zāi)要求進行了詳實調(diào)研形成《金融行業(yè)分布式事務(wù)數(shù)據(jù)庫容災(zāi)需求調(diào)研報告容災(zāi)案例方面多個數(shù)據(jù)庫廠家都提供了具有實際意義的銀行應(yīng)用實踐并在案例中較為詳細地描述了項目背景采用的數(shù)據(jù)庫關(guān)鍵技術(shù)容災(zāi)目標(biāo)設(shè)計方案、典型災(zāi)難場景切換過程驗證和實施過程等內(nèi)容容災(zāi)課題用實踐經(jīng)驗為正在應(yīng)用分布式數(shù)據(jù)庫或有應(yīng)用計劃的金融單位開展相關(guān)工作提供了有價值的參考。分布式數(shù)據(jù)庫遷移該課題聯(lián)合金融業(yè)有分布式數(shù)據(jù)庫成功遷移案例的金融機構(gòu)和國內(nèi)數(shù)據(jù)庫廠家結(jié)合實踐案例和成功經(jīng)驗,形成國內(nèi)分布式數(shù)據(jù)庫應(yīng)用遷移典型技術(shù)方案為金融業(yè)在進行主流數(shù)據(jù)庫向國內(nèi)分布式數(shù)據(jù)庫遷移時提供參考借鑒遷移課題輸出了多份完整的遷移方案從預(yù)評估前期驗證業(yè)務(wù)及數(shù)據(jù)庫規(guī)劃業(yè)務(wù)改造與測試數(shù)據(jù)遷移投產(chǎn)切換運維保障7個階段描述了銀行實際遷移項目的實施情況并在方案中對整體遷移過程進行了分析總結(jié)對項目增效進行了估算用實踐證明了從主流數(shù)據(jù)庫向國內(nèi)分布式數(shù)據(jù)庫應(yīng)用遷移切實可行為正在準備遷移或有遷移計劃的金融單位樹立遷移成功信心提供開展相關(guān)工作的參考。221年聯(lián)盟陸續(xù)完成《分布式數(shù)據(jù)庫金融應(yīng)用評價模型《分布式數(shù)據(jù)庫混合應(yīng)用負(HTP研究《分布式數(shù)據(jù)庫運維體系建設(shè)指引等課題并發(fā)布了相關(guān)研究成果。分布式數(shù)據(jù)庫金融應(yīng)用評價模型該課題以分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用系列金融行業(yè)標(biāo)準為依據(jù)在統(tǒng)一的測試方法和計算模型下對分布式數(shù)據(jù)庫進行量化評價為監(jiān)管構(gòu)和金融機構(gòu)進一步了解數(shù)據(jù)庫產(chǎn)品的特性和發(fā)展情況提供數(shù)據(jù)支持同時通過對權(quán)重的調(diào)整在一定程度上引導(dǎo)數(shù)據(jù)庫產(chǎn)業(yè)的發(fā)展方向。分布式數(shù)據(jù)庫運維體系建設(shè)指引該課題分析了分布式數(shù)據(jù)庫的引入對于傳統(tǒng)運維體系和運維能力提出的挑戰(zhàn)嘗試總結(jié)運維實踐的經(jīng)驗從分布式數(shù)據(jù)庫的系統(tǒng)設(shè)計開發(fā)測試投產(chǎn)上線生產(chǎn)變更日常運維以及下線管理等方面出發(fā)對分布式數(shù)據(jù)庫產(chǎn)品應(yīng)具備的運維能力標(biāo)準和監(jiān)控指標(biāo)體系進行需求調(diào)研對分布式數(shù)據(jù)庫在技術(shù)引入過程中運維管理體系提供指導(dǎo)與建議為各分布式數(shù)據(jù)庫廠商提供參考。分布式數(shù)據(jù)庫上云及多租戶指引該課題在關(guān)系型數(shù)據(jù)庫為信息系統(tǒng)核心軟件嘗試附加云化能力的背景下以向企業(yè)用戶提供符合需求可靈活配置的分布式數(shù)據(jù)庫云服務(wù)為目標(biāo)通過充分調(diào)研收集到自動進行數(shù)據(jù)庫的基礎(chǔ)設(shè)施適配方便部署和對外提供透明的數(shù)據(jù)庫資源池化服務(wù)等方面的需求詳細對照分析了數(shù)據(jù)庫上云及多租戶的價值將分布式數(shù)據(jù)庫與云計算基礎(chǔ)設(shè)計算存儲與網(wǎng)絡(luò)相匹配,提出了恰當(dāng)?shù)姆植际綌?shù)據(jù)庫上云及多租戶方案進行了分布式數(shù)據(jù)庫上云及多租戶的發(fā)展趨勢的預(yù)測為各分布式數(shù)據(jù)庫廠商提供參考。(二)多層次標(biāo)準建設(shè)習(xí)近平總書記強“標(biāo)準決定質(zhì)量有什么樣的標(biāo)準就有什么樣的質(zhì)量只有高標(biāo)準才有高質(zhì)量金融標(biāo)準是我國金融業(yè)健康發(fā)展的有力支撐在防范化解金融風(fēng)險中具有重要作用當(dāng)前分布式數(shù)據(jù)庫正處于從起步階段向加速階段快速發(fā)展的關(guān)鍵時期打造一“以國家標(biāo)準為底線行業(yè)標(biāo)準為門檻企業(yè)標(biāo)準為標(biāo)桿的新型標(biāo)準體系是分布式數(shù)據(jù)庫在金融業(yè)能夠快速部署穩(wěn)定運行集約化發(fā)展的基礎(chǔ)前提。行業(yè)標(biāo)準為穩(wěn)步推動分布式數(shù)據(jù)庫金融應(yīng)用實現(xiàn)基礎(chǔ)設(shè)施數(shù)據(jù)高效存儲和彈性擴展規(guī)范分布式數(shù)據(jù)庫技術(shù)在金融領(lǐng)域應(yīng)用人民銀行于200年11月發(fā)《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范技術(shù)架構(gòu)》(JR/T003200)《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范安全技術(shù)要求(JR/T024-02《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范災(zāi)難恢復(fù)要求》(R/T025-02)等一系列行業(yè)標(biāo)準(以下簡稱《行標(biāo)》)。《行標(biāo)從強化分布式數(shù)據(jù)庫技術(shù)對金融服務(wù)的技術(shù)支撐提升分布式數(shù)據(jù)庫技術(shù)對業(yè)務(wù)連續(xù)性和信息安全的保障能力的角度出發(fā)包含技術(shù)架構(gòu)災(zāi)難恢復(fù)安全要求等三項主要內(nèi)容有分布式事務(wù)數(shù)據(jù)庫的技術(shù)框架功能特性、運維管理基礎(chǔ)支撐保障用戶管理訪問控制數(shù)據(jù)安全、監(jiān)控預(yù)警密鑰管理安全管理安全審計容災(zāi)能力分級、災(zāi)備技術(shù)要求災(zāi)備管理流程等分布式數(shù)據(jù)庫金融應(yīng)用規(guī)范內(nèi)容見圖2。圖2圖團體標(biāo)準聯(lián)盟于201年4月發(fā)布團體標(biāo)準《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用評估規(guī)范(T_FIA00-221并于202年4月發(fā)布團體標(biāo)準《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用檢測指南》(T_FIA00-22)配合行標(biāo)的實施落地。其中評估規(guī)范對《行標(biāo)要求給出對應(yīng)的配套檢測方法對分布式事務(wù)數(shù)據(jù)庫的測試指標(biāo)模型等進行標(biāo)準化檢測指南是對評估規(guī)范的補充,詳細描述了測評對象的測評指標(biāo)、測評要求、測評步驟及結(jié)果判定等內(nèi)容以上團體標(biāo)準為分布式數(shù)據(jù)庫在金融領(lǐng)域應(yīng)用中為各方提供行業(yè)評估指導(dǎo)從而強化分布式數(shù)據(jù)庫技術(shù)對金融服務(wù)的技術(shù)支撐提升分布式數(shù)據(jù)庫技術(shù)對業(yè)務(wù)連續(xù)性和信息安全的保障能力。(三)產(chǎn)品質(zhì)量檢測分布式數(shù)據(jù)庫金融應(yīng)用質(zhì)量檢測體(下文“檢測體系的目標(biāo)是在進行分布式數(shù)據(jù)庫金融應(yīng)用標(biāo)準驗證的同時促進企業(yè)完善產(chǎn)品提升產(chǎn)品在行業(yè)應(yīng)用中的適用性高效性相關(guān)單位通過制定標(biāo)準標(biāo)準驗證和產(chǎn)品認證三個環(huán)節(jié)推進健全質(zhì)量檢測體系并以標(biāo)準落地實施為手段依安全評估產(chǎn)品評測等方式持續(xù)強化分布式數(shù)據(jù)庫產(chǎn)品安與質(zhì)量管理不斷提升其對金融業(yè)務(wù)的支撐能力質(zhì)量檢體系主要包含以下幾個方面:標(biāo)準驗證與適配性驗證標(biāo)準驗證以行業(yè)標(biāo)準為依據(jù)以團體標(biāo)準為指導(dǎo)從能安全防護能力容災(zāi)恢復(fù)能力和性能四個方面細分為337個檢測項對分布式數(shù)據(jù)庫產(chǎn)品進行驗證。標(biāo)準驗證過程采用統(tǒng)一的方法和模型可公正客觀的體現(xiàn)數(shù)據(jù)庫產(chǎn)品項能力,達成以下三方面目的:一是驗證數(shù)據(jù)庫廠商的產(chǎn)品是否符合行業(yè)標(biāo)準是否滿足金融應(yīng)用的最基本要求。二是結(jié)合標(biāo)準驗證工作,進一步打磨完善標(biāo)準適用性、有效性,建立健全分布式數(shù)據(jù)庫技術(shù)標(biāo)準體系。三是幫助金融機構(gòu)縮小產(chǎn)品選型范圍減輕選型及調(diào)研成本。適配性驗證測試是在分布式數(shù)據(jù)庫產(chǎn)品完成金融標(biāo)準驗證的基礎(chǔ)上驗證其在不同架構(gòu)國產(chǎn)化測試環(huán)境中功能正確性同時分析比較進行同等計算資源國產(chǎn)化環(huán)境遷移時分布式數(shù)據(jù)庫處理能力以及系統(tǒng)穩(wěn)定性差異適配性測試結(jié)果可以體現(xiàn)兩個方面的情況一是分布式數(shù)據(jù)庫產(chǎn)品與國產(chǎn)芯片的適配程度二是分布式數(shù)據(jù)產(chǎn)品與國產(chǎn)操作系統(tǒng)的適配程度。應(yīng)用規(guī)范評價模型標(biāo)準驗證與適配性驗證同屬于分布式數(shù)據(jù)庫產(chǎn)品的合規(guī)性驗證。通過驗證的產(chǎn)品能夠滿足金融業(yè)應(yīng)用的普通要求為了進一步提升行業(yè)機構(gòu)對數(shù)據(jù)庫產(chǎn)品的了解從符合要求的產(chǎn)品中選擇出更加優(yōu)秀的產(chǎn)品聯(lián)盟還制定了分布式數(shù)據(jù)庫金融應(yīng)用評價模型(以下簡稱“評價模型”)。評價模型是以分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范為依托,采用統(tǒng)一的測試方法和計算模型對分布式數(shù)據(jù)庫能力進行量化評價評價結(jié)果可為監(jiān)管機構(gòu)和金融機構(gòu)進一步了解數(shù)據(jù)庫產(chǎn)品的特性和發(fā)展情況提供數(shù)據(jù)支持同時計算模型中測試用例具有權(quán)重調(diào)整權(quán)重的比值可影響評價結(jié)果從而引導(dǎo)數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展方向。目前評價模型具備以下特性:一是多維度評價從基本功能分布式事務(wù)及存儲運維管理安全管理高可用容災(zāi)和性能等六個維度對數(shù)據(jù)庫系統(tǒng)進行全面評價每個維度的得分都是該維度內(nèi)各檢測項得分的加權(quán)平均值。二是定義核心評價項在評價模型中結(jié)合金融機構(gòu)對數(shù)據(jù)庫功能的核心需求劃分了核心檢測項核心檢測項采用一票否決機制數(shù)據(jù)庫產(chǎn)品如在某一維度不滿足核心檢測項,該維度的得分為0分。三是設(shè)計分級測試用例評價模型通過基礎(chǔ)測試用例判斷檢測項是否符合標(biāo)準要求通過增強測試用例體現(xiàn)數(shù)據(jù)庫對應(yīng)金融應(yīng)用需求的完善程度各檢測用例按照重要程度賦予不同的分值所以各檢測項的實際得分體現(xiàn)出了被測數(shù)據(jù)庫產(chǎn)品的綜合性能和特點。金融場景測試套件目前分布式數(shù)據(jù)庫產(chǎn)品在金融業(yè)選型及能力測評還未有統(tǒng)一的標(biāo)準和模型傳統(tǒng)性能測試所采用的通用數(shù)據(jù)庫基準測試包括基于隨機讀寫模型的Sybec基于倉庫進銷存模型的TC-C等但這些基準測試業(yè)務(wù)模型相對簡單與金融業(yè)數(shù)據(jù)庫應(yīng)用場景有明顯差異難以體現(xiàn)金融應(yīng)用中使用數(shù)據(jù)庫的特點。分布式數(shù)據(jù)庫測試套件基于金融核心交易場景的測試模型在金融賬務(wù)系統(tǒng)的基礎(chǔ)上以存取款轉(zhuǎn)賬賬戶查詢結(jié)息批量等核心交易場景為基礎(chǔ)借鑒通用數(shù)據(jù)庫基準測試的設(shè)計思路通過抽象歸納和簡化設(shè)計形成以金融業(yè)務(wù)交易場景訪問數(shù)據(jù)的性能測試模型和方法用于指導(dǎo)金融業(yè)分布式數(shù)據(jù)庫選型和性能測評。金融場景測試套件具備以下特點。場景設(shè)計:測試套件基于真實銀行業(yè)核心系統(tǒng),假設(shè)一個銀行如圖3所示,有M個機構(gòu)、N個柜員,初始有P個賬戶,每個賬戶有一定初始金額。同一時刻有T個操作柜員并發(fā)地發(fā)起業(yè)務(wù)交易。圖3圖核心交易:測試套件選取金融業(yè)核心系統(tǒng)最具有代表性的9個交易,如表2所示:表2表碼稱稱比1立AON12款A(yù)DOT53款A(yù)DW54賬ATNER605詢AQRY56詢ADQRY47息AISTE量8理AVIY量9付APY20熱點交易場景:熱點交易指“賬戶支付”交易中的10集中訪問某個特定賬戶。測試套件對此類情況進行了測試。測試套件考慮了數(shù)據(jù)庫的分布式事務(wù)能力包括:原子性:利用“一對一轉(zhuǎn)賬(ACTANFE)”交易驗證分布式事務(wù)的驗證性。一致性:利用“對賬處理(ACVRIY)”交易證分布式事務(wù)的一致性。隔離性:利用“賬戶明細查詢(ACDTQER)”交易驗證分布式事務(wù)的隔離性。持久性通過分布式事務(wù)的交易日志和數(shù)據(jù)庫志的比對驗證分布式事務(wù)的持久性。三、分布式數(shù)據(jù)庫金融應(yīng)用情況(一)類型分布分布式數(shù)據(jù)庫經(jīng)過了整個金融業(yè)3年的實踐已經(jīng)有眾多的金融應(yīng)用上線。聯(lián)盟對部分的金融機構(gòu)進行了抽樣調(diào)查,分析了當(dāng)前國內(nèi)分布式數(shù)據(jù)庫在金融業(yè)的應(yīng)用分布情況以下將從客戶類型資產(chǎn)負債類型與系統(tǒng)建設(shè)類型三不同的維度,分析分布式數(shù)據(jù)庫應(yīng)用的分布情況。按客戶類型劃分隨著金融業(yè)從“以渠道為中心”、“以產(chǎn)品為中心”、“以賬務(wù)為中心轉(zhuǎn)型“以客戶為中心將行業(yè)應(yīng)用從客戶類型的角度劃分為個人業(yè)務(wù)企業(yè)業(yè)務(wù)和同業(yè)業(yè)務(wù)三類如表3所示:型念例務(wù)型念例務(wù)存業(yè)型。務(wù)賬型等務(wù)服通型資、個人業(yè)務(wù)是指金融機構(gòu)以個人客戶為服務(wù)對象,提供存款貸款支付結(jié)算等服務(wù)的業(yè)務(wù)類型例如個人繳費、個人存取款、個人轉(zhuǎn)賬等。企業(yè)業(yè)務(wù):是指金融機構(gòu)以企業(yè)和政府為服務(wù)對象提供賬務(wù)類服務(wù)的業(yè)務(wù)類型例如對公轉(zhuǎn)賬工資代發(fā)等。同業(yè)業(yè)務(wù):是指金融機構(gòu)以金融同業(yè)客戶為服務(wù)對象,以同業(yè)資金融通為核心的業(yè)務(wù)類型,例如同業(yè)存放、債券投資、同業(yè)拆借、外匯買賣等。根據(jù)聯(lián)盟221年對近30個金融機構(gòu)分布式數(shù)據(jù)庫應(yīng)用案例的調(diào)研情況進行統(tǒng)計:個人業(yè)務(wù)類型應(yīng)用占比約36,企業(yè)業(yè)務(wù)應(yīng)用占比約36,同業(yè)業(yè)務(wù)應(yīng)用占比28。從調(diào)研結(jié)果分析目前國內(nèi)的分布式數(shù)據(jù)庫應(yīng)用在客戶類型方面沒有明顯側(cè)重在個人業(yè)務(wù)企業(yè)業(yè)務(wù)與同業(yè)業(yè)務(wù)相關(guān)的應(yīng)用試點的比例相差不大按客戶分類的業(yè)務(wù)分布比例見圖4。圖4)按資產(chǎn)負債類型劃分金融業(yè)應(yīng)用從資產(chǎn)負債類型維度來劃分可以分為負債業(yè)務(wù)、資產(chǎn)業(yè)務(wù)和中間業(yè)務(wù)三類,如表4所示:表4)型念例務(wù)戶金對。、。務(wù)將戶負,移。、。務(wù)和金客業(yè)式。業(yè)。負債業(yè)務(wù):是指由金融客戶將資金的使用權(quán)轉(zhuǎn)移到了金融機構(gòu)構(gòu)成了金融機構(gòu)對客戶負債的一種業(yè)務(wù)一般個人負債指的就是各類活定期存款企業(yè)負債則是企業(yè)單位存款。資產(chǎn)業(yè)務(wù):是指金融機構(gòu)將資金使用權(quán)移交到金融客戶側(cè)構(gòu)成客戶對金融機構(gòu)負債的一種業(yè)務(wù)整體來說,金融機構(gòu)對客戶的資金轉(zhuǎn)移分為投資和借貸兩類。中間業(yè)務(wù):是指金融機構(gòu)和客戶之間不進行直接的資金轉(zhuǎn)移是金融機構(gòu)為滿足客戶所需的中間服務(wù)產(chǎn)生的業(yè)務(wù)一般以收取客戶服務(wù)費形式盈利例如傳統(tǒng)的結(jié)算算、匯兌等,或者新興的外匯、基金、理財?shù)?。根?jù)聯(lián)盟分布式數(shù)據(jù)庫的金融應(yīng)用情況調(diào)研問卷顯示,分布式數(shù)據(jù)庫在金融領(lǐng)域應(yīng)用案例中資產(chǎn)業(yè)務(wù)類應(yīng)用占比約22負債業(yè)務(wù)類應(yīng)用占比約11另有67的金融機構(gòu)選擇中間業(yè)務(wù)作為試點,其中銀行卡業(yè)務(wù)(22)、結(jié)算清算業(yè)(17和渠道系統(tǒng)業(yè)(17受到分布式數(shù)據(jù)庫應(yīng)用試點的青睞。按負債類型分類的金融應(yīng)用比例見圖。圖5)按系統(tǒng)建設(shè)類型劃分金融業(yè)應(yīng)用從系統(tǒng)建設(shè)類型來劃分,可分為管理系統(tǒng)、渠道系統(tǒng)、業(yè)務(wù)系統(tǒng)、支撐系統(tǒng)等四類,如表5所示。表5)型念例統(tǒng)統(tǒng)CMFM。統(tǒng)道、統(tǒng)統(tǒng)。統(tǒng)融。等統(tǒng)用。OA統(tǒng)。管理系統(tǒng)是指負責(zé)金融機構(gòu)內(nèi)部管理的系統(tǒng)包括有CR、FM等。渠道系統(tǒng):是指管理整個金融機構(gòu)對外的資金流轉(zhuǎn)渠道的系統(tǒng)包括電子銀行電話銀行網(wǎng)點柜臺短信平臺等。業(yè)務(wù)系統(tǒng):是指核心業(yè)務(wù)系統(tǒng)、結(jié)算清算系統(tǒng)、信用卡系統(tǒng)這一類對外服務(wù)的業(yè)務(wù)管理系統(tǒng)是銀行的重要系統(tǒng)。支撐系統(tǒng):是指用于保障、提供內(nèi)部支撐服務(wù)的系統(tǒng),例如報表平臺、OA平臺等。從系統(tǒng)建設(shè)的角度來看目前國內(nèi)分布式數(shù)據(jù)庫在各個應(yīng)用類型中均有使用調(diào)查顯示業(yè)務(wù)系統(tǒng)與支撐系統(tǒng)使用最多,分別占比42與25。就業(yè)務(wù)系統(tǒng)的細分應(yīng)用類型分析投資類應(yīng)用與銀行卡應(yīng)用使用分布式數(shù)據(jù)庫較多占比均為12,而傳統(tǒng)的賬務(wù)核心系統(tǒng)使用較少,占比約為6。按建設(shè)類型分類金融應(yīng)用比例見圖6。圖6)(二)架構(gòu)設(shè)計隨著金融業(yè)務(wù)環(huán)境的發(fā)展變化,金融業(yè)務(wù)與IT系統(tǒng)之間已形成相互促進的良性循環(huán),IT系統(tǒng)的技術(shù)發(fā)展和應(yīng)用,推動金融業(yè)務(wù)的創(chuàng)新金融業(yè)務(wù)對IT系統(tǒng)提出更高的要求,促進IT系統(tǒng)的技術(shù)演進。互聯(lián)網(wǎng)+金融場景的爆發(fā)式增長,集中式核心系統(tǒng)已經(jīng)難以支撐海量用戶海量數(shù)據(jù)高并發(fā)、跨數(shù)據(jù)中心高可用的業(yè)務(wù)處理需求同時集中式架構(gòu)的核心系統(tǒng)是龐大的單一應(yīng)用系統(tǒng)升級迭代復(fù)雜在互聯(lián)網(wǎng)時代很難要求快速的業(yè)務(wù)創(chuàng)新。金融業(yè)在變革面前需要進行頂層設(shè)計形成業(yè)務(wù)和IT高度融合的頂層架構(gòu)在信息化建設(shè)方面利用新技術(shù)提高IT的適應(yīng)性、靈活性、敏捷性和數(shù)據(jù)分析能力。為了達到這個目標(biāo)金融應(yīng)用架構(gòu)的發(fā)展趨勢是互聯(lián)網(wǎng)化平臺化、集約化和智能化。因此金融應(yīng)用的IT架構(gòu)不斷演變,從邏輯架構(gòu)演進分為“胖核心架構(gòu)“瘦核心”架構(gòu)“分布式架構(gòu)三個階段。金融應(yīng)用架構(gòu)設(shè)計及轉(zhuǎn)變路線如圖7所示。圖7線“胖核心”架構(gòu)“胖核心”架構(gòu)指的是銀行內(nèi)部綜合業(yè)務(wù)集中的架構(gòu)。200年至200年左右的十年間,大型金融和城市商業(yè)金融均采用該架構(gòu)業(yè)務(wù)系統(tǒng)耦合度極高難以剝離底層數(shù)據(jù)庫采用集中式系統(tǒng)整體思路建設(shè)大而全“胖核心”架構(gòu)見圖。圖8圖“瘦核心”架構(gòu)210年以后隨著電子購(電商移動互聯(lián)網(wǎng)的發(fā)展胖核心(核心系統(tǒng)業(yè)務(wù)集中)架構(gòu)已經(jīng)無法滿足金融業(yè)務(wù)發(fā)展的需要因為金融業(yè)務(wù)變動頻繁業(yè)務(wù)系統(tǒng)牽一發(fā)而動全身“胖核心架構(gòu)的瓶頸逐步顯現(xiàn)此時金融業(yè)務(wù)系統(tǒng)開始拆分為多個子系統(tǒng)或中心來應(yīng)對這種變化稱為“瘦核心架構(gòu)于是按照交易業(yè)務(wù)等不同的角度拆分出記賬核心貸款核心成本核心等各個核心系統(tǒng)并引入EAI總線進行管理集中式的架構(gòu)并沒有發(fā)生太大的改變數(shù)據(jù)庫層依舊采用集中式架構(gòu)進行支撐?!笆莺诵摹奔軜?gòu)如圖9所示。圖9圖“分布式”架構(gòu)互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)時代下帶來了新業(yè)態(tài),以其獨特經(jīng)營模式和價值創(chuàng)造方式對商業(yè)銀行傳統(tǒng)業(yè)務(wù)形成直接沖擊。在金融科技的支撐下,金融應(yīng)用采用耦合度更低的SOA總線將業(yè)務(wù)和存儲過渡到分布式架構(gòu)分布式架構(gòu)如圖10所示。圖1圖“分布式”架構(gòu)可帶來以下收益:高并發(fā)性能。提供水平線性擴展和彈性伸縮能力。提升故障隔離能力,提高系統(tǒng)可用性。支持多活架構(gòu),提升容災(zāi)能力。成本優(yōu)勢明顯。分布式系統(tǒng)基于相對低廉的通用服務(wù)器設(shè)備構(gòu)建,獲取相同處理能力的成本遠低于傳統(tǒng)架構(gòu)。能夠為業(yè)務(wù)產(chǎn)品創(chuàng)新、降低功能耦合程度等方面的提供更多的支撐。提供灰度發(fā)布能力,實現(xiàn)版本平滑升級等。(三)場景應(yīng)用分布式數(shù)據(jù)庫是金融信息系統(tǒng)中最關(guān)鍵的組件之一其實施過程是個復(fù)雜的系統(tǒng)工程若管控不當(dāng)則會存在上層業(yè)務(wù)連續(xù)性中斷的風(fēng)險經(jīng)過多年的實踐和課題研究聯(lián)盟總結(jié)出適合分布式數(shù)據(jù)庫使用場景的實施原則步驟以及關(guān)鍵系統(tǒng)要求確保分布式數(shù)據(jù)庫實施的正確性連續(xù)性和穩(wěn)定性。為真實了解各金融機構(gòu)對分布式數(shù)據(jù)庫的實施情況聯(lián)盟開展抽樣調(diào)查從問卷結(jié)果分析了國內(nèi)分布式數(shù)據(jù)庫在融業(yè)的應(yīng)用分布情況。圖11圖根據(jù)金融應(yīng)用轉(zhuǎn)型中涉及到的分布式數(shù)據(jù)庫上線需求,對應(yīng)用移植和新建兩種上線場景進行了統(tǒng)計分析其中存量遷移占總比例的56,新建需求占44,顯示存量業(yè)務(wù)遷移仍然是當(dāng)前分布式事務(wù)型數(shù)據(jù)庫的主要應(yīng)用場景分布式數(shù)據(jù)庫新建/遷移占比情況如圖11所示。圖12圖將分布式數(shù)據(jù)庫應(yīng)用案例按集群規(guī)模進行分類20個節(jié)點以下屬于小規(guī)模部署,2~10個節(jié)點屬于中型規(guī)模部署;100個節(jié)點以上屬于大規(guī)模部署。根據(jù)分布式數(shù)據(jù)庫應(yīng)用調(diào)研小規(guī)模部署占46中型規(guī)模占37大規(guī)模部署占17。小規(guī)模部署無法凸顯分布式數(shù)據(jù)庫的優(yōu)勢,而統(tǒng)計結(jié)果顯示小規(guī)模集群部署占較大比重說明不少銀行依然將分布式數(shù)據(jù)庫作為技術(shù)研究和試商用分布式數(shù)據(jù)庫市場依然處于孵化期。當(dāng)前分布式數(shù)據(jù)庫集群規(guī)模占比如圖12顯示。下面分別針對增量和存量遷移的實施情況進行分析研究。新建場景隨著云計算大數(shù)據(jù)人工智能等新一代信息技術(shù)發(fā)展普及,外加疫情影響,國內(nèi)金融業(yè)數(shù)字化轉(zhuǎn)型加劇。目前,金融機構(gòu)普遍具有海量的數(shù)據(jù)存儲及動態(tài)的數(shù)據(jù)計算響應(yīng)需求分布式數(shù)據(jù)庫基于其強大的數(shù)據(jù)處理能力以及在線橫向擴縮容特性使其在數(shù)字化轉(zhuǎn)型過程中得到廣泛應(yīng)用根據(jù)聯(lián)盟相關(guān)調(diào)研顯示和傳統(tǒng)業(yè)務(wù)遷移相比金融機構(gòu)新建業(yè)務(wù)采用分布式數(shù)據(jù)庫更為普遍,業(yè)務(wù)場景以批量處理為主此外部分新建業(yè)務(wù)采用了單元化架構(gòu)確保數(shù)據(jù)安全及應(yīng)用快速迭代更新大多數(shù)的新金融應(yīng)用認可分布式數(shù)據(jù)庫作為基礎(chǔ)架構(gòu)也證明了分布式數(shù)據(jù)庫在架構(gòu)上的選型具備先進性。新建金融應(yīng)用業(yè)務(wù)場景分析根據(jù)聯(lián)盟抽樣調(diào)查顯示在金融新建業(yè)務(wù)場景中復(fù)度越高的業(yè)務(wù)場景對分布式數(shù)據(jù)庫的依賴度越高部分海量數(shù)據(jù)計算業(yè)務(wù)場景也開始選型分布式數(shù)據(jù)庫。業(yè)務(wù)場景分類圖13圖根據(jù)調(diào)查聯(lián)機交易場景是目前分布式數(shù)據(jù)庫應(yīng)用最多的場景聯(lián)機交易直接面向客戶并且基于金融業(yè)的特殊性,對數(shù)據(jù)庫性能以及高可用性均有較高要求。同時數(shù)據(jù)檢索,批量處理兩個場景也普遍采用了分布式數(shù)據(jù)庫系統(tǒng)傳統(tǒng)的數(shù)據(jù)檢索或者批量處理普遍依賴于大數(shù)據(jù)架構(gòu)隨著分布式數(shù)據(jù)庫計算處理能力的提升及良好的SL語法兼容性分布式數(shù)據(jù)庫開始逐步應(yīng)用于數(shù)據(jù)檢索以及批量處理場景分布式數(shù)據(jù)庫業(yè)務(wù)場景占比如圖13所示。應(yīng)用系統(tǒng)分類目前分布式數(shù)據(jù)庫在新業(yè)務(wù)系統(tǒng)應(yīng)用場景中以金融機構(gòu)同業(yè)業(yè)務(wù)和個人業(yè)務(wù)為主,占比均為33,其次是公司業(yè)務(wù),占比24。機構(gòu)內(nèi)部應(yīng)用占比相對較少。由此可見分布式數(shù)據(jù)庫系統(tǒng)更多應(yīng)用在較為復(fù)雜的業(yè)務(wù)場景對底層基礎(chǔ)軟件性能具有較高要求同時個人業(yè)務(wù)這類具有一定零售屬性的業(yè)務(wù)場景也對分布式數(shù)據(jù)庫有較強需求。新建金融應(yīng)用系統(tǒng)架構(gòu)分析由于分布式數(shù)據(jù)庫架構(gòu)特殊性,新建應(yīng)用會從應(yīng)用架構(gòu),數(shù)據(jù)架構(gòu)等方面進行設(shè)計。根據(jù)金融聯(lián)盟的統(tǒng)計結(jié)果,中規(guī)模的分布式數(shù)據(jù)庫集群占比較多此外為更好的適配分布式數(shù)據(jù)庫新應(yīng)用會在應(yīng)用設(shè)計上進行單元化架構(gòu)的設(shè)計以及數(shù)據(jù)模型的考慮。集群規(guī)模從問卷調(diào)查結(jié)果來看在新業(yè)務(wù)場景中分布式數(shù)據(jù)庫集群應(yīng)用規(guī)模以中規(guī)模為主,占比近50,大規(guī)模集群數(shù)量占比最少為18和存量應(yīng)用移植集群規(guī)模相比,新業(yè)務(wù)中等規(guī)模數(shù)據(jù)庫集群數(shù)量明顯提升大規(guī)模集群數(shù)量占比則變化不大由此可見相對傳統(tǒng)業(yè)務(wù)金融機構(gòu)更愿意在新業(yè)務(wù)中嘗試采用分布式數(shù)據(jù)庫集群架構(gòu)新業(yè)務(wù)歷史包袱小遷移升本低更容易發(fā)揮分布式數(shù)據(jù)庫的架構(gòu)優(yōu)勢。應(yīng)用架構(gòu)選型根據(jù)聯(lián)盟抽樣結(jié)果顯示部分新應(yīng)用在應(yīng)用架構(gòu)選型過程中進行了應(yīng)用單元化的拆分采用SOA服務(wù)總線服務(wù)化單元化的設(shè)計思想可以將應(yīng)用系統(tǒng)拆分為若干較小規(guī)模的獨立單元每個單元獨立開發(fā)部署相比大型單一系統(tǒng)功能繁雜開發(fā)規(guī)劃周期較長單元(服務(wù)化架構(gòu)數(shù)據(jù)安全性得到提升同時應(yīng)用開發(fā)更加靈活更易實現(xiàn)應(yīng)用快速迭代開發(fā)和灰度發(fā)布有效滿足金融機構(gòu)業(yè)務(wù)場景需求。數(shù)據(jù)模型設(shè)計數(shù)據(jù)庫傳統(tǒng)的E-R關(guān)系模型在分布式數(shù)據(jù)庫建模過程中依然適用但為了盡可能避免跨節(jié)點的數(shù)據(jù)傳輸需要注意數(shù)據(jù)分布方式和分布規(guī)則的選擇通過選合理的分片規(guī)則以及數(shù)據(jù)分布策略可以最大程度保證數(shù)據(jù)處理在單分片內(nèi)完成?;诼?lián)盟的抽樣顯示幾乎所有的新建應(yīng)用都會優(yōu)先在架構(gòu)設(shè)計上進行數(shù)據(jù)模型的重新設(shè)計模型設(shè)計考慮點如下表6所示:表6表計解略模間做Rge做Lt或Hh、。型表點在的IO升/據(jù)份要小種全。性照CP(nsn)性(aaly(rtnten)顧。的在CP和P靈須致交性在足AP一。存量移植場景目前金融應(yīng)用存量遷移過程分為五步包括遷移評估業(yè)務(wù)改造數(shù)據(jù)遷移數(shù)據(jù)庫割接運維優(yōu)化。還有部分系統(tǒng)涉及到數(shù)據(jù)同步改造。在金融應(yīng)用數(shù)字化轉(zhuǎn)型過程中會遇到大量的應(yīng)用移植情況分布式數(shù)據(jù)庫基于分布式架構(gòu)及多活中心特性可以將應(yīng)用進行平滑移植到新的數(shù)據(jù)引擎上根據(jù)聯(lián)盟的抽樣調(diào)查顯示金融分布式數(shù)據(jù)庫的實施與遷移工作主要呈現(xiàn)如下規(guī)律:方案設(shè)計傳統(tǒng)金融業(yè)務(wù)大多基于DBOrce等商業(yè)數(shù)據(jù)庫系統(tǒng),無論應(yīng)用系統(tǒng)是金融企業(yè)自研還是基于IS(軟件開發(fā)商)的產(chǎn)品,均已建設(shè)較長時間(核心系統(tǒng)建設(shè)時間均在10年以上),由于歷史原因,相關(guān)系統(tǒng)的業(yè)務(wù)邏輯,設(shè)計文檔,研發(fā)代碼可能存在一定缺失。如需遷移,需至少完成如下工作:數(shù)據(jù)庫采集分析即對源數(shù)據(jù)庫的數(shù)據(jù)對象類型性能、部署模式、使用的高級特性(如加密表、存儲過程等)進行采集和分析。應(yīng)用SL采集分析即對應(yīng)用程序所有功能涉及到的SL實現(xiàn)采集和分析,為應(yīng)用改造提供數(shù)據(jù)支持。兼容性評估針對源數(shù)據(jù)庫采集分析應(yīng)用SQL采集分析形成的數(shù)據(jù)進行計劃遷移的目標(biāo)數(shù)據(jù)庫與源數(shù)據(jù)庫的整體兼容性評估。通過兼容性評估即可與軟件開發(fā)團隊/IV大致分析出改造工作量,改造風(fēng)險等。兼容驗證圖14圖調(diào)查顯示傳統(tǒng)金融業(yè)務(wù)大多基于DBOrcle等商業(yè)數(shù)據(jù)庫系統(tǒng),且或多或少利用了這些商業(yè)數(shù)據(jù)庫高級特性,例如存儲過程物化視圖、觸發(fā)器自定義函數(shù)等要實現(xiàn)平滑遷移分布式數(shù)據(jù)庫需支持傳統(tǒng)集中式數(shù)據(jù)庫系統(tǒng)的存儲過程觸發(fā)器自定義函數(shù)等特性能夠做到SQL語法與傳統(tǒng)關(guān)系型數(shù)據(jù)庫盡可能兼容在應(yīng)用移植過程中盡可能做到對應(yīng)用程序透明或應(yīng)用改寫工作量降到最低存量業(yè)務(wù)的傳統(tǒng)數(shù)據(jù)庫替換比例見圖1。金融機構(gòu)通常采用兩種方案:徹底改造直接將數(shù)據(jù)庫遷移到分布式數(shù)據(jù)庫主要面對應(yīng)用已經(jīng)在前期進行業(yè)務(wù)拆分模塊化微服務(wù)化單元化設(shè)計,又或者基于某標(biāo)準分布式開發(fā)框架設(shè)計的業(yè)務(wù)系統(tǒng)這類系統(tǒng)已進行了業(yè)務(wù)邏輯解耦且已較少使用包括存儲過程觸發(fā)器自定義函數(shù)等傳統(tǒng)集中式數(shù)據(jù)庫的高級特性而是直接將數(shù)據(jù)庫當(dāng)做數(shù)據(jù)存儲使用應(yīng)用邏輯主要中在業(yè)務(wù)代碼側(cè)此類遷移源數(shù)據(jù)庫改造遷移到分布式據(jù)庫難度較低業(yè)務(wù)對分布式數(shù)據(jù)庫SQL兼容性要求主要集中在SQL語法和數(shù)據(jù)類型的支持無需進行存儲過程觸發(fā)器等功能的支持。平滑遷移將改造成本盡量降低此類系統(tǒng)通常需要分布式數(shù)據(jù)庫支持傳統(tǒng)集中式數(shù)據(jù)庫系統(tǒng)的存儲過程、觸發(fā)器自定義函數(shù)等特性能夠做到SQL語法與傳統(tǒng)關(guān)系型數(shù)據(jù)庫盡可能兼容在應(yīng)用移植過程中盡可能做到對應(yīng)用程序透明,或應(yīng)用改寫工作量降到最低。業(yè)務(wù)改造調(diào)查顯示絕大多數(shù)的業(yè)務(wù)改造周期通常在半年以內(nèi)金融應(yīng)用遷移改造所需平均時間為6.5個月一些關(guān)鍵核心業(yè)務(wù),如賬務(wù)核心系統(tǒng),涉及復(fù)雜的分布式轉(zhuǎn)型和性能優(yōu)化,需更長的業(yè)務(wù)改造時間金融機構(gòu)的應(yīng)用遷移用時占比調(diào)查反饋見圖1。圖15圖這里要說明的是真正的代碼開發(fā)時間只有業(yè)務(wù)改造周期的三分之一。在業(yè)務(wù)改造過程中,數(shù)據(jù)對象的改造,SL的改寫業(yè)務(wù)邏輯的改寫統(tǒng)稱代碼開發(fā)在代碼開發(fā)前有約三分之一的時間是在進行兼容性評估改寫設(shè)計工作例如詳細地數(shù)據(jù)對象改動方案,評估哪些業(yè)務(wù)SQL、業(yè)務(wù)邏輯等剩下的三分之一主要是進行測試包括業(yè)務(wù)邏輯正確性,數(shù)據(jù)庫和業(yè)務(wù)性能,與其他系統(tǒng)互通性等。數(shù)據(jù)遷移數(shù)據(jù)遷移是應(yīng)用移植的第三步,主要包括環(huán)境的遷移、結(jié)構(gòu)遷移、數(shù)據(jù)遷移、數(shù)據(jù)對比幾個步驟。因為存量系統(tǒng)的數(shù)據(jù)通常都在TB級別及以上,除了數(shù)據(jù)遷移本身需要很長的時間外在不同類型的數(shù)據(jù)庫之間確保數(shù)據(jù)遷移過程中的數(shù)據(jù)完整性和一致性也有很高的要求。另一方面金融系統(tǒng)對業(yè)務(wù)連續(xù)性要求越來越高要求數(shù)據(jù)遷移、遷移割接過程盡量不影響或少影響生產(chǎn)交易。因此,數(shù)據(jù)遷移一般采用數(shù)據(jù)庫遷移工具如全量遷移增量遷移(或稱在線遷移數(shù)據(jù)比對等工具實現(xiàn)數(shù)據(jù)遷移并在新業(yè)務(wù)系統(tǒng)上試運行(驗證)一段時間才進行割接。業(yè)務(wù)割接數(shù)據(jù)庫割接是指在業(yè)務(wù)驗證滿足相關(guān)預(yù)定要求基礎(chǔ)上,對老系統(tǒng)的數(shù)據(jù)(含業(yè)務(wù)系統(tǒng)本身進行整體割接下圖顯示一些聯(lián)機交易型業(yè)務(wù)的割接停機時間統(tǒng)計信息對于在線交易類業(yè)務(wù)的平均割接停機時間都要求在分鐘級割接停機時間分布見圖1。圖16圖為了保障割接的順利與異常的管控割接前金融企業(yè)通常需要制定完整的“回退方案”“割接方案”并在測系統(tǒng)演練幾次后方可執(zhí)行。運維優(yōu)化運維優(yōu)化是指在割接前中后的過程中金融企業(yè)需要熟悉相關(guān)分布式數(shù)據(jù)庫的運維操作包括但不限于數(shù)據(jù)庫備份數(shù)據(jù)庫性能分析與性能問題排查數(shù)據(jù)庫的監(jiān)控巡檢數(shù)據(jù)庫常規(guī)運維等對于割接中后一段時間通常還需要ISV、數(shù)據(jù)庫廠商進行配合護航,直至數(shù)據(jù)庫完全割接成功并成功運行預(yù)估時間。(四)服務(wù)器部署分布式數(shù)據(jù)庫相比傳統(tǒng)集中式數(shù)據(jù)庫既可以保證數(shù)據(jù)強一致又能實現(xiàn)水平擴展可以滿足金融機構(gòu)各類業(yè)務(wù)系統(tǒng)的需求因此金融機構(gòu)分布式數(shù)據(jù)庫不僅應(yīng)用在金融機構(gòu)的內(nèi)部業(yè)務(wù)與一般業(yè)務(wù)上也在逐步應(yīng)用到核心業(yè)務(wù)上隨著國內(nèi)分布式數(shù)據(jù)庫的不斷成熟以及與國內(nèi)CPU及操作系統(tǒng)的適配不斷完善國內(nèi)金融機構(gòu)基礎(chǔ)設(shè)施和平臺會逐步遷移到國內(nèi)服務(wù)器及操作系統(tǒng)上。據(jù)聯(lián)盟分析,預(yù)計203年支撐辦公OA業(yè)務(wù)的數(shù)據(jù)庫將實現(xiàn)全棧可控預(yù)計205年支撐一般業(yè)務(wù)的數(shù)據(jù)庫將有50以上的流量運行在國內(nèi)平臺上,支撐核心系統(tǒng)的數(shù)據(jù)庫實現(xiàn)全??煽匕咐矊⒅饾u增多。金融機構(gòu)對數(shù)據(jù)安全具有極高的要求目前金融應(yīng)用主要是以本地化服務(wù)器部署為主,部分采用私有化專有云部署較少采用服務(wù)化公有云部署下面從本地化服務(wù)器部署、私有化專有云部署服務(wù)化公有云部署三個方面詳細介紹金融應(yīng)用部署情況。核心業(yè)務(wù)服務(wù)器部署情況圖17圖核心業(yè)務(wù)服務(wù)器部署本地化仍是首選調(diào)研結(jié)果顯示目前約75的分布式數(shù)據(jù)庫直接運行在物理服務(wù)器上、約25的分布式數(shù)據(jù)庫運行在云服務(wù)(虛擬化上分布式數(shù)據(jù)庫部署方式占比見圖17。86芯片服務(wù)器和商用Liux系統(tǒng)是目前數(shù)據(jù)中心的主流IT基礎(chǔ)設(shè)施技術(shù)成熟生態(tài)完善數(shù)據(jù)庫是重要系統(tǒng),調(diào)查顯示為保證安全生產(chǎn)目前約有九成的分布式數(shù)據(jù)庫集群依然運行在86服務(wù)器上近年來隨著國內(nèi)芯片和操作系統(tǒng)的不斷進步目前約有7的分布式數(shù)據(jù)庫集群開始運行在國內(nèi)芯片為核心的服務(wù)器上分布式數(shù)據(jù)庫部署服務(wù)器類型占比見圖18。圖18圖部署在本地化的服務(wù)器中的業(yè)務(wù)典型的是銀行賬務(wù)系統(tǒng)監(jiān)管對其有嚴格的性能及可用性的要求需要具備異地容災(zāi)的能力因此支撐該類業(yè)務(wù)的分布式數(shù)據(jù)庫運行在云服務(wù)器上這會帶來一些不可控風(fēng)險直接部署到物理服務(wù)器上是最優(yōu)解,它也可以與專有云中的其他產(chǎn)品(例如存儲、網(wǎng)絡(luò)、負載均衡等)無縫對接,共用專有云的服務(wù)。非核心業(yè)務(wù)服務(wù)器部署情況非核心業(yè)務(wù)選用專有云部署逐步增多隨著云計算技術(shù)的不斷發(fā)展,金融機構(gòu)的IT基礎(chǔ)設(shè)施由原有煙囪式的系統(tǒng)建設(shè)模式向資源池化動態(tài)擴展的云計算平臺演進業(yè)務(wù)應(yīng)用部署在云服務(wù)器上將原本離散的業(yè)務(wù)打通并通過互網(wǎng)化、微服務(wù)化助力金融機構(gòu)持續(xù)創(chuàng)新。數(shù)據(jù)庫作為一個軟件,通常都可以運行在云服務(wù)器上。根據(jù)聯(lián)盟內(nèi)部統(tǒng)計與采用物理服務(wù)器部署方式相比在虛擬化平臺上部署分布式數(shù)據(jù)庫軟件受限于虛擬網(wǎng)絡(luò)的高延時和遠程磁盤的低I性能通常會大幅降低尤其是在高并發(fā)場景下性能下降會更加明顯因此分布式數(shù)據(jù)庫會將業(yè)務(wù)分級把諸如O管理中間業(yè)務(wù)等非核心系統(tǒng)經(jīng)過評估后部署至本地專有云上。OA及管理類業(yè)務(wù)部署至本地化云主機對于訪問流量不高性能和可用性要求較低的管理類業(yè)務(wù)可以將支撐這些系統(tǒng)的分布式數(shù)據(jù)庫部署到專有云平臺的標(biāo)準云服務(wù)器上。項目上線前需要對運行在云服務(wù)器上的數(shù)據(jù)庫進行壓力測試,確保其性能能夠滿足業(yè)務(wù)需要。中間業(yè)務(wù)及非核心表外業(yè)務(wù)部署至本地化裸金屬服務(wù)器對性能及可用性都有一定要求的中間業(yè)務(wù)或者非核心表外業(yè)務(wù)承載這些業(yè)務(wù)的分布式數(shù)據(jù)庫可以部署在專有云的裸金屬服務(wù)器上裸金屬服務(wù)器是使用下一代虛擬化技術(shù)的新型計算類服務(wù)器與上一代虛擬化技術(shù)相比下一代虛擬化技術(shù)不僅保留了普通云服務(wù)器的彈性體驗而且保留了物理機的性能與特性因此裸金屬服務(wù)器融合了物理機與云服務(wù)器的優(yōu)勢運行在裸金屬服務(wù)器上的分布式數(shù)據(jù)庫可以直接訪問處理器和內(nèi)存無任何虛擬化開銷性能相較云主機有大幅提升,足以支撐銀行非核心業(yè)務(wù)系統(tǒng)。服務(wù)類業(yè)務(wù)服務(wù)器部署情況服務(wù)類業(yè)務(wù)服務(wù)器選用公用云部署較多云數(shù)據(jù)庫即開即用,可以讓金融機構(gòu)快速獲得高可用、高性能的數(shù)據(jù)庫,并大幅減少運維工作量,讓金融機構(gòu)專注于自身業(yè)務(wù)發(fā)展。尤其是在中小型金融機構(gòu)中低人力成本和建設(shè)成本對其選擇云上的分布式數(shù)據(jù)庫有著天然的優(yōu)勢除此以外在可用性和擴展性上也比小型金融機構(gòu)自建要提升很多:切換可用區(qū)。分布式數(shù)據(jù)庫支持多區(qū)域(Reio)部署、多可用區(qū)(AaiabeZoe)部署,發(fā)生故障時,可以根據(jù)優(yōu)先級自動切換到一個健康的可用區(qū)。讓數(shù)據(jù)庫適應(yīng)快速增長的業(yè)務(wù)分布式關(guān)系型數(shù)據(jù)庫由一個個獨立的通用計算機作為節(jié)點數(shù)據(jù)根據(jù)容量小可用性自動分布在各個節(jié)點當(dāng)數(shù)據(jù)量不斷增長時分布式數(shù)據(jù)庫可以平滑擴展節(jié)點的數(shù)量。(五)容災(zāi)備份容災(zāi)系統(tǒng)概述為了保證業(yè)務(wù)連續(xù)性實現(xiàn)業(yè)務(wù)發(fā)展規(guī)劃金融系統(tǒng)需要建設(shè)一套能夠抵御和化解各種災(zāi)難情況的容災(zāi)備份系統(tǒng)。容災(zāi)系統(tǒng)是指在相隔較遠的同城或異地建立兩套或多套功能相同的IT系統(tǒng),多套系統(tǒng)之間可以進行健康狀態(tài)監(jiān)視和功能切換當(dāng)一處系統(tǒng)因意外停止工作時整個應(yīng)用系統(tǒng)可以切換到另一處,使該系統(tǒng)功能可以繼續(xù)正常工作。在《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范災(zāi)難恢復(fù)要求》中根據(jù)分布式數(shù)據(jù)庫應(yīng)用于金融業(yè)務(wù)系統(tǒng)的重要程度和生故障的影響范圍、危害程度,將其容災(zāi)能力等級劃分為6級應(yīng)用于金融領(lǐng)域的分布式數(shù)據(jù)庫災(zāi)難恢復(fù)能力應(yīng)至少到4級及以上要求具體對應(yīng)的RORP災(zāi)備部署等關(guān)鍵指標(biāo)要求見下表:表7表級R)R)署4級30鐘0備5級15鐘0備6級1鐘0備應(yīng)用于金融領(lǐng)域的分布式數(shù)據(jù)庫,應(yīng)綜合分析業(yè)務(wù)風(fēng)險業(yè)務(wù)功能和中斷影響根據(jù)成本風(fēng)險平衡原則以及運管理要求選擇相應(yīng)的災(zāi)備建設(shè)模式對于同城災(zāi)備應(yīng)支持同城兩中心或同城多中心部署架構(gòu)對于異地災(zāi)備應(yīng)持兩地三中心或多地多中心等部署架構(gòu)。災(zāi)備模式分析相關(guān)調(diào)研結(jié)果顯示在分布式數(shù)據(jù)庫金融應(yīng)用中采用同城雙活災(zāi)備模式的占比38,采用本地備份災(zāi)備模式的占比21采用多地多中心災(zāi)備模式的占比14采用多地多中心+同城雙活災(zāi)備模式的占比10其余占比總計17分布式數(shù)據(jù)庫金融應(yīng)用災(zāi)備模式分布情況見圖1。圖19圖若按照本地備份同城雙活多地多中心三類進行統(tǒng)計分析則可以得到分布式數(shù)據(jù)庫金融應(yīng)用三種災(zāi)備模式分布情況,見圖2。圖20圖綜合上述調(diào)研的數(shù)據(jù),可以得出以下結(jié)論:同城雙活災(zāi)備模式是首選一方面同城雙活災(zāi)備模式符《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范災(zāi)難恢復(fù)要求即達到4級容災(zāi)能力要求能夠應(yīng)對機房級故障較好地保證業(yè)務(wù)連續(xù)性另一方面與多地多中心災(zāi)備模式相比同城雙活的建設(shè)成本運維成本應(yīng)用適配復(fù)雜度等方面都更低。采用本地備份災(zāi)備模式的應(yīng)用系統(tǒng)仍較多尤其值得注意的是采用本地備份的應(yīng)用系統(tǒng)中不包含金融機構(gòu)的內(nèi)部業(yè)務(wù)也涉及面向客戶的個人業(yè)務(wù)司業(yè)務(wù)以及金融同業(yè)業(yè)務(wù)不符《分布式數(shù)據(jù)庫技術(shù)金應(yīng)用規(guī)范災(zāi)難恢復(fù)要求》的要求??鐢?shù)據(jù)中心容災(zāi)架構(gòu)以銀行業(yè)為代表的金融領(lǐng)域服務(wù)渠道正逐漸呈現(xiàn)多渠道移動化和全天候的特征核心業(yè)務(wù)系統(tǒng)對連續(xù)性的要求已達“35天×24小時級別在此背景下要求業(yè)務(wù)數(shù)據(jù)實現(xiàn)跨數(shù)據(jù)中心雙活,即在兩個數(shù)據(jù)中心實時進行備份,一旦失去一個中心所有業(yè)務(wù)可以及時切換至另一個數(shù)據(jù)中心繼續(xù)執(zhí)行。跨數(shù)據(jù)中心容災(zāi)架構(gòu)目前有同城雙活和兩地三中心兩類:同城雙活架構(gòu)數(shù)據(jù)單向異步復(fù)制。此架構(gòu)中應(yīng)用系統(tǒng)跨數(shù)據(jù)中心雙活數(shù)據(jù)中心A將數(shù)據(jù)從存儲節(jié)點通過專網(wǎng)快速復(fù)制到同城的數(shù)據(jù)中心B。業(yè)務(wù)流量通過負載均衡或者流量路由可以訪問不同的數(shù)據(jù)中心當(dāng)某一數(shù)據(jù)中心宕機后能將流量切換至另一個中心能夠滿足RO小于30秒RPO等于0秒的災(zāi)難恢復(fù)要求此架構(gòu)需要注意的是寫流量只能對A中心進行。此種同城雙活部署架構(gòu)見圖21。圖21一數(shù)據(jù)切分雙向復(fù)制.此架構(gòu)中應(yīng)用系統(tǒng)跨數(shù)據(jù)中心雙活業(yè)務(wù)庫按使用方式切割數(shù)據(jù)中心A的業(yè)務(wù)庫A將數(shù)據(jù)從存儲節(jié)點通過專網(wǎng)快速復(fù)制到同城的數(shù)據(jù)中心B的業(yè)務(wù)庫A中,同時數(shù)據(jù)中心B的業(yè)務(wù)庫B將數(shù)據(jù)從存儲節(jié)點通過專網(wǎng)快速復(fù)制到同城的數(shù)據(jù)中心A的業(yè)務(wù)庫B中業(yè)務(wù)庫A的寫流量路由到A中心業(yè)務(wù)庫B的寫流量路由到B中心可以將寫流量均衡當(dāng)某一中心宕機后可以將該中心的寫流量路由到另一中心即可能夠滿足RTO小于10秒RPO等于0秒的災(zāi)難恢復(fù)要求。此種同城雙活部署架構(gòu)部署見圖2。圖22二數(shù)據(jù)完全雙向復(fù)制.此架構(gòu)中應(yīng)用跨中心部署,業(yè)務(wù)流量無論讀寫均可訪問不同中心,底層數(shù)據(jù)雙向?qū)崟r同步復(fù)制滿足數(shù)據(jù)的最終一致性要求此架構(gòu)僅限于無狀態(tài)的應(yīng)用系統(tǒng),數(shù)據(jù)不要求強一致,能夠滿足RO等于0秒,RPO等于0秒的災(zāi)難恢復(fù)要求此種同城雙活部署架構(gòu)的部署見圖2。圖23三多地多中心架構(gòu)集群間復(fù)制此架構(gòu)中系統(tǒng)跨中心部署至三個中心AB中心為同城雙活,數(shù)據(jù)復(fù)制延遲較低,C中心為異地災(zāi)備,數(shù)據(jù)復(fù)制延遲較高。A中心通過異步復(fù)制方式數(shù)據(jù)通過數(shù)據(jù)庫的外部接口和軟(如數(shù)據(jù)增量接口和消息中間件經(jīng)專網(wǎng)復(fù)制到同城中心B,然后再經(jīng)外部網(wǎng)絡(luò)復(fù)制異地中心C。此架構(gòu)對應(yīng)用系統(tǒng)的種類無限制能夠滿足RTO小于10秒,RPO等于0秒的災(zāi)難恢復(fù)要求。此種多地多中心(兩地三中心)部署架構(gòu)見圖2。圖24一副本間復(fù)制此架構(gòu)在主城市部署兩個數(shù)據(jù)中心每個數(shù)據(jù)中心部署主機群的兩個副本異地第三數(shù)據(jù)中心部署主集群的單副本以及備集群通過一套整體的存儲協(xié)議機制保證數(shù)據(jù)副本一致性當(dāng)主城市或備城市任意數(shù)據(jù)中心發(fā)生故障時可利用存儲層的選舉和復(fù)制規(guī)則自動切換有效數(shù)據(jù)副本實現(xiàn)RO=RT<30秒當(dāng)主城市全部故障時進行一次主備Faloe由備集群接管業(yè)務(wù)服務(wù)保證RP=此種多地多中心(兩地三中心)部署架構(gòu)見圖25。圖25二四、分布式數(shù)據(jù)庫金融應(yīng)用成果(一)成果概述傳統(tǒng)集中式數(shù)據(jù)庫已廣泛應(yīng)用到金融業(yè)支撐著金融業(yè)實現(xiàn)了信息化數(shù)字化和智能化在移動金融加速金融服務(wù)普適化的背景下潮汐式“爆發(fā)式的高難度業(yè)務(wù)場景層出不窮,傳統(tǒng)集中式數(shù)據(jù)庫面對這些場景時往往力不從心而分布式數(shù)據(jù)庫因為有著強一致高性能高可靠低成本易擴容集中管理等顯著優(yōu)點滿足了金融業(yè)務(wù)系統(tǒng)對數(shù)據(jù)庫的各方面要求是數(shù)據(jù)庫未來發(fā)展的重要趨勢因此越來越多的金融機構(gòu)愿意嘗試去使用分布式數(shù)據(jù)庫。試點驗證多類場景目前已有較多的金融機構(gòu)使用了分布式數(shù)據(jù)庫主要是替換已有的DB2和Orcle數(shù)據(jù)庫。分布式數(shù)據(jù)庫大部分應(yīng)用到金融機構(gòu)的一般業(yè)務(wù)系統(tǒng)和OA系統(tǒng),例如:互聯(lián)網(wǎng)金融銀行卡系統(tǒng)營銷系統(tǒng)貸款系統(tǒng)數(shù)據(jù)檢索系統(tǒng)以及電子公文系統(tǒng)等從應(yīng)用類型看用于個人業(yè)務(wù)公司業(yè)務(wù)、金融機構(gòu)同業(yè)業(yè)務(wù)以及內(nèi)部業(yè)務(wù)的比例相當(dāng)。金融核心系統(tǒng)對數(shù)據(jù)一致性完整性安全性可靠性要求非常高監(jiān)管部門也有嚴格的要求目前金融核心系統(tǒng)使用分布式數(shù)據(jù)庫的案例并不多。隨著國家政策的不斷推進金融機構(gòu)勇于創(chuàng)新已經(jīng)有多家機構(gòu)正在嘗試將國內(nèi)分布式數(shù)據(jù)庫用于核心系統(tǒng)預(yù)計202-225年這些新核心系統(tǒng)會陸續(xù)上線并將形成可借鑒能推廣的典型案例和解決方案,為分布式數(shù)據(jù)庫在金融領(lǐng)域的全面應(yīng)用探明路徑。形成分步上線機制雖然分布式數(shù)據(jù)庫本身在數(shù)據(jù)庫領(lǐng)域已經(jīng)有了長足的進步但在金融業(yè)的應(yīng)用尚處于起步階段且缺少相關(guān)建設(shè)指引具有一定的實施風(fēng)險為降低風(fēng)險金融機構(gòu)普遍是從OA辦公業(yè)務(wù)和一般業(yè)務(wù)開始試點,試點成熟后,再不斷深入到核心業(yè)務(wù)的改造中避免影響安全生產(chǎn)項目正式上線前一般會通過雙寫或者數(shù)據(jù)鏈路復(fù)制等方式讓原數(shù)據(jù)庫和分布式數(shù)據(jù)庫并軌運行一段時間觀察分布式數(shù)據(jù)庫的性能及穩(wěn)定性表現(xiàn)一旦發(fā)現(xiàn)問題方便及時回退這種“并軌到“單軌”再“獨立運行的穩(wěn)步推進的替換方案可以確保安全生產(chǎn)也為其他金融機構(gòu)試點分布式數(shù)據(jù)庫積累了寶貴的經(jīng)驗。大幅降低擁有成本金融分布式數(shù)據(jù)庫的出現(xiàn)讓各大金融機構(gòu)擺脫了專有硬件的依賴普遍降低了信息化系統(tǒng)建設(shè)成本從調(diào)研情況看金融機構(gòu)將分布式數(shù)據(jù)庫主要用于聯(lián)機交易和批處理場景這些場景往往需要短時間內(nèi)完成大量數(shù)據(jù)的處理與分布式數(shù)據(jù)庫的特性比較匹配指標(biāo)應(yīng)用情況如表8所示使用分布式數(shù)據(jù)庫替換后幫助金融機構(gòu)擺脫了對昂貴專有硬件的依賴又提升了系統(tǒng)處理能力降低了金融機構(gòu)的整體擁有成本(TO)。表8表標(biāo)況TS2次-45次量2GB-1B程中系數(shù)大從1個到2。案力用中。(二)指標(biāo)分析聯(lián)盟對30多家金融機構(gòu)的分布式數(shù)據(jù)庫使用現(xiàn)狀進行了詳實的問卷調(diào)查與分析調(diào)查內(nèi)容主要涉及建設(shè)階段業(yè)務(wù)場景、性能提升、數(shù)據(jù)量、改造時長、經(jīng)濟效益等指標(biāo),從調(diào)查結(jié)果的各項指標(biāo)可以看出各金融機構(gòu)大多已經(jīng)在使用分布式數(shù)據(jù)庫且通過使用分布式數(shù)據(jù)庫取得了較好的性能及經(jīng)濟等方面的收益。建設(shè)階段指標(biāo)目前已經(jīng)有76的金融機構(gòu)已經(jīng)使用分布式數(shù)據(jù)庫,其中約35的機構(gòu)處于新建階段,而41的機構(gòu)已經(jīng)處于深入使用的加速階段。分布式數(shù)據(jù)庫金融應(yīng)用建設(shè)階段見圖26。圖26圖業(yè)務(wù)場景指標(biāo)目前的分布式數(shù)據(jù)庫的金融應(yīng)用業(yè)務(wù)場景主要集中在聯(lián)機交易方面,其占比為53,其他兩類分別是批量處理和數(shù)據(jù)檢索類,占比分別為4和3。分布式數(shù)據(jù)庫金融應(yīng)用業(yè)務(wù)場景占比見圖27。圖27圖性能提升指標(biāo)分布式數(shù)據(jù)庫的優(yōu)勢在于可以將業(yè)務(wù)數(shù)據(jù)分布到多個節(jié)點進行存儲與計算通過采用存算分離的架構(gòu)極大地提高數(shù)據(jù)庫的整體處理能力對于業(yè)務(wù)系統(tǒng)而言采用分布式數(shù)據(jù)庫的效果主要體現(xiàn)在響應(yīng)時間縮短事務(wù)處理能力升等方面。從實際的調(diào)查結(jié)果來看采用分布式數(shù)據(jù)庫后性能提升的幅度與業(yè)務(wù)系統(tǒng)的規(guī)模與業(yè)務(wù)量相關(guān)對于業(yè)務(wù)量較小的系統(tǒng),性能提升不明顯,提升指標(biāo)基本維持在80-10的區(qū)間對于業(yè)務(wù)量較大的系統(tǒng)性能提升較為明顯以某大型銀行金融業(yè)務(wù)系統(tǒng)為例其響應(yīng)時間在使用分布式數(shù)據(jù)庫后,提升了約10-200,TPS(每秒執(zhí)行事務(wù)數(shù))達到12萬,同時隨著數(shù)據(jù)量增長至12TB,整體性能提升達到200以上。金融機構(gòu)采用分布式數(shù)據(jù)庫后,約50的業(yè)務(wù)系統(tǒng)性能基本維持不變這是因為分布式數(shù)據(jù)庫在金融機構(gòu)大多是從業(yè)務(wù)量相對較小的管理類業(yè)務(wù)開始試點的后續(xù)將隨著分布式數(shù)據(jù)庫逐步應(yīng)用到核心等金融交易類業(yè)務(wù)場景后性能提升占比指標(biāo)將逐步提高。性能提升指標(biāo)見圖2。數(shù)據(jù)量指

圖28圖根據(jù)調(diào)查結(jié)果目前金融機構(gòu)采用分布式數(shù)據(jù)庫的業(yè)務(wù)系統(tǒng)業(yè)務(wù)數(shù)據(jù)量統(tǒng)計占比可以看出分布式數(shù)據(jù)庫更多應(yīng)用在數(shù)據(jù)量較大的業(yè)務(wù)系統(tǒng)上。業(yè)務(wù)數(shù)據(jù)量統(tǒng)計見圖2。圖29圖改造時長指標(biāo)由傳統(tǒng)集中式數(shù)據(jù)庫改造為分布式數(shù)據(jù)庫其改造所需的時間主要體現(xiàn)在分布式數(shù)據(jù)庫架構(gòu)設(shè)計與安裝部署異構(gòu)數(shù)據(jù)庫語法改造與適配業(yè)務(wù)數(shù)據(jù)的遷移與驗證等方面除去立項簽署合同等非技術(shù)因素一個業(yè)務(wù)系統(tǒng)由傳統(tǒng)集中式數(shù)據(jù)庫改造為分布式數(shù)據(jù)庫所需的改造時長一般在兩年內(nèi)完成其中大部分系統(tǒng)改造集中在5個月內(nèi)完成改造時長統(tǒng)計如圖30所示。經(jīng)濟效益指

圖30圖金融機構(gòu)傳統(tǒng)集中式數(shù)據(jù)庫大多運行在價格高昂的大型機小型機及企業(yè)級存儲上而分布式數(shù)據(jù)庫只需要運行在價格相對較低的X8ARM等架構(gòu)的PC服務(wù)器上且分布式數(shù)據(jù)庫的軟件費用相對國外集中式數(shù)據(jù)庫較低相關(guān)軟硬件維保費用也較低雖然因為分布式部署設(shè)備數(shù)量有所增加,但通過調(diào)查統(tǒng)計,總體的經(jīng)濟效益有所提升。調(diào)查顯示使用分布式數(shù)據(jù)庫改造后經(jīng)濟效益基本保持不變(80-120之間)的有50,有約三分之一的業(yè)務(wù)系統(tǒng)在經(jīng)過改造后經(jīng)濟效益提升兩倍以上經(jīng)濟效益提升情況如圖31所示。圖31圖五、分布式數(shù)據(jù)庫金融應(yīng)用的挑戰(zhàn)與應(yīng)對(一)金融應(yīng)用業(yè)務(wù)側(cè)應(yīng)用設(shè)計靈活性以銀行為例銀行信息系統(tǒng)架構(gòu)由應(yīng)用架構(gòu)數(shù)據(jù)架構(gòu),基礎(chǔ)架構(gòu)三部分組成。應(yīng)用架構(gòu)主要關(guān)注業(yè)務(wù)功能如何實現(xiàn)定義應(yīng)用與應(yīng)用系統(tǒng)及其交互集成關(guān)系數(shù)據(jù)架構(gòu)主要負責(zé)數(shù)據(jù)的全生命周期包括數(shù)據(jù)產(chǎn)生流轉(zhuǎn)整合應(yīng)用歸檔;基礎(chǔ)架構(gòu)就是計算、網(wǎng)絡(luò)存儲、基礎(chǔ)軟件災(zāi)備、安全等。銀行信息系統(tǒng)架構(gòu)如圖32所示。圖32構(gòu)該架構(gòu)的靈活性方面可能存在如下挑戰(zhàn)。復(fù)雜核心系統(tǒng)難管理和迭代現(xiàn)有架構(gòu)中所有業(yè)務(wù)流程均要走到核心的會計/賬務(wù)系統(tǒng),一旦核心系統(tǒng)崩潰,將導(dǎo)致銀行所有業(yè)務(wù)全部停業(yè)具體來看即是業(yè)務(wù)連續(xù)性差和可迭代性差。架構(gòu)缺乏彈性的系統(tǒng)設(shè)計目前大多金融應(yīng)用架構(gòu)很難應(yīng)對業(yè)務(wù)突發(fā)流量即不彈性例如在應(yīng)“網(wǎng)購日”業(yè)務(wù)的增長時,對網(wǎng)上銀行系統(tǒng)WB節(jié)點、AP節(jié)點進行擴容整個擴容過程需要經(jīng)過4個部門多個專業(yè)領(lǐng)域的人員相互配合,進行50個操作步驟,耗時數(shù)周才完成。系統(tǒng)建設(shè)周期過長現(xiàn)基“大集中的應(yīng)用設(shè)計方式,產(chǎn)品創(chuàng)新升級迭代需要經(jīng)歷“原系統(tǒng)改造”、“設(shè)計開發(fā)”“測試“試點“上線”等階段整個生命周期大概需要三個月到半年。應(yīng)用設(shè)計建議如下。金融業(yè)務(wù)可以通過分布式架構(gòu)動態(tài)擴容等技術(shù)應(yīng)對業(yè)務(wù)洪峰的來臨依靠天然“數(shù)據(jù)分散能力使得真正的業(yè)務(wù)雙活,甚至多活得以實現(xiàn),讓業(yè)務(wù)上線更平滑更快速。具體的應(yīng)用設(shè)計思路與流程可以做如下參考:金融核心系統(tǒng)由集中式走向分布式架構(gòu)的總體設(shè)計大致有兩個方面一方面是業(yè)務(wù)由外圍到核心逐步下移至開放平臺或開放分布式平臺直至完成分布式改造另一方面是建設(shè)雙核心在原來集中式核心基礎(chǔ)上將二三類賬戶獨立出來建設(shè)互聯(lián)網(wǎng)金融分布式核心系統(tǒng)就實施流程來看從集中式往分布式架構(gòu)演進可分為五個階段:API化改造,即核心業(yè)務(wù)進行API化改造,用AI網(wǎng)關(guān)替代傳統(tǒng)ESB,這個階段可以支持開放銀行部分業(yè)務(wù)卸載即啟“大核心小外圍策略將小部分業(yè)務(wù)卸載到開放平臺部分核心保留,即過渡“大核心大外圍狀態(tài)將少數(shù)業(yè)務(wù)(賬務(wù)存款等模塊保留在傳統(tǒng)核心其他業(yè)務(wù)系(賬務(wù)系統(tǒng)的查詢等都卸載到開放平臺雙軌并行“傳統(tǒng)核心“分布式新核心”雙軌并行(一般Ⅱ/Ⅲ類賬戶基于新核心,Ⅰ類賬戶保留在傳統(tǒng)核心全面核心升級即全部完成分布式新核心替換,ⅡⅢⅠ類等賬戶均在新核心。運維管理易用性目前國內(nèi)金融機構(gòu)面臨大量的運維人力成本和資源成本,有大量的遺留陳舊系統(tǒng)運維困難。挑戰(zhàn)如下。平臺自動化程度低傳統(tǒng)的銀行應(yīng)用系統(tǒng)及基礎(chǔ)設(shè)施平臺采用非云的部署方式各個應(yīng)用部門各自負責(zé)自身應(yīng)用的生命周期管理,各自采用不同的運維管理工具和技術(shù)棧,自動化程度依賴個人技術(shù)能力不同企業(yè)不同部門之間差異較大。架構(gòu)標(biāo)準化程度低。過于復(fù)雜的分層IT架構(gòu)讓整個系統(tǒng)分成了網(wǎng)絡(luò)傳輸層/存儲設(shè)備層/服務(wù)器層/操作系統(tǒng)層/數(shù)據(jù)庫層/中間件&運行庫/應(yīng)用軟件等。企業(yè)一般會從不同的供應(yīng)商分層采購不同的設(shè)備及軟件IT行業(yè)在標(biāo)準化還在起步階段導(dǎo)致不同廠家的異構(gòu)設(shè)備之間接口不同適配困難模型不統(tǒng)一沒有辦法使用一套通用的管理系統(tǒng)進行運維管理。設(shè)備管理操作復(fù)雜傳統(tǒng)的集中式架構(gòu)主要是以IO(即IBM、Orcle、EMC)三家廠商主導(dǎo)的信息系統(tǒng)架構(gòu)。隨著IB/Oace/MC在中國的市場空間逐步縮小相應(yīng)的人才獲取也更加困難有經(jīng)驗的人才更是稀缺導(dǎo)致系統(tǒng)的運維管理出現(xiàn)人員真空。建議如下。推薦采用本地化部署結(jié)合公/私有云共同管理的設(shè)計思路在核心業(yè)務(wù)系統(tǒng)采用業(yè)務(wù)本地化部署與分布式數(shù)據(jù)庫結(jié)合的方案在加強安全性可靠性也能讓應(yīng)用數(shù)據(jù)具有“物理集中邏輯隔離的特性在非核心業(yè)務(wù)系統(tǒng)可依托云服務(wù)提供商的云管能力,構(gòu)建多云一體化管理和IT服務(wù)平臺使多資源統(tǒng)一納管多地域統(tǒng)一權(quán)限多服務(wù)統(tǒng)一入口。實現(xiàn)銀行IT資源統(tǒng)一管理、靈活調(diào)度,支持應(yīng)用多活部署組件版本同步更新支撐業(yè)務(wù)跨區(qū)灰度發(fā)布充分發(fā)揮分布式計算功能快速建立統(tǒng)一運維人才培養(yǎng)體系滿足分布式架構(gòu)轉(zhuǎn)型建設(shè)需求。資源成本利用率金融機構(gòu)業(yè)務(wù)運轉(zhuǎn)所需要的各類資源需求相比各行業(yè)來說屬于較高的水平尤其是硬件資源但是目前的應(yīng)用經(jīng)過長“堆疊式建設(shè)在利用率上問題凸顯在資源成本利用方面金融應(yīng)用綜合建設(shè)成本較高面臨“復(fù)用困難”“成本高昂的雙重問題結(jié)合實踐情況來看采用資源共享是提升資源利用率的較優(yōu)方案。挑戰(zhàn)如下。“煙囪式”架構(gòu)利用率低、復(fù)用困難。傳統(tǒng)的IT系統(tǒng)采用靜態(tài)資源分配分散管理各分散的業(yè)務(wù)部門通常按照規(guī)劃的最大資源申請物理機虛擬機資源物理資源仍被私有化無法實現(xiàn)共享利用率低同時從銀行業(yè)務(wù)系統(tǒng)來看復(fù)雜的業(yè)務(wù)流程和架構(gòu)導(dǎo)致企業(yè)中應(yīng)用系統(tǒng)數(shù)據(jù)庫繁多且分散并且各個應(yīng)用之間的數(shù)據(jù)是隔離的無法完全共享。集中式架構(gòu)設(shè)備成本高昂基于IBM大型主機的銀行集中式系統(tǒng)總成本(購買+維護)遠超過基于x8/AM的分布式系統(tǒng)成本壓力愈發(fā)明顯在存量博弈時代銀行業(yè)競爭加劇,更低的IT維護投入帶來更強的成本優(yōu)勢和更大的創(chuàng)新空間互聯(lián)網(wǎng)銀行的崛起進一步考驗傳統(tǒng)銀行的成本控制能力。硬件、軟件和數(shù)據(jù)資源共享建議如下。硬件資源共享。通過底層虛擬化/云化技術(shù),將硬件資源池化各應(yīng)用系統(tǒng)按需動態(tài)申請資源共享資源池采用跨CU架構(gòu)的云體系,最大程度利用原有本地服務(wù)器資源。軟件資源共享通過將應(yīng)用軟件微服務(wù)化組件化不同應(yīng)用之間共享相同的公共服務(wù),靈活安裝卸載功能組件,避免二次開發(fā)通過云化多租戶特性實現(xiàn)多用戶環(huán)境下共用相同的系統(tǒng)或程序組件,并且可確保各用戶間數(shù)據(jù)的隔離性。數(shù)據(jù)存儲共享首先采用分布式數(shù)據(jù)庫將業(yè)務(wù)的數(shù)據(jù)物理集中起來實現(xiàn)打破數(shù)據(jù)孤島的能力再設(shè)立數(shù)據(jù)標(biāo)準、進行數(shù)據(jù)立法采用統(tǒng)一的數(shù)據(jù)庫設(shè)計規(guī)范讓業(yè)務(wù)對數(shù)據(jù)的使用標(biāo)準化最后通過不同應(yīng)用之間或者不同數(shù)據(jù)處理系統(tǒng)之間數(shù)據(jù)流動同步實現(xiàn)數(shù)據(jù)源頭的統(tǒng)一數(shù)據(jù)一次加工,多次使用。數(shù)據(jù)庫設(shè)計合理性金融應(yīng)用在數(shù)據(jù)使用方式快速變化的沖擊下往往需要靈活調(diào)整其數(shù)據(jù)模型尤其是數(shù)據(jù)庫的設(shè)計方案但是調(diào)研得出應(yīng)用數(shù)據(jù)庫的設(shè)計并不能最好地發(fā)揮出數(shù)據(jù)庫管理系統(tǒng)軟件的能力。金融應(yīng)用在數(shù)據(jù)庫設(shè)計時不夠嚴密和謹慎,可能導(dǎo)致后期產(chǎn)生諸多問題例“應(yīng)用邏輯與數(shù)據(jù)庫綁定難運維開發(fā)“應(yīng)用雙寫方案欠缺導(dǎo)致遷移難“應(yīng)用設(shè)計前瞻性不足未能充分利用分布式產(chǎn)品能力”等。挑戰(zhàn)如下。應(yīng)用邏輯與數(shù)據(jù)庫耦合度過高由于歷史原因受限于早期的網(wǎng)絡(luò)帶寬和延時瓶頸應(yīng)用開發(fā)者往往選擇將業(yè)務(wù)邏輯下沉至數(shù)據(jù)庫端,以減少網(wǎng)絡(luò)反復(fù)開銷。但是有利有弊,此類方案在應(yīng)用開發(fā)采用大量存儲過程就導(dǎo)致難以拆解運維升級不同數(shù)據(jù)庫的存儲過程語法定義不同這給數(shù)據(jù)庫遷移帶來了極大的困難應(yīng)用遷移至新的分布式數(shù)據(jù)庫需要做大量的改造工作以工行為例某應(yīng)用存儲過程代碼上千萬行,即使通過遷移工具自動遷移90,仍有百萬級代碼需要人工遷移這些代碼往往比較陳舊已無人有能力維護改造。應(yīng)用標(biāo)準雙寫方案缺乏應(yīng)用雙寫是保障應(yīng)用與數(shù)據(jù)庫解耦的良好手段整個雙寫方案涉及數(shù)據(jù)庫并行回切監(jiān)控同步等多個技術(shù)點和策略同一個銀行不同應(yīng)用使用的方案都不一樣導(dǎo)致在數(shù)據(jù)庫遷移的過程中每個應(yīng)用都需要自行開發(fā)一套方案,沒有標(biāo)準化方案。數(shù)據(jù)庫設(shè)計未考慮分布式化分布式數(shù)據(jù)庫的數(shù)據(jù)存儲原理與傳統(tǒng)集中式數(shù)據(jù)庫原理不相同對于數(shù)據(jù)的使用高效性可能因為應(yīng)用側(cè)表設(shè)計不合理導(dǎo)致而降低所以需要針對應(yīng)用側(cè)的庫表進行分布式設(shè)計,例如熱點拆分和數(shù)據(jù)對齊。針對這種情況,建議如下。注重應(yīng)用邏輯設(shè)計的通用性對于未來有業(yè)務(wù)擴展性需求(敏態(tài)應(yīng)用應(yīng)用系統(tǒng)在設(shè)計業(yè)務(wù)邏輯的時候盡可能避免采用存儲過程等下沉業(yè)務(wù)邏輯至數(shù)據(jù)庫的技術(shù)并采用分布式設(shè)計思路改造對于未來沒有業(yè)務(wù)擴展需求(穩(wěn)態(tài)應(yīng)用保留原有存儲過程等下沉業(yè)務(wù)邏輯至數(shù)據(jù)庫的技術(shù)并通過完善自動化遷移工具的遷移效率降低應(yīng)用改造成本。設(shè)計應(yīng)用層雙寫方案在應(yīng)用側(cè)設(shè)計數(shù)據(jù)雙寫方案考慮可對數(shù)據(jù)庫更換的情況以避免出現(xiàn)部分數(shù)據(jù)庫無法完成數(shù)據(jù)同步的情況具體來看可以應(yīng)用側(cè)改造做雙寫表利用數(shù)據(jù)同步工具同步應(yīng)用相關(guān)參數(shù)表由于目標(biāo)庫的數(shù)據(jù)有延遲比對的數(shù)據(jù)以成功寫入目標(biāo)庫的部分為基準反向與源數(shù)據(jù)庫數(shù)據(jù)進行校驗。進行分布式數(shù)據(jù)庫設(shè)計分布式數(shù)據(jù)庫基于其數(shù)據(jù)物理分散的原理可以利用更多的物理資源提供數(shù)據(jù)服務(wù)但同時也需要更為嚴苛的網(wǎng)絡(luò)環(huán)境在此情況下數(shù)據(jù)的分布方式會直接關(guān)系到應(yīng)用的性能所以按業(yè)務(wù)數(shù)據(jù)使用特性選擇數(shù)據(jù)分布策略才能更好地利用分布式數(shù)據(jù)庫能力舉例來說一般分布式數(shù)據(jù)庫有兩種數(shù)據(jù)分布方式復(fù)制表方式將表中的全量數(shù)據(jù)在集群的每一個數(shù)據(jù)節(jié)點上保留一份,適用于小表維度表哈希表方式將表中某一個或幾個字段進行hah運算后,生成對應(yīng)的hah值,根據(jù)數(shù)據(jù)節(jié)點實例與哈希值的映射關(guān)系獲得該元組的目標(biāo)存儲位置適用于數(shù)據(jù)量較大的事實表。(二)分布式數(shù)據(jù)庫側(cè)分布式數(shù)據(jù)庫產(chǎn)業(yè)化時間較短不管是產(chǎn)品成熟度還是生態(tài)工具層面都還不太完善金融機構(gòu)在使用分布式數(shù)據(jù)庫的過程中也發(fā)現(xiàn)了較多不足性能和兼容性是金融機構(gòu)使用分布式數(shù)據(jù)庫時面臨的突出問題需要金融機構(gòu)與產(chǎn)業(yè)機構(gòu)通力合作通過實際應(yīng)用場景驗證打磨產(chǎn)品促使產(chǎn)品不斷成熟。產(chǎn)品高性能金融應(yīng)用數(shù)據(jù)庫是現(xiàn)代金融企業(yè)的業(yè)務(wù)基礎(chǔ)金融應(yīng)用數(shù)據(jù)庫復(fù)雜的數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)邏輯。目前金融機構(gòu)的分布式數(shù)據(jù)庫性能挑戰(zhàn)如下。系統(tǒng)復(fù)雜性增強金融應(yīng)用系統(tǒng)需要和同一個企業(yè)內(nèi)部的其他系統(tǒng)通信,易造成數(shù)據(jù)庫在復(fù)雜邏輯下的性能衰減。系統(tǒng)壓力增大區(qū)別于早期的金融業(yè)務(wù)目前的應(yīng)用系統(tǒng)有來自不同的數(shù)據(jù)使用方式通常需要支持大量并發(fā)用戶同時進行數(shù)據(jù)查詢和修改操作對數(shù)據(jù)庫并發(fā)處理能力要求較高。歷史數(shù)據(jù)遷移開發(fā)新的系統(tǒng)時需要遷移已有的數(shù)據(jù),由于數(shù)據(jù)轉(zhuǎn)換規(guī)則復(fù)雜、數(shù)據(jù)量大,容易出現(xiàn)性能問題。數(shù)據(jù)資源爭用由于應(yīng)用程序代碼沒有很好利用底層數(shù)據(jù)庫的功能導(dǎo)致多用戶并發(fā)訪問系統(tǒng)時對共享的資源成過度的競爭,致使系統(tǒng)性能受到嚴重的限制。以上的客觀問題會導(dǎo)致分布式數(shù)據(jù)庫的研發(fā)存在很多的挑戰(zhàn),具體來看有如下幾個方面:物理資源利用不充分現(xiàn)在金融業(yè)分布式數(shù)據(jù)庫架構(gòu)設(shè)計大多沿用成熟開源/閉源代碼進行迭代。受限于數(shù)據(jù)庫穩(wěn)定性考量,底層物理資源調(diào)度模塊大多沒有進行重做或改造,所以在對多核芯片和新型網(wǎng)絡(luò)設(shè)備使用上還不足。內(nèi)核調(diào)度設(shè)計過于陳舊。以PotgeSL為例,早期設(shè)計考慮如今大數(shù)據(jù)壓力采用多進程調(diào)度方式設(shè)計會帶來性能不足。數(shù)據(jù)庫中間件臃腫在分布式數(shù)據(jù)庫設(shè)計中采用中間件來對數(shù)據(jù)庫實例進行調(diào)度的方案如果考慮不完備會在業(yè)務(wù)復(fù)雜性較強的情況下導(dǎo)致中間件壓力增大從而引起性能惡化。從數(shù)據(jù)庫產(chǎn)品角度建議如下。加大對真實場景的研究提升最佳實踐能力將數(shù)據(jù)庫特性更精確地轉(zhuǎn)化為業(yè)務(wù)性能對數(shù)據(jù)庫底層框架需要更多的自主設(shè)計和原創(chuàng)性設(shè)計從架構(gòu)設(shè)計之初就需要考慮到如今和未來的大數(shù)據(jù)大壓力情況下的高效應(yīng)用同時也需要提升對如NME磁盤RMA網(wǎng)絡(luò)NUA架構(gòu)芯片的支持將更先進的硬件充分利用起來完成應(yīng)用的性能需求。采用方案進行性能優(yōu)化例如減少磁盤訪問通過創(chuàng)建并使用正確的數(shù)據(jù)庫索引和優(yōu)化SQL路徑來減少直接的堆數(shù)據(jù)磁盤訪問減少內(nèi)部網(wǎng)絡(luò)傳輸采用數(shù)據(jù)分頁精簡字段和算子下推等數(shù)據(jù)庫優(yōu)化方式降低網(wǎng)絡(luò)開銷提升分布式數(shù)據(jù)庫網(wǎng)絡(luò)利用率,從而加速性能。減少外部網(wǎng)絡(luò)吞吐。通過預(yù)處理批處理存儲過程結(jié)果集游標(biāo)等方案將業(yè)務(wù)邏輯后推至數(shù)據(jù)庫端減少大量數(shù)據(jù)吞吐從而加速性能。減少CPU資源消耗。業(yè)務(wù)層設(shè)計時綁定變量方式參數(shù)傳遞、減少不必要排序減少比較算子來降低數(shù)據(jù)庫算力浪費通過NMA綁核等減少跨核跨處理器競爭編譯執(zhí)(LL,從解釋執(zhí)行向編譯執(zhí)行轉(zhuǎn)變來降低CPU中斷頻繁引起的性能下降。數(shù)據(jù)安全性數(shù)字經(jīng)濟時代數(shù)據(jù)的價值得到了普遍認可中央也將“數(shù)據(jù)作為五大生產(chǎn)要素之一寫入文件金融業(yè)所擁有的包含個人可識別信息及賬戶資金狀況的數(shù)據(jù)關(guān)鍵且重要如有泄露會造成巨大損失同時隨著計算機網(wǎng)絡(luò)技術(shù)的高速發(fā)展和金融電子化的逐漸深入越來越多的銀行業(yè)務(wù)系統(tǒng)通過網(wǎng)絡(luò)將數(shù)據(jù)集中起來利用功能強大的數(shù)據(jù)庫來存儲和管理業(yè)務(wù)數(shù)據(jù)客戶資料等重要的金融信息因此金融數(shù)據(jù)庫的安全已成為金融計算機信息系統(tǒng)安全的關(guān)鍵。常見的數(shù)據(jù)庫安全問題如下。敏感數(shù)據(jù)的共享安全問題對敏感數(shù)據(jù)使用范疇定位不清晰,導(dǎo)致敏感數(shù)據(jù)泄露;違規(guī)操作造成的數(shù)據(jù)泄露和非法篡改風(fēng)險黑客或犯罪分子在用戶存取數(shù)據(jù)庫時盜用用戶名和用戶口令假冒合法用戶偷取、修改甚至破壞數(shù)據(jù);安全事件難以定責(zé)與取證出現(xiàn)安全事件后如何留取證,如何定責(zé)以防止后續(xù)安全事件發(fā)生;脆弱的用戶賬號設(shè)置如果密碼相對簡單或不進行定時修改,黑客或犯罪分子會更容易破解數(shù)據(jù)庫;粗粒度的數(shù)據(jù)庫存取控制對數(shù)據(jù)庫的存取控制應(yīng)以更細粒度操控否則將會傾向于給應(yīng)用超過其需求的權(quán)限造成使用風(fēng)險;密碼以明文方式存儲。數(shù)據(jù)庫方面的安全漏洞建議如下。對數(shù)據(jù)庫提供商來說除了依賴數(shù)據(jù)庫外部的安全防護手段以外在數(shù)據(jù)庫內(nèi)核中也需要設(shè)計更高維度的安全防護手段,包括但不限于采用國密SM體系及更嚴格的標(biāo)準來設(shè)計數(shù)據(jù)加密體系提供強制訪問策略對用戶和實體進行權(quán)限設(shè)計設(shè)計黑白名單管理讓用戶能在數(shù)據(jù)庫訪問側(cè)屏蔽非授信訪問定義更嚴密的口令系統(tǒng)提供多維混合加密的默認選擇甚至提供硬件加密接口等引入隱私計算區(qū)塊鏈等前沿安全技術(shù)對數(shù)據(jù)文件進行加密定期同步數(shù)據(jù)庫安全補丁等等。對數(shù)據(jù)庫使用者來說也可以采取一定方案提升數(shù)據(jù)庫安全等級包括但不限于采用嚴格的身份認證提升數(shù)據(jù)庫防攻擊能力包括但不限于使用更復(fù)雜的口令采用電子令牌和數(shù)字證書等使用更細致的數(shù)據(jù)訪問控制解決敏感數(shù)據(jù)“物理集中邏輯隔離的難點包括但不限于將控制權(quán)與訪問權(quán)分離對行級數(shù)據(jù)進行訪問控制提升數(shù)據(jù)保密性緩解數(shù)據(jù)泄露和篡改問題包括但不限于選擇更合理的選擇加密字段安全高效的加密算法對密鑰的妥善管理對動態(tài)數(shù)據(jù)脫敏以及全密態(tài)數(shù)據(jù)庫等值查詢等加強審計追蹤和漏洞掃描解決事件發(fā)生后追責(zé)問題包括但不限于啟用系統(tǒng)使用審核和用戶操作審核。加強數(shù)據(jù)庫狀態(tài)監(jiān)控以預(yù)警安全事件。架構(gòu)可用性沒有任何一個單一的系統(tǒng)可以保證長期無差錯的平穩(wěn)運行但是在金融這樣一個特

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論