實(shí)時(shí)關(guān)鍵業(yè)務(wù)場(chǎng)景快速增長(zhǎng)我們需要什么樣的數(shù)據(jù)平臺(tái)來(lái)支持

經(jīng)過(guò)多年的數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè),企業(yè)已經(jīng)完成從"有數(shù)"到"用數(shù)"的過(guò)渡,數(shù)據(jù)驅(qū)動(dòng)成為常態(tài)。進(jìn)一步,面對(duì)激烈的市場(chǎng)競(jìng)爭(zhēng)和快速變化的客戶(hù)需求,如何提高"用數(shù)"效率,以實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的數(shù)據(jù)處理速度進(jìn)行決策、開(kāi)展服務(wù)以及優(yōu)化運(yùn)營(yíng),正成為企業(yè)獲取競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵,催生實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景快速增長(zhǎng)。面對(duì)日益增長(zhǎng)的實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景,傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)集成解決方案如點(diǎn)到點(diǎn)實(shí)時(shí)同步、ESB企業(yè)總線、kafka消息隊(duì)列等均存在各種局限性,促使新一代實(shí)時(shí)數(shù)據(jù)集成解決方案應(yīng)運(yùn)而生。本文將重點(diǎn)闡述實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景的定義、增長(zhǎng)驅(qū)動(dòng)因素,并通過(guò)多種實(shí)時(shí)數(shù)據(jù)集成解決方案的對(duì)比,闡釋新一代實(shí)時(shí)數(shù)據(jù)集成解決方案為什么代表著未來(lái)發(fā)展趨勢(shì)。01實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景的定義實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景指企業(yè)在經(jīng)營(yíng)過(guò)程中,對(duì)新數(shù)據(jù)進(jìn)行實(shí)時(shí)傳輸、處理、分析、查詢(xún)和響應(yīng)的業(yè)務(wù)場(chǎng)景,支持實(shí)時(shí)決策和實(shí)時(shí)操作。其中實(shí)時(shí)指的是從數(shù)據(jù)產(chǎn)生端到消費(fèi)端跨系統(tǒng)傳輸或處理過(guò)程實(shí)現(xiàn)毫秒或秒級(jí)延遲。圖1:實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景分類(lèi)示意圖按照消費(fèi)端的數(shù)據(jù)處理模式,實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景包含TP場(chǎng)景下的實(shí)時(shí)交互型業(yè)務(wù)場(chǎng)景和AP場(chǎng)景下的實(shí)時(shí)運(yùn)營(yíng)分析場(chǎng)景。TP場(chǎng)景下的實(shí)時(shí)交互型業(yè)務(wù)場(chǎng)景實(shí)時(shí)交互型業(yè)務(wù)場(chǎng)景指消費(fèi)端的應(yīng)用程序需要跨系統(tǒng)實(shí)時(shí)查詢(xún)生產(chǎn)端系統(tǒng)信息的場(chǎng)景,如統(tǒng)一訂單中心、實(shí)時(shí)風(fēng)控、CDP平臺(tái)等。這些場(chǎng)景是企業(yè)的關(guān)鍵任務(wù),對(duì)于保障企業(yè)正常經(jīng)營(yíng)有決定性影響,一旦出現(xiàn)延遲或數(shù)據(jù)錯(cuò)誤將導(dǎo)致嚴(yán)重的經(jīng)營(yíng)事故,因此對(duì)數(shù)據(jù)時(shí)效性和數(shù)據(jù)準(zhǔn)確需要強(qiáng)調(diào)的是,與傳統(tǒng)基于oracle數(shù)據(jù)庫(kù)實(shí)現(xiàn)的TP場(chǎng)景不同,實(shí)時(shí)交互型業(yè)務(wù)場(chǎng)景往往涉及異構(gòu)的數(shù)據(jù)源,需要解決源系統(tǒng)和目標(biāo)系統(tǒng)之間跨系統(tǒng)的數(shù)據(jù)一致性,數(shù)據(jù)傳輸處理和集成等問(wèn)題。而傳統(tǒng)的OLTP場(chǎng)景雖然也強(qiáng)調(diào)實(shí)時(shí)響應(yīng),但在單一oracle數(shù)據(jù)庫(kù)中實(shí)現(xiàn)數(shù)據(jù)集成、完成業(yè)務(wù)的事務(wù)性操作以及保障數(shù)據(jù)一致性,其技術(shù)實(shí)現(xiàn)的路徑和復(fù)雜度與實(shí)時(shí)交互型業(yè)務(wù)場(chǎng)景截然不同。AP場(chǎng)景下的實(shí)時(shí)運(yùn)營(yíng)分析場(chǎng)景實(shí)時(shí)運(yùn)營(yíng)分析場(chǎng)景需指融合業(yè)務(wù)最新數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行實(shí)時(shí)復(fù)雜分析的場(chǎng)景,如實(shí)時(shí)BIl、實(shí)時(shí)數(shù)據(jù)分析、實(shí)時(shí)決策等,在客戶(hù)體驗(yàn)改善、生產(chǎn)效率提升、個(gè)性化產(chǎn)品和服務(wù)推薦等方面表1:實(shí)時(shí)相關(guān)概念對(duì)比02內(nèi)外部環(huán)境因素驅(qū)動(dòng)實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景快速增加歷史It建設(shè)遺留的數(shù)據(jù)孤島使跨系統(tǒng)數(shù)據(jù)集成成為數(shù)據(jù)利用常態(tài),面向未來(lái)競(jìng)爭(zhēng)的數(shù)據(jù)能力建設(shè)需求驅(qū)動(dòng)跨系統(tǒng)的實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景快速增加。2.1歷史It建設(shè)形成數(shù)據(jù)孤島,數(shù)據(jù)集成成企業(yè)用數(shù)必要步驟企業(yè)在歷史的It建設(shè)過(guò)程中,為滿(mǎn)足各業(yè)務(wù)管理需求,搭建起諸如CRMERP、財(cái)務(wù)、人力、供應(yīng)鏈等多種系統(tǒng)。由于建設(shè)的時(shí)期較早,這些系統(tǒng)多為應(yīng)用程序和數(shù)據(jù)庫(kù)緊密耦合的單體式架構(gòu),系統(tǒng)相互之間各自獨(dú)立、無(wú)法聯(lián)通,形成企業(yè)數(shù)據(jù)孤島。據(jù)不完全統(tǒng)計(jì),大型企業(yè)的業(yè)務(wù)系統(tǒng)平均數(shù)量為315套,中小型企業(yè)的業(yè)務(wù)系統(tǒng)數(shù)量為52套。數(shù)據(jù)孤島使得跨系統(tǒng)的數(shù)據(jù)消費(fèi)成為常態(tài),數(shù)據(jù)集成成為企業(yè)用數(shù)首先要解決的問(wèn)題。外部市場(chǎng)和客戶(hù)變化,以及內(nèi)部企業(yè)對(duì)經(jīng)營(yíng)效率、客戶(hù)體驗(yàn)的提升訴求,共同驅(qū)動(dòng)企業(yè)實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景快速增加。一方面,企業(yè)業(yè)務(wù)模式創(chuàng)新以及運(yùn)營(yíng)秩序的維系驅(qū)動(dòng)實(shí)時(shí)交互型業(yè)務(wù)場(chǎng)景快速增加。如高速發(fā)展中的企業(yè)往往通過(guò)創(chuàng)新業(yè)務(wù)形態(tài)增加營(yíng)收。企業(yè)在拓展新業(yè)務(wù)形態(tài)時(shí)型事務(wù)操作場(chǎng)景。某知識(shí)付費(fèi)平臺(tái)在核心課程基礎(chǔ)上增加讀書(shū)、聽(tīng)書(shū)等新業(yè)態(tài),由于用戶(hù)的會(huì)員界面中需要實(shí)時(shí)呈現(xiàn)課程、讀書(shū)、聽(tīng)書(shū)等業(yè)態(tài)權(quán)益,該平臺(tái)需要為新業(yè)態(tài)開(kāi)發(fā)實(shí)時(shí)交互數(shù)據(jù)對(duì)于存量競(jìng)爭(zhēng)下開(kāi)展精益管理的企業(yè),整合企業(yè)多系統(tǒng)內(nèi)的商品、客戶(hù)、庫(kù)存等核心信息,持續(xù)開(kāi)發(fā)交互式業(yè)務(wù)應(yīng)用,對(duì)于維持業(yè)務(wù)正常運(yùn)轉(zhuǎn)非常重要。如對(duì)于多品牌大型零售企業(yè),統(tǒng)一庫(kù)存查詢(xún)能實(shí)時(shí)展示商品數(shù)量,滿(mǎn)足企業(yè)內(nèi)外部用戶(hù)即時(shí)商品查詢(xún)需求,保障一線員工正常開(kāi)展銷(xiāo)售和服務(wù)活動(dòng),避免因商品信息錯(cuò)誤丟失商機(jī)。另一方面,對(duì)整體運(yùn)營(yíng)效率的持續(xù)提升和客戶(hù)體驗(yàn)的持續(xù)改善推動(dòng)企業(yè)實(shí)時(shí)運(yùn)營(yíng)分析場(chǎng)景快速以金融行業(yè)信用卡交易的反欺詐場(chǎng)景為例,在信用卡發(fā)生交易的第一時(shí)間,銀行會(huì)融合近期的交易時(shí)間、地理位置、交易金額等多維信息,實(shí)時(shí)監(jiān)控交易行為,一旦識(shí)別出異常模式立即觸發(fā)警報(bào),在秒級(jí)內(nèi)中止交易,保證交易安全性。又如制造業(yè)生產(chǎn)線中的實(shí)時(shí)監(jiān)控能對(duì)產(chǎn)品質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)測(cè),對(duì)于生產(chǎn)中的異常狀態(tài)進(jìn)行及時(shí)提醒甚至停止產(chǎn)線,能提升生產(chǎn)效率、降低潛在損失。03傳統(tǒng)數(shù)據(jù)集成解決方案弊端漸顯,TapData定義新一代實(shí)時(shí)數(shù)據(jù)集成平臺(tái)3.1實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)解決方案的技術(shù)難點(diǎn)圖2:實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)解決方案的技術(shù)難點(diǎn)面對(duì)以上快速增長(zhǎng)的TP、AP實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景,愛(ài)分析認(rèn)為一個(gè)完善的實(shí)時(shí)數(shù)據(jù)解決方案應(yīng)實(shí)現(xiàn)跨系統(tǒng)的實(shí)時(shí)數(shù)據(jù)集成,并解決兩個(gè)技術(shù)難點(diǎn)和一個(gè)開(kāi)發(fā)運(yùn)維難點(diǎn):標(biāo)系統(tǒng)都可能涉及數(shù)據(jù)庫(kù)表數(shù)據(jù)和消息隊(duì)列流數(shù)據(jù),因此解決方案應(yīng)同時(shí)具備表到流以及流到表的轉(zhuǎn)換技術(shù)。效率的優(yōu)化方式,對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)計(jì)算才能保證實(shí)時(shí)運(yùn)營(yíng)分析場(chǎng)景的高時(shí)效性。實(shí)時(shí)運(yùn)營(yíng)分析的預(yù)計(jì)算的困難在于如何在實(shí)時(shí)數(shù)據(jù)采集、在數(shù)據(jù)每秒數(shù)百數(shù)千次更新的情況下,基于原始數(shù)據(jù)構(gòu)建新的業(yè)務(wù)模型,完成實(shí)時(shí)預(yù)計(jì)算過(guò)程。3.2傳統(tǒng)數(shù)據(jù)集成解決方案的局限性目前市場(chǎng)中實(shí)現(xiàn)數(shù)據(jù)集成的方式包括批量集成和實(shí)時(shí)集成。典型的批量集成解決方案如大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái),雖然解決了數(shù)據(jù)孤島問(wèn)題,但時(shí)效性難以滿(mǎn)足實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)場(chǎng)景需求,不贅當(dāng)前主流的實(shí)時(shí)數(shù)據(jù)集成方案包括點(diǎn)到點(diǎn)數(shù)據(jù)同步、ESB企業(yè)總線和kafka消息隊(duì)列,這三種方案代表了實(shí)時(shí)數(shù)據(jù)集成方案的迭代歷程,但在解決實(shí)時(shí)業(yè)務(wù)場(chǎng)景技術(shù)難點(diǎn)、控制運(yùn)維成本方面均存在不同程度的局限性。相較主流實(shí)時(shí)數(shù)據(jù)集成方案,愛(ài)分析觀察到,市場(chǎng)中已經(jīng)出現(xiàn)更為前沿的實(shí)時(shí)數(shù)據(jù)集成解決方題,其低代碼簡(jiǎn)單易用、中央化數(shù)據(jù)資產(chǎn)復(fù)用的特征更是受到市場(chǎng)廣泛認(rèn)可,代表著新一代實(shí)時(shí)數(shù)據(jù)平臺(tái)演進(jìn)方向。點(diǎn)到點(diǎn)實(shí)時(shí)數(shù)據(jù)同步點(diǎn)到點(diǎn)實(shí)時(shí)數(shù)據(jù)同步是最簡(jiǎn)單、直接的實(shí)時(shí)數(shù)據(jù)集成方式,可實(shí)現(xiàn)數(shù)據(jù)一對(duì)一的從源系統(tǒng)到目標(biāo)系統(tǒng)的數(shù)據(jù)同步。但擴(kuò)展性弱,開(kāi)發(fā)運(yùn)維成本高,每增加一個(gè)系統(tǒng)需要配置新的連接,系統(tǒng)之間強(qiáng)依賴(lài)緊耦合。隨著系統(tǒng)數(shù)量的增加,數(shù)據(jù)鏈路的數(shù)量和復(fù)雜性呈指數(shù)增長(zhǎng),且缺乏系統(tǒng)管理中心,導(dǎo)致系統(tǒng)維護(hù)和運(yùn)維非常困難。在多源數(shù)據(jù)輸入時(shí),點(diǎn)到點(diǎn)數(shù)據(jù)同步存在處理數(shù)據(jù)沖突和一致性問(wèn)題,無(wú)預(yù)計(jì)算能力。ESB企業(yè)服務(wù)總線ESB企業(yè)服務(wù)總線提供了一種中心化的、松耦合的軟件架構(gòu)模式,支持不同應(yīng)用程序之間的實(shí)時(shí)數(shù)據(jù)集成和交換,具備高度的靈活性和可擴(kuò)展性。ESB支持復(fù)雜的事務(wù)管理和協(xié)調(diào),雖然提供了集中化管理工具對(duì)流程和服務(wù)健康進(jìn)行實(shí)時(shí)監(jiān)測(cè),但整體的學(xué)習(xí)成本高昂,要求開(kāi)發(fā)人員具備極強(qiáng)的專(zhuān)業(yè)性,對(duì)消息路由、轉(zhuǎn)換、事務(wù)管理、安全性、以及不同系統(tǒng)之間的兼容、性能調(diào)優(yōu)等多方面進(jìn)行配置和管理。ESB中心化的處理架構(gòu)在大規(guī)模的并發(fā)請(qǐng)求時(shí)性能受限,延遲較高,且商業(yè)化成本高昂,在互kafka消息隊(duì)列kafka是一個(gè)開(kāi)源免費(fèi)的分布式消息隊(duì)列系統(tǒng),能夠提供高吞吐量和低延遲的實(shí)時(shí)數(shù)據(jù)傳輸和集成,并且其本身具有高可用性、可擴(kuò)展性、高效查詢(xún)、高并發(fā)寫(xiě)入、支持事件驅(qū)動(dòng)架構(gòu)等特征,是企業(yè)構(gòu)建實(shí)時(shí)數(shù)據(jù)管道的最常用的工具。kafka引進(jìn)成本低,但對(duì)開(kāi)發(fā)人員專(zhuān)業(yè)能力要求非常高,后續(xù)的開(kāi)發(fā)運(yùn)維的復(fù)雜性和成本將隨企業(yè)實(shí)時(shí)應(yīng)用數(shù)量的增加而顯著增長(zhǎng)。一方面,kafka不支持分布式事務(wù),分布式架構(gòu)下,企一方面,從實(shí)時(shí)數(shù)據(jù)全鏈路來(lái)看,kafka僅是一個(gè)中間件,除kafka外,上游業(yè)務(wù)系統(tǒng)對(duì)kafka的事件推送,下游數(shù)據(jù)消費(fèi)者對(duì)kafka的事件提取等工作,仍需要企業(yè)承擔(dān)。此外,游業(yè)務(wù)系統(tǒng)中數(shù)據(jù)屬性變化、下游數(shù)據(jù)應(yīng)用的差異化數(shù)據(jù)需求,都將帶來(lái)從業(yè)務(wù)系統(tǒng)到消費(fèi)應(yīng)用建法創(chuàng)建,其核心團(tuán)隊(duì)對(duì)各類(lèi)數(shù)據(jù)庫(kù)內(nèi)存、事務(wù)實(shí)現(xiàn)、日志格式等底層技術(shù)實(shí)現(xiàn)具備豐富經(jīng)年研發(fā),2022年,TapData率先在業(yè)內(nèi)推出可解決數(shù)據(jù)孤島的、同時(shí)支持TP和AP實(shí)時(shí)數(shù)平臺(tái),具有多架構(gòu)支持、低代碼開(kāi)發(fā)、全鏈路實(shí)時(shí)等特點(diǎn)。圖3:TapDataLDP平臺(tái)架構(gòu)和場(chǎng)景示意圖數(shù)據(jù)采集層:LDP支持豐富的數(shù)據(jù)源類(lèi)型,包括主流的開(kāi)源數(shù)據(jù)庫(kù)、國(guó)產(chǎn)信創(chuàng)、離線文件、業(yè)務(wù)應(yīng)用API、湖倉(cāng)等。通過(guò)CDC實(shí)時(shí)采集源系統(tǒng)數(shù)據(jù)變化,進(jìn)入流處理框架。的數(shù)據(jù)模型,建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),支持下游按需取用。服務(wù)層:服務(wù)層支持pull和push兩種服務(wù)模式,支持低代碼發(fā)布API。也支持REVERSEETL反向把經(jīng)過(guò)整理的數(shù)據(jù)推送給下游。低開(kāi)發(fā)運(yùn)維成本。場(chǎng)景一:實(shí)時(shí)采集CDC機(jī)制實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)的實(shí)時(shí)數(shù)據(jù)同步這是最簡(jiǎn)單的實(shí)時(shí)數(shù)據(jù)同步場(chǎng)景。CDC機(jī)制能對(duì)數(shù)據(jù)庫(kù)日志文件進(jìn)行解析,將數(shù)據(jù)變化標(biāo)準(zhǔn)化成事件流后進(jìn)入流處理框架加工,加工后的數(shù)據(jù)通過(guò)目標(biāo)連接器寫(xiě)入目標(biāo)數(shù)據(jù)庫(kù)或應(yīng)用。整持將源系統(tǒng)的表數(shù)據(jù)變成流以push模式推送給kafka或是對(duì)接應(yīng)用業(yè)務(wù)流程,適應(yīng)時(shí)效性要求高的TP型場(chǎng)景,也支持將流數(shù)據(jù)轉(zhuǎn)化成表,推送給各種數(shù)據(jù)庫(kù)供AP場(chǎng)景使用。場(chǎng)景二:實(shí)時(shí)數(shù)據(jù)處理+中央化存儲(chǔ)支撐實(shí)現(xiàn)實(shí)時(shí)運(yùn)營(yíng)分析場(chǎng)景針對(duì)企業(yè)用戶(hù)更高級(jí)、更復(fù)雜的實(shí)時(shí)運(yùn)營(yíng)分析場(chǎng)景,在采集源系統(tǒng)數(shù)據(jù)進(jìn)入流處理模塊后,享挖掘等高級(jí)數(shù)據(jù)處理操作,可無(wú)代碼完成實(shí)時(shí)數(shù)據(jù)的預(yù)處理。計(jì)算后的結(jié)果存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中,供實(shí)時(shí)Bl、實(shí)時(shí)駕駛艙、實(shí)時(shí)決策等場(chǎng)景以pull數(shù)據(jù)服務(wù)模式使用。場(chǎng)景三:實(shí)時(shí)數(shù)據(jù)處理+中央化存儲(chǔ)+數(shù)據(jù)服務(wù)支撐實(shí)現(xiàn)實(shí)時(shí)交互型業(yè)務(wù)場(chǎng)景為下游交互型應(yīng)用提供實(shí)時(shí)數(shù)據(jù)服務(wù),實(shí)現(xiàn)數(shù)據(jù)查詢(xún)的實(shí)時(shí)更新。周為單位縮短到分鐘級(jí)。對(duì)于實(shí)時(shí)數(shù)據(jù)的采集,在LDPCDC機(jī)制下,用戶(hù)只需提供源庫(kù)賬LDP提供零代碼界面,用戶(hù)可通過(guò)拖拽完成任務(wù)編排,極大降低了同步任務(wù)流定義的復(fù)雜度。在數(shù)據(jù)服務(wù)環(huán)節(jié),LDP支持無(wú)代碼快速發(fā)布APII.04某銀行通過(guò)TapData升級(jí)實(shí)時(shí)數(shù)據(jù)交換平臺(tái)汽、中芯國(guó)際、周生生、富邦銀行等數(shù)十家行業(yè)標(biāo)桿企業(yè),實(shí)時(shí)數(shù)據(jù)交換平臺(tái)的變革性?xún)r(jià)值廣受企業(yè)認(rèn)同。某銀行針對(duì)業(yè)務(wù)數(shù)據(jù)庫(kù)種類(lèi)多、數(shù)據(jù)量級(jí)大的特點(diǎn),基于開(kāi)源的云原生的kafka解決方案自主研發(fā)了實(shí)時(shí)數(shù)據(jù)同步系統(tǒng),業(yè)務(wù)側(cè)的實(shí)時(shí)數(shù)據(jù)應(yīng)用均采用容器技術(shù)封裝、運(yùn)行,并自研了kafka管控平臺(tái),對(duì)集群進(jìn)行指標(biāo)監(jiān)控和運(yùn)維。目前該銀行主要面臨三個(gè)挑戰(zhàn):實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)集中緩存,支持實(shí)時(shí)運(yùn)營(yíng)分析場(chǎng)景:該銀行實(shí)時(shí)運(yùn)營(yíng)監(jiān)控、客戶(hù)360視圖等場(chǎng)景對(duì)實(shí)時(shí)數(shù)據(jù)查詢(xún)需求增加,原系統(tǒng)在業(yè)務(wù)進(jìn)行實(shí)時(shí)數(shù)據(jù)查詢(xún)時(shí)以點(diǎn)到點(diǎn)的形式實(shí)現(xiàn),數(shù)據(jù)鏈路需重復(fù)開(kāi)發(fā),數(shù)據(jù)資產(chǎn)難以復(fù)用。為提高數(shù)據(jù)利用效率,該銀行希望實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)集中緩存,為下游提供表查詢(xún)服務(wù)。開(kāi)發(fā)維護(hù)成本高:由于云原生實(shí)時(shí)數(shù)據(jù)同步系統(tǒng)完全基于自主開(kāi)發(fā),所有實(shí)時(shí)數(shù)據(jù)同步鏈路的開(kāi)發(fā)、維護(hù)、監(jiān)控、運(yùn)維都需要IT團(tuán)隊(duì)完成,隨著下游業(yè)務(wù)側(cè)實(shí)時(shí)數(shù)據(jù)應(yīng)用數(shù)量的快速增長(zhǎng),開(kāi)發(fā)運(yùn)維的難度和成本均快速增長(zhǎng),且開(kāi)發(fā)周期長(zhǎng)難以滿(mǎn)足業(yè)務(wù)需求,該銀行需要尋求更需符合信創(chuàng)要求:信創(chuàng)背景下,銀行業(yè)數(shù)據(jù)庫(kù)國(guó)產(chǎn)化替換進(jìn)度加快,已經(jīng)進(jìn)入核心業(yè)務(wù)數(shù)據(jù)庫(kù)替換階段。該銀行在對(duì)傳統(tǒng)和互聯(lián)網(wǎng)核心業(yè)務(wù)數(shù)據(jù)庫(kù)替換時(shí),由于開(kāi)源的實(shí)時(shí)數(shù)據(jù)同步方案對(duì)國(guó)產(chǎn)化數(shù)據(jù)庫(kù)不支持,影響該銀行核心系統(tǒng)國(guó)產(chǎn)化改造進(jìn)程。在以上背景下,考慮到對(duì)云原生架構(gòu)的支持、對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的支持以及易用性等多方面因素,該銀行最終與TapData達(dá)成合作,采用本地部署"TapDataLiveDataplatform"方案對(duì)數(shù)據(jù)采集、消息同步到kafka兩部分架構(gòu)進(jìn)行替換,下游消費(fèi)側(cè)保持不動(dòng)。替換后的實(shí)時(shí)數(shù)據(jù)同步系統(tǒng)具有以下特點(diǎn):統(tǒng)一的實(shí)時(shí)數(shù)據(jù)資產(chǎn),以實(shí)時(shí)表的形式支持下游業(yè)務(wù)系統(tǒng)查詢(xún)。大幅度減少了實(shí)時(shí)數(shù)據(jù)管道建設(shè)的數(shù)量建實(shí)時(shí)鏈路,以及通過(guò)可視化運(yùn)維界面,實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)任務(wù)狀態(tài),以及進(jìn)行實(shí)時(shí)數(shù)據(jù)同步驗(yàn)等,無(wú)論是業(yè)務(wù)端用戶(hù)還是開(kāi)發(fā)運(yùn)維人員均能在既有系統(tǒng)中通過(guò)調(diào)用Apl完成實(shí)時(shí)數(shù)據(jù)同步,可復(fù)用性:一套基礎(chǔ)實(shí)時(shí)數(shù)據(jù)平臺(tái),支持多個(gè)實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)模式:實(shí)時(shí)同步與復(fù)制,實(shí)時(shí)分析數(shù)倉(cāng),實(shí)時(shí)數(shù)據(jù)服務(wù)等該銀行更新后的實(shí)時(shí)數(shù)據(jù)同步系統(tǒng),其簡(jiǎn)易的使用體驗(yàn)使得實(shí)時(shí)數(shù)據(jù)鏈路的開(kāi)發(fā)運(yùn)維不再依賴(lài)專(zhuān)業(yè)開(kāi)發(fā)人員,釋放人力,開(kāi)發(fā)人員能專(zhuān)注于業(yè)務(wù)賦能。更新后的實(shí)時(shí)數(shù)據(jù)鏈路開(kāi)發(fā)效率也得到大幅提升,開(kāi)發(fā)周期從1-2周