數(shù)據(jù)脫敏大數(shù)據(jù)架構設計

1、數(shù)據(jù)脫敏大數(shù)據(jù)架構設計紫金新聞發(fā)布于2019-03-28需求背景系統(tǒng)有數(shù)據(jù)識別、數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進行異構數(shù)據(jù)同步，大數(shù)據(jù)量。現(xiàn)在針對以下幾個需求進行講解1、支持冗余設計2、支持任務自動分發(fā)，支持自動負載均衡3、支持隨時擴容節(jié)點而無需關停原有的系統(tǒng)和業(yè)務架構和模塊架構圖謚取韻摳同歲曲務罌指版進戦數(shù)據(jù)同歩阪勞逗行培興握吿脫敏擴展性架構圖五核心模塊及其主要功能調(diào)度平臺使用Nginx方式來調(diào)用數(shù)據(jù)中心，通過注冊中心獲取數(shù)據(jù)中心的服務列表可以合理的根據(jù)數(shù)據(jù)同步的情況，去調(diào)用服務；比如數(shù)據(jù)同步可能存在的順序性，執(zhí)行延時；讀取控制臺DB的配置信息，定時執(zhí)行數(shù)據(jù)同步任務對數(shù)據(jù)同步的

2、調(diào)用，可以按照簡單的輪詢方式，也可以根據(jù)數(shù)據(jù)同步服務器的性能情況，進行負載均衡數(shù)據(jù)同步負責執(zhí)行數(shù)據(jù)庫異構數(shù)據(jù)同步任務，可支持增量，全量模式，用DataX框架來實現(xiàn)服務于調(diào)度平臺的調(diào)用會存儲數(shù)據(jù)同步的執(zhí)行結果，供控制臺進行展示會上報服務器的性能指標到數(shù)據(jù)同步DB，以供調(diào)度平臺參考控制臺配置管理界面，服務于用戶進行數(shù)據(jù)同步任務的配置信息，并存儲到控制臺DB中；數(shù)據(jù)識別負責針對數(shù)據(jù)庫的數(shù)據(jù)進行數(shù)據(jù)識別任務數(shù)據(jù)脫敏按照內(nèi)置規(guī)則、自定義配置，負責脫敏數(shù)據(jù)可提前進行數(shù)據(jù)脫敏，以供數(shù)據(jù)同步轉換環(huán)節(jié)調(diào)用三個輔助服務發(fā)現(xiàn)模塊注冊中心用于服務發(fā)現(xiàn)和注冊數(shù)據(jù)同步注冊實例并定期報心跳可以用zookeerper來實現(xiàn)調(diào)

3、度平臺通過域名訪問注冊中心獲取數(shù)據(jù)同步的地址列表Nginx和域名系統(tǒng)配合，協(xié)助調(diào)度平臺訪問注冊中心獲取數(shù)據(jù)同步地址列表和域名系統(tǒng)配合，協(xié)助用戶訪問控制臺進行配置管理可用性分析高可用通過Nginx、注冊中心來實現(xiàn)，可以支持動態(tài)擴容。每個主要模塊都是以無狀態(tài)集群方式部署的，各自模塊都可以通過注冊中心來實現(xiàn)服務注冊，模塊之間的調(diào)用服務發(fā)現(xiàn)來獲取，并以域名方式實現(xiàn)?？紤]到擴展，所以設想的方案是盡可能的做到每個服務職責單一。這樣的拆分，也是考量到每個環(huán)節(jié)的瓶頸都不一樣，目前預估不是很精確，這樣可以為后續(xù)擴展提供方便性。數(shù)據(jù)脫敏、數(shù)據(jù)識別需要單獨獨立出來，原因：本身的服務不在數(shù)據(jù)同步中，可能提前預處理進行

4、。通過集群部署方式，支持冗余設計。調(diào)度平臺、Nginx集群通過數(shù)據(jù)同步性能情況，實現(xiàn)任務自動分發(fā)，支持自動負載均衡。可用性分析可用性表格分析場景影響降級原因某臺數(shù)據(jù)同步下歩無影響教據(jù)冋步無狀態(tài)調(diào)痘干甘重連其他的數(shù)據(jù)同步服努所有數(shù)據(jù)同步T統(tǒng)調(diào)度平臺無法執(zhí)行數(shù)據(jù)同步任務控制臺lh常運行;調(diào)度平臺把數(shù)據(jù)同步任務放入執(zhí)行欽列，等待執(zhí)行某個Ngirrx下尢影響多Ngiri工部書數(shù)據(jù)完全同步注冊中心、控制臺域名iiiSSLB自動切換到其他存活的NgiriJt控制臺DB宕機調(diào)度中心無影響控制臺無法更新配置調(diào)度平臺開啟配菁緩存后（對配置的讀取不受數(shù)據(jù)庫宕機影響某臺數(shù)據(jù)識別、數(shù)據(jù)脫敏卞無影響數(shù)擔識剔、數(shù)據(jù)脫敏無狀態(tài)”數(shù)據(jù)同步重連其他的數(shù)據(jù)識別.數(shù)據(jù)脫敏同步服務全部數(shù)據(jù)識別、數(shù)括脫敏下數(shù)據(jù)同步可執(zhí)行會彫響任務時長無彩晌結論數(shù)據(jù)同步、控制臺、調(diào)度平臺、數(shù)據(jù)識別、數(shù)據(jù)脫敏是數(shù)據(jù)脫敏的幾大核心微服務模塊，相互協(xié)作完成配置中心業(yè)務功能，Nginx、注冊中心是輔助