大數(shù)據(jù)調(diào)度平臺助力數(shù)據(jù)運營降本增效

1、3大數(shù)據(jù)調(diào)度平臺助力數(shù)據(jù)運營降本增效/朝聞通-新聞稿發(fā)布機構(gòu)/隨著移動互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，運營商的數(shù)據(jù)量呈指數(shù)級增長。如何利用海量數(shù)據(jù)資源進行價值和商業(yè)變現(xiàn)，成為運營商提高核心競爭力、搶占市場先機的關(guān)鍵。ETL（數(shù)據(jù)倉庫技術(shù)）作為數(shù)據(jù)信息轉(zhuǎn)換的一種主要技術(shù)手段，是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)中心的重要工具。隨著數(shù)據(jù)量的增長及業(yè)務(wù)場景的變化，取數(shù)和計算范圍不斷擴充，整個ETL過程的調(diào)度也日益復(fù)雜，這不僅帶來運維成本的增加，也讓數(shù)據(jù)生產(chǎn)質(zhì)量難于保障。為此，運營商迫切需要尋求新的技術(shù)手段。中興軟創(chuàng)結(jié)合多年的項目運營服務(wù)支撐經(jīng)驗，提出構(gòu)建全程調(diào)度平臺解決方案。方案包含進度自動預(yù)測

2、、異常監(jiān)控告警、數(shù)據(jù)血緣分析等功能，實現(xiàn)從數(shù)據(jù)匯聚、數(shù)據(jù)處理到數(shù)據(jù)服務(wù)的全流程調(diào)度能力，有效協(xié)助運營商提升數(shù)據(jù)處理效率，滿足其處理海量數(shù)據(jù)和復(fù)雜業(yè)務(wù)場景的需求。全流程調(diào)度執(zhí)行多樣化數(shù)據(jù)條理化復(fù)雜夠血緣化可視化節(jié)點管理全局拓?fù)鋱D進度預(yù)測調(diào)度監(jiān)控、一數(shù)據(jù)采集溺呈應(yīng)用計算流程提1交任務(wù)接口機_集群任務(wù)前置機集群f數(shù)據(jù)發(fā)布擁任蠻機數(shù)據(jù)中心數(shù)據(jù)BSS數(shù)據(jù)OSS數(shù)據(jù)MSS數(shù)據(jù)業(yè)務(wù)平臺數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)OracleMySQLSparkStormFlink流程調(diào)度任務(wù)調(diào)度iWi數(shù)據(jù)中心圖1全程調(diào)度平臺架構(gòu)圖監(jiān)控界面開放作業(yè)阪&息安全管控調(diào)度yp#基礎(chǔ)進度監(jiān)控影響分析接入管理開放生命周期數(shù)據(jù)節(jié)點上線啟動日志信息

3、圖2全程調(diào)度平臺功能圖告警開關(guān)-W停止鍵融異常全程調(diào)度平臺解決方案構(gòu)建了三層立體式調(diào)度體系：第一層端到端調(diào)度，從業(yè)務(wù)角度出發(fā)，提供松耦合、端到端的調(diào)度和監(jiān)控功能。以數(shù)據(jù)為中心，通過數(shù)據(jù)節(jié)點組織數(shù)據(jù)、數(shù)據(jù)依賴關(guān)系、生產(chǎn)流程任務(wù)，實現(xiàn)調(diào)度信息一點化管理。通過構(gòu)建360度調(diào)度運行視圖，洞悉整個數(shù)據(jù)中心的調(diào)度運行情況，提供可視化實時監(jiān)控。第二層流程級調(diào)度，通過流程引擎控制任務(wù)之間的依賴關(guān)系，允許任務(wù)并行或串行執(zhí)行。支持任務(wù)同步或異步執(zhí)行，縮短整個流程執(zhí)行時間，提升運行效率。第三層任務(wù)調(diào)度，通過正式發(fā)布的任務(wù)，進行任務(wù)執(zhí)行策略和調(diào)度策略，實現(xiàn)任務(wù)程序的周期性、臨時性或?qū)崟r不間斷運行。任務(wù)調(diào)度實現(xiàn)數(shù)據(jù)中心多計算集群任務(wù)的統(tǒng)一配置和協(xié)同運行，優(yōu)化系統(tǒng)資源調(diào)配。2017年，中興軟創(chuàng)全程調(diào)度平臺在湖南電信率先上線。目前已承接了湖南電信數(shù)據(jù)中心的10000+數(shù)據(jù)加工處理任務(wù)，問題查證率提高50%。同時數(shù)據(jù)質(zhì)量覆蓋度提升至98%，人員培訓(xùn)周期由1個月縮短到7天，節(jié)省了60%的