2024愛奇藝大數(shù)據(jù)分析平臺

DAU關(guān)注于長視頻，隨后發(fā)展業(yè)務(wù)有PPC、UPC，同時還發(fā)展了游戲、直播、小說等業(yè)務(wù)。目2030300T。愛奇藝剛剛起步時平臺架構(gòu)很簡單，數(shù)據(jù)流從日志通過RSYNC流入到Hive，然后通過腳HiveSQLMySQL，最后形成報表展示。整個流程的驅(qū)動ShellJavaJavaAccioLogPingbackHDFSTransfiguration求較多開發(fā)人員處理不過來，現(xiàn)在是取數(shù)計算太多，Hadoop集群處理不過來。因為在魔大數(shù)據(jù)平臺框架。底層是大數(shù)據(jù)平臺所用的計算資源，離線計算主要是Hive、Spark，流式計算主要是SparkStreaming和FlinkOLAP主要是Impala和Kylin。數(shù)據(jù)方面PingbackMySQL、MongoDB等，大數(shù)據(jù)存儲主要是HDFS、HBase、Kudu，Kudu主要是支持實時，分布HBase、HDFS。再往上層是開發(fā)平臺層，主要負責工作流開發(fā)。流計算通過成3-4個集群，相互之間要進行數(shù)據(jù)同步，先前主要是手寫程序完成,現(xiàn)在可以通過數(shù)據(jù)集DC還有自助查詢工具、BI報表工具，接下來會詳細講解。Crontab直接驅(qū)動數(shù)據(jù)處理腳本運行。隨著任務(wù)量逐漸增多，crontab會變得不可維護，ShellLinkedinAzkabanAzkaban性也不是很高，自研發(fā)了一個工作流管理系統(tǒng)Gear，但是Gear的管理基于配置文件，開發(fā)調(diào)試起來麻煩又自研了通天塔數(shù)據(jù)開發(fā)BabelBD。SlytherinShell腳本，有一個驅(qū)動腳本和一個執(zhí)行腳本。驅(qū)動腳本主要是調(diào)動processIDIDID其可視化程度不高，維護成本大，于是引入了Azkaban，其優(yōu)點是使用簡單、開源、可視機器有上百臺，每個集群都會有很多臺入口Client機器，只能一臺機器一臺機器去維護，GearappacheOozieOozie是由于其配置過于繁瑣，可視化不是很好。因此在Oozie基礎(chǔ)上進行配置簡化，并且提供更友好的界面和開發(fā)方式，主要是使用GitLab-CI和SDK的方式提交。上圖是一個并行的工作流，配置文件通過GitLab提交，Gitlab-CIAPI在開發(fā)過程中還是感覺配置Gear過程比較復雜，配置文件編寫容易出錯，平均需要提交三BabelBD可以直接拖拽節(jié)點的方式開發(fā)工作流，這樣開發(fā)人員只需要關(guān)注核心SQL語句編寫和整個基礎(chǔ)流程，其他都交給IDE完成，上圖是實際開發(fā)效果和執(zhí)行效果。MVC模式，開發(fā)的每一張報表都是一個小的JavaWeb項目。需要為每一張報表編寫JSP臺-龍源2.0，配置流程最核心的就是寫SQL，定義相關(guān)圖表信息、條件信息，將其配置成一張報表。最后利用bootstrap的一個可視化配置管理工具，通過拖拽方式搭建報表。由不能滿足需求，大BI系統(tǒng)應運而生。BI分析的系統(tǒng)發(fā)布自己的報表到BI進行展示?？淌峭暾?，但是如果某一集群發(fā)生延遲，就會消費掉一個空數(shù)據(jù)。因此設(shè)置了Done文DoneHDFSDonedone文件產(chǎn)生，而且表非常多，就會有海量空文件產(chǎn)生。所以為了避免HDFS大，我們就制作了Done服務(wù)，這樣直接在做依賴判斷的時候，直接使用Done服務(wù)，不再在HDFS上查找，依賴管理最終采用的方案是數(shù)據(jù)管理。調(diào)用，用來替代Done服務(wù)。它通過元數(shù)據(jù)抓取、手動錄入、投遞注冊管理、外部系統(tǒng)注ImpalaOLAPSQLBI息制作場景和場景間關(guān)聯(lián)，在BI報表直接引用指標維度信息制作報表。OLAP在數(shù)倉的上一層，最開始只使用MySQL，通過分庫分表來解決大數(shù)據(jù)量問題；之后MySQL+HBaseHBase,根據(jù)不同的查詢進行提取。接著就引入Kylin/Impala作為查詢引擎，目前考慮的是不同框架綜合使用，不局限于一個HBaseHBaseHBaseKylin提前算好存入HBase，這樣就可以提供給自助查詢系統(tǒng)使用。完成報表取數(shù)。這種方式工作量大、周期長，后來用戶通過魔鏡看結(jié)果或者運行SQL，如專門的分析工具，如漏斗分析、畫像分析去定制化分析需求，再不滿足通過OLAP分析進行拖拽式分析，或者通過魔鏡去寫SQL，生成結(jié)果后看是否滿足，是否需要進一步分析，如果需要就回到OLAP系統(tǒng)進行分析。SQLSQLSQLSQLSQL定能轉(zhuǎn)化為庖丁刃的SQL。SQLSQLSparkSQLSQL上圖是莫奈系統(tǒng)界面，給出的是事先制作好的報表進行的展示，可以直接將其發(fā)布到BI系ExcelDSLSQLKylin，MySQL和IMPALA在系統(tǒng)中也可用，實現(xiàn)MySQL和Kylin并行使用。如果用戶需要對BI