構(gòu)建云服務(wù)大數(shù)據(jù)平臺(tái)

1、構(gòu)建云服務(wù)大數(shù)據(jù)平臺(tái)1 2 3挑戰(zhàn) 解決方案 收益 技術(shù)挑戰(zhàn)直播實(shí)時(shí)性高、互動(dòng)性強(qiáng)，對(duì)平臺(tái)的穩(wěn)定性、視頻流的流暢度都有非常高的要求系統(tǒng)監(jiān)控問題定位性能優(yōu)化異常報(bào)警流量預(yù)警及時(shí)響應(yīng)快速定位終端性能視頻優(yōu)化運(yùn)營(yíng)需求內(nèi)容推薦用戶運(yùn)營(yíng)主播價(jià)值市場(chǎng)營(yíng)銷平臺(tái)營(yíng)收解決方案ELKMysql+Web大數(shù)據(jù)平臺(tái)面臨困難工具繁多 如何選型海量數(shù)據(jù) 如何保證穩(wěn)定如何保證數(shù)據(jù)安全成本緊張時(shí)間 緊迫人員 不足經(jīng)驗(yàn) 不足經(jīng)費(fèi) 有限借助阿里云構(gòu)建大數(shù)據(jù)平臺(tái)運(yùn)維成本低使用門檻低系統(tǒng)穩(wěn)定高安全性非常靈活幾乎零運(yùn)維成本 支撐海量數(shù)據(jù)幾乎無故障工作人員響應(yīng)很及時(shí)組件即開即用用最少的資源去試錯(cuò)表級(jí)權(quán)限管理非研發(fā)人員也能獨(dú)立 完成數(shù)據(jù)報(bào)

2、表需求全民大數(shù)據(jù)架構(gòu)日志規(guī)范數(shù)據(jù)采集埋點(diǎn)用戶事件載體規(guī)范先行信息齊全數(shù)據(jù)采集接收服務(wù)器Golang，單機(jī)QPS 2W+ 邏輯簡(jiǎn)單，存本地文件適當(dāng)合并請(qǐng)求，支持protobuf，gzip壓縮 終端斷網(wǎng)時(shí)暫存本地，等待離線上傳數(shù)據(jù)采集實(shí)時(shí)采集Logtail 高效穩(wěn)定，資源占用少，幾乎不會(huì)影響線上服務(wù)相比 Filebeats、Flume等開源工具，性能更優(yōu) 配置簡(jiǎn)單，支持JSON、正則等多種模式部署方便，立即生效數(shù)據(jù)采集迅速定位用戶行為軌跡日志服務(wù)提供海量日志分析能力，可進(jìn)行業(yè)務(wù)監(jiān)控實(shí)時(shí)查詢數(shù)據(jù)采集投遞到 MaxCompute 供離線計(jì)算StreamConpute可以直連日志服務(wù)，以監(jiān)控業(yè)務(wù)，對(duì)直播

3、視頻實(shí)時(shí)護(hù)航數(shù)據(jù)投遞直播視頻實(shí)時(shí)護(hù)航視頻流是直播平臺(tái)的核心服務(wù)，視頻流的穩(wěn)定性直接影響到用戶體驗(yàn)，繼而影響平臺(tái)收益全鏈路實(shí)時(shí)監(jiān)控 監(jiān)控彈幕信息迅速響應(yīng) 快速定位多方積極配合切換節(jié)點(diǎn) 切換線路完善監(jiān)控 完善流程數(shù)據(jù)體系MaxCompute 提供一站式數(shù)據(jù)倉(cāng)庫解決方案數(shù)據(jù)集成DataX 結(jié)合 tunnel 簡(jiǎn)化數(shù)據(jù)同步權(quán)限管理通過ACL和角色管理，實(shí)現(xiàn)數(shù)據(jù)隔離數(shù)據(jù)清洗任務(wù)調(diào)度可以設(shè)置周期時(shí)間 可以定義依賴關(guān)系元數(shù)據(jù)管理DataWorks 數(shù)據(jù)管理提供完整的元數(shù)據(jù)信息2. 爬取 DataIDE 接口獲取任務(wù)元數(shù)據(jù)1. 使用開放接口獲取表結(jié)構(gòu)信息表基本信息存儲(chǔ)信息血緣關(guān)系通過爬取數(shù)據(jù)，完善元數(shù)據(jù)管理責(zé)任人信息數(shù)據(jù)分析挖掘支持Python直連PyOdpsHive2.0Hive- proxyROdps查詢效率高使用方便支持更多開源工具支持R直連數(shù)據(jù)報(bào)表圖表展示豐富通過Hive-proxy連接 MaxCompute開源數(shù)據(jù)分析工具 Zeppelin靈活易用 Hive-proxy實(shí)時(shí)報(bào)表，業(yè)務(wù)監(jiān)