基于MaxCompute的大數(shù)據(jù)BI分析

1、基于MaxCompute的大數(shù)據(jù)BI分析技術(shù)創(chuàng)新，變革未來場景描述在互聯(lián)網(wǎng)、電商及游戲等行業(yè)通常需要對海量數(shù)據(jù)做快速實(shí)時(shí)分析，本方案闡述如何將業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù)快速匯總到ADB后再通過QuickBI等 工具進(jìn)行可視化分析和展示。特別是對于數(shù)據(jù)化建設(shè)中后期的公司，數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)量巨大、ETL功能復(fù)雜的情況，使用MaxCompute可以進(jìn)行復(fù)雜ETL數(shù)據(jù)開發(fā)和加 工，再進(jìn)入ADB和QuickBI進(jìn)行快速分析和可視化展示。適用場景互聯(lián)網(wǎng)行業(yè)、電商、游戲行業(yè)等網(wǎng)站、App、小程序應(yīng)用內(nèi)BI分析場景 可擴(kuò)展到各類網(wǎng)站BI分析場景使用行業(yè)標(biāo)簽 ：通用、互聯(lián)網(wǎng)、電商、游戲等產(chǎn)品標(biāo)簽：BI數(shù)據(jù)分析、日志服

2、務(wù)、ADB、MaxCpompute、ECS、RDS等實(shí)現(xiàn)架構(gòu)-MaxCompute/ETL/ADB架構(gòu)說明公司在數(shù)據(jù)化建設(shè)中后期，數(shù)據(jù)結(jié)構(gòu)非 常復(fù)雜，數(shù)據(jù)量非常大，大量數(shù)據(jù)需要 先進(jìn)行ETL。使用數(shù)據(jù)集成把RDS和日志數(shù)據(jù)同步到 MaxCompute進(jìn)行ETL，再寫入ADB。使用Qucik BI進(jìn)行分析，分析業(yè)務(wù)數(shù) 據(jù)，建立用戶畫像等MaxCompute產(chǎn)品介紹大規(guī)模彈性資源池SQLMRFuxi(資源管理及任務(wù)調(diào)度)全局元數(shù)據(jù)圖計(jì)算Spark交互式MaxCompute Engine(通用并行計(jì)算框架)Pangu(大規(guī)模分布式存儲(chǔ)服務(wù))New SQLJavaPythonMaxCompute生態(tài)工

3、具(Dataworks、Studio、QuickBI、3rd Party工具)MaxComputeMaxCompute向用戶提供了豐富的大數(shù)據(jù)開發(fā)工具、完善的數(shù)據(jù)導(dǎo)入導(dǎo)出方案以及多種經(jīng)典的分布式計(jì)算 模型。能夠最快速地解決用戶海量數(shù)據(jù)計(jì)算問題，有效降低企業(yè)大數(shù)據(jù)計(jì)算平臺的總體擁有成本，提高大 數(shù)據(jù)應(yīng)用開發(fā)效率，并保障數(shù)據(jù)在云計(jì)算環(huán)境的安全。全托管的Serverless、多租戶模式，作業(yè)級別的自動(dòng)彈性伸縮，免平臺運(yùn)維及配置調(diào)優(yōu)勢。支持按作業(yè)付費(fèi)、預(yù)占計(jì)算資源付費(fèi)、打包套餐等多種付費(fèi)方案，滿足最靈活的客戶購買需求。多功能：提供SQL/MR/Spark/機(jī)器學(xué)習(xí)/圖計(jì)算等多種計(jì)算能力，避免為計(jì)算而搬

4、數(shù)據(jù)。高性能計(jì)算引擎：隨著數(shù)據(jù)規(guī)模的增加，性能線性增長，超越競品的性能優(yōu)勢。安全的數(shù)據(jù)平臺：原生的多租戶系統(tǒng)，以項(xiàng)目進(jìn)行隔離，所有計(jì)算任務(wù)在安全沙箱中運(yùn)行，支持ACL+Policy+Label細(xì)粒度授權(quán)，支持?jǐn)?shù)據(jù)KMS加密，支持行為審計(jì) (即將發(fā)布)。生態(tài)開放：高度兼容Hive、支持原生的Spark應(yīng)用、支持Python生態(tài)(PyODPS)、第三方BI工具。企業(yè)級管理能力：完整的批量(Tunnel)/實(shí)時(shí)(Datahub)數(shù)據(jù)接入能力、Dataworks數(shù)據(jù)開發(fā)/應(yīng)用生產(chǎn)運(yùn)維/數(shù)據(jù)管理/數(shù)據(jù)質(zhì)量，快速構(gòu)建企業(yè)級數(shù)據(jù)服務(wù)平臺。產(chǎn)品架構(gòu)產(chǎn)品特點(diǎn)云原生服務(wù)架構(gòu)：ADB容量評估公式：原始數(shù)據(jù)量（單位G

5、B） x索引膨脹系數(shù)（1.3倍) / 空間水位線（0.7） /(每個(gè)節(jié)點(diǎn)組的磁盤大小例如：客戶原始數(shù)據(jù)量為1TB，即約1000GB，按照公式計(jì)算可得，1024*1.3/0.7/1000 = 1902 (GB) 用戶可選擇下圖的2節(jié)點(diǎn)，每節(jié)點(diǎn)1000GB的配置。因此可粗略估計(jì)ADB 1TB存儲(chǔ)空間年費(fèi)用約11w。如果客戶有4T數(shù)據(jù)，按照上述公式需要 購買8節(jié)點(diǎn)組，年費(fèi)用約為11萬 x 4= 44萬注：本方案中只進(jìn)行估算，具體配置和費(fèi)用以客戶實(shí)際場景為準(zhǔn)。Web Tracking日志采集原理注意事項(xiàng)使用 Web Tracking 意味著該 Logstore 打開互聯(lián)網(wǎng)匿名寫入的權(quán)限，沒有經(jīng)過有效鑒

6、權(quán)，可能會(huì)產(chǎn)生臟數(shù)據(jù)。僅支持 GET 請求，不支持 POST 請求；且不支持上傳16KB以上的 body。POST 請求限制與 PutLogs 一致，大小不超過3MB，條數(shù)不超過4096條。日志服務(wù)支持通過Web Tracking功能進(jìn)行HTML、H5、iOS和 Android平臺日志數(shù)據(jù)的采集，支持 自定義維度和指標(biāo)。將loghub-tracking.js 復(fù)制到 web 目錄，并在頁面中引入 如下腳本：方案優(yōu)勢以ADB+QuickBI快速實(shí)時(shí)數(shù)據(jù)分析的核心能力為切入點(diǎn)，將客戶的業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)引導(dǎo)上 阿里云的日志服務(wù)和分析性數(shù)據(jù)庫。融合阿里云的日志服務(wù)SLS的生態(tài)，增強(qiáng)用戶粘性(如無縫對

7、接Blink、Elasticsearch、RDS、 ADB、EMR、dataV 等產(chǎn)品)。通過MaxCompute、ADB強(qiáng)大的數(shù)據(jù)加工和分析能力，極大的降低了用戶大數(shù)據(jù)平臺建設(shè)的門 檻，輕松解決了海量數(shù)據(jù)的計(jì)算問題，同時(shí)有效降低企業(yè)成本并保障數(shù)據(jù)安全與第三方開源生態(tài)無縫對接，在不侵入用戶應(yīng)用的情況下傳輸日志到SLS，降低用戶使用門檻。方案適配難度 本方案包含Step by Step，可以由文檔使用者自行完成。 本方案適合做開發(fā)者或架構(gòu)師做大數(shù)據(jù)BI分析的PoC驗(yàn)證使用。 部署該方案需要熟悉日志服務(wù)及大數(shù)據(jù)產(chǎn)品，難度較大Step by Step步驟一：電商網(wǎng)站Demo搭建步驟二：創(chuàng)建ADB數(shù)據(jù)庫服務(wù) 步驟三：DataWorks大數(shù)據(jù)處理步驟四：數(shù)