上汽數據湖4.0 數據湖構建某汽車集團數據中臺解決方案

上汽數據湖4.0“數據湖”構建上汽集團數據中臺數據湖|PART1看到的現象表面原因過渡原因根本原因大數據平臺待建數據庫計算能力不足數據量大個性化平臺業(yè)務數據孤島實時海量存儲計算人力不足成本過高技術沉淀不足數據湖因運而生萌生V0.12016.04產品

V1.02017.06沙盒

V3.02018.06未來

Vx.x2019.12沉淀

V0.22016.12成熟

V2.02017.12品牌

V4.02018.12單位格級別統(tǒng)一權限管理金融級自動化數據加密敏感數據脫敏金融級數據加密數據備份及容災功能數據快照及數據回溯百億級數據亞秒級查詢高性能查詢數據庫數據實時接入異構數據庫數據融合每秒百萬級數據接入實時大數據海量數據機器學習數據挖掘系統(tǒng)海量小文件存儲及檢索便捷科學計算應用數據湖Datalakeecosystem數據湖管理模塊數據湖管理原始數據庫入湖數據出湖->科學家工作臺數據鏈路管理科學家工作臺數據湖事件管理數據湖管理數據鏈路（發(fā)送端）詳情數據湖管理數據鏈路（接收端）管理數據湖管理數據表同步管理數據湖管理數據表Merge管理數據湖管理數據鏈路配置數據湖管理數據加密，訪問權限，脫敏設置數據治理模塊數據治理數據湖租戶租戶數據庫管理數據資產事件管理數據質量監(jiān)控數據治理數據表列表數據庫狀態(tài)信息數據治理元數據導入數據治理數據表詳情數據治理數據血緣數據治理數據關聯(lián)數據治理數據庫元數據監(jiān)控數據治理數據表訪問日志數據治理數據資產查詢科學家工作臺科學家工作臺數據挖掘/分析項目管理科學家工作臺程序編輯容器管理科學家工作臺項目文件/資源管理科學家工作臺會話(docker)管理科學家工作臺JupyterIDE和運行環(huán)境數據同步鏈路SAICDATALINKSAICDataLinkSAICDataLink是上汽集團自主研發(fā)的數據同步鏈路，適配上汽數據湖平臺。完成異構數據庫數據實時同步到上汽數據湖的工作，具有以下特點：支持Oracle，DB2，MySQL，MongoDB，PostgreSQL等數據庫異步非阻塞方式讀取數據庫Log文件，對數據庫不構成壓力實時同步：2秒數據延遲(局域網)數據存儲，傳輸加密：數據存儲使用AES，3DES加密，數據傳輸使用HTTPS加密支持局域網/廣域網數據同步強數據一致性校驗，保證在網絡條件差的情況下不丟失一條數據無狀態(tài)鏈路設計，動態(tài)擴容，基于容器的自動運維Hock方式提供數據同步鏈路開發(fā)接口，支持用戶自定義Lua腳本擴展數據鏈路功能SAICDataLink架構圖（局域網）

SAICDataLinkSAICDataLink架構圖（廣域網）

SAICDataLink數據湖經濟型分析

報價單價(每TB)OracleOGG4萬/Core1000萬左右（200鏈路）Oracleexadata1000~2000萬100TB10萬/TBSAPHANA320萬256G1280萬/TBTeradata300萬30~40T100萬/TB據了解某大型企業(yè)Oracleexadata和SAPHANA，各花了400萬和320萬。數據湖建設成本，單臺機器40T，目前市面上這類機器的價格大概在10萬左右，軟件成本按照1年算，平均10個成員（100萬/人/年）大致1000萬。按照10套軟件的輸出平攤，100萬（開發(fā)成本）+(10萬硬件成本/40T（存儲容量）)=100萬+0.25萬/TB實施成本，目前實施人員（外包）成本大致為70萬/人/年，按一個季度的實施成本為17.5萬元。企業(yè)上線數據湖的預估成本（按照10套數據湖產品輸出計算）：

100