上汽數(shù)據(jù)湖4.0 數(shù)據(jù)湖構(gòu)建某汽車集團(tuán)數(shù)據(jù)中臺解決方案

上汽數(shù)據(jù)湖4.0“數(shù)據(jù)湖”構(gòu)建上汽集團(tuán)數(shù)據(jù)中臺數(shù)據(jù)湖|PART1看到的現(xiàn)象表面原因過渡原因根本原因大數(shù)據(jù)平臺待建數(shù)據(jù)庫計算能力不足數(shù)據(jù)量大個性化平臺業(yè)務(wù)數(shù)據(jù)孤島實(shí)時海量存儲計算人力不足成本過高技術(shù)沉淀不足數(shù)據(jù)湖因運(yùn)而生萌生V0.12016.04產(chǎn)品

V1.02017.06沙盒

V3.02018.06未來

Vx.x2019.12沉淀

V0.22016.12成熟

V2.02017.12品牌

V4.02018.12單位格級別統(tǒng)一權(quán)限管理金融級自動化數(shù)據(jù)加密敏感數(shù)據(jù)脫敏金融級數(shù)據(jù)加密數(shù)據(jù)備份及容災(zāi)功能數(shù)據(jù)快照及數(shù)據(jù)回溯百億級數(shù)據(jù)亞秒級查詢高性能查詢數(shù)據(jù)庫數(shù)據(jù)實(shí)時接入異構(gòu)數(shù)據(jù)庫數(shù)據(jù)融合每秒百萬級數(shù)據(jù)接入實(shí)時大數(shù)據(jù)海量數(shù)據(jù)機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘系統(tǒng)海量小文件存儲及檢索便捷科學(xué)計算應(yīng)用數(shù)據(jù)湖Datalakeecosystem數(shù)據(jù)湖管理模塊數(shù)據(jù)湖管理原始數(shù)據(jù)庫入湖數(shù)據(jù)出湖->科學(xué)家工作臺數(shù)據(jù)鏈路管理科學(xué)家工作臺數(shù)據(jù)湖事件管理數(shù)據(jù)湖管理數(shù)據(jù)鏈路（發(fā)送端）詳情數(shù)據(jù)湖管理數(shù)據(jù)鏈路（接收端）管理數(shù)據(jù)湖管理數(shù)據(jù)表同步管理數(shù)據(jù)湖管理數(shù)據(jù)表Merge管理數(shù)據(jù)湖管理數(shù)據(jù)鏈路配置數(shù)據(jù)湖管理數(shù)據(jù)加密，訪問權(quán)限，脫敏設(shè)置數(shù)據(jù)治理模塊數(shù)據(jù)治理數(shù)據(jù)湖租戶租戶數(shù)據(jù)庫管理數(shù)據(jù)資產(chǎn)事件管理數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)治理數(shù)據(jù)表列表數(shù)據(jù)庫狀態(tài)信息數(shù)據(jù)治理元數(shù)據(jù)導(dǎo)入數(shù)據(jù)治理數(shù)據(jù)表詳情數(shù)據(jù)治理數(shù)據(jù)血緣數(shù)據(jù)治理數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)治理數(shù)據(jù)庫元數(shù)據(jù)監(jiān)控數(shù)據(jù)治理數(shù)據(jù)表訪問日志數(shù)據(jù)治理數(shù)據(jù)資產(chǎn)查詢科學(xué)家工作臺科學(xué)家工作臺數(shù)據(jù)挖掘/分析項(xiàng)目管理科學(xué)家工作臺程序編輯容器管理科學(xué)家工作臺項(xiàng)目文件/資源管理科學(xué)家工作臺會話(docker)管理科學(xué)家工作臺JupyterIDE和運(yùn)行環(huán)境數(shù)據(jù)同步鏈路SAICDATALINKSAICDataLinkSAICDataLink是上汽集團(tuán)自主研發(fā)的數(shù)據(jù)同步鏈路，適配上汽數(shù)據(jù)湖平臺。完成異構(gòu)數(shù)據(jù)庫數(shù)據(jù)實(shí)時同步到上汽數(shù)據(jù)湖的工作，具有以下特點(diǎn)：支持Oracle，DB2，MySQL，MongoDB，PostgreSQL等數(shù)據(jù)庫異步非阻塞方式讀取數(shù)據(jù)庫Log文件，對數(shù)據(jù)庫不構(gòu)成壓力實(shí)時同步：2秒數(shù)據(jù)延遲(局域網(wǎng))數(shù)據(jù)存儲，傳輸加密：數(shù)據(jù)存儲使用AES，3DES加密，數(shù)據(jù)傳輸使用HTTPS加密支持局域網(wǎng)/廣域網(wǎng)數(shù)據(jù)同步強(qiáng)數(shù)據(jù)一致性校驗(yàn)，保證在網(wǎng)絡(luò)條件差的情況下不丟失一條數(shù)據(jù)無狀態(tài)鏈路設(shè)計，動態(tài)擴(kuò)容，基于容器的自動運(yùn)維Hock方式提供數(shù)據(jù)同步鏈路開發(fā)接口，支持用戶自定義Lua腳本擴(kuò)展數(shù)據(jù)鏈路功能SAICDataLink架構(gòu)圖（局域網(wǎng)）

SAICDataLinkSAICDataLink架構(gòu)圖（廣域網(wǎng)）

SAICDataLink數(shù)據(jù)湖經(jīng)濟(jì)型分析

報價單價(每TB)OracleOGG4萬/Core1000萬左右（200鏈路）Oracleexadata1000~2000萬100TB10萬/TBSAPHANA320萬256G1280萬/TBTeradata300萬30~40T100萬/TB據(jù)了解某大型企業(yè)Oracleexadata和SAPHANA，各花了400萬和320萬。數(shù)據(jù)湖建設(shè)成本，單臺機(jī)器40T，目前市面上這類機(jī)器的價格大概在10萬左右，軟件成本按照1年算，平均10個成員（100萬/人/年）大致1000萬。按照10套軟件的輸出平攤，100萬（開發(fā)成本）+(10萬硬件成本/40T（存儲容量）)=100萬+0.25萬/TB實(shí)施成本，目前實(shí)施人員（外包）成本大致為70萬/人/年，按一個季度的實(shí)施成本為17.5萬元。企業(yè)上線數(shù)據(jù)湖的預(yù)估成本（按照10套數(shù)據(jù)湖產(chǎn)品輸出計算）：

100