怎么理解數(shù)據(jù)湖？（深度長(zhǎng)文）

2022/10/1414:16 2022/10/1414:16 怎ikSW就湖？(SjKKX)/s/YhEdKpFJfcO2RD25tY6bNw /s/YhEdKpFJfcO2RD25tY6bNw #/39圖24.數(shù)據(jù)湖數(shù)據(jù)流向示意圖如圖24所示，在需要數(shù)據(jù)湖具備模式一的處理能力時(shí)，還是應(yīng)該引入類Kafka中間件，作為數(shù)據(jù)轉(zhuǎn)發(fā)的基礎(chǔ)設(shè)施。完整的數(shù)據(jù)湖解決方案方案應(yīng)該提供將原始數(shù)據(jù)導(dǎo)流至Kafka的能力。流式引擎具備從類Kafka組件中讀取數(shù)據(jù)的能力。流式計(jì)算引擎在處理數(shù)據(jù)過(guò)后，根據(jù)需要，可以將結(jié)果寫(xiě)入OSS/RDBMS/NoSQL/DW,供應(yīng)用訪問(wèn)。某種意義上，模式一的流計(jì)算引擎并非一定要作為數(shù)據(jù)湖不可分割的一部分存在，只需要在應(yīng)用需要時(shí)，能夠方便的引入即可。但是，這里需要指出的是：-流式引擎依然需要能夠很方便的讀取數(shù)據(jù)湖的元數(shù)據(jù)；-流式引擎任務(wù)也需要統(tǒng)一的納入數(shù)據(jù)湖的任務(wù)管理；-流式處理任務(wù)依然需要納入到統(tǒng)一的權(quán)限管理中。對(duì)于模式二，本質(zhì)上更接近于批處理?，F(xiàn)在許多經(jīng)典的大數(shù)據(jù)組件已經(jīng)提供了支持方式，如HUDI/lceBerg/Delta等,均支持Spark、Presto等經(jīng)典的計(jì)算引擎。以HUDI為例，通過(guò)支持特殊類型的表（COW/MOR）,提供訪問(wèn)快照數(shù)據(jù)（指定版本）、增量數(shù)據(jù)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)的能力。目前AWS、騰訊等已經(jīng)將HUDI集成到了其EMR服務(wù)中，阿里云的DLA也正在計(jì)劃推出DLAonHUDI的能力。讓我們?cè)倩氐奖疚拈_(kāi)頭的第一章，我們說(shuō)過(guò)，數(shù)據(jù)湖的主要用戶是數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師，探索式分析和機(jī)器學(xué)習(xí)是這類人群的常見(jiàn)操作；流式計(jì)算（實(shí)時(shí)模式）多用于在線業(yè)務(wù)，嚴(yán)格來(lái)看，并非數(shù)據(jù)湖目標(biāo)用戶的剛需。但是，流式計(jì)算（實(shí)時(shí)模式）是目前大多數(shù)互聯(lián)網(wǎng)公司在線業(yè)務(wù)的重要組成部分，而數(shù)據(jù)湖作為企業(yè)/組織內(nèi)部的數(shù)據(jù)集中存放地，需要在架構(gòu)上保持一定的擴(kuò)展能力，可以很方便的進(jìn)行擴(kuò)展，整合流式計(jì)算能力。5、業(yè)務(wù)支撐。雖然大多數(shù)數(shù)據(jù)湖解決方案都對(duì)外提供標(biāo)準(zhǔn)的訪問(wèn)接口，如JDBC,市面上流行的各類BI報(bào)表工具、大屏工具也都可以直接訪問(wèn)數(shù)據(jù)湖中的數(shù)據(jù)。但是在實(shí)際的應(yīng)用中，我們還是建議將數(shù)據(jù)湖處理好的數(shù)據(jù)推送到對(duì)應(yīng)的各類支持在線業(yè)務(wù)的數(shù)據(jù)引擎中去，能夠讓?xiě)?yīng)用有更好的體驗(yàn)?！?—總結(jié)數(shù)據(jù)湖作為新一代大數(shù)據(jù)分析處理的基礎(chǔ)設(shè)施，需要超越傳統(tǒng)的大數(shù)據(jù)平臺(tái)。個(gè)人認(rèn)為目前在以下方面，是數(shù)據(jù)湖解決方案未來(lái)可能的發(fā)展方向。云原生架構(gòu)。關(guān)于什么是云原生架構(gòu)，眾說(shuō)紛紜，很難找到統(tǒng)一的定義。但是具體到數(shù)據(jù)湖這個(gè)場(chǎng)景，個(gè)人認(rèn)為就是以下三點(diǎn)特征：1.存儲(chǔ)和計(jì)算分離，計(jì)算能力和存儲(chǔ)能力均可獨(dú)立擴(kuò)展；多模態(tài)計(jì)算引擎支持，SQL、批處理、流式計(jì)算、機(jī)器學(xué)習(xí)等；提供Serverless態(tài)服務(wù)，確保足夠的彈性以及支持按需付費(fèi)。足夠用的數(shù)據(jù)管理能力。數(shù)據(jù)湖需要提供更為強(qiáng)大的數(shù)據(jù)管理能力，包括但不限于數(shù)據(jù)源管理、數(shù)據(jù)類目管理、處理流程編排、任務(wù)調(diào)度、數(shù)據(jù)溯源、數(shù)據(jù)治理、質(zhì)量管理、權(quán)限管理等。大數(shù)據(jù)的能力，數(shù)據(jù)庫(kù)的體驗(yàn)。目前絕大多數(shù)數(shù)據(jù)分析人員都只有數(shù)據(jù)庫(kù)的使用經(jīng)驗(yàn)，大數(shù)據(jù)平臺(tái)的能力雖強(qiáng)，但是對(duì)于用戶來(lái)說(shuō)并不友好，數(shù)據(jù)科學(xué)家和數(shù)據(jù)數(shù)據(jù)分析師應(yīng)該關(guān)注數(shù)據(jù)、算法、模型及其與業(yè)務(wù)場(chǎng)景的適配，而不是花大量的時(shí)間精力去學(xué)習(xí)大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)。數(shù)據(jù)湖要想快速發(fā)展，如何為用戶提供良好的使用體驗(yàn)是關(guān)鍵?；赟QL的數(shù)據(jù)庫(kù)應(yīng)用開(kāi)發(fā)已經(jīng)深入人心，如何將數(shù)據(jù)湖的能力通過(guò)SQL的形式釋放出來(lái)，是未來(lái)的一個(gè)主要方向。完善的數(shù)據(jù)集成與數(shù)據(jù)開(kāi)發(fā)能力。對(duì)各種異構(gòu)數(shù)據(jù)源的管理與支持，對(duì)異構(gòu)數(shù)據(jù)的全量/增量遷移支持，對(duì)各種數(shù)據(jù)格式的支持都是需要不斷完善的方向。同時(shí)，需要具備一個(gè)完備的、可視化的、可擴(kuò)展的集成開(kāi)發(fā)環(huán)境。與業(yè)務(wù)的深度融合與集成。典型數(shù)據(jù)湖架構(gòu)的構(gòu)成基本已經(jīng)成為了業(yè)界共識(shí)：分布式對(duì)象存儲(chǔ)+多模態(tài)計(jì)算引擎+數(shù)據(jù)管理。決定數(shù)據(jù)湖方案是否勝出的關(guān)鍵恰恰在于數(shù)據(jù)管理，無(wú)論是原始數(shù)據(jù)的管理、數(shù)據(jù)類目的管理、數(shù)據(jù)模型的管理、數(shù)據(jù)權(quán)限的管理還是處理任務(wù)的管理，都離不開(kāi)與業(yè)務(wù)的適配和集成；未來(lái)，會(huì)有越來(lái)越多的行業(yè)數(shù)據(jù)湖解決方案涌現(xiàn)出來(lái)，與數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師形成良性發(fā)展