數(shù)據(jù)中臺發(fā)展趨勢觀點

數(shù)據(jù)中臺發(fā)展趨勢觀點

【導讀】本文原題《從數(shù)據(jù)資源到數(shù)據(jù)價值，再到數(shù)據(jù)生產(chǎn)力》，點評分析了數(shù)據(jù)領域的一些問題、難題和誤區(qū)：技術和業(yè)務的鴻溝如何消弭？數(shù)據(jù)思維有哪五大誤區(qū)？數(shù)據(jù)中臺存在什么問題？批流一體or湖倉一體？其觀點供大家參考。

一、雙向奔赴，跨越技術和業(yè)務的鴻溝首先要關注一個問題，很多人認為技術和業(yè)務人存在天然的隔閡和矛盾，這也是客觀存在的事實。究其原因，還是因為雙方的工作內(nèi)容、職責定位和關注點的不同。數(shù)據(jù)業(yè)務開展不起來或者運行不暢，跟這個問題也是息息相關?；乇懿皇寝k法，解決問題的第一步還是直面問題。如果仔細研究就會發(fā)現(xiàn)一個有趣的現(xiàn)象，那就是在數(shù)字化轉(zhuǎn)型的大背景下，無論技術還是業(yè)務，都不約而同的用“造新詞”的方式在客觀上挖了很多溝通上的鴻溝。對技術人員而言，有很多聽起來都頭大的業(yè)務術語和約定俗成的行內(nèi)黑話；對業(yè)務人員而言，要面對數(shù)不勝數(shù)的IT新概念，數(shù)倉還沒搞明白，數(shù)據(jù)湖又來了，數(shù)據(jù)分析平臺還沒建完數(shù)據(jù)中臺又來了。這樣一來，給原本就溝通順暢的雙方造成了更大的障礙。所以說，需要雙向奔赴才能解決這個難題，通俗點說就是少“造新詞”，多“說人話”，真誠很重要。這里面的關鍵角色是業(yè)務專家和技術專家，業(yè)務專家需要把復雜的業(yè)務場景簡單直接的讓技術人員明白業(yè)務本質(zhì)，讓技術人員理解業(yè)務模式；技術專家需要用最簡單的語言告訴業(yè)務人員技術的價值和發(fā)展路徑。針對數(shù)據(jù)場景來說，雙方需要建立的共同認知就是數(shù)據(jù)意識和數(shù)據(jù)思維。

二、擁有數(shù)據(jù)≠擁有數(shù)據(jù)思維1、什么是數(shù)據(jù)思維數(shù)據(jù)思維，是相較于傳統(tǒng)思維而言的一種思維方式，也是企業(yè)如何利用數(shù)據(jù)的一種根本性的方法論。參考網(wǎng)上的說法：我們判斷和分析事物的變化形成結論，一般有兩種方法，一種是通過對事物所涉及的一系列數(shù)據(jù)進行收集、匯總、對比、分析而形成結論。另一種是通過感官、經(jīng)驗、主觀和感性判斷而形成結論。前者可以稱為“數(shù)據(jù)思維”，后者可以稱為“經(jīng)驗思維或傳統(tǒng)思維”。數(shù)據(jù)思維是用數(shù)據(jù)來探索、思考事物的一種思維模式，用數(shù)據(jù)來發(fā)現(xiàn)問題、洞察規(guī)律、探索真理。企業(yè)的數(shù)字化轉(zhuǎn)型過程需要的數(shù)據(jù)思維，就是用數(shù)據(jù)思考，用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策。數(shù)據(jù)思維是一種簡化思維，需要我們在紛繁的信息中，聚焦核心問題，從多維度多角度去抽絲剝繭的找到解決問題的路徑。數(shù)據(jù)思維也是一種量化思維，從某種程度說業(yè)務數(shù)據(jù)化的核心就是量化，所有的業(yè)務都可以用數(shù)據(jù)來量化描述。同時，數(shù)據(jù)思維是一種創(chuàng)新思維，數(shù)據(jù)資源跟其他生產(chǎn)要素最大的區(qū)別就是可復用性和可再生性，數(shù)據(jù)具有可重復使用，組合使用，跨平臺使用的特點，企業(yè)可以通過多維度方式，突破部門邊界、業(yè)務邊界、系統(tǒng)邊界、技術邊界的束縛，創(chuàng)新新模式，開拓新領域，確立新決策，不斷發(fā)掘數(shù)據(jù)背后所隱藏的“價值”。2、數(shù)據(jù)思維的誤區(qū)第一，有了數(shù)據(jù)，就有了數(shù)字思維。一切業(yè)務數(shù)據(jù)化、一切數(shù)據(jù)業(yè)務化，不只是說說，對推動業(yè)務邏輯發(fā)生很多根本性變革，也會推動傳統(tǒng)數(shù)據(jù)服務從支撐向運營演進。第二，數(shù)據(jù)體量，越大越好。數(shù)據(jù)歸集和數(shù)據(jù)融合的目的，不是囤積數(shù)據(jù)，而是持續(xù)提升數(shù)據(jù)價值。重要的不是體量，而是質(zhì)量，還有完整性。第三、數(shù)據(jù)就是事實，就是真理。總會有很多人認為，有了客觀的數(shù)據(jù)就一定會有業(yè)務層面的真相，就像按圖索驥一樣。數(shù)據(jù)不會說話，也沒有態(tài)度，讓他們發(fā)揮價值的是模型和算法，還有應用場景，如果這些出了差錯，結果可能會很離譜。當年Nokia針對智能機的調(diào)研，就是一個教訓。錯的不是數(shù)據(jù)，而是迷信數(shù)據(jù)。第四，有了數(shù)據(jù)，就能精益管理。數(shù)據(jù)有著天然的不確定性，從數(shù)據(jù)采集、存儲、分析和展現(xiàn)等各個環(huán)節(jié)來說，數(shù)據(jù)都可能存在不完整、不準確、被干擾、被污染的可能。數(shù)據(jù)永遠是為業(yè)務和管理服務的。管理同樣也存在著很大的不確定性，各種內(nèi)外部條件和環(huán)境都在隨時發(fā)生著變化。數(shù)據(jù)是科學，管理是藝術，不能直接畫等號。第五，數(shù)據(jù)是數(shù)據(jù)，業(yè)務是業(yè)務。很多人會把數(shù)據(jù)和業(yè)務割裂開，有的是缺乏整體認知，有的是受其他因素掣肘不得已而為之。不管什么原因，“數(shù)據(jù)為王，業(yè)務是核心”，與其說培養(yǎng)理解數(shù)據(jù)的能力，不如說是理解業(yè)務的能力。只有將數(shù)據(jù)置于業(yè)務場景中，數(shù)據(jù)才能變得有意義。你可能覺得以上都是廢話，但是卻每天都是真真切切的發(fā)生。數(shù)據(jù)也好、業(yè)務也罷，就像一個迷局，你我何嘗不在局中。

三、任何一種技術都不是通天浮屠，數(shù)據(jù)中臺也是一樣提起現(xiàn)在數(shù)據(jù)域的架構，有點技術背景的，都很容易就能畫出一張架構圖，下面是云網(wǎng)基礎設施、中間是數(shù)據(jù)中臺、上面是數(shù)據(jù)應用，放之四海而皆準。套路，這都是赤裸裸的套路。不少南郭先生，靠這種套路，混得風生水起。那這種套路的問題在哪兒呢？1、數(shù)據(jù)中臺能否發(fā)揮價值，關鍵在于有沒有形成數(shù)據(jù)產(chǎn)品（服務）其實數(shù)據(jù)平臺也好數(shù)據(jù)中臺也罷，核心思想就是試圖發(fā)揮數(shù)據(jù)價值，形成真正的數(shù)據(jù)生產(chǎn)力。這里面有三個緊密關聯(lián)的環(huán)節(jié)，數(shù)據(jù)研發(fā)、數(shù)據(jù)治理和數(shù)據(jù)服務。數(shù)據(jù)研發(fā)，不僅僅指數(shù)據(jù)研發(fā)本身，更重要的時候?qū)崿F(xiàn)以數(shù)據(jù)快速開發(fā)為核心的數(shù)據(jù)全生命周期的管理；數(shù)據(jù)治理，已經(jīng)從傳統(tǒng)的一亂一治的被動的旁路方式進化到現(xiàn)在的主動式的在線模式，傳統(tǒng)模式不能深入到研發(fā)環(huán)節(jié)，現(xiàn)在關注持續(xù)的數(shù)據(jù)質(zhì)量改進和全要素數(shù)據(jù)監(jiān)控；數(shù)據(jù)服務，重點關注數(shù)據(jù)基礎設施和數(shù)據(jù)中臺能否把能力封裝成上層應用可以調(diào)用的服務或者產(chǎn)品。2、關注數(shù)據(jù)底座，批流一體or湖倉一體?數(shù)據(jù)域的存儲層面，一直在演進和變化，從數(shù)倉到數(shù)據(jù)湖再到現(xiàn)在比較流行的湖倉一體化，不管是湖上建倉還是倉邊建湖，都是為了實現(xiàn)更多類型數(shù)據(jù)的高效存儲和提取。湖倉一體領域的三巨頭，DeltaLake、Iceberg、Hudi，激戰(zhàn)正酣，勝負難料，沒有形成統(tǒng)一標準。而且現(xiàn)有的大多數(shù)湖倉一體架構，并不強調(diào)批流一體的概念，只是把湖倉在功能上整合在一起。這樣會導致一個問題，就是底層的存儲始終無法真正統(tǒng)一?，F(xiàn)在出現(xiàn)了一種新的思路，基于湖倉一體做流式湖倉，基于流式湖倉提供批流一體、開箱即用的元數(shù)據(jù)服務，實現(xiàn)大數(shù)據(jù)存儲層面的真正統(tǒng)一。3、數(shù)據(jù)治理，門道很多現(xiàn)在有數(shù)據(jù)平臺架構和建設思路，對數(shù)據(jù)治理關注嚴重不夠。從實際效果上看，跨層查詢戶導致查詢慢，指標不一致會導致數(shù)據(jù)結果和一致性的問題，這些的根源說到底還是數(shù)據(jù)質(zhì)量的問題。從現(xiàn)有的經(jīng)驗來看，數(shù)據(jù)治理除了依靠系統(tǒng)以外，還需要重視以下方面：全鏈路數(shù)據(jù)跟蹤監(jiān)測體系，從數(shù)據(jù)源、數(shù)據(jù)模型到數(shù)據(jù)應用的全鏈路監(jiān)控；構建數(shù)據(jù)質(zhì)量運維基線，根據(jù)任務要求建立合理的基線預警，對數(shù)據(jù)質(zhì)量問題早發(fā)現(xiàn)早處置；任務關聯(lián)性和影響性分析，有點像業(yè)務連續(xù)性里面的業(yè)務影響性分析，基