2022年度中國數(shù)智融合發(fā)展洞察

1、中國數(shù)智融合發(fā)展洞察摘要VUCA時代，市場變化加速。企業(yè)需要更加敏捷而準確的數(shù)智化決策，這些決策應當是分鐘級的而非 天級的，應當是基于全量數(shù)據(jù)的而非局部數(shù)據(jù)的，應當是基于準確數(shù)據(jù)的而非基于“臟數(shù)據(jù)”的，應 當是業(yè)務人員和數(shù)據(jù)分析人員任意發(fā)起的而非是通過復雜流程和多部門配合才能實現(xiàn)的。傳統(tǒng)的數(shù)倉或者湖倉分離架構讓數(shù)智融合和企業(yè)敏捷決策變得困難：數(shù)據(jù)孤島存在，決策無法基于全 量數(shù)據(jù)；數(shù)據(jù)來回流轉，成本高、周期長、時效差。基于存儲-緩存-計算分離，湖-倉-AI數(shù)據(jù)統(tǒng)一元 數(shù)據(jù)管理的Serverless，可在數(shù)據(jù)量、成本、效率、敏捷方面取得最優(yōu)解。開源為數(shù)智生態(tài)貢獻重要力量，但這不預示所有企業(yè)需通過開

2、源產(chǎn)品自建數(shù)智平臺。實際上，大多 企業(yè)聚焦自己核心業(yè)務，選擇性能穩(wěn)定、無須運維、數(shù)智融合、端到端自動化與智能化的商業(yè)化數(shù) 智平臺，ROI會更高。當然，平臺應與主流開源產(chǎn)品具有良好繼承性，如此，更加靈活開放，企業(yè) 的IT人才補給成本也更低。2中國數(shù)智融合發(fā)展背景31企業(yè)數(shù)智融合的痛點及應對2數(shù)智融合典型實踐3數(shù)據(jù)量和非結構化數(shù)據(jù)占比上升統(tǒng)一管理，統(tǒng)一查詢使用，成為新的挑戰(zhàn)全球數(shù)據(jù)量以59%以上的年增長率快速增長，其中80%是非結構化和半結構化數(shù)據(jù)，中國數(shù)據(jù)量的上升較全球更為迅速。 數(shù)據(jù)量和非結構化數(shù)據(jù)的上升，使得基于對象存儲的數(shù)據(jù)湖越來越為普及。此時，如何使用統(tǒng)一管理，統(tǒng)一查詢使用，成 為新的挑

3、戰(zhàn)。來源：中國電信招股說明書，艾瑞咨詢研究院整理及繪制。2015-2030年中國數(shù)據(jù)量規(guī)模及全球占比企業(yè)長期以來，受技術影響， 對結構化數(shù)據(jù)的利用率均高 于對非結構化數(shù)據(jù)的利用率。 但實際上，非結構化數(shù)據(jù)的 體量與其包含的信息量都更 多，是企業(yè)未得到充分利用 的寶貴資產(chǎn)。結構化 數(shù)據(jù), 70%據(jù), 30%3124917523.2%23.6%27.8%28.8%20152020中國年數(shù)據(jù)量（ZB）2025e2030e中國年數(shù)據(jù)量全球占比（%）僅占20%，其余80%都是以文 件、語音、圖片等形式存在的 非結構化數(shù)據(jù)。且非結構化數(shù) 據(jù)的增速遠遠高于結構化數(shù)據(jù)， 隨著時間的推移,非結構化數(shù)據(jù) 所占的比

4、例將會越來越高。非結構化 非結構化數(shù)4數(shù)據(jù), 80%企業(yè)內(nèi)結構化數(shù)據(jù)與非結構化數(shù)據(jù)占比及使用情況結構化 數(shù)據(jù),在企業(yè)的數(shù)據(jù)中，結構化數(shù)據(jù)20%數(shù)據(jù)多源異構成為常態(tài)數(shù)據(jù)從“匯聚才可被用”到“鏈接即可被用”在傳統(tǒng)數(shù)倉中，多源數(shù)據(jù)經(jīng)ETL過程并集中入倉，方可被使用。該方式有許多不足：第一，因有復雜的ETL過程及大量數(shù) 據(jù)的傳輸，數(shù)據(jù)實時性難以保障，因此分析常必須T+1才可完成；第二，數(shù)據(jù)的全量存儲和存儲成本之間難以取舍，因此 必須提前抉擇保留哪些數(shù)據(jù)，隨著數(shù)據(jù)種類的逐漸增多，這很難做到；第三，對于異常值的下鉆、回溯等，無法回溯到最 為原始的數(shù)據(jù)。隨著應用場景的增多，數(shù)據(jù)庫的種類也逐漸豐富，如更適應物

5、聯(lián)網(wǎng)場景的時序數(shù)據(jù)庫、更適應知識譜圖應 用的圖數(shù)據(jù)庫，等等。綜上，多源異構、分布存儲、現(xiàn)用現(xiàn)傳、統(tǒng)一查詢與應用的架構，逐漸被敏捷型企業(yè)認可。數(shù)據(jù)倉庫vs數(shù)據(jù)湖vs湖倉一體數(shù)據(jù)庫的多源性BI報表結構化/半 結構化數(shù)據(jù)ETL數(shù)據(jù)倉庫結構化/半 結構化/非 結構化數(shù)據(jù)數(shù) 據(jù) 處 理BI報表數(shù)據(jù)湖數(shù)倉集群 數(shù)湖集群統(tǒng)一資源池計算層存儲層計算層存儲層存算分離，彈性擴展接口BI報表數(shù)據(jù)倉庫vs湖倉一體數(shù)據(jù)湖vs湖倉一體“湖倉一體”作為數(shù)據(jù)處理統(tǒng) 一底座，提供實時處理多引擎、 多數(shù)據(jù)類型能力，避免數(shù)據(jù)移 動建模，降低數(shù)據(jù)處理的成本?！昂}一體”彌補Hadoop下 數(shù)據(jù)湖實時數(shù)據(jù)處理的缺失， 降低事后數(shù)據(jù)治理

6、難度，提升 了大數(shù)據(jù)應用性能。公有云1公有云2私有云虛擬機物理機OracleDB2達夢開源Open GaussMySQLPostgre SQL部署性能容量資源管理 監(jiān)控巡檢高可用關系型安全性非關系型Reids一站式數(shù)據(jù)庫管理5大數(shù)據(jù)的5V價值有待進一步釋放來源：艾瑞咨詢研究院根據(jù)公開資料整理。大數(shù)據(jù)5V特征TB級記錄/日志事務表&文件可從平臺性工具入手，進而解決思維和技能的問題大數(shù)據(jù)產(chǎn)業(yè)作為以數(shù)據(jù)生成、采集、存儲、加工、分析、服務為主的戰(zhàn)略性新興產(chǎn)業(yè)，提供全鏈條技術、工具和平臺，孕 育數(shù)據(jù)要素市場主體，深度參與數(shù)據(jù)要素全生命周期活動，是激活數(shù)據(jù)要素潛能的關鍵支撐，是數(shù)據(jù)要素市場培育的重要 內(nèi)容

7、。目前，大數(shù)據(jù)產(chǎn)業(yè)仍存在數(shù)據(jù)壁壘突出、碎片化問題嚴重等瓶頸約束，大數(shù)據(jù)容量大、類型多、速度快、精度準、 價值高的5V特性未能得到充分釋放。這其中既有思維、技能的要素，又有工具的要素，三者也并非割裂存在，一般來說， 性能穩(wěn)定、簡單易用的全鏈條平臺工具有助于消除思維的“不敢”和技能的“不會”，化解掉5V特性釋放的原始阻力，使 得大數(shù)據(jù)更加普適化。大數(shù)據(jù)5V特性速度（Velocity）數(shù)量（Volume）批處理實時多進程數(shù)據(jù)流價值（Value)統(tǒng)計學事件性相關性假設性種類（Variety）結構化非結構化多因素概率性真實性（Veracity）6可信性真?zhèn)涡詠碓?信譽有效性可審計性云原生：從微服務走向S

8、erverless來源：華為serverless核心技術與實踐，艾瑞咨詢研究院整理及繪制。來源： 華為serverless核心技術與實踐 ，艾瑞咨詢研究院整理及繪制。 微服務開發(fā)/DevOpsKubernetes集群DevOps虛擬機基礎設施運維團隊計算，存儲，網(wǎng)絡云供應商從PaaS到FaaS，基礎設施被更深層次地托管和“屏蔽”當前，微服務的生態(tài)和實踐已經(jīng)比較成熟，其設計方法、開發(fā)框架、CI/CD工具、基礎設施管理工具等，都可以幫助企業(yè) 順利實施，然而其仍有許多不足：（1）粒度仍然比較大。（2）開發(fā)仍有較高門檻。（3）微服務基礎設施管理、高可用 和彈性仍然很難保證。（4）基礎設施的成本依然較高

9、。而Serverless中，開發(fā)者不再需要將時間和資源花費在服務器調(diào) 配、維護、更新、擴展和容量規(guī)劃上，這些任務都由平臺處理，開發(fā)者只需要專注于編寫應用程序的業(yè)務邏輯。如果再結 合低零代碼，則 “編寫應用程序”的難度也大為降低，企業(yè)內(nèi)的技術人員更加貼近業(yè)務。微服務中，大量運維仍未被托管典型的serverless架構HTTP請求API網(wǎng)關 消息列隊定時器IoT觸發(fā)器事件FaaS 控制器事件異步/同步函數(shù)實例 容器FaaS平臺函數(shù)編程模型def handler(event,context)event context云存儲身份認證消息隊列.7消息隊列API網(wǎng)關BaaS平臺人工智能：需要大規(guī)模準確數(shù)據(jù)

10、哺育數(shù) 據(jù) 治 理 的 需 求 傳 導人工智能應用引發(fā)數(shù)據(jù)治理需求企業(yè)在部署AI應用時，數(shù)據(jù)資源的優(yōu)劣極大程度決定了AI應用的落地效果。因此，為推進AI應用的高質(zhì)量落地，開展針對 性的數(shù)據(jù)治理工作為首要且必要的環(huán)節(jié)。而對于企業(yè)本身已搭建的傳統(tǒng)數(shù)據(jù)治理體系，目前多停留在對于結構性數(shù)據(jù)的治 理優(yōu)化，在數(shù)據(jù)質(zhì)量、數(shù)據(jù)字段豐富度、數(shù)據(jù)分布和數(shù)據(jù)實時性等維度尚難滿足AI應用對數(shù)據(jù)的高質(zhì)量要求。為保證AI應 用的高質(zhì)效落地，企業(yè)仍需進行面向人工智能應用的二次數(shù)據(jù)治理工作。AI應用對數(shù)據(jù)治理需求AI應用的數(shù)據(jù)要求基于AI應用的數(shù)據(jù)治理需求接入實時性數(shù)據(jù)AI模型需納入實時數(shù)據(jù)，構建批流一 體的數(shù)據(jù)聚合計算模式

11、數(shù)據(jù)融合&質(zhì)量優(yōu)化多個數(shù)據(jù)源下的數(shù)據(jù) 內(nèi)容不一致等問題； 缺失值、缺失字段； 錯誤值、異常樣本；特征工程融合結構化數(shù)據(jù)、半結 構化數(shù)據(jù)和非結構化數(shù) 據(jù)，進行以AI應用為目 的特征工程接入多源異構數(shù)據(jù)源挖掘企業(yè)內(nèi)外部信息，納入結構化數(shù)據(jù)、 半結構化數(shù)據(jù)和非結構化數(shù)據(jù)，提升與 AI模型相關的數(shù)據(jù)積累。數(shù)據(jù)訓練規(guī)模 擴張，數(shù)據(jù)類型異構，數(shù)據(jù)噪聲指數(shù)級 增加，對此建立針對性的數(shù)據(jù)治理體系數(shù)據(jù)規(guī)模傳統(tǒng)數(shù)據(jù)治理多以人為面向對象，基于有限數(shù)據(jù)容量進行聚 合類信息展示，AI可接納數(shù)據(jù)量遠遠大于人所接納的數(shù)據(jù)量 和信息量，且可用高質(zhì)量數(shù)據(jù)越多，模型質(zhì)量和準確性越好。數(shù)據(jù)類型AI應用，尤其是知識圖譜搭建，需要大量

12、半結構化和非結構 化數(shù)據(jù)支持來開展工作。因此AI應用在結構化數(shù)據(jù)基礎上， 將半結構化或非結構化數(shù)據(jù)納入數(shù)據(jù)源并支持上層分析應用。數(shù)據(jù)質(zhì)量AI模型對數(shù)據(jù)高度敏感，其質(zhì)量優(yōu)劣極大程度影響AI模型的 應用效果， 因此AI 數(shù)據(jù)源需極力規(guī)避“ garbage in ， garbage out”的問題發(fā)生，多維度的質(zhì)量檢查成為必修課。數(shù)據(jù)實時性AI模型對實時性要求高，大部分應用需基于實時數(shù)據(jù)實現(xiàn)分 析、推薦和預警等目的，支持AI應用的數(shù)據(jù)源更強調(diào)具備實 時性接入能力。8業(yè)務敏捷需要IT架構“去過程化”通過抽象解耦、水平擴展、自動化與智能化實現(xiàn)去過程化VUCA時代，市場變化加速，通過數(shù)據(jù)來分析和決策的需求

13、，也有了更高的不確定性。當這些需求提出，通過一套復雜的 IT流程和漫長的等待，變得不再現(xiàn)實，IT架構的去過程化變得極為重要。去過程化是指減少或完全去掉原始數(shù)據(jù)/原子能 力與業(yè)務需求之間的中間數(shù)據(jù)/步驟，或使中間數(shù)據(jù)/步驟無須人為干預，自動化、智能化完成。其可實現(xiàn)架構的簡單化、 扁平化，同時可對業(yè)務需求實時響應，以進一步實現(xiàn)敏捷和創(chuàng)新。架構一開始就放棄“精細梳理方可使用”以及“梳理完 成千萬別動”思想 ，用全量原始數(shù)據(jù)保障讀時模式，有助于打破“僵”與“亂”的悖論，使得企業(yè)用更少的“能量” 便 可以維持數(shù)字化系統(tǒng)的持續(xù)運行。去過程化四大支撐原始非結構化數(shù)據(jù)結構化數(shù)據(jù)處理原子能力數(shù)據(jù)模型低/無代碼應

14、用人用數(shù)/產(chǎn)數(shù)物聯(lián)網(wǎng)應用設備用數(shù)/產(chǎn)數(shù)敏捷BI人看數(shù)/用數(shù)智能的 計算層/處理層統(tǒng)一的 數(shù)據(jù)層/存儲層低代碼/無代碼 敏捷BIGraphQL/JsonAPI-統(tǒng)一查詢語言 統(tǒng)一接口統(tǒng)一角色與權限-微服務 泛化模型 智能決策-冷熱溫數(shù)據(jù)分層 RDMA存算分離對象存儲/數(shù)據(jù)湖 數(shù)據(jù)倉庫湖倉一體抽象與解耦將IT架構抽象成存儲、處理、應用三層，處理層 又拆分成原子能力和數(shù)據(jù)模型，當不確定的需求 來臨，現(xiàn)將數(shù)據(jù)、能力、展現(xiàn)與應用形式進行組 合進行處理。穩(wěn)定且可水平擴展的基礎設施應用的敏來自于基礎的穩(wěn)，上層的簡來自于底層 的繁，基礎設施穩(wěn)定性更加重要。高性能計算與網(wǎng)絡存算分離和讀時模式往往存在更多的重復數(shù)

15、據(jù)傳 輸與計算，對網(wǎng)絡和計算要求更高。自動化與智能化通過智能化完成基礎性能優(yōu)化，降低硬件壓力或 硬件成本；通過智能化完成部分過程的自動化， 從而屏蔽“人”視角下的該過程。9去過程化分層示例相關標簽敏捷的 展現(xiàn)交互層/應用層1102數(shù)智融合典型實踐3企業(yè)數(shù)智融合的痛點及應對中國數(shù)智融合發(fā)展背景痛點一：數(shù)據(jù)量-成本-效率難以兼得不可能三角需要更高維的技術去打破在傳統(tǒng)架構中，數(shù)據(jù)量、存儲成本和計算效率是一組不可能三角。如果不考慮數(shù)據(jù)量和數(shù)據(jù)類型，那么一個傳統(tǒng)的數(shù)倉或 者單體的DBMS即可滿足；不考慮計算效率，那么基于HDFS或者公有云對象存儲即可滿足，當下價格僅約0.1元/G/月， 并持續(xù)下降，歸檔

16、存儲等價格更低；不考慮存儲成本，可使用非易失性存儲，其擁有一般硬盤的無限容量和斷電保護特性， 卻有接近于內(nèi)存的性能。傳統(tǒng)架構下數(shù)據(jù)量、存儲成本和計算效率的不可能三角存儲成本11數(shù)據(jù)量對象存 儲計算效率數(shù)倉SCM？應對一：存儲-緩存-計算三層分離以內(nèi)存為中心的架構，在大數(shù)據(jù)量下降低成本、保持性能為了使數(shù)據(jù)充分共享，降低均攤成本且打破數(shù)據(jù)孤島，存算分離架構產(chǎn)生，存儲和計算各自彈性伸縮，按需使用。但此時，因存儲拉遠，IO成為瓶頸，性能有所下降，因此需要緩存層來存儲高IO的熱數(shù)據(jù)，并最終形成以內(nèi)存為中心的架構。從必要性看，以計算為中心架構已經(jīng)無法適應當前數(shù)據(jù)生態(tài)發(fā)展：數(shù)據(jù)方面，大數(shù)據(jù)、人工智能等以數(shù)據(jù)

17、為中心的工作負 載快速發(fā)展；云方面，數(shù)據(jù)湖存算分離架構存儲訪問性能低，不支持實時分析。從可行性看，介質(zhì)、網(wǎng)絡、協(xié)議的高速發(fā) 展驅動架構轉型：SCM填補了內(nèi)存縱向擴展的介質(zhì)空白；緩存一致性標準的爭奪進入白熱化；高速內(nèi)存直連協(xié)議及技術（如華為1520，InfiniBand，Converged Ethernet）使得內(nèi)存的遠程直接訪問不再是障礙。以內(nèi)存為中心的系統(tǒng)架構示意圖以內(nèi)存為中心的架構技術優(yōu)勢存儲池磁盤磁盤計算（內(nèi)存中心架構）CPUCPUCPU緩存緩存緩存RDMA，加載/存儲內(nèi)存內(nèi)存內(nèi)存核心價值與技術優(yōu)勢12性能：內(nèi)存密集型和分布式應用減少數(shù)據(jù)搬運/拷貝、提升性能HPE以內(nèi)存為中心系統(tǒng)提升Sp

18、ark性能15倍HPE分布式圖計算場景性能提升128倍MemVerge分級大內(nèi)存提升深度學習性能20倍成本：內(nèi)存池化和升級內(nèi)存池化提升內(nèi)存資源利用率通過更低成本的SCM獲得大容量內(nèi)存擴展能力故障解耦合：CPU和內(nèi)存的故障不相互影響彈性增強：CPU和內(nèi)存可獨立擴縮容痛點二：倉-湖-AI數(shù)據(jù)形成新孤島數(shù)倉數(shù)據(jù)湖AI數(shù)據(jù)隔離數(shù)倉數(shù)據(jù)湖AI數(shù)據(jù)網(wǎng)絡成本 時間成本要么隔離，要么遷移，均無法適應全量、敏捷、低成本需求數(shù)據(jù)分析和AI分析經(jīng)過多年的發(fā)展，出現(xiàn)了很多面向不同任務的專用數(shù)據(jù)系統(tǒng)：數(shù)倉系統(tǒng)處理結構化數(shù)據(jù)，規(guī)模不夠大； 基于對象存儲的大數(shù)據(jù)系統(tǒng)處理海量數(shù)據(jù)和非結構化數(shù)據(jù)；AI系統(tǒng)一般是數(shù)據(jù)存儲在本地。

19、這些專用系統(tǒng)要么無法打通， 形成新的數(shù)據(jù)孤島，要么不同業(yè)務的開發(fā)要遷移數(shù)據(jù)，耗費存儲和網(wǎng)絡資源，數(shù)據(jù)準備慢、等待周期長，且面臨后期數(shù)據(jù) 不一致的風險，發(fā)現(xiàn)異常時數(shù)據(jù)的下鉆、溯源等也相對困難，無法適應市場環(huán)境快速變化下敏捷數(shù)據(jù)分析的需求。數(shù)倉、數(shù)據(jù)湖和AI數(shù)據(jù)形成新的數(shù)據(jù)孤島數(shù)據(jù)遷移導致副本增多、資源浪費、管理困難13應對二：統(tǒng)一元數(shù)據(jù)到中心節(jié)點基于數(shù)據(jù)庫的數(shù)倉關系型非關系型圖型時序型數(shù)據(jù)湖14基于Hadoop HDFS的基于公有云對象存儲的Master節(jié)點：統(tǒng)一元數(shù)據(jù)(目錄/數(shù)據(jù)權限/事務一致性/多版本管理）AI數(shù)據(jù)大數(shù)據(jù)任務機器學習任務其他應用和任務Master-Slave架構，以集中管理代

20、替集中存儲把數(shù)倉、數(shù)據(jù)湖、AI數(shù)據(jù)的目錄、數(shù)據(jù)權限、事務一致性、多版本管理等能力都統(tǒng)一到一個中心點，依賴于這個中心點來 訪問數(shù)據(jù)，這樣數(shù)據(jù)的利用就不會被孤立的系統(tǒng)束縛。這種分布式存儲，統(tǒng)一管理的Master-Slave架構，類似于計算領 域的Mapreduce。這種方式：首先，可以打破數(shù)據(jù)孤島、讓一份數(shù)據(jù)在多個引擎間自由共享，例如同一個表格可以被不 同的分析工具做分析，既可以跑數(shù)倉任務，也可以做大數(shù)據(jù)和機器學習任務，不同的用戶角色不管用什么工具訪問數(shù)據(jù)， 都有一致的權限，一致的事務控制；其次，可以避免數(shù)據(jù)來回遷移而造成資源的浪費；再次，任何環(huán)節(jié)都可以看到自己權 限下的全量數(shù)據(jù)，例如ML工程師可

21、以利用整個數(shù)據(jù)湖的數(shù)據(jù)做特征訓練；最后，所有模型均基于唯一事實來源（原始數(shù) 據(jù)），避免不同團隊基于不同數(shù)據(jù)分析造成結果不一致，且一旦發(fā)現(xiàn)異?？梢员憬莸叵裸@、回溯。統(tǒng)一元數(shù)據(jù)示意圖痛點三：開源產(chǎn)品豐富，但開發(fā)運維難開發(fā)成本高，運維成本高，技術與時俱進難，風險大盡管在云、數(shù)、智體系下，開源產(chǎn)品極為豐富，但企業(yè)安全、穩(wěn)定地駕馭，TCO并不低。在開發(fā)上，企業(yè)一般需花費20- 1000人力年的時間，不能滿足業(yè)務敏捷性；在運維上，人工運維，事后補救，宕機頻繁，耗時耗力；在技術更新上，開 發(fā)人員難以與時俱進，資源浪費嚴重；在IT風險上，企業(yè)將面對IT團隊自身的風險（復雜架構下，團隊離職無人接手）以 及開源產(chǎn)

22、品的漏洞風險（如log4j4漏洞事件），還可能面對因經(jīng)驗不足選型錯誤的風險；在體驗上，因產(chǎn)品自產(chǎn)自用，復 用率低，技術團隊一般只保障基礎需求，對于降低業(yè)務人員使用難度、提升使用體驗的附加性需求響應度低。并且，這些 基礎的開發(fā)、運維等，與企業(yè)核心業(yè)務常無必然聯(lián)系，并不會帶來企業(yè)核心競爭力的提升，導致企業(yè)數(shù)智化的ROI較低。企業(yè)利用開源產(chǎn)品自行搭建數(shù)智平臺面臨的困難開發(fā)花費20-1000人力 年時間，不能滿足 業(yè)務敏捷性15運維人工運維 事后補救 宕機頻繁 耗時耗力技術更新開發(fā)人員難以 與時俱進，資 源浪費嚴重IT風險IT團隊自身風險； 開源產(chǎn)品漏洞風險； 經(jīng)驗不足選型錯誤 風險體驗產(chǎn)品復用率低；

23、 只保障基礎需求， 附加性需求響應 度低應對三：DataOps和MLOps融合ServerlessLowcodeNocodeSaaS享受成熟產(chǎn)品的紅利，兼顧與開源產(chǎn)品的繼承和包容性企業(yè)在數(shù)智化選型中，應首先明確自身的核心競爭力和能力邊界，摒棄“重即好”思想，以更加輕盈的Serverless、 Lowcode/Nocode、SaaS等方式享受社會分工和先進技術的紅利。以數(shù)智融合為例，拋開IaaS層，企業(yè)自研還需掌握 Kubernetes+Docker生態(tài)、Java+Hadoop生態(tài)、Python+Pytorch/Tensorflow生態(tài)、SQL生態(tài)即便成功對接，往往 也離好用、敏捷相去甚遠，最終

24、往往只形成指標長期不變的靜態(tài)報表。而與此同時，業(yè)界已存在較為領先的一站式數(shù)智平 臺，讓數(shù)據(jù)工程師甚至業(yè)務人員以簡單、熟悉的工具/語言，甚至拖拉拽即可在全域數(shù)據(jù)內(nèi)使用預置AI算法，打通大數(shù)據(jù) 和人工智能，使得DataOps和MLOps融合，使數(shù)據(jù)和模型的開發(fā)成本大為降低，周期大為縮短。企業(yè)選擇基于開源產(chǎn)品自研，不少時候是出于一種怕被“綁架”的防御心態(tài)，以化解供應商倒閉或漲價等風險。為此，企 業(yè)可從供應商綜合實力，與開源產(chǎn)品的包容度和繼承性等方面綜合考慮，做到可組可分，靈活裝配。將大數(shù)據(jù)和人工智能打通的DataOps和MLOps簡單、易用、全局能力調(diào)用靈活裝配產(chǎn)品與開源產(chǎn)品包容度產(chǎn)品與開源產(chǎn)品繼承

25、性供應商綜合實力實現(xiàn)可組可 分，抵抗供 應商倒閉或 漲價等風險16痛點四：數(shù)據(jù)準備工作復雜低效來源： Data-preparation-labeling-for-ai-2020, Cognilytica.數(shù)據(jù)長生命周期決定了其復雜性數(shù)據(jù)質(zhì)量至關重要，錯誤數(shù)據(jù)致使企業(yè)做出錯誤決策。數(shù)據(jù)的生成、采集、存儲、加工、分析、服務、安全、應用長生命 周期，使得數(shù)據(jù)的準備工作復雜、低效。例如，數(shù)據(jù)工程師開發(fā)大量的ETL任務，依賴大量算力資源，運行成本高，作業(yè) 管理復雜，時間周期長，而此時數(shù)據(jù)分析師和AI開發(fā)者都需要等待ETL任務執(zhí)行完，才能做相應的分析工作和建模工作。 Cognilytica調(diào)研顯示，機器學

26、習中，超過80%的時間都用于數(shù)據(jù)的準備，預示著大量的數(shù)據(jù)工作其實與企業(yè)的經(jīng)營目標 并不相關，只是不得以而為之。并且，當任務不能便捷地執(zhí)行和即時的反饋，偏業(yè)務側的數(shù)據(jù)分析師常主動放棄“不太重 要的”需求和對數(shù)據(jù)的深入探索。顯然，這些都不符合企業(yè)數(shù)智化轉型的真正目標。機器學習中數(shù)據(jù)準備工作的時間分配數(shù)據(jù)清洗, 25%17數(shù)據(jù)標簽, 25%數(shù)據(jù)增強, 15%模型訓練, 10%數(shù)據(jù)集, 10%算法優(yōu)化, 3%數(shù)據(jù)識別, 5%模型調(diào)優(yōu), 5%模型運行, 2%應對四：端到端的自動化與智能化低零代碼實現(xiàn)自動化，AI反哺數(shù)據(jù)實現(xiàn)智能化實現(xiàn)數(shù)據(jù)應用的敏捷化和去過程化，需要在整個數(shù)據(jù)鏈條的端到端實現(xiàn)自動化和智能化

27、。自動化一般用低/零代碼實現(xiàn)： 一方面可以屏蔽軟硬件差異和復雜的底層技術，以便于理解的拖拉拽和少量代碼，來降低使用門檻；另一方面，可以基于 規(guī)則，配置自動化的工作流，以ifttt的方式減少重復工作量。智能化是指基于半監(jiān)督或無監(jiān)督的學習，自動發(fā)現(xiàn)數(shù)據(jù)管理 中的規(guī)則，在Data4AI的同時，實現(xiàn)AI4Data，目前人工智能已經(jīng)用于數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量、數(shù)據(jù)建模、數(shù)據(jù)安全與訪問 控制、數(shù)據(jù)關聯(lián)、數(shù)據(jù)洞察等多個場景中。另外，低/零代碼常和人工智能結合使用：將人工智能的統(tǒng)計意義上的規(guī)則， 融入到低/零代碼的邏輯化的流程中。人工智能在數(shù)據(jù)管理中的應用（AI4Data）主數(shù)據(jù)管理數(shù)據(jù)安全基于機器學習，確定數(shù)據(jù)

28、閾 值。對完整性、規(guī)范性、一致性、 準確性、唯一性、時效性進 行檢查。臟數(shù)據(jù)自動識別訂正。數(shù)據(jù)質(zhì)量檢查元數(shù)據(jù)管理利用聚類和知識圖譜確定實體間關系。利用知識圖譜等進行數(shù)據(jù)血緣分析。人工智能幫助企業(yè)識別主數(shù)據(jù)。人工智能幫助定義和 維護數(shù)據(jù)匹配規(guī)則。人工智能實現(xiàn)對非結 構化數(shù)據(jù)的采集和關 鍵信息的提取。人工智能幫助維護元數(shù)據(jù)。人工智能幫助實現(xiàn)元數(shù)據(jù)的整合。隱私級自動標注。數(shù)據(jù)傳輸監(jiān)控。數(shù)據(jù)模型管理1811923中國數(shù)智融合發(fā)展背景企業(yè)數(shù)智融合的痛點及應對數(shù)智融合典型實踐華為云DataArts+ModelArts來源：華為云，艾瑞咨詢研究院整理及繪制來源：華為云，艾瑞咨詢研究院整理及繪制獨家創(chuàng)新架構：

29、兼顧成本與性能，實現(xiàn)統(tǒng)一管理、一數(shù)多用， 數(shù)智融合實現(xiàn)敏捷用數(shù)，全流程實現(xiàn)自動化與智能化華為云通過DataArts和ModelArts融合架構，打通了大數(shù)據(jù)和人工智能。統(tǒng)一了元數(shù)據(jù) ，使得一數(shù)多用，打破數(shù)據(jù)孤島，同時避免數(shù)據(jù)來回遷移。存儲-緩存-內(nèi)存三層分離，兼顧存儲成本和計算性能。DataQps和MLOps結合 ，讓企業(yè)不同部 門、不同角色可以以擅長的方式敏捷用數(shù)。低零代碼和人工智能反哺數(shù)據(jù)（AI4Data） , 使得全流程實現(xiàn)自動化與智能化。華為云數(shù)智融合平臺創(chuàng)新架構華為云數(shù)智融合平臺核心價值核心痛點核心價值數(shù)據(jù)持有 成本高， 業(yè)務響應 不及時數(shù)據(jù)系統(tǒng) 不互通， 數(shù)據(jù)孤島 現(xiàn)象嚴重數(shù)據(jù)使用

30、 仍有門檻 高、碎片 化等技術 瓶頸約束DataOps統(tǒng)一元數(shù)和MLOps據(jù)，架構融合，不簡單，一同角色各數(shù)多用用所長，各取所需數(shù)據(jù)治理 難度大、 耗時長， 最終效果 不佳全流程的 自動化和 智能化， 讓繁重的 數(shù)據(jù)治理 變得簡單三層分離， 兼顧成本 與性能表格20OBS數(shù)據(jù)湖存儲數(shù)據(jù)集模型統(tǒng)一目錄DataArts LakeFormation數(shù)倉、數(shù)據(jù)湖、AI的元數(shù)據(jù)統(tǒng)一管理統(tǒng)一權限統(tǒng)一事務統(tǒng)一索引DataArts生產(chǎn)線數(shù)據(jù)集成數(shù)據(jù)架構數(shù)據(jù)開發(fā)數(shù)據(jù) 質(zhì)量數(shù)據(jù)目錄數(shù)據(jù)服務數(shù)據(jù)安全MRSDLIDWSSQL中嵌入推HadoopServerless數(shù)據(jù)倉庫理，提供預測生態(tài)數(shù)據(jù)數(shù)據(jù)分析型分析分析數(shù)據(jù)標注

31、ModelArts生產(chǎn)線數(shù)據(jù)處理模型訓練模型評估應用生成應用評估推理部署服務檢測數(shù)據(jù)校驗特征計算模型訓練（MA內(nèi)置算法）模型編譯SQL中嵌入訓 練，入庫觸發(fā) AI生產(chǎn)線華為云DataArts+ModelArts軟硬融合，行業(yè)實踐經(jīng)驗和開源生態(tài)結合另外，華為云在軟硬融合、行業(yè)實踐經(jīng)驗和開源生態(tài)方面，也具有一定優(yōu)勢：在軟硬融合方面，華為云對計算、存儲和網(wǎng) 絡的底層技術更為擅長，例如，在內(nèi)存池化的關鍵技術之一RDMA的專利申請數(shù)量上，華為具有明顯優(yōu)勢。在行業(yè)實踐 經(jīng)驗上，華為云一直秉承“一切皆服務”的原則，深扎行業(yè)，在互聯(lián)網(wǎng)和傳統(tǒng)政企方面均積攢了大量實踐經(jīng)驗，并把這些 經(jīng)驗返回、沉淀到產(chǎn)品中。在開源

32、生態(tài)方面，華為云在Hadoop和Spark社區(qū)中貢獻度均較高，這使得華為云對這些開源 產(chǎn)品在安全、穩(wěn)定性等方面有著更深的技術理解，同時使得DataArts對這些開源產(chǎn)品的主流版本的兼容性更好。來源：華為云，艾瑞咨詢研究院整理及繪制。來源： 智慧芽專利數(shù)據(jù)庫，艾瑞咨詢研究院整理及繪制。 118225321213922211919華為亞馬遜阿里浪潮騰訊新華三百度海量數(shù)據(jù)7218765.55.5554.54.5ClouderaHuaweiIntelYahooincSalesforceMicrosoftDuboceXiamoiWandouNttdata華為在開源社區(qū)的貢獻度高性能RDMA網(wǎng)卡技術專利數(shù)

33、量2015-2021.04 Hadoop社區(qū)貢獻全球No.2，國內(nèi)No.1821432.52.521.81.51DatabricksClounderaIntelHuaweiIBMNtt DataAppierMeituanHotmailAlpinedata282015-2021.04 Spark社區(qū)貢獻全球No.4，國內(nèi)No.1IT服務業(yè)（1/2）IT咨詢前期：包括需求定義、產(chǎn)品選型、方案設計、落地 培訓等咨詢服務。IT培訓運維升級后期：基礎架構及軟硬件產(chǎn)品的維護和升級迭代；數(shù)據(jù)處理等面向業(yè)務的 IT運營服務。運維管理定制開發(fā)系統(tǒng)集成部署交付 中期：根據(jù)客戶需求提供二次開發(fā)、集成、測試等 具體的

34、實施服務。22數(shù)智融合助力IT服務商降本增效提質(zhì)IT服務行業(yè)范圍較廣，包括前期的IT咨詢與培訓，中期的定制開發(fā)、系統(tǒng)集成、部署實施，后期的IT運維升級、IT運營管 理，以及貫穿全程的IT安全保障等。對于IT服務企業(yè)而言，隨著業(yè)務量增長，普遍面臨“數(shù)據(jù)基數(shù)龐大，搬遷上云 難”“數(shù)據(jù)持有成本高”“數(shù)據(jù)治理不佳，形成數(shù)據(jù)孤島”“產(chǎn)品開發(fā)技術門檻高，運維成本高，存在安全隱患”“數(shù)據(jù) 準備工作復雜，難以聚焦業(yè)務本身”等問題。數(shù)智融合下的存算分離、元數(shù)據(jù)統(tǒng)一、DataOps 和 MLOps融合、端到端 的自動化與智能化等創(chuàng)新技術，幫助開發(fā)人員實現(xiàn)所想即所得，助力IT服務企業(yè)實現(xiàn)降本增效、業(yè)務創(chuàng)新、提升客戶

35、滿意 度，從而在產(chǎn)業(yè)發(fā)展轉折點抓住市場機會，實現(xiàn)企業(yè)品牌質(zhì)的飛躍。IT服務業(yè)環(huán)節(jié)IT服務業(yè)發(fā)展痛點vs數(shù)智融合1. 數(shù)據(jù)體量大，存儲成本高，算力要求高，運維開銷大“存儲+緩存+計算”三層分離架構提供存算性能的彈性伸縮和按 需使用，通過serverless模式實現(xiàn)秒級彈性擴縮容和管理運維全托 管，滿足IT服務業(yè)存算性能的同時降低運維開銷。2. 數(shù)據(jù)治理不佳，數(shù)據(jù)在系統(tǒng)間流轉不暢，形成數(shù)據(jù)孤島人工智能算法模型應用到數(shù)據(jù)全生命周期治理，通過對元數(shù)據(jù)的 統(tǒng)一管理，解決傳統(tǒng)數(shù)據(jù)分析和AI模型之間“數(shù)據(jù)搬家”的問題， 實現(xiàn)數(shù)據(jù)在不同引擎間的自由流動，消除數(shù)據(jù)孤島。3. 產(chǎn)品開發(fā)門檻高，數(shù)據(jù)準備耗時長，難以

36、聚焦業(yè)務本身低/無代碼的集成開發(fā)平臺，為使用者屏蔽底層技術，同時將AI能 力植入到數(shù)據(jù)開發(fā)過程，將能力服務化、技術組件化，通過分層 解耦和復用，即插即用，敏捷交付，降低開發(fā)與運維成本。IT服務業(yè)（2/2）來源：夢餉集團，艾瑞咨詢研究院整理及繪制。數(shù)智融合在IT服務企業(yè)的落地夢餉集團定位于新電商基礎設施提供商，提供基于SaaS店鋪工具外加一體化商品與服務結合的供應鏈解決方案，旗下餉 店以去中心化的品牌特賣平臺，擁有超百萬店主，月交易總額達10億人民幣；愛庫存提供國際化庫存交易供應鏈平臺。 隨著業(yè)務增長，公司遇到“云遷移難，數(shù)據(jù)持有成本高、數(shù)據(jù)治理差、產(chǎn)品開發(fā)門檻高，開發(fā)周期長且后期運維成本高 “

37、等難題。依托華為云在行業(yè)市場的云遷移經(jīng)驗和豐富的服務和工具，實現(xiàn)高效、穩(wěn)定、可靠的云遷移；通過存算分離技 術，實現(xiàn)秒級彈性擴縮容，降低用數(shù)成本；通過端到端的自動化和智能化，將AI算法模型應用到數(shù)據(jù)全生命周期治理，為 AI開發(fā)提供高質(zhì)量數(shù)據(jù)；通過DataOps 和 MLOps融合，使大數(shù)據(jù)開發(fā)和AI開發(fā)協(xié)同，降低開發(fā)門檻，聚焦業(yè)務本身。 華為云一體化解決方案為夢餉集團帶來“資源高效”、“應用敏捷”、“業(yè)務智能”、“安全可信”等多方面的智能升級。云原生數(shù)據(jù)智能一體化解決方案實時分析50%Severless 秒 級擴容縮TCO 下降存算分離資源利用率：70%OBS流批交互一體 100萬QPSDLID

38、WSCSSModelArts數(shù)據(jù)管理 專題分析 挖掘建模 實時報表瀏覽軌跡活動預測推薦排序爆發(fā)式成長秒殺大促擁海量數(shù)據(jù)長持數(shù)據(jù)自主數(shù)據(jù)開發(fā)容器化改造自主創(chuàng)新引流聚數(shù)促銷量穩(wěn)流量在業(yè)務無感知下，優(yōu)化性能，降低延時數(shù)據(jù)分析支撐從報表統(tǒng)計到實時可預測降低存儲、計算、運維成本，降低開發(fā)門檻企業(yè)需求解決方案基于MySQL內(nèi)核優(yōu)化進行優(yōu)化改進云原生容器化改造和lakehouse存算分離AI能力調(diào)用，AI開發(fā)與數(shù)據(jù)開發(fā)協(xié)同實現(xiàn)價值23QPS吞吐量提升1倍，時延降低約33%TCO下降30%，實時分析能力提升近50%運維效率提升50%網(wǎng)約車行業(yè)（1/2）車輛供應商上游：車輛及技術供應商。技術供應商第三方網(wǎng)約車平

39、臺中游：網(wǎng)約車服務商。網(wǎng)約快車網(wǎng)約專車網(wǎng)約出租24下游：應用場景聚合網(wǎng)約車平臺網(wǎng)約拼車業(yè)務模式靈活創(chuàng)新，數(shù)智融合賦能網(wǎng)約車行業(yè)個性化開發(fā)網(wǎng)約車經(jīng)營服務依托互聯(lián)網(wǎng)技術構建服務平臺，整合供需信息，匹配最優(yōu)的車輛和駕駛員，提供預約出租汽車服務。網(wǎng)約 車產(chǎn)業(yè)鏈包括上游車輛及技術服務供應商，中游網(wǎng)約車服務商以及下游應用場景。受國家政策鼓勵，中國獲許的網(wǎng)約車平 臺數(shù)量從2020年底的214家增長至2022年3月底的267家，未來市場空間廣闊。作為互聯(lián)網(wǎng)時代產(chǎn)物，網(wǎng)約車行業(yè)與車聯(lián) 網(wǎng)、大數(shù)據(jù)等密不可分，面臨數(shù)據(jù)安全、客戶需求、數(shù)據(jù)打通、應用創(chuàng)新等層面的眾多挑戰(zhàn)。存算分離技術提供性能的彈 性伸縮，滿足用車高峰

40、的算力高并發(fā)，統(tǒng)一元數(shù)據(jù)打破大數(shù)據(jù)、數(shù)倉、AI的“數(shù)據(jù)孤島”，增強網(wǎng)約車企業(yè)數(shù)據(jù)洞察， DataOps 與 MLOps的融合降低開發(fā)技術門檻，方便企業(yè)開發(fā)人員聚焦業(yè)務創(chuàng)新，敏捷交付。網(wǎng)約車行業(yè)產(chǎn)業(yè)鏈網(wǎng)約車行業(yè)發(fā)展痛點vs數(shù)智融合1. 傳統(tǒng)數(shù)倉存算彈性不足，難以應對高峰期高并發(fā)需求網(wǎng)約車服務場景先天具備波峰波谷特性，除資源利用率要求外， 還具有實時性和長時執(zhí)行的要求。數(shù)智融合下的”存儲+緩存+計 算”三層分離具備彈性伸縮、持續(xù)服務和節(jié)省成本等優(yōu)勢，與網(wǎng) 約車行業(yè)場景需求天然契合。2. 多平臺數(shù)據(jù)難以打通復用，“數(shù)據(jù)孤島”現(xiàn)象嚴重網(wǎng)約車行業(yè)是車聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新技術的融合產(chǎn)物。 具備強互聯(lián)

41、網(wǎng)和大數(shù)據(jù)屬性，網(wǎng)約車企業(yè)運營需對接多個數(shù)據(jù)平 臺，數(shù)據(jù)難以連接互動造成“數(shù)據(jù)孤島”。數(shù)智融合統(tǒng)一元數(shù)據(jù)， 讓數(shù)據(jù)在多個引擎間流動共享，充分發(fā)揮數(shù)據(jù)資產(chǎn)價值。3. 業(yè)務模式創(chuàng)新多樣，多源數(shù)據(jù)、技術等導致系統(tǒng)“熵增”為提升市場競爭力和市占率，網(wǎng)約車行業(yè)下游應用場景不斷推陳 出新，業(yè)務模式的創(chuàng)新多樣必然導致數(shù)據(jù)體系的“熵增”。數(shù)智 融合下的DataOps 與 MLOps深度融合，數(shù)據(jù)工程師可使用熟悉 的工具調(diào)用AI能力，協(xié)同數(shù)據(jù)開發(fā)與AI開發(fā)，支撐行業(yè)業(yè)務模式 的不斷創(chuàng)新。網(wǎng)約車行業(yè)（2/2）數(shù)智融合在網(wǎng)約車企業(yè)的落地T3出行是南京領行科技股份有限公司打造的智慧出行生態(tài)平臺，公司以“科技引領 愉悅

42、出行”為使命，致力于成為能夠 為用戶提供“安全、便捷、品質(zhì)”出行服務的科技創(chuàng)新型企業(yè)。截止2022年7月，T3出行登陸全國91個城市，累計注冊 用戶超1億，單日訂單峰值破300萬單。隨著業(yè)務擴張和用戶數(shù)量增加，T3出行原系統(tǒng)在支撐海量數(shù)據(jù)和提供出行服務方 面出現(xiàn)“傳統(tǒng)數(shù)倉難以解決“長尾支付”、“AI架構無法為行車安全提供支撐”、“存算一體架構無法應付訂單峰值” 等問題。為滿足業(yè)務發(fā)展，提供安全高效的出行服務，T3出行不斷對出行產(chǎn)品迭代更新，而華為云數(shù)智融合產(chǎn)品在這段 升級之旅中發(fā)揮了巨大作用。來源：T3出行，艾瑞咨詢研究院整理及繪制。來源：T3出行，艾瑞咨詢研究院整理及繪制。HudiOBST3

43、出行+華為云智能數(shù)據(jù)湖MRS湖倉一體（對象儲存+數(shù)據(jù)湖格式+存算分離）RedisHBaseMongoDBElasticsearchKafka服務層數(shù)據(jù)層ClickHousePrestoKylinPandasPytorchYARNKyuubiSparkBI域AI域計算層痛點三：業(yè)務不停機，系統(tǒng)持續(xù)平穩(wěn)運行25華為云通過RDS適配canal能力，結合DRS高可靠和自動化運維能力，大大提高數(shù)據(jù)訂閱穩(wěn)定性。痛點一：數(shù)據(jù)庫種類多，遷移難度大華為云DRS支持其他云、本地IDC、ECS自建數(shù)據(jù)庫等 不同平臺之間的遷移，支持60+類不同的數(shù)據(jù)庫鏈路， 充分滿足T3出行的不同數(shù)據(jù)庫遷移需求。華為云DRS針對不同實例，通過優(yōu)化參數(shù)、同步方式和 架構，并結合其特有的限流能力，確保遷移期間源端業(yè) 務正常平穩(wěn)運行，成功在指定時間內(nèi)完成全量數(shù)據(jù)同步。痛點二：時間緊任務重，要在30h內(nèi)完成T3出行+華為云DRS數(shù)據(jù)遷移解決方案 社交網(wǎng)絡