2022年大數(shù)據(jù)行業(yè)發(fā)展分析

2022年大數(shù)據(jù)行業(yè)發(fā)展分析一、大數(shù)據(jù)行業(yè)發(fā)展背景 (1)大數(shù)據(jù)時代下傳統(tǒng)數(shù)據(jù)管理軟件面臨多種挑戰(zhàn)ZB源總體呈現(xiàn)出“4V”的特點，即海量的數(shù)據(jù)規(guī)模(Volume)、多樣的數(shù)據(jù)類型 (Variety)、價值密度低(Value)、快速的數(shù)據(jù)流轉(zhuǎn)(Velocity)。數(shù)據(jù)的起始計量單位通常是PB(約1,000TB)、EB(約100萬TB)或ZB(約10具體表現(xiàn)為關(guān)系型數(shù)據(jù)、日志、音頻、視頻、文本、圖片、地理位置信息等類型數(shù)據(jù)，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。掘數(shù)據(jù)價值，是大數(shù)據(jù)時代需要解決的重要問題之一。信息。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)使用的顯著特征。時不能很好適應(yīng)數(shù)據(jù)的“4V”特性，面臨較多技術(shù)挑戰(zhàn)。因此，傳統(tǒng)數(shù)據(jù)管理軟件迫切需要技術(shù)革新。 (2)傳統(tǒng)集中式軟件棧向新興分布式軟件棧演進術(shù)發(fā)展方向來看，數(shù)據(jù)管理軟件技術(shù)發(fā)展歷程包括以下三個階段：圖1：數(shù)據(jù)管理軟件主要技術(shù)演變及代表性公司1970-2000年，數(shù)據(jù)管理軟件主要為集中式架構(gòu)的關(guān)系型數(shù)據(jù)庫，其軟件產(chǎn)品具備不可分割性(atomicity)、一致性(consistency)、隔離性(isolation，又稱獨立性)、持久性(durability)即“ACID”功能特性，占據(jù)了數(shù)據(jù)管理軟件的主導(dǎo)地位。關(guān)系型數(shù)據(jù)庫技術(shù)出現(xiàn)在20世紀(jì)70年代，經(jīng)過二十余年的發(fā)展，到90年代已經(jīng)成熟。市場上具有代表性的集中式架構(gòu)關(guān)系型數(shù)據(jù)庫產(chǎn)品包括Oracle、IBMDB2以及微軟SQLServer等。2000年以來，隨著互聯(lián)網(wǎng)和計算機技術(shù)的快速發(fā)展，需要處理的數(shù)據(jù)量更大、類點，在部署的擴展性、容錯性、經(jīng)濟性、靈活性等方面有一定局限性。谷歌于2003年-2006年間的三篇論文奠定了分布式存儲和計算的基礎(chǔ)，而后行業(yè)從業(yè)者基于以上管；2009年，在JohanOskarsson開源分布式數(shù)據(jù)庫的討論中，來自Rackspace的EricEvans重提NoSQL概念，用以指代非關(guān)系型的分布式數(shù)據(jù)存儲系統(tǒng)。針對于不庫，代表性NoSQL數(shù)據(jù)庫提供商包括MongoDB、Elastic等。2010年以來，隨著數(shù)字化轉(zhuǎn)型的逐步深化，快速變化的業(yè)務(wù)場景呈現(xiàn)了復(fù)雜化、多樣化的態(tài)勢。復(fù)雜的業(yè)務(wù)場景往往需要使用多種數(shù)據(jù)模型，以及數(shù)據(jù)模型間的存儲業(yè)搬生了從單一數(shù)據(jù)管理系統(tǒng)到融合型、多模型數(shù)據(jù)管理系統(tǒng)的技術(shù)需求。體據(jù)限于企業(yè)員工和取得授權(quán)的合作伙伴使用。據(jù)庫預(yù)計在未來將獲得快速增長。據(jù)庫發(fā)展；傳統(tǒng)數(shù)據(jù)分析軟件逐漸向新型的分布式數(shù)據(jù)開發(fā)和智能分析軟件發(fā)展。 (3)國產(chǎn)基礎(chǔ)軟件迎來爆發(fā)式增長階段大核心技術(shù)攻關(guān)的重要目標(biāo)?！笆奈濉币?guī)劃和2035年遠景目標(biāo)綱要提出，培育壯大人術(shù)發(fā)與國外廠商競爭的基礎(chǔ)軟件廠商，并開始實現(xiàn)規(guī)模產(chǎn)業(yè)化落地。2、大數(shù)據(jù)市場構(gòu)成件、大數(shù)據(jù)軟件、大數(shù)據(jù)專業(yè)服務(wù)。用中間件、數(shù)據(jù)智能分析工具、大數(shù)據(jù)應(yīng)用四個部分。3、大數(shù)據(jù)全生命周期管理階段大數(shù)據(jù)生命周期進一步細(xì)分為大數(shù)據(jù)集成、存儲和處理、治理、建模、挖掘和流通等階段。各主要環(huán)節(jié)相關(guān)技術(shù)簡介如下： (1)大數(shù)據(jù)集成搜索、會話、(傳感器數(shù)據(jù)、監(jiān)控數(shù)據(jù))等從業(yè)務(wù)系統(tǒng)中收集出來。由于大個過程常常也被稱為ETL(Extract/抽取，Transform/轉(zhuǎn)換，Load/加載)，通常ETL整體的技術(shù)升級，主要解決兩個主要技術(shù)問題，一是獨立的ETL應(yīng)用服務(wù)器的計算能力普遍不足，二是無法處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。經(jīng)過幾年的技術(shù)發(fā)展，ETL過程逐步演進為ELT，即數(shù)據(jù)抽取后直接加載(Load)到大數(shù)據(jù)平臺中，再基于大數(shù)據(jù)平臺的計算能力來實現(xiàn)數(shù)據(jù)轉(zhuǎn)換(Transform)，不再依賴ETL應(yīng)用服務(wù)器做抽取和轉(zhuǎn)化工作，這樣可以解決ETL應(yīng)用服務(wù)器的處理能力不足問題，充分利用大數(shù)據(jù)平臺的分布式計算能力提升數(shù)據(jù)集成的效率和穩(wěn)定性。 (2)大數(shù)據(jù)存儲和處理據(jù)存儲起來，使得數(shù)據(jù)能夠 (3)數(shù)據(jù)治理根據(jù)國際數(shù)據(jù)管理協(xié)會的定義，數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理形式權(quán)利和控著集成和存儲的數(shù)據(jù)量增加，數(shù)據(jù)治理的難度也逐漸增加，牽扯的關(guān)聯(lián)方也越DAMA、DCMM等較完整的數(shù)據(jù)治理體系框架，一般包括制定數(shù)據(jù)治理戰(zhàn)略、定義數(shù)據(jù)治理工作機制、通過各個業(yè)務(wù)專題來落實相關(guān)數(shù)據(jù)治理工作內(nèi)容，并最終落實到數(shù)據(jù)治理工具上來實現(xiàn)高效持續(xù)的數(shù)據(jù)治理的執(zhí)行流程。具影響分析等)、數(shù)據(jù)標(biāo)準(zhǔn)管理(包括標(biāo)準(zhǔn)定義、查詢與發(fā)布等)、數(shù)據(jù)質(zhì)量管理 (包括質(zhì)量規(guī)則定義、質(zhì)量檢查、質(zhì)量報告等)、數(shù)據(jù)資產(chǎn)管理(包括數(shù)據(jù)資產(chǎn)編目、數(shù)據(jù)資產(chǎn)服務(wù)、資產(chǎn)審批等)、數(shù)據(jù)安全管理(包括數(shù)據(jù)權(quán)限管理、數(shù)據(jù)脫敏、數(shù)據(jù)加密等)、數(shù)據(jù)生命周期管理(包括數(shù)據(jù)歸檔、數(shù)據(jù)銷毀等)以及主數(shù)據(jù)管理(包括主數(shù)據(jù)申請、發(fā)布、分發(fā)等)這幾個主要的部分。 (4)數(shù)據(jù)建模體到技術(shù)層面，數(shù)據(jù)建模一般包括業(yè)務(wù)調(diào)研、架構(gòu)設(shè)計、數(shù)據(jù)模型設(shè)計、數(shù)據(jù)庫SQL開發(fā)與測試、業(yè)務(wù)集成上線等數(shù)工具、任務(wù)調(diào)度工具等。 (5)數(shù)據(jù)分析和挖掘的熱點研究方向之一，其本質(zhì)的目標(biāo)是從大量數(shù)據(jù)中提取模式和知識，其要處理的對 (6)數(shù)據(jù)流通通4、大數(shù)據(jù)行業(yè)市場規(guī)模 (1)全球大數(shù)據(jù)市場發(fā)展情況圖2：全球大數(shù)據(jù)市場規(guī)模(2015-2024E)數(shù)據(jù)來源：Wikibon，沙利文研究規(guī)模由2015年的67億美元增長至2019年的170億美元，理平臺和數(shù)據(jù)應(yīng)用中間件產(chǎn)品的成熟，未來將貢獻更多的收入占比。圖3：全球大數(shù)據(jù)軟件市場規(guī)模(2015-2024E)數(shù)據(jù)來源：Wikibon，沙利文研究 (2)國內(nèi)大數(shù)據(jù)市場發(fā)展情況247億元。圖4：中國大數(shù)據(jù)市場規(guī)模(2015-2024E)數(shù)據(jù)來源：沙利文研究長至2019年的146億元，年復(fù)合增的市場份額。圖5：中國大數(shù)據(jù)軟件市場規(guī)模(2015-2024E)數(shù)據(jù)來源：沙利文研究二、行業(yè)未來發(fā)展趨勢1、分布式系統(tǒng)成為行業(yè)技術(shù)架構(gòu)主要的發(fā)展方向傳統(tǒng)數(shù)據(jù)庫以集中式架構(gòu)為主，集中式架構(gòu)由一臺或多臺主計算機組成中心節(jié)點，署于該中心節(jié)點中，系統(tǒng)所有的功能均由中隨著海量及異構(gòu)數(shù)據(jù)的數(shù)據(jù)分析需求增長，需要的計算、存儲和IO等資源也在極求。而為了處理TB以及PB級別以上的數(shù)據(jù)規(guī)模，分布式的架構(gòu)將數(shù)據(jù)分散在網(wǎng)絡(luò)集群各個節(jié)點的計算資源、存儲資源和IO資源，可線性提升集群的存儲和處理能核心優(yōu)勢。大數(shù)據(jù)技術(shù)的重要發(fā)展方向。2、數(shù)據(jù)管理軟件趨向于統(tǒng)一多數(shù)據(jù)模型的平臺織和操作數(shù)據(jù)，包括傳統(tǒng)的關(guān)系模型和NoSQL數(shù)據(jù)模型(文檔模型、鍵值模型、圖能使用多種數(shù)據(jù)庫產(chǎn)品聯(lián)合的方案來應(yīng)對日益增長的異構(gòu)數(shù)據(jù)模型處理需求。 (1)提升場景效率。同一份數(shù)據(jù)可以分別采用多種數(shù)據(jù)模型存放，解決不同場景的處維成本。無需維護多種數(shù)據(jù)庫，降低運維成本；(4)降低數(shù)據(jù)持有成本，同一份數(shù)在查詢時可以通過關(guān)聯(lián)的方式獲取全量信息。3、云原生大數(shù)據(jù)平臺架構(gòu)成為未來的主要發(fā)展方向云原生的代表技術(shù)包括容器、服務(wù)網(wǎng)格、微服務(wù)、不可變基礎(chǔ)設(shè)施和聲明式數(shù)據(jù)庫，云品體系、經(jīng)濟高效的部署方式和按需付費的支付模式。4、國家加速數(shù)據(jù)要素市場建設(shè)，推動數(shù)據(jù)安全流通技術(shù)的商業(yè)化加速國不可得”、“可用不出域”等)，都使得數(shù)據(jù)的安全可信流通成為數(shù)據(jù)要素的市場化配置的重要一環(huán)，也是各行業(yè)數(shù)字化轉(zhuǎn)型過程中和過程后的必由之路。隨著《數(shù)據(jù)安三、行業(yè)未來面臨的機遇與挑戰(zhàn)1、行業(yè)面臨的機遇 (1)產(chǎn)業(yè)政策集中出臺，多層次政策體系日益健全，國務(wù)院及發(fā)改委、科技部、工動育壯大人工智能、大數(shù)據(jù)等新興數(shù)字產(chǎn)業(yè)，充分發(fā)揮海量數(shù)據(jù)和豐富應(yīng)用場景優(yōu)勢，和各地政府已經(jīng)密集部署了一系列圍繞“新基建”建設(shè)的方針和政策。2020年4數(shù)字經(jīng)濟的發(fā)展將更依賴于數(shù)據(jù)資源，數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)也是支撐5G、數(shù)據(jù)中心、工分，也將推進大數(shù)據(jù)底層軟件等核心國產(chǎn)軟件的快速發(fā)展。大在IT產(chǎn)品和服務(wù)方面的投入，以滿足日益增長的業(yè)務(wù)數(shù)字化需求，大數(shù)據(jù)行業(yè)作為企 (2)數(shù)據(jù)管理軟件國產(chǎn)化趨勢明顯，國產(chǎn)大數(shù)據(jù)產(chǎn)品有望實現(xiàn)換道超車國內(nèi)數(shù)據(jù)管理軟件基本被Oracle、IBM和微軟為代表的國外關(guān)系型數(shù)據(jù)庫廠商采購計劃。大數(shù)據(jù)時代下，數(shù)據(jù)管理軟件正在逐步由集中式架構(gòu)軟件向分布式架構(gòu)軟件演進，數(shù)據(jù)管理軟件進行替代。從功能來看，基于據(jù)應(yīng)用場景基礎(chǔ)需求。 (3)數(shù)據(jù)成為新生產(chǎn)要素，各行業(yè)的大數(shù)據(jù)應(yīng)用需求巨大2020年4月，《中共中央國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的生 (4)大數(shù)據(jù)應(yīng)用的快速發(fā)展，推動大數(shù)據(jù)管理平臺需求的快速增長有臺不僅具有存儲管理海量數(shù)據(jù)能力、數(shù)據(jù)處理性能高和易于擴展的特性，還可以保持傳統(tǒng)關(guān)系數(shù)據(jù)庫支持ACID和SQL查詢等特性，支持關(guān)系數(shù)據(jù)模型。在大數(shù)據(jù)市場發(fā)展下，大數(shù)據(jù)管理平臺需求快速增長。 (5)數(shù)據(jù)價值的深度挖掘需求