數(shù)據(jù)庫基礎(chǔ)軟件全景調(diào)研與發(fā)展戰(zhàn)略研究

數(shù)據(jù)庫基礎(chǔ)軟件全景調(diào)研與發(fā)展戰(zhàn)略研究數(shù)據(jù)庫廠商競爭日趨激烈從全球范圍來看，頭部數(shù)據(jù)庫廠商屹立不倒，中下游廠商競爭激烈。根據(jù)Gartner發(fā)布的2011-2021年數(shù)據(jù)庫管理系統(tǒng)市場份額統(tǒng)計(jì)顯示，Oracle、微軟、AWS、IBM、SAP等頭部傳統(tǒng)數(shù)據(jù)庫廠商的市場排名基本穩(wěn)定。近年來隨著互聯(lián)網(wǎng)的不斷發(fā)展和云技術(shù)的興起，華為、阿里、谷歌、騰訊等互聯(lián)網(wǎng)大廠也加入了數(shù)據(jù)庫市場的競爭中，依靠自身的資源優(yōu)勢迅速進(jìn)入了排名前列。隨著數(shù)字經(jīng)濟(jì)快速發(fā)展以及數(shù)據(jù)量的爆發(fā)式增長，新興數(shù)據(jù)庫廠商不斷涌現(xiàn)，中下游廠商之間的競爭也愈發(fā)激烈，市場排名變動(dòng)較為明顯。從中國范圍看，新數(shù)據(jù)庫產(chǎn)品加速涌現(xiàn)，頭部廠商競爭仍然激烈。根據(jù)墨天輪統(tǒng)計(jì)，2022年4月時(shí)共有205個(gè)國產(chǎn)數(shù)據(jù)庫產(chǎn)品參與排名，2022年11月這個(gè)數(shù)字增長到了246個(gè)。頭部數(shù)據(jù)庫產(chǎn)品之間的競爭也非常激烈，PingCAP旗下的TiDB長期位于國產(chǎn)數(shù)據(jù)庫榜首，其他數(shù)據(jù)庫產(chǎn)品的排名則變動(dòng)明顯。中國數(shù)據(jù)庫領(lǐng)域暫未出現(xiàn)某幾個(gè)廠商獨(dú)大的現(xiàn)象。搜索引擎數(shù)據(jù)庫中Elasticsearch占據(jù)優(yōu)勢地位。根據(jù)DB-Engines數(shù)據(jù)，2022年11月共有26款搜索引擎數(shù)據(jù)庫參與排名，Elasticsearch自2016年起就一直占據(jù)榜首地位，Splunk和Solr也一直居于前三名。排名中僅有兩款中國產(chǎn)品，一款為阿里云日志服務(wù)，排名第19位，另一款為日志易，排名第24位。多模數(shù)據(jù)庫、人工智能、數(shù)據(jù)安全將成為未來數(shù)據(jù)庫領(lǐng)域的發(fā)展趨勢。隨著數(shù)據(jù)量的爆炸式增長，數(shù)據(jù)類型也愈發(fā)豐富多變，對數(shù)據(jù)庫的能力提出了挑戰(zhàn)，數(shù)據(jù)庫技術(shù)也呈現(xiàn)出快速革新的趨勢。目前多模數(shù)據(jù)庫、人工智能和安全能力成為了數(shù)據(jù)庫領(lǐng)域的主要技術(shù)發(fā)展趨勢。數(shù)據(jù)庫行業(yè)未來發(fā)展趨勢（一）市場規(guī)模持續(xù)擴(kuò)大，數(shù)據(jù)庫行業(yè)需求具備成長空間根據(jù)信通院發(fā)布的《數(shù)據(jù)庫發(fā)展研究報(bào)告（2021年）》，2020年全球數(shù)據(jù)庫市場規(guī)模達(dá)到671億美元，其中中國數(shù)據(jù)庫市場規(guī)模為240．9億元，占比約5．2%，市場空間廣闊。預(yù)計(jì)到2025年，全球數(shù)據(jù)庫市場規(guī)模將達(dá)到798億美元，其中中國數(shù)據(jù)庫市場總規(guī)模將達(dá)到688億元，年復(fù)合增長率為23．4%。伴隨著數(shù)據(jù)規(guī)模的高速增長，全球數(shù)據(jù)庫市場增長迅速，整體市場空間巨大。（二）信息安全備受重視，數(shù)據(jù)庫國產(chǎn)率顯著提升長期以來，以Intel、Microsoft、Apple、Oracle、IBM、Qualcomm、Google、Cisco等國際巨頭為首的國外IT廠商在操作系統(tǒng)、數(shù)據(jù)庫、芯片、服務(wù)器、辦公軟件、智能終端等領(lǐng)域占據(jù)了市場的較大份額，深入了政府、海關(guān)、郵政、金融、鐵路、民航、醫(yī)療等各行業(yè)環(huán)節(jié)。與此同時(shí)，近年來信息泄露事件層出不窮，信息安全和供應(yīng)鏈安全越來越得到國家、公眾的重視。為保證信息安全，信息化安全建設(shè)勢在必行。從整體IT產(chǎn)業(yè)鏈來看，我國數(shù)據(jù)庫產(chǎn)業(yè)屬于較具競爭力的一環(huán)，初步邁向好用階段。從技術(shù)水平來看，經(jīng)過多年的研發(fā)和實(shí)踐，國產(chǎn)數(shù)據(jù)庫已經(jīng)走過了學(xué)習(xí)摸索的階段，進(jìn)入到了服務(wù)市場乃至引領(lǐng)創(chuàng)新的全新階段，在集群技術(shù)、安全技術(shù)、分布式技術(shù)等領(lǐng)域取得了顯著進(jìn)展。從市場收入來看，國產(chǎn)廠商近年來得到快速發(fā)展。據(jù)賽迪顧問數(shù)據(jù)，2011年主要中國數(shù)據(jù)庫廠商市場收入總和僅1．56億元，而2020年主要中國數(shù)據(jù)庫廠商市場收入已達(dá)到16．43億元，增長逾10倍。（三）事務(wù)和分析齊頭并重，數(shù)據(jù)庫生態(tài)呈多樣性發(fā)展在數(shù)據(jù)量爆炸式增長的大數(shù)據(jù)時(shí)代，數(shù)據(jù)存儲結(jié)構(gòu)也越來越靈活多樣。日益變革的新興業(yè)務(wù)不斷催生了愈發(fā)豐富的數(shù)據(jù)庫技術(shù)和產(chǎn)品形態(tài)需求。這些變化對現(xiàn)有的聯(lián)機(jī)事務(wù)處理（OLTP）與聯(lián)機(jī)分析處理（OLAP）涇渭分明的架構(gòu)提出了挑戰(zhàn)。傳統(tǒng)架構(gòu)下，企業(yè)通常選擇建立、維護(hù)不同數(shù)據(jù)庫以便支持兩類不同的任務(wù)。其管理和維護(hù)成本往往較高，且在OLTP與OLAP系統(tǒng)間也存在較大的數(shù)據(jù)延遲，企業(yè)難以開展敏捷、實(shí)時(shí)的數(shù)據(jù)商業(yè)分析活動(dòng)。因此，能夠統(tǒng)一支持OLTP和OLAP的數(shù)據(jù)庫成為了眾多企業(yè)的需求。目前，產(chǎn)業(yè)界正基于創(chuàng)新的計(jì)算存儲框架研發(fā)HTAP數(shù)據(jù)庫，通過實(shí)現(xiàn)基于同一引擎同時(shí)支撐業(yè)務(wù)系統(tǒng)運(yùn)行和分析決策場景的功能，避免傳統(tǒng)架構(gòu)中在線與離線數(shù)據(jù)庫之間大量的數(shù)據(jù)交互，提升信息化系統(tǒng)的整體性能。（四）AI技術(shù)發(fā)展迅速，數(shù)據(jù)庫智能化程度逐步提升面對大規(guī)模數(shù)據(jù)和不同的應(yīng)用場景，傳統(tǒng)數(shù)據(jù)庫組件存在業(yè)務(wù)類型不敏感、查詢優(yōu)化能力弱等問題。目前有研究通過將機(jī)器學(xué)習(xí)算法替代傳統(tǒng)數(shù)據(jù)庫組件的方式以實(shí)現(xiàn)更高的查詢和存儲效率并自動(dòng)化處理各種任務(wù)，例如自動(dòng)管理計(jì)算與存儲資源、自動(dòng)防范惡意訪問與攻擊、主動(dòng)實(shí)現(xiàn)數(shù)據(jù)庫智能調(diào)優(yōu)等。機(jī)器學(xué)習(xí)算法可以分析大量數(shù)據(jù)記錄，標(biāo)記異常值和異常模式，幫助企業(yè)提高安全性，防范入侵者破壞，還可以在系統(tǒng)運(yùn)行時(shí)自動(dòng)、連續(xù)、無人工干預(yù)地執(zhí)行修補(bǔ)、調(diào)優(yōu)、備份和升級操作，盡可能減少人為錯(cuò)誤或惡意行為，確保數(shù)據(jù)庫高效運(yùn)行、安全無失。（五）云計(jì)算成為新一代IT基礎(chǔ)設(shè)施，云原生數(shù)據(jù)庫得到發(fā)展在云計(jì)算技術(shù)的不斷發(fā)展催生出將數(shù)據(jù)庫部署在云上的需求后，通過云服務(wù)形式提供數(shù)據(jù)庫功能的云數(shù)據(jù)庫應(yīng)運(yùn)而生。與傳統(tǒng)數(shù)據(jù)中心采用的物理服務(wù)器、物理網(wǎng)絡(luò)、物理存儲設(shè)施不同，云計(jì)算環(huán)境下普遍采用基于容器化、微服務(wù)、Serverless等理念進(jìn)行基礎(chǔ)設(shè)施的架構(gòu)，對數(shù)據(jù)庫的運(yùn)行環(huán)境假定提出了挑戰(zhàn)。云原生數(shù)據(jù)庫技術(shù)以云化運(yùn)行環(huán)境為前提，在設(shè)計(jì)上通常結(jié)合分布式技術(shù)并普遍采用計(jì)算存儲分離、日志即數(shù)據(jù)的設(shè)計(jì)思想，能夠靈活調(diào)動(dòng)資源進(jìn)行擴(kuò)縮容，可進(jìn)一步實(shí)現(xiàn)資源池化、彈性變配、集約運(yùn)維等能力，以應(yīng)對更便捷、更低門檻實(shí)現(xiàn)云上數(shù)字化轉(zhuǎn)型與升級的挑戰(zhàn)。（六）開源與非開源數(shù)據(jù)庫共存，形成市場互補(bǔ)態(tài)勢開源數(shù)據(jù)庫通常是免費(fèi)的社區(qū)數(shù)據(jù)庫，其源代碼對外開放，開發(fā)人員可以在其原始設(shè)計(jì)基礎(chǔ)上修改或使用。它以較低的成本、豐富的產(chǎn)品和活躍的社區(qū)支持為日益復(fù)雜的企業(yè)需求提供了相應(yīng)的解決方案。開源數(shù)據(jù)庫雖然避免了高昂的授權(quán)費(fèi)用和服務(wù)費(fèi)用，但在易用性、配套能力、服務(wù)能力、版本更新方面往往存在一定的缺陷，從而增加了額外成本和使用風(fēng)險(xiǎn)。對于大型企業(yè)用戶，非開源商業(yè)數(shù)據(jù)庫廠商在知識產(chǎn)權(quán)、信息安全、產(chǎn)品功能完善度、代碼理解程度、技術(shù)服務(wù)水平等方面具有更大的優(yōu)勢。未來一段時(shí)間內(nèi)，開源數(shù)據(jù)庫和非開源數(shù)據(jù)庫在市場上將面向不同用戶群體，形成市場互補(bǔ)態(tài)勢。數(shù)據(jù)庫行業(yè)背景數(shù)據(jù)庫是按照一定數(shù)據(jù)模型和組織形成的，具有冗余度小、獨(dú)立性高和拓展性強(qiáng)的特點(diǎn)。數(shù)據(jù)庫全稱為數(shù)據(jù)庫管理系統(tǒng)（DBMS），正如其名，它是負(fù)責(zé)維護(hù)數(shù)據(jù)庫底層的管理系統(tǒng)，而負(fù)責(zé)維護(hù)管理系統(tǒng)的人則被稱為DBA。數(shù)據(jù)庫管理系統(tǒng)由線程和內(nèi)存池組成，如果客戶要看數(shù)據(jù)庫中的數(shù)據(jù)，它會通過實(shí)例（Instance）來實(shí)現(xiàn)，而不是直接讀取硬盤上的文件。數(shù)據(jù)庫系統(tǒng)之上還有一層應(yīng)用系統(tǒng)，就是平常看到的交互界面，平常用戶在這個(gè)界面上進(jìn)行操作，給數(shù)據(jù)庫發(fā)動(dòng)一個(gè)指令，數(shù)據(jù)庫系統(tǒng)就會把實(shí)例發(fā)放給數(shù)據(jù)庫進(jìn)行讀取工作，再經(jīng)過一系列后臺分析，將數(shù)據(jù)提取到用戶面前。根據(jù)統(tǒng)計(jì)，數(shù)據(jù)庫全球市場規(guī)模大概在八百億美元左右。比較突出的是，數(shù)據(jù)庫在全球范圍內(nèi)市場集中度非常高，近五年內(nèi)全球top5企業(yè)常年占市場份額的80%以上，而位列top3的微軟、甲骨文和亞馬遜常年占比更是達(dá)到70%左右。整個(gè)數(shù)據(jù)庫行業(yè)的產(chǎn)業(yè)鏈上游主要是硬件廠商，比如國內(nèi)的中興和華為。中游分為DB（數(shù)據(jù)庫底層開發(fā)商）、數(shù)據(jù)庫DBMS（管理系統(tǒng)開發(fā)商），以及為他們配套實(shí)施服務(wù)的服務(wù)商。下游分為應(yīng)用開發(fā)商和行業(yè)用戶。整個(gè)數(shù)據(jù)庫行業(yè)有多種參與方式，比如華為同時(shí)參與了上游的硬件，又開發(fā)推出了中游的華為云數(shù)據(jù)庫DBMS系統(tǒng)。數(shù)據(jù)庫是信創(chuàng)基礎(chǔ)軟件重要部分?jǐn)?shù)據(jù)庫是信創(chuàng)基礎(chǔ)軟件的重要部分，是信息系統(tǒng)的核心。我國信息技術(shù)軟硬件底層標(biāo)準(zhǔn)、架構(gòu)、產(chǎn)品、以及生態(tài)體系被外國把控，這些上游核心技術(shù)遭遇美國嚴(yán)重影響了我國關(guān)鍵科技和產(chǎn)業(yè)的發(fā)展。近年來，出臺多項(xiàng)信創(chuàng)相關(guān)的支持政策、指導(dǎo)意見，大力支持信創(chuàng)產(chǎn)業(yè)持續(xù)發(fā)展，努力實(shí)現(xiàn)。數(shù)據(jù)庫作為信息系統(tǒng)的核心，在計(jì)算機(jī)中承擔(dān)著承上啟下的重要作用，向下調(diào)用硬件基礎(chǔ)資源，向上是各種應(yīng)用軟件的重要支撐引擎。隨著我國數(shù)據(jù)經(jīng)濟(jì)的快速發(fā)展，數(shù)據(jù)量的快速提升，作為信創(chuàng)基礎(chǔ)軟件重要環(huán)節(jié)的國產(chǎn)數(shù)據(jù)庫將迎來重大機(jī)遇。通常意義上的數(shù)據(jù)庫即指數(shù)據(jù)庫系統(tǒng)（DatabaseSystem，簡稱DBS），由數(shù)據(jù)庫、數(shù)據(jù)庫管理系統(tǒng)、應(yīng)用程序、管理員四部分組成。數(shù)據(jù)庫是指長期存儲在計(jì)算機(jī)內(nèi)，有組織的、可共享的大量數(shù)據(jù)集合，包括數(shù)字、文字、圖像、音頻、視頻等數(shù)據(jù)形式。數(shù)據(jù)庫管理系統(tǒng)（DatabaseManagementSystem，簡稱DBMS）是位于用戶和操作系統(tǒng)之間的一層數(shù)據(jù)管理軟件，負(fù)責(zé)對數(shù)據(jù)進(jìn)行組織和存儲管理，以及獲取和維護(hù)數(shù)據(jù)。應(yīng)用程序是為了提高數(shù)據(jù)庫系統(tǒng)管理能力的軟件補(bǔ)充，并可以使數(shù)據(jù)管理過程更加直觀和友好，它負(fù)責(zé)連接、訪問和管理DBMS中存儲的數(shù)據(jù)，允許用戶進(jìn)行增刪改減。管理員主要職責(zé)是運(yùn)維和管理數(shù)據(jù)庫管理系統(tǒng)。其中，DBMS是數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)和核心。數(shù)據(jù)庫管理系統(tǒng)作為能夠使用戶定義、創(chuàng)建、維護(hù)和控制訪問數(shù)據(jù)庫的軟件系統(tǒng)，其數(shù)據(jù)結(jié)構(gòu)和技術(shù)架構(gòu)不斷發(fā)展，呈現(xiàn)關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫并存、集中式與分布式并存的技術(shù)現(xiàn)狀。1）按數(shù)據(jù)結(jié)構(gòu)分為關(guān)系型和非關(guān)系型：關(guān)系型數(shù)據(jù)庫又稱為SQL數(shù)據(jù)庫，它建立在關(guān)系模型基礎(chǔ)上，取代了層次模型和網(wǎng)絡(luò)模型，以行和列的形式存儲數(shù)據(jù)，以便于用戶理解。常見的Oracle、MySQL等數(shù)據(jù)庫均為關(guān)系型數(shù)據(jù)庫。非關(guān)系型數(shù)據(jù)庫也稱作NoSQL數(shù)據(jù)庫，采用不同于關(guān)系數(shù)據(jù)行列組織的數(shù)據(jù)模型，數(shù)據(jù)結(jié)構(gòu)類型復(fù)雜，是對傳統(tǒng)關(guān)系型數(shù)據(jù)庫的拓展與補(bǔ)充。搜索引擎數(shù)據(jù)庫就屬于非關(guān)系型數(shù)據(jù)庫。數(shù)據(jù)庫領(lǐng)域的技術(shù)發(fā)展趨勢隨著數(shù)據(jù)庫發(fā)展進(jìn)入后關(guān)系型階段，數(shù)據(jù)結(jié)構(gòu)也越來越多樣化，半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)占比不斷提升。對于數(shù)據(jù)結(jié)構(gòu)多樣但是每種數(shù)據(jù)存儲功能需求不高的用戶來說，不同的數(shù)據(jù)結(jié)構(gòu)采用不同數(shù)據(jù)庫存儲的話成本較高，使用也比較繁瑣。多模數(shù)據(jù)庫的出現(xiàn)滿足了靈活的數(shù)據(jù)存儲的管理需求，將各種類型的數(shù)據(jù)進(jìn)行統(tǒng)一的管理，降低了運(yùn)維和開發(fā)成本，是未來數(shù)據(jù)庫技術(shù)發(fā)展的趨勢。對于搜索引擎數(shù)據(jù)庫來說，多模型可能更加重要，能夠在不同的數(shù)據(jù)結(jié)構(gòu)中實(shí)現(xiàn)高精度的搜索是搜索引擎數(shù)據(jù)庫一直追求的目標(biāo)；在大數(shù)據(jù)時(shí)代，傳統(tǒng)數(shù)據(jù)庫的業(yè)務(wù)能力逐漸無法滿足龐大的數(shù)據(jù)處理與分析需求，越來越多的數(shù)據(jù)庫廠商將人工智能技術(shù)融入到了數(shù)據(jù)庫領(lǐng)域，通過AI來使得數(shù)據(jù)庫實(shí)現(xiàn)計(jì)算和存儲資源的優(yōu)化、異常識別、數(shù)據(jù)可視化等功能，確保數(shù)據(jù)庫高效運(yùn)行。在搜索引擎數(shù)據(jù)庫領(lǐng)域，機(jī)器學(xué)習(xí)算法也已經(jīng)得到了廣泛應(yīng)用。Elasticsearch中現(xiàn)在已經(jīng)內(nèi)置了機(jī)器學(xué)習(xí)模塊，可以方便地實(shí)現(xiàn)可視化、數(shù)據(jù)分類、異常檢測等功能。近年來數(shù)據(jù)泄露等安全事件頻發(fā)，以及數(shù)據(jù)上云的趨勢顯著，數(shù)據(jù)庫面臨的安全隱患也更加多樣，對數(shù)據(jù)庫的數(shù)據(jù)安全提出了挑戰(zhàn)。在我國信創(chuàng)產(chǎn)業(yè)發(fā)展的大趨勢下，數(shù)據(jù)庫的自主可控與安全更是重要的基礎(chǔ)?；陔[私計(jì)算和區(qū)塊鏈技術(shù)的數(shù)據(jù)庫產(chǎn)品是近期的發(fā)展方向，協(xié)助提升數(shù)據(jù)可信與安全。數(shù)據(jù)庫行業(yè)潛力空間廣闊中國數(shù)據(jù)庫市場規(guī)?？焖僭鲩L。根據(jù)賽迪顧問，2021年中國數(shù)據(jù)庫管理系統(tǒng)市場保持快速增長，規(guī)模達(dá)到223．5億元。賽迪顧問預(yù)測，中國數(shù)據(jù)庫市場十四五時(shí)期仍將保持高速增長，伴隨新冠疫情影響因素緩解，行