2024愛分析·數(shù)據(jù)庫廠商全景報告

1.研究范圍定義12.廠商全景地圖63.市場分析與廠商評估103.1實時云原生數(shù)研庫103.2分析型關(guān)系數(shù)研庫15火山引空173.3社索型數(shù)研庫20拓爾思224.入選廠商列表26關(guān)于廠商全景報告31關(guān)于愛分析32研究與咨詢服務(wù)33法律聲明342|2024愛分析·數(shù)據(jù)庫廠商全景報告研究范圍定義1.研究范圍定義研究范圍在信創(chuàng)政策、技術(shù)創(chuàng)新和業(yè)務(wù)需求等因素共同驅(qū)動下,我國數(shù)據(jù)庫市場保持快速發(fā)展,據(jù)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會測算,2022年中國數(shù)據(jù)庫市場規(guī)模元,年復(fù)合增長率為26.1%。政策端:信創(chuàng)自主可控推動數(shù)據(jù)庫國產(chǎn)化加速信創(chuàng)已經(jīng)成為國家戰(zhàn)略之—,通過發(fā)展信創(chuàng)產(chǎn)業(yè)實現(xiàn)信息技術(shù)領(lǐng)域的自主可控,保障國家信息安全落地。其中數(shù)據(jù)庫作為承載企業(yè)數(shù)據(jù)存儲和管理的基礎(chǔ)設(shè)施,是信創(chuàng)基礎(chǔ)軟件的替換重點(diǎn),國產(chǎn)數(shù)在信創(chuàng)政策推動下,以金融、電信、政府、制造、交通為代表的行業(yè)對國產(chǎn)隨著信創(chuàng)在更多行業(yè)的落地,國產(chǎn)數(shù)據(jù)庫廠商將迎來巨大的市場空間,這也為國產(chǎn)數(shù)據(jù)庫突破核心技術(shù)端:AI、云計算與數(shù)據(jù)庫融合加深,大數(shù)據(jù)、IoT技術(shù)催生數(shù)據(jù)庫品類日益豐富隨著大模型落地加快,大模型與數(shù)據(jù)庫的融合場景愈加成熟,如將生成式AI技術(shù)與數(shù)據(jù)庫結(jié)構(gòu)設(shè)計、架構(gòu)設(shè)計、數(shù)據(jù)分析挖掘等場景結(jié)合,能有效提升數(shù)據(jù)庫開發(fā)、運(yùn)維和分析效率,正成為數(shù)據(jù)庫廠上云是企業(yè)數(shù)字化轉(zhuǎn)型的重要戰(zhàn)略。為適應(yīng)云應(yīng)用的研發(fā)需求,數(shù)據(jù)庫廠商正聯(lián)合云廠商推出云數(shù)據(jù)庫產(chǎn)品,以為用戶提供高效、便捷的數(shù)據(jù)庫服務(wù),如基于云計算的數(shù)據(jù)庫即服務(wù)(DBaaS),支持用戶在云端訪問和使用數(shù)據(jù)庫系統(tǒng),可提供靈活的數(shù)據(jù)庫管理解決方案。企業(yè)使用DBaaS,無需購買或配置數(shù)據(jù)庫,能顯著降低企業(yè)成本。進(jìn)—步,云計算中的無服務(wù)架構(gòu)(Serverless)技術(shù)和服務(wù)模式逐漸成熟,使具備Serverless服務(wù)的云原生數(shù)據(jù)庫成為廠商重點(diǎn)布局。Serverless云服務(wù)基于計算與存儲分離的理念,具備自動擴(kuò)縮容、按需付費(fèi)的特點(diǎn),能有效解決用戶業(yè)務(wù)擴(kuò)張數(shù)據(jù)庫擴(kuò)容問題,提升用戶體驗。此外,大數(shù)據(jù)、IoT技術(shù)的快速發(fā)展,使企業(yè)數(shù)據(jù)體量呈爆炸式增長,同時帶來異常豐富的數(shù)據(jù)類型,如時序、GIS、圖像、視頻、文本等數(shù)據(jù)類型日益豐富,推動圖數(shù)據(jù)庫、時序數(shù)據(jù)庫、時空數(shù)據(jù)庫、1|2024愛分析·數(shù)據(jù)庫廠商全景報告需求端:企業(yè)場景多元化促進(jìn)數(shù)據(jù)庫技術(shù)更新迭代差異化的業(yè)務(wù)場景決定了企業(yè)對數(shù)據(jù)庫類型和能力要求各不相同,也驅(qū)動數(shù)據(jù)庫性能和技術(shù)加速突破。如金融行業(yè)業(yè)務(wù)具有連續(xù)性,對數(shù)據(jù)—致性要求極高,且分析場景日益復(fù)雜,因此會同時部署關(guān)系型數(shù)據(jù)庫和分析型數(shù)據(jù)庫,對兩類數(shù)據(jù)庫均要求數(shù)據(jù)庫具備高并發(fā)和實時性,同時能靈活滿足業(yè)務(wù)增長的擴(kuò)容需求。制造業(yè)中機(jī)器設(shè)備和傳感器采集了大量的時間序列數(shù)據(jù),需要實時提供故障診斷、需求預(yù)測、產(chǎn)品優(yōu)化等決策支持,因此對時序數(shù)據(jù)庫、庫內(nèi)機(jī)器學(xué)習(xí)等技術(shù)有強(qiáng)烈需求。此外,實時數(shù)據(jù)分析和決策支持場景下同時支持事務(wù)和分析的HTAP技術(shù)、適應(yīng)多套業(yè)務(wù)系統(tǒng)聯(lián)合本次報告中,愛分析將數(shù)據(jù)庫市場從上至下劃分為數(shù)據(jù)庫服務(wù)、數(shù)據(jù)庫運(yùn)維管理產(chǎn)品、數(shù)據(jù)庫產(chǎn)品三層。數(shù)據(jù)庫服務(wù)包括咨詢規(guī)劃服務(wù)、實施部署服務(wù)、運(yùn)維運(yùn)營服務(wù);數(shù)據(jù)庫運(yùn)維管理產(chǎn)品包括數(shù)據(jù)庫云管理、數(shù)據(jù)遷移備份、數(shù)據(jù)庫開發(fā)測試、數(shù)據(jù)庫監(jiān)控和性能分析工具等;數(shù)據(jù)庫產(chǎn)品包括超2|2024愛分析·數(shù)據(jù)庫廠商全景報告廠商入選標(biāo)準(zhǔn)本次入選報告的廠商需同時符合以下條件:l廠商的產(chǎn)品服務(wù)滿足各市場分析的廠商能力要求;l近—年廠商具備—定數(shù)量以上的付費(fèi)客戶(參考第3章各市場分析部分);3|2024愛分析·數(shù)據(jù)庫廠商全景報告l近—年廠商在特定市場的營業(yè)收入達(dá)到指標(biāo)要求(參考第3章各市場分析部分)。4|2024愛分析·數(shù)據(jù)庫廠商全景報告廠商全景地圖5|2024愛分析·數(shù)據(jù)庫廠商全景報告2.廠商全景地圖愛分析基于對甲方企業(yè)和典型廠商的調(diào)研以及桌面研究,遴選出在數(shù)據(jù)庫市場中具備成熟解決方案6|2024愛分析·數(shù)據(jù)庫廠商全景報告7|2024愛分析·數(shù)據(jù)庫廠商全景報告8|2024愛分析·數(shù)據(jù)庫廠商全景報告市場分析與廠商評估9|2024愛分析·數(shù)據(jù)庫廠商全景報告3.市場分析與廠商評估愛分析對本次數(shù)據(jù)庫項目重點(diǎn)研究市場做如下分析。同時,針對參與此次報告的部分代表廠商,愛3.1實時云原生數(shù)據(jù)庫市場定義:實時云原生數(shù)據(jù)庫是—種能夠?qū)Y(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)實時存儲和計算的數(shù)據(jù)倉庫。與傳統(tǒng)數(shù)據(jù)倉庫不同,實時云原生數(shù)據(jù)庫支持海量數(shù)據(jù)的近實時查詢,適用于需要快速分析或決策的場景,如自甲方終端用戶:甲方核心需求:大數(shù)據(jù)時代,數(shù)據(jù)正在發(fā)生質(zhì)的變化,數(shù)據(jù)體量呈爆發(fā)式增長,數(shù)據(jù)類型也越來越豐富。同時,業(yè)務(wù)也在面臨數(shù)字化轉(zhuǎn)型,大量決策需要實時數(shù)據(jù)作為支撐,在線報表、自助分析等應(yīng)用逐漸成為企業(yè)數(shù)字化經(jīng)營的剛需。海量數(shù)據(jù)與業(yè)務(wù)實時化的趨勢,對數(shù)據(jù)倉庫的存取性能提出了更高的要求。然而,傳統(tǒng)數(shù)據(jù)倉庫在大數(shù)據(jù)時代遇到了擴(kuò)展性與響應(yīng)速度的瓶頸,難以滿足企業(yè)對海量數(shù)據(jù)實時存取的需求。例如,以Teradata為代表的數(shù)據(jù)庫—體機(jī),僅能夠支持有限的數(shù)據(jù)規(guī)模,并且價格昂貴。以Hadoop為代表的大數(shù)據(jù)技術(shù),雖然具備海量數(shù)據(jù)的存儲能力,但是查詢性能表現(xiàn)不足,而且其技術(shù)組件通常較為復(fù)雜,運(yùn)維成本高。針對傳統(tǒng)數(shù)據(jù)倉庫在實時場景上的能力欠缺,企業(yè)需要:l通過海量數(shù)據(jù)的實時查詢與分析,支持?jǐn)?shù)據(jù)挖掘與實時決策等場景。隨著企業(yè)在經(jīng)營管理中所產(chǎn)生的數(shù)據(jù)量呈指數(shù)級增長,企業(yè)希望數(shù)據(jù)倉庫具備海量多源異構(gòu)數(shù)據(jù)的處理能力。而且,隨著業(yè)務(wù)對數(shù)據(jù)時效性的要求越來越高,實時決策需要通過分鐘級的近實時數(shù)據(jù)作為依據(jù)。尤其10|2024愛分析·數(shù)據(jù)庫廠商全景報告在交互式分析中,會涉及到即席查詢的能力,用戶需要靈活自主地組合查詢條件,從多個維度l高可用的數(shù)據(jù)服務(wù)。數(shù)據(jù)是—切數(shù)字化應(yīng)用的基礎(chǔ),穩(wěn)定可靠的數(shù)據(jù)服務(wù)是企業(yè)的基本訴求。另外,企業(yè)需要系統(tǒng)具備—定的機(jī)制來應(yīng)對服務(wù)器故障、操作失誤等異常場景,無需人工干預(yù)此外,部分企業(yè)還希望:l數(shù)據(jù)安全獲得保障。金融、央國企等客戶出于法律法規(guī)監(jiān)管,以及對客戶隱私、商業(yè)信息或國家機(jī)密的重視,希望獲得數(shù)據(jù)安全保障。因此具備—定安全機(jī)制與功能,防止內(nèi)部或外部的信息泄露威脅,成為這些領(lǐng)域客戶的訴求。l得到專業(yè)完善的服務(wù)。企業(yè)希望獲得全面的技術(shù)支持和咨詢服務(wù),無論是關(guān)于運(yùn)維管理、性能優(yōu)化、安全管控還是其他方面,企業(yè)希望可以獲得專業(yè)指導(dǎo)和建議,以便更好地解決問題和創(chuàng)l配備豐富的數(shù)據(jù)倉庫工具。企業(yè)希望通過數(shù)據(jù)倉庫相關(guān)工具,更加高效便捷地使用、管理數(shù)據(jù)庫,尤其在數(shù)據(jù)導(dǎo)入與運(yùn)維方面。在數(shù)據(jù)導(dǎo)入上,—些復(fù)雜的數(shù)據(jù)轉(zhuǎn)換場景,需要借助ETL/ELT工具實現(xiàn)高效靈活的數(shù)據(jù)導(dǎo)入。在運(yùn)維管理上,工具在自動化管理、數(shù)據(jù)安全和可視化監(jiān)控等l在云上部署數(shù)據(jù)倉庫。出于對性能、易用性、成本或安全性等因素的綜合考量,部分企業(yè)選擇廠商能力要求:基于上述需求,在實時云原生數(shù)據(jù)庫的選型上,企業(yè)會重點(diǎn)考慮產(chǎn)品性能、周邊工具以及廠商綜合實力。具體而言:l廠商產(chǎn)品支持對多數(shù)據(jù)源實時讀取。廠商產(chǎn)品提供實時數(shù)據(jù)導(dǎo)入,能夠?qū)Χ鄶?shù)據(jù)源,如事務(wù)型數(shù)據(jù)庫、數(shù)據(jù)湖或數(shù)據(jù)流等,進(jìn)行實時集成。在更理想的情況下,廠商產(chǎn)品支持?jǐn)?shù)據(jù)聯(lián)邦,在不需要對數(shù)據(jù)進(jìn)行移動的前提下,對多源異構(gòu)的數(shù)據(jù)進(jìn)行讀取,為上層分析與應(yīng)用提供實時服11|2024愛分析·數(shù)據(jù)庫廠商全景報告l廠商產(chǎn)品提供高性能的數(shù)據(jù)存取,在復(fù)雜的查詢分析場景下能夠快速響應(yīng)。在大數(shù)據(jù)量下,廠商產(chǎn)品提供適當(dāng)?shù)拇鎯Ψ绞?支持高性能的數(shù)據(jù)讀取。此外,在自助分析、在線報表等場景下,廠商產(chǎn)品要支持簡單的點(diǎn)查詢、復(fù)雜的多維查詢以及即席查詢等多種的查詢分析。尤其在海量數(shù)據(jù)、多表關(guān)聯(lián)的復(fù)雜計算場景下能夠快速響應(yīng),滿足用戶實時分析與決策的需l具備對數(shù)據(jù)進(jìn)行深入挖掘分析的技術(shù)能力。廠商需要具備多種數(shù)據(jù)分析技術(shù),如大數(shù)據(jù)挖掘與分析技術(shù)用于統(tǒng)計分析、商業(yè)智能,知識圖譜技術(shù)用于數(shù)據(jù)關(guān)聯(lián)關(guān)系分析,機(jī)器學(xué)習(xí)、運(yùn)籌優(yōu)針對部分企業(yè)的需求,廠商需具備以下能力:l廠商提供產(chǎn)品周邊工具。廠商提供的配套工具,支持產(chǎn)品的使用或運(yùn)維需求。例如,ETL/ELT工具支持高效地與數(shù)據(jù)湖或其他數(shù)據(jù)源進(jìn)行連接傳輸,運(yùn)維管理工具提供—定的監(jiān)控與自動化l提供專業(yè)可靠的服務(wù)。廠商要能夠依據(jù)客戶需求,提供前期咨詢規(guī)劃、項目實施與運(yùn)維管理等方面的服務(wù)支持。并且配備專業(yè)的技術(shù)團(tuán)隊,在數(shù)據(jù)庫運(yùn)維管理、性能優(yōu)化等方面提供可靠的l廠商產(chǎn)品具備數(shù)據(jù)安全保障機(jī)制與功能。廠商需要滿足金融行業(yè)、央國企對數(shù)據(jù)安全的要求。例如,廠商產(chǎn)品需要具備用戶身份驗證和授權(quán)機(jī)制,限制敏感信息的訪問權(quán)限;或者,使用數(shù)據(jù)加密技術(shù)對敏感數(shù)據(jù)進(jìn)行加密存儲,防止數(shù)據(jù)泄露;另外,安全審計、漏洞管理等能力,也l廠商產(chǎn)品具備云原生特性。針對企業(yè)在云上部署數(shù)據(jù)倉庫的需求,廠商產(chǎn)品具備云原生特性,能夠發(fā)揮彈性、擴(kuò)展性的優(yōu)勢,并且支持公有云、私有云或混合云部署。入選標(biāo)準(zhǔn)說明:1.符合實時云原生數(shù)據(jù)庫市場分析的廠商能力要求;12|2024愛分析·數(shù)據(jù)庫廠商全景報告去表廠商評估:SelectDB廠商介紹:源技術(shù)創(chuàng)新”和“實時數(shù)倉服務(wù)”雙輪驅(qū)動的戰(zhàn)略,飛輪科技在大力投入ApacheDoris開源社區(qū)的同時,基于ApacheDoris內(nèi)核打造了聚送于企業(yè)大數(shù)研實時分析需求的企業(yè)級產(chǎn)品SelectDB產(chǎn)品服務(wù)介紹:庫產(chǎn)品與服務(wù),滿足企業(yè)場景務(wù)對于實時分析的需求。SelectDB產(chǎn)品內(nèi)核基于開源實時數(shù)研倉庫ApacheDoris打造,并融入了—系列面向企業(yè)級需求的特性。截止目前,SelectDB已發(fā)布了SelectDBCloud和SelectDBEnterprise兩款企業(yè)級產(chǎn)品,能夠分別滿足在公有云副和私有化部署的需求:lSelectDBEnterprise定位為私有化部署版本,可在IDC、私有云/專有云VPC等客戶環(huán)境部署,用于服務(wù)對數(shù)研安全更加敏感的金融、政務(wù)等行業(yè)客戶。lSelectDBCloud定位為云原生版本,目前已副線阿里云、華為云、騰訊云和AWS。廠商評估:SelectDB產(chǎn)品基于ApacheDori維分析、用戶畫像與行為分析、數(shù)研湖聯(lián)邦分析、日志存儲與分析13|2024愛分析·數(shù)據(jù)庫廠商全景報告l從產(chǎn)品能力看,SelectDB具備撰數(shù)研源實時集成、存儲、查詢的能力,而且性能表現(xiàn)優(yōu)秀。在數(shù)研集成層面,SelectDB能夠快速接入來自關(guān)系型數(shù)研庫、消息隊列、流/批處理引空等數(shù)力,而無需遷移數(shù)研。加速的技術(shù)優(yōu)化下,SelectDB能夠以毫秒級的響應(yīng)時間返回海量數(shù)研下的查詢結(jié)果,在點(diǎn)查詢、從過往的落地案例看,SelectDB分析性能能夠有效提升企業(yè)實時數(shù)研分析的效率,并且簡化技術(shù)棧。例如,某制造企業(yè)基于SelectDB構(gòu)建了統(tǒng)—的實時數(shù)研倉庫,摒棄了之前分別服務(wù)于在線實時報表和離線即席查詢的兩套數(shù)研架構(gòu),架構(gòu)撐雜性與運(yùn)維成本大幅降低,所消耗的計算和存儲資源降低達(dá)70%,查詢性能實現(xiàn)了近十倍的提升lSelectDB基于ApacheDoris構(gòu)建,產(chǎn)品內(nèi)核穩(wěn)定、高可用。ApacheDoris經(jīng)歷了嚴(yán)格的lSelectDB具備安全可控、運(yùn)維與使用便捷等優(yōu)勢,滿足企業(yè)對于數(shù)研倉庫落地撰方面能力訴求。SelectDB安全可控。在安全方面,SelectDB在從產(chǎn)品架構(gòu)副提供撰種安全保護(hù)特性,包客戶可自助查看云資源安全策略、獲取數(shù)倉訪問審計日志、審核平臺方線副操作視頻記錄等;此外,SelectDB也認(rèn)證了安全合規(guī)標(biāo)準(zhǔn),確保數(shù)研安全和合規(guī)性,目前已獲得等保三級、SelectDB兼容MySQL協(xié)議并配備周邊工具,以此降低使用與運(yùn)維門檻。圍繞數(shù)研倉庫的開發(fā)、運(yùn)維和管理等過程,SelectDB為產(chǎn)品均配備了—系列的可視化運(yùn)維與開發(fā)工具,賦予用戶全生命周期的運(yùn)維管理能力,降低企業(yè)人員的使用門檻。此外,SelectDB支持標(biāo)準(zhǔn)容MySQL協(xié)議,用戶可以使用MySQL客戶端、JDBC標(biāo)準(zhǔn)協(xié)議以及各類BI產(chǎn)品來連接14|2024愛分析·數(shù)據(jù)庫廠商全景報告管模式,支持分鐘級別的平滑擴(kuò)容和升級、分布式集群自管理等,降低集群日常運(yùn)維壓力。l在服務(wù)層面,SelectDB提供來自ApacheDoris核心開發(fā)團(tuán)隊的技術(shù)服務(wù)。SelectDB搭建了專業(yè)的技術(shù)支持團(tuán)隊,能夠做到7*24小時為企業(yè)用戶提供服務(wù)。在團(tuán)隊組成上,SelectDB是ApacheDoris項目的主要研發(fā)團(tuán)隊之—,公司技術(shù)團(tuán)隊成員大多曾就職于大型互聯(lián)網(wǎng)公司或公有云廠商,擁有豐富的數(shù)據(jù)庫運(yùn)維管理經(jīng)驗,能夠為企業(yè)提供可靠的技術(shù)支持。典型客戶:中國某大型汽車公司、某頭部公募基金、某移動融3.2分析型關(guān)系數(shù)據(jù)庫市場定義:分析型關(guān)系數(shù)據(jù)庫是指能夠?qū)Ω鞣N來源的結(jié)構(gòu)化數(shù)據(jù),以及半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲和計算分析的數(shù)據(jù)管理系統(tǒng)。分析型數(shù)據(jù)庫能夠執(zhí)行即席查詢甲方終端用戶:甲方核心需求:企業(yè)數(shù)據(jù)分析的應(yīng)用場景正變得更廣泛和更復(fù)雜?！矫?通過數(shù)據(jù)分析和洞察提升經(jīng)營效率、改善客戶體驗已經(jīng)成為企業(yè)共識,企業(yè)正將數(shù)據(jù)分析應(yīng)用在經(jīng)營、供應(yīng)鏈、產(chǎn)品、營銷、服務(wù)等多種場景中,如通過數(shù)據(jù)實現(xiàn)精準(zhǔn)營銷、提供個性化推薦、提升供應(yīng)鏈效率等。另—方面,企業(yè)數(shù)據(jù)分析場景也日益復(fù)雜,時效性從T+1離線分析轉(zhuǎn)向?qū)崟r分析,分析難度從簡單聚合到即席分析、機(jī)器學(xué)習(xí)等復(fù)雜分析,數(shù)據(jù)體量也從小數(shù)據(jù)體量轉(zhuǎn)向PB級大數(shù)據(jù)體量。在以上背景下,企業(yè)對分析型數(shù)據(jù)庫提出了更高要求。企業(yè)對分析型數(shù)據(jù)庫的核心需求包括:l提供高效的查詢分析性能。—方面,分析型數(shù)據(jù)庫要能支持企業(yè)內(nèi)部逐漸增長的實時分析場景。15|2024愛分析·數(shù)據(jù)庫廠商全景報告面對激烈的市場競爭和快速變化的客戶需求,如何提高“用數(shù)”效率,以實時或準(zhǔn)實時的數(shù)據(jù)處理速度進(jìn)行決策、開展服務(wù)以及優(yōu)化運(yùn)營,正成為企業(yè)獲取競爭優(yōu)勢的關(guān)鍵。目前越來越多行業(yè)和場景開始要求高時效性,除金融業(yè)的實時決策、實時風(fēng)控外,電商的實時推薦、用戶行為分析、廣告投放,制造業(yè)的生產(chǎn)過程監(jiān)控,以及運(yùn)輸業(yè)的供應(yīng)鏈監(jiān)控等均要求秒級或毫秒級分析引擎在面對海量數(shù)據(jù)高并發(fā)、實時查詢場景響應(yīng)緩慢。企業(yè)需要分析型數(shù)據(jù)庫支持實時數(shù)另—方面,分析型數(shù)據(jù)庫要對離線數(shù)據(jù)有較高的查詢分析性能。在企業(yè)對PB級歷史數(shù)據(jù)進(jìn)行即席分析、機(jī)器學(xué)習(xí)等復(fù)雜分析時,企業(yè)需要分析型數(shù)據(jù)庫具備完成復(fù)雜運(yùn)算的能力,并在盡l具備存算分離架構(gòu),資源彈性可擴(kuò)展,降低資源成本。企業(yè)數(shù)字化轉(zhuǎn)型日益深入,業(yè)務(wù)規(guī)模持續(xù)擴(kuò)張,以及在移動應(yīng)用、IoT等技術(shù)的推動下,企業(yè)數(shù)據(jù)體量持續(xù)增長數(shù)據(jù)庫多基于MPP架構(gòu),存儲與計算耦合,無法隨業(yè)務(wù)發(fā)展而靈活擴(kuò)展,極易導(dǎo)致系統(tǒng)性能下降或服務(wù)中斷,需要數(shù)據(jù)庫具備存算分離架構(gòu)。并且由于OLAP應(yīng)用的負(fù)載通常具有峰谷特性和隨機(jī)性,要求分析星數(shù)據(jù)庫具備資源彈性共享和資源隔離的能力,在保證性能和SLA的情況l降低開發(fā)運(yùn)維成本和難度。傳統(tǒng)企業(yè)常面臨著復(fù)雜的數(shù)據(jù)分析鏈路的開發(fā)和運(yùn)維。首先,企業(yè)數(shù)據(jù)源多樣,除企業(yè)ERP、財務(wù)、人力、供應(yīng)鏈等業(yè)務(wù)系統(tǒng)造成的數(shù)據(jù)孤島外,企業(yè)數(shù)據(jù)基礎(chǔ)建設(shè)中引入的數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖、消息隊列等設(shè)施也構(gòu)成部分?jǐn)?shù)據(jù)源。其次,數(shù)據(jù)集成由批處理線路和流處理構(gòu)成,開發(fā)運(yùn)維人員需要在集成過程中保證數(shù)據(jù)質(zhì)量、數(shù)據(jù)—致性以及轉(zhuǎn)化數(shù)據(jù)格式等,技術(shù)門檻高。此外,在對數(shù)據(jù)進(jìn)行分析時,需要針對不同的業(yè)務(wù)場景,提供星型、雪花型、寬表等不同的建模方式,開發(fā)運(yùn)維人員需要監(jiān)控維護(hù)不同的數(shù)據(jù)模型,又帶廠商能力要求:基于上述甲方企業(yè)核心需求,分析型數(shù)據(jù)庫廠商應(yīng)具備以下能力:l廠商提供的分析型數(shù)據(jù)庫應(yīng)提供高性能支持?！矫驷槍崟r數(shù)據(jù)分析場景,廠商應(yīng)對高并發(fā)、16|2024愛分析·數(shù)據(jù)庫廠商全景報告自研引擎等,以提高數(shù)據(jù)庫實時場景下的查詢分析效率。另—方面,針對離線分析場景,廠商提供的分析型數(shù)據(jù)庫應(yīng)提供高效的列式存儲和高性能的數(shù)據(jù)存取,具備跨多表支持即席分析、復(fù)雜分析、機(jī)器學(xué)習(xí)等多種l支持云原生架構(gòu)和資源隔離。廠商分析型數(shù)據(jù)庫產(chǎn)品應(yīng)支持云原生架構(gòu),支持存儲計算分離,并且支持動態(tài)擴(kuò)縮容,以應(yīng)對業(yè)務(wù)峰谷波動。此外,廠商應(yīng)提供讀寫分離、計算資源隔離、配額和限額、優(yōu)先級管理等技術(shù),確保—個應(yīng)用的高負(fù)載不會影響其他應(yīng)用。l支持多數(shù)據(jù)源集成和多種建模方式。廠商提供的分析型數(shù)據(jù)庫應(yīng)支持多種數(shù)據(jù)源接口,對接多種數(shù)據(jù)源,如離線數(shù)據(jù)源Oracle、MySQL、HDFS,以及實時數(shù)據(jù)源Kafka、Flink等,進(jìn)行讀取和集成,并保證集成過程中的數(shù)據(jù)—致性。或者廠商產(chǎn)品能夠支持?jǐn)?shù)據(jù)聯(lián)邦,在不需要對數(shù)據(jù)進(jìn)行整合的前提下對多源異構(gòu)數(shù)據(jù)的進(jìn)行統(tǒng)—的查詢分析。此外,廠商產(chǎn)品應(yīng)提供了星型、雪花、大寬表、預(yù)聚合等方多種數(shù)據(jù)建模方式,簡化數(shù)據(jù)管理和維護(hù),優(yōu)化查詢性能。l支持通過Web界面開展開發(fā)和運(yùn)維。廠商產(chǎn)品應(yīng)提供Web界面支持開發(fā)和運(yùn)維中開發(fā)人員可以通過Web界面訪問開發(fā)工具、集成開發(fā)環(huán)境(IDE)或代碼編輯器,進(jìn)行軟件入選標(biāo)準(zhǔn):1.符合分析型關(guān)系數(shù)據(jù)庫市場分析的廠商能力要求;代表廠商評估:火山引擎17|2024愛分析·數(shù)據(jù)庫廠商全景報告廠商介紹:火山引空是字節(jié)跳動旗下的云服務(wù)平臺,將字節(jié)跳動快速發(fā)展過程務(wù)積累的增長方法、技術(shù)能力和應(yīng)用工具開放給外部企業(yè),幫助企業(yè)構(gòu)建體驗創(chuàng)新、數(shù)研驅(qū)動和敏捷迭去等數(shù)字化能力,實現(xiàn)業(yè)務(wù)產(chǎn)品服務(wù)介紹:析能力,并在架構(gòu)副遵循新—去云原生理念進(jìn)行全面重構(gòu),實現(xiàn)了容器化、存儲計算分離、撰租戶高并發(fā)、撐雜查詢等撰種實時數(shù)研分析場景進(jìn)行優(yōu)化,能為用戶提供極速分析體驗。廠商評估:ByteHouse在ClickHouse基礎(chǔ)副進(jìn)行重構(gòu)和優(yōu)化,能為實時數(shù)研場景提供極致性能,其云原生架構(gòu)支持存算分離、彈性的縮容,具備高?活性和可靠性。進(jìn)—步,ByteHouse在數(shù)研庫的部署、運(yùn)維方面提供企業(yè)級工具支持,簡單易用。基于內(nèi)外部的廣泛應(yīng)用,ByteHouse將為用戶提供持lByteHouse具備高性能,支持用戶在實時數(shù)倉、撐雜查詢、寬表查詢、高并發(fā)等數(shù)研分析場景務(wù)實現(xiàn)毫秒、秒級延遲。ByteHouse針對割同的數(shù)研分析場景進(jìn)行了—系列優(yōu)化,來縮短查詢執(zhí)行時間、優(yōu)化資源利用,提供更流暢的數(shù)研分析體驗。如在高吞吐的實時數(shù)倉場景下,針對實時數(shù)研流的接入,ByteHouse自研表引空HaKafkaEngine具備高可用性,保證了At-least-once消費(fèi)語義,保障數(shù)研消費(fèi)過程務(wù)的可靠性和模整性,以及提供FlinkConnector將Flink數(shù)研加載到ByteHouse,可支持每秒220萬的實時數(shù)級同步到目標(biāo)端,同步性能可達(dá)到25萬record/s以副,并引入了MaterializedMySQL數(shù)研庫引空,實現(xiàn)基于MySQLBinlog機(jī)制的業(yè)務(wù)數(shù)研庫實時同步功能。針對數(shù)研寫入環(huán)節(jié),ByteHouse自研了unique引空,支持每秒百萬級的實時數(shù)研的upsert場景。針對撐雜查詢場景,為提高查詢效率,減少資源消耗,提升系統(tǒng)性能,ByteHouse進(jìn)行了RBO(基于規(guī)則的優(yōu)化能力),CBO(基于去價的優(yōu)化能力),分布式計夠優(yōu)化來優(yōu)化查詢執(zhí)行計18|2024愛分析·數(shù)據(jù)庫廠商全景報告夠,以及執(zhí)行層的優(yōu)化。針對寬表查詢場景,ByteHouse通過提供物化視圖,優(yōu)化Zerocopy、Projection,支持全局基礎(chǔ)副,可支持10萬+QPS。lByteHouse遵循新—去云原生理念,實現(xiàn)存儲計算分離、資源隔離、讀寫分離和撰租戶管理等功能,具備極強(qiáng)的的展性,顯著提高資源利用效率,降低企業(yè)成本。ByteHouse基于云原生架構(gòu),結(jié)合Shared-nothing的計算層以及Shared-everything的存儲層,有效避免了傳儲層的水平的展,面對PB級海量數(shù)研時實現(xiàn)秒級響應(yīng)。ByteHouse提供撰級資源隔離,保障用戶資源安全,包括撰租戶管理,讀寫分離和計算資源隔離等,確保查詢?nèi)蝿?wù)割吐互相影響。ByteHouse支持通過計算組概念,對宿主機(jī)硬件資源進(jìn)行?活切割分配,按需的縮容。支持讀寫分離資源管理,杜絕大查詢占用大量資源導(dǎo)致其他任務(wù)性能下降。支持撰租戶管理,用戶可按租戶對計算資源、數(shù)研資源、作業(yè)任務(wù)和用戶權(quán)限進(jìn)行隔離,—方面保證性能可控,另—方面也能監(jiān)控各租戶的數(shù)研與資源使用情況。lByteHouse在數(shù)研庫的部署、運(yùn)維、集成等方面具備高易用性。ByteHouse支持Web界面開展軟件開發(fā)和運(yùn)維任務(wù),降低使用門檻,如開發(fā)和運(yùn)維人員可通過Web界面寫SQL、調(diào)試腳本,開箱即用,省去撐雜的配置任務(wù)。ByteHouse提供全托管云服務(wù),監(jiān)控體系模善。運(yùn)維人員可通過可視化資源監(jiān)控和管理平臺,此外,ByteHouse支持豐富的生態(tài)兼容,降低企業(yè)異構(gòu)系統(tǒng)開發(fā)運(yùn)維成本。如在SQL語義層面兼容ANSI2011的標(biāo)準(zhǔn),兼容開源社區(qū)ClickHouse標(biāo)準(zhǔn)以及兼容MySQL語義,使得處理,具有極強(qiáng)的通用性,可廣泛適應(yīng)企業(yè)業(yè)務(wù)場景。此外,在連接協(xié)議副補(bǔ)充兼容MySQL,本,保持MySQL業(yè)務(wù)的連續(xù)性和穩(wěn)定性。19|2024愛分析·數(shù)據(jù)庫廠商全景報告l基于內(nèi)外部豐富服務(wù)經(jīng)驗,為用戶提供持續(xù)服務(wù)支持。截至2022年3月,ByteHouse在字節(jié)內(nèi)部部署規(guī)模已超過1萬8000臺,單集群超過2400臺,管理總數(shù)據(jù)量超過700PB,經(jīng)過數(shù)百個應(yīng)用場景和數(shù)萬用戶錘煉。在外部企業(yè)客戶中,換Elasticsearch,采用多副本機(jī)制提高并發(fā)能力,支持仟傳網(wǎng)絡(luò)輿情數(shù)萬QPS在線點(diǎn)查服務(wù),典型客戶:3.3搜索型數(shù)據(jù)庫市場定義:搜索型數(shù)據(jù)庫是基于分詞、索引等技術(shù)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等數(shù)據(jù)類型進(jìn)行全文搜索或信息檢索的數(shù)據(jù)庫,其搜索結(jié)果可按算法排序。甲方終端用戶:甲方核心需求:搜索型數(shù)據(jù)庫能對數(shù)據(jù)全文進(jìn)行搜索,實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的高效處理分析,是企業(yè)復(fù)用知識經(jīng)驗、提高經(jīng)營效率的有效方式。企業(yè)對國產(chǎn)搜索型數(shù)據(jù)庫的需求具體如下:l適應(yīng)企業(yè)—到多個內(nèi)容檢索場景。企業(yè)不同場景下對搜索型數(shù)據(jù)庫的功能需求不同,如員工查詢公司規(guī)定流程或是對專業(yè)知識進(jìn)行檢索的場景,需要搜索型數(shù)據(jù)庫具備全文檢索功能;電商平臺對銷售額、用戶行為、熱門商品進(jìn)行分析場景下,需要搜索型數(shù)據(jù)庫具備聚合分析來計算20|2024愛分析·數(shù)據(jù)庫廠商全景報告總銷售額、各類商品銷售額、用戶平均銷售額等,協(xié)助電商平臺優(yōu)化商品推薦策略;社交媒體中或跨國媒體生成場景下,需要搜索型數(shù)據(jù)庫支持多語種的全文檢索和內(nèi)容推薦等。l滿足企業(yè)海量數(shù)據(jù)場景下的實時、高并發(fā)訪問需求,并提供高質(zhì)量的搜索結(jié)果。與結(jié)構(gòu)化數(shù)據(jù)不同,企業(yè)非結(jié)構(gòu)化數(shù)據(jù)類型豐富且增長迅速,搜索型數(shù)據(jù)庫需要適應(yīng)企業(yè)持續(xù)豐富的數(shù)據(jù)類型和持續(xù)增長的數(shù)據(jù)體量。—方面,搜索型數(shù)據(jù)庫需要滿足用戶對快速響應(yīng)的需求,提高用戶體驗,如股票交易、外匯交易等場景下,需要搜索型數(shù)據(jù)庫的高時效性支持實時交易決策以及監(jiān)控市場波動;如用戶在社交媒體中對新聞的實時檢索、電商平臺中消費(fèi)者對商品價格、促銷信息和庫存的實時檢索等,都需要搜索型數(shù)據(jù)庫具備高時效性。另—方面,企業(yè)面向C端的內(nèi)容搜索場景需要滿足上千、上萬甚至更多人同時在線使用,需要搜索型數(shù)據(jù)庫具備高并發(fā)性。而在搜索結(jié)果上,搜索型數(shù)據(jù)庫的搜索結(jié)果應(yīng)適應(yīng)業(yè)務(wù)場景需求,可靠可用。廠商能力要求:基于上述甲方企業(yè)核心需求,搜索型數(shù)據(jù)庫廠商應(yīng)具備以下能力:l廠商應(yīng)具備分詞、數(shù)據(jù)索引、排序等技術(shù),提高數(shù)據(jù)檢索效率。用戶業(yè)務(wù)場景不同,對分詞算法要求不同,如中文環(huán)境下,分詞算法應(yīng)支持對中文文本切分,而在多語種搜索場景下,分詞如針對文本全文搜索提供全文索引,支持用戶進(jìn)行關(guān)鍵詞搜索、短語搜索等,針對地理位置查詢提供地理空間索引。針對排序,廠商應(yīng)具備單—字段排序、多字段組合排序、相關(guān)性排序、地理位置排序等多種排序算法,適應(yīng)用戶諸如價格排序、銷售額和價格排序、文檔搜索、地理l廠商應(yīng)同時兼具軟、硬件專業(yè)性,可靈活滿足客戶性能、數(shù)據(jù)體量等需求。如針對OA系統(tǒng)與大數(shù)據(jù)搜索系統(tǒng)數(shù)據(jù)量級不同的情形,廠商應(yīng)能提供虛擬機(jī)或云服務(wù)等不同的資源配置;而針對如政府?dāng)?shù)據(jù)庫要求高并發(fā)、金融數(shù)據(jù)庫要求實時響應(yīng)等不同的性能需求,廠商應(yīng)能從系統(tǒng)擴(kuò)展性、索引優(yōu)化、緩存機(jī)制、負(fù)載均衡等多方面進(jìn)行優(yōu)化,滿足客戶需求。l支持分布式數(shù)據(jù)架構(gòu)。廠商應(yīng)具備分布式存儲技術(shù),支持海量數(shù)據(jù)存儲并隨著企業(yè)業(yè)務(wù)增長而彈性擴(kuò)展,通過多副本機(jī)制實現(xiàn)數(shù)據(jù)服務(wù)高可用,支持高并發(fā),在大量用戶請求下仍能保持毫21|2024愛分析·數(shù)據(jù)庫廠商全景報告在數(shù)據(jù)安全保護(hù)方面,廠商應(yīng)提供權(quán)限管理、加密存儲等機(jī)制保障數(shù)據(jù)訪問和數(shù)據(jù)存儲的機(jī)密入選標(biāo)準(zhǔn)說明:1.符合搜索型數(shù)據(jù)庫市場分析的廠商能力要求;代表廠商評估:拓爾思廠商介紹:拓爾思信息技術(shù)股份有限公司(簡稱“拓爾思”)成立于1993年,是—家專業(yè)的大數(shù)據(jù)、人工智能和數(shù)據(jù)安全產(chǎn)品及服務(wù)提供商。拓爾思堅持核心技術(shù)自主研發(fā),擁有50+專利、1000+軟件著作權(quán),在搜索型數(shù)據(jù)庫、自然語言處理(NLP)技術(shù)的技術(shù)創(chuàng)新和應(yīng)用場景落地等方面保持領(lǐng)先地位。產(chǎn)品服務(wù)介紹:TRS海貝搜索數(shù)據(jù)庫(簡稱“海貝”)是—款從內(nèi)核到系統(tǒng)完全國產(chǎn)自研的搜索型數(shù)據(jù)庫,其定位為大數(shù)據(jù)應(yīng)用支撐軟件,為大數(shù)據(jù)應(yīng)用提數(shù)據(jù)存儲、信息檢索、統(tǒng)計分析等數(shù)據(jù)管理服務(wù),支持多種類型的數(shù)據(jù),包括文本、數(shù)字、地理空間、圖片等。廠商評估:22|2024愛分析·數(shù)據(jù)庫廠商全景報告海貝在搜索型數(shù)據(jù)庫市場中以其自主研發(fā)和自主可控的特點(diǎn)脫穎而出。海貝不僅在底層技術(shù)如搜索引擎、分詞和倒排索引上實現(xiàn)自主研發(fā),還與國產(chǎn)軟硬件深度適配,強(qiáng)化了市場競爭力。在數(shù)據(jù)安全方面,海貝采取了包括HTTPS、加密存儲在內(nèi)的多重防護(hù)檢索技術(shù)上,海貝融合了全文索引和向量索引,進(jìn)—步拓展了信息檢索的能力邊界。拓爾思通過全國性的服務(wù)網(wǎng)絡(luò),確保了對企業(yè)客戶需求的快速響應(yīng)。此外,海貝能夠與拓爾思的其他產(chǎn)品線深度集成,提供從數(shù)據(jù)采集到分析的—站式解決方案,滿足企業(yè)的綜合需求,展現(xiàn)了其在企業(yè)級市場中l(wèi)海貝堅持自研道路,滿足企業(yè)自主可控需求。在當(dāng)前的搜索型數(shù)據(jù)庫市場中,眾多廠商選擇基于開源技術(shù)如Elasticsearch進(jìn)行產(chǎn)品開發(fā),以期快速響應(yīng)市場需求并降低研發(fā)成本。然而,海貝選擇了—條不同的道路,即完全自主研發(fā)。從底層的搜索引擎、分詞技術(shù)到上層的倒排索引機(jī)制,海貝的整個系統(tǒng)均由拓爾思獨(dú)立開發(fā),滿足了市場對于自主可控解決方案的需求。進(jìn)—步地,海貝在兼容性方面也展現(xiàn)了其靈活性和前瞻性。通過與國內(nèi)領(lǐng)先的芯片如龍芯、海產(chǎn)品的市場競爭力,也為尋求構(gòu)建國產(chǎn)化信息技術(shù)體系的企業(yè)提供了有力支持,有助于企業(yè)實l海貝采取多重防護(hù)措施,保障企業(yè)數(shù)據(jù)安全。搜索型數(shù)據(jù)庫領(lǐng)域,數(shù)據(jù)的安全性是企業(yè)最為關(guān)注的核心議題之—。海貝通過實施精細(xì)化的權(quán)限管理機(jī)制,確保數(shù)據(jù)訪問的合