版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
重塑企業(yè)基礎(chǔ)設(shè)施 第二章數(shù)據(jù)庫×云原生全面助力企業(yè)IT基礎(chǔ)設(shè)施升級 5.3移動云原生數(shù)據(jù)庫產(chǎn)品能力與應(yīng)用案例 PART01企業(yè)IT基礎(chǔ)設(shè)施發(fā)展大模型開啟了通用人工智能(AGI)的新時代,各行各業(yè)正在以前所未有的速度進(jìn)行產(chǎn)業(yè)升級和變革。在數(shù)智化加速轉(zhuǎn)型的過程中,企業(yè)力求通過技術(shù)革新提升運(yùn)營效率,加快市場響應(yīng)速度,持續(xù)強(qiáng)化企業(yè)創(chuàng)新能力,確保自身能夠在激烈的市場競爭中占據(jù)有利地位。企業(yè)IT基礎(chǔ)設(shè)施作為支撐數(shù)智化轉(zhuǎn)型的關(guān)鍵力1.1數(shù)智化發(fā)展對企業(yè)IT基礎(chǔ)設(shè)施提出新要求AI時代對企業(yè)IT基礎(chǔ)設(shè)施提出了一系列新要求。各行業(yè)的轉(zhuǎn)型升級需求旺盛,新的數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)也在快速發(fā)展,新業(yè)態(tài)、新模式層出不窮,企業(yè)IT基礎(chǔ)設(shè)施必須在AI時代快速實(shí)現(xiàn)自我革新,確保企業(yè)的發(fā)展戰(zhàn)略能夠全面落實(shí)到創(chuàng)新實(shí)AI時代的用戶需要基礎(chǔ)設(shè)施提供更靈活的按需服務(wù)能力。其應(yīng)用場景將更加復(fù)雜多樣,需要根據(jù)動態(tài)需求情況靈活調(diào)用組件,并快速增減計算、網(wǎng)絡(luò)、存儲AI時代也將不斷挑戰(zhàn)各基礎(chǔ)設(shè)施的運(yùn)行效率極限。因為AI的大數(shù)據(jù)、大算力需求特性,加之算力的高成本和復(fù)雜多樣性,對不同基礎(chǔ)設(shè)施資源的一體化管理和優(yōu)化加速將變得十分重要。對用戶來說,計算效率的提升意味著對綜合成本的大幅優(yōu)化。此外,伴隨AI原生應(yīng)用需求的不斷豐富和迭代速度的快速增加,不同目前,對海量業(yè)務(wù)數(shù)據(jù)的管理、處理與分析是企業(yè)必備的核心能力之一。面對海量數(shù)據(jù)的實(shí)時處理需求,企業(yè)IT基礎(chǔ)設(shè)施必須能夠具備快速響應(yīng)業(yè)務(wù)的能力,確保數(shù)據(jù)處理和分析的時效性與準(zhǔn)確性。彈性可伸縮的池化基礎(chǔ)設(shè)施資源,使得企業(yè)在處理海量數(shù)據(jù)時更加游刃有余,顯著提升對業(yè)務(wù)的洞察能力和敏捷響同時,AI大模型訓(xùn)練對相關(guān)數(shù)據(jù)集的數(shù)據(jù)質(zhì)量和加工效率有極高要求,基礎(chǔ)設(shè)施應(yīng)能夠提供全流程的數(shù)據(jù)準(zhǔn)備、清洗、標(biāo)注和存儲服務(wù),以確保AI訓(xùn)練目標(biāo)的按期達(dá)成。以云為支撐的基礎(chǔ)資源需要應(yīng)對大規(guī)模數(shù)據(jù)存儲和處理挑戰(zhàn),以滿AI正在與更多的數(shù)字化技術(shù)和數(shù)字化流程快速融合。企業(yè)IT服務(wù)變得更加多樣,云、數(shù)據(jù)、組件以及應(yīng)用的種類和數(shù)量都在快速增加,給管理帶來了許多新的困難。在基礎(chǔ)設(shè)施管理中使用更多的AI算法,用于優(yōu)化資源配置、洞察系統(tǒng)性例如AI根據(jù)計算任務(wù)的特性,對任務(wù)進(jìn)行靈活切分,并自動匹配計算資源,確保各分子任務(wù)之間的高效協(xié)同,避免局部等待和空轉(zhuǎn)造成的浪費(fèi)。AI算法也可AI時代的企業(yè)IT基礎(chǔ)設(shè)施必須構(gòu)建更加嚴(yán)密的多重防御和動態(tài)防御體系。特別是在數(shù)據(jù)要素市場化的大背景下,大量數(shù)據(jù)在云端被存儲和使用,云基礎(chǔ)設(shè)施必須根據(jù)需要,實(shí)施面向全流程的數(shù)據(jù)安全保障措施和可信計算環(huán)境,并從技術(shù)和管理機(jī)制上保障數(shù)據(jù)的合規(guī)使用,避免數(shù)據(jù)泄露和越權(quán)使用帶來的安全和法律1.2企業(yè)IT基礎(chǔ)設(shè)施的新趨勢企業(yè)IT基礎(chǔ)設(shè)施將全面引入智能化能力體系,將更多的技術(shù)與傳統(tǒng)的基礎(chǔ)設(shè)施進(jìn)行深度融合,并通過對基礎(chǔ)設(shè)施的持續(xù)升級和重構(gòu),提升整體規(guī)模、性能和云原生化將成為企業(yè)IT基礎(chǔ)設(shè)施的主流發(fā)展趨勢。云原生基于分布式部署架構(gòu),通過容器化、微服務(wù)、自動化運(yùn)維等一系列技術(shù)手段,讓企業(yè)的IT基礎(chǔ)設(shè)施具備高度的靈活性、可擴(kuò)展性和可用性。云原生架構(gòu)的IT基礎(chǔ)設(shè)施能夠更加快速地響應(yīng)業(yè)務(wù)需求變化,實(shí)現(xiàn)資源的快速部署、開通和釋放,提供極致的彈性、敏捷體驗。同時,云原生架構(gòu)通常會采用更完善的資源解耦、Serverless、容錯設(shè)計和故障恢復(fù)機(jī)制,并提供豐富的監(jiān)控和日志功能,可以更加細(xì)粒度地診斷和排大模型將帶來更多的企業(yè)AI原生應(yīng)用開發(fā)和使用需求,企業(yè)需要考慮為AI訓(xùn)練、推理和AI數(shù)據(jù)集的存儲、管理、使用提供更佳的基礎(chǔ)設(shè)施環(huán)境支撐,為了應(yīng)對海量數(shù)據(jù)的分析、處理需求,基礎(chǔ)設(shè)施的并行訪問效率和網(wǎng)絡(luò)的協(xié)同管理等都域技術(shù)資源的整合,打造企業(yè)數(shù)智化生態(tài),幫助企業(yè)全面提升創(chuàng)新能力,形成運(yùn)在AI時代,大規(guī)模集群計算將成為常態(tài)。大模型的千卡、萬卡級協(xié)同訓(xùn)練,率、運(yùn)行效率以及穩(wěn)定性。算網(wǎng)融合有非常廣泛的應(yīng)用場景,在交通、醫(yī)療、制成本、體驗最優(yōu);疊加AI、大數(shù)據(jù)等能力要素,形成多要素融合的一體化服務(wù),用戶不用關(guān)心資源類型和位置,一點(diǎn)接入,隨需申請,隨需使隨著建設(shè)時間的積累,未來的企業(yè)IT基礎(chǔ)設(shè)施內(nèi)容將更加多元:在時間維度上呈現(xiàn)為不同時期的軟硬件系統(tǒng);在技術(shù)棧維度囊括了基礎(chǔ)云、智能算力、數(shù)據(jù)、組件、應(yīng)用等一系列廣義上的數(shù)字資源;在空間維度上以混合云、多云的形籌,施行一體化管理是很多企業(yè)需要重點(diǎn)對待的問題。一體化管理既能夠?qū)崿F(xiàn)資源上的集約,也可以保障不同系統(tǒng)之間的充分共享協(xié)同。在一體化管理的基礎(chǔ)PART02數(shù)據(jù)庫×云原生全面助力企業(yè)IT基礎(chǔ)設(shè)施升級AI時代給企業(yè)IT基礎(chǔ)設(shè)施帶來了新機(jī)遇、新挑戰(zhàn)。數(shù)據(jù)庫作為現(xiàn)代信息系統(tǒng)中的核心和關(guān)鍵組成,是企業(yè)IT基礎(chǔ)設(shè)施的重要能力呈現(xiàn),對業(yè)務(wù)的穩(wěn)定、高效運(yùn)行起到至關(guān)重要的決定性作用。企業(yè)的所有業(yè)務(wù)行為都將具象至對數(shù)據(jù)的定義、操作、分析和維護(hù)管理操作過程。同時,通過對數(shù)據(jù)的進(jìn)一步匯聚、存儲、治理、分析和利用,企業(yè)可以持續(xù)積累數(shù)據(jù)資產(chǎn),并推動以業(yè)務(wù)場景為導(dǎo)向的數(shù)據(jù)服務(wù)能力發(fā)展。因此,以數(shù)據(jù)庫為核心的全棧能力升級成為未來業(yè)務(wù)創(chuàng)新發(fā)展2.1數(shù)據(jù)庫產(chǎn)品正面臨日益緊迫的多維度提升需求隨著各行業(yè)創(chuàng)新升級進(jìn)程的加速,企業(yè)內(nèi)不同業(yè)務(wù)的一體化融合趨勢持續(xù)凸顯,交易型業(yè)務(wù)和分析型業(yè)務(wù)的界限正在日漸模糊。在當(dāng)前的大模型時代,數(shù)據(jù)庫的發(fā)展已經(jīng)與人工智能、云計算、區(qū)塊鏈等一系列新技術(shù)密切關(guān)聯(lián),數(shù)據(jù)庫廠商需要進(jìn)一步洞察大模型時代的企業(yè)業(yè)務(wù)形態(tài)、商業(yè)模式和生態(tài)需求,圍繞數(shù)據(jù)數(shù)據(jù)形態(tài)日趨多樣:AI賦能的企業(yè)創(chuàng)新業(yè)務(wù)帶來了更加多樣的數(shù)據(jù)類型和數(shù)據(jù)關(guān)聯(lián),圖片、視頻、語音等多模態(tài)數(shù)據(jù)的大量產(chǎn)生和使用,使企業(yè)必須認(rèn)真考慮不同類型的數(shù)據(jù)庫需求的統(tǒng)籌和融合問題。無論結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù),還是OLTP、OLAP,都需要數(shù)據(jù)庫體系提供統(tǒng)一、高效、穩(wěn)定、可技術(shù)需求持續(xù)提升:傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的屬性變得越來越復(fù)雜多樣,對數(shù)據(jù)庫的查詢、操作性能提出了更高的要求。隨著企業(yè)業(yè)務(wù)規(guī)模的快速膨脹,數(shù)據(jù)庫的并發(fā)性能和峰值支撐能力都變得極為重要。此外,創(chuàng)新型業(yè)務(wù)普遍要求灰度發(fā)布、快速迭代,數(shù)據(jù)庫需要應(yīng)對更為嚴(yán)苛的彈性伸縮能力和敏捷部署系統(tǒng)間協(xié)同與互操作:高水平的數(shù)據(jù)庫設(shè)計可以大幅提升企業(yè)信息系統(tǒng)間的協(xié)同和互操作能力。不同系統(tǒng)之間通過數(shù)據(jù)庫實(shí)現(xiàn)共享與交互,破除信息孤島。企業(yè)也可以通過數(shù)據(jù)庫對不同業(yè)務(wù)進(jìn)行整合和一體化管理,形成多維業(yè)新技術(shù)帶來新變革:云計算、大數(shù)據(jù)、區(qū)塊鏈與AI的發(fā)展,給數(shù)據(jù)庫產(chǎn)品的發(fā)展變革帶來強(qiáng)勁的影響力和推動力。例如,云技術(shù)提升靈活性與可擴(kuò)展性,滿足容災(zāi)和高可用設(shè)計要求。大數(shù)據(jù)技術(shù)帶來更多類型數(shù)據(jù)庫的需求,加速數(shù)據(jù)庫和大數(shù)據(jù)的融合發(fā)展。區(qū)塊鏈、隱私計算等幫助企業(yè)在復(fù)雜業(yè)務(wù)需求下實(shí)現(xiàn)數(shù)據(jù)可信、可追溯和完整性保護(hù)。AI在帶來新需求的同時,也為安全與合規(guī):在數(shù)據(jù)要素市場化的大背景下,企業(yè)數(shù)據(jù)交易需求正在快速增未來,數(shù)據(jù)要素將成為企業(yè)最重要的資產(chǎn)?,F(xiàn)代企業(yè)數(shù)據(jù)庫的高效、穩(wěn)定運(yùn)行,不僅直接影響企業(yè)自身的健康運(yùn)營和持續(xù)創(chuàng)新發(fā)展,也關(guān)系到不同機(jī)構(gòu)間信任和協(xié)同關(guān)系的建立。高效的數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)和數(shù)據(jù)流通保障,將推動整個社2.2云原生架構(gòu)助力數(shù)據(jù)庫能力躍升撬動企業(yè)深層業(yè)務(wù)需求數(shù)據(jù)庫對多模態(tài)、智能化和高性能等發(fā)展方向的支撐,將進(jìn)一步體現(xiàn)在分布式一體化架構(gòu)、自動化和智能化管理、靈活可擴(kuò)展、安全合規(guī)以及高可用等設(shè)計中。為滿足上述要求,數(shù)據(jù)庫的云原生化將成為當(dāng)前和未來數(shù)據(jù)庫發(fā)展的確定性本地部署模式公有云模式在IDC2023-2028中國關(guān)系型數(shù)據(jù)庫市場規(guī)模統(tǒng)計與預(yù)測數(shù)據(jù)中,公有云模式的市場份額將持續(xù)增長,年均復(fù)合增長率可達(dá)24.5%,遠(yuǎn)高于本地化部署模式的增長率。隨著互聯(lián)網(wǎng)行業(yè)的減速,其整體對云服務(wù)的采購量出現(xiàn)下降,將使公有云數(shù)據(jù)庫的增速放緩,而傳統(tǒng)企業(yè)業(yè)務(wù)上云、行業(yè)云原生應(yīng)用的發(fā)展將繼續(xù)驅(qū)由于企業(yè)和政府IT投資緊縮,2023年以來本地部署模式的數(shù)據(jù)庫增速下降明顯。IDC預(yù)計,本地部署數(shù)據(jù)庫市場增速將在2025年恢復(fù)到正常水平,分布式關(guān)020232023-2028CAGR:總體市場:20.9%公有云模式:24.5%傳統(tǒng)部署模式:134%基于云原生架構(gòu)的數(shù)據(jù)庫天生具備云環(huán)境的分布式和存算分離架構(gòu)優(yōu)勢,可以有效實(shí)現(xiàn)基于云的高可用、低成本服務(wù),為用戶提供極致的彈性伸縮能力、Serverless特性和其他一系列高價值服務(wù)。更為重要的是,云原生數(shù)據(jù)庫能夠幫助企業(yè)將業(yè)務(wù)系統(tǒng)與云上組件、服務(wù)和其他系統(tǒng)進(jìn)行快速集成,輕松實(shí)現(xiàn)在線聯(lián)分布式架構(gòu):云原生數(shù)據(jù)庫通常具備天然的分布式架構(gòu),對規(guī)模化的業(yè)務(wù)數(shù)彈性伸縮能力:構(gòu)建在云原生基礎(chǔ)設(shè)施上的數(shù)據(jù)庫系統(tǒng)能夠提供極致的彈性伸縮能力,包括根據(jù)工作負(fù)載情況快速增加和減少服務(wù)資源,實(shí)現(xiàn)自動化的資源管理,這將極大地提升數(shù)據(jù)庫乃至整個業(yè)務(wù)系統(tǒng)應(yīng)對企業(yè)創(chuàng)新業(yè)務(wù)的復(fù)雜外部訪問變化,確保在日常運(yùn)行和業(yè)務(wù)峰值期間都能夠保持高訪問性能和高可用性和容災(zāi):云原生數(shù)據(jù)庫通常采用數(shù)據(jù)冗余備份以及細(xì)粒度故障監(jiān)測、故障轉(zhuǎn)移、故障自動修復(fù)等技術(shù),確保在發(fā)生故障時數(shù)據(jù)不出錯、不丟失,并有快速恢復(fù)服務(wù)的能力。同時,云原生數(shù)據(jù)庫一般支持跨地域的容災(zāi)方案設(shè)計,利用異地備份和快速啟動能力,保障事故、災(zāi)害發(fā)生時盡快恢復(fù)自動化管理與運(yùn)維:云原生數(shù)據(jù)庫廣泛采用自動化管理和運(yùn)維工具,實(shí)現(xiàn)包括運(yùn)行監(jiān)控、優(yōu)化、備份和故障恢復(fù)等環(huán)節(jié)。這些自動化管理運(yùn)維能力能夠大幅提升運(yùn)維效率,減少錯誤發(fā)生,并顯著降低綜合運(yùn)營成本。目前,人工智能和機(jī)器學(xué)習(xí)技術(shù)也已經(jīng)應(yīng)用在數(shù)據(jù)庫的管理維護(hù)過程中,例如利用機(jī)器與AI技術(shù)深度融合:云原生數(shù)據(jù)庫將融入更多的智能化技術(shù)和組件,通過深度學(xué)習(xí)技術(shù)理解和挖掘數(shù)據(jù)特性,幫助企業(yè)更準(zhǔn)確、更快速地洞察業(yè)務(wù)機(jī)會,動態(tài)調(diào)整運(yùn)營計劃。AI原生應(yīng)用帶來的多模態(tài)數(shù)據(jù)類型也將推動云原生支持多云和跨云訪問:企業(yè)上云進(jìn)程中產(chǎn)生了普遍性的混合云和多云環(huán)境,以滿足不同時期、不同特性的業(yè)務(wù)訪問需求。云原生數(shù)據(jù)庫須能夠支持跨云部署,并在多個云平臺上進(jìn)行無縫遷移和擴(kuò)展,這有利于企業(yè)獲得更多、更更全面的安全合規(guī)保障:新一代的云原生數(shù)據(jù)庫將依托云上的多重安全保障數(shù)據(jù)庫的云原生發(fā)展趨勢將緊密圍繞AI時代企業(yè)轉(zhuǎn)型升級和快速創(chuàng)新的需求,通過與云技術(shù)的融合創(chuàng)新和協(xié)同發(fā)展,支持企業(yè)快速開發(fā)AI原生應(yīng)用場景,2.3AI工作負(fù)載對云原生數(shù)據(jù)庫的新要求AI時代,以大模型應(yīng)用為代表的AI工作負(fù)載,對云原生數(shù)據(jù)庫的發(fā)展提出了一些新的要求,旨在保證數(shù)據(jù)庫系統(tǒng)能夠高效、穩(wěn)定地支撐未來AI應(yīng)用的運(yùn)行,極致訪問性能:AI工作負(fù)載往往與規(guī)?;臄?shù)據(jù)處理密切相關(guān),數(shù)據(jù)庫持續(xù)穩(wěn)定的高吞吐能力非常重要,能夠幫助企業(yè)用戶在AI應(yīng)用中通過并發(fā)模式處理大量數(shù)據(jù)服務(wù)請求。同時,很多交互式AI應(yīng)用(例如通過自然語言進(jìn)行查詢和數(shù)據(jù)統(tǒng)計)非常強(qiáng)調(diào)實(shí)時性,對數(shù)據(jù)訪問的延遲時間有嚴(yán)苛要求,其性智能調(diào)度與優(yōu)化:為了適應(yīng)AI應(yīng)用的訪問特性,云原生數(shù)據(jù)庫需要具備智能調(diào)度與優(yōu)化能力,即根據(jù)AI工作負(fù)載的特性動態(tài)分配資源,優(yōu)化資源利用率和系統(tǒng)性能。同時通過對應(yīng)用運(yùn)行狀態(tài)的監(jiān)測,自主調(diào)整索引策略和配置參多樣化的數(shù)據(jù)服務(wù)接口:除能夠支持多種數(shù)據(jù)類型外,為了讓AI應(yīng)用更容易集成和調(diào)用各類資源,數(shù)據(jù)庫需要支持多種編程語言和框架,并提供豐富的PART03云原生數(shù)據(jù)庫典型場景和核心優(yōu)勢3.1企業(yè)數(shù)據(jù)庫現(xiàn)狀調(diào)研IDC對當(dāng)前企業(yè)使用數(shù)據(jù)庫的情況進(jìn)行了調(diào)研。總體上看,大量企業(yè)正在從傳統(tǒng)數(shù)據(jù)庫向基于云的數(shù)據(jù)庫進(jìn)行技術(shù)變革和架構(gòu)升級。這也預(yù)示著云原生數(shù)據(jù)混合架構(gòu)部署是當(dāng)前數(shù)據(jù)庫部署方式。IDC調(diào)研顯示,參與本次調(diào)研的企業(yè)中,46.7%的企業(yè)采用了混合部署(公有云和私有云、公有云和本地部署的混合)的方式,私有云和本地部署的企業(yè)各占35%和18.3%,尚沒有在公有云上部88%企業(yè)在談及使用數(shù)據(jù)庫的挑戰(zhàn)時,普遍擔(dān)心單體數(shù)據(jù)庫不能滿足海量數(shù)據(jù)規(guī)模,特別是面對海量非結(jié)構(gòu)化數(shù)據(jù)時,企業(yè)對性能、可用性和安全性都有許許多從云數(shù)據(jù)庫的部署及花費(fèi)層面看,73.3%的企業(yè)都已經(jīng)部署了云數(shù)據(jù)庫,且企業(yè)對云數(shù)據(jù)庫的預(yù)期場景包括數(shù)據(jù)存儲、應(yīng)用開發(fā)、ERP應(yīng)用等,對數(shù)據(jù)企業(yè)資源管理(ERP)企業(yè)資源管理(ERP)企業(yè)對云數(shù)據(jù)庫的引入也存在很多顧慮,數(shù)據(jù)遷移及可擴(kuò)展性與靈活性等成為最大挑戰(zhàn)。例如,企業(yè)在使用云數(shù)據(jù)庫時,最為擔(dān)心的包括數(shù)據(jù)遷移、性能、可擴(kuò)展性、一致性以及安全性等問題。在進(jìn)入云數(shù)據(jù)庫部署階段時,企業(yè)需要進(jìn)一步考慮應(yīng)用系統(tǒng)升級以及數(shù)據(jù)遷移的挑戰(zhàn),在這個過程中,企業(yè)普遍擔(dān)心缺乏性能與延遲問題性能與延遲問題(數(shù)據(jù)遷移、數(shù)據(jù)一致性和完整性、停機(jī)時間等)需要對原有應(yīng)用系統(tǒng)進(jìn)行升級改造(數(shù)據(jù)遷移、數(shù)據(jù)一致性和完整性、停機(jī)時間等)需要對原有應(yīng)用系統(tǒng)進(jìn)行升級改造供應(yīng)商依賴較為嚴(yán)重,遷移和部署存在困難23.3%云數(shù)據(jù)庫的可拓展性、集成性和兼容性是企業(yè)關(guān)注的重要維度,同時企業(yè)也 集成性強(qiáng):可與其他云服務(wù)(數(shù)據(jù)分析、機(jī)器學(xué)習(xí)41.7%人工智能和大模型成為推動云數(shù)據(jù)庫發(fā)展的相關(guān)技術(shù)。受訪企業(yè)普遍認(rèn)為人工智能、大模型、大數(shù)據(jù)等技術(shù)將對云數(shù)據(jù)庫市場需求產(chǎn)生影響,包括對功能、 物聯(lián)網(wǎng)在進(jìn)入實(shí)際選型階段時,企業(yè)一般關(guān)心服務(wù)商的實(shí)施經(jīng)驗和成功案例,并期望對服務(wù)商的市場地位、技術(shù)水平、生態(tài)系統(tǒng)兼容性、服務(wù)響應(yīng)速度等進(jìn)行評估。此外,服務(wù)商的前期咨詢規(guī)劃能力也十分重要,這有利于為企業(yè)用戶構(gòu)建一%3.2云原生數(shù)據(jù)庫特性與通用場景云原生數(shù)據(jù)庫專為云環(huán)境設(shè)計,具備自動擴(kuò)縮資源、算網(wǎng)資源協(xié)同、存算分離、Serverless、容器化部署、高可用性、數(shù)據(jù)安全、多數(shù)據(jù)模態(tài)和多編程語言支持等多種特性,為企業(yè)各種復(fù)雜和多樣化的業(yè)務(wù)場景提供性能強(qiáng)大、高可用性和可擴(kuò)展的數(shù)據(jù)服務(wù)。通常情況下,云原生數(shù)據(jù)庫能夠在以下的企業(yè)通用場景中云原生數(shù)據(jù)庫得益于其分布式架構(gòu)和存算分離的技術(shù)特點(diǎn),能夠在高并發(fā)訪問場景下有效分散數(shù)據(jù)庫讀寫壓力,輕松應(yīng)對大并發(fā)量的突發(fā)流量高峰。在存算分離設(shè)計下,數(shù)據(jù)存儲和數(shù)據(jù)計算功能分屬不同的系統(tǒng)模塊,兩者可以獨(dú)立進(jìn)行倉容器化部署,承載高彈性流量云原生技術(shù)體系下對于組件的容器化部署,使各類資源更加輕量化,擁有快速響應(yīng)業(yè)務(wù)的能力。云原生數(shù)據(jù)庫系統(tǒng)能夠根據(jù)工作負(fù)載動態(tài)地調(diào)整計算和存儲AI時代的企業(yè)創(chuàng)新業(yè)務(wù)可能涉及不同的數(shù)據(jù)模型和編程語言,并包含不同類型的關(guān)系型數(shù)據(jù)和非關(guān)系型數(shù)據(jù)。云原生數(shù)據(jù)庫首先應(yīng)能夠適配當(dāng)前企業(yè)較為普遍的湖倉一體設(shè)計,支持對關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)平臺和對象存儲等數(shù)據(jù)源的連接和共享,結(jié)合強(qiáng)大的擴(kuò)展能力和靈活性,幫助企業(yè)更好地開展AI模型的訓(xùn)練和推理工作。同時,云原生的Serverless特性讓數(shù)據(jù)庫用戶無需云原生數(shù)據(jù)庫的分布式架構(gòu)以及依托高性能網(wǎng)絡(luò)的高效數(shù)據(jù)處理引擎,能夠確保對規(guī)?;瘮?shù)據(jù)處理的高吞吐量和低延遲,這對于一些對時延非常敏感的在線事務(wù)處理和實(shí)時數(shù)據(jù)分析場景非常重要。云原生數(shù)據(jù)庫還可以借助AI輔助策略,動態(tài)優(yōu)化網(wǎng)絡(luò)協(xié)同模式和數(shù)據(jù)訪問路徑,從而進(jìn)一步提升海量數(shù)據(jù)的處理能力,云原生數(shù)據(jù)庫能夠依托混合云、多云架構(gòu)以及云的多Region、多AZ服務(wù)能力,為用戶的多環(huán)境、多區(qū)域部署提供更多的方案選擇,滿足不同類型用戶(特別是大型企業(yè))的業(yè)務(wù)需求。企業(yè)可以根據(jù)實(shí)際需要,對業(yè)務(wù)以及數(shù)據(jù)庫進(jìn)行跨機(jī)房、跨地域部署,利用云原生數(shù)據(jù)庫的跨環(huán)境、跨區(qū)域數(shù)據(jù)同步能力,構(gòu)建多活和容災(zāi)場景,并最終落實(shí)到具體的部署方案中。在多云、混合云架構(gòu)部署方式云的統(tǒng)一管理平臺能夠為云原生數(shù)據(jù)庫提供一體化的管理和智能化維護(hù)能力,通過細(xì)粒度的監(jiān)控和管理界面,用戶可以隨時掌握數(shù)據(jù)庫的運(yùn)行狀態(tài),根據(jù)業(yè)務(wù)情況自動調(diào)整資源,優(yōu)化服務(wù)路徑。此外,云原生數(shù)據(jù)庫自身的訪問控制、故障檢測和日志審計能力也可以與云平臺進(jìn)行打通,實(shí)現(xiàn)數(shù)據(jù)庫的內(nèi)、外部融合云原生數(shù)據(jù)庫充分利用云的彈性擴(kuò)展和智能化管理能力,讓企業(yè)用戶動態(tài)調(diào)整資源使用量,享受云的按需付費(fèi)優(yōu)勢,大幅降低資源的閑置浪費(fèi)情況。智能化的管理和優(yōu)化能力,也能夠提升IT系統(tǒng)整體的穩(wěn)定性和效率,在很大程度上降低3.3云原生數(shù)據(jù)庫的典型行業(yè)場景云原生數(shù)據(jù)庫的分布式架構(gòu)和高可用特性,非常適合在政企、金融、泛互聯(lián)政企領(lǐng)域應(yīng)用非??粗貥I(yè)務(wù)數(shù)據(jù)的安全性和穩(wěn)定性。尤其是近年來,以互聯(lián)網(wǎng)+政務(wù)服務(wù)為代表的數(shù)字政府建設(shè),推出了大量面向廣大百姓的交互式服務(wù),更是將通用AI能力融入服務(wù)環(huán)節(jié)中。云原生數(shù)據(jù)庫對保障數(shù)字政府業(yè)務(wù)向規(guī)模金融行業(yè)對數(shù)據(jù)的安全性和實(shí)時性要求極高。云原生數(shù)據(jù)庫能夠提供快速的數(shù)據(jù)訪問和高效的交易處理能力,支持高并發(fā)交易場景,如保險渠道銷售、證券工業(yè)制造領(lǐng)域的各類傳感器會產(chǎn)生大量的實(shí)時數(shù)據(jù),云原生數(shù)據(jù)庫能夠快速讀取、存儲和分析這些數(shù)據(jù),為相關(guān)的生產(chǎn)、經(jīng)營管理提供數(shù)據(jù)支持,并進(jìn)一步交通、物流領(lǐng)域需要處理包括人、車、物流動過程中的大量實(shí)時數(shù)據(jù),并實(shí)現(xiàn)控制信號優(yōu)化、資源調(diào)度、時效預(yù)測等能力。云原生數(shù)據(jù)庫能夠更好地支持資云原生數(shù)據(jù)庫能夠支撐電商平臺的巨大峰值訪問量和交易量,利用高彈性的資源管理能力,確保用戶高效率、低成本、高可靠地達(dá)成商業(yè)化目標(biāo)。目前的新媒體平臺也需要云原生數(shù)據(jù)庫的多模態(tài)數(shù)據(jù)存儲和處理能力,對海量的圖片、視醫(yī)療行業(yè)的電子病歷、醫(yī)療影像、藥物管理等信息種類多、規(guī)模大,在診斷、病情管理、醫(yī)療研究、智能診斷等領(lǐng)域,對數(shù)據(jù)存儲、處理的實(shí)時性、安全性、穩(wěn)定性都有很高的要求。云原生數(shù)據(jù)庫對推動醫(yī)療場景的電子化、智能化進(jìn)游戲行業(yè)需要處理大量玩家的實(shí)時交互數(shù)據(jù),云原生數(shù)據(jù)庫的高并發(fā)、低延PART04云原生數(shù)據(jù)庫技術(shù)最新進(jìn)展和發(fā)展趨勢近年來,云原生數(shù)據(jù)庫在彈性伸縮、高可用性和智能化管理運(yùn)維方面都取得存算分離、數(shù)據(jù)一致性等技術(shù)的協(xié)同發(fā)展過程中,正在承載越來越多樣的企業(yè)創(chuàng)新應(yīng)用。特別是伴隨AI和機(jī)器學(xué)習(xí)技術(shù)的快速突破,云原生數(shù)據(jù)庫將進(jìn)一步獲得4.1AI助力,讓云原生數(shù)據(jù)庫更智能AI應(yīng)用對數(shù)據(jù)庫提出了更多需求,但同時,AI的發(fā)展也會推動云原生數(shù)據(jù)庫技術(shù)的持續(xù)進(jìn)步。AI不僅能夠?qū)?shù)據(jù)庫管理、運(yùn)維環(huán)節(jié)進(jìn)行智能化改造,提升數(shù)據(jù)庫的性能和效率,還通過與數(shù)據(jù)分析、挖掘過程的結(jié)合,給用戶帶來更多的能AI優(yōu)化數(shù)據(jù)庫訪問能力:例如改善檢索策略,優(yōu)化查詢路徑,實(shí)現(xiàn)更快速地查詢和操作。AI技術(shù)可以幫助云原生數(shù)據(jù)庫更精確地預(yù)測用戶行為,從而合AI優(yōu)化數(shù)據(jù)庫管理與維護(hù):AI算法能夠深度洞察數(shù)據(jù)庫的服務(wù)狀態(tài),合理調(diào)度并保持各類訪問狀態(tài)下的負(fù)載均衡?;贏I的預(yù)測性維護(hù)技術(shù),能夠提前AI增強(qiáng)數(shù)據(jù)安全防護(hù)能力:AI技術(shù)能夠幫助云原生數(shù)據(jù)庫提升數(shù)據(jù)安全性和隱私保護(hù)能力,例如持續(xù)學(xué)習(xí)和發(fā)現(xiàn)異常訪問行為,阻止?jié)撛诘陌踩{,AI優(yōu)化數(shù)據(jù)模型選擇:云原生數(shù)據(jù)庫可以通過對AI算法的集成,幫助用戶智能選擇適合當(dāng)前應(yīng)用的數(shù)據(jù)模型和數(shù)據(jù)集,并輔助完成數(shù)據(jù)切片工作,在處性能優(yōu)化:AI技術(shù)可以應(yīng)用于數(shù)據(jù)庫的性能優(yōu)化,如基于學(xué)習(xí)模型的優(yōu)化器、索引推薦、自動視圖生成、機(jī)器學(xué)習(xí)索引等。通過對歷史數(shù)據(jù)的分析和學(xué)習(xí),AI能夠優(yōu)化數(shù)據(jù)庫性能,提高查詢速度和吞吐量,根據(jù)業(yè)務(wù)需求自動4.2與向量能力的深度結(jié)合隨著AI處理需求的快速提升,云原生數(shù)據(jù)庫開始與向量能力結(jié)合,進(jìn)一步提適用更廣泛的應(yīng)用場景:云原生數(shù)據(jù)庫結(jié)合向量能力,可以幫助企業(yè)處理和分析大規(guī)模、高維度的向量數(shù)據(jù),在機(jī)器學(xué)習(xí)、計算機(jī)視覺、自然語言處提供更高效的數(shù)據(jù)處理能力:向量化技術(shù)有助于云原生數(shù)據(jù)庫更加高效地完成包括相似性計算和聚類分析在內(nèi)的復(fù)雜功能,增強(qiáng)AI應(yīng)用中對關(guān)聯(lián)數(shù)據(jù)的分析效率和準(zhǔn)確性。智能化的數(shù)據(jù)管理也能賦能數(shù)據(jù)清洗、去重、分類等過與更多業(yè)務(wù)平臺實(shí)現(xiàn)無縫集成:云原生數(shù)據(jù)庫將借助云平臺的能力與更多的業(yè)務(wù)服務(wù)進(jìn)行無縫集成,實(shí)現(xiàn)復(fù)雜數(shù)據(jù)類型情況下的便捷共享和交換,幫助4.3全局?jǐn)?shù)據(jù)庫實(shí)現(xiàn)跨地域部署和多級高可用未來,跨區(qū)域的虛擬組織和全球業(yè)務(wù)將大量出現(xiàn),跨區(qū)域的部署也將成為常態(tài)。云原生數(shù)據(jù)庫將實(shí)現(xiàn)不同地域部署節(jié)點(diǎn)間的全局一體化能力,讓全國乃至世界各地的用戶都能就近訪問同一個全局?jǐn)?shù)據(jù)庫,不同節(jié)點(diǎn)之間的數(shù)據(jù)將實(shí)現(xiàn)秒級同步。在滿足跨區(qū)域業(yè)務(wù)的同時,通過將數(shù)據(jù)備份到相距更遠(yuǎn)的不同區(qū)域,企業(yè)將獲得更強(qiáng)的抵御災(zāi)難的能力。在這個過程中,數(shù)據(jù)庫的跨區(qū)域同步機(jī)制非常重要,這些機(jī)制可以保障企業(yè)數(shù)據(jù)在不同區(qū)域間的一致性,并在單個屬地發(fā)生故障4.4Serverless和智能彈性助力降本增效云原生數(shù)據(jù)庫是云計算技術(shù)體系中的重要PaaS產(chǎn)品。其建立了高效率、低成本、高可用的數(shù)據(jù)庫服務(wù)新模式,使數(shù)據(jù)庫技術(shù)更加普惠,覆蓋至更廣大的中小企業(yè)群體。Serverless技術(shù)作為新一代云原生數(shù)據(jù)庫的代表,讓用戶無需關(guān)心服務(wù)器的配置、維護(hù)和擴(kuò)展等問題,實(shí)現(xiàn)按需付費(fèi),給用戶帶來極大的靈活性和成本效益。Serverless架構(gòu)能夠根據(jù)應(yīng)用程序的需求自動進(jìn)行資源的擴(kuò)縮,實(shí)現(xiàn)高效的資源利用,并通過高可用性和容錯能力,提供高可靠性的less能大幅改善企業(yè)用戶的開發(fā)效率、運(yùn)營成本、部署速度、可靠性等指標(biāo),覆4.5多級HTAP釋放企業(yè)數(shù)據(jù)潛能HTAP(混合事務(wù)/分析處理)作為一種新興的體系架構(gòu),打破了傳統(tǒng)數(shù)據(jù)庫系統(tǒng)中事務(wù)處理(OLTP)和分析處理(OLAP)之間的壁壘,使用戶在保持?jǐn)?shù)據(jù)高訪問性能的前提下,兼顧對數(shù)據(jù)的實(shí)時處理和分析操作,滿足企業(yè)對于實(shí)時數(shù)據(jù)處理和復(fù)雜分析的多維需求。云原生數(shù)據(jù)庫通過對存儲結(jié)構(gòu)的優(yōu)化,以及對查詢引擎以及事務(wù)管理機(jī)制等方面的改善性設(shè)計,實(shí)現(xiàn)對混合工作負(fù)載更加高效的支撐。云原生數(shù)據(jù)庫還可以進(jìn)一步結(jié)合AI算法和分層設(shè)計,對存儲、計算、調(diào)度PART05構(gòu)建一站式云原生數(shù)據(jù)服務(wù)基礎(chǔ)設(shè)施5.1移動云在云數(shù)據(jù)庫方面的發(fā)展脈絡(luò)與成果展示移動云立足當(dāng)前云服務(wù)商第一陣營,入選國資委首批“創(chuàng)建世界一流專業(yè)領(lǐng)軍示范企業(yè)”名單,開啟“成為一流云服務(wù)商”的新征程。移動云數(shù)據(jù)庫團(tuán)隊于十年前正式誕生,以實(shí)現(xiàn)數(shù)據(jù)庫核心技術(shù)自主可控為目標(biāo),構(gòu)建了完整的產(chǎn)品和移動云一站式云原生數(shù)據(jù)庫服務(wù)基于數(shù)據(jù)庫統(tǒng)一云原生平臺底座,在數(shù)據(jù)庫服務(wù)層面囊括了事務(wù)型、分析與檢索型以及NoSQL等多種類型的數(shù)據(jù)庫服務(wù)能事務(wù)型數(shù)據(jù)庫:包含云原生數(shù)據(jù)庫MySQL版、PostgreSQL版、分布式版,分析與檢索型數(shù)據(jù)庫:包含云原生數(shù)據(jù)庫數(shù)倉版,以及搜索數(shù)據(jù)庫、向量數(shù)此外,移動云還提供了完整的數(shù)據(jù)庫生態(tài)工具能力,包括數(shù)據(jù)傳輸工具、數(shù)根據(jù)云原生發(fā)展程度不同,移動云構(gòu)建了云原生數(shù)據(jù)庫四級進(jìn)化體系,并規(guī)范了技術(shù)架構(gòu)范式。移動云首先基于K8s構(gòu)建了云原生數(shù)據(jù)庫底座,旨在對全部移動云數(shù)據(jù)庫產(chǎn)品實(shí)現(xiàn)統(tǒng)一納管。在此過程中,通過標(biāo)準(zhǔn)化硬件,從BIOS、OS、網(wǎng)絡(luò)到內(nèi)核實(shí)現(xiàn)了端到端優(yōu)化,整體性能較開源體系有全面提升。在此基礎(chǔ)上,移動云原生數(shù)據(jù)庫持續(xù)推動內(nèi)核云原生化進(jìn)程,相繼規(guī)劃和實(shí)現(xiàn)了多項技術(shù) 容器化部署:在K8s基礎(chǔ)上實(shí)現(xiàn)全部數(shù)據(jù)庫產(chǎn)品的容器化部署,滿足輕量化存算分離架構(gòu):云原生數(shù)據(jù)庫系列產(chǎn)品采用存算分離架構(gòu),做到計算、內(nèi)向Serverless全面演進(jìn):通過負(fù)載感知、負(fù)載喚醒等技術(shù)手段,為用戶提供移動云還針對算網(wǎng)融合發(fā)展趨勢,啟動了新一代算力網(wǎng)絡(luò)數(shù)據(jù)庫的規(guī)劃設(shè)計:2023年,移動云聯(lián)合多家央企并牽頭算力網(wǎng)絡(luò)任務(wù),構(gòu)建全國一體化算力網(wǎng)絡(luò),實(shí)現(xiàn)算力資源的優(yōu)化調(diào)度,并疊通過打造算力網(wǎng)絡(luò)的感知、智能和編排調(diào)度能力,形成基于算力域、網(wǎng)絡(luò)域的算網(wǎng)大腦,與云原生數(shù)據(jù)庫實(shí)現(xiàn)融合,形成更加智能化的數(shù)據(jù)流通、數(shù)據(jù)協(xié)同處理、安全數(shù)據(jù)交換以及數(shù)據(jù)智能服務(wù)能力,甚至可以進(jìn)一步為用戶推薦智能化5.2移動云原生數(shù)據(jù)庫核心能力位的產(chǎn)品家族,打造OLTP(集中式、分布式)、OLAP(數(shù)據(jù)倉庫)三大類引擎,全面覆蓋數(shù)據(jù)庫各類應(yīng)用需求,具備高性能、高彈性、高可靠等特點(diǎn),產(chǎn)品云原生云原生移動云原生數(shù)據(jù)庫采用分離架構(gòu)設(shè)計,具自主可控自主可控......全棧國產(chǎn)化:自研數(shù)據(jù)庫內(nèi)核引擎全棧國產(chǎn)化:自研數(shù)據(jù)庫內(nèi)核引擎OS覆蓋全面,可用于各類數(shù)據(jù)庫替換.........在云原生數(shù)據(jù)庫產(chǎn)品體系基礎(chǔ)上,移動云正在緊隨中國移動集團(tuán)創(chuàng)世界一流的戰(zhàn)略定位,加快推進(jìn)數(shù)據(jù)庫“由云向算”升級轉(zhuǎn)型,全力推動算力網(wǎng)絡(luò)數(shù)據(jù)庫發(fā)展,提出了面向算力網(wǎng)絡(luò)的全新理念和架構(gòu)設(shè)計。區(qū)別于傳統(tǒng)云數(shù)據(jù)庫的多類型內(nèi)核引擎模式(如OLTP/OLAP/多模,能力分別建設(shè)),算力網(wǎng)絡(luò)數(shù)據(jù)庫構(gòu)建了融合型內(nèi)核引擎,重在融合數(shù)據(jù)處理與分析的一站式能力。在供給模式上,算力網(wǎng)絡(luò)數(shù)據(jù)庫讓用戶無需關(guān)注地域、無需關(guān)注資源、無需關(guān)注業(yè)務(wù)負(fù)載,輕松獲得在線“任務(wù)式”數(shù)據(jù)庫服務(wù)。在業(yè)務(wù)場景上,算力網(wǎng)絡(luò)數(shù)據(jù)庫的應(yīng)用范圍全面覆蓋云數(shù)據(jù)庫智能構(gòu)建、云數(shù)據(jù)庫并網(wǎng)、數(shù)據(jù)算力服務(wù)、數(shù)據(jù)智能服務(wù)、全域數(shù)據(jù)5.3移動云原生數(shù)據(jù)庫產(chǎn)品能力與應(yīng)用案例云原生數(shù)據(jù)庫PostgreSQL版是由移動云自主研發(fā)的云原生關(guān)系型數(shù)據(jù)庫產(chǎn)品,采用基于Shared-Storage與存儲計算分離架構(gòu),具有極致彈性能力和高可靠、高可用、彈性擴(kuò)展等企業(yè)級數(shù)據(jù)庫特性,100%兼容PostgreSQL數(shù)據(jù)庫。云持續(xù)深化云原生:云原生數(shù)據(jù)庫PostgreSQL版深化了云原生存算分離架構(gòu),采用了聯(lián)邦緩存池技術(shù),將計算節(jié)點(diǎn)內(nèi)存進(jìn)行池化,并將數(shù)據(jù)分區(qū),使每個計算節(jié)點(diǎn)根據(jù)分區(qū)策略緩存部分?jǐn)?shù)據(jù)。此舉大大提升了緩存命中率,將融合架構(gòu)設(shè)計:云原生數(shù)據(jù)庫PostgreSQL版同時兼容存算一體、存算分離架構(gòu),滿足不同類型數(shù)據(jù)庫遷移需要,并將本地數(shù)據(jù)庫->RDS->云原生數(shù)據(jù)豐富產(chǎn)業(yè)生態(tài),全棧自主可控:云原生數(shù)據(jù)庫PostgreSQL版全面適配不同廠商的硬件基礎(chǔ)設(shè)施,并在內(nèi)核引擎、平臺工具、服務(wù)、渠道和社區(qū)層面聚云原生數(shù)據(jù)庫PostgreSQL版的應(yīng)用場景包括:業(yè)務(wù)系統(tǒng)平滑上云,滿足用戶快速低成本用云,穩(wěn)定支持業(yè)務(wù)峰值;以及實(shí)現(xiàn)對開源PostgreSQL的國產(chǎn)化替換。在相關(guān)場景下,云原生數(shù)據(jù)庫PostgreSQL版解決了讀寫分離、一主多從目前,云原生數(shù)據(jù)庫PostgreSQL版聚焦的客戶需求包括黨政應(yīng)用、數(shù)字政府建設(shè)、政務(wù)云信創(chuàng)需求、銀行業(yè)務(wù)核心系統(tǒng)性能升級和國產(chǎn)化替代以及泛互聯(lián)?!弊鳛橐环N普惠性補(bǔ)充醫(yī)療保險,對服務(wù)社會發(fā)展有重要的價值和功能。其低價格、低門檻、高保障等特點(diǎn),能夠有效降低居民醫(yī)保目錄內(nèi)和目錄外高額醫(yī)療負(fù)擔(dān),為參保人提供了更高層次的惠民保系統(tǒng)需要構(gòu)建一套高效、穩(wěn)定、擴(kuò)展性強(qiáng)的線上系統(tǒng),前期投保并發(fā)流量大,對系統(tǒng)帶寬、應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器的性能要求都很高;而且業(yè)務(wù)量前期不好預(yù)估,可能隨時要進(jìn)行擴(kuò)容,而投保后期主要請求來源于業(yè)務(wù)部門各類復(fù)雜的報表查詢。針對惠民保系統(tǒng)的前后期投保業(yè)務(wù)變化大及業(yè)務(wù)類型多變的特點(diǎn),要求系統(tǒng)資源的擴(kuò)縮容需要足夠靈活,數(shù)據(jù)庫也需要同時通過調(diào)研多種數(shù)據(jù)庫并結(jié)合項目的實(shí)際情況,基于聯(lián)仁公司先前對云原生數(shù)據(jù)庫應(yīng)用經(jīng)驗,活彈性,根據(jù)需求可分別對計算節(jié)點(diǎn)和存儲節(jié)點(diǎn)進(jìn)行無縫擴(kuò)容,無需進(jìn)行數(shù)據(jù)搬遷,快速滿以往項目中用于對大量歷史數(shù)據(jù)進(jìn)行歸檔查詢,發(fā)現(xiàn)云原生數(shù)據(jù)庫PostgreSQL版支持復(fù)雜大屏報表服務(wù)代理人服務(wù)可回溯埋點(diǎn)分析日志記錄權(quán)限控制本次項目,惠民保整體業(yè)務(wù)架構(gòu)充分使用移動云各類數(shù)據(jù)庫,這些數(shù)據(jù)庫產(chǎn)品在業(yè)務(wù)的不同聯(lián)仁健康惠民保系統(tǒng)通過云化架構(gòu)的改造和提升,自2022年6月正式上線以來,系統(tǒng)整體已平穩(wěn)運(yùn)行2年多時間。圍繞資源靈活調(diào)度以及系統(tǒng)性能提升,全面優(yōu)化線上業(yè)務(wù)系統(tǒng),促進(jìn)主營業(yè)務(wù)的協(xié)同快速發(fā)展,推動公關(guān)組件、投保服務(wù)、代理人服務(wù)、大屏報表服務(wù)、外部系統(tǒng)等各業(yè)通過采用移動云架構(gòu)體系改造后,全系統(tǒng)的可擴(kuò)展性、靈活性都得到了顯著提升。同時,由于無需專門硬件投入,企業(yè)按需付費(fèi)選擇所需性能,同時,數(shù)據(jù)庫系統(tǒng)的自動化管理得以廣泛應(yīng)用,例如備份計劃自動執(zhí)行、數(shù)據(jù)庫審核一鍵開關(guān)、慢日志自動記錄、告警監(jiān)控自動觸發(fā)等,在咪咕音樂有限公司是中國移動面向移動互聯(lián)網(wǎng)領(lǐng)域設(shè)立的新媒體企業(yè),負(fù)責(zé)音樂領(lǐng)域產(chǎn)品、運(yùn)營、服務(wù)一體化的專業(yè)公司。歷經(jīng)10余年發(fā)展,咪咕音樂依托信息技術(shù)演進(jìn)和全產(chǎn)業(yè)鏈模式,打造了版權(quán)運(yùn)營、內(nèi)容自制、彩鈴/視頻彩鈴藝人經(jīng)紀(jì)等領(lǐng)域,構(gòu)建起技術(shù)與內(nèi)容雙領(lǐng)先生態(tài),成長為跨界融合通信網(wǎng)、互聯(lián)網(wǎng)、廣電網(wǎng)的龍咪咕音樂公司從2023起啟動業(yè)務(wù)上云,彩鈴集中平臺作為咪咕核心平臺,承擔(dān)了大量的業(yè)務(wù)訪問和流量。以掛機(jī)短信業(yè)務(wù)為例,主叫用戶觀看到視頻彩鈴時,彩鈴呼叫平臺會生成一條用戶鈴音播放記錄,按分鐘/半小時上傳至集中平臺,集中平臺再通過對用戶鈴音播放記錄的分析,及時通過省側(cè)運(yùn)營的短信端口1065883099,為主叫用戶發(fā)送一條介紹視頻彩鈴相關(guān)業(yè)務(wù)的短信。彩鈴集中掛機(jī)短信系統(tǒng)流量大,對系統(tǒng)資源的擴(kuò)縮容需要足夠靈活,數(shù)據(jù)庫也需要同時滿足OLTP及OLAP需求。通過調(diào)研多種數(shù)據(jù)庫并結(jié)合項目的實(shí)際情況,咪咕音樂公司規(guī)劃引入了云原在設(shè)計階段,通過業(yè)務(wù)分庫減少資源爭用,利用讀庫將實(shí)時性要求不高的請求引導(dǎo)至讀庫上,減少主庫的壓力。針對報表業(yè)務(wù)對綜合各方數(shù)據(jù)的需要,咪咕音樂公司利用移動云的數(shù)據(jù)庫在項目交付過程中,利用壓力測試、擴(kuò)容演練等方式,做好充足的上線前準(zhǔn)備。在項目運(yùn)維階段,系統(tǒng)提供實(shí)時監(jiān)控、動態(tài)擴(kuò)容能力,有效保障整個數(shù)據(jù)庫系統(tǒng)的平穩(wěn)運(yùn)行。采用移動云架構(gòu)體系改造后,系統(tǒng)的可擴(kuò)展性和靈活性大幅增強(qiáng),云原生數(shù)據(jù)庫支持資源(CPU、內(nèi)存、存儲)在線擴(kuò)縮容,支持單機(jī)或主備工作模式,并具備單機(jī)轉(zhuǎn)主備模式的能力。云原生數(shù)據(jù)庫某快運(yùn)公司目前在全國攬派件網(wǎng)點(diǎn)有數(shù)萬家,分撥中心超近百個,自有運(yùn)輸車輛近萬臺,區(qū)該企業(yè)的數(shù)據(jù)中心基礎(chǔ)設(shè)施,首先需要處理大量的實(shí)同時,企業(yè)也存在越來越多的面向復(fù)雜分析的準(zhǔn)實(shí)時場景,在傳統(tǒng)的數(shù)據(jù)庫環(huán)境下,這些分析業(yè)務(wù)時間周期很長,且極不穩(wěn)定,系統(tǒng)經(jīng)常出現(xiàn)崩潰現(xiàn)象,數(shù)據(jù)服務(wù)難以維系。例如對在線分撥中心的貨物滯留情況進(jìn)行計算,在傳統(tǒng)Oracle環(huán)境下,對60天的滯留數(shù)據(jù)計算需每兩小時計算一次,每次計算需要將數(shù)據(jù)拆分為60次進(jìn)行循環(huán)計算,經(jīng)常由于資源不足或性能限制導(dǎo)致計算任此外,企業(yè)還常常需要進(jìn)行跨年長期歷史數(shù)據(jù)的大規(guī)模復(fù)雜分析,例如進(jìn)行回溯對賬分析,針對操作和分析混合情況,對操作和分析進(jìn)行解耦。針對數(shù)據(jù)分析,通過云原生數(shù)據(jù)庫數(shù)倉版、湖倉分析引擎和Paimon數(shù)據(jù)湖搭建批流一體架構(gòu),由云原生數(shù)據(jù)庫數(shù)倉版和湖倉分析云原生數(shù)據(jù)庫數(shù)倉版中的物化視圖能簡化湖倉分層建模,可以通過物化視圖可將Paimon數(shù)數(shù)倉版直接進(jìn)行分析,也能通過物化視圖將湖上數(shù)據(jù)寫入到云原生數(shù)據(jù)庫數(shù)倉版中加速查在數(shù)據(jù)集成上,云原生數(shù)據(jù)庫數(shù)倉版提供多種數(shù)據(jù)導(dǎo)入方式,包括實(shí)時數(shù)據(jù)導(dǎo)入、批量數(shù)據(jù)導(dǎo)入、流式數(shù)據(jù)導(dǎo)入等,以滿足不同業(yè)務(wù)場景下的數(shù)據(jù)導(dǎo)入需求。在數(shù)據(jù)建模方式上,云原生數(shù)據(jù)庫數(shù)倉版提供了星型、雪花、大寬表、預(yù)聚合等方多種數(shù)據(jù)建模后的批流一體架構(gòu)中,云原生數(shù)據(jù)庫數(shù)倉版支持通過PaimonCatlog組件直接查詢Paimon數(shù)應(yīng)用云原生數(shù)據(jù)庫后,實(shí)時場景和準(zhǔn)實(shí)時
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 旅游度假二手房合同模板
- 清潔公司租賃印花稅協(xié)議
- 環(huán)保工程現(xiàn)場施工員聘用協(xié)議
- 橋梁施工項目合同轉(zhuǎn)讓協(xié)議
- 營銷爭議保證金協(xié)議書
- 員工投訴與培訓(xùn)與發(fā)展
- 草原瑜伽靜修活動租賃合同
- 城市地鐵鉆探施工合同
- 停車場安全監(jiān)控系統(tǒng)施工協(xié)議
- 水電安裝施工員聘用協(xié)議范本
- 重慶財經(jīng)學(xué)院《自然語言處理》2022-2023學(xué)年第一學(xué)期期末試卷
- 【MOOC】大學(xué)生職業(yè)發(fā)展與就業(yè)指導(dǎo)-河南科技大學(xué) 中國大學(xué)慕課MOOC答案
- 2024年度總結(jié)暨表彰大會議程例文(3篇)
- 山東省濟(jì)南市2023-2024學(xué)年高二上學(xué)期期末考試地理試題 附答案
- 【MOOC】微型計算機(jī)原理與接口技術(shù)-南京郵電大學(xué) 中國大學(xué)慕課MOOC答案
- GB/T 44898-2024基本公共服務(wù)均等化評價通則
- 糖尿病傷口護(hù)理
- 建筑師業(yè)務(wù)實(shí)習(xí)答辯
- 第07課 開關(guān)量的與運(yùn)算(說課稿)2024-2025學(xué)年六年級上冊信息技術(shù)人教版
- 在編警察聘用合同范例
- 中華人民共和國突發(fā)事件應(yīng)對法培訓(xùn)課件
評論
0/150
提交評論