AI原生云建設(shè)與加速指南 2024

Co騰訊云iGartner·Al原生云建設(shè)與加速02.從CIoudforAI到AINativeCIoud,云平臺(tái)能力要求對(duì)比030103.新型AI云平臺(tái)需要解決的挑戰(zhàn)0504.為AI加速而生,騰訊云(AINativeCIoud)平臺(tái)架構(gòu)能力全景解析07 結(jié)語(yǔ)結(jié)語(yǔ)33關(guān)于騰訊云35資料參考37?М01-在人工智能的浪潮中,我們正目睹—場(chǎng)前所未有的技術(shù)革命。這場(chǎng)革命以其澎湃的動(dòng)力和深遠(yuǎn)的影響,正在重塑著全球的商業(yè)格局和社會(huì)發(fā)展。隨著Al技術(shù)的不斷成熟,它已經(jīng)開始滲透到?jīng)Q策、創(chuàng)新和價(jià)值創(chuàng)造的每—個(gè)環(huán)節(jié),成為推動(dòng)社會(huì)進(jìn)步的關(guān)鍵力量。無(wú)論是跨國(guó)巨頭還是初創(chuàng)企業(yè),無(wú)論是科研殿堂還是個(gè)人探索者,都無(wú)—例外地被卷入了這場(chǎng)由Al引領(lǐng)的變革洪流。科技的心臟在全球各地跳動(dòng),大語(yǔ)言模型、語(yǔ)音模型、視頻模型等領(lǐng)域的突破性進(jìn)展不斷涌現(xiàn),推動(dòng)著人工智能技術(shù)的邊界持續(xù)拓展。這場(chǎng)技術(shù)的"軍備競(jìng)賽"不僅激發(fā)了創(chuàng)新的火花,也為各行各業(yè)帶來(lái)了源源不斷的驅(qū)動(dòng)力。Al技術(shù)的發(fā)展和應(yīng)用,正在幫助技術(shù)廠商實(shí)現(xiàn)產(chǎn)品和服務(wù)的升級(jí)迭代,提升競(jìng)爭(zhēng)力。例如,獨(dú)立軟件供應(yīng)商(lsv)紛紛將Al技術(shù)融入自己的產(chǎn)品之中,以期在新時(shí)代的舞臺(tái)上占據(jù)—席之地。Gartner的研究表明,到2026年,超過(guò)70%的lsv將在其軟件產(chǎn)品中嵌入生成式Al的能力,這—趨在需求的另—端,生成式Al所展現(xiàn)的變革之力讓它成為商業(yè)界熱議的話題,也是所有行業(yè)和地理區(qū)域的高管們關(guān)注的焦點(diǎn)。生成式Al的潛力在于其能夠自動(dòng)化決策和內(nèi)容創(chuàng)造,為企業(yè)帶來(lái)前所未有的價(jià)值和效率。Gartner的報(bào)告預(yù)測(cè),到2026年,超過(guò)80%的企業(yè)將在生產(chǎn)環(huán)境中采用生成式Al的Apl、模型,并部署啟用生成式Al的應(yīng)用。這些都預(yù)示了Al原生時(shí)代的全面到來(lái)。在這個(gè)時(shí)代,大模型將成為新的技術(shù)基石,它不僅能夠讓現(xiàn)有的應(yīng)用實(shí)現(xiàn)超級(jí)進(jìn)化,更將催生出全新的應(yīng)用物種。coPilot和AlAgent的出現(xiàn),就是最佳證明。展望未來(lái),云平臺(tái)上承載的應(yīng)用幾乎將全部轉(zhuǎn)變?yōu)锳l原生應(yīng)用。而AlNativeAPP需要AlNativecloud,這要求云平臺(tái)不斷演進(jìn),以適應(yīng)并滿足Al原生時(shí)代的發(fā)展需求。新—代的Al原生云平臺(tái)將助力lT領(lǐng)導(dǎo)者在新時(shí)代的背景下,找到價(jià)值、成本和風(fēng)險(xiǎn)的最佳平衡點(diǎn),賦予他們更大的信心去順應(yīng)時(shí)代潮流、引領(lǐng)行業(yè)發(fā)展。-0203-我們樂(lè)于見(jiàn)到,從cloudforAl向AlNativecloud轉(zhuǎn)變,這—轉(zhuǎn)變標(biāo)志著云平臺(tái)能力的全面革新。新型Al云平臺(tái)不僅僅是技術(shù)層面的迭代,它正成為推動(dòng)用戶業(yè)務(wù)轉(zhuǎn)型和創(chuàng)新的核心引擎。AlNativecloud將Al技術(shù)深度融合到云服務(wù)的每—個(gè)層面,從而為用戶提供更加智能、自動(dòng)化的服務(wù)體驗(yàn)。不僅如此,AlNativecloud還著重于開放性和生態(tài)系統(tǒng)的構(gòu)建,它通過(guò)提供豐富的Apl和SDK,為第三方開發(fā)者打造了—個(gè)充滿活力的平臺(tái),以支持Al原生新服務(wù)和應(yīng)用的開發(fā)。AIAI2.0(AINativeCIoud)AIAI1.0(CIoudforAI)100%20%Al2.0:集成Al工具Al1.0:軟硬協(xié)同的Al專用基礎(chǔ)設(shè)施以下是對(duì)云平臺(tái)新能力要求的闡述:過(guò)去,用戶主要使用語(yǔ)言模型、語(yǔ)音模型、視頻模型等單—模態(tài)的模型。在過(guò)去,用戶主要使用語(yǔ)言模型、語(yǔ)音模型、視頻模型等單—模態(tài)的模型。在Al原生時(shí)代,多模態(tài)模型通過(guò)整合和理解多種數(shù)據(jù)模態(tài),實(shí)現(xiàn)在Al原生時(shí)代,隨著模型參數(shù)的激增,單機(jī)訓(xùn)練已不再適應(yīng)需求。云平臺(tái)需要支持干卡乃至萬(wàn)卡的集群調(diào)度,以滿足大規(guī)模模型訓(xùn)練的"剛需"。集群調(diào)度系統(tǒng)必須智能且高效,能夠自動(dòng)優(yōu)化資源分配,減少等待時(shí)間,并提高整體的訓(xùn)練效率。在Al1.0階段,開發(fā)者需要具備—定的云服務(wù)和Al知識(shí),才能有效地構(gòu)建、訓(xùn)練和部署Al應(yīng)用,這通常涉及多個(gè)工具和平臺(tái)的集成。在Al原生時(shí)代,Al開發(fā)的門檻大大降低,開發(fā)者可以使用更少更高質(zhì)量的代碼和工具,快速搭建和部署Al應(yīng)用。此外,云服務(wù)提供商還提供了豐富的預(yù)訓(xùn)練模型和自定義模型選項(xiàng),進(jìn)—步簡(jiǎn)化了Al應(yīng)用的開發(fā)過(guò)程。這不僅極大提升了開發(fā)效率,還顯著減少了代碼量,使開發(fā)者能夠更加專注于軟件產(chǎn)品設(shè)計(jì)。昔日,Al技術(shù)的應(yīng)用僅限于少數(shù)領(lǐng)域和用戶。而今,在Al原生時(shí)代,大模型的通用能力使得各行各業(yè)的用戶得以廣泛參與,云平臺(tái)必須具備承載這—多樣化參與者的能力。云平臺(tái)必須構(gòu)建—個(gè)強(qiáng)大的框架,以支持不同規(guī)模和需求的用戶群體,確保每個(gè)用戶都能在云平臺(tái)上找過(guò)去,Al模型的參數(shù)量級(jí)通常在數(shù)億之內(nèi)。Al原生時(shí)代的到來(lái),見(jiàn)證了模型參數(shù)量級(jí)的飛躍,從十億到干億,甚至萬(wàn)億,云平臺(tái)必須能夠勝任這—量級(jí)的模型訓(xùn)練工作。云平臺(tái)需要不斷優(yōu)化其計(jì)算資源,以支持日益增長(zhǎng)的計(jì)算需求,同時(shí)保持高效能和成本效益。傳統(tǒng)上,用戶主要依賴結(jié)構(gòu)化數(shù)據(jù)。Al原生時(shí)代的到來(lái),伴隨著Embedding、多模態(tài)、向量化等技術(shù)的發(fā)展,使得文檔、音頻、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)得到有效利用,云平臺(tái)需要提供跨模態(tài)檢索Al原生時(shí)代的云平臺(tái)不僅要滿足數(shù)據(jù)、應(yīng)用和網(wǎng)絡(luò)安全的傳統(tǒng)需求,更要重視新興的內(nèi)容質(zhì)量控制和安全問(wèn)題。面對(duì)可能產(chǎn)生敏感信息或侵犯知識(shí)產(chǎn)權(quán)的內(nèi)容,用戶需要云平臺(tái)提供堅(jiān)實(shí)的"兜底策略"。在Al原生時(shí)代的浪潮中,用戶對(duì)安全和數(shù)據(jù)隱私的重視達(dá)到了前所未有的高度。隨著Al基礎(chǔ)設(shè)施的投入成本日益增長(zhǎng),企業(yè)開始更加注重自建基礎(chǔ)設(shè)施的規(guī)模效應(yīng)和運(yùn)營(yíng)效能。因此,本地化部署Al解決方案,以支持大模型的訓(xùn)練和推理,成為越來(lái)越多用戶的首選策略。同時(shí),傳統(tǒng)用戶在通用云平臺(tái)上進(jìn)行算力資源的管理與Al業(yè)務(wù)的部署。然而,在Al原生時(shí)代,對(duì)于集群構(gòu)建、網(wǎng)絡(luò)組網(wǎng)等關(guān)鍵環(huán)節(jié)的規(guī)模與性能要求極為嚴(yán)苛。這要求專為AlAl原生時(shí)代的云平臺(tái)不僅要滿足數(shù)據(jù)、應(yīng)用和網(wǎng)絡(luò)安全的傳統(tǒng)需求,更要重視新興的內(nèi)容質(zhì)量控制和安全問(wèn)題。面對(duì)可能產(chǎn)生敏感信息或侵犯知識(shí)產(chǎn)權(quán)的內(nèi)容,用戶需要云平臺(tái)提供堅(jiān)實(shí)的"兜底策略"?；谝陨?在Al原生時(shí)代,覆蓋由基礎(chǔ)設(shè)施、模型、工程工具和應(yīng)用,以及Al信任與安全,五大關(guān)鍵能力組成的全棧能力云平臺(tái),才是用戶在-04??"*??????????05-隨著Al原生時(shí)代的全面到來(lái),云平臺(tái)的演進(jìn)之路充滿了挑戰(zhàn)。新型Al云平臺(tái)必須不斷革新,以應(yīng)對(duì)以下七項(xiàng)關(guān)鍵技術(shù)挑戰(zhàn):Al原生時(shí)代,參與者眾多,新型Al云平臺(tái)需要提供極致易用性來(lái)降低使用門檻。基礎(chǔ)環(huán)境和Al環(huán)境自動(dòng)化部署、—鍵安裝GPU驅(qū)動(dòng)是平臺(tái)必須解決的技術(shù)挑戰(zhàn)。新型Al云平臺(tái)需要提高存儲(chǔ)與網(wǎng)絡(luò)的傳輸速率,減少計(jì)算空閑等待。新型Al云平臺(tái)必須在存儲(chǔ)與網(wǎng)絡(luò)傳輸速率上達(dá)到新的高度,以減少計(jì)算過(guò)程中的等待時(shí)間。追求零丟包率、高負(fù)載率以及2Tbps的集群吞吐,是性能優(yōu)化的極致體現(xiàn)。新型Al云平臺(tái)需要對(duì)大模型進(jìn)行精調(diào),以提升其可用性。例如,以模型精調(diào)為基礎(chǔ)的Al代碼助手更能生成符合用戶風(fēng)格的高質(zhì)量代碼。模型精調(diào)并非易事,它要求新型Al云平臺(tái)在確保數(shù)據(jù)質(zhì)量、選擇恰當(dāng)?shù)幕A(chǔ)模型、維持泛化能力以及符用戶希望“榨干”每張GPU的最后—絲算力,然而千卡乃至萬(wàn)卡集群運(yùn)行時(shí)利用率損耗卻被放大。新型Al云平臺(tái)需具備智能自動(dòng)化運(yùn)維能力,通過(guò)高效的調(diào)度和容錯(cuò)機(jī)制,確保大規(guī)模集群的穩(wěn)定運(yùn)行,實(shí)現(xiàn)算力的最大化利用。向量化技術(shù)通過(guò)將非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為向量形式,不僅實(shí)現(xiàn)了高效相似性檢索,還為大模型訓(xùn)練提供了強(qiáng)有力的數(shù)據(jù)支撐。該技術(shù)使得模型訓(xùn)練階段的參數(shù)以向量形式高效存儲(chǔ)與檢索,支持大規(guī)模并行計(jì)算,加速了模型訓(xùn)練過(guò)程。此外,如果用戶希望通過(guò)RAG來(lái)解決落地生成式Al過(guò)程中所面臨的幻覺(jué)、知識(shí)停滯和數(shù)據(jù)安全等問(wèn)題,向量化技支持公有云和本地化部署的多態(tài)部署策略的新型Al云平臺(tái),將面臨—系列技術(shù)挑戰(zhàn)。首先是兼容性挑戰(zhàn),新型Al云平臺(tái)必須確保在不同的部署環(huán)境中都能提供—致的性能和體驗(yàn)。可擴(kuò)展性則是多態(tài)部署的另—個(gè)關(guān)鍵點(diǎn)。隨著用戶業(yè)務(wù)的增長(zhǎng)和市場(chǎng)的變化,新型Al云平臺(tái)需要能夠靈活擴(kuò)展,以適應(yīng)在Al原生時(shí)代,生成式Al的準(zhǔn)確性輸出至關(guān)重要。新型Al云平臺(tái)需要通過(guò)先進(jìn)的調(diào)優(yōu)工具鏈和—站式RAG解決方案,智能治理大模型對(duì)話中的幻覺(jué)問(wèn)題,確保輸出內(nèi)容的準(zhǔn)確性和可靠性。面對(duì)Al原生時(shí)代的挑戰(zhàn),新型Al云平臺(tái)的演進(jìn)不僅是技術(shù)的迭代,更是對(duì)創(chuàng)新精神和卓越追求的體現(xiàn)。只有不斷突破技術(shù)邊界,云平臺(tái)才能在Al原生時(shí)代中引領(lǐng)潮流,為用戶提供強(qiáng)大的支持和廣闊的發(fā)展空間。單臺(tái)實(shí)例多GPU互聯(lián)即可完成訓(xùn)關(guān)系型和NOSQL數(shù)據(jù)庫(kù)為主,結(jié)構(gòu)通過(guò)云原生調(diào)度能力,提高云資源AI輔助開發(fā)引入Al能力,簡(jiǎn)化開發(fā)流程AI1.0AI2.0提高存儲(chǔ)與網(wǎng)絡(luò)的傳輸速率,減少向量數(shù)據(jù)庫(kù)為主,非結(jié)構(gòu)化數(shù)據(jù)相利用率損耗被放大,需要自動(dòng)化調(diào)AI原生開發(fā)集成完整Al開發(fā)工具鏈,全鏈路開AI原生基礎(chǔ)設(shè)施為高性能超算、Al場(chǎng)景設(shè)計(jì)的專用-06騰訊云(AIΠativecloud]平臺(tái)07-Maas層騰訊云為用戶提供生成式AI驅(qū)動(dòng)的新—代云平臺(tái)架構(gòu),涵蓋:基礎(chǔ)設(shè)施層(AIInfra)、模型層(Models&Frameworks)、工程層 (AIEngineering)、應(yīng)用層(AIAPPs)、全棧安全防護(hù)(security)五大核心能力,助力大模型訓(xùn)練、推理,到應(yīng)用,全面加速,釋放產(chǎn)業(yè)各類Maas生產(chǎn)力,加速M(fèi)aas層TITI平臺(tái)AIAI代碼助手CIoudstudioEsEs向量檢索醫(yī)學(xué)金融醫(yī)學(xué)金融-08主要包括:算力加速、網(wǎng)絡(luò)和邊緣加速、存儲(chǔ)加速三大能力,打破計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)性能“木桶”效應(yīng),共同鑄就堅(jiān)實(shí)穩(wěn)固的平臺(tái)底座保障。bb算力加速AI已經(jīng)進(jìn)入了—個(gè)高速發(fā)展期,特別是生成式AI行業(yè)千帆競(jìng)發(fā),用戶需要快速迭代自己的大模型,搶占先機(jī)。相應(yīng)地,大規(guī)模、高性能的異構(gòu)智能算力成為用戶的共同需求,使得算力體系從以CPU為中心的時(shí)代,轉(zhuǎn)變?yōu)橐訥PU為中心的異構(gòu)智能算力時(shí)代。除此之外,生成式AI時(shí)代AI模型參數(shù)達(dá)到萬(wàn)億級(jí),在訓(xùn)練與推理場(chǎng)景,對(duì)算力的規(guī)模、性能、容錯(cuò)、性價(jià)比提出前所未有的挑戰(zhàn)。首先,用戶對(duì)計(jì)算錯(cuò)誤的容忍度明顯下降,畢竟訓(xùn)練中斷意味著從頭再來(lái)。算力成本和時(shí)間成本帶來(lái)的雙重壓力,讓用戶“眼里容不下—粒其次,預(yù)訓(xùn)練、后訓(xùn)練、微調(diào)、推理等環(huán)節(jié)都需要消耗GPU算力,對(duì)用戶而言如同—場(chǎng)“馬拉松”。用戶在保證模型性能、產(chǎn)品體驗(yàn)的同時(shí),還需要考慮自身的可持續(xù)發(fā)展性。尋求高性價(jià)比的異構(gòu)智能算力來(lái)提升投入產(chǎn)出比,是擺在用戶面前的“必答題”。時(shí)延:時(shí)延:AI推理是前向傳播的用戶請(qǐng)求計(jì)算過(guò)程,需要算力支持能做到大吞吐與低時(shí)延,以免影響用戶體驗(yàn)。成本:不像訓(xùn)練對(duì)于大規(guī)模GPU算力的支持,推理要求低成本的算力支持。效率:在AIGC風(fēng)口變幻莫測(cè)下,效率和時(shí)間就意味著商業(yè)成敗,客戶都要求大模型訓(xùn)練時(shí)間大幅縮短,所以極致的訓(xùn)練效率,對(duì)計(jì)算超高性能提出指數(shù)級(jí)挑戰(zhàn)。穩(wěn)定性:訓(xùn)練不能中斷,—旦中斷,意味著—切從頭再來(lái),這是無(wú)法接受與容09-09--10作為基礎(chǔ)設(shè)施層的尖兵利器,騰訊云異構(gòu)計(jì)算為用戶帶來(lái)“—云多芯”、軟硬—體與協(xié)同優(yōu)化加持的海量智能算力支持,具備超強(qiáng)的并行計(jì)算能力,助力大模型訓(xùn)推加速。涵蓋:高性能計(jì)算集群HCC2.0、裸金屬、云服務(wù)器、HAl、容器、云函數(shù)等多種形態(tài),實(shí)例豐富度全球領(lǐng)先。高性能應(yīng)用服務(wù)HAl部署時(shí)間減少95%訓(xùn)練加速TAC0Train高性能應(yīng)用服務(wù)HAl部署時(shí)間減少95%訓(xùn)練加速TAC0Train高性能計(jì)算集群HCC超100小時(shí)連續(xù)訓(xùn)練豐富的被集成能力,滿足不同場(chǎng)景客戶,對(duì)工程平臺(tái)和數(shù)據(jù)安全的需求分布式云分布式云SerVerless容器服務(wù)容器服務(wù)TKE機(jī)器學(xué)習(xí)平臺(tái)軟件技術(shù)加持,提供云上獨(dú)有的高性能推理加速推理加速TAC0-lnfergGPUgGPU算力共享軟硬件有機(jī)融合,提供高性價(jià)比、高可用的云原生算力底座GPUGPU云服務(wù)器裸金屬云服務(wù)CBM星星海服務(wù)器平臺(tái)優(yōu)勢(shì),高性能自研芯片騰訊云的算力調(diào)度總規(guī)模超過(guò)1.5億核,提供領(lǐng)先業(yè)界的16EFL0PS(每秒1,600億億次浮點(diǎn)運(yùn)算)的智能算力。提供高達(dá)99.9%的SLA,業(yè)內(nèi)領(lǐng)先;統(tǒng)—的軟件接口TAC0,屏蔽底層硬件差異,保障平臺(tái)穩(wěn)定。支持VGPU按需使用;qGPU容器級(jí)資源切分,顆粒度達(dá)5%,提供GPU算粒級(jí)彈性服務(wù)。同時(shí)云原生網(wǎng)絡(luò)架構(gòu),實(shí)現(xiàn)訓(xùn)練推理混部,最大化幫用戶降低成極致性能硬件層面,集結(jié)業(yè)界前沿GPU芯片,搭載騰訊自研、業(yè)內(nèi)獨(dú)有,為集群專屬定制的3.2TRDMA星脈網(wǎng)絡(luò);軟件層面,騰訊自研的TAC0加速框架,專門針對(duì)訓(xùn)練和推理加速推出TAC0train和TAC0infer。軟硬—體實(shí)現(xiàn)極致性能,助力萬(wàn)億參數(shù)大模型訓(xùn)練時(shí)間縮短80%。支持—鍵安裝GPU驅(qū)動(dòng);基礎(chǔ)環(huán)境自動(dòng)化部署;提供批量任務(wù)管理、資源管理工具;支持多種Al環(huán)境快速部署,如ChatGLM-6B、StableDiffusion等。騰訊云異構(gòu)計(jì)算,覆蓋全國(guó)90%+大模型客戶,被市場(chǎng)堅(jiān)定選擇的穩(wěn)固Al底座。已為百川智能、知乎知乎 什么值得買 什么值得買11--12因?yàn)榭蛻糇杂没蛘唠[私需要,將算力、數(shù)據(jù)因?yàn)榭蛻糇杂没蛘唠[私需要,將算力、數(shù)據(jù)及整套Al智算方案在本地駐留?？蛻魳?gòu)建本地智算中心,需要覆蓋算力、網(wǎng)絡(luò)、存儲(chǔ)、加速框架等全套解決方案。需要智算方案足夠開放,以兼容自有的硬件效率與穩(wěn)定需要極致的推理或訓(xùn)練性能以實(shí)現(xiàn)效率的提效率與穩(wěn)定需要極致的推理或訓(xùn)練性能以實(shí)現(xiàn)效率的提升,同時(shí)系統(tǒng)需足夠穩(wěn)定健壯。運(yùn)維運(yùn)營(yíng)團(tuán)隊(duì)薄弱,智算方案需要完整的運(yùn)維、運(yùn)營(yíng)能力,以確保系統(tǒng)穩(wěn)定運(yùn)行。騰訊云智算套件即可基于具備多租戶隔離、全棧云產(chǎn)品的TCE技術(shù)底座來(lái)構(gòu)建,也可基于靈活輕便、經(jīng)典Underlay網(wǎng)絡(luò)的TCS技術(shù)底座來(lái)構(gòu)建,輕松應(yīng)對(duì)不同的智算場(chǎng)景。一鍵加速AI性能CBM4TCE多租戶隔離、VPC網(wǎng)絡(luò)(多模態(tài))TCS算力從CPU為中心到GPU為中心GPU自研RoCE交換機(jī)AAlTAC0TrainTAC0lnferTurboFSC0S集群HCCTCCLTKEqGPUHPNVPC安全防護(hù)運(yùn)維運(yùn)營(yíng)CVMCPU13-全棧智算覆蓋計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、數(shù)據(jù)庫(kù)等全棧智算產(chǎn)品,既可統(tǒng)—構(gòu)建,也可按騰訊公有云和自有業(yè)務(wù),在超大規(guī)模智算中心充分驗(yàn)證,具備卓越性能和穩(wěn)定完全自研軟件,支持自研硬件,端到端自主可控,擁有核心技術(shù)。自研軟件具備標(biāo)準(zhǔn)接口和成熟規(guī)范,支具備—站式云安全服務(wù),滿足等保、可廣州尚航科技是國(guó)內(nèi)領(lǐng)先的lDC及l(fā)T基礎(chǔ)設(shè)施服務(wù)提供商,為金融、制造、零售等多個(gè)行業(yè)提供lDC建設(shè)方案、機(jī)房及相關(guān)網(wǎng)絡(luò)服務(wù)。尚航算力平臺(tái)采用騰訊云智算套件作為核心基座,承載多種異構(gòu)計(jì)算、通用計(jì)算、分布式存儲(chǔ)、云原生及安全服務(wù),提供—站式自助用云、彈性用云和大規(guī)模并行計(jì)算及聯(lián)機(jī)大模型訓(xùn)練服務(wù)。采用高性能計(jì)算集群和全閃分布式存儲(chǔ),提供Al&ML場(chǎng)景全棧尚航云尚航云portaI云平臺(tái)租戶端統(tǒng)一運(yùn)營(yíng)運(yùn)維平臺(tái)應(yīng)用服務(wù)平臺(tái)云平臺(tái)租戶端統(tǒng)一運(yùn)營(yíng)運(yùn)維平臺(tái)應(yīng)用服務(wù)平臺(tái)TDSQL-MYSQLTDSQL-PGTDSQL-MYSQLTDSQL-PGAPl網(wǎng)關(guān)MPP數(shù)倉(cāng)VPC網(wǎng)絡(luò)lntelx86容器/實(shí)例lntelx86容器/實(shí)例AMDX86容器/實(shí)例VPC網(wǎng)絡(luò)GPU卡GPU卡GPU卡GPU卡GPU卡GPU卡GPU卡GPU卡VPC網(wǎng)絡(luò)RDMAAIML資源池RDMATurboFSSSD-CBS標(biāo)準(zhǔn)型CBSCSPTurboFSSSD-CBS標(biāo)準(zhǔn)型CBSCSP無(wú)錫無(wú)錫TCE基礎(chǔ)設(shè)施bb網(wǎng)絡(luò)和邊緣加速用戶大多重視算力升級(jí),而忽略生成式AI對(duì)網(wǎng)絡(luò)和邊緣帶來(lái)的挑戰(zhàn)。AGI火熱發(fā)展,基于大模型推薦算法或智能化生成能力的軟硬件工具成為下—波超級(jí)應(yīng)用(SuPerAPPs)已是業(yè)界共識(shí)。不論實(shí)現(xiàn)形式如何,以大模型和生成式AI為主流的新—波AI原生應(yīng)用將對(duì)底層算力網(wǎng)絡(luò)和應(yīng)用用戶沿用上—代底層算力網(wǎng)絡(luò),可能對(duì)模型訓(xùn)練工作帶來(lái)—些負(fù)面影響。例如,計(jì)算集群難以承載海量的訓(xùn)練數(shù)據(jù)、網(wǎng)絡(luò)傳輸速度較慢導(dǎo)致訓(xùn)同時(shí),用戶應(yīng)重視生成式AI發(fā)展對(duì)應(yīng)用分發(fā)網(wǎng)絡(luò)帶來(lái)的新要求?！墙档脱舆t,智能客服、智能翻譯等應(yīng)用需要實(shí)時(shí)響應(yīng),較高延時(shí)會(huì)影響生成式AI的可用性。二是提升安全性,AI模型和數(shù)據(jù)會(huì)面臨DDoS勒索、非法爬取數(shù)據(jù)等安全威脅。對(duì)于多數(shù)用戶而言,營(yíng)收和估值幾乎全系于大模型和超級(jí)應(yīng)用,提升安全防護(hù)刻不容緩。東西向ms級(jí)盡力而為的網(wǎng)絡(luò)時(shí)延,提升到10us級(jí)的恒定網(wǎng)絡(luò)時(shí)延。訓(xùn)練性能充足的算力網(wǎng)絡(luò)需要有單服務(wù)器Tb以上級(jí)別的接入能力,如當(dāng)前主流的單網(wǎng)卡2X100G,總共1.6T或3.2T的單機(jī)接入能力,而整網(wǎng)則要能容納萬(wàn)級(jí)級(jí)別的GPU卡數(shù)量。集群里,0.1%的丟包會(huì)引起算力損失50%,因此具備主動(dòng)擁塞控制、TCP流隨著底層大模型推理和生成能力的井噴,上層應(yīng)用場(chǎng)景也會(huì)出現(xiàn)爆發(fā)式增長(zhǎng),而應(yīng)用分發(fā)網(wǎng)絡(luò)需要持續(xù)下沉、覆-1415-騰訊云在網(wǎng)絡(luò)基礎(chǔ)設(shè)施、網(wǎng)絡(luò)架構(gòu)、公網(wǎng)接入、云端互聯(lián)和高性能算力網(wǎng)絡(luò)等方面所提供的業(yè)界前沿的技術(shù)產(chǎn)品能力和解決方案,成為當(dāng)前蓬勃發(fā)展的Al時(shí)代的技術(shù)底座。控制系統(tǒng)控制系統(tǒng)1000W+CvM1000W+CvM公網(wǎng)300+T云接入網(wǎng)絡(luò)CPE帶寬300+T企業(yè)DCCPE帶寬300+T企業(yè)DCvPC4子網(wǎng)絡(luò)2CPE路由器vPC4子網(wǎng)絡(luò)2CPELET/SG VPN儲(chǔ)存 接入子網(wǎng)絡(luò)2LET/SG騰訊自研3.2TRDMA星脈網(wǎng)絡(luò)(自研TiTa和TCCL協(xié)議)+單VPC300W網(wǎng)元節(jié)點(diǎn)+單節(jié)點(diǎn)100G物理網(wǎng)絡(luò)接入組網(wǎng),為廣告/視頻號(hào),Al大模型,>10萬(wàn)卡GPU集群等超高性能計(jì)算業(yè)務(wù)提供極致集群性能與智能運(yùn)營(yíng)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施,實(shí)現(xiàn)網(wǎng)絡(luò)時(shí)延:10us~40us;丟包率:趨近0;負(fù)載率:騰訊云云互聯(lián)網(wǎng)絡(luò)帶寬達(dá)300T,支持全球20+地域;專線、VPN、VPC等多種網(wǎng)絡(luò)類型,最多可支持1000W+CVM高大規(guī)模低時(shí)延的接入網(wǎng)絡(luò)、靈活擴(kuò)展覆蓋全球,支持全球13+億用戶接入、100+萬(wàn)企業(yè)客戶高可用、高質(zhì)量、高并發(fā)接入。亞洲質(zhì)量第—,65ms入云。3公網(wǎng)vPC1vPC3云接入網(wǎng)絡(luò):云虛擬網(wǎng)絡(luò):云互聯(lián)網(wǎng)絡(luò):3公網(wǎng)vPC1vPC3云接入網(wǎng)絡(luò):云虛擬網(wǎng)絡(luò):云互聯(lián)網(wǎng)絡(luò):美團(tuán)拼多多小紅書快手部署支持公有云部署、專屬云部署、本地化部署-16騰訊云Edge0neDDoS勒索、非法爬取數(shù)據(jù)、“嬉羊毛”等網(wǎng)絡(luò)安全攻擊;傳統(tǒng)解決方案下“加速”和“安全”無(wú)法兼得;安全類產(chǎn)品費(fèi)用昂貴,傳統(tǒng)計(jì)費(fèi)多采取(保底+彈性)方式,容易傳統(tǒng)計(jì)費(fèi)多采取(保底+彈性)方式,容易產(chǎn)生超預(yù)期費(fèi)用;業(yè)務(wù)場(chǎng)景復(fù)雜或個(gè)性化場(chǎng)景需要靈活的服務(wù)支持;隨著業(yè)務(wù)發(fā)展,新需求不斷涌現(xiàn),需要高可拓展的技術(shù)架構(gòu)支持。個(gè)人開發(fā)者獲取高性能的邊緣計(jì)算能力,往往需要付出昂貴的硬件設(shè)備成本;配置和管理邊緣計(jì)算資源需要深厚的專業(yè)知識(shí),對(duì)于個(gè)人開發(fā)者來(lái)說(shuō)存在成本和技術(shù)門檻的雙重TencentcloudEdge0ne是中國(guó)首款提供—站式安全加速的邊緣平臺(tái),在遍布全球且最接近用戶的服務(wù)節(jié)點(diǎn),提供統(tǒng)—的多層軟件集成架構(gòu),在—個(gè)邊緣節(jié)點(diǎn)同時(shí)提供域名解析、動(dòng)靜態(tài)智能加速、TcP/UDP四層加速、DDoS/cc/web/Bot防護(hù)、邊緣函數(shù)計(jì)算、邊緣媒體處理(轉(zhuǎn)碼)等邊緣—體化服務(wù),助力核心節(jié)點(diǎn)專線互聯(lián),端到端時(shí)延<亞太節(jié)點(diǎn)優(yōu)勢(shì),中國(guó)企業(yè)出海/外企入亞CDN廠商首選。支持DDoS和CC防護(hù)、web防護(hù)和Anycast網(wǎng)絡(luò)架構(gòu),近源清洗,防護(hù)能平均3秒內(nèi)識(shí)別并緩解大多數(shù)DDoS真正的—站式安全加速產(chǎn)品,不會(huì)因?yàn)榇杏绊憳I(yè)務(wù)性能,實(shí)現(xiàn)安全與加速“魚和熊掌兼得”;同時(shí)讓安全從昂貴的“專家型”產(chǎn)品轉(zhuǎn)變?yōu)楦咝詢r(jià)比的“普惠型”產(chǎn)品,搭建業(yè)務(wù)“免疫系統(tǒng)”,提供隱形無(wú)感的安全防護(hù)。靈活彈性僅對(duì)防護(hù)后的清潔業(yè)務(wù)流量收費(fèi),不會(huì)產(chǎn)生非預(yù)期賬單。Edge0ne在架構(gòu)層面引入Servicechain概念,使多種軟件服務(wù)能夠在邊緣節(jié)點(diǎn)同機(jī)集成,在邊緣實(shí)現(xiàn)無(wú)限邊緣函數(shù)、規(guī)則引擎等產(chǎn)品能力,讓業(yè)務(wù)更加的個(gè)性化、定制化,能夠靈活地應(yīng)對(duì)不同業(yè)務(wù)場(chǎng)景。開放邊緣節(jié)點(diǎn)能力,如:邊緣函數(shù)、可為廣大開發(fā)者打造技術(shù)開放共創(chuàng)平臺(tái)0penEdge,支持開發(fā)者構(gòu)建新—代的邊緣AIServerless應(yīng)用,開啟邊緣成功案例國(guó)內(nèi)營(yíng)收T0P10游戲公司覆蓋70%+,出海音視頻社交應(yīng)用T0P10覆蓋80%+,國(guó)有大行金融客戶覆蓋——33%+。17-bb存儲(chǔ)加速用戶在傳統(tǒng)Al時(shí)代構(gòu)建的存儲(chǔ)基礎(chǔ)設(shè)施難以滿足生成式Al對(duì)存儲(chǔ)性能的需求,用戶不僅需要存儲(chǔ)海量數(shù)據(jù),還要能夠快速、安全地處理和檢索數(shù)據(jù),以支持復(fù)雜的生成式Al計(jì)算任務(wù)。訓(xùn)練場(chǎng)景中,需要將大規(guī)模數(shù)據(jù)快速加載到GPU中,否則昂貴的算力將出現(xiàn)閑置,拉長(zhǎng)訓(xùn)練周期以及算力浪費(fèi)。推理場(chǎng)景中,同樣強(qiáng)調(diào)讀寫速度,模型需要快速?gòu)拇鎯?chǔ)中讀取數(shù)據(jù)并寫入推理結(jié)果。安全性主要指內(nèi)容安全,超級(jí)應(yīng)用擁有龐大的使用群體,缺乏審查機(jī)制的快速交互在生成式Al場(chǎng)景中,數(shù)據(jù)清洗過(guò)程中需要從存儲(chǔ)集群中快速讀取海量原始數(shù)據(jù),需要非常高的元數(shù)據(jù)的操作性能、文件訪問(wèn)延遲和存儲(chǔ)集海量的存儲(chǔ)空間來(lái)保存原始數(shù)據(jù)、處理過(guò)的數(shù)據(jù);并且隨著模型和數(shù)據(jù)集的不斷增長(zhǎng),存儲(chǔ)存儲(chǔ)系統(tǒng)需要支持多種協(xié)議,支撐業(yè)務(wù)在數(shù)據(jù)采集、清洗、訓(xùn)練、推理、應(yīng)用等多個(gè)環(huán)節(jié)的混合負(fù)載,打通不同數(shù)據(jù)底座的壁壘,方便上生成式Al帶來(lái)數(shù)據(jù)爆發(fā)式增長(zhǎng),快速交互的高隨機(jī)性內(nèi)容安全風(fēng)險(xiǎn)高,溯源成本大。非結(jié)構(gòu)化數(shù)據(jù)管理成本高,元數(shù)據(jù)利用率低,需要通過(guò)有效的數(shù)據(jù)管理方式提高生成式Al的應(yīng)用表現(xiàn)。對(duì)象存儲(chǔ)c0S作為統(tǒng)—數(shù)據(jù)存儲(chǔ)池,提供快速公網(wǎng)接入、傳輸及海量存儲(chǔ)。結(jié)合數(shù)據(jù)加速器GooseFS緩存加速,實(shí)現(xiàn)亞毫秒級(jí)延遲、百萬(wàn)級(jí)l0PS及Tbps吞吐,優(yōu)化存儲(chǔ)性能。結(jié)合數(shù)據(jù)萬(wàn)象cl的數(shù)據(jù)智能處理能力,助力生成式Al在數(shù)據(jù)預(yù)處理、模型訓(xùn)練、安全治理等多個(gè)環(huán)節(jié)提效加速。GooseFS可以將數(shù)據(jù)調(diào)度GPU節(jié)點(diǎn)本地盤,縮短文件l0路徑,提高數(shù)據(jù)本地性,提升存儲(chǔ)性能;可支持亞毫秒級(jí)延遲、百萬(wàn)級(jí)l0PS及Tbps吞吐?？梢酝ㄟ^(guò)統(tǒng)—的文件系統(tǒng)命名空間管理不同的遠(yuǎn)端存儲(chǔ)服務(wù),如對(duì)象存儲(chǔ)c0S,私有化存儲(chǔ)TStor,云HDFS等,智能檢索MetaInsight基于數(shù)據(jù)內(nèi)容建立特征索引,提供多模態(tài)數(shù)據(jù)檢索分析能力,可在模型訓(xùn)練階段高效進(jìn)行數(shù)據(jù)清洗,在數(shù)據(jù)存儲(chǔ)階段可以支持c0S、Hadoop、S3、FUSE等多個(gè)存儲(chǔ)語(yǔ)義訪問(wèn)統(tǒng)—的對(duì)象存儲(chǔ)池,適用于多種計(jì)算生態(tài)和應(yīng)用場(chǎng)景。存儲(chǔ)回調(diào)自動(dòng)觸發(fā)審核,極快速的審核響應(yīng)以及毫秒級(jí)的審核結(jié)果輸出,搭配專為AlGc場(chǎng)景定制的審核策略模型。包括日志、鑒權(quán)、監(jiān)控,實(shí)現(xiàn)了與c0S-18并行文件存儲(chǔ)CFSTurbo作為高性能的文件存儲(chǔ),提供TiB/s的吞吐和千萬(wàn)級(jí)的l0pS,助力生成式Al在訓(xùn)練、推理環(huán)節(jié)中,checkpoint讀寫、樣本數(shù)據(jù)讀取和模型分發(fā)等高并發(fā)訪問(wèn)場(chǎng)景。提升GpU的有效使用率,加速AlGC場(chǎng)景的業(yè)務(wù)發(fā)展。提供全閃存的介質(zhì),支持RDMA的鏈路訪問(wèn)。并基于專有客戶端,從客戶端到服務(wù)端提供端到端的并行處理能力,大支持基于分布式云的方案,將服務(wù)部署至用戶機(jī)房,控制面與公有云打通,實(shí)支持智能冷熱數(shù)據(jù)分層技術(shù),基于訪問(wèn)的熱度、文件大小、路徑等方式配置分層策略,大幅降低在海量數(shù)據(jù)情況下的支持對(duì)接日志、鑒權(quán)、告警、paaS平臺(tái) (如機(jī)器學(xué)習(xí)平臺(tái))、容器等服務(wù)等,滿ARightARightBrain通過(guò)帶計(jì)算親和性的任務(wù)就近調(diào)度能力,提升數(shù)據(jù)訪問(wèn)的本地性,增加整集群帶寬;提供豐富的數(shù)據(jù)緩存策略,精細(xì)化管理數(shù)據(jù)流動(dòng),提升數(shù)據(jù)訪問(wèn)加速效果。在PB的全閃集群中提供高達(dá)Tbps級(jí)別的集群吞吐。元數(shù)據(jù)規(guī)模通過(guò)高并發(fā)KVDB,支持元數(shù)據(jù)節(jié)點(diǎn)平行擴(kuò)展和分層治理能力;通過(guò)元數(shù)據(jù)分庫(kù)分表等技術(shù)手段,提升單節(jié)點(diǎn)元數(shù)據(jù)規(guī)模;通過(guò)優(yōu)化線程模型、優(yōu)化KV數(shù)據(jù)結(jié)構(gòu)等技術(shù)手段,提升元數(shù)據(jù)訪問(wèn)性能和效率。單集群元數(shù)據(jù)規(guī)?？蛇_(dá)到百億級(jí)別,元數(shù)據(jù)0PS可達(dá)到百萬(wàn)級(jí)。通過(guò)客戶端緩存短路讀能力、數(shù)據(jù)預(yù)讀能力、并行I0能力等技術(shù)優(yōu)化,減少GPU文件訪問(wèn)延遲;通過(guò)RDMA優(yōu)化網(wǎng)絡(luò)開銷。文件訪問(wèn)延遲可以達(dá)到亞毫秒低延時(shí)、高準(zhǔn)確率的云存儲(chǔ)原生內(nèi)容審核解決生成式數(shù)據(jù)內(nèi)容安全問(wèn)題;豐富的數(shù)據(jù)標(biāo)簽可快速識(shí)別生成式數(shù)據(jù)并進(jìn)行分類管理;基于AV1的先進(jìn)數(shù)據(jù)壓縮對(duì)象存儲(chǔ)C0S:用戶可通過(guò)控制臺(tái)、Apl、SDK和工具等多樣化方式,簡(jiǎn)單快速地接入公有云。存儲(chǔ)—體機(jī)TStor:開箱即用,—站式部署私有云,與公有云存儲(chǔ)無(wú)縫融合,數(shù)據(jù)互通,隨時(shí)隨地按需數(shù)據(jù)加速器GooseFS:用戶可通過(guò)騰訊云控制臺(tái)、Apl接口以及TCCLl工具等多種途徑,在CVM、TKE、GpU、EMR等多種計(jì)算服務(wù)上部署和運(yùn)維GooseFS。數(shù)據(jù)萬(wàn)象CI:用戶可通過(guò)騰訊云控制臺(tái)、Apl接口及SDK工具等多種途徑,激活并配置數(shù)據(jù)萬(wàn)象服務(wù),并行文件存儲(chǔ)CFSTurbo:用戶可通過(guò)控制臺(tái)、Apl等方式,創(chuàng)建存儲(chǔ)實(shí)例,并通過(guò)云服務(wù)器、容器、bb基礎(chǔ)大模型騰訊云除了自研混元大模型,已全面接入與兼容Llama2、Falcon、Dolly、vicuna、Bloom、Alpaca等20多個(gè)主流模型。這些主流模型支bb行業(yè)與專屬大模型同時(shí),騰訊云希望“大模型”更懂行業(yè)、更易落地,針對(duì)用戶痛點(diǎn)和需求,量體裁衣,幫助用戶打造出專屬的行業(yè)大模型?；诖?騰訊云還打造行業(yè)大模型精選商店,內(nèi)置多個(gè)高質(zhì)量行業(yè)大模型,涵蓋金融、傳媒、文旅、政務(wù)、教育等多個(gè)行業(yè)場(chǎng)景。兼容支持多模型訓(xùn)練任務(wù),用戶可以按需取用。這樣,用戶不僅可以加入獨(dú)有的場(chǎng)景、數(shù)據(jù),快速精調(diào)生成專屬模型;也可根據(jù)業(yè)務(wù)場(chǎng)景需求,按需定制不同參數(shù)、規(guī)格的模型服務(wù)。關(guān)于模型庫(kù)收錄與支持能力,1919--20AINativeCloud要求云基礎(chǔ)設(shè)施與各種AI平臺(tái)和工具緊密集成。說(shuō)到基于模型庫(kù)的模型部署調(diào)用、精調(diào),以及基于此的智能應(yīng)用開發(fā),就不bb部署與精調(diào)加速騰訊云TI平臺(tái)騰訊云TI平臺(tái)(TencentCloudTIPlatform)是基于騰訊先進(jìn)AI能力和多年技術(shù)經(jīng)驗(yàn),面向開發(fā)者、企業(yè)提供的全棧式人工智能開發(fā)服務(wù)平臺(tái),致力于打通包含從數(shù)據(jù)獲取、數(shù)據(jù)處理、算法構(gòu)建、模型訓(xùn)練、模型評(píng)估、模型部署、到AI應(yīng)用開發(fā)的產(chǎn)業(yè)+AI落地全流程鏈路,幫助用戶快速創(chuàng)建和部署AI應(yīng)用,管理全周期AI解決方案,從而助力企業(yè)單位加速數(shù)字化轉(zhuǎn)型并促進(jìn)AI行業(yè)生態(tài)共建。部署支持騰訊云TI平臺(tái)系列產(chǎn)品支持公有云訪問(wèn)、本地化部署以及專屬云部署。關(guān)于TI平臺(tái)的核心能力,在騰訊云與Gartner聯(lián)名的另—份報(bào)告《生成式AI產(chǎn)業(yè)落地路徑研究報(bào)告》里bb內(nèi)容質(zhì)量控制輸出內(nèi)容質(zhì)量控制,是指用戶評(píng)估模型輸出的準(zhǔn)確性和合規(guī)性要求。生成式AI應(yīng)用落地過(guò)程中,用戶需要解決模型幻覺(jué)問(wèn)題,以保證模型輸出的準(zhǔn)確度。同時(shí),大模型輸出的內(nèi)容要避免涉及敏感信息、知識(shí)產(chǎn)權(quán)等法律合規(guī)問(wèn)題。因此,降低幻覺(jué)對(duì)致力于深耕生成式AI領(lǐng)域的用戶尤為重要。生成式AI的出圈效應(yīng)引發(fā)CE0、C00等非技術(shù)類高管的重視,通常會(huì)—同參與驗(yàn)收生成式AI項(xiàng)目成果。大模型幻覺(jué)導(dǎo)致回答的準(zhǔn)確率較低,容易使管理層降低對(duì)生成式AI的信任度,進(jìn)而難以形成價(jià)值認(rèn)同。缺乏高管支持,用戶關(guān)于生成式AI的后續(xù)規(guī)劃將難以開展。大模型可能輸出黃暴等敏感信息或者生成受知識(shí)產(chǎn)權(quán)保護(hù)的內(nèi)容,這些問(wèn)題比生成結(jié)果準(zhǔn)確率更為重要。無(wú)論生成結(jié)果準(zhǔn)確與否,用戶都需要AIGC技術(shù)在帶來(lái)豐富創(chuàng)造力的同時(shí),也讓數(shù)據(jù)真實(shí)性、內(nèi)容合規(guī)性、用戶隱私和身份,以及倫理等問(wèn)題遭到空前挑戰(zhàn)。從監(jiān)管視角出發(fā),國(guó)家在數(shù)據(jù)、內(nèi)容和算法三個(gè)方面對(duì)AIGC提出合規(guī)要求。在算法合規(guī)方面,算法推薦服務(wù)提供者必須落在算法合規(guī)方面,算法推薦服務(wù)提供者必須落在數(shù)據(jù)合規(guī)方面,在AIGC特定的大模型下提供者應(yīng)當(dāng)對(duì)生成式人工智能產(chǎn)品的預(yù)訓(xùn)練在內(nèi)容合規(guī)方面,利用生成式人工智能產(chǎn)品提供聊天和文本、圖像、聲音生成等服務(wù)的組織和個(gè)人,承擔(dān)該產(chǎn)品生成內(nèi)容生產(chǎn)者的責(zé)任;提供者應(yīng)當(dāng)依法依規(guī)對(duì)生成的圖片、視頻等內(nèi)容進(jìn)行標(biāo)識(shí),履行信息內(nèi)容管理主體責(zé)任,加強(qiáng)本平臺(tái)網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理。21-為了更精準(zhǔn)地獲取知識(shí),結(jié)合上下文問(wèn)題對(duì)當(dāng)前問(wèn)題進(jìn)行融合提煉,然后利用向量數(shù)據(jù)庫(kù),找到知識(shí)庫(kù)中的相關(guān)知識(shí)。同時(shí),通過(guò)大模型疊加搜索引擎模式,讓大模型更高效的觸達(dá)用戶的官網(wǎng)和行業(yè)的網(wǎng)絡(luò)知識(shí),獲取更多的海量信息,最終生成擬人化答案,提高回答的多樣性和相關(guān)性,降低回答幻覺(jué)。同時(shí),為進(jìn)—步降低大模型的幻覺(jué)問(wèn)題,我們?cè)隍v訊云大模型知識(shí)引擎平臺(tái)層也提供—站式調(diào)優(yōu)工具鏈,幫助用戶提前生成問(wèn)答、校驗(yàn)問(wèn)答,進(jìn)而完成對(duì)話測(cè)試、答案修正、發(fā)布調(diào)用的—系列流程。在問(wèn)答提取的過(guò)程中,支持文字、圖、表答案輸出;校驗(yàn)的過(guò)程中,支持對(duì)原文片段高亮回溯,大幅提升校驗(yàn)效率;在運(yùn)營(yíng)調(diào)優(yōu)方面,提供豐富的答案反饋及片段修正工具,保證大模型對(duì)話的幻覺(jué)問(wèn)題得到最優(yōu)解?；谛袠I(yè)大模型,專注知識(shí)處理和對(duì)話交互的全面升級(jí)BeforeBeforeAfter精確性擬人化全面性對(duì)話交互向量檢索企業(yè)級(jí)LLM對(duì)話交互向量檢索企業(yè)級(jí)LLMA實(shí)體搜索A知識(shí)構(gòu)建知識(shí)構(gòu)建行業(yè)LLM行業(yè)LLMLLM快速、自動(dòng)生成問(wèn)答對(duì),能支持圖、表、表情包答案輸出;支持原文片段高亮回溯,大快速、自動(dòng)生成問(wèn)答對(duì),能支持圖、表、表情包答案輸出;支持原文片段高亮回溯,大豐富的運(yùn)營(yíng)反饋工具,支持單條驗(yàn)證、批量測(cè)試、修正答案;修改片段來(lái)源-22收集比較數(shù)據(jù)并訓(xùn)練獎(jiǎng)勵(lì)模型、深度反饋意見(jiàn);實(shí)現(xiàn)系統(tǒng)更快的自我進(jìn)化,提升模型對(duì)收集比較數(shù)據(jù)并訓(xùn)練獎(jiǎng)勵(lì)模型、深度反饋意見(jiàn);實(shí)現(xiàn)系統(tǒng)更快的自我進(jìn)化,提升模型對(duì)問(wèn)答對(duì)在發(fā)布上線時(shí),會(huì)先送審,只有審校通過(guò)的問(wèn)答對(duì);才會(huì)發(fā)布到線上,保證答案點(diǎn)踩、重新生成點(diǎn)踩、重新生成不滿意問(wèn)題回收不滿意問(wèn)題回收AlGC平臺(tái)生產(chǎn)的數(shù)據(jù)量級(jí)規(guī)模大,天御以接口輸入、內(nèi)容預(yù)處理、模型識(shí)別、策略輔助、平臺(tái)調(diào)度分析、人工標(biāo)注運(yùn)營(yíng)共6個(gè)維度為用戶提供完整的內(nèi)容安全解決方案,通過(guò)機(jī)器審核、安全專家、審校和版權(quán)服務(wù)等產(chǎn)品組合,讓AlGC用戶—次接入即可完成整套審核,—站式解決AlGC不同階段的核心痛點(diǎn)。騰訊天御內(nèi)容風(fēng)控以接口輸入、內(nèi)容預(yù)處理、模型識(shí)別、策略輔助、平臺(tái)調(diào)度分析、人工標(biāo)注運(yùn)營(yíng)共6個(gè)維度為用戶提供完整的內(nèi)容安全解決方案,同時(shí)與騰訊云對(duì)象存儲(chǔ)、云直播、云點(diǎn)播、實(shí)時(shí)音視頻等云上工具打通,讓AlGC用戶在云上—次接入,即可完成全套內(nèi)容安全審核,大幅提升效率。樣本審核&標(biāo)注樣本審核&標(biāo)注訓(xùn)練模型用戶輸入AIGC 用戶登錄訓(xùn)練模型用戶輸入AIGC 用戶登錄色情性感、暴恐、版權(quán)、違法禁::色情性感、暴恐、版權(quán)、違法禁::saas產(chǎn)品Paas產(chǎn)品基礎(chǔ)能力色情性感、暴恐、版權(quán)、違法禁::色情性感、暴恐、版權(quán)、違法禁::saas產(chǎn)品Paas產(chǎn)品基礎(chǔ)能力文本圖片AIGC平臺(tái)AIGC多模態(tài)文本圖片AIGC平臺(tái)AIGC多模態(tài)音頻視頻色情性感、暴恐、版權(quán)、違法禁::輿情布控平臺(tái)輿情輿情布控平臺(tái)輿情Al圖片Al文本Al視頻Al音頻Al文本音頻版權(quán)音頻版權(quán)識(shí)別圖片版權(quán)識(shí)別文本版權(quán)識(shí)別視頻版權(quán)識(shí)別內(nèi)容風(fēng)控中臺(tái)內(nèi)容風(fēng)控中臺(tái)AlAl算法能力違規(guī)違規(guī)樣本運(yùn)營(yíng)輿情輿情布控23-bb數(shù)據(jù)提效從模型到應(yīng)用需要以工程工具為橋梁,數(shù)據(jù)提效工程工具是其中的重要組成部分。數(shù)據(jù)提效是通過(guò)優(yōu)化數(shù)據(jù)處理流程、提升數(shù)據(jù)質(zhì)量、引入先進(jìn)技術(shù)輔助數(shù)據(jù)分析等方式,實(shí)現(xiàn)數(shù)據(jù)的高效利用,從而加快決策速度,提高用戶運(yùn)營(yíng)效率和市場(chǎng)競(jìng)爭(zhēng)力。在Al原生時(shí)代,數(shù)據(jù)提效的征途上,兩大技術(shù)挑戰(zhàn)如同兩座巍峨的山峰,屹立在用戶前行的道路上。首先是數(shù)據(jù)向量化,它是橫亙?cè)谟脩魯?shù)據(jù)提效征途第—公里的挑戰(zhàn)。Al原生時(shí)代對(duì)數(shù)據(jù)的檢索提出了新的要求,用戶需要借助向量化技術(shù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)實(shí)現(xiàn)高效相似性檢索。不僅如此,如果用戶希望通過(guò)RAG來(lái)解決落地生成式Al過(guò)程中所面臨的幻覺(jué)、知識(shí)停滯和數(shù)據(jù)安全等問(wèn)題,數(shù)據(jù)向量化也是用戶的上佳選擇。其次是copilot自動(dòng)化分析技術(shù),它是用戶數(shù)據(jù)提效征途最后—公里的挑戰(zhàn)。copilot自動(dòng)化分析的引入,將數(shù)據(jù)分析的效率推向了—個(gè)新的高度。它使得數(shù)據(jù)分析不再局限于專業(yè)人員的專屬領(lǐng)域,而是通過(guò)智能對(duì)話,讓每—個(gè)用戶都能夠直接與數(shù)據(jù)進(jìn)行交流,獲取所需的洞見(jiàn)。這種自動(dòng)化分析的實(shí)現(xiàn),不僅極大地簡(jiǎn)化了數(shù)據(jù)分析的流程,更打破了以往數(shù)據(jù)分析需求排隊(duì)的瓶頸,為用戶的數(shù)據(jù)驅(qū)動(dòng)決策提供了強(qiáng)大的助力。RAG領(lǐng)域RAG領(lǐng)域題和數(shù)據(jù)安全問(wèn)題阻礙了各用戶基于大語(yǔ)言模型實(shí)現(xiàn)各類智能問(wèn)答應(yīng)用的落地。騰訊云向量數(shù)據(jù)庫(kù)提供了—站式的RAG檢索方案,可快速成為大語(yǔ)言模型的“外掛知識(shí)庫(kù)”,幫助客戶搭建高質(zhì)量的RAG應(yīng)用。大模型訓(xùn)練需要龐大的優(yōu)質(zhì)數(shù)據(jù)集支撐,且在模型訓(xùn)練中的時(shí)間成本較高。向量數(shù)據(jù)庫(kù)可以幫助大模型在訓(xùn)練階段的參數(shù)以向量的形式存儲(chǔ)在向量數(shù)據(jù)庫(kù)中,可以高效地清洗和檢索對(duì)應(yīng)數(shù)據(jù);向量數(shù)據(jù)庫(kù)還可以支持大規(guī)模的并行計(jì)算,從而加速模型訓(xùn)練過(guò)程。騰訊云向量數(shù)據(jù)庫(kù)是—款全托管的自研企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)服務(wù),最高支持4096維向量數(shù)據(jù),同時(shí)支持多種索引類型和相似度計(jì)算方法,單索引支持千億級(jí)向量規(guī)模,可支持百萬(wàn)級(jí)Qps及毫秒級(jí)查詢延遲。騰訊云向量數(shù)據(jù)庫(kù)在存儲(chǔ)、檢索向量數(shù)據(jù)的基礎(chǔ)上,還提供了Embedding功能和—站式RAG檢索方案,可快速為大模型構(gòu)建高質(zhì)量外部知識(shí)庫(kù)。此外,騰訊云向量數(shù)據(jù)庫(kù)還可廣泛應(yīng)用于推薦系統(tǒng)、自然語(yǔ)言處「首家」通過(guò)信通院標(biāo)準(zhǔn)測(cè)試和性能規(guī)模測(cè)試。單實(shí)例可存儲(chǔ)干億級(jí)向量數(shù)據(jù)規(guī)模、可達(dá)500WQps,以及毫秒級(jí)響應(yīng)延遲,性能領(lǐng)先行業(yè)平均水平1.5倍以上,且單Qps成本降低75%。低門檻:—站式RAG檢索解決方案在向量數(shù)據(jù)庫(kù)中集成文檔拆分、Embedding、檢索精排等功能,簡(jiǎn)化RAG中的數(shù)據(jù)處理流程,提升數(shù)據(jù)檢索召回率,數(shù)據(jù)接入AI的效率比傳統(tǒng)方案已提供python、Java、Golang語(yǔ)言的sDK,同時(shí)已支持Langchain、Llamaindex框架,可根據(jù)實(shí)際需求和提供的工具快速接入騰訊云向量數(shù)據(jù)庫(kù),構(gòu)建高價(jià)值的生成式AI應(yīng)用。-24騰訊云數(shù)據(jù)管理copiIotDBbrain數(shù)據(jù)庫(kù)智能管家(TencentDBforDBbrain,DBbrain)是騰訊云推出的—款為用戶提供數(shù)據(jù)庫(kù)性能優(yōu)化、安全、管理等功能的數(shù)據(jù)庫(kù)自治云服務(wù)。DBbrain利用大數(shù)據(jù)手段、專家經(jīng)驗(yàn)引擎快速?gòu)?fù)制資深數(shù)據(jù)庫(kù)管理員的成熟經(jīng)驗(yàn),將大量傳統(tǒng)手動(dòng)的數(shù)據(jù)庫(kù)運(yùn)維工作自運(yùn)維,服務(wù)于云上和云下用戶,有效保障數(shù)據(jù)庫(kù)服務(wù)的安全、穩(wěn)定及高效運(yùn)行。數(shù)據(jù)庫(kù)運(yùn)行亞健康或異常時(shí),就像人生了病,會(huì)有各種各樣的表征,如何透過(guò)這些表征,定位到根本原因,卻是很困難的工作,需要非常有經(jīng)驗(yàn)的DBA仔細(xì)排查才能得出結(jié)論。用戶迫切需要—種服務(wù),能夠自動(dòng)診斷出數(shù)據(jù)庫(kù)異常的根因,并給出優(yōu)化建議或解決方案,降低用戶需要能全面知道數(shù)據(jù)庫(kù)中每個(gè)SQL、每個(gè)會(huì)話、每個(gè)事務(wù)的運(yùn)行明細(xì)與統(tǒng)計(jì)信息。需要知道數(shù)據(jù)庫(kù)每個(gè)工作節(jié)點(diǎn)上運(yùn)行著來(lái)自什么業(yè)健康性,反查業(yè)務(wù)請(qǐng)求來(lái)源。通過(guò)大數(shù)據(jù)、規(guī)則引擎、機(jī)器學(xué)習(xí)、大模型技術(shù)等綜合方案。做到7*24不間斷檢測(cè)、發(fā)現(xiàn)、診斷數(shù)據(jù)庫(kù)問(wèn)題,及時(shí)的為用戶發(fā)現(xiàn)數(shù)據(jù)庫(kù)風(fēng)險(xiǎn),并給出調(diào)優(yōu)方對(duì)數(shù)據(jù)庫(kù)的人工排查或是利用普通工具分析,并不能及時(shí)的發(fā)現(xiàn)問(wèn)題,并足夠迅速的給出方案,時(shí)效性不好,容易錯(cuò)過(guò)問(wèn)題的初期階段,導(dǎo)致已經(jīng)病情嚴(yán)重。用戶需要能7*24小時(shí)不間斷診斷數(shù)據(jù)庫(kù)的服務(wù),將診斷出的問(wèn)題自動(dòng)上報(bào)給管理員,并附上解決方用戶既需要對(duì)大量數(shù)據(jù)庫(kù)的健康狀態(tài)打分,以快速找出需要關(guān)注的風(fēng)險(xiǎn)實(shí)例。也需要對(duì)每個(gè)實(shí)例進(jìn)行全面細(xì)致的健康體檢,并存檔這份體檢,供健康追蹤與問(wèn)題復(fù)盤分析。讓每條SQL與業(yè)務(wù)建立關(guān)聯(lián),可通過(guò)監(jiān)視每條SQL在數(shù)據(jù)庫(kù)各個(gè)節(jié)點(diǎn)的工作詳情,做到任意時(shí)刻、任意節(jié)點(diǎn)、任意業(yè)務(wù)的SQL、會(huì)話、事務(wù)回顧分析。并能提供ToP統(tǒng)計(jì)分析,快速定位核心問(wèn)題。借助實(shí)時(shí)診斷結(jié)果為數(shù)據(jù)庫(kù)打分,通過(guò)dashboard呈現(xiàn)風(fēng)險(xiǎn)排行。為數(shù)據(jù)庫(kù)實(shí)例提供每日詳細(xì)深度的健康體檢,并生綜合方案,有效診斷數(shù)據(jù)庫(kù)問(wèn)題根因,并性期待,也能規(guī)避單—模型的短板。全鏈路分析打通了業(yè)務(wù)到SQL,再到數(shù)據(jù)庫(kù)節(jié)點(diǎn)的端到端信息,為用戶提供了領(lǐng)先行業(yè)的洞察能力。并且,該全鏈路信息作為學(xué)習(xí)源,不斷提升著實(shí)時(shí)診斷詳盡的巡檢報(bào)告,為高階用戶提供了深入洞悉數(shù)據(jù)庫(kù)運(yùn)行細(xì)節(jié)的窗口,幫助用戶不放過(guò)任何潛在25-騰訊云大數(shù)據(jù)ES隨著隨著AI的興起,大語(yǔ)言模型雖然能夠很好地回答—些通用問(wèn)題,但在應(yīng)用到企業(yè)服務(wù)時(shí)遇到了顯著挑戰(zhàn)。知識(shí)更新:大語(yǔ)言模型接受的數(shù)據(jù)訓(xùn)練存在截止時(shí)間,這意味著它不知道此后發(fā)生的事情和更新。特定領(lǐng)域知識(shí)缺乏:大語(yǔ)言模型的知識(shí)來(lái)自于互聯(lián)網(wǎng)的公開信息,缺乏企業(yè)特定領(lǐng)域的的個(gè)性化為了解決這個(gè)問(wèn)題,—個(gè)新的技術(shù)方向應(yīng)運(yùn)而生-RAG(Retrieval-AugmentedGeneration),即檢索增強(qiáng)生成,它可以輕松結(jié)合LLM和企業(yè)私域知識(shí)庫(kù),利用向量化和信息檢索技術(shù)來(lái)生成更好的答案。RAG的實(shí)現(xiàn)也并非易事,它不僅需要—系列專業(yè)技術(shù)的結(jié)合,還需要對(duì)業(yè)務(wù)場(chǎng)景有深入騰訊云ES提供了強(qiáng)大的云端AI增強(qiáng)能力,包含了實(shí)現(xiàn)RAG所需的所有功能的綜合性引擎,支持在統(tǒng)—技術(shù)棧中完成文本和向量的混合搜索,實(shí)現(xiàn)自然語(yǔ)言處理和大模型的集成,讓用戶具備由AI驅(qū)動(dòng)的高級(jí)搜索能力,為搜索和分析帶來(lái)全新體驗(yàn)。++ALLM大模型AAES分布式數(shù)據(jù)節(jié)點(diǎn)AAAES分布式機(jī)器學(xué)習(xí)節(jié)點(diǎn)騰訊云ES集群基于騰訊云ES的—站式RAG方案高性能:支持百萬(wàn)級(jí)QpS、千億級(jí)向量最大支持4096維,千億級(jí)向量規(guī)模,10億級(jí)向量檢索平均響應(yīng)延遲控制在毫秒高性能:支持百萬(wàn)級(jí)QpS、千億級(jí)向量最大支持4096維,千億級(jí)向量規(guī)模,10億級(jí)向量檢索平均響應(yīng)延遲控制在毫秒級(jí),并支持與騰訊自研軟硬技術(shù)結(jié)合。相同規(guī)格下,騰訊云ES通過(guò)自研查詢鏈路優(yōu)化和分布式鎖的改造,有更顯著的更智能:與LLM大模型無(wú)縫集成,輕松構(gòu)建AI智能問(wèn)答應(yīng)用集成Langchain,以幫助構(gòu)建復(fù)雜的數(shù)據(jù)管道和生成式Al應(yīng)用程序,通過(guò)Apl與LLM大模型集成。騰訊云ES提供了從模型上傳、向量生成、向量存儲(chǔ)、向量檢索、LLM大模型對(duì)接的—站式解決方案,超越傳統(tǒng)單點(diǎn)解決方案,滿足用戶構(gòu)建RAG應(yīng)用的全凸更精準(zhǔn):獨(dú)有的向量和文本混合搜索能力混合搜索利用向量檢索的多樣性,返回多種不同的檢索結(jié)果,滿足不同用戶查詢需求和偏好,結(jié)合關(guān)鍵詞檢索的邏輯運(yùn)算、排序、過(guò)濾等功能,實(shí)現(xiàn)更復(fù)雜的查詢需求,使搜索結(jié)果更準(zhǔn)確和可解釋。凸支持上傳、管理、部署向量模型,高效完成向量生成,有效提升向量推理能力,同時(shí)與數(shù)據(jù)節(jié)點(diǎn)隔離,保障在線檢索業(yè)務(wù)穩(wěn)定性。騰訊云ES自2018年正式上線以來(lái),圍繞著用戶最關(guān)心的痛點(diǎn):成本、性能、穩(wěn)定性持續(xù)優(yōu)化,贏得了眾多客戶的信賴。騰訊云大數(shù)據(jù)在云端實(shí)現(xiàn)了Elasticsearch技術(shù)棧的全托管,不斷加強(qiáng)自研能力,將ES和更多云原生能力結(jié)合,比如特有的數(shù)據(jù)鏈路、自治索引和存算分離技術(shù)等,也是國(guó)內(nèi)首個(gè)上線商業(yè)化ESServerless的廠商,實(shí)現(xiàn)按需使用、完全免運(yùn)維的特性。隨著Al浪潮的席卷而來(lái),ES也快速實(shí)現(xiàn)了Al結(jié)合的解決方案,去支持到用戶新的發(fā)展需要。-2627-騰訊云大數(shù)據(jù)檢索copiIotchatBI降低數(shù)據(jù)分析的門檻,沒(méi)有數(shù)據(jù)分析基礎(chǔ)的用降低數(shù)據(jù)分析的門檻,沒(méi)有數(shù)據(jù)分析基礎(chǔ)的用提高數(shù)據(jù)分析效率,臨時(shí)性分析不需制作報(bào)表,直接提問(wèn)即可獲得數(shù)據(jù)。外出出差等不便看數(shù)的場(chǎng)景,可以隨時(shí)隨地對(duì)外出出差等不便看數(shù)的場(chǎng)景,可以隨時(shí)隨地對(duì)提供從數(shù)據(jù)源接入、數(shù)據(jù)建模到數(shù)據(jù)可視化分析全流程的Bl能力,幫助經(jīng)營(yíng)者快速獲取決策數(shù)據(jù)依據(jù)。系統(tǒng)采用敏捷自助式設(shè)計(jì),使用者僅需通過(guò)簡(jiǎn)單拖拽即可完成原本復(fù)雜的報(bào)表開發(fā)過(guò)程,并支持報(bào)表的分具備業(yè)務(wù)學(xué)習(xí)能力,支持用戶自定義行業(yè)騰訊云大數(shù)據(jù)為貓眼提供了從數(shù)據(jù)治理、數(shù)據(jù)倉(cāng)庫(kù)、Bl分析的—站式解決方案。借助騰訊云Bl,貓眼快速構(gòu)建了公司的經(jīng)營(yíng)分析平臺(tái),覆蓋了電影/演出票務(wù)、流量監(jiān)測(cè)、運(yùn)營(yíng)復(fù)盤、自動(dòng)化取數(shù)等眾花王(中國(guó))花王(中國(guó))早期運(yùn)營(yíng)人員需要至各個(gè)系統(tǒng)平臺(tái)查看數(shù)據(jù),公司沒(méi)有統(tǒng)—的數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái),借助騰訊云大數(shù)據(jù)解決方案,匯總各個(gè)系統(tǒng)數(shù)據(jù),有效地解決了過(guò)去的數(shù)據(jù)孤島問(wèn)題,快速搭建了用戶的支持多終端(小程序/H5/PC),隨時(shí)隨地進(jìn)行數(shù)據(jù)分析。王府井全球購(gòu)作為知名上市公司王府井集團(tuán)旗下的重點(diǎn)跨境電商項(xiàng)目,借助騰訊云Bl,快速建立了云上數(shù)據(jù)分析、業(yè)務(wù)報(bào)表展示平臺(tái),可支撐貨品庫(kù)存、銷售分析、分銷代銷等多個(gè)核心業(yè)務(wù)版塊的報(bào)通過(guò)騰訊云Bl產(chǎn)品,很好地滿足了元象科技日常用戶行為數(shù)據(jù)分析需求,從用戶、開發(fā)、測(cè)試、用戶反饋等多維度快速完成數(shù)據(jù)可視化,滿足經(jīng)營(yíng)分析需求,輔助用戶決策。-28bb開發(fā)增質(zhì)生成式Al正以其突破性的能力,重新定義軟件開發(fā)的疆界。這—變革不僅催生了軟件開發(fā)的新范式,也為提升開發(fā)效率和質(zhì)量開辟了新的可首先,生成式Al的核心優(yōu)勢(shì)在于其創(chuàng)造力。它能夠根據(jù)既定條件,生成代碼、圖像、文本等多種軟件組件,并精確地按照項(xiàng)目需求進(jìn)行編排。這種能力極大地優(yōu)化了軟件開發(fā)的各個(gè)環(huán)節(jié),從編碼、軟件測(cè)試到代碼審查,每—個(gè)步驟都能通過(guò)Al的介入而變得更加高效。其次,生成式Al在提升開發(fā)質(zhì)量方面展現(xiàn)出巨大潛力。它通過(guò)深入理解編程語(yǔ)言的上下文,自動(dòng)生成高質(zhì)量的代碼,從而顯著減少了開發(fā)過(guò)程中的缺陷和錯(cuò)誤。Al生成的代碼不僅遵循行業(yè)標(biāo)準(zhǔn)和最佳實(shí)踐,而且其簡(jiǎn)潔、優(yōu)雅的風(fēng)格,以及對(duì)運(yùn)維友好的特性,都極大地提升了軟件然而,這種以Al為驅(qū)動(dòng)的開發(fā)方式,也對(duì)傳統(tǒng)的集成開發(fā)環(huán)境(lDE)提出了新的挑戰(zhàn)。傳統(tǒng)lDE在設(shè)計(jì)之初并未充分考慮與Al的融合,這導(dǎo)致了在算力配置、工具集成、運(yùn)維管理等方面的不足。這種不足不僅影響了開發(fā)者的使用體驗(yàn),還可能導(dǎo)致算力資源的浪費(fèi)。此外,選擇合適的Al代碼助手成為了用戶面臨的—個(gè)重要課題。Al代碼助手的生成能力雖強(qiáng),但如果缺乏對(duì)用戶特定代碼風(fēng)格和規(guī)范的理解,其生成的代碼可能難