




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
2024騰訊云云原生提質(zhì)增效實(shí)踐精選集【版權(quán)聲明】本報(bào)告版權(quán)屬于騰訊云計(jì)算(北京)有限責(zé)任公司和極客傳媒,并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其違反上述聲明者,將追究其相關(guān)法律責(zé)任?!緟⑴c編寫單位】騰訊云計(jì)算(北京)有限責(zé)任公司極客傳媒22024騰訊云云原生提質(zhì)增效實(shí)踐精選集卷首語在數(shù)字化浪潮洶涌澎湃的當(dāng)下,云原生技術(shù)正以前所未有的速度重塑著整個(gè)IT行業(yè)的格局。從微服務(wù)架構(gòu)的廣泛應(yīng)用,到容器化技術(shù)的深入人心,再到服務(wù)網(wǎng)格、不可變基礎(chǔ)設(shè)施等概念的興起,云原生憑借其卓越的靈活性、可擴(kuò)展性和高效性,成為推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵引擎。它不僅為數(shù)字原生企業(yè)提供了強(qiáng)大的技術(shù)支撐,更助力傳統(tǒng)企業(yè)突破既有束縛,實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新與升級(jí)。憑借自身在云計(jì)算領(lǐng)域的深厚積累與技術(shù)實(shí)力,騰訊云從大規(guī)模自研上云的實(shí)踐出發(fā),逐步將云原生技術(shù)成果向行業(yè)輸出,取得了顯著的成效與收益。歷經(jīng)數(shù)年沉淀,騰訊自研業(yè)務(wù)如5000萬核,累計(jì)節(jié)省成本超30涌現(xiàn)出一大批提質(zhì)增效的最佳實(shí)踐案例。為了將這些珍貴的實(shí)踐經(jīng)驗(yàn)分享給行業(yè),我們精心梳理、提煉并整理成這本《2024騰訊云原生提質(zhì)增效實(shí)踐精選集》。書中的每一個(gè)案例,都是企業(yè)在數(shù)字化轉(zhuǎn)型過程中真實(shí)經(jīng)歷的挑戰(zhàn)與突破,涵蓋了容器服務(wù)、中間件、云開發(fā)、低代碼、可觀測(cè)等多個(gè)云原生關(guān)鍵領(lǐng)域。我們希望通過這些詳實(shí)的案例,為廣大同行提供參考與借鑒,助力大家更好地理解云原生技術(shù)的應(yīng)用場(chǎng)景與價(jià)值,激發(fā)更多創(chuàng)新思維與靈感,攜手加速產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型的進(jìn)程!32024騰訊云云原生提質(zhì)增效實(shí)踐精選集目錄01容器服務(wù)更高效能來自更優(yōu)選擇,TKE助力貝殼提質(zhì)增效07維穩(wěn)降本,小鵝通容器集群計(jì)算資源的調(diào)控實(shí)踐10趣丸科技基于TKE集群的高效混部實(shí)踐1502中間件基于騰訊云消息隊(duì)列TDMQPulsar版在在線高并發(fā)場(chǎng)景的最佳實(shí)踐212.2騰訊云分布式消息隊(duì)列一站式搭建數(shù)據(jù)流轉(zhuǎn)鏈路,助力長(zhǎng)城車聯(lián)網(wǎng)平臺(tái)降低運(yùn)維成本262.3業(yè)務(wù)高速增長(zhǎng),如祺出行如何用騰訊云消息隊(duì)列應(yīng)對(duì)挑戰(zhàn)3203云開發(fā)5天完成一個(gè)百萬級(jí)營(yíng)銷活動(dòng)?沃爾瑪、瑞幸咖啡、蒙牛都在用騰訊云開發(fā)!3942024騰訊云云原生提質(zhì)增效實(shí)踐精選集04低代碼揭秘智慧浦東機(jī)場(chǎng)的低代碼創(chuàng)新建設(shè)與落地經(jīng)驗(yàn)444.2實(shí)現(xiàn)銷售業(yè)績(jī)?cè)鲩L(zhǎng),他用騰訊云微搭低代碼做了個(gè)樓盤SCRM小程序4705可觀測(cè)騰訊云可觀測(cè)平臺(tái)如何為新能源車企緩解焦慮505.2騰訊云撥測(cè)助力頭部跨境電商平臺(tái)優(yōu)化用戶體驗(yàn)635.3騰訊云和APM幫助微購建設(shè)前后端一體化監(jiān)控平臺(tái)685.4騰訊云守護(hù)喜茶小程序75501容器服務(wù)2024騰訊云云原生提質(zhì)增效實(shí)踐精選集更高效能來自更優(yōu)選擇,騰訊云容器服務(wù)TKE
助力貝殼提質(zhì)增效>公司簡(jiǎn)介貝殼找房是國(guó)內(nèi)領(lǐng)先的居住產(chǎn)業(yè)數(shù)字化服務(wù)平臺(tái),致力于推進(jìn)居住服務(wù)的產(chǎn)業(yè)數(shù)字化、智能化進(jìn)程,通過聚合、助力優(yōu)質(zhì)服務(wù)者,為中國(guó)家庭提供包括二手房交易、新房交易、租賃、家裝、家居、家服等一站式、高品質(zhì)、高效率服務(wù)。作為國(guó)內(nèi)最大的房產(chǎn)中介平臺(tái),貝殼一直對(duì)新的IT技術(shù)保持著非常高的熱情。相比于那些不敢用、不會(huì)用的企業(yè),貝殼在做云原生技術(shù)架構(gòu)的改造前,內(nèi)部就已經(jīng)進(jìn)行了容器化改造,并且與騰訊云TKE有一些小規(guī)模合作。實(shí)際上,貝殼與騰訊云的合作最早可以追溯到2018年,在貝殼找房的前身,鏈家網(wǎng)在嘗試互聯(lián)網(wǎng)業(yè)務(wù)時(shí),鏈家建立了自己層面,騰訊作為公有云供應(yīng)商,幫助鏈家網(wǎng)解決計(jì)算虛擬機(jī)、存儲(chǔ)和帶寬等問題。>業(yè)務(wù)挑戰(zhàn)貝殼找房成立后,公司業(yè)務(wù)實(shí)現(xiàn)了井噴式增長(zhǎng),這也帶來了研發(fā)人員的大幅增加。隨著公司上市,人員和流量的進(jìn)一步增長(zhǎng)72024騰訊云云原生提質(zhì)增效實(shí)踐精選集給基礎(chǔ)設(shè)施帶來了諸多挑戰(zhàn)?!耙?yàn)槲覀冊(cè)诨A(chǔ)設(shè)施做建設(shè)的時(shí)候,其實(shí)是有些預(yù)判,比如我們做運(yùn)維的人經(jīng)常說我們公司如果增長(zhǎng)3倍,我們的架構(gòu)應(yīng)該怎么去適配?如果增長(zhǎng)10倍,又該怎么適配?我不能拍腦袋去考慮增長(zhǎng)十倍甚至二十倍甚至一百倍的方式,因?yàn)檫@本身也是一種成本浪費(fèi)。基于此我們開始了跟騰訊云在容器化方面的合作?!必悮ぴ萍夹g(shù)中心系統(tǒng)研發(fā)部高級(jí)經(jīng)理?xiàng)钶紓ヌ岬健5婚_始在容器化方面,貝殼用的是TKE普通節(jié)點(diǎn),本質(zhì)上是在虛擬機(jī)上部署一些托管的K8s能力,效果并不明顯。>解決思路2023年初,貝殼打響了云原生攻堅(jiān)戰(zhàn),提出了“4321”的技術(shù)口號(hào),其中4指的是計(jì)算集群利用率提升到40%?!叭萜骰驮圃?,是提升利用率,尤其是提升在線業(yè)務(wù)利用率的一個(gè)技術(shù)達(dá)成路徑?!睏钶紓ケ硎尽:芸?,貝殼接入了騰訊云TKE的原生節(jié)點(diǎn),其核心還是怎么彈性擴(kuò)縮容,自動(dòng)化部署以及提高已有資源的利用率。TKE原生節(jié)點(diǎn)幫助貝殼解決了三個(gè)核心問題:首先是配置。在創(chuàng)建K8s集群的工作負(fù)載時(shí),通常需要配置合適的資源,Request是下限,指的是容器需要保留的最小資源量;limits是上限,一個(gè)容器使用的最大資源量。以前都是客戶根據(jù)經(jīng)驗(yàn)自己配置,很容易估不準(zhǔn),大家習(xí)慣將申請(qǐng)量設(shè)置得較大,造成資源閑置,這是一個(gè)非常普遍的現(xiàn)象。騰訊云TKE原生節(jié)點(diǎn)的“成本大師”推出了智能推薦工具,可以通過分析客戶業(yè)務(wù)實(shí)際利用率和歷史數(shù)據(jù),給客戶推薦最合適的配置,確保資源得到合理利用。其次,在節(jié)點(diǎn)放大之后,容易遇到穩(wěn)定性問題,考驗(yàn)TKE資源如何調(diào)度。比如K8S集群有時(shí)會(huì)出現(xiàn)調(diào)度不均,某些節(jié)點(diǎn)負(fù)載過高,而其他節(jié)點(diǎn)負(fù)載又很低。人工調(diào)度往往不及時(shí),也很麻煩。騰訊云TKE原生節(jié)點(diǎn),支持根據(jù)客戶節(jié)點(diǎn)的實(shí)際負(fù)載進(jìn)行智能調(diào)度。包括支持“節(jié)點(diǎn)動(dòng)態(tài)放大”,根據(jù)實(shí)際需求,自動(dòng)增加CPU和內(nèi)存資源。三是在線和離線業(yè)務(wù)能否混合部署。在線業(yè)務(wù)對(duì)資源的要求高,但變化會(huì)比較明顯,離線業(yè)務(wù)便靜態(tài),及時(shí)性不高。要想集群24小時(shí)運(yùn)轉(zhuǎn),就需要把在線和離線業(yè)務(wù)混在一起運(yùn)行。同時(shí),騰訊云TKE在內(nèi)核層面實(shí)現(xiàn)資源隔離,允許高低優(yōu)任務(wù)共存,高優(yōu)任務(wù)可搶占低優(yōu)資源,確保在線業(yè)務(wù)不受影響。82024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望最終,在TKE原生節(jié)點(diǎn)的支持下,貝殼的資源利用率從23年年初的峰值不到25%,到年底提升到了40%?!叭萜鞑皇墙K點(diǎn),它其實(shí)是一切的起點(diǎn)。”楊菁偉說,容器化為貝殼真正邁向云原生打下了基礎(chǔ),未來將推進(jìn)兩件事:一是讓自建的容器逐漸遷移到公有云的底座上,增加騰訊云TKE在貝殼的算力供給比重;二是針對(duì)應(yīng)用以外的組件進(jìn)行云原生的適配,實(shí)現(xiàn)數(shù)據(jù)的云原生和緩存的云原生等。92024騰訊云云原生提質(zhì)增效實(shí)踐精選集維穩(wěn)降本,小鵝通容器集群計(jì)算資源的
調(diào)控實(shí)踐>公司簡(jiǎn)介小鵝通是一家以知識(shí)產(chǎn)品與用戶服務(wù)為核心的技術(shù)服務(wù)商,創(chuàng)始至今已服務(wù)逾百萬家客戶?,F(xiàn)如今,私域運(yùn)營(yíng)正在逐漸成為數(shù)字化經(jīng)營(yíng)的重要手段,并助推企業(yè)的業(yè)務(wù)升級(jí)和組織建設(shè)升級(jí)。小鵝通作為私域運(yùn)營(yíng)的一站式工具,解決產(chǎn)品和服務(wù)交付、營(yíng)銷獲客、用戶運(yùn)營(yíng)、組織角色管理、品牌價(jià)值輸出等痛點(diǎn)并形成閉環(huán),扎根多個(gè)行業(yè)與生態(tài),可在企業(yè)經(jīng)營(yíng)過程中發(fā)揮重要作用,成為企業(yè)數(shù)字化經(jīng)營(yíng)的好幫手。>業(yè)務(wù)挑戰(zhàn)多模型、高體量的業(yè)務(wù)場(chǎng)景給小鵝通帶來了極大的并發(fā)挑戰(zhàn),如何在完成資源保障的基礎(chǔ)上進(jìn)一步維穩(wěn)降本成為難題。102024騰訊云云原生提質(zhì)增效實(shí)踐精選集>解決思路集群資源調(diào)控:Serverless+常駐節(jié)點(diǎn)高效利用受業(yè)務(wù)場(chǎng)景(如直播)及龐大用戶量影響,小鵝通集群資源存在明顯規(guī)律的波峰波谷現(xiàn)象,集群資源差值達(dá)100%以上,集群閑時(shí)資源冗余明顯。為了解決這一問題,小鵝通開始嘗試與騰訊云合作?!耙?yàn)槲覀兊钠髽I(yè)價(jià)值觀是客戶第一,所以在做云產(chǎn)品選型時(shí),我們會(huì)優(yōu)先選擇一些比較有實(shí)力的,之前有過相關(guān)場(chǎng)景落地的云廠商,這樣其實(shí)我們的接入成本會(huì)更低;另外一個(gè)考慮點(diǎn)是技術(shù)團(tuán)隊(duì)實(shí)力以及服務(wù)支持響應(yīng)的速度。像TKE它其實(shí)在業(yè)K8s版本在24年8月已經(jīng)更新到小鵝通容器負(fù)責(zé)人張安哲表示。選擇跟騰訊云合作之后,小鵝通開始衡量騰訊云TKE常駐節(jié)點(diǎn)和Serverless超級(jí)節(jié)點(diǎn)如何選擇。第一階段,小鵝通將TKE常駐節(jié)點(diǎn)與超級(jí)節(jié)點(diǎn)進(jìn)行了初步結(jié)合。CVM以上。后續(xù)就是基于騰訊這些的能力以及K8s能力在這個(gè)基礎(chǔ)上進(jìn)一步降低了20%進(jìn)行的,另外一部分能力是通過超級(jí)節(jié)點(diǎn)進(jìn)行的?!薄霸谌萜骼锩媸紫仁菢I(yè)務(wù)能穩(wěn)定的運(yùn)行,基于這個(gè)業(yè)務(wù)穩(wěn)定的條件,那我們?cè)谙肽懿荒軜I(yè)務(wù)穩(wěn)定的情況下,我們能把云資源對(duì)應(yīng)的一個(gè)成本進(jìn)一步的壓縮。這其實(shí)是在我們完成容器化之后進(jìn)一步思考的問題?!睆埌舱鼙硎?。在對(duì)超級(jí)節(jié)點(diǎn)與常駐節(jié)點(diǎn)的計(jì)費(fèi)規(guī)則做了深入研究之后,小鵝通開始基于業(yè)務(wù)情況,尋找二者的黃金配比。Serverless核心計(jì)費(fèi)規(guī)則a.較大原則:max(max(containerLimit),sum(containerRequest))升格原則(CPU為例):3C(使用)->4C(計(jì)費(fèi)),6C(使用)->8C(計(jì)費(fèi))常駐節(jié)點(diǎn)核心計(jì)費(fèi)規(guī)則(節(jié)點(diǎn)核數(shù)放大系數(shù)-系統(tǒng)組件核數(shù))/CPURequest如何計(jì)算出二者的黃金配比”?112024騰訊云云原生提質(zhì)增效實(shí)踐精選集最終,通過對(duì)常駐階段與超級(jí)節(jié)點(diǎn)進(jìn)行黃金配比,想同用量之下,成本再降低12+%。調(diào)控解決成本問題場(chǎng)景1:直播帶貨?痛點(diǎn):商家數(shù)字化轉(zhuǎn)型,將線下龐大流量帶到線上;直播間講解完商品后,發(fā)出商品鏈接搶購,都將導(dǎo)致瞬時(shí)間成百上千倍流量涌入系統(tǒng),造成極大的壓力。?解決方案:通過固定HPC擴(kuò)容回收,實(shí)現(xiàn)高峰期整體資源保障。場(chǎng)景保障?在B客戶時(shí)間段不固定,因此需要對(duì)客戶進(jìn)行特殊保障,助力用戶體驗(yàn)順暢。122024騰訊云云原生提質(zhì)增效實(shí)踐精選集?解決方案:通過商家報(bào)備時(shí)間段HPC擴(kuò)容回收,實(shí)現(xiàn)閑時(shí)資源保障。云資源成本陡增等問題。小鵝通結(jié)合業(yè)界經(jīng)驗(yàn)與生產(chǎn)經(jīng)驗(yàn),經(jīng)過大量背景搜集及多次試點(diǎn)后,最終落地容器計(jì)算資源標(biāo)準(zhǔn)并執(zhí)行。張安哲表示:“其實(shí)小鵝通的直播場(chǎng)景、體量問題,更多還是要通過集群資源保障去解決,比如你的超級(jí)節(jié)點(diǎn)以及對(duì)應(yīng)原生節(jié)點(diǎn)的配額能否滿足業(yè)務(wù)需求,另外就是底層DB是否支持。容器能支持到的能力,第一個(gè)是扛住它對(duì)應(yīng)的類似秒殺場(chǎng)景,帶來的突刺。這種場(chǎng)景,如果說是放在傳統(tǒng)的下,它其實(shí)是不太適用的,我們之前也計(jì)算過,超級(jí)節(jié)點(diǎn)對(duì)應(yīng)的一個(gè)擴(kuò)容30針對(duì)這個(gè)問題,行業(yè)內(nèi)通用做法是給它定時(shí)加對(duì)應(yīng)的HPC。但是,這么多的HPC你要如何進(jìn)行一個(gè)管理?因?yàn)槲覀儾煌臅r(shí)間段有不同的高峰,如果全天按最高的需求量先給它去囤對(duì)應(yīng)的資源,很明顯會(huì)帶來浪費(fèi)。后面基于業(yè)務(wù)穩(wěn)定的情況下,我們自研了一套能自動(dòng)調(diào)控HPC對(duì)應(yīng)的算法程序。進(jìn)一步降低我們運(yùn)維成本?!?32024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望通過上述解決方案的落地與持續(xù)優(yōu)化,小鵝通最終實(shí)現(xiàn):?復(fù)合容器資源云成本降低20%+?集群整體利用率較上限提升20%?日常容器資源維護(hù)人力成本降低50%?冗余容器資源維護(hù)人力成本降低90%面向未來,小鵝通將持續(xù)探索容器化在特定場(chǎng)景的應(yīng)用優(yōu)化,如精細(xì)化HPC時(shí)間段調(diào)控、精細(xì)化規(guī)格/配置調(diào)控、引入事件驅(qū)動(dòng)擴(kuò)縮容、拓展更多實(shí)用場(chǎng)景等,以此更進(jìn)一步助力業(yè)務(wù)降本增效。142024騰訊云云原生提質(zhì)增效實(shí)踐精選集趣丸科技基于騰訊云容器服務(wù)TKE集群的
高效混部實(shí)踐>公司簡(jiǎn)介趣丸科技成立于2014年,是中國(guó)領(lǐng)先的國(guó)家高新技術(shù)企業(yè),形成了集興趣社交、人工智能、電子競(jìng)技等業(yè)務(wù)于一體的多元業(yè)務(wù)矩陣。公司拳頭產(chǎn)品TT語音是國(guó)內(nèi)領(lǐng)先的興趣社交平臺(tái),累計(jì)注冊(cè)用戶已超2王者榮耀職業(yè)聯(lián)賽(KPL)、和平精英職業(yè)聯(lián)賽(PEL)等五大頭部電競(jìng)職業(yè)賽事官方合作伙伴。趣丸科技堅(jiān)持創(chuàng)新驅(qū)動(dòng),已構(gòu)建全棧式AI交互技術(shù)產(chǎn)業(yè)生態(tài),在數(shù)智人、智能視聽、三維生成、AI音樂等領(lǐng)域均有落地應(yīng)用。聚焦興趣社交領(lǐng)域的深厚積累為核心優(yōu)勢(shì),積極瞄準(zhǔn)全球數(shù)字技術(shù)基礎(chǔ)前沿領(lǐng)域和關(guān)鍵核心技術(shù)的研發(fā)和創(chuàng)新。>業(yè)務(wù)挑戰(zhàn)問題:趣丸科技全網(wǎng)主機(jī)CPU利用率不到10%。一方面,公司業(yè)務(wù)誕生于云且在云環(huán)境中發(fā)展,這使得底層能力的實(shí)現(xiàn)受到一定限制;同時(shí),其直播業(yè)務(wù)對(duì)穩(wěn)定性有著極高要求,與之對(duì)應(yīng)的是,在這種情況下,系統(tǒng)的隔離能力必須足夠強(qiáng)大,以保障直播業(yè)務(wù)的穩(wěn)定運(yùn)行。另一方面,公司離線業(yè)務(wù)擁有獨(dú)立的Spark集群,這就需要在混部技術(shù)中兼容離線業(yè)務(wù)原有的模式,從而更好地優(yōu)化整體資源利用,提升全網(wǎng)主機(jī)CPU利用率。>解決思路?依托于云,擁抱社區(qū)?調(diào)度優(yōu)先、隔離為輔助的總體方案;?集群級(jí)調(diào)度優(yōu):TTSet混部調(diào)度系統(tǒng)?Server圖片:趣丸科技的混部三層架構(gòu)152024騰訊云云原生提質(zhì)增效實(shí)踐精選集TTSet架構(gòu)tt-agent:以的方式部署到每一個(gè)Node節(jié)點(diǎn)上,主要功能有采集數(shù)據(jù)、上報(bào)數(shù)據(jù)、干預(yù)Pod。tt-scheduler:基于scheduler-framework開發(fā),實(shí)現(xiàn)多種調(diào)度策略。tt-webhook:admissionwebhook,主要在Pod創(chuàng)建前修改參數(shù),如資源壓縮、節(jié)流參數(shù)注入等TTSet資源模型調(diào)度策略基于真實(shí)負(fù)載感知的調(diào)度2.離線資源壓縮3.資源熱點(diǎn)遷移與過載干預(yù)4.基于優(yōu)先級(jí)的驅(qū)逐算法5.基于最晚運(yùn)行時(shí)間的調(diào)度162024騰訊云云原生提質(zhì)增效實(shí)踐精選集黃金補(bǔ)充表示:“基于直播場(chǎng)景,我們其實(shí)遇到最多的就是流量峰值問題,很多時(shí)候做活動(dòng)它可能在一瞬間就會(huì)把整個(gè)的用戶量涌進(jìn)來,所以我們最開始選型的時(shí)候要考慮到極致的伸縮性能,我們會(huì)有一堆的伸縮策略,基于定時(shí)的或者基于消息隊(duì)列的、基于具體的信號(hào)的,比如在開播之前我能夠迅速的利用TKE集群直接彈出四五臺(tái)機(jī)器,這樣在結(jié)束之后我能迅速的去回收掉。這個(gè)里面就會(huì)遇到一些問題,除了我們?cè)谫Y源層做準(zhǔn)備,其實(shí)如果你擴(kuò)容了就意味著你的整個(gè)應(yīng)用的面向DB中間件的這個(gè)連接池會(huì)大量的增長(zhǎng),對(duì)應(yīng)的中間件和DB能不能扛???這也是在做架構(gòu)的時(shí)候或者是做這種伸縮的時(shí)候都要考慮的問題,有可能你把應(yīng)用層彈起來了,但是整個(gè)DB層都崩了。”隔離能力“因?yàn)槲覀兪侵辈I(yè)務(wù),直播對(duì)這種時(shí)間、故障會(huì)比較敏感,尤其是在業(yè)務(wù)高峰期,很多業(yè)務(wù),如果你告訴他你要做混部,他可能第一時(shí)間提的就是你會(huì)不會(huì)影響我,所以在這里你首要解決的就是你怎么保證好隔離性?!秉S金表示。針對(duì)這一需求,趣丸科技基于騰訊云TKE原生節(jié)點(diǎn)與Server構(gòu)建了強(qiáng)大的隔離能力:云原生節(jié)點(diǎn)是騰訊云TKE容器服務(wù)團(tuán)隊(duì)面向?yàn)橛脩籼峁┰?、高穩(wěn)定、快響應(yīng)的K8s節(jié)點(diǎn)管理能力。Server是騰訊云針對(duì)云的場(chǎng)景研發(fā)的Linux操作系統(tǒng),提供特定的功能及性能優(yōu)化,為云服務(wù)器實(shí)例中的應(yīng)用程序提供更高的性能及更加安全可靠的運(yùn)行環(huán)境172024騰訊云云原生提質(zhì)增效實(shí)踐精選集超級(jí)節(jié)點(diǎn)超級(jí)節(jié)點(diǎn)是騰訊云全新升級(jí)的節(jié)點(diǎn)產(chǎn)品形態(tài),向用戶提供可用區(qū)級(jí)別的、支持自定義規(guī)格的節(jié)點(diǎn)能力。相比節(jié)點(diǎn)池及伸縮組,按量計(jì)費(fèi)的超級(jí)節(jié)點(diǎn)超級(jí)節(jié)點(diǎn)簡(jiǎn)化了擴(kuò)容和縮容流程提高了彈性效率:?擴(kuò)容:按量計(jì)費(fèi)超級(jí)節(jié)點(diǎn)將常規(guī)擴(kuò)容流程縮短至秒級(jí),擴(kuò)容流程更高效。?縮容:按量計(jì)費(fèi)超級(jí)節(jié)點(diǎn)的縮容流程短規(guī)避了CA流程、封鎖流程及Pod驅(qū)逐流程,完全做到了無損縮容,瞬時(shí)縮容。182024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望通過基于TKE集群的混部實(shí)踐,趣丸科技將全網(wǎng)主機(jī)CPU利用率從8%提升到50%以上,并且實(shí)現(xiàn)了離線集群完全復(fù)用在線資源。未來,趣丸科技將堅(jiān)持“立足業(yè)務(wù)、依托于云、合作共贏”的技術(shù)路線,持續(xù)探索云原生在社交娛樂場(chǎng)景的創(chuàng)新應(yīng)用。1902中間件2024騰訊云云原生提質(zhì)增效實(shí)踐精選集基于騰訊云消息隊(duì)列TDMQPulsar版在
在線高并發(fā)場(chǎng)景的最佳實(shí)踐>關(guān)于FinancialTechnology)是騰訊公司提供移動(dòng)支付與金融服務(wù)的綜合業(yè)務(wù)平臺(tái)。業(yè)務(wù)領(lǐng)域包括移動(dòng)QQ錢包等移動(dòng)支付產(chǎn)品中持續(xù)進(jìn)行功能和服務(wù)創(chuàng)新。>業(yè)務(wù)挑戰(zhàn)過濾、延遲推送等場(chǎng)景。同時(shí)由于均是交易類場(chǎng)景,對(duì)消息產(chǎn)品的高并發(fā)、容災(zāi)有非常高的要求。比如,在可預(yù)期的業(yè)務(wù)高峰期時(shí),對(duì)消息隊(duì)列集群進(jìn)行快速擴(kuò)容;在非預(yù)期的可用區(qū)故障時(shí),其余可用區(qū)可以正常提供服務(wù),保障交易業(yè)務(wù)的流暢性。于是TDMQPulsar版進(jìn)入了的消息隊(duì)列技術(shù)選型范疇。212024騰訊云云原生提質(zhì)增效實(shí)踐精選集>解決思路騰訊云TDMQPulsar版是基于ApachePulsar自研的消息中間件,具備極好的云原生和Serverless特性,計(jì)算存儲(chǔ)分離的架構(gòu)使其在擴(kuò)縮容方面具備良好的底層優(yōu)勢(shì)。在完全兼容社區(qū)版的基礎(chǔ)上,TDMQPulsar版還提供了重試&死信隊(duì)列、消息標(biāo)簽過濾、消息軌跡等高級(jí)特性。TDMQPulsar版由于其存算分離的架構(gòu),對(duì)于計(jì)算密集型的業(yè)務(wù)場(chǎng)景,僅需要添加計(jì)算層,自動(dòng)進(jìn)行Rebalance;BKPulsar專業(yè)集群支持3AZ跨可用區(qū)部署,以確保發(fā)生可用區(qū)故障時(shí),也能正常提供服務(wù);同時(shí)還提供了跨地域冷備功能,支持快速切換接入點(diǎn)解析,實(shí)現(xiàn)無需客戶端修改接入點(diǎn)地址,而實(shí)現(xiàn)跨地域的容災(zāi)方案,保障業(yè)務(wù)的延續(xù)性。在場(chǎng)景支撐方面,TDMQPulsar版承載了騰訊計(jì)費(fèi)、中國(guó)銀行等金融場(chǎng)景下的核心交易鏈路。從各方面來說,都非常匹配的需求?;赑ulsar的消息中間件的具體實(shí)踐如下:標(biāo)準(zhǔn)模型-發(fā)布訂閱第一類使用場(chǎng)景,是標(biāo)準(zhǔn)的pub-sub模式,生產(chǎn)者生產(chǎn)一條消息,任意一個(gè)消費(fèi)者成功消費(fèi)即可。在部署方面,客戶端的生產(chǎn)者和消費(fèi)者均解耦部署。222024騰訊云云原生提質(zhì)增效實(shí)踐精選集限定模型-消息標(biāo)簽過濾+自動(dòng)創(chuàng)建訂閱第二類場(chǎng)景,限定模型,是使用了消息過濾的方式,限定消息只能在某一個(gè)客戶端消費(fèi)。采用單元化(SET)架構(gòu)。在該場(chǎng)景中的業(yè)務(wù)消息,會(huì)按照一定的規(guī)則(如UIN等)進(jìn)行分片,并要求消息限定在某個(gè)目標(biāo)SET中消費(fèi)。如上圖所示,SET1中生產(chǎn)者生產(chǎn)消息時(shí),給消息打上「SET1」的的消息。另外,Pulsar可以支持自動(dòng)創(chuàng)建訂閱,F(xiàn)iT使用該能力實(shí)現(xiàn)了一套插件,將SET做為環(huán)境變量注入到啟動(dòng)容器中,這樣實(shí)現(xiàn)方式極大的方便了業(yè)務(wù)自定義配置要消費(fèi)的消息,僅需要調(diào)整環(huán)境變量即可,而不需要改動(dòng)業(yè)務(wù)代碼。擴(kuò)散模型232024騰訊云云原生提質(zhì)增效實(shí)踐精選集消息(跨集群)復(fù)制在消息容災(zāi)場(chǎng)景下,F(xiàn)iT基于消息復(fù)制組件,配置消息復(fù)制關(guān)系,自動(dòng)將消息復(fù)制到對(duì)端的Pulsar集群。同一個(gè)復(fù)制對(duì)象,在不同地域的兩個(gè)集群中名稱需要保持一致,包括名稱、角色名稱及相應(yīng)的密鑰等。如此,可保障當(dāng)其中一個(gè)地域發(fā)生故障時(shí),通過接入層的流量調(diào)度,將流量調(diào)度至另外一個(gè)集群。242024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望得益于TDMQPulsar版高吞吐、低延遲的能力,F(xiàn)iT金融產(chǎn)品業(yè)務(wù)遷移到TDMQPulsar版后,消息從生產(chǎn)者到消費(fèi)者的耗時(shí)縮短了大約80%,消息積壓情況大大緩解,積壓數(shù)量減少了70%。TDMQPulsar版延遲消息作用于消息維度,方便業(yè)務(wù)根據(jù)自身場(chǎng)景對(duì)每條消息設(shè)置不同的延時(shí)時(shí)間,如延遲通知、延遲核對(duì)等。TDMQPulsar運(yùn)維簡(jiǎn)單,業(yè)務(wù)高峰期需要集群擴(kuò)容時(shí),在控制臺(tái)一鍵點(diǎn)擊升配即可,業(yè)務(wù)層無感。TDMQPulsar技術(shù)支持專業(yè)迅速,及時(shí)響應(yīng)業(yè)務(wù)需求解決業(yè)務(wù)場(chǎng)景的痛點(diǎn),如支持接入外部監(jiān)控、支持靈活的消息過濾功能,較好地支撐了業(yè)務(wù)。下一步,F(xiàn)iT金融產(chǎn)品業(yè)務(wù)將繼續(xù)切量至TDMQPulsar,預(yù)計(jì)2024年基本完成遷移。并且由于承載了微信支付、銀行等國(guó)民級(jí)支付產(chǎn)品,計(jì)劃在未來實(shí)現(xiàn)多個(gè)自建機(jī)房的條帶化部署,屆時(shí)TDMQPulsar也將屬地化部署(私有化部署),并作為其交易業(yè)務(wù)的核心鏈路。同時(shí),TDMQPulsar版將繼續(xù)打磨產(chǎn)品能力,服務(wù)好包含在內(nèi)的廣大用戶,近期我們將推出以下新功能:?接入外部監(jiān)控Prometheus:支持將專業(yè)集群的監(jiān)控?cái)?shù)據(jù),接入自建的Prometheus,利于用戶觀測(cè)的同時(shí),可以通過監(jiān)控?cái)?shù)據(jù)對(duì)業(yè)務(wù)?消息標(biāo)簽過濾支持更靈活的表達(dá)式:提供更加靈活的消息標(biāo)簽過濾表達(dá)式配置,簡(jiǎn)化業(yè)務(wù)側(cè)的架構(gòu)設(shè)計(jì)和數(shù)據(jù)鏈路。?更加豐富的應(yīng)用觀測(cè)指標(biāo):提供更多更豐富的集群性能觀測(cè)指標(biāo),便于客戶及時(shí)排除業(yè)務(wù)鏈路風(fēng)險(xiǎn),準(zhǔn)確定位異常位置。252024騰訊云云原生提質(zhì)增效實(shí)踐精選集騰訊云分布式消息隊(duì)列一站式搭建數(shù)據(jù)
流轉(zhuǎn)鏈路,助力長(zhǎng)城車聯(lián)網(wǎng)平臺(tái)降低運(yùn)維成本>企業(yè)簡(jiǎn)介長(zhǎng)城汽車是一家全球化智能科技公司,業(yè)務(wù)包括汽車及零部件設(shè)計(jì)、研發(fā)、生產(chǎn)、銷售和服務(wù),旗下?lián)碛泄?、魏牌、歐拉、7年銷量超100綠色出行服務(wù),加速向全球化智能科技公司進(jìn)階,智能化車型滲透率達(dá)86.17%,車聯(lián)網(wǎng)作為智能化兩大應(yīng)用方向之一,在這個(gè)過程中快速發(fā)展。長(zhǎng)城車聯(lián)網(wǎng)平臺(tái)涵蓋車內(nèi)總線數(shù)據(jù)上報(bào)、遠(yuǎn)程、車機(jī)配置下發(fā)、推送文件、推送消息、運(yùn)營(yíng)關(guān)懷等全新車聯(lián)網(wǎng)業(yè)務(wù),實(shí)現(xiàn)車機(jī)端和業(yè)務(wù)平臺(tái)解耦并高效完成業(yè)務(wù)對(duì)接整合。主要場(chǎng)景包括:?車端數(shù)據(jù)上報(bào)——電機(jī)、位置、發(fā)動(dòng)機(jī)、整車數(shù)據(jù)、電池,報(bào)警等,通過上報(bào)車聯(lián)網(wǎng)平臺(tái),針對(duì)上報(bào)數(shù)據(jù)進(jìn)行實(shí)時(shí)數(shù)據(jù)處理、計(jì)算、推理,以便提供車況查詢、告警等智能化服務(wù)。?遠(yuǎn)程控制——手機(jī)APP/智能設(shè)備集成車聯(lián)網(wǎng)平臺(tái)能力,實(shí)現(xiàn)遠(yuǎn)控、診斷。以下是車聯(lián)網(wǎng)平臺(tái)架構(gòu)圖(示意)。262024騰訊云云原生提質(zhì)增效實(shí)踐精選集>業(yè)務(wù)挑戰(zhàn)車聯(lián)網(wǎng)平臺(tái)目前已接入數(shù)百萬輛車,峰值在線達(dá)百萬輛。車端上報(bào)信號(hào)數(shù)據(jù)量大、上傳頻率高,數(shù)據(jù)呈爆炸式增長(zhǎng),海量數(shù)據(jù)實(shí)時(shí)處理與分析面臨嚴(yán)重挑戰(zhàn)。對(duì)系統(tǒng)提出以下要求:1)處理時(shí)效要求高查詢時(shí)效性、分析決策、監(jiān)控告警2)數(shù)據(jù)量大,穩(wěn)定分布式、平行擴(kuò)展、低耦合、高可用性、數(shù)據(jù)安全來去做消息的傳輸。但存在以下缺點(diǎn):?只是排隊(duì),而不是流處理?無法處理使用量激增(沒有緩沖)?大多數(shù)代理不支持高可伸縮性?異步處理(通常脫機(jī)很長(zhǎng)時(shí)間)?缺乏與企業(yè)其他部分的良好集成?單一基礎(chǔ)設(shè)施(通常位于邊緣)?不能對(duì)事件進(jìn)行再處理只有數(shù)據(jù)有可能來不及處理就被丟掉,同時(shí)也滿足不了海量數(shù)據(jù)實(shí)時(shí)處理與分析帶來的挑戰(zhàn)。>解決思路作為分布式消息隊(duì)列的Kafka,因多分區(qū)、零拷貝、批處理、順序讀寫等設(shè)計(jì)和特性能夠?qū)崿F(xiàn)高吞吐量的數(shù)據(jù)處理。同時(shí)作為一個(gè)事件流平臺(tái),它結(jié)合消息傳遞、存儲(chǔ)和數(shù)據(jù)處理來構(gòu)建高度可伸縮、可靠、安全和實(shí)時(shí)的基礎(chǔ)設(shè)施。從車聯(lián)網(wǎng)的角度來看具有以下優(yōu)點(diǎn):272024騰訊云云原生提質(zhì)增效實(shí)踐精選集?流處理,不僅僅是排隊(duì)?高吞吐量?大規(guī)模的?高可用性?長(zhǎng)期存儲(chǔ)和緩沖?再處理的事件?與企業(yè)的其他部分良好集成和的結(jié)合是構(gòu)建可伸縮、可靠和安全的車聯(lián)網(wǎng)基礎(chǔ)設(shè)施的天成之選,因此長(zhǎng)城車聯(lián)網(wǎng)平臺(tái)選擇作為數(shù)據(jù)處理核心組件。的集群后對(duì)接集群,先通過從設(shè)備采集數(shù)據(jù),采集后再轉(zhuǎn)儲(chǔ)到Kafka,供后續(xù)引擎分析處理。即使處理的速度沒有采集的速度快,數(shù)據(jù)也不會(huì)丟失,因?yàn)橐艳D(zhuǎn)儲(chǔ)到Kafka。長(zhǎng)城正是用這種方式實(shí)現(xiàn)了車聯(lián)網(wǎng)設(shè)備狀態(tài)的持續(xù)監(jiān)控和分析。但自建帶來日益加重的研發(fā)和運(yùn)維成本:首先,解決問題的研發(fā)運(yùn)維人員需要具備扎實(shí)的計(jì)算機(jī)功底(熟悉計(jì)算機(jī)網(wǎng)絡(luò)、IO等),需對(duì)的底層原理、各種配置參數(shù)項(xiàng)等具有深刻理解,可以進(jìn)行集群參數(shù)調(diào)優(yōu),快速處理突發(fā)故障、恢復(fù)集群抖動(dòng)和動(dòng)態(tài)進(jìn)行集群擴(kuò)縮容等。最后,自建消息隊(duì)列在擴(kuò)展性、可維護(hù)性能方面存在不足,當(dāng)業(yè)務(wù)的消息數(shù)據(jù)量到達(dá)一定程度后,自建的消息隊(duì)列集群就會(huì)引發(fā)各種各樣的問題,問題的解決又帶來很大的挑戰(zhàn)。舉幾個(gè)簡(jiǎn)單例子:?集群發(fā)生異常時(shí),因?yàn)楸O(jiān)控指標(biāo)不全,日志輸出不合理等原因,排查定位問題困難,只能靠暫停業(yè)務(wù)、重啟集群解決問題,對(duì)業(yè)務(wù)影響較大。?的集群擴(kuò)容復(fù)雜度高,在業(yè)務(wù)高峰進(jìn)行遷移的時(shí)候,出現(xiàn)分區(qū)遷移卡死。?自建集群的ZK運(yùn)維難度大,ZK負(fù)載高,導(dǎo)致ZK頻繁斷連。282024騰訊云云原生提質(zhì)增效實(shí)踐精選集與騰訊云技術(shù)團(tuán)隊(duì)溝通,CKafka(Cloud擴(kuò)展性、業(yè)務(wù)安全保障、運(yùn)維等方面具有很強(qiáng)優(yōu)勢(shì),可以在享受低成本、高性能、豐富功能的同時(shí),免除繁瑣運(yùn)維工作。車聯(lián)網(wǎng)平臺(tái)利用高性能、高吞吐、可拓展的分布式消息隊(duì)列引擎CKafka,實(shí)現(xiàn)業(yè)務(wù)解耦、削峰填谷、數(shù)據(jù)的異步處理,達(dá)到業(yè)務(wù)的高可靠性。數(shù)據(jù)上報(bào)場(chǎng)景車輛產(chǎn)生的實(shí)時(shí)數(shù)據(jù)(如GPS位置、速度、油耗等)通過進(jìn)行收集、傳輸、分發(fā),實(shí)現(xiàn)一份數(shù)據(jù)多個(gè)流向滿足多個(gè)場(chǎng)景需求。實(shí)時(shí)計(jì)算部分通過Flink提供的連接器,流數(shù)據(jù)經(jīng)過Flink算子進(jìn)行處理落入高性能列式數(shù)據(jù)庫Clickhouse,用于實(shí)時(shí)更新數(shù)據(jù)的分析。該流程可提供一次精確的處理語義,同時(shí)多分區(qū)提供更高的吞吐量,減少數(shù)據(jù)傾斜和熱點(diǎn)。車輛故障、異常行為等車輛的狀態(tài)數(shù)據(jù),通過實(shí)時(shí)分析可以快速發(fā)現(xiàn)并處理車輛的問題。離線分析部分通過Flume等日志收集系統(tǒng),可將中海量日志數(shù)據(jù)進(jìn)行高效收集、聚合、移動(dòng),最后存儲(chǔ)到HDFS或者Hbase。結(jié)構(gòu)以及采用Append追加數(shù)據(jù),292024騰訊云云原生提質(zhì)增效實(shí)踐精選集使具有優(yōu)秀的吞吐能力;同時(shí)其擁有Replication結(jié)構(gòu),使具有很高的容錯(cuò)性。車輛數(shù)據(jù)經(jīng)過離線分析和挖掘,分析結(jié)果可以用于優(yōu)化車輛性能、提高駕駛安全、降低能耗等。指令下發(fā)場(chǎng)景在指令下發(fā)場(chǎng)景中,CKafka承接遠(yuǎn)程指令和響應(yīng)結(jié)果,為上下游多個(gè)系統(tǒng)提供異步接耦、削峰填谷的能力,同時(shí)消息持久化及可回溯的產(chǎn)品特性能保障指令狀態(tài)的最終一致性。>落地效果及未來展望與自建有完善的監(jiān)控告警系統(tǒng)和運(yùn)維工單系統(tǒng),CKafka研發(fā)專家隨時(shí)答疑解惑,迅速解決客戶問題,省心省力。當(dāng)集群的流量和磁盤容量超過告警閾值,后端會(huì)及時(shí)擴(kuò)容設(shè)備,對(duì)客戶端無感知。解決開源長(zhǎng)期以來遷移數(shù)據(jù)的痛點(diǎn),配置升級(jí)無感知,輕松應(yīng)對(duì)業(yè)務(wù)高峰。支持同地域自定義多可用區(qū)部署,跨地域?yàn)?zāi)備,提升業(yè)務(wù)容災(zāi)能力。302024騰訊云云原生提質(zhì)增效實(shí)踐精選集針對(duì)降低存儲(chǔ)成本、快速應(yīng)對(duì)突發(fā)流量峰值的兩個(gè)核心訴求,CKafka將演進(jìn)按量存儲(chǔ)形態(tài),并推出彈性帶寬能力。按量存儲(chǔ)按照實(shí)際使用存儲(chǔ)空間彈性計(jì)費(fèi),無需考慮預(yù)留存儲(chǔ)空間,更加靈活易運(yùn)維,且成本更低。彈性帶寬在既定帶寬規(guī)格上,提供一定范圍的上浮空間(即彈性能力)。若遇到突發(fā)的流量毛刺,集群不會(huì)觸發(fā)限流,而是在規(guī)定范圍內(nèi)彈性擴(kuò)縮容,超出原有帶寬部分的流量按量計(jì)費(fèi)。通過合理的架構(gòu)設(shè)計(jì)和靈活的產(chǎn)品能力,CKafka幫助用戶在云上以更低成本托管高吞吐、高可用、易用免運(yùn)維的消息隊(duì)列服務(wù),一站式搭建數(shù)據(jù)流轉(zhuǎn)鏈路。未來也期待與更多出行行業(yè)客戶展開深度合作,分享更多云上最佳實(shí)踐。312024騰訊云云原生提質(zhì)增效實(shí)踐精選集業(yè)務(wù)高速增長(zhǎng),如祺出行如何用騰訊云消息
隊(duì)列應(yīng)對(duì)挑戰(zhàn)>企業(yè)簡(jiǎn)介如祺出行是廣汽集團(tuán)旗下智慧出行平臺(tái),致力于搭建全方位、立體化的出行科技解決方案與服務(wù)體系,提供出行服務(wù)(主要為網(wǎng)約車及服務(wù))、技術(shù)服務(wù)(主要是人工智能數(shù)據(jù)及模型解決方案以及高精地圖)和生態(tài)服務(wù)(主要為司機(jī)及加盟商提供全套支持)。如祺出行上線四年時(shí)間,用戶規(guī)模和訂單量保持高速增長(zhǎng)。在過去的2022年,如祺出行平臺(tái)累計(jì)注冊(cè)用戶突破1800萬,同比增長(zhǎng)64%,年度訂單總量超7000萬,同比增長(zhǎng)52%。>業(yè)務(wù)挑戰(zhàn)高速增長(zhǎng)的用戶規(guī)模和訂單量,對(duì)技術(shù)平臺(tái)提出更高要求。隨著??燔嚇I(yè)務(wù)的快速增長(zhǎng),越來越多業(yè)務(wù)需求與業(yè)務(wù)主流程耦合,導(dǎo)致調(diào)用鏈過長(zhǎng),接口延遲增加了數(shù)倍,整體架構(gòu)無論是性能還是擴(kuò)展性,都存在很大的風(fēng)險(xiǎn),遇到節(jié)假日高峰,隨時(shí)都有崩潰的風(fēng)險(xiǎn)。>解決思路為了提升架構(gòu)的穩(wěn)定性,保障用戶體驗(yàn),如祺出行于2021年啟動(dòng)架構(gòu)升級(jí)。其中,引入消息隊(duì)列做異步化是整個(gè)分布式架構(gòu)設(shè)計(jì)的核心手段之一。消息隊(duì)列是一種異步通信機(jī)制,可以將消息從發(fā)送方發(fā)送到接收方,而不需要立即處理。這種機(jī)制可以帶來以下好處:?異步化處理:消息隊(duì)列可以將不同組件或服務(wù)之間的通信異步化,使得用戶下單速度更快,體驗(yàn)更好,提高系統(tǒng)的響應(yīng)速度和吞吐量。?冗余處理:消息隊(duì)列可以將消息復(fù)制到多個(gè)副本中,確保即使某個(gè)節(jié)點(diǎn)出現(xiàn)故障,消息也不會(huì)丟失。322024騰訊云云原生提質(zhì)增效實(shí)踐精選集?解耦合:消息隊(duì)列可以將不同組件或業(yè)務(wù)之間的通信解耦合,每個(gè)業(yè)務(wù)只需要關(guān)注自己訂閱的消息,從而將下單主流程跟其它業(yè)務(wù)流程解耦,保障了主流程的穩(wěn)定和提升了運(yùn)維的可觀測(cè)性。?流量控制:消息隊(duì)列可以對(duì)消息進(jìn)行緩沖和限流,防止消息發(fā)送方發(fā)送過多的請(qǐng)求導(dǎo)致接收方處理不過來,從而提高系統(tǒng)的穩(wěn)定性。>消息隊(duì)列選型2019CMQ高吞吐量、海量存儲(chǔ)和高并發(fā)能力等特點(diǎn),可以幫助用戶在分布式系統(tǒng)中進(jìn)行異步通信,提高應(yīng)用程序的可用性和可擴(kuò)展性,但由于CMQ協(xié)議和功能簡(jiǎn)單,不支持事務(wù)消息,順序消息和大規(guī)模延遲消息等局限性,研發(fā)團(tuán)隊(duì)決定采用作為升級(jí)方案,滿足日益復(fù)雜的訂單業(yè)務(wù)場(chǎng)景。介紹Apache是一個(gè)開源的分布式消息中間件,因其架構(gòu)簡(jiǎn)單、業(yè)務(wù)功能豐富、具備極強(qiáng)可擴(kuò)展性等特點(diǎn)被眾多企業(yè)開發(fā)者以及云廠商采用,它具有高性能、高可用性、高可靠性和易于使用等優(yōu)勢(shì),尤其在互聯(lián)網(wǎng)、大數(shù)據(jù)、企業(yè)應(yīng)用、金融交易等在線業(yè)務(wù)場(chǎng)景成為開發(fā)者首選的消息隊(duì)列產(chǎn)品??梢詭椭鷺I(yè)務(wù)實(shí)現(xiàn)異步通信、流量削峰、數(shù)據(jù)同步和日志處理等應(yīng)用場(chǎng)景,還提供了豐富的高級(jí)特性,比如事務(wù)消息、定時(shí)消息、重試消息和死信消息等特色功能,騰訊云針對(duì)做了大量的優(yōu)化增強(qiáng),在完全兼容社區(qū)版的基礎(chǔ)上,提供了秒級(jí)定時(shí)消息、命名空間,消息軌跡和豐富的監(jiān)控告警指標(biāo)等企業(yè)級(jí)特性,可以很好地滿足如祺訂單系統(tǒng)等各種復(fù)雜的消息處理需求。如祺打車業(yè)務(wù)流程介紹332024騰訊云云原生提質(zhì)增效實(shí)踐精選集在整個(gè)下單流程中,從預(yù)估到下單,再從派單到開始服務(wù),最后到費(fèi)用結(jié)算,一共要經(jīng)過20+流程環(huán)節(jié),其中計(jì)費(fèi)訂單系統(tǒng)是所有系統(tǒng)的核心,從用戶輸入上下車地點(diǎn),背后的業(yè)務(wù)系統(tǒng)就開始工作,比如營(yíng)銷系統(tǒng)查詢用戶折扣和優(yōu)惠、地圖系統(tǒng)開始做路徑規(guī)劃、安全監(jiān)控系統(tǒng)做分控計(jì)算、預(yù)派單系統(tǒng)提前做派單分析等,業(yè)務(wù)系統(tǒng)需要完成大量的計(jì)算任務(wù),對(duì)數(shù)據(jù)的實(shí)時(shí)性、準(zhǔn)確性和一致性要求非常高,并且涉及大量的系統(tǒng)交互,這對(duì)整個(gè)系統(tǒng)的穩(wěn)定性要求提出很大的挑戰(zhàn)。通過做異步化改造在沒有通過處理之前,各個(gè)系統(tǒng)之間的耦合度非常高,系統(tǒng)穩(wěn)定性風(fēng)險(xiǎn)高,引入完成了下單異步化改造,大量任務(wù)異步通信處理,大大提升了訂單業(yè)務(wù)系統(tǒng)的可擴(kuò)展性和可靠性,其主要體現(xiàn)在以下幾個(gè)方面:1)下單速度3-5(在運(yùn)力充足的前提下,大約就能完成接單流程)。2)業(yè)務(wù)的擴(kuò)展性風(fēng)控、安全、營(yíng)銷、派單有非常多復(fù)雜的業(yè)務(wù)邏輯,例如發(fā)券、動(dòng)態(tài)折扣等,如果沒有用消息隊(duì)列做消息共享,就需要做342024騰訊云云原生提質(zhì)增效實(shí)踐精選集N*N的遠(yuǎn)程調(diào)用,增加了系統(tǒng)復(fù)雜度,現(xiàn)在只需要增加一個(gè)下游訂閱,就可以擴(kuò)展新業(yè)務(wù)邏輯。3)業(yè)務(wù)可靠性由于業(yè)務(wù)的鏈條很長(zhǎng),因此需要做好各個(gè)環(huán)節(jié)的兜底處理,下單異步化后,可以做到關(guān)注點(diǎn)分離,下單主流程不會(huì)因?yàn)槟硞€(gè):就可以直接使用,保證了系統(tǒng)的可靠。>在訂單系統(tǒng)的應(yīng)用定時(shí)消息場(chǎng)景定時(shí)消息是指消息發(fā)送方將消息發(fā)送到時(shí),消息不是立即可以被下游訂閱者消費(fèi),而是指定消息在將來一段時(shí)間才可以被消費(fèi)。開源社區(qū)版(4.x版本)沒有支持秒級(jí)精度的定時(shí)消息方案,只能指定幾個(gè)固定的延遲級(jí)別,騰訊云在社區(qū)版的基礎(chǔ)上,通過基于時(shí)間輪的調(diào)度引擎,先將定時(shí)消息暫存在內(nèi)部定時(shí)消息隊(duì)列,再通過調(diào)度引擎按指定的定時(shí)時(shí)間,將消息調(diào)度到普通消息隊(duì)列,下游消費(fèi)方才可以正常消費(fèi)消息,默認(rèn)最長(zhǎng)可以支持40天的定時(shí)范圍(如果購買了專業(yè)版的客戶,可以通過工單申請(qǐng)更長(zhǎng)的定時(shí)范圍)。在打車業(yè)務(wù)中,有大量的定時(shí)消息場(chǎng)景,比如訂單完成超過一定時(shí)間后其狀態(tài)自動(dòng)流轉(zhuǎn),訂單超過一定時(shí)間未接單自動(dòng)提醒等業(yè)務(wù)場(chǎng)景,在未接入之前,要依賴輪詢數(shù)據(jù)庫來實(shí)現(xiàn),對(duì)數(shù)據(jù)庫壓力非常大,接入后,不僅大大緩解了數(shù)據(jù)庫壓力,系統(tǒng)的依賴關(guān)系也大量簡(jiǎn)化。352024騰訊云云原生提質(zhì)增效實(shí)踐精選集事務(wù)消息場(chǎng)景事務(wù)消息是Apache提供的一種高級(jí)消息類型,支持在分布式場(chǎng)景下保障消息生產(chǎn)和本地事務(wù)的最終一致性,尤其是在對(duì)數(shù)據(jù)一致性要求高的交易場(chǎng)景有廣泛的應(yīng)用,主要核心過程如下。生產(chǎn)者發(fā)送消息到中。2.服務(wù)端收到消息后將消息存儲(chǔ)到半消息中。3.當(dāng)本地事務(wù)執(zhí)行完成。4.生產(chǎn)者主動(dòng)將事務(wù)執(zhí)行結(jié)果發(fā)送到中。5.若本地事務(wù)執(zhí)行結(jié)果超過一定期限還沒反饋,RocketMQ將執(zhí)行回查邏輯。6.生產(chǎn)者收到消息回查后,需要檢查對(duì)應(yīng)消息的本地事務(wù)執(zhí)行的最終結(jié)果,并反饋事務(wù)狀態(tài),有以下三種情況:?提交事務(wù),消費(fèi)者可以消費(fèi)到該消息。?回滾事務(wù),消息被丟棄,消費(fèi)者不會(huì)消費(fèi)到該消息。?無法判斷狀態(tài),等待再次發(fā)送回查。7當(dāng)事務(wù)執(zhí)行成功,RocketMQ將事務(wù)消息提交到打車業(yè)務(wù)中,有多個(gè)業(yè)務(wù)系統(tǒng)涉及交易數(shù)據(jù)的一致性,通過事務(wù)消息和本地?cái)?shù)據(jù)庫事務(wù)結(jié)合,確保了系統(tǒng)之間數(shù)據(jù)的一致性,并且簡(jiǎn)化了業(yè)務(wù)開發(fā)的復(fù)雜度。順序消息場(chǎng)景順序消息可以保證同一分區(qū)順序的消息的消費(fèi)順序和發(fā)送順序一致,常用于訂單交易,金融,電商等業(yè)務(wù)場(chǎng)景,將同一用戶或訂單的不同消息按照時(shí)序進(jìn)行處理,避免處理消息亂序帶來的補(bǔ)償操作等復(fù)雜度。362024騰訊云云原生提質(zhì)增效實(shí)踐精選集在如祺訂單系統(tǒng)中,上游將訂單ID作為ShardKey,同一個(gè)訂單的系統(tǒng)都會(huì)被發(fā)送到同一個(gè)分區(qū)中,下游系統(tǒng)訂閱消息時(shí),>落地效果及未來展望當(dāng)前已經(jīng)完全兼容社區(qū)版本4.x系列版本,并且已經(jīng)支持虛擬集群和專享集群等產(chǎn)品形態(tài),滿足用戶的不同使用場(chǎng)景。2022年9社區(qū)已經(jīng)發(fā)布了5.x5.x引入了全新的彈性無狀態(tài)代理模式,基于gRPC協(xié)議提供了新的更簡(jiǎn)潔易用的SDK,并將當(dāng)前的職責(zé)進(jìn)行拆分,對(duì)于客戶端協(xié)議適配、權(quán)限管理、消費(fèi)管理等計(jì)算邏輯進(jìn)行抽離,獨(dú)立無狀態(tài)的代理角色提供服務(wù),Broker則繼續(xù)專注于存儲(chǔ)能力的持續(xù)優(yōu)化。2023年6月,騰訊云基于社區(qū)5.x版本推出新的Serverless產(chǎn)品形態(tài),在以下幾個(gè)方面持續(xù)發(fā)力:?彈性計(jì)算和分層存儲(chǔ)帶來更低的使用成本。?新的SDK帶來更好的開發(fā)體驗(yàn)和多語言生態(tài)支持。?大數(shù)據(jù)生態(tài)更好的對(duì)接,更好的支持實(shí)時(shí)和流計(jì)算的體驗(yàn)。未來期待能夠充分利用云原生帶來的資源利用率的紅利,以更低的成本,為客戶帶來全新的產(chǎn)品體驗(yàn)。3703云開發(fā)2024騰訊云云原生提質(zhì)增效實(shí)踐精選集5天完成一個(gè)百萬級(jí)營(yíng)銷活動(dòng)?沃爾瑪、瑞
幸咖啡、蒙牛都在用騰訊云開發(fā)!>企業(yè)簡(jiǎn)介票代碼2319.HK)。蒙牛專注于為中國(guó)和全球消費(fèi)者提供營(yíng)養(yǎng)、健康、美味的乳制品,形成了包括液態(tài)奶、冰淇淋、奶粉、奶酪等品類在內(nèi)的豐富產(chǎn)品矩陣。>業(yè)務(wù)挑戰(zhàn)天來運(yùn)動(dòng)」?fàn)I銷活動(dòng)中,開發(fā)團(tuán)隊(duì)只有短短2周的時(shí)間來完成從啟動(dòng)到上線的全過程,首先快速整合釘釘用戶體系,此外還要對(duì)三方小程序進(jìn)行快速改造,由于活動(dòng)規(guī)劃了高達(dá)數(shù)百萬的獎(jiǎng)金池和10萬QPS的并發(fā)訪問量,安全上還要防范黑產(chǎn)和黃牛的侵?jǐn)_。>解決思路上線后,技術(shù)團(tuán)隊(duì)順利成功應(yīng)對(duì)此次緊迫挑戰(zhàn),在回顧開發(fā)過程,技術(shù)團(tuán)隊(duì)認(rèn)為他們做對(duì)了以下四件關(guān)鍵事項(xiàng)的選擇:導(dǎo)入外部身份源用戶,加速用戶體系對(duì)接本次活動(dòng)是蒙牛集團(tuán)的內(nèi)部員工活動(dòng),需要對(duì)接企業(yè)內(nèi)部使用的釘釘用戶數(shù)據(jù)。借助云開發(fā)平臺(tái)導(dǎo)入外部標(biāo)準(zhǔn)身份源能力,開發(fā)者無需自行編寫復(fù)雜的鑒權(quán)代碼,更先進(jìn)的安全標(biāo)準(zhǔn)協(xié)議也確保了用戶數(shù)據(jù)的安全性。在支持多端同步和社交賬號(hào)登錄基礎(chǔ)上,提升了用戶體驗(yàn),同時(shí)降低了應(yīng)用的維護(hù)成本。392024騰訊云云原生提質(zhì)增效實(shí)踐精選集靈活選用云模板,加速前端開發(fā)效率云開發(fā)的云模板功能提供了快速啟動(dòng)的基礎(chǔ),讓開發(fā)者能夠迅速部署各種模板示例項(xiàng)目,而無需從零開始。支持根據(jù)特定品牌風(fēng)格進(jìn)行個(gè)性化定制。技術(shù)門檻和開發(fā)成本被大幅降低,一名前端開發(fā)+非專業(yè)開發(fā)者制作出抽獎(jiǎng)、排行榜頁面。402024騰訊云云原生提質(zhì)增效實(shí)踐精選集借助云數(shù)據(jù)庫實(shí)時(shí)推送能力,快速實(shí)現(xiàn)互動(dòng)玩法活動(dòng)過程中,需要支持直播和彈幕等各類創(chuàng)新互動(dòng)玩法,云開發(fā)實(shí)時(shí)推送產(chǎn)品能力,幫助技術(shù)團(tuán)隊(duì)大大簡(jiǎn)化了開發(fā)流程,在確保狀態(tài)變更和數(shù)據(jù)管理的即時(shí)性與準(zhǔn)確性同時(shí),讓開發(fā)過程更加高效。借助云開發(fā)網(wǎng)關(guān)的優(yōu)勢(shì),應(yīng)對(duì)高并發(fā),防黑產(chǎn)借助云開發(fā)網(wǎng)關(guān)強(qiáng)大的安全防護(hù)能力,實(shí)時(shí)安全監(jiān)控。自動(dòng)化防御機(jī)制,數(shù)據(jù)加密和安全存儲(chǔ),有效防止黑產(chǎn)和黃牛的侵?jǐn)_,同時(shí)支持超高并發(fā),能夠快速響應(yīng)10萬+的并發(fā)實(shí)例,確?;顒?dòng)在瞬時(shí)超高流量涌入時(shí)的系統(tǒng)穩(wěn)定性,安全省心,數(shù)據(jù)安全無憂。412024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果萬QPS的并發(fā)訪問也未造成系統(tǒng)卡頓,獎(jiǎng)金發(fā)放準(zhǔn)確,吸引大量全國(guó)用戶參與。從業(yè)務(wù)上看,活動(dòng)提升了蒙牛品牌知名度與用戶好感,通過數(shù)據(jù)分析為后續(xù)業(yè)務(wù)提供依據(jù)。技術(shù)團(tuán)隊(duì)?wèi)?yīng)對(duì)復(fù)雜挑戰(zhàn)更加從容,積累經(jīng)驗(yàn)、提升能力,為創(chuàng)新業(yè)務(wù)筑牢技術(shù)根基,助力蒙牛在乳業(yè)競(jìng)爭(zhēng)中憑技術(shù)創(chuàng)新占得先機(jī),加速數(shù)字化轉(zhuǎn)型。云開發(fā)ALLINONE一站式解決方案,在新零售營(yíng)銷領(lǐng)域顯著提升了開發(fā)效能和運(yùn)營(yíng)效率。不僅幫助技術(shù)團(tuán)隊(duì)快速響應(yīng)市場(chǎng)變化,還保障了用戶體驗(yàn)的流暢性和安全性。通過云開發(fā),開發(fā)人員也能夠?qū)W⒂趧?chuàng)新和優(yōu)化用戶體驗(yàn),同時(shí)確保應(yīng)用的穩(wěn)定性和擴(kuò)展性,為業(yè)務(wù)的快速發(fā)展提供強(qiáng)有力的技術(shù)支撐。4204低代碼2024騰訊云云原生提質(zhì)增效實(shí)踐精選集揭秘智慧浦東機(jī)場(chǎng)的低代碼創(chuàng)新建設(shè)與
落地經(jīng)驗(yàn)>企業(yè)簡(jiǎn)介上海浦東國(guó)際機(jī)場(chǎng)公司成立于1995年06月20日,經(jīng)營(yíng)范圍包括機(jī)場(chǎng)建設(shè)、施工、運(yùn)營(yíng)管理和航空運(yùn)輸有關(guān)的場(chǎng)面服務(wù),與機(jī)場(chǎng)建設(shè)相關(guān)的房地產(chǎn)開發(fā)經(jīng)營(yíng)業(yè)務(wù),航空運(yùn)輸業(yè)務(wù)代理、碼頭、倉儲(chǔ)、物資轉(zhuǎn)銷,提供航空運(yùn)輸有關(guān)的技術(shù)合作、咨詢、服務(wù)。>業(yè)務(wù)挑戰(zhàn)上海浦東國(guó)際機(jī)場(chǎng)公司,作為國(guó)際航空樞紐,日常的信息化建設(shè)任務(wù)繁重,涉及業(yè)務(wù)范圍廣,包含設(shè)備運(yùn)行管理、業(yè)務(wù)保障、人力外包等上百個(gè)業(yè)務(wù)合同項(xiàng)目。在缺少有效軟件系統(tǒng)監(jiān)管的情況下,機(jī)場(chǎng)的四級(jí)監(jiān)管體系大多依靠手工方式進(jìn)行管理,效率低且容易出錯(cuò),并且機(jī)場(chǎng)日常生產(chǎn)作業(yè)的數(shù)字化需求與有限的信息化資源供給之間存在突出矛盾。機(jī)場(chǎng)已經(jīng)處于非建設(shè)期,業(yè)務(wù)部門不會(huì)專門招聘技術(shù)開發(fā)團(tuán)隊(duì)開發(fā)和維護(hù)應(yīng)用,但是機(jī)場(chǎng)業(yè)務(wù)繁雜,部門差異大,核算下來改造設(shè)計(jì)的表單應(yīng)用的數(shù)千個(gè),外包時(shí)間長(zhǎng),成本不低。然后,技術(shù)局限,通用SaaS軟件和零代碼平臺(tái)無法支持機(jī)場(chǎng)特有的個(gè)性化應(yīng)用開發(fā),如路線導(dǎo)航、飛機(jī)零件倉儲(chǔ)等,無法解決部門間的開發(fā)數(shù)據(jù)隔離問題。浦東機(jī)場(chǎng)高層經(jīng)過討論整理后,內(nèi)部發(fā)布《上海機(jī)場(chǎng)集團(tuán)有限公司關(guān)于開展降本增效專項(xiàng)工作的實(shí)施意見》,其中提到『避免多頭開發(fā)重復(fù)建設(shè),防止相關(guān)系統(tǒng)無法互聯(lián)互通』,面對(duì)著機(jī)場(chǎng)內(nèi)部30+部門的復(fù)雜業(yè)務(wù)流程,業(yè)務(wù)部門希望能夠建設(shè)統(tǒng)一的臺(tái)賬平臺(tái),如何找到一條路徑,能夠快速實(shí)施,快速部署業(yè)務(wù)應(yīng)用,多種不同業(yè)務(wù)共享同一個(gè)平臺(tái)能力,成為了浦東機(jī)場(chǎng)數(shù)字化轉(zhuǎn)型新的探索路線。>解決思路利用微搭平臺(tái),浦東機(jī)場(chǎng)聯(lián)合合作伙伴開啟了創(chuàng)新迭代,合作伙伴開發(fā)人力2名,集團(tuán)內(nèi)30+個(gè)部門,每個(gè)業(yè)務(wù)部門抽調(diào)1~240442024騰訊云云原生提質(zhì)增效實(shí)踐精選集業(yè)務(wù)填充內(nèi)容”的新生產(chǎn)模式,將專業(yè)的技術(shù)標(biāo)準(zhǔn)和業(yè)務(wù)對(duì)接工作交給合作伙伴進(jìn)行規(guī)劃搭建,構(gòu)建下層統(tǒng)一管理平臺(tái)。業(yè)這些應(yīng)用的上線過程中,浦東機(jī)場(chǎng)公司科技環(huán)保部作為主導(dǎo)部門,采取了以下步驟:與業(yè)務(wù)部門合作,明確應(yīng)用的功能需求和業(yè)務(wù)流程。2.使用微搭的可視化設(shè)計(jì)工具,快速構(gòu)建應(yīng)用原型。3.將新應(yīng)用與機(jī)場(chǎng)現(xiàn)有的IT系統(tǒng)進(jìn)行數(shù)據(jù)對(duì)接,確保數(shù)據(jù)的一致性和準(zhǔn)確性。4.在業(yè)務(wù)部門中進(jìn)行用戶測(cè)試,收集反饋并優(yōu)化應(yīng)用。5.在測(cè)試通過后,將應(yīng)用部署到生產(chǎn)環(huán)境,正式投入使用。6.為業(yè)務(wù)部門提供必要的培訓(xùn)和技術(shù)支持,確保用戶能夠高效使用新應(yīng)用。在三個(gè)月時(shí)間內(nèi),成功構(gòu)建并上線了包含數(shù)百個(gè)電子臺(tái)賬類應(yīng)用,實(shí)現(xiàn)了數(shù)據(jù)電子化管理,一鍵生成臺(tái)賬,無需開發(fā)能力。其中比較典型的應(yīng)用有:進(jìn)銷存類應(yīng)用,支持機(jī)場(chǎng)內(nèi)部的物流和庫存管理,內(nèi)部導(dǎo)航小程序,提供機(jī)場(chǎng)內(nèi)部路線導(dǎo)航,支持飛機(jī)零件倉儲(chǔ)管理。門戶應(yīng)用,作為機(jī)場(chǎng)內(nèi)部信息的統(tǒng)一入口。452024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望這些應(yīng)用不僅實(shí)現(xiàn)了數(shù)據(jù)和應(yīng)用的線上化,還使得各部門能夠自主快速響應(yīng)需求變化,實(shí)現(xiàn)了業(yè)務(wù)的高效閉環(huán)管理。成本效益:相比傳統(tǒng)的外包開發(fā),使用微搭平臺(tái)節(jié)省了百萬級(jí)的成本投入。效率提升:通過低代碼工具,交付時(shí)間縮短了50%,實(shí)現(xiàn)了快速部署和迭代。自主可控:各部門可以自主實(shí)現(xiàn)數(shù)據(jù)和應(yīng)用的線上化,提高了對(duì)業(yè)務(wù)變化的響應(yīng)速度。隨著我們AI能力的上線,后續(xù)浦東機(jī)場(chǎng)的業(yè)務(wù)人員在構(gòu)建表單時(shí)可以依賴文字描述的方式快速生成電子臺(tái)賬應(yīng)用,進(jìn)一步提升開發(fā)效率。浦東機(jī)場(chǎng)公司計(jì)劃繼續(xù)使用微搭進(jìn)行應(yīng)用迭代,更加充分的使用微搭平臺(tái),預(yù)計(jì)到2025年使用構(gòu)建總應(yīng)用數(shù)超過千級(jí)大關(guān),實(shí)現(xiàn)業(yè)務(wù)和IT更加充分的融合,需求確認(rèn)和迭代實(shí)現(xiàn)更加快速敏捷的閉環(huán),進(jìn)一步推動(dòng)機(jī)場(chǎng)業(yè)務(wù)的數(shù)字化轉(zhuǎn)型,實(shí)現(xiàn)更高效的業(yè)務(wù)管理和服務(wù)創(chuàng)新。462024騰訊云云原生提質(zhì)增效實(shí)踐精選集實(shí)現(xiàn)銷售業(yè)績(jī)?cè)鲩L(zhǎng),他用騰訊云微搭低代碼
做了個(gè)樓盤SCRM小程序>企業(yè)簡(jiǎn)介六居地產(chǎn),一家無錫專業(yè)的房地產(chǎn)中介公司,主要提供二手房買賣交易信息、房屋出租等服務(wù),在房產(chǎn)銷售領(lǐng)域,團(tuán)隊(duì)成員一直還在傳統(tǒng)的微信筆記分享方式傳遞房產(chǎn)資料。>業(yè)務(wù)挑戰(zhàn)隨著房地產(chǎn)銷售業(yè)績(jī)下滑,六居地產(chǎn)銷售團(tuán)隊(duì)面臨著如何更有效地分發(fā)房產(chǎn)資源和持續(xù)運(yùn)營(yíng)客戶的挑戰(zhàn),急需能夠豐富資源展示并獲取客戶聯(lián)系方式的解決方案。>解決思路六居公司以業(yè)務(wù)為重,客戶體量大,找開發(fā)預(yù)算太高。從事銷售運(yùn)營(yíng)人員的朱同學(xué)看到重重困難后,并沒有輕言放棄,把目光聚焦在了低代碼和無代碼開發(fā)工具。自學(xué)了一點(diǎn)前端,也不太精通css和代碼,對(duì)小程序開發(fā)流程的不熟悉,朱同學(xué)之前使用簡(jiǎn)道云,氚云等產(chǎn)品制作h5的客戶需求問卷,但客戶留資轉(zhuǎn)化率只有10%~20%,而小程序的形態(tài)對(duì)于客戶端的轉(zhuǎn)發(fā)分享和信息留資有天然優(yōu)勢(shì),留資率保守統(tǒng)計(jì)可達(dá)到40%以上,而微搭是唯一能用低代碼方式開發(fā)原生小程序的工具,所以選擇了微搭。H5和的多端發(fā)布,更以其可視化搭建的簡(jiǎn)便性,讓非技術(shù)人員也能輕松上手。微搭的云原生一體化服務(wù),更確保了應(yīng)用的高性能和高可用性,為六居地產(chǎn)的數(shù)字化轉(zhuǎn)型提供了堅(jiān)實(shí)的技術(shù)支持。為公司銷售增長(zhǎng)發(fā)展帶來了新的活力。目前,六居的所有銷售團(tuán)隊(duì)和他們的人客戶都在使用這個(gè)小程序過程中,產(chǎn)生了更多連接互動(dòng)。通過展示最新的樓盤情況、472024騰訊云云原生提質(zhì)增效實(shí)踐精選集VR查看用戶的看房瀏覽記錄,并能夠發(fā)送消息提醒給到客戶。>落地效果及未來展望業(yè)務(wù)價(jià)值:資源展示:通過小程序豐富了房產(chǎn)資源的展示方式,提升了用戶體驗(yàn)??蛻袅舸妫韩@取客戶聯(lián)系方式,玩轉(zhuǎn)私域流量,為幾千看房用戶提供了更好的服務(wù)。開發(fā)效率:不到一個(gè)月,自學(xué)完成了小程序的開發(fā)迭代。未來展望:展望未來,朱同學(xué)計(jì)劃繼續(xù)使用微搭進(jìn)行應(yīng)用迭代,也打算豐富后臺(tái)管理系統(tǒng),以進(jìn)一步提升業(yè)務(wù)效率。同時(shí),銷售團(tuán)隊(duì)也對(duì)微搭的AI能力表示出了濃厚的興趣,六居地產(chǎn)小程序?qū)⒃谖磥磉M(jìn)一步智能化,實(shí)現(xiàn)更快的客戶響應(yīng)和更高效的服務(wù)。4805可觀測(cè)2024騰訊云云原生提質(zhì)增效實(shí)踐精選集騰訊云可觀測(cè)平臺(tái)如何為新能源車企
緩解焦慮>導(dǎo)語在新能源汽車行業(yè)的快速發(fā)展中,企業(yè)面臨著日益復(fù)雜的運(yùn)維挑戰(zhàn)??捎^測(cè)性技術(shù)的引入,不僅提供了更先進(jìn)的監(jiān)控工具,更成為現(xiàn)代互聯(lián)網(wǎng)軟件基礎(chǔ)設(shè)施的重要組成部分,幫助企業(yè)迅速識(shí)別潛在問題、優(yōu)化資源配置,并降低運(yùn)維成本和風(fēng)險(xiǎn)。云上業(yè)務(wù)在IT外呼平臺(tái)和線上簽約等。在這些業(yè)務(wù)中,大數(shù)據(jù)驅(qū)動(dòng),尤其是實(shí)時(shí)分析場(chǎng)景,是客戶使用騰訊云的核心——相關(guān)云產(chǎn)品的消耗量占總體的30%以上EMR大數(shù)據(jù)平臺(tái)(基于云原生和泛Hadoop生態(tài)構(gòu)建的彈性MapReduce),它承載著客戶的智能營(yíng)銷等關(guān)鍵業(yè)務(wù),幫助客戶從海量數(shù)據(jù)中提取有價(jià)值的洞察,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的實(shí)時(shí)決策。監(jiān)控體系為了提升對(duì)上述系統(tǒng)的可觀測(cè)性,客戶在本地?cái)?shù)據(jù)中心構(gòu)建了統(tǒng)一監(jiān)控平臺(tái),該平臺(tái)基于開源技術(shù)Prometheus和實(shí)現(xiàn)。針對(duì)關(guān)鍵業(yè)務(wù)的有效監(jiān)控,客戶還依托騰訊云的可觀測(cè)平臺(tái),采集EMR、TKE、CLB等云產(chǎn)品的監(jiān)控指標(biāo),并在云上配置相應(yīng)的告警策略。這些監(jiān)控指標(biāo)將通過騰訊云的Prometheus遠(yuǎn)程寫入客戶本地的Prometheus,從而支持客戶大盤的統(tǒng)一展示。>業(yè)務(wù)挑戰(zhàn)1)如何高效構(gòu)建大數(shù)據(jù)平臺(tái)的可觀測(cè)性??現(xiàn)在客戶接入騰訊云EMREMRHadoop具眾多、數(shù)據(jù)異構(gòu)、實(shí)時(shí)性要求高),導(dǎo)致構(gòu)建可觀測(cè)性的技術(shù)難度大、實(shí)踐案例稀缺、運(yùn)維成本高昂。?風(fēng)EMR?挑戰(zhàn):既要高效率、又要低成本,如何實(shí)現(xiàn)全面、實(shí)時(shí)的EMR可觀測(cè)性體系?502024騰訊云云原生提質(zhì)增效實(shí)踐精選集2)在新車直播發(fā)布、或雙十一大促這類流量高峰時(shí),如何保障對(duì)業(yè)務(wù)系統(tǒng)的有效監(jiān)控??現(xiàn)狀:車企的業(yè)務(wù)流量和數(shù)據(jù)處理存在明顯的波峰時(shí)段,例如新車發(fā)布或大促期間。在這種波動(dòng)性影響下,不僅業(yè)務(wù)系統(tǒng)要能彈性擴(kuò)縮容,可觀測(cè)系統(tǒng)作為業(yè)務(wù)系統(tǒng)的“千里眼”和“順風(fēng)耳”,自身也必須具備彈性擴(kuò)縮容的能力,以確保監(jiān)控和預(yù)警的實(shí)時(shí)性和有效性。?風(fēng)險(xiǎn):客戶自建的Prometheus是開源版本,但其最常被詬病的問題是單機(jī)存儲(chǔ)擴(kuò)展性差。當(dāng)海量并發(fā)到來,很可能監(jiān)控系統(tǒng)自身先被沖垮,則對(duì)業(yè)務(wù)系統(tǒng)的監(jiān)控和預(yù)警更是無從談起。?挑戰(zhàn):為了實(shí)現(xiàn)波峰擴(kuò)容(應(yīng)對(duì)洪峰)和波谷縮容(節(jié)約資源),在各種垂直/水平擴(kuò)縮和遠(yuǎn)端存儲(chǔ)等技術(shù)方案當(dāng)中,該如何決策和實(shí)施,才能應(yīng)對(duì)架構(gòu)復(fù)雜度增加、運(yùn)維成本陡增的問題?3)如何基于垂直領(lǐng)域知識(shí),合理配置監(jiān)控大盤和告警策略??現(xiàn)狀:術(shù)業(yè)有專攻、領(lǐng)域有壁壘。運(yùn)維人員若要橫跨多個(gè)業(yè)務(wù)領(lǐng)域、有效監(jiān)控不同對(duì)象,往往需先惡補(bǔ)相關(guān)背景知識(shí)。以EMR平臺(tái)為例,運(yùn)維人員在實(shí)施監(jiān)控前,首先需要梳理泛Hadoop生態(tài)20+個(gè)組件的關(guān)鍵指標(biāo)及其監(jiān)控意義;其次需要熟知Prometheus生態(tài)語言及各類面板的制作。?風(fēng)險(xiǎn):缺乏相關(guān)經(jīng)驗(yàn)可能導(dǎo)致可視化效果不佳、數(shù)據(jù)匯總不合理,或面板維護(hù)和擴(kuò)展困難。此外,告警指標(biāo)、閾值或聚合方式的設(shè)定不當(dāng),可能引發(fā)告警過多或漏報(bào)現(xiàn)象。?挑戰(zhàn):面對(duì)復(fù)雜業(yè)務(wù)的監(jiān)控場(chǎng)景,如何基于垂直領(lǐng)域知識(shí),方便、合理地配置監(jiān)控大盤和告警策略?>解決思路為了解決客戶的上述痛點(diǎn),騰訊云可觀測(cè)平臺(tái)結(jié)合了Prometheus開源生態(tài)、騰訊云基礎(chǔ)設(shè)施、和團(tuán)隊(duì)的自研創(chuàng)新能力,設(shè)計(jì)的解決方案概要如下:1)EMR監(jiān)控,一鍵集成。?目標(biāo):EMR?實(shí)現(xiàn):將Prometheus開源社區(qū)針對(duì)泛Hadoop生態(tài)的27個(gè)核心組件的exporter全部集成到騰訊云Prometheus;與其同時(shí),基于不同組件的特性,根據(jù)最佳實(shí)踐為其設(shè)計(jì)合適的采集模式,避免指標(biāo)漏采、同時(shí)保證秒級(jí)實(shí)時(shí)性。2)彈性擴(kuò)容,無懼洪峰。512024騰訊云云原生提質(zhì)增效實(shí)踐精選集?目標(biāo):客戶監(jiān)控能力平滑擴(kuò)展上云,在業(yè)務(wù)波峰到來、訪問量級(jí)飆升時(shí),借力騰訊云可觀測(cè)平臺(tái),保證客戶統(tǒng)一監(jiān)控平臺(tái)的可用性。?實(shí)現(xiàn):一方面,騰訊云Prometheus+100%兼容開源版本,為客戶保證監(jiān)控協(xié)議和監(jiān)控體驗(yàn)的一致性;另一方面,騰訊云可觀測(cè)平臺(tái)依托騰訊云底層海量算力及存儲(chǔ),并且借助云原生技術(shù)的容器化和彈性伸縮等能力,自研了分布式、集群化、存算分離的高可用架構(gòu),以輕松應(yīng)對(duì)流量波峰、合理適配流量波谷。3)專家知識(shí),預(yù)設(shè)提供。?目標(biāo):高效的監(jiān)控。?實(shí)現(xiàn):騰訊云Prometheus為所監(jiān)控對(duì)象提供了預(yù)設(shè)的大盤、和預(yù)設(shè)的告警策略,這些是基于各個(gè)垂直領(lǐng)域的專家知識(shí)和行業(yè)經(jīng)驗(yàn)沉淀而成,以預(yù)設(shè)模板、開箱即用的形式,內(nèi)置提供給客戶參考和使用。>方案詳述1)EMR監(jiān)控,一鍵集成在騰訊云Prometheus實(shí)現(xiàn)對(duì)EMR的一鍵監(jiān)控集成之前,若要滿足對(duì)云上EMR對(duì)實(shí)時(shí)監(jiān)控的需求,需由客戶自行實(shí)現(xiàn)對(duì)泛Hadoop生態(tài)的大數(shù)據(jù)組件的指標(biāo)采集和獲?。涸诿總€(gè)EMR節(jié)點(diǎn)上,手工部署agent、jmx-exporter等工具,再針對(duì)各個(gè)組件進(jìn)行繁瑣的采集配置,后續(xù)還要持續(xù)投入對(duì)這批組件的維護(hù)和更新。而如今,騰訊云Prometheus已經(jīng)實(shí)現(xiàn)了對(duì)EMR平臺(tái)的監(jiān)控集成,只需控制臺(tái)幾次點(diǎn)擊,即可免去上述所有運(yùn)維負(fù)擔(dān),直接開啟對(duì)EMR組件的監(jiān)控。針對(duì)同樣的EMR組件采集,兩種方案的運(yùn)維工作量對(duì)比如下:所需組件/配置自建Prometheus騰訊云Prometheusjmx-exporter客戶自行搭建和維護(hù)已內(nèi)置配置HDFS以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Zookeeper以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置HBase以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置以暴露指標(biāo)客戶自行配置和管理已內(nèi)置522024騰訊云云原生提質(zhì)增效實(shí)踐精選集所需組件/配置自建Prometheus騰訊云Prometheus配置Flink以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Ranger以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Oozie以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Spark以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Impala以暴露指標(biāo)客戶自行配置和管理已內(nèi)置添加Prometheus抓取任務(wù)客戶自行配置和管理自動(dòng)批量配置創(chuàng)建大盤客戶自行配置和管理內(nèi)置基于行業(yè)實(shí)踐和專家知識(shí)的
儀表盤創(chuàng)建告警策略客戶自行配置和管理內(nèi)置基于行業(yè)實(shí)踐和專家知識(shí)的
告警模板Prometheus彈性擴(kuò)縮容客戶自行選型和實(shí)現(xiàn)已內(nèi)置鑒權(quán)管理客戶自行選型和實(shí)現(xiàn)騰訊云鑒權(quán)體系在騰訊云Prometheus一鍵集成EMR監(jiān)控的背后,究竟托管了哪些監(jiān)控組件,隱藏了哪些運(yùn)維動(dòng)作?下面將詳解借助Prometheus社區(qū)提供的開源方案,自行構(gòu)建對(duì)EMR這類泛Hadoop大數(shù)據(jù)平臺(tái)的可觀測(cè)性——這也正是騰訊云Prometheus已替客戶“大包大攬”、從而節(jié)約客戶運(yùn)維精力的核心所在。大數(shù)據(jù)組件的開源監(jiān)控方案從下面EMR的架構(gòu)圖可以看出,一個(gè)EMR集群建立在底層基礎(chǔ)設(shè)施之上,包含了多種數(shù)據(jù)接入和計(jì)算引擎組件,可與多種數(shù)據(jù)源交互吞吐數(shù)據(jù),最終形成大數(shù)據(jù)驅(qū)動(dòng)的分析決策。532024騰訊云云原生提質(zhì)增效實(shí)踐精選集構(gòu)建EMR這類泛Hadoop大數(shù)據(jù)平臺(tái)的可觀測(cè)性,旨在了解構(gòu)成集群的全棧設(shè)施和組件的健康和性能狀況,手段是通過對(duì)下至基礎(chǔ)設(shè)施層、上至中間件和應(yīng)用程序?qū)拥目捎^測(cè)數(shù)據(jù)進(jìn)行收集、關(guān)聯(lián)、聚合和分析,以探知系統(tǒng)的運(yùn)行狀況和健康趨勢(shì)。542024騰訊云云原生提質(zhì)增效實(shí)踐精選集基于Prometheus+這組開源可觀測(cè)領(lǐng)域的“最強(qiáng)cp”、結(jié)合豐富的社區(qū)生態(tài)組件,則能很好地為泛Hadoop大數(shù)據(jù)平臺(tái)提供立體全面的可觀測(cè)性解決方案。通過Prometheus相關(guān)組件將待監(jiān)控的大數(shù)據(jù)組件的指標(biāo)采集并存儲(chǔ)后,用戶就可以通過等可視化工具,對(duì)Prometheus中的指標(biāo)數(shù)據(jù)進(jìn)行查詢和展示;用戶還可通過設(shè)置告警規(guī)則,適時(shí)發(fā)送告警消息,以及時(shí)響應(yīng)系統(tǒng)異常、減少故障恢復(fù)時(shí)間。指標(biāo)暴露由于泛Hadoop生態(tài)各層設(shè)施和組件與Prometheus實(shí)現(xiàn)對(duì)各層次組件的指標(biāo)采集。552024騰訊云云原生提質(zhì)增效實(shí)踐精選集原生支持對(duì)于底層算力基礎(chǔ)設(shè)施中的TKE來說,作為容器平臺(tái),它對(duì)Prometheus的支持力度是最高的,體現(xiàn)在其內(nèi)置的服務(wù)發(fā)現(xiàn)、直接暴露指標(biāo)的能力,以及與生態(tài)系統(tǒng)中其他組件(如kube-state-metrics和node-exporter)的良好集成。因此,使用TKE作為底層算力資源,用戶可以減少對(duì)額外exporter組件的依賴,大大簡(jiǎn)化了監(jiān)控的配置和管理過程。exporter方式exporter是Prometheus開源生態(tài)中一個(gè)非常強(qiáng)大的功能,它可用于將第三方系統(tǒng)中現(xiàn)有的指標(biāo)導(dǎo)出為Prometheus指標(biāo)。這在無法直接使用Prometheus指標(biāo)監(jiān)控特定系統(tǒng)的情況下,是非常有用的。例如:CVMexporter是一個(gè)用于收集和暴露CVM(CloudVirtualMachine,云虛擬機(jī))相關(guān)指標(biāo)的工具,它可以從云虛擬機(jī)中提取性能數(shù)據(jù)和狀態(tài)信息,并將這些數(shù)據(jù)轉(zhuǎn)換為Prometheus可以理解的格式,從而使用戶能夠監(jiān)控云虛擬機(jī)的運(yùn)行狀況和性能。562024騰訊云云原生提質(zhì)增效實(shí)踐精選集Prometheus官方以及Github上開源的exporter非常豐富,可參考:https://prometheus.io/docs/instrumenting/exporters/騰訊云可觀測(cè)也集成了諸多exporter,可供客戶一鍵開啟對(duì)各類組件和云服務(wù)的集成。仍以CVM為例,只需一鍵,即可集成,免去服務(wù)發(fā)現(xiàn)和安裝exporter的負(fù)擔(dān):agent+exporterManagementExtensions)是用來管理和監(jiān)控應(yīng)用程序和系統(tǒng)的一種標(biāo)準(zhǔn)方式,而Hadoop生態(tài)系統(tǒng)中的許多組件都支持通過JMX來采集指標(biāo),例如:HDFS:NameNode和都可通過JMX暴露其性能和狀態(tài)指標(biāo),如存儲(chǔ)使用情況、塊管理、請(qǐng)求處理等。2.ResourceManager和NodeManager也支持JMX3.作業(yè)的和可通過JMX應(yīng)用。此外,還有一些基于平臺(tái)的中間件,也支持通過JMX暴露監(jiān)控指標(biāo):支持JMX,提供有關(guān)主題、分區(qū)、消費(fèi)者和生產(chǎn)者的性能指標(biāo)。2.作為分布式協(xié)調(diào)服務(wù),支持JMX監(jiān)控其連接、會(huì)話、請(qǐng)求和節(jié)點(diǎn)狀態(tài)等指標(biāo)。572024騰訊云云原生提質(zhì)增效實(shí)踐精選集針對(duì)JMX,Prometheus開源社區(qū)提供了jmx-exporter,用于將JMX暴露的指標(biāo)轉(zhuǎn)換成可通過JMX監(jiān)控作業(yè)執(zhí)行情況、任務(wù)狀態(tài)和資源使用。在最佳實(shí)踐中,我們可將jmx-exporter以agent模式運(yùn)行在EMR的每個(gè)節(jié)點(diǎn),暴露HTTP服務(wù)器,以提供本地JVM的指標(biāo)。更多詳情可參考jmx-exporter文檔:直接暴露在Spark3.0之前,它也需通過上述agent暴露指標(biāo);但是Spark3.0之后,其節(jié)點(diǎn)能在現(xiàn)有端口以Prometheus格式暴露指標(biāo),而無需再像上述agent那樣,使用額外開放端口的代理方法。此外,業(yè)務(wù)應(yīng)用也能以類似的方式,自行定義指標(biāo)埋點(diǎn),并以Prometheus協(xié)議暴露出去。指標(biāo)獲取眾所周知,Promethes獲取指標(biāo),有推/拉兩種模式,其中又以拉模式最為常用:582024騰訊云云原生提質(zhì)增效實(shí)踐精選集在EMRPull模式來收集的,即PrometheusNameNode、DataNode、ResourceManager、NodeManager等)拉取指標(biāo)。然而,在某些特殊情況下,使用Push模式推送指標(biāo)是有必要的。例如:某些Flink作業(yè)的生命周期可能非常短、在下一次拉取指標(biāo)的間隔到來之前,任務(wù)就已經(jīng)完成。這種情況下,使用Push模式,作業(yè)就可以先將其指標(biāo)推送到組件,再由Prometheus從該組件拉取,以確保Prometheus能獲取到這些數(shù)據(jù)。2)彈性擴(kuò)容,無懼洪峰如下圖所示的高可用架構(gòu),是騰訊云Prometheus的一大核心優(yōu)勢(shì):實(shí)現(xiàn)方式是在騰訊云底層的海量算力和存儲(chǔ)能力之上,又基于TKE的容器化、彈性伸縮等云原生能力,自研落地了一套分布式、集群化、存算分離的技術(shù)架構(gòu),以及高可用、高效率的采集節(jié)點(diǎn)調(diào)度方案和存儲(chǔ)節(jié)點(diǎn)分片方案。可擴(kuò)展性優(yōu)化?采集和存儲(chǔ)集群化,解決開源Prometheus單機(jī)大實(shí)例無法擴(kuò)展的問題。?支持agent模式及自建Prometheus上報(bào)數(shù)據(jù);支持Write和協(xié)議。?存儲(chǔ)后端基于分片機(jī)制寫入數(shù)據(jù)。?查詢組件對(duì)多個(gè)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行聚合計(jì)算,將最終結(jié)果返回給用戶。高可用優(yōu)化592024騰訊云云原生提質(zhì)增效實(shí)踐精選集?集群多節(jié)點(diǎn),避免單點(diǎn)故障問題,且支持彈性擴(kuò)縮容。?冗余和故障轉(zhuǎn)移:分布式和集群化的輕量采集器,可以在多個(gè)節(jié)點(diǎn)上運(yùn)行,確保即使某個(gè)節(jié)點(diǎn)發(fā)生故障,其他節(jié)點(diǎn)仍然可以繼續(xù)采集數(shù)據(jù),避免單點(diǎn)故障。?對(duì)采集target的負(fù)載均衡,基于一致性哈希實(shí)現(xiàn)分發(fā)targets分片至各個(gè)采集agents。存儲(chǔ)優(yōu)化?落盤云存儲(chǔ),可支持存儲(chǔ)15天/30天/45天/90天/180天/1年/2年存儲(chǔ)周期。?基于用量大小,支持獨(dú)占或共享集群,以滿足不同需求。正是借助上述彈性伸縮等高可用能力,客戶在新車發(fā)布直播、雙十一大促等流量高峰期,使用自建Prometheus+和云上Prometheus+進(jìn)行雙重保障,大大降低了在重大活動(dòng)時(shí)的運(yùn)維風(fēng)險(xiǎn)。3)專家知識(shí),預(yù)設(shè)提供通過預(yù)設(shè)的大盤和基于業(yè)務(wù)場(chǎng)景的告警模板,騰訊云可觀測(cè)平臺(tái)不僅簡(jiǎn)化了客戶的監(jiān)控配置流程,還確保了關(guān)鍵指標(biāo)的精準(zhǔn)覆蓋。預(yù)設(shè)大盤騰訊云除了兼容開源外,還提供了對(duì)常見云產(chǎn)品及組件的開箱即用、一鍵集成的監(jiān)控功能。此外,針對(duì)不同業(yè)務(wù)場(chǎng)景,騰訊云預(yù)設(shè)了多種大盤模板。借助這些集成能力和預(yù)設(shè)大盤,客戶可以快速實(shí)現(xiàn)從基礎(chǔ)設(shè)施到應(yīng)用和服務(wù)的監(jiān)控可視化,顯著減少指標(biāo)梳理和面板制作的工作量。如下圖所示,在騰訊云Prometheus的集成中心,當(dāng)客戶一鍵安裝EMR監(jiān)控集成后,即可開箱即用相關(guān)EMR組件的大盤:602024騰訊云云原生提質(zhì)增效實(shí)踐精選集預(yù)設(shè)告警模板騰訊云可觀測(cè)平臺(tái)提供了強(qiáng)大的告警能力,預(yù)設(shè)了針對(duì)不同產(chǎn)品和組件的業(yè)務(wù)場(chǎng)景告警模板。這些模板幫助客戶快速配置告此外,預(yù)設(shè)的告警模板降低了客戶在告警配置上的復(fù)雜性,使得即使是缺乏專業(yè)知識(shí)的用戶也能輕松上手,從而顯著提高了運(yùn)維效率和決策能力。如下圖所示,當(dāng)客戶想要新建一條告警策略,可以直接從列表里選中某個(gè)云產(chǎn)品例如EMR,則系統(tǒng)會(huì)自動(dòng)彈出針對(duì)EMR各個(gè)組件所預(yù)設(shè)的各種告警規(guī)則,供客戶直接使用,或在此基礎(chǔ)上自主修改:612024騰訊云云原生提質(zhì)增效實(shí)踐精選集沉淀專家知識(shí)仍以客戶對(duì)EMR的監(jiān)控為例,預(yù)設(shè)告警策略不僅基于行業(yè)實(shí)踐提供通用模板,還結(jié)合騰訊云EMR+騰訊云Prometheus雙方的專家知識(shí),共同定制升級(jí)了一些告警策略,以提高告警效率,幫助客戶“避坑”。例如:EMR原生指標(biāo)service_status在服務(wù)異?;蛘哂脩羰謩?dòng)停止這兩種情況下,都會(huì)顯示,因此無法針對(duì)異常服務(wù)精準(zhǔn)告警。于是,騰訊云Prometheus在預(yù)設(shè)告警模板時(shí),新增了輔助指標(biāo)emr_additional_service_status來代表用戶手動(dòng)停止服務(wù)的信息,以跟原生指標(biāo)組合,實(shí)現(xiàn)對(duì)異常服務(wù)的精確告警。servicePrometheus提原生指標(biāo)輔助指標(biāo)是否告警service狀態(tài)異常是用戶手動(dòng)停止的否service狀態(tài)異常不是用戶手動(dòng)停止的是由上表很容易看出,結(jié)合輔助指標(biāo)后,該告警模板能過濾掉手動(dòng)停止造成狀態(tài)異常所導(dǎo)致的無效告警,大大節(jié)約了客戶對(duì)EMR的運(yùn)維精力。>落地效果EMR監(jiān)控,一鍵集成:騰訊云Prometheus對(duì)EMR大數(shù)據(jù)平臺(tái)的一鍵集成,大大提升了為大數(shù)據(jù)平臺(tái)構(gòu)建可觀測(cè)性的效率,從天級(jí)接入降為分鐘級(jí)接入。且全托管、一站式,徹底免去為27個(gè)EMR組件搭建和運(yùn)維采集代理的成本。2.彈性擴(kuò)容,無懼洪峰:在客戶的新車發(fā)布直播和雙十一大促時(shí),流量比平時(shí)高出數(shù)倍。而借力騰訊云Prometheus+的彈性擴(kuò)容能力,就能避免自建的Prometheus+觸及性能瓶頸,從而保證重大活動(dòng)期間監(jiān)控的流暢性,保證在流量洪峰下極大降低運(yùn)維風(fēng)險(xiǎn)。3.開箱即用預(yù)設(shè)的提高關(guān)鍵指標(biāo)的覆蓋率、降低系統(tǒng)異常的誤報(bào)漏報(bào),尤其是針對(duì)服務(wù)狀態(tài)異常的告警,為客戶降低了約50%的誤報(bào)率??蛻舯O(jiān)控平臺(tái)依托騰訊云可觀測(cè)平臺(tái)的及告警功能,不僅實(shí)現(xiàn)了對(duì)EMR大數(shù)據(jù)平臺(tái)等云產(chǎn)品和組件的高效監(jiān)控,還落地了應(yīng)對(duì)流量洪峰的云上云下一體化方案,并借力各領(lǐng)域?qū)<抑R(shí)優(yōu)化了可視化大盤和告警策略。這一系列舉措顯著提升了監(jiān)控效率、節(jié)約了運(yùn)維成本、降低了系統(tǒng)風(fēng)險(xiǎn),為客戶的業(yè)務(wù)穩(wěn)定性提供了堅(jiān)實(shí)保障。騰訊云可觀測(cè)平臺(tái)已覆蓋出行行業(yè)幾乎所有頭部車企,積累了豐富的行業(yè)案例和最佳實(shí)踐,為客戶提供Prometheus+指標(biāo)監(jiān)控、APM分布式鏈路追蹤、前端/終端性能監(jiān)控,以及云撥測(cè)、云壓測(cè)等全棧多維度可觀測(cè)能力。622024騰訊云云原生提質(zhì)增效實(shí)踐精選集騰訊云撥測(cè)助力頭部跨境電商平臺(tái)優(yōu)化
用戶體驗(yàn)>導(dǎo)語平臺(tái)的使用體驗(yàn)在競(jìng)爭(zhēng)激烈的電商行業(yè)中是影響客戶粘性的一個(gè)非常重要的因素。如何讓后端服務(wù)保障可用,使得電商平臺(tái)上的文字,圖片,視頻等資源都能夠正確且低延遲的呈現(xiàn)給其終端用戶,讓用戶在平臺(tái)上的操作順暢,是每一個(gè)電商平臺(tái)面對(duì)的挑戰(zhàn)。通過騰訊云撥測(cè)產(chǎn)品,電商平臺(tái)對(duì)于網(wǎng)絡(luò)質(zhì)量、文件傳輸、頁面性能、端口協(xié)議等方面都可以進(jìn)行指標(biāo)量化,從而做出優(yōu)化,達(dá)到提升全球各個(gè)區(qū)域C端用戶體驗(yàn),增強(qiáng)用戶粘性的目的。>公司簡(jiǎn)介客戶是在世界范圍內(nèi)領(lǐng)航跨境購物的電商平臺(tái),近年在世界多個(gè)地區(qū)獲得購物類App年度總下載量、平均月活數(shù)、安卓用戶使用總時(shí)長(zhǎng)上獲得冠軍。如今業(yè)務(wù)覆蓋了十余個(gè)國(guó)家,在中國(guó)地區(qū)的深圳、上海等地亦設(shè)立了跨境業(yè)務(wù)辦公室。為了保障業(yè)務(wù)平穩(wěn)流暢,拓展更多的全球市場(chǎng),客戶接觸騰訊云撥測(cè)之前已經(jīng)自行購買了友商的主動(dòng)撥測(cè)產(chǎn)品,但是因?yàn)閾軠y(cè)點(diǎn)覆蓋不足以及服務(wù)響應(yīng)不及時(shí),一些問題排查緩慢。>業(yè)務(wù)挑戰(zhàn)平臺(tái)的使用體驗(yàn)在競(jìng)爭(zhēng)激烈的電商行業(yè)中是影響客戶粘性的一個(gè)非常重要的因素。如何讓后端服務(wù)保障可用,使得電商平臺(tái)上的文字,圖片,視頻等資源都能夠正確且低延遲的呈現(xiàn)給其終端用戶,讓用戶在平臺(tái)上的操作順暢,是每一個(gè)電商平臺(tái)面對(duì)的挑戰(zhàn)。作為跨境電商,客戶的業(yè)務(wù)大量布置于海外,對(duì)于客戶端海外可用性的檢測(cè)擁有強(qiáng)需求,而他們的痛點(diǎn)也十分明晰:撥測(cè)點(diǎn)覆蓋不夠客戶計(jì)劃在印度擴(kuò)展業(yè)務(wù),對(duì)于印度的撥測(cè)需求非常強(qiáng)烈?,F(xiàn)有撥測(cè)供應(yīng)商海外撥測(cè)點(diǎn)不足以覆蓋客戶的需求。632024騰訊云云原生提質(zhì)增效實(shí)踐精選集CDN選型難電商業(yè)務(wù)對(duì)于CDN強(qiáng)依賴,需要測(cè)試不同CDN服務(wù)商在使用中的加速效果,支撐業(yè)務(wù)對(duì)CDN服務(wù)商選型。深度撥測(cè)使用指引需求客戶對(duì)于友商的撥測(cè)使用不深入,對(duì)撥測(cè)場(chǎng)景理解不全,希望可以有全流程的輔佐讓團(tuán)隊(duì)的產(chǎn)品使用都有據(jù)可依。>解決思路數(shù)量龐大的撥測(cè)點(diǎn)資源云撥測(cè)擁有遍布全球200+城市的近2000機(jī)房資源及C端設(shè)備,覆蓋不同終端,不同網(wǎng)絡(luò)條件,不同IP類型的撥測(cè)點(diǎn)。其中包括東南亞、歐洲、美洲等地,補(bǔ)齊了對(duì)于客戶當(dāng)前業(yè)務(wù)發(fā)展階段所急需的印度及歐洲的撥測(cè)需求。僅僅是在印度的C端測(cè)試點(diǎn)就有50+,遍布主要城市及主要運(yùn)營(yíng)商,實(shí)現(xiàn)廣闊的數(shù)據(jù)覆蓋。豐富的多維分析指標(biāo)詳細(xì)數(shù)據(jù)可下載做二次分析。642024騰訊云云原生提質(zhì)增效實(shí)踐精選集[報(bào)告中對(duì)客戶所使用的兩家廠商CDN各種性能,以及真實(shí)用戶訪問頁面的信息進(jìn)行了呈現(xiàn)]在向用戶展現(xiàn)報(bào)告之后,針對(duì)客戶對(duì)撥測(cè)使用理解不深的困境,團(tuán)隊(duì)亦對(duì)產(chǎn)品能力進(jìn)行了詳細(xì)的闡述:?散點(diǎn)圖、地圖等多種方式的BI分析,給客戶提供了各種維度的數(shù)據(jù)呈現(xiàn)方式。?下鉆到每一個(gè)撥測(cè)任務(wù)的指標(biāo)呈現(xiàn),讓客戶對(duì)于測(cè)試點(diǎn)的操作系統(tǒng)、版本、IP地址等一覽無余,精確把握問題原因。經(jīng)過了深入的產(chǎn)品交流,客戶很快決定全量使用騰訊云為其制定的撥測(cè)方案,為他們的業(yè)務(wù)做啟動(dòng)前的質(zhì)量檢測(cè)、日常維護(hù),以及cdn選型及后續(xù)監(jiān)控的保障。>落地效果在使用騰訊云撥測(cè)平臺(tái)之后,客戶不僅解決了之前存在的痛點(diǎn),還在團(tuán)隊(duì)的幫助下意外發(fā)現(xiàn)了一些之前沒有預(yù)料到的問題,其中包括:解決了不同維度的量化監(jiān)測(cè)業(yè)務(wù)搭建上,客戶可以對(duì)CDN性能、運(yùn)營(yíng)商、頁面性能、流媒體等不同維度進(jìn)行量化監(jiān)測(cè);地理上,印度各個(gè)區(qū)域的訪問情況有更全面的了解;對(duì)于電商平臺(tái)新興起的直播,視頻等流媒體內(nèi)容的播放指標(biāo),通過云撥測(cè)均擁有了更好的量化。652024騰訊云云原生提質(zhì)增效實(shí)踐精選集海外撥測(cè)點(diǎn)運(yùn)行測(cè)試伊始,就發(fā)現(xiàn)了數(shù)據(jù)的異常情況,通過騰訊云撥測(cè),客戶:發(fā)現(xiàn)路由錯(cuò)誤,避免上線后的大規(guī)模影響對(duì)印度撥測(cè)下發(fā)客戶新加坡站撥測(cè)任務(wù)后,發(fā)現(xiàn)在孟買測(cè)試點(diǎn)無法成功訪問目標(biāo)頁面。通過多維分析,觀察到訪問失敗的點(diǎn)都集中于孟買的一個(gè)網(wǎng)絡(luò)運(yùn)營(yíng)商;通過指標(biāo)下鉆,可以清晰看到出現(xiàn)了網(wǎng)絡(luò)不可達(dá)的節(jié)點(diǎn)信息。經(jīng)過CDN及其他網(wǎng)絡(luò)設(shè)置的排查,很快發(fā)現(xiàn)是路由配置會(huì)導(dǎo)致對(duì)該區(qū)域部分用戶產(chǎn)生影響。發(fā)現(xiàn)節(jié)點(diǎn)繞行,降低訪問延遲通過數(shù)據(jù)在橫向(印度不同城市)、縱向(同個(gè)城市不同時(shí)間段)的分析,發(fā)現(xiàn)孟買在訪問加拿大站點(diǎn)時(shí)延不穩(wěn)定的狀況,有時(shí)會(huì)時(shí)延明顯高于均值。經(jīng)排查,發(fā)現(xiàn)一些其內(nèi)部的網(wǎng)絡(luò)調(diào)度策略導(dǎo)致了數(shù)據(jù)繞行。經(jīng)過分析,一定情況下孟買到加拿大的訪問竟
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 阿克蘇職業(yè)技術(shù)學(xué)院《婦產(chǎn)科護(hù)理學(xué)》2023-2024學(xué)年第一學(xué)期期末試卷
- 隴東學(xué)院《語文學(xué)科教學(xué)能力綜合訓(xùn)練》2023-2024學(xué)年第一學(xué)期期末試卷
- 8.3 金屬資源的利用和保護(hù)-2022-2023學(xué)年九年級(jí)化學(xué)下冊(cè)精講精練(人教版)(解析版)
- 陜西工商職業(yè)學(xué)院《足球理論與實(shí)踐Ⅲ》2023-2024學(xué)年第一學(xué)期期末試卷
- 陜西旅游烹飪職業(yè)學(xué)院《隨機(jī)微分方程》2023-2024學(xué)年第一學(xué)期期末試卷
- 陜西省合陽城關(guān)中學(xué)2025屆初三下學(xué)期期中(第三次月考)考試物理試題含解析
- 陜西省工大、鐵一、交大2024-2025學(xué)年中考考前模擬考試物理試題理試題含解析
- 五年級(jí)上冊(cè)教學(xué)工作總結(jié)模版
- 醫(yī)學(xué)知識(shí) 病毒感染及其致病性 學(xué)習(xí)課件
- 陜西省西安市長(zhǎng)安區(qū)2024-2025學(xué)年數(shù)學(xué)四年級(jí)第二學(xué)期期末學(xué)業(yè)水平測(cè)試試題含解析
- 3.2《做自尊的人》課件-2024-2025學(xué)年統(tǒng)編版道德與法治七年級(jí)下冊(cè)
- T-CALI 1101-2024 家用太陽能光伏照明產(chǎn)品-性能要求
- 中國(guó)特色社會(huì)主義政治經(jīng)濟(jì)學(xué)課件
- 設(shè)計(jì)院掛靠合作協(xié)議書范本
- 2025年江蘇省職業(yè)院校技能大賽高職組(智慧物流)參考試題庫資料及答案
- 上海市松江區(qū)屆2024-2025學(xué)年高三上學(xué)期一??荚嚉v史試題(解析版)
- 2025年浙江省高職單招《職業(yè)適應(yīng)性測(cè)試》高頻必練考試題(附答案)
- 《影視照明技術(shù)》課件:照亮影視作品的靈魂
- 2025年上海青浦新城發(fā)展(集團(tuán))限公司自主招聘9名高頻重點(diǎn)模擬試卷提升(共500題附帶答案詳解)
- 雪茄煙葉晾制技術(shù)規(guī)程
- 船舶概論習(xí)題及答案
評(píng)論
0/150
提交評(píng)論