多租戶下的算力分配和調(diào)度實(shí)踐-貝殼找房+王天慶

計(jì)算存儲(chǔ)/容器引擎技術(shù)負(fù)責(zé)人主要負(fù)責(zé)的技術(shù)方向:QAQA統(tǒng)一存儲(chǔ)底座統(tǒng)一存儲(chǔ)底座統(tǒng)一資源池調(diào)度資源出借流量調(diào)度組織壁壘混合多云跨地域成本意識(shí)資源出借流量調(diào)度組織壁壘混合多云跨地域成本意識(shí)原始文件原始文件訓(xùn)練數(shù)據(jù)集模型文件跨云訪問(wèn)數(shù)據(jù)慢-加數(shù)據(jù)緩存跨云訪問(wèn)數(shù)據(jù)慢-加數(shù)據(jù)緩存跨云復(fù)制數(shù)據(jù)慢-跨區(qū)增加數(shù)據(jù)副本整個(gè)數(shù)據(jù)流轉(zhuǎn)涉及到跨地域整個(gè)數(shù)據(jù)流轉(zhuǎn)涉及到跨地域、跨云怎么辦？?混合云架構(gòu)多級(jí)緩存加速混合云架構(gòu)多級(jí)緩存加速基礎(chǔ)設(shè)施的變化滿足數(shù)據(jù)多種接入?yún)f(xié)議，支持模型支持云原生、支持?jǐn)?shù)據(jù)的動(dòng)態(tài)編排底層文件系統(tǒng)要保證高性能、高容依賴便宜、高容量的對(duì)象存儲(chǔ)作為低硬件成本低硬件成本鏡像的能力。騰訊云-上海區(qū)騰訊云-上海區(qū)AI算力機(jī)房-北京AI算力機(jī)房-天津桶權(quán)限管理復(fù)制管理桶權(quán)限管理復(fù)制管理服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器該組件主要用于實(shí)現(xiàn)S3接口協(xié)議，該組件是完全無(wú)狀態(tài)服務(wù)，元數(shù)據(jù)主要從KOS控制面中獲取。JuicsFS卷KosCacheJuicsFS卷KosCache服務(wù)器服務(wù)器JuicsFS卷KosCache服務(wù)器JuicsFS卷KosCache服務(wù)器服務(wù)器JuicsFS卷KosCacheJuicsFS卷JuicsFS卷KosCacheKosCacheJuicsFS卷KosCacheJuicsFS卷KosCache服務(wù)器服務(wù)器JuicsFS卷KosCache服務(wù)器JuicsFS卷KosCache服務(wù)器服務(wù)器JuicsFS卷KosCacheJuicsFS卷JuicsFS卷KosCacheKosCacheJuicsFS卷KosCacheKos-syncerKOS-Cache數(shù)據(jù)緩存層該組件主要功能是從底層真實(shí)的對(duì)象存儲(chǔ)中緩存數(shù)據(jù)到本地磁盤中，并且可以分布式部署形成緩存集群來(lái)提高對(duì)象存儲(chǔ)的吞吐能力。KOS-MetaKOS-MetaCubeFS騰訊云KOS-MetaKOS-MetaCubeFS騰訊云COS騰訊云COS騰訊云COS該組件主要對(duì)對(duì)象存儲(chǔ)服務(wù)提供元數(shù)據(jù)能力，以O(shè)ceanBase為底層元數(shù)據(jù)引擎，提供就近獲取到對(duì)象存儲(chǔ)元數(shù)據(jù)信息的能力。統(tǒng)一存儲(chǔ)底座-對(duì)象存儲(chǔ)統(tǒng)一存儲(chǔ)底座-對(duì)象存儲(chǔ)（分布式哈希）復(fù)制因子=2分散在各個(gè)Zone桶+文件名生成唯一key KOS-Cache節(jié)點(diǎn)的token范圍Ingrester篩選文件寫入文件元數(shù)據(jù)對(duì)于文件的讀取，會(huì)優(yōu)先判斷文件是否在啟用了數(shù)據(jù)緩存，如果存在緩存的話就會(huì)優(yōu)先從緩存節(jié)（分布式哈希）復(fù)制因子=2分散在各個(gè)Zone桶+文件名生成唯一key KOS-Cache節(jié)點(diǎn)的token范圍Ingrester篩選文件寫入文件元數(shù)據(jù)篩選文件數(shù)據(jù)KOS-Cache[北京一區(qū)]10.201.0.1KOS-Cache[北京一區(qū)]10.201.0.2Kos-proxy所有歸屬于同一組的緩存節(jié)點(diǎn)都會(huì)以哈希環(huán)的形式分布好篩選文件數(shù)據(jù)KOS-Cache[北京一區(qū)]10.201.0.1KOS-Cache[北京一區(qū)]10.201.0.2Kos-proxyKOS-Cache[上海一區(qū)KOS-Cache[上海一區(qū)]10.203.0.3KOS-Meta通過(guò)實(shí)現(xiàn)S3協(xié)議，在對(duì)象存儲(chǔ)文件生命周期過(guò)程中，生成文件對(duì)應(yīng)的元信息并寫入到OceanBase中，同時(shí)OceanBase做好多AZ和多地域的同步支持，此時(shí)就可以通過(guò)OceanBase實(shí)現(xiàn)支持海量數(shù)據(jù)的對(duì)象存儲(chǔ)服務(wù)。一處寫入一處寫入、處處讀取無(wú)論GPU資源如何交付，借鑒的開源方案服務(wù)無(wú)論部署在任一聯(lián)邦管理的集群服務(wù)無(wú)論部署在任一聯(lián)邦管理的集群，總能被發(fā)現(xiàn)。借鑒了MCSAPI的定義。集群導(dǎo)入并被“發(fā)現(xiàn)”KCSAgentKCSAgent1資源申請(qǐng)對(duì)1資源申請(qǐng)對(duì)于公司專項(xiàng)項(xiàng)目，預(yù)算充足，算力申請(qǐng)可以按照?qǐng)鼍翱梢园凑湛ㄐ涂〝?shù)申請(qǐng)，對(duì)SLA不高的場(chǎng)景可以直接使用共享隊(duì)列，提供低優(yōu)先級(jí)調(diào)度的算力資源。22資源出借對(duì)于一些租戶是算力大戶，當(dāng)算力溢出存在空閑場(chǎng)景的時(shí)候，可以根據(jù)利用率、指定時(shí)段等策略來(lái)進(jìn)33資源調(diào)度對(duì)于算力的調(diào)度策略，我們推薦采用常駐+彈性副本的方式，常駐盡量高優(yōu)先級(jí)調(diào)度到獨(dú)享資源上，保證流量最小副本承載量，對(duì)于突發(fā)流量以及潮汐場(chǎng)景采用共享隊(duì)列來(lái)作為補(bǔ)充。地區(qū)親和性等等。更多算力場(chǎng)景建立資源閑時(shí)復(fù)用能力更多算力場(chǎng)景尋找更多的算力場(chǎng)景：離線推理，結(jié)合Spark提升處理數(shù)據(jù)的效率。使用率。資源復(fù)用資源復(fù)用接入公有云的彈性資源，按需使用，及時(shí)釋放空閑資源。節(jié)點(diǎn)每天22點(diǎn)到第二天8點(diǎn)把8C32G4張GPU卡借給隊(duì)列queue節(jié)點(diǎn)每天22點(diǎn)到第二天8點(diǎn)把8C32G4張GPU卡借給隊(duì)列queue-1,工作過(guò)程原理如下:資源調(diào)度-資源出借資源調(diào)度-資源出借節(jié)點(diǎn)資源出借節(jié)點(diǎn)資源出借預(yù)留資源:排除掉節(jié)點(diǎn)已屬于指定的隊(duì)列。時(shí)歸屬于指定的隊(duì)列。資源調(diào)度-資源復(fù)用資源調(diào)度-資源復(fù)用大化利用。借的資源)，但是共享隊(duì)列的SLA共享隊(duì)列。BB多集群聯(lián)邦感知管理的集群內(nèi)所有的資源狀態(tài)以及支持基于租戶多集群聯(lián)邦感知管理的集群內(nèi)所有的資源狀態(tài)以及支持基于租戶、隊(duì)列維度的精細(xì)化調(diào)度能力。DA跨集群存儲(chǔ)底座基于JuiceFS，支持?jǐn)?shù)據(jù)編排、預(yù)熱提高數(shù)據(jù)流轉(zhuǎn)效率，提高算力的利用效率成本驅(qū)動(dòng)要形成良好的技術(shù)運(yùn)營(yíng)的體系，成本驅(qū)動(dòng)資源利成本驅(qū)動(dòng)要形成良好的技術(shù)運(yùn)營(yíng)的體系，成本驅(qū)動(dòng)資源利用率的提升，閑置資源產(chǎn)生效益打破組織邊界。C超級(jí)節(jié)點(diǎn)將集群聯(lián)邦中閑置的算力資源整合成虛擬節(jié)點(diǎn)，以簡(jiǎn)單易用的形式對(duì)用戶提供算力資源流量調(diào)度-網(wǎng)關(guān)架構(gòu)流量調(diào)度-網(wǎng)關(guān)架構(gòu)多云架構(gòu)多云架構(gòu)AAI親和的負(fù)載均衡算法流量調(diào)度-現(xiàn)狀分析流量調(diào)度-現(xiàn)狀分析大模型場(chǎng)景下，KVCache的緩存數(shù)據(jù)存在局部性，基于公平調(diào)度的負(fù)載策略無(wú)法最大命中KVCache。流量有明顯的業(yè)務(wù)特征，基于公平調(diào)度的負(fù)載均衡策略存在算力饑餓的問(wèn)題，算力被大流量業(yè)務(wù)搶占導(dǎo)致其他請(qǐng)求得流量調(diào)度-異構(gòu)調(diào)度流量調(diào)度-異構(gòu)調(diào)度算力瓶頸,限流1.GPU資源異構(gòu)存在差異的情況下，傳統(tǒng)的公平調(diào)度算法會(huì)導(dǎo)致實(shí)例負(fù)載不均衡。3.盡量保證各個(gè)實(shí)例之間的Prefill均衡。4.如果具備推理框架改造的能力，可以考慮基于推理框架的反饋來(lái)優(yōu)化請(qǐng)求投遞的策略。流量調(diào)度-緩存親和性流量調(diào)度-緩存親和性1.