FFA2024分論壇-云原生 合輯

流批混部未來展望…ServerlessFlink…vn-agentvn-agent↓VirtualCluster標準化多租VirtualAPIServer輕量化多租VirtualAPIServer輕量化多租……↓↓↓agentansmagentansmflink-reserveflink-reserve-capacityflinkflink-pay-as-you-go…… …………AjobjobAjobjob …………replicas:2-ntopologySpreadConstra-labelSelector:matchLabels:/network-service-id:abcdmaxSkew:1topologyKey:topology.kubernetes.io/zonewhenUnsatisfiable:DoNotScheduleaffinity:nodeAffinity:requiredDuringSchedulingIgnoredDuri-matchExpressions:-key:topology.kubernetes.io/zoneoperator…………XXXXansmappswatchappswatchwatchwatch……pyxispyxis-managerTHANKYOUFlinkonYarnFlinkonK8sFlinkon20182023↓7.create6.createvalidate2.spec5.create...jobmanagerjobmanager2jobmanager1jobmanager1........taskmanager1....taskmanager1taskmanager2!!4.4.3.上傳jar1.提交jar3.上傳jar1.提交jar—學alerttalos!aggregatealerttalos!aggregateapply 核THANKYOUServerlessFlink:小紅書在云上k8sServerlessFlink:Xiaohongshu'sJourneyinMigratingandDeployingFlinkClusters………………各個子業(yè)務使用不同的獨占資源池，維護上百資源池人力成本巨大各個子業(yè)務使用不同的獨占資源池，維護上百資源池人力成本巨大Flink獨占池擴縮容流程復雜，涉及預算審批、云廠商開關機、機器環(huán)境初單次流程耗時在天級別nodeFlinkPodFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodFlink獨占集群公共混部集群FlinkQuotaFlinkQuotaB其他業(yè)務其他業(yè)務quotaCFlinkQuotaAFlinkQuotaAnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodFlinkPodnodeFlinkPodFlinkPodFlinkPodnodenodeFlinkPodnodenodeFlinkPodPodFlinkPodquota擴容quota縮容啟動quota擴容BaremetalSupplyBaremetalSupply標準混部池標準混部池Bu?erBu?erControllerAPIServerWorkload畫像服務Workload畫像服務ControllerMetricsAwareController更新預測指標獲取歷史監(jiān)控監(jiān)控系統(tǒng)resourcePro?lerMetricsAware監(jiān)控系統(tǒng)resourcePro?lerMetricsAware匯總畫像，更新NodeMetrics監(jiān)聽監(jiān)聽MetricsAwareAgentAgentAgentAgentresourcePro?lerlMetricsAwareresourcePro?lerlMetricsAware實時負載感知調度SchedulerDescheduler動態(tài)更新規(guī)則實時負載感知二次調度容器服務容器服務Node維度匯總待驅逐的pod構造Flink請求URL請求驅逐Pod列表請求驅逐Pod列表校驗pod是否在用返回RequestId或者結果根據(jù)RequestId輪訓結果申請冗余pod資源ready后拉黑pod并觸發(fā)task重啟返回是否可驅逐根據(jù)返回結果執(zhí)行驅逐或放棄釋放空閑pod根據(jù)返回結果執(zhí)行驅逐或放棄收到驅逐請求收到驅逐結果請求生成并返回RequestId返回生成并返回RequestId返回RequestId對應的請求狀態(tài)結束根據(jù)請求傳入的Pod結束根據(jù)請求傳入的Pod數(shù)量，申請對應的新Pod否是否申請完成 是否申請完成 是否超時是觸發(fā)checkpoint觸發(fā)checkpoint獲取Pod上的Task集合主動重啟Task上述流程正常上述流程正常執(zhí)行否設置驅逐請求為失敗否設置驅逐請求為失敗是設置驅逐請求為成功結束設置驅逐請求為成功結束使用CSIEphemeralInlineVolum資源擴縮容耗時資源擴縮容耗時擴大池化資源覆蓋度年底遷移60kcore左右總體成本收益接近10k年底遷移60kcore左右總體成本收益接近10kcore應用AutoScaler進一步THANKYOUjobjob1job2job3...managerapiserverflinkmanagerapiserverflink/cancel等操作fetchjarjobjob-修復線程池設置bugrest服務就緒慢-不等待service關聯(lián)pod-池化復用RestClient序列化操作頻繁-刪除不必要的序列化操作operator可調諧的單集群任務數(shù)達到2w提交作業(yè)吞吐可達1000app/分鐘，全程穩(wěn)定整體吞吐1000整體吞吐1000app/m單app啟動時延小于1.5minwatchindex優(yōu)化watcherswatchers單機Pod數(shù)與系統(tǒng)內存關系(G)864208單機Pod數(shù)與系統(tǒng)內存關系(G)86420850nodeCache:一輪調度中同質作業(yè)的調度cache,nodeCache:一輪調度中同質作業(yè)的調度cache,cachecachejobjobjoballocatejobache3allocatejobache3 源assignableexclusivewatchwatchapiserverwatchTaint/cordon/drainwatchTHANKYOULarge-ScaleCloud-NativePracticeOfFlinkatBilStreaming數(shù)量:6500+Batch數(shù)量:3000+Streaming數(shù)量:6500+Batch數(shù)量:3000+流批混部、Spark混部/opt/flink/opt/flinkconfconfpluginsusrlibL──tableapi等依賴jar物理機遷移機器從YARN物理機遷移機器從YARN集群遷移為Pod掛載物理磁盤磁盤異構物理機磁盤數(shù)量不統(tǒng)一磁盤故障，權限問題等磁盤異構物理機磁盤數(shù)量不統(tǒng)一磁盤故障，權限問題等磁盤負載不均RocksDB默認隨機選擇磁盤磁盤掛載在/mnt子目錄Flink進程啟動時篩選可用目錄磁盤優(yōu)化殘留數(shù)據(jù)在殘留數(shù)據(jù)在Pod退出時，不會刪除數(shù)據(jù)增加Podlifecycle，Pod退出時通過preStop清理數(shù)據(jù)開啟HA時：任務可以從正確的Checkpoint恢復，但遇PodPod處于失敗狀態(tài)Pod處于Pod處于Running狀態(tài)啟動時根據(jù)numberOfTaskSlots值調整閾值大小，避免固定參數(shù)的不足Pid數(shù)量限制優(yōu)化服務器無法創(chuàng)建線程優(yōu)化部分作業(yè)中線程泄漏，引起所在機器可用線程數(shù)不足，影響機器上所有作