愛奇藝AI推理平臺(tái)演進(jìn)和實(shí)踐

愛奇藝A推理平臺(tái)演進(jìn)和實(shí)踐張俊欽愛奇藝深度學(xué)習(xí)平臺(tái)研究員背景介紹AIAI總結(jié)與展望背景介紹AI在愛奇藝的應(yīng)用場(chǎng)景AI業(yè)務(wù)的歸類CV/NLP搜索/廣告/推薦愛奇藝ACV/NLP搜索/廣告/推薦愛奇藝AI推理平臺(tái)從離線模型訓(xùn)練到模型部署高可用離線離線上線 延遲

在線

彈性擴(kuò)縮容監(jiān)控告警

穩(wěn)定性愛奇藝深度學(xué)習(xí)平臺(tái)總體架構(gòu)ApplicationsApplications…分發(fā)播放標(biāo)注生產(chǎn)創(chuàng)作DataPlatformAlgorithmStoreAIDataPlatformAlgorithmStoreAIasaService數(shù)據(jù)樣本分析訓(xùn)練平臺(tái)推理平臺(tái)工作流&Orchestration

Mesos KubernetesAIFrameworksTensorFlowAIFrameworksTensorFlowPytorch…InfrastructureInfrastructureCPU/GPU公有云網(wǎng)絡(luò)存儲(chǔ)AI推理平臺(tái)架構(gòu)演進(jìn)I架構(gòu)演進(jìn)V1自定義鏡像容器化部署支持V1自定義鏡像容器化部署支持IPV2抽象環(huán)境模型獨(dú)立版本管理新支持多版本服務(wù)發(fā)現(xiàn)V1自定義推理鏡像將模型封裝到鏡像，推送到DockerRegistyDocker容器化部署綁定VIP，對(duì)外提供HTTP服務(wù)模型版本升級(jí)通過更新鏡像和重啟容器ImageImageI對(duì)外服務(wù)PryV1優(yōu)點(diǎn)可以自定義復(fù)雜的前后處理邏輯可以封裝多個(gè)相互關(guān)聯(lián)AI模型的推理缺點(diǎn)推理鏡像環(huán)境依賴和訓(xùn)練環(huán)境難對(duì)齊大部分是Python代碼封裝，推理效率比較低V2抽象深度學(xué)習(xí)框架環(huán)境平臺(tái)提供各個(gè)框架版本的容器鏡像模型文件獨(dú)立管理S3模型加載和版本升級(jí)S3S3IS3I對(duì)外服務(wù)VIPV2Step1： Step2： Step3：上傳模型文件S3

S3創(chuàng)建一個(gè)模型A

選擇對(duì)應(yīng)的鏡像和實(shí)例規(guī)格88CPU20GMEM1GPU2Step4：通過平臺(tái)創(chuàng)建Endpont服務(wù)，S3容器中愛奇藝愛奇藝AI推理平臺(tái)Step5：容器啟動(dòng)時(shí)S3模型文件，然后加載模型AA對(duì)外服務(wù)PS3徑到容器，并逐個(gè)重啟V2優(yōu)點(diǎn)推理服務(wù)只依賴于模型文件支持模型優(yōu)化，提高推理效率缺點(diǎn)模型更新時(shí)版本不統(tǒng)一TCPV3模型版本動(dòng)態(tài)熱更新S3模型多版本管理可以同時(shí)服務(wù)模型的多個(gè)版本，支持回滾服務(wù)發(fā)現(xiàn)支持Consul服務(wù)發(fā)現(xiàn)愛奇藝AI推理平臺(tái)愛奇藝AI推理平臺(tái)服務(wù)發(fā)現(xiàn)S3V3Model表示某一個(gè)AI模型，一個(gè)邏輯的模型名稱，并不包括任何模型實(shí)體文件ModelVersion表示某個(gè)Model的一個(gè)具體版本，指向一個(gè)具體的模型文件一個(gè)Model下可以包含多個(gè)模型版本，版本號(hào)必須是自增的ServingSetVersion當(dāng)前服務(wù)的模型版本集合，包含一個(gè)或多個(gè)ModelVesionEndpoint一個(gè)推理服務(wù)，包括一個(gè)或多個(gè)容器實(shí)例，每個(gè)實(shí)例服務(wù)相同的模型版本V3lAl

Step3：

gtnn

模型版本 當(dāng)前期望lAlAnV2… ModelA的V2和VnVn-1VnEndpoEndpointrV2VnrV2Vn

Step5：

Step4：

執(zhí)行升級(jí)接口，HTTP請(qǐng)求到每個(gè)容器Step1：上傳模型S3

模型版本直接下載模型版本然后加載V3模型版本滾動(dòng)升級(jí)MoModelAlnV1V2…V10V11V12服務(wù)版本Step2：服務(wù)版本

SevingSetv1MMlAMlASevingSetv2MMlAMlA XGBoostFM機(jī)器學(xué)習(xí)模型在TensoFlowSeving的基礎(chǔ)上增加了XGBoostFM/iqiyi/xgboost-sevingANN將HNSW算法封裝成TensoFlowOP加入到訓(xùn)練和推理服務(wù)在TensoFlow中訓(xùn)練索引導(dǎo)出模型，部署推理服務(wù)CTRTFEmbedding矩陣拆分出來獨(dú)立部署增加遠(yuǎn)程EmbeddinglookupOPAI推理平臺(tái)落地優(yōu)化實(shí)踐指標(biāo)監(jiān)控服務(wù)內(nèi)部的延遲，QPS等監(jiān)控指標(biāo)自動(dòng)擴(kuò)縮容根據(jù)監(jiān)控指標(biāo)變化進(jìn)行動(dòng)態(tài)擴(kuò)縮容跨地區(qū)模型下載優(yōu)化其他地區(qū)的推理服務(wù)從北京地區(qū)下載AI模型請(qǐng)求限流讓推理服務(wù)在高負(fù)載下仍然可以降級(jí)服務(wù)模型熱更新請(qǐng)求毛刺優(yōu)化模型熱更新期間，客戶端請(qǐng)求超時(shí)毛刺優(yōu)化使用Brpcbvar增加服務(wù)內(nèi)部的延遲，QPS等監(jiān)控指標(biāo)bvar4支持定時(shí)的擴(kuò)縮容Sch支持定時(shí)的擴(kuò)縮容ScheduedRue對(duì)特定指標(biāo)的變化進(jìn)行動(dòng)態(tài)擴(kuò)縮容使指標(biāo)保持在指定范圍（range）內(nèi)Rue對(duì)特定指標(biāo)的變化進(jìn)行動(dòng)態(tài)擴(kuò)縮容使指標(biāo)盡可能接近并小于指定目標(biāo)（target）TargetTrackRue對(duì)指標(biāo)的變化進(jìn)行提前預(yù)測(cè)，并根據(jù)預(yù)測(cè)結(jié)果提前進(jìn)行擴(kuò)縮容PredctRueV2VnV2VnS3在中西部地區(qū)的推理服務(wù)需要從北京地區(qū)下載模型當(dāng)實(shí)例數(shù)量過多，模型較大時(shí)對(duì)帶寬壓力比較大，時(shí)間過長北京地區(qū)北京地區(qū)中西部地區(qū)EndpointDockerDockerV2模型下載模型上傳Vn增加下載代理，通過智能DNS重定向代理分片多線程下載，本地緩存EndpointDockerV2VnDockerV2VnVn

代理DNS

北京地區(qū)上傳線上業(yè)務(wù)在高峰期出現(xiàn)服務(wù)過載不斷重啟的情況GRPCServerOOMGRPCServerquotaquotapPoPoFoWok從隊(duì)列GRPC消息quotaGRPC線程數(shù)量resourcequotaDoWok開始GRPC創(chuàng)建一個(gè)新的WokeTheadDoWok開始GRPC新線程模型熱更新會(huì)出現(xiàn)短暫的客戶端請(qǐng)求超時(shí)現(xiàn)象（稱之為毛刺現(xiàn)象）通過Wrp來預(yù)熱模型使用Joc