李正興：騰訊游戲知幾語音合成大模型推理實踐

李正興/騰訊高級工程師DataFunSummit#2024背景介紹01、王者榮耀小妲己“游戲知識問答”03、天涯明月刀『絕智阿暖』智能NPC02、和平第五人的『AI語音助手』背景-產(chǎn)品展示AudioDecoderTTS：更自然、韻律豐富、更實時AudioDecoder↑TextEncoderAudioEncoder?采用LM方案TextEncoderAudioEncoder個喜歡我在你耳邊說話的感覺嗎?↑?個喜歡我在你耳邊說話的感覺嗎?↑?通過加速優(yōu)化，實時率～0.085~~你在開什么玩笑？我才不會上當(dāng)模型結(jié)構(gòu)選型與分析基于語言模型的新方案傳統(tǒng)方案基于語言模型的新方案輸入文本9…聲學(xué)模型9…聲學(xué)模型9…9…………9…3………9…3NARModel9…聲碼器9…聲碼器……3……3…面臨的挑戰(zhàn)：2.實時率問題模型推理加速方案是否能將NLP領(lǐng)域的LLM推理加速方法應(yīng)用到語音合成大模型上？?flashattention?pageattention?投機采樣?flashdecode?…….LLM中的kvcache：當(dāng)attentionmask使得attention的計算滿足以下條件時，就能使用kvcache?attentionoutput的第n行只與第n個q相關(guān)?第1～n個token的attention的計算包含第1～n-1個token的attention計算?每次attention的計算都用前面k和v語音ar模型中attentionmask與attention計算滿足kvcache的使用生成第n個tokenattention_maskMask(Q*K)attention_maskattention_maskMask(Q*K)推理加速方案-GQA對于prefill階段來說是典型的計算受限場景，計算的瓶頸占據(jù)主導(dǎo)。而到了decode階段，就是典型的訪存受限場景，訪存的瓶頸占據(jù)主導(dǎo)推理加速方案-GQA相比kvcacheint8/fp8等量化方式，選擇GQA壓縮率更可控，可以在保證效果的同時，選擇更少的headnum將headnum從16減少到4，推理耗時降低20%推理加速方案-BPE有了kvcache后，語音合成模型中AR模型也分為prefill階段和decode階段，合成10秒的音頻需要AR模型生成500個token如何減少token生成的數(shù)量？推理加速方案-BPE在NLP中，采用類似BPE子詞算法進行分詞防止OOV問題BPE首先將詞分成單個字符，然后依次用另一個字符替換頻率最高的一對字符，直到循環(huán)次數(shù)結(jié)束推理加速方案-BPE在語音合成大模型中，將BPE算法應(yīng)用在推理加速上，一次AR模型decode出一個BPE的code，對應(yīng)多個audiotoken為了能直接使用NLPBPE，將audiotoken先映射到唯一的unicode上，每一個字符對應(yīng)一個audiocode。10s音頻需生成token數(shù)從500個token下降到約170個token在語音合成大模型中batch的兩種方法方案一：方案二：在語音合成大模型中batch的兩種方法訓(xùn)練使用方案一：優(yōu)點：在類似emb的算子需要分別對text和audio特征做處理時更簡單缺點：推理的decode階段attention計算需要每次傳入paddingattentionmask，在推理框架中比較復(fù)雜優(yōu)點：attention推理計算，不需要自定義paddingattentionmask，可無縫使用LLM推理框架缺點：在類似emb的算子需要分別對text和audio特征做處理時更復(fù)雜樸素批處理：連續(xù)性批處理：結(jié)合騰訊Trpc微服務(wù)框架，在語音合成大模型中實踐continuousbatching推理語音合成大模型無壓力的實時率從2.09優(yōu)化到0.11，吞吐可達到1