音質(zhì)AIGC的應用與實踐

音質(zhì)AIGC的應用與實踐分享人：何禮部 門：騰訊音樂天琴實驗室時 間：2023年11月201.

音樂分離BSRNN基本原理音樂分離技術體系音樂分離業(yè)務應用音樂超分臻品母帶什么是母帶母帶模型母帶應用對標國際、引領國內(nèi)的QQ音樂音質(zhì)QQ音樂音質(zhì)音效體系QQ音樂

vs

Apple

MusicQQ音樂Apple

Music音質(zhì)Master192kHz/24bit臻品母帶2.0192kHz/24bit高解析度無損SQ最高48kHz/24bit最高48kHz/24bitHQ320kbps

ogg256kbps

aac音效立體聲臻品音質(zhì)2.0立體聲空間音頻全景聲臻品全景聲&杜比全景聲杜比全景聲音質(zhì)AIGC有歌聽。（版權、曲庫）能找到歌。（搜索、推薦）聽得舒心。（音質(zhì)）音樂流媒體平臺的3個核心問題音質(zhì)AIGC音樂分離音樂超分臻品母帶QQ音樂這些年的音質(zhì)優(yōu)化之路格式檢測算法播放標準品鑒501

音樂分離近年音樂分離發(fā)展歷史20182020202120222023Conv-TasNet時域Spleeter頻域ResUNetDecouple+頻域Hybrid

Demucs時域+頻域BSRNN頻域BSRNN基本原理核心思想對頻域切分不同子帶時域幀間序列建模頻域子帶間序列建模音樂分離技術體系音樂分離業(yè)務應用1臻品全景聲基于音樂6軌分離制作全景聲SVIP核心權益立體聲制作全景聲流程音樂分離業(yè)務應用2-4TME

聚星&TME

Studio&啟明星面向用戶提供音樂分離服務，包含聲伴分離、6軌分離音樂分離業(yè)務應用5-7臨境音效五維打分全民K歌臨境音效樂器5軌分離，diy音效VIP核心權益全民K歌五維打分干聲分離，打分模板制作全民K歌伴奏庫伴奏分離，補充K歌伴奏庫音樂分離業(yè)務應用8-10懶人聽書長音頻消伴干聲分離，消除長音頻背景噪聲、音樂AIGC-X干聲分離，判斷歌曲人聲是否AI生成啟明星音色試唱聲伴分離，干聲SVC，MIX生成demo懶人聽書長音頻消伴音樂分離業(yè)務應用11-12低頻公益6軌分離，針對聽損人士的歌曲增強與補償ToB—光子工作室干聲分離，商務合作低頻公益系統(tǒng)方案音樂分離業(yè)務應用13保留混響去除和聲，吞音嚴重，聽感差保留混響和聲聽感好無混響和聲，聽感好歌聲合成無混響無和聲干聲分離，用于歌聲合成原曲保留混響和聲干聲分離無混響無和聲干聲分離競品(UVR5)總結BSRNN基本原理頻域切分子帶，時域、頻域序列建模音樂分離技術體系聲伴分離、6軌分離、無混響和聲干聲分離音樂分離業(yè)務應用子模塊：臻品全景聲、全民K歌臨境音效、全民K歌五維打分、AIGC-X、啟明星音色試唱、低頻公益、歌聲合成ToC：TME聚星、TME

Studio、啟明星、懶人聽書長音頻消伴、全民K歌伴奏庫ToB：光子工作室1602

音樂超分原理&應用“Phase-awaremusicsuper-resolutionusinggenerativeadversarial

networks”基本原理升級到96kHz/24bit

Hi-Res音質(zhì)業(yè)務應用臻品音質(zhì)2.0實時處理1803

臻品母帶什么是母帶？歌曲制作流程作曲編曲錄制混音母帶歌曲不同品質(zhì)Master：192kHz/24bitSQ：最高48kHz/24bit，與母帶差異在于高頻有損編碼：320kmp3等，與母帶差異在于高低頻不同品質(zhì)頻響曲線母帶模型臻品母帶1.0生成流程臻品母帶2.0生成流程臻品母帶1.0從0到1分別進行低頻修復&高頻還原臻品母帶2.0統(tǒng)一優(yōu)化目標：同時進行低頻修復&高頻還原減小推理耗時性能對比頻譜分析頻響對比頻譜對比頻響分析高頻更加飽滿自然頻響曲線更加平滑業(yè)務應用上線效果相比1.0，2.0上線后，PV、UV、人均時長均顯著增長超會驅(qū)動、提升口碑總結什么是母帶？歌曲制作完后的最初版本，192kHz/24bit母帶模型