基于AI的虛擬主播設計 課件 第3章

基于AI的虛擬主播設計第3章AI與虛擬人虛擬人的AI技術一理論的革新思維的轉變技術的融合三次AI熱潮1理論革新23思維轉變技術融合1950年10月，艾倫.圖靈發(fā)表了一篇名為《計算機械和智能》的論文，提出了著名的圖靈測試，影響深遠，直至今日，仍被計算機領域研究學者等所重視。以圖靈測試為標志，數(shù)學證明系統(tǒng)，知識推理系統(tǒng)，專家系統(tǒng)等里程碑式的技術與應用在研究學者中掀起了第一次AI熱潮。當研究學者“拋棄”了以模仿人類思維來總結思維規(guī)則，以此進行人工智能開發(fā)的方式，轉變思維方式，在研究過程中更多應用計算機技術與數(shù)學知識。這種轉變看似容易，其實面臨著與人類既有觀念和經驗“抗爭”的極大阻力。最終，計算機與數(shù)學的思維“獲勝”，基于數(shù)據(jù)統(tǒng)計模型的思想開始廣泛傳播。從本質上講，深度學習是一種用數(shù)學模型對真實世界中的特定問題進行建模，以解決該領域相關或相似問題的過程。互聯(lián)網(wǎng)的蓬勃發(fā)展，帶來了高質量的大數(shù)據(jù)，計算機性能的提升也使得數(shù)據(jù)可以更好的存儲和利用。第三次熱潮即為深度學習、大數(shù)據(jù)、高效率大規(guī)模計算的人工智能技術的融合。三次AI熱潮虛擬人的AI技術框架非交互類虛擬數(shù)字人系統(tǒng)運作流程五大模塊構成虛擬人生成的通用系統(tǒng)框架：·人物形象生成模塊·人物語音生成模塊·人物動畫生成模塊·音視頻合成顯示模塊·交互模塊添加關鍵字人物形象生成模塊人物動畫生成模塊人物語音生成模塊音視頻合成顯示模塊交互模塊通用系統(tǒng)框架應用自然語言處理技術，分析用戶的語音語義，識別用戶意圖，根據(jù)分析后的結果，決策虛擬人后續(xù)的語音與動作。應用多模態(tài)技術融合生成的人物語音與人物動畫，使其在同一時間線輸出，生成視頻。根據(jù)輸入文本信息或是生成的語音信息，應用唇形動畫技術，生成相應人物唇形動畫；根據(jù)動畫制作或是動作捕捉技術，制作或捕捉人體相應動作生成相應人物行為動畫。根據(jù)輸入的文本信息應用語音合成技術生成對應的人物語音?？梢愿鶕?jù)人物圖形資源的維度，應用3D建模技術進行人物模型構建，目前虛擬人的人物形象生成包括2D人物形象與3D人物形象。交互模塊音視頻合成顯示模塊人物語音生成模塊人物動畫生成模塊人物形象生成模塊框架詳解交互模塊虛擬人交互類型分類交互模塊為擴展項，可根據(jù)是否包含該模塊，將虛擬人劃分為交互型虛擬人與非交互型虛擬人。非交互型虛擬人系統(tǒng)生成人物形象后，依據(jù)目標文本生成對應人物語音及動畫，并合成音視頻呈現(xiàn)給用戶。虛擬人的AI技術介紹

3D建模技術3D建模技術分為靜態(tài)掃描建模和動態(tài)光場重建。

驅動方式按照驅動方式分類，虛擬人可以分為真人驅動型和計算驅動型。3D建模技術多相機陣列相比靜態(tài)重建技術，具有高視覺保真的動態(tài)光場三維重建技術不僅可以重建人物的幾何模型，并且可以一次性獲取動態(tài)人物模型數(shù)據(jù)，該技術將成為虛擬人建模的重點發(fā)展方向。不過目前主流技術認為靜態(tài)掃描，動態(tài)光場將成為未來建模技術的重點發(fā)展方向。靜態(tài)掃描技術可分為結構光掃描重建和相機陣列掃描重建。結構光掃描重建時間長，對人體這類運動的目標在友好度和適應性方面較為差強人意，因此更多的應用于工業(yè)生產、檢測領域。相機陣列掃描重建替代結構光掃描重建，并克服以上存在的問題成為人物建模的主流方式，如圖所示。隨著拍照式相機陣列掃描重建得到飛速地發(fā)展，目前可以實現(xiàn)毫秒級高速拍照掃描，高性能的相機陣列精度甚至可以達到亞毫米級，并成功應用于游戲、電影、傳媒等行業(yè)。驅動方式虛擬人驅動類型分類完成人物形象建模后，就需要考慮人物形象數(shù)字化，也就是人物形象的驅動。從技術層面來看，按照驅動方式分類，虛擬人可以分為真人驅動型和計算驅動型，如圖所示。真人驅動型虛擬人在真人驅動型虛擬人實現(xiàn)過程中，完成原畫建模以及真人關鍵點綁定后，使用動作捕捉設備或是攝像頭捕捉真人的動作、表情等，以實時驅動虛擬人生成相應的行為。動作捕捉是指通過數(shù)字手段記錄顯示中人們的運動過程。動作捕捉可以根據(jù)實現(xiàn)原理不同分成光學動作捕捉、慣性動作捕捉、基于計算機視覺的動作捕捉方案，如圖所示?，F(xiàn)階段，光學動作捕捉和慣性動作捕捉占據(jù)主導地位。真人驅動型虛擬人行為均由真人操作實現(xiàn)，因此在動作靈活度、互動效果等方面有明顯優(yōu)勢。這些優(yōu)勢一方面能夠在影視內容制作中降低生產成本，同時為影視行業(yè)的制作降低門檻，推動影視級內容向消費級轉型；另一方面，應用于虛擬偶像之中，可幫助虛擬人完成虛擬人完成大型直播、商場路演等互動性強的活動。計算驅動型虛擬人123計算驅動型虛擬人，其語音表達、面部表情、具體動作將主要通過深度學習模型的運算結果實時或離線驅動，在渲染后實現(xiàn)最終效果，基于AI的虛擬主播設計就是計算驅動型虛擬人。計算驅動型虛擬人最終效果由形象3D建模技術（真人模型構建是否符合真人的面貌、形體）、語音合成技術（語音表述在韻律、情感、流暢度等方面是否符合真人發(fā)聲習慣）、唇語動畫生成技術（口型與語音是否可以一致，符合真人發(fā)聲標準）等技術共同影響。該類型的虛擬人無需花費較大成本即可生成真實的人物模型，并可以實現(xiàn)將輸入文本轉化為語音以及相關動畫，沒有時延的要求，僅需將人物語音以及人物動畫應用多模態(tài)技術生成視頻輸出給用戶即可。簡單易學，快速上手，對初學者制作虛擬人的學習提供友好的入門基礎。計算驅動型AI技術在虛擬人領域的應用二應用麻省理工學院虛擬人麻省理工學院媒體實驗室（MITMediaLab）的研究人員開源了一個虛擬角色生成工具。該工具結合了面部、手勢、語音和動作領域的人工智能模型，可用于創(chuàng)建各種音頻和視頻輸出，一舉登上《NatureMachineIntelligence》應用使用人工智能技術制作的蒙娜麗莎、瑪麗·雪萊、馬丁·路德·金、阿爾伯特·愛因斯坦、文森特·梵高和威廉·莎士比亞的動畫這項技術也可以用于積極的目的，比如，讓阿爾伯特·愛因斯坦復活，去教一堂物理課，或者與年長的自己聊一聊天。為了鼓勵這項技術所能帶來的積極作用，麻省理工學院媒體實驗室（MITMediaLab）的研究人員開源了一個易于使用的虛擬角色生成管道。該虛擬角色生成管道結合了面部、手勢、語音和動作領域的人工智能模型，可用于創(chuàng)建各種音頻和視頻輸出。研究人員希望教師、學生和醫(yī)療保健工作者可以嘗試一下，看看這個工具能否在各自的領域幫助到他們。應用北京理工大學虛擬人“靈”2022年下半年，北京理工大學將承辦第十三屆“挑戰(zhàn)杯”中國大學生創(chuàng)業(yè)計劃競賽。北京理工大學堅持“以賽育人”，發(fā)揮數(shù)字孿生、虛擬現(xiàn)實、數(shù)字仿真等技術優(yōu)勢，將數(shù)字化辦賽理念貫穿“挑戰(zhàn)杯”競賽全過程?；顒蝇F(xiàn)場，發(fā)布了“挑戰(zhàn)杯”001號數(shù)字參賽者、數(shù)字化參賽引導者“靈”。數(shù)字人“靈”是由北京市混合現(xiàn)實與新型顯示工程技術研究中心（北京理工大學）科研團隊基于先進的光場采集重建技術打造的新一代高逼真多模態(tài)數(shù)字人?！办`”的面部表情由800多根“骨骼”協(xié)同控制，而面部材質則由82個材質參數(shù)進行動態(tài)調整。數(shù)字人是語義、語音、視覺三大AI技術融合的結晶。應用韓國首位AI主播“金柱夏”2020年11月，韓國MBN電視臺推出韓國首位AI主播“金柱夏”，“金柱夏”由MBN電視臺和人工智能開發(fā)公司“MoneyBrain”共同研發(fā)，該AI虛