基于AI的虛擬主播設計 課件 第5章

基于AI的虛擬主播設計第5章3D模型制作真人版3D模型制作基于單張照片的3D人臉重建目錄一二5.1.1FaceGen的安裝5.1.2FaceGen的使用5.1.3FaceGen實現(xiàn)3D人臉重建5.2.1DAZStudio的安裝5.2.2DAZStudio的使用5.2.3DAZStudio生成真人版3D模型基于單張照片的3D人臉重建一

FaceGen是一款集成自定義三維面部網格和UV布局，可通過一張或多張照片建立真實三維人臉的三維人臉構建軟件。FaceGen生成的3D人臉不受年齡、種族或者是性別的約束與限制，可進行年齡、種族甚至是性別等多方面的修改，并且與多款軟件兼容。FaceGen已經在3D游戲中的虛擬現(xiàn)實人物角色創(chuàng)建，個性化3D打印服務等多個領域被應用。FaceGenFaceGen的安裝1

2

4

3FaceGen可生成高質量3D人臉FaceGen可以根據(jù)用戶輸入的照片生成3D人臉模型。FaceGen可生成隨機人臉FaceGen可根據(jù)用戶選擇生成隨機人臉。FaceGen使用簡便高效FaceGen只需用戶上傳一張或多張?zhí)囟ń嵌鹊恼掌?，一鍵式3D人臉生成，簡便的步驟，生成高質量3D模型。FaceGen可對生成人臉參數(shù)化調節(jié)FaceGen可對生成的3D人臉進行年齡、種族、性別等進行參數(shù)化調節(jié)，甚至還可以將3D人臉變成漫畫臉。使用FaceGen進行3D人臉重建優(yōu)勢FaceGen的安裝

界面介紹“Create”|“Photo”界面的功能是根據(jù)單張或多張人臉正側面圖片進行訓練，生成真人版三維人臉模型。如圖為進行人臉正側面圖片上傳的界面。

操作說明單擊“LoadImage”即可進行照片上傳，單擊“ClearImage”按鈕，清除上傳的圖片，單擊“Next”進入圖片訓練過程。1.Create”界面FaceGen的使用

界面介紹在“Create”|“Generate”界面中，可根據(jù)界面中的選擇生成隨機三維人臉。種族（RacialGroup）、性別（Gender）的選擇框可以對生成人臉的種族與性別進行選擇；“RandomVariance”調節(jié)框中可以進行人臉對稱性等特征選擇。

操作說明單擊“Random”按鈕，軟件根據(jù)所選種族、性別以及人臉對稱性等特征生成隨機三維人臉；單擊“Average”，根據(jù)種族和性別生成的平均對稱三維人臉，如圖所示。1.Create”界面FaceGen的使用2.“Modify”界面“Modify”|“Demographics”界面的功能是對訓練后對三維人臉特征信息進行調整和修改，是該軟件中使用頻次較多的界面，可對三維人臉模型的特征信息進行多方面調節(jié)，包括年齡、性別、種族、面部不對稱性甚至可以將生成的三維人臉模型漫畫化，并且可以調節(jié)生成漫畫人臉的色彩。Modify”|“Texture”界面，為生成的三維人臉模型提供添加面部皮膚紋理的功能。FaceGen的使用

界面介紹“Undo”界面中，“Undo”按鈕可撤銷對三維人臉面部信息的修改編輯，但是不能對紋理或者表達式進行撤銷；

操作說明“Redo”按鈕則可重復上次撤銷指令，但使用條件是在上次撤銷操作后，不能對三維人臉模型面部進行任何修改操作。3.“Undo”界面FaceGen的使用

界面介紹“View”|“Camera”界面可對相機的遠近進行調節(jié)，也就可以對三維人臉進行放大、縮小的操作?！癛esetCamera”按鈕可對相機位置進行復原，將相機位置恢復到默認狀態(tài)。View-Render是對背景的三原色進行調節(jié)，View-Lighting是對面部的三原色進行調節(jié)。4.“View”界面FaceGen的使用5.“Modify”界面“File”|“Face”界面（圖5-20）中，“SaveAs”按鈕可對目前生成的三維人臉模型進行保存，“Open”按鈕可以對之前保存的三維人臉模型進行導入操作?！癋ile”|“Export”界面（圖5-21）可根據(jù)生成的三維人臉模型進行面部、手臂、腿等全身部位的貼圖導出，以及三維人臉形變模型的導出。導出的全身貼圖和三維人臉形變模型將應用于真人版3D模型的建立。FaceGen的使用選擇適宜的光線進行照片拍攝，如果環(huán)境較暗，可以使用閃光燈進行照片拍攝；盡量選擇白色墻面或者單一色調的環(huán)境進行拍攝，這樣可以減少周圍環(huán)境對模型訓練的影響；拍攝照片時，人臉位置應在正中央的位置上，并確保正面照片拍攝時是五官全部露出的狀態(tài)，避免出現(xiàn)FaceGen中提示的錯誤照片形式，如反光、過于夸張的表情、戴眼鏡等非正常面部姿勢，側面拍照亦是如此。盡量根據(jù)FaceGen提示框中人物位置、姿勢去拍攝自己的正側面照片。1.人臉正側面圖片拍攝及處理FaceGen實現(xiàn)3D人臉重建2.人臉正側面圖片上傳及三維人臉模型訓練

下圖是進行上傳的人臉正側面圖片，如果想對拍攝的照片進行修飾與優(yōu)化，可以使用Photoshop對人臉照片進行編輯和完善。FaceGen實現(xiàn)3D人臉重建

選擇的人臉正、側面圖片組合為“正面-左側面”，單擊“LoadImage”按鈕進行面部圖片上傳，單擊“Next”按鈕，進入三維人臉模型訓練過程。

圖中右上方的人物面部提示對上傳的正側面人臉圖片進行特征點標記。如果上傳多張圖片，將對每張圖片中的人臉面部進行特征點標記。FaceGen實現(xiàn)3D人臉重建人臉正側面圖片上傳人臉正面圖片特征點選擇

單擊“Create”按鈕，進行三維人臉模型訓練；三維人臉模型訓練完成后，在界面左側框中顯示訓練結果，在“Modify”|“Demographics”界面可對訓練后的三維人臉模型進行調整。FaceGen實現(xiàn)3D人臉重建人臉側面圖片特征點選擇訓練3D人臉模型FaceGen實現(xiàn)3D人臉重建3D人臉模型特征調節(jié)

三維人臉模型訓練完成后，在界面左側框中顯示訓練結果，在“Modify”|“Demographics”界面可對訓練后的三維人臉模型進行調整。導出模型貼圖導出結果存儲路徑將三維人臉模型調節(jié)至與人臉照片相似時，可以將生成的三維人臉模型保存并導出三維人臉形變模型以及全身貼圖。導出后的結果為三維人臉形變模型的存儲路徑；為根據(jù)三維人臉模型生成的全身貼圖的存儲路徑。選擇“File”|“Export”|“Genesis8”|“Female/Male”，進入導出界面，將模型命名為“Demo”，單擊“Export”按鈕，導出并保存三維人臉形變模型以及全身貼圖。導出路徑導出路徑為DAZStudio的數(shù)據(jù)庫，需要結合DAZStudio的安裝與使用完成該操作，如果還未安裝DAZStudio，請先學習DAZStudio的安裝與使用。導出模型保存設置1模型貼圖2保存位置真人版3D模型制作二DAZStudio是DAZ3D公司出品的一款用于3D人物模型創(chuàng)建和渲染的軟件。起初，DAZ3D公司是為Poser開發(fā)大量可編輯三維人物造型庫，在逐漸積累造型庫開發(fā)的技術與經驗后，DAZ3D公司推出了一款專業(yè)的三維人物動畫設計軟件DAZStudio，自此專注于3D內容的發(fā)展，將內容與3D開發(fā)愛好者關聯(lián)起來，創(chuàng)建了產銷合一的市場，逐漸擴大自己的3D軟件產品。DAZStudioDAZStudioDAZStudio包含從基本角色和姿勢到初學者的教程，入門容易，操作簡便。無需建?；A，即使作為一名新手，也可以通過導入人物模型，輕松裝扮3D人物角色，創(chuàng)造出很有質感的3D人物模型。無論您是初學者，還是精通3D的藝術家，亦或是3D動畫師，DAZStudio都能讓您輕松創(chuàng)造出令人驚嘆的3D藝術。DAZStudio不僅支持本身的DZ格式，還集成了FBX，OBJ，Dae多種導出格式，方便導入Maya，3DMax，C4D，Unity3D。這一優(yōu)勢使DAZStudio可以實現(xiàn)多軟件交互，開發(fā)更精準。入門容易使用簡便DAZStudio功能強大多軟件交互開發(fā)更精準軟件優(yōu)勢提供3D人物創(chuàng)建高級平臺及渲染效果DAZStudio所提供的3D人物模型創(chuàng)建平臺是全新的Genesis系列數(shù)字平臺。Genesis系統(tǒng)為用戶提供創(chuàng)建數(shù)字變化的“無限集合”。DAZStudio采用DNASOFT公司的渲染技術，并支持業(yè)界著名的Renderman渲染器，從而提升渲染速度，增強渲染質量。軟件功能可編輯的骨骼系統(tǒng)DAZStudio擁有可以編輯的骨骼系統(tǒng)，大部分操作可以通過參數(shù)面板修改參數(shù)來控制人物模型的細節(jié)生成。如圖展示為3D人物模型的身材參數(shù)控制面板，用戶可以根據(jù)自己的需求，調節(jié)參數(shù)控制面板，將3D人物模型身材調節(jié)為理想模式。軟件功能服飾發(fā)型變化可改變的材質屬性DAZStudio允許用戶改變材質的屬性，可編輯的材質屬性包括表面顏色，表面貼圖，凹凸貼圖，透明貼圖，位移貼圖等。軟件功能獨特的藝術和動畫設計工具DAZStudio中為用戶提供虛擬人物、動物、道具、車輛、配件、環(huán)境等元素，用戶可以根據(jù)需求選擇相應主題、設置以及配置元素。完成主題設置，元素選擇后，結合光線效果設置，就可以創(chuàng)造出美麗的藝術品。軟件功能多軟件交互DAZStudio的安裝首先安裝DAZInstallManagerDAZStudio的安裝

在桌面雙擊DAZInstallManager應用程序圖標，打開DAZInstallManager應用窗口。出現(xiàn)的是登錄界面，在界面中輸入相應郵箱號（如“AIrobot@”），并勾選“WorkOffline”（離線登錄），單擊“Start”按鈕，進入DAZInstallManager。1.DAZManager的配置及使用DAZInstallManager登錄界面DAZStudio的安裝DAZStudio存儲路徑第一路徑：下載的素材安裝包的存放路徑第二路徑：素材安裝包的安裝路徑文件名稱可以根據(jù)自己的風格進行設置。在D盤創(chuàng)建名為“Daz”的文件夾，在“Daz”文件夾中創(chuàng)建“ku”和“xiazai”兩個文件夾?！皒iazai”文件夾中存放的是素材安裝包，“ku”文件夾則作為素材安裝包的安裝路徑，也是DAZStudio的素材庫。DAZStudio的安裝

路徑設置完成后，需要對DAZInstallManager的文件路徑進行配置?！霸O置”|“Downloads”，將PackageArchive的路徑設置為“D:/Daz/xiazai”，也就是素材安裝包的存放路徑。DAZStudio的安裝“設置”|“Installation”，在下方的庫目錄路徑中，單擊“+”按鈕，增加“D:/Daz/ku”路徑，并將原始路徑刪除，僅留下我們建立的新路徑。單擊“Accept”，應用設置，完成路徑配置。FaceGen中的全身貼圖保存路徑也是“D:/Daz/ku”，通過FaceGen生成的3D模型全身貼圖和三維人臉形變模型都保存到DAZStudio的素材庫中，以便在DAZStudio中使用，生成真人版3D模型。完成DAZStudio的安裝后，可在FaceGen導出界面進行三維人臉形變模型以及全身貼圖的導出操作。素材安裝包安裝路徑設置DAZStudio的安裝本書提供“Materialpackage”文件夾中包含開發(fā)所需素材及安裝包，將其拷貝到“D:/Daz/xiazai”目錄文件夾中。刷新或重啟DAZInstallManager軟件后，界面將顯示載入的素材安裝包。選中“Products”選擇框，選擇所有的安裝包，單擊“StartQueue”按鈕進行DAZStudio4.12以及素材安裝包的安裝。DAZStudio的安裝2.DAZSTUDIO的配置及使用DAZStudio4.12以及素材包通過DAZInstallManager進行安裝。DAZInstallManager執(zhí)行完成所有安裝包安裝任務后，可在桌面看到DAZStudio4.12的圖標。DAZStudio4.12DAZStudio的安裝

在桌面雙擊DAZStudio應用程序圖標，打開DAZStudio應用窗口。出現(xiàn)“登錄”對話框。在登錄界面中，選擇離線模式（WorkOffline）。打開DAZStudio后，還會要求登錄，再次選擇離線模式（WorkOffline），單擊“Next”按鈕，可進行昵稱輸入。勾選“Donotshowthisagain”選擇框，下次進入軟件時，就不會再彈出登錄界面。DAZStudio4.12登錄界面DAZStudio的安裝修正庫路徑，選擇“Edit”|“Preferences”或直接按“F2”鍵，進入Preferences界面。選擇“Preferences”|“Content”，單擊“ContentDirectoryManager”按鈕。庫路徑修正界面DAZStudio的安裝進入ContentDirectoryManager界面，這里有四個目錄：第一個為系統(tǒng)默認目錄，無需修改；單擊側邊欄“Add”按鈕，在其中添加“D:/Daz/ku”路徑，此路徑與DAZInstallManager設置的庫目錄路徑一致即可。在修改路徑的三個目錄中，出現(xiàn)的其他路徑可以進行刪除操作也可以保留。單擊“Accept”按鈕，返回Preference界面，單擊“Apply”按鈕完成庫路徑修改設置。庫路徑配置界面DAZStudio的使用DAZStudio素材庫中包含基礎人物、服飾、姿態(tài)以及場景，使用部分主要對人物、服飾以及基礎操作進行介紹。（1）人物、服飾首先在界面左側邊框選擇“ContentLibrary”，這里展示的素材都是通過DAZInstallManager進行安裝的素材包，其中包含人物（People）、場景（Scenes）、環(huán)境（Environments）、燈光預設（LightPresets）等。DAZStudio界面DAZStudio的使用人物（People）中又包含了男性和女性的素材庫，最為常用的是“Genesis8Female/Male”素材庫。以Genesis8Female為例，該庫中包含了女性人物角色（Characters）、服裝（Clothing）、發(fā)型（Hair）以及動作（Poses）等。

人物素材庫Genesis8Female人物素材庫DazStudio的使用選擇“Genesis8Female”|“Characters”，展示人物角色，雙擊其中任一角色，可將3D人物角色載入“Viewport”。單擊人物，選擇“Clothing”|“BasicWear”，雙擊服飾就可為3D人物穿上這套服裝。為人物增加發(fā)型的操作與穿衣操作一直，我們選擇Hair-ToulouseHair，雙擊發(fā)型可為3D人物增加發(fā)型裝飾。增加發(fā)型裝飾DazStudio的使用更換人物發(fā)色的操作：首先進入界面右上方場景面板，選中的人物角色節(jié)點“VWEAsianCho”，雙擊打開。選擇“VWEAsianCho”|“ToulouseHair”，在“ToulouseHair”|“Materials”|“ToXic”|“Hair01”，雙擊選擇發(fā)色，完成人物發(fā)色的更換。服飾顏色及材質的更換也是如此，首先需要在人物節(jié)點中選中需要進行顏色或材質更換的服裝，再雙擊選擇更換的材質顏色，進行服裝顏色更換。DazStudio的使用以Genesis8Female的人物角色更換Genesis3Female中的服飾作為示例進行詳細介紹。首先選擇人物角色節(jié)點“VWEAsianCho”，選擇“Genesis3Female”|“Clothing”|“DarkStorm”，雙擊服飾，出現(xiàn)“Auto-Fit”對話框?！癆uto-Fit”對話框可以根據(jù)用戶回答，對不同的基礎模型進行素材的自動適配。不同角色服飾自動適配DazStudio的使用“Auto-Fit”對話框中，“Whatfigurewastheitemoriginallydesignedfor?”是詢問適配的基礎人物，選擇該素材的原本適配人物，這里選擇Genesis3Female；“Whattypeofitemisit?”是詢問該素材的類型，這里選擇“Full-Body”，單擊“Accept”按鈕進行應用。選擇不同基礎角色、不同類型的服飾都可以通過“Auto-Fit”自適應素材修正框中進行自動適配。服飾自動修正后的人物角色整體展示如圖。服裝適配后的人物角色展示DazStudio的使用快捷鍵實現(xiàn)功能Ctrl+Alt+鼠標左鍵旋轉視圖Ctrl+Alt+鼠標右鍵移動視圖鼠標滑輪縮放視圖Ctrl+↑/↓/←/→人物后視圖/前視圖/右視圖/左視Alt+↑/↓人物頂視圖/底視圖W/S/A/D前進/后退/左移/右移視圖I/K/J/L前進/后退/左移/右移攝像機Ctrl+1/2/3/4/5/6/7/8/9/0切換顯示模式Ctrl+F定位所選對象Ctrl+P默認透視視圖Ctrl+L開/關燈DAZStudio快捷鍵：DazStudio的使用PerspectiveView（圖左）可以進行視圖選?。伙@示模式（圖右），可進行顯示模式切換。面板圖標：顯示模式切換操作DazStudio的使用

3D人物模型的渲染、保存與導出：3D人物模型渲染操作，選擇“Render”|“Render”（Ctrl+R），進行渲染。因為沒有加入燈光，所以渲染結果展示圖中人物皮膚有些發(fā)黑。渲染圖片取名為“Demo”，單擊“Save”按鈕，即可保存渲染圖片。3D人物模型渲染操作

渲染結果展示DazStudio的使用制作好的模型保存步驟為：“Genesis8Female”|“Characters”，單擊Characters面板下方“+”按鈕，選擇“CharactersPreset…”，進行命名，單擊“保存”按鈕，在“CharactersPresetSaveOpti…”彈出框中單擊“Accept”按鈕，完成模型保存。可在Characters面板中看到保存模型的預覽圖，保存模型的目的是方便在DAZStudio直接取用制作好的模型，并可對該模型進行使用和修改。DazStudio的使用DAZStudio模型保存：DAZStudio所建立的3D模型可導出為FBX形式，具體操作為：選擇“File”|“Export”，對模型進行命名，單擊“保存”按鈕，導出FBX模型。FBX模型可以更好地應用于其他軟件中。DazStudio生成真人3D版模型選擇“Genesis8Female”|“Genesis8BasicFemale”，雙擊“Genesis8BasicFemale”導入Genesis8Female基礎人物角色，并選擇服裝和發(fā)型。服裝選擇路徑為“Genesis8Female”|“Clothing”|“Crocodile”|“Hanfu”，為基礎人物角色選擇漢服服裝，服裝可以更換顏色和材質，具體操作請見DAZStudio的使用。1.Genesis8Female基礎人物角色導入Genesis8Female基礎模型完成服飾與發(fā)型的選擇發(fā)型選擇“Genesis8Female”|“Hair”|“ToulouseHair”，選擇人物節(jié)點“Genesis8Female”|“ToulouseHair”，并在“Genesis8Female”|“Hair”|“Materials-ToXic”雙擊選擇“Hair01”，改變人物發(fā)色。DazStudio生成真人3D版模型人物發(fā)色更換基礎人物模型展示2.導入FaceGen生成的三維人臉形變模型在場景面板中選擇人物節(jié)點“Genesis8Female”，右下方編輯控制界面中，側邊選擇“Shaping”，進入Shaping面板，在搜索框中搜索“Demo”，單擊“Head”，右側邊欄中“Demo”的展示條顯示為“0”，將其拉到“100%”，Genesis8Female基礎人物模型載入“Demo”三維人臉形變模型。DazStudio生成真人3D版模型三維人臉形變模型導入操作DAZStudio模型保存：載入“Demo”三維人臉形變模型后的3D人物模型展示，相比較照片人物的真實度略低，下一步將載入FaceGen生成的三維模型全身貼圖。DazStudio生成真人3D版模型導入三維人臉形變模型人物模型展示3.導入FaceGen生成的全身貼圖界面右下方編輯控制界面中，選擇“Surface面板”|“Genesis8Female”|“Surface”|“Face”|“BaseColor”，單擊貼圖框，出現(xiàn)選擇列表，單擊“Browse”進行面部貼圖選擇。FaceGen全身貼圖導出的位置為“D:\DAZ\ku\Runtime\Textures\FaceGen\Genesis8F\Demo\Demo_*”，根據(jù)貼圖存儲路徑進入“Demo”文件夾，選擇其中的臉部貼圖“Demo_face.jpg”，單擊“打開”按鈕，基礎角色的Face就被賦予通過FaceGen生成的面部貼圖。DazStudio生成真人3D版模型人物面部貼圖操作選擇面部貼圖除了Fa