虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論 課件 第6章 Unity開(kāi)發(fā)實(shí)例-VR電力仿真培訓(xùn)系統(tǒng)

虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論第6章Unity開(kāi)發(fā)實(shí)例——VR電力仿真培訓(xùn)系統(tǒng)本講大綱6.1Unity簡(jiǎn)介6.2

VR電力仿真培訓(xùn)系統(tǒng)設(shè)計(jì)6.3

VR電力仿真培訓(xùn)系統(tǒng)實(shí)現(xiàn)6.1Unity簡(jiǎn)介Unity3D優(yōu)勢(shì)及特點(diǎn)Unity一次開(kāi)發(fā)即可針對(duì)iPhone、Android、Web、Windows、MacOSX、Wii、PS3、XBox360的平臺(tái)直接輸出產(chǎn)品，而無(wú)需進(jìn)行二次開(kāi)發(fā)和移植。Unity系統(tǒng)概述Unity系統(tǒng)組成系統(tǒng)由應(yīng)用層、展示層、業(yè)務(wù)層、數(shù)據(jù)設(shè)計(jì)、數(shù)據(jù)層以及基礎(chǔ)層6部分組成。Unity開(kāi)發(fā)流程Unity開(kāi)發(fā)特點(diǎn)高逼真感渲染引擎延遲渲染內(nèi)置shader統(tǒng)一的著色系統(tǒng)全屏后處理效果表面著色渲染底層接管控制動(dòng)態(tài)貼圖融合高效的光影圖、創(chuàng)建和控制全局照明、天空燈、以及自定義的發(fā)光材質(zhì)逼真的自然景觀(guān)。地形、樹(shù)木、灌木、巖石物理引擎NVIDIA?PhysX?次世代物理引擎，生動(dòng)真實(shí)的模擬現(xiàn)實(shí)物理現(xiàn)象布料模擬互動(dòng)性質(zhì)的布皮膚性質(zhì)的布柔體物理體剛體物理體關(guān)節(jié)模擬車(chē)輪運(yùn)動(dòng)模擬開(kāi)發(fā)方式Unity3D操作極為簡(jiǎn)單、直觀(guān)，操作基本上和主流的3D軟件一致。在程序方面使用自帶的MoNoDevelop編輯器，使用C#或者JavaScript等高級(jí)語(yǔ)言實(shí)現(xiàn)腳本功能，使作為開(kāi)發(fā)者來(lái)說(shuō)無(wú)需掌握底層復(fù)雜的腳本語(yǔ)言。即使不使用腳本開(kāi)發(fā)也能快速的開(kāi)發(fā)出具有高性能、高品質(zhì)的游戲以及虛擬現(xiàn)實(shí)的產(chǎn)品。工程向?qū)姘骞こ涛募篣nity工程文件中存儲(chǔ)了我們開(kāi)發(fā)游戲所需要的資源、場(chǎng)景等相關(guān)資源。當(dāng)我們打開(kāi)Unity的時(shí)候，會(huì)出現(xiàn)ProjectWizad面板。這里是要求我們創(chuàng)建一個(gè)工程文件。工程文件存儲(chǔ)地址需要導(dǎo)入的資源包Unity編輯器結(jié)構(gòu)編輯器中的5大視圖：Project視圖、Hierarchy視圖、Inspector視圖、Sence視圖Game視圖以及標(biāo)題欄、菜單欄和工具欄。Sence視圖Game視圖Hierarchy視圖Project視圖Inspector視圖標(biāo)題欄菜單欄工具欄Unity腳本Unity支持：JavaScript，C＃和PythonBOO。這三種語(yǔ)言的運(yùn)行效率一樣的快速。并且都支持?jǐn)?shù)據(jù)庫(kù)，正則表達(dá)式，XML，網(wǎng)絡(luò)函數(shù)庫(kù)的開(kāi)發(fā)。腳本與Unity中其他組件相同，都必須綁定在游戲?qū)ο笾胁拍軋?zhí)行它的生命周期。Unity中默認(rèn)使用的是MonoDevelop腳本編輯器，同時(shí)我們也可以選擇其他常用的腳本編輯器進(jìn)行腳本編寫(xiě)。例如：MicrosoftVisualStudio系列等。選擇Edit-Preferences-ExternalTools，點(diǎn)擊Browes即可選擇其他腳本編輯器。C#面向?qū)ο缶幊痰乃枷敫臃蟯nity引擎原理并且與大多流行插件、硬件可以進(jìn)行完美對(duì)接。所以在日常開(kāi)發(fā)過(guò)程中大多使用C#語(yǔ)言進(jìn)行開(kāi)發(fā)。接下來(lái)我們將以C#語(yǔ)言對(duì)unity腳本進(jìn)行講解。基于繪制引擎的VR應(yīng)用程序(漫游)構(gòu)造過(guò)程場(chǎng)景數(shù)據(jù)庫(kù)模型加載模型控制面及控制參數(shù)非碰撞實(shí)體表面定義場(chǎng)景調(diào)度

碰撞檢測(cè)地形匹配實(shí)體操縱輸入映射與解釋

狀態(tài)設(shè)置

視點(diǎn)控制

交互設(shè)計(jì)

二維地圖

特殊效果外部輸入DOF實(shí)體約束

系統(tǒng)狀態(tài)控制機(jī)制外部輸入（包括各種傳感器輸入及可能的網(wǎng)絡(luò)命令等）狀態(tài)設(shè)置：用于定制漫游系統(tǒng)，在漫游過(guò)程中打開(kāi)/關(guān)閉漫游引擎提供的某些功能，包括設(shè)置特殊效果以及是否使用二維地圖向?qū)?。視點(diǎn)控制：控制漫游系統(tǒng)中觀(guān)察相機(jī)的運(yùn)動(dòng)，在相機(jī)運(yùn)動(dòng)的過(guò)程中，完成場(chǎng)景調(diào)度控制、碰撞檢測(cè)與響應(yīng)、地形匹配等功能。交互設(shè)計(jì)：在漫游過(guò)程中進(jìn)行簡(jiǎn)單的虛擬場(chǎng)景動(dòng)態(tài)交互設(shè)計(jì)。實(shí)體操縱：對(duì)虛擬環(huán)境中的實(shí)體實(shí)施選擇、操縱。如開(kāi)/關(guān)門(mén)窗等。漫游引擎的狀態(tài)機(jī)制通用漫游框架中定義的絕大多數(shù)功能都被定義為可選擇項(xiàng)，也就是說(shuō)，漫游者可以根據(jù)自己的需要打開(kāi)或關(guān)閉某些功能，如開(kāi)/關(guān)霧化效果、開(kāi)/關(guān)二維地圖、決定是否進(jìn)行碰撞檢測(cè)、選擇透明處理方式等。另一方面，漫游者還可以對(duì)漫游系統(tǒng)的初始狀態(tài)進(jìn)行設(shè)置，比如觀(guān)察相機(jī)的初始位置、相機(jī)行進(jìn)的速度步長(zhǎng)、轉(zhuǎn)角的步長(zhǎng)、系統(tǒng)模擬的氣候條件（晴、多云、陰）、時(shí)段（早晨、中午、傍晚）等。輸入設(shè)備映射鍵盤(pán)鼠標(biāo)游戲桿步行器傳感器用戶(hù)控制指令視點(diǎn)控制相機(jī)運(yùn)動(dòng)參數(shù)映射解釋視點(diǎn)控制模型walker_heighteye_height行走相機(jī)觀(guān)察相機(jī)v_p1v_p0v_p2w_p1w_p0w_p2step-step

漫游引擎的狀態(tài)機(jī)制場(chǎng)景調(diào)度控制碰撞檢測(cè)與響應(yīng)地形匹配技術(shù)二維地圖漫游向?qū)б勒沼?jì)算機(jī)圖形學(xué)正投影的原理，將三維場(chǎng)景模型“壓縮”到一個(gè)平面上，然后運(yùn)用相機(jī)資源，實(shí)現(xiàn)地圖的顯示、縮放以及二維與三維視點(diǎn)的同步運(yùn)動(dòng)基于霧化效果的恒定幀頻技術(shù)6.2VR電力仿真培訓(xùn)系統(tǒng)設(shè)計(jì)應(yīng)用層及展示層應(yīng)用層采用主流PC主機(jī)和HTC或HP主流VR頭顯產(chǎn)品。主要完成以下功能：培訓(xùn)人員通過(guò)學(xué)習(xí)模式觀(guān)看視頻、文檔資料學(xué)習(xí)電力知識(shí)，通過(guò)訓(xùn)練模式在VR虛擬場(chǎng)景中進(jìn)行電力操作培訓(xùn)，同時(shí)具有對(duì)培訓(xùn)人員進(jìn)行電力知識(shí)及操作考核的功能，所有信息均載入數(shù)據(jù)庫(kù)，以方便管理員及教練實(shí)時(shí)查詢(xún)信息并管理。展示層采用Unity渲染管線(xiàn)技術(shù)和PBR（PhysicallyBasedRendering）物理渲染流程，構(gòu)建一種高度沉浸式的體驗(yàn)，使培訓(xùn)人員置身于虛擬環(huán)境中進(jìn)行虛擬訓(xùn)練。業(yè)務(wù)層和數(shù)據(jù)表單設(shè)計(jì)業(yè)務(wù)層由以下6個(gè)模塊構(gòu)成。教員端。供教練或培訓(xùn)導(dǎo)師使用，用于創(chuàng)建、管理和監(jiān)控培訓(xùn)課程；學(xué)員端。供學(xué)員學(xué)習(xí)、培訓(xùn)、考試使用；VR培訓(xùn)端。VR培訓(xùn)的主要內(nèi)容和學(xué)習(xí)體驗(yàn)；VR考試端。通過(guò)VR考試評(píng)估學(xué)員的知識(shí)和技能；系統(tǒng)后臺(tái)。用于管理整個(gè)平臺(tái)的運(yùn)行和配置；系統(tǒng)日志。用于記錄系統(tǒng)操作、用戶(hù)活動(dòng)和錯(cuò)誤日志。數(shù)據(jù)層和基礎(chǔ)層數(shù)據(jù)層采用MySQL數(shù)據(jù)庫(kù)以及UnityRPC（RemoteProcedureCall）技術(shù)。MySQL是一種流行的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，適用于中小規(guī)模應(yīng)用程序和項(xiàng)目。Unity中，RPC允許不同的游戲?qū)ο笤诰W(wǎng)絡(luò)上進(jìn)行通信和交互。通過(guò)使用Unity的網(wǎng)絡(luò)功能，可以在多個(gè)客戶(hù)端之間發(fā)送RPC消息?；A(chǔ)層采用SteamVR和VRTK（VirtualRealityToolkit）工具包。SteamVR是由ValveCorporation開(kāi)發(fā)，支持多種虛擬現(xiàn)實(shí)頭顯和控制器。VRTK是使用Unity進(jìn)行VR交互開(kāi)發(fā)的工具，它包含交互組件、導(dǎo)航工具、事件系統(tǒng)和多平臺(tái)支持。Unity資源主要包括UI、場(chǎng)景、模型、貼圖、材質(zhì)、動(dòng)畫(huà)、特效、字體等。場(chǎng)景與模型首先，使用3D建模工具（如Blender、Maya、3dsMax等）創(chuàng)建場(chǎng)景，在建模前應(yīng)設(shè)置好單位，確定模型比例，同時(shí)場(chǎng)景搭建還應(yīng)考慮燈光、陰影效果、渲染管線(xiàn)等因素，使場(chǎng)景更真實(shí)。其次，創(chuàng)建斗臂車(chē)、檢測(cè)儀、絕緣手套等需要進(jìn)行交互的3D模型，模型應(yīng)包括所有必要的部件和細(xì)節(jié)，模型的紋理、貼圖和材質(zhì)需符合制作規(guī)范，參考現(xiàn)實(shí)模型，以便在虛擬現(xiàn)實(shí)中逼真地展示。動(dòng)畫(huà)創(chuàng)建斗臂車(chē)控制動(dòng)畫(huà)，以實(shí)現(xiàn)其運(yùn)動(dòng)和操作。使用3D動(dòng)畫(huà)軟件（如Blender、Maya、3dsMax等）或Unity動(dòng)畫(huà)系統(tǒng)實(shí)現(xiàn)動(dòng)畫(huà)效果。6.3VR電力仿真培訓(xùn)系統(tǒng)實(shí)現(xiàn)動(dòng)畫(huà)創(chuàng)建Unity項(xiàng)目，導(dǎo)入VR開(kāi)發(fā)工具包，設(shè)置工程導(dǎo)入美術(shù)資源并進(jìn)行分類(lèi)管理搭建程序框架進(jìn)行開(kāi)發(fā)“斷分支引流線(xiàn)作業(yè)”仿真模塊開(kāi)發(fā)需求分析：模擬電力操作人員在戶(hù)外環(huán)境下通過(guò)控制電力專(zhuān)用絕緣斗臂車(chē)完成斷分支線(xiàn)路引流線(xiàn)作業(yè)。連接絕緣斗臂車(chē)地線(xiàn)。培訓(xùn)人員走進(jìn)絕緣斗臂車(chē)的控制臺(tái)，撥動(dòng)斗臂車(chē)控制臺(tái)上相應(yīng)開(kāi)關(guān)，緩慢放下腳撐，直到所有腳撐全部撐住地面；培訓(xùn)人員走進(jìn)斗臂車(chē)地線(xiàn)放置點(diǎn)，拉拽地線(xiàn)的插入端，將其插入附近樹(shù)旁邊的土壤里面。防護(hù)工具絕緣性測(cè)試及穿戴防護(hù)工具。培訓(xùn)人員走進(jìn)放置工具的絕緣布，拿起絕緣性測(cè)試儀左右兩個(gè)測(cè)試端，依次檢測(cè)防護(hù)手套、防護(hù)服、防護(hù)鞋、測(cè)距桿、遮蔽罩、操縱桿、線(xiàn)夾桿等工具的絕緣性，確認(rèn)是否滿(mǎn)足絕緣性需求；穿戴防護(hù)服、防護(hù)靴，然后檢查防護(hù)手套氣密性，確認(rèn)合格后穿戴防護(hù)手套。在指定環(huán)境下進(jìn)行斷分支引流線(xiàn)操作。培訓(xùn)人員拿起剝線(xiàn)器，在分路位置用剝線(xiàn)器進(jìn)行剝線(xiàn)，剝線(xiàn)完成后放回剝線(xiàn)器；拿取線(xiàn)夾，夾在剝線(xiàn)的位置；拿一根導(dǎo)線(xiàn)，完成分支路引流線(xiàn)的安裝。開(kāi)發(fā)過(guò)程根據(jù)需求選擇Unity版本，設(shè)置為3D模式，輸入項(xiàng)目名稱(chēng)和保存位置，單擊Createproject按鈕創(chuàng)建Unity項(xiàng)目。開(kāi)發(fā)過(guò)程右擊Project面板，依次單擊ImportPackage、CustomPackage選項(xiàng)，導(dǎo)入VR開(kāi)發(fā)工具包，或在Unity商店下載、導(dǎo)入VR開(kāi)發(fā)工具包。開(kāi)發(fā)過(guò)程單擊菜單欄Edit->ProjectSetting->Player打開(kāi)設(shè)置面板，設(shè)置項(xiàng)目基本信息，根據(jù)需求勾選VirtualRealitySupported。使用UGUI系統(tǒng)搭建UI界面搭建程序框