基于虛擬現(xiàn)實(shí)技術(shù)的體驗(yàn)式學(xué)習(xí)系統(tǒng)實(shí)踐研究獲獎(jiǎng)科研報(bào)告

基于虛擬現(xiàn)實(shí)技術(shù)的體驗(yàn)式學(xué)習(xí)系統(tǒng)實(shí)踐研究獲獎(jiǎng)科研報(bào)告摘要：課題是研究一個(gè)基于虛擬現(xiàn)實(shí)技術(shù)的體驗(yàn)式學(xué)習(xí)系統(tǒng)，系統(tǒng)開發(fā)使用3Dmax、Unity3D、JavaScript、C#、MySQL等工具和技術(shù)，設(shè)計(jì)體驗(yàn)式虛擬現(xiàn)實(shí)學(xué)習(xí)系統(tǒng)的具體功能模塊和體驗(yàn)式學(xué)習(xí)演示場(chǎng)景。通過(guò)頭戴式虛擬現(xiàn)實(shí)顯示器、頭戴式3D手勢(shì)輸入設(shè)備、微型主機(jī)等組件組合便攜式體感硬件系統(tǒng)，并通過(guò)系統(tǒng)測(cè)試驗(yàn)證基于虛擬現(xiàn)實(shí)技術(shù)的體驗(yàn)式學(xué)習(xí)系統(tǒng)的開發(fā)成果。

引言：

嘗試通過(guò)虛擬現(xiàn)實(shí)技術(shù)建立一個(gè)學(xué)習(xí)者可以便捷使用的、具有浸入式體驗(yàn)感的虛擬空間場(chǎng)景學(xué)習(xí)系統(tǒng)。該系統(tǒng)建立在對(duì)虛擬現(xiàn)實(shí)技術(shù)、體驗(yàn)式學(xué)習(xí)理論、體感捕捉技術(shù)、圖形圖像渲染引擎研究與應(yīng)用、虛擬現(xiàn)實(shí)成像技術(shù)、人體工程學(xué)、游戲開發(fā)等多個(gè)方面學(xué)科的綜合研究。研究實(shí)現(xiàn)一種全新的體驗(yàn)式學(xué)習(xí)方式，通過(guò)計(jì)算機(jī)虛擬各種場(chǎng)景和互動(dòng)方式來(lái)建立直觀的、逼真的、感同身受的學(xué)習(xí)經(jīng)歷體驗(yàn)。并通過(guò)這種偽真實(shí)的體驗(yàn)來(lái)加深學(xué)習(xí)記憶，起到快速學(xué)習(xí)的目的，是和傳統(tǒng)課堂學(xué)習(xí)完全不同的學(xué)習(xí)形式和教育的方法。

研究具體要解決的問題總結(jié)如下：

1、研究建立三維虛擬現(xiàn)實(shí)環(huán)境的操控技術(shù)

研究實(shí)現(xiàn)角色在虛擬現(xiàn)實(shí)場(chǎng)景的自由運(yùn)動(dòng)和UI操作以及物體觸碰等控制。研究實(shí)現(xiàn)手勢(shì)控制，通過(guò)三維傳感器對(duì)使用者手部動(dòng)作進(jìn)行捕捉，匹配預(yù)設(shè)的動(dòng)作模型來(lái)識(shí)別手勢(shì)命令。研究計(jì)算機(jī)通過(guò)三維手勢(shì)傳感器捕捉使用者手勢(shì)數(shù)據(jù)，來(lái)實(shí)現(xiàn)虛擬現(xiàn)實(shí)操控，研究結(jié)合虛擬現(xiàn)實(shí)設(shè)備實(shí)現(xiàn)在虛擬三維場(chǎng)景中的計(jì)算機(jī)操控。研究實(shí)現(xiàn)多種三維虛擬現(xiàn)實(shí)場(chǎng)景的虛擬物體碰撞代替?zhèn)鹘y(tǒng)計(jì)算機(jī)系統(tǒng)的二維界面和元素。

2、研究建立便攜式的虛擬現(xiàn)實(shí)體感系統(tǒng)

研究使用頭戴式虛擬現(xiàn)實(shí)顯示器、頭戴式3D手勢(shì)輸入設(shè)備、微型主機(jī)等設(shè)備構(gòu)建可便攜式體感系統(tǒng)，使用者可通過(guò)設(shè)備穿戴或便攜輕松使用該套系統(tǒng)。通過(guò)微型主機(jī)WIFI聯(lián)網(wǎng)模塊形成和服務(wù)器的數(shù)據(jù)交換。研究實(shí)現(xiàn)同一虛擬場(chǎng)景多個(gè)使用者交互。

3、研究實(shí)現(xiàn)基于系統(tǒng)上的體驗(yàn)式學(xué)習(xí)場(chǎng)景

研究融合式虛擬現(xiàn)實(shí)技術(shù)，實(shí)現(xiàn)體驗(yàn)式學(xué)習(xí)場(chǎng)景應(yīng)用。研究在虛擬現(xiàn)實(shí)基礎(chǔ)系統(tǒng)上，實(shí)現(xiàn)體驗(yàn)式學(xué)習(xí)場(chǎng)景應(yīng)用的開發(fā)，結(jié)合基礎(chǔ)系統(tǒng)功能實(shí)現(xiàn)體驗(yàn)式學(xué)習(xí)。研究全面融合游戲?qū)W習(xí)、體感學(xué)習(xí)理念，研究從學(xué)習(xí)的本質(zhì)入手，顛覆傳統(tǒng)課堂學(xué)習(xí)形式，建立全新的感官學(xué)習(xí)體驗(yàn)。

研究過(guò)程與目標(biāo)：

1、建立一種體感式學(xué)習(xí)的方法

課題研究融合虛擬現(xiàn)實(shí)技術(shù)，實(shí)現(xiàn)體驗(yàn)式學(xué)習(xí)場(chǎng)景應(yīng)用。在虛擬現(xiàn)實(shí)基礎(chǔ)系統(tǒng)上，實(shí)現(xiàn)體驗(yàn)式學(xué)習(xí)場(chǎng)景應(yīng)用的開發(fā)，結(jié)合基礎(chǔ)系統(tǒng)功能實(shí)現(xiàn)體驗(yàn)式學(xué)習(xí)。研究融合游戲?qū)W習(xí)、體感學(xué)習(xí)理念，從學(xué)習(xí)的本質(zhì)入手，顛覆傳統(tǒng)課堂學(xué)習(xí)形式，建立全新的感官學(xué)習(xí)體驗(yàn)。并研究通過(guò)三維虛擬現(xiàn)實(shí)環(huán)境的操控技術(shù)，實(shí)現(xiàn)角色在虛擬現(xiàn)實(shí)場(chǎng)景的自由運(yùn)動(dòng)和UI操作以及物體觸碰等控制。實(shí)現(xiàn)手勢(shì)控制，通過(guò)三維傳感器對(duì)使用者手部動(dòng)作進(jìn)行捕捉，匹配預(yù)設(shè)的動(dòng)作模型來(lái)識(shí)別手勢(shì)命令。

2、建立一個(gè)軟硬件兼?zhèn)涞耐暾摂M現(xiàn)實(shí)體驗(yàn)學(xué)習(xí)系統(tǒng)方案

系統(tǒng)研究一種便攜式的基于虛擬現(xiàn)實(shí)和互聯(lián)網(wǎng)的體感系統(tǒng)，包括頭戴式顯示器、頭戴式陀螺儀、頭戴式3D手勢(shì)體感器、微型主機(jī)以及附件組成。頭戴式顯示器用于顯示三維虛擬場(chǎng)景，頭戴式陀螺儀用于定位頭戴式設(shè)備方向和水平仰角;頭戴式3D手勢(shì)體感器用于定位人體手的空間位置;微型主機(jī)用于處理輸入和輸出信息及存儲(chǔ)體感軟件。系統(tǒng)設(shè)計(jì)了一種計(jì)算機(jī)操作系統(tǒng)，更具體地說(shuō)涉及一種基于三維手勢(shì)體感的計(jì)算機(jī)操作系統(tǒng)，計(jì)算機(jī)通過(guò)三維手勢(shì)傳感器捕捉使用者手勢(shì)數(shù)據(jù)，來(lái)實(shí)現(xiàn)虛擬現(xiàn)實(shí)操控;結(jié)合虛擬現(xiàn)實(shí)設(shè)備實(shí)現(xiàn)在虛擬三維場(chǎng)景中的計(jì)算機(jī)操控;實(shí)現(xiàn)多種三維虛擬現(xiàn)實(shí)場(chǎng)景的虛擬物體碰撞代替?zhèn)鹘y(tǒng)計(jì)算機(jī)系統(tǒng)的二維界面和元素。系統(tǒng)建立了一個(gè)軟硬件完備的虛擬現(xiàn)實(shí)體驗(yàn)學(xué)習(xí)系統(tǒng)。

3、課題開發(fā)一個(gè)基于系統(tǒng)技術(shù)的教育內(nèi)容演示

系統(tǒng)開發(fā)一個(gè)K12教育階段的數(shù)學(xué)速算教學(xué)內(nèi)容“數(shù)字王國(guó)”。內(nèi)容演示部分開發(fā)內(nèi)容場(chǎng)景、內(nèi)容關(guān)卡、內(nèi)容邏輯、內(nèi)容情節(jié)等。內(nèi)容場(chǎng)景包括數(shù)字王國(guó)場(chǎng)景和太空飛船場(chǎng)景。內(nèi)容關(guān)卡包括速算關(guān)卡和練習(xí)關(guān)卡，內(nèi)容邏輯包括學(xué)習(xí)邏輯和測(cè)試邏輯，內(nèi)容情節(jié)包括數(shù)據(jù)魔術(shù)情節(jié)和用戶游歷地圖發(fā)現(xiàn)關(guān)卡。

4、課題實(shí)現(xiàn)VR虛擬場(chǎng)景內(nèi)的虛擬操控技術(shù)

系統(tǒng)實(shí)現(xiàn)計(jì)算機(jī)通過(guò)三維手勢(shì)傳感器捕捉使用者手勢(shì)數(shù)據(jù)，來(lái)實(shí)現(xiàn)虛擬現(xiàn)實(shí)操控。并實(shí)現(xiàn)結(jié)合虛擬現(xiàn)實(shí)設(shè)備實(shí)現(xiàn)在虛擬三維場(chǎng)景中的計(jì)算機(jī)操控，實(shí)現(xiàn)多種三維虛擬現(xiàn)實(shí)場(chǎng)景的虛擬物體碰撞代替?zhèn)鹘y(tǒng)計(jì)算機(jī)系統(tǒng)的二維界面和元素的具體技術(shù)。

5、課題實(shí)現(xiàn)VR設(shè)備的可穿戴技術(shù)

課題實(shí)現(xiàn)通過(guò)頭戴式虛擬現(xiàn)實(shí)顯示器、頭戴式3D手勢(shì)輸入設(shè)備、微型主機(jī)等組件構(gòu)成的可便攜式體感系統(tǒng)，使用者可通過(guò)設(shè)備穿戴或便攜輕松使用該套系統(tǒng)。并且可以通過(guò)微型主機(jī)WIFI聯(lián)網(wǎng)模塊形成和服務(wù)器的數(shù)據(jù)交換。通過(guò)使用手勢(shì)即可進(jìn)行場(chǎng)景內(nèi)的虛擬操作。實(shí)現(xiàn)同一虛擬場(chǎng)景多個(gè)使用者互動(dòng)。

研究結(jié)果與社會(huì)效益

1、通過(guò)課題研究過(guò)程建立黑龍江財(cái)經(jīng)學(xué)院虛擬現(xiàn)實(shí)實(shí)驗(yàn)室

課題研究通過(guò)黑龍江財(cái)經(jīng)學(xué)院藝術(shù)系和哈爾濱寰維科技發(fā)展有限公司合作完成，黑龍江財(cái)經(jīng)學(xué)院藝術(shù)系研究團(tuán)隊(duì)主要負(fù)責(zé)虛擬現(xiàn)實(shí)學(xué)習(xí)內(nèi)容的開發(fā)，哈爾濱寰維科技發(fā)展有限公司主要負(fù)責(zé)虛擬現(xiàn)實(shí)技術(shù)公關(guān)和系統(tǒng)開發(fā)。雙方建立基于黑龍江財(cái)經(jīng)學(xué)院文化創(chuàng)意產(chǎn)業(yè)學(xué)院的項(xiàng)目研究實(shí)驗(yàn)室，長(zhǎng)期從事課題的研究和成果轉(zhuǎn)化。

2、設(shè)計(jì)并實(shí)現(xiàn)一種便攜式虛擬現(xiàn)實(shí)學(xué)習(xí)系統(tǒng)

課題研究領(lǐng)域涉及虛擬現(xiàn)實(shí)技術(shù)、體驗(yàn)式學(xué)習(xí)理論、體感捕捉技術(shù)、圖形圖像渲染引擎研究與應(yīng)用、虛擬現(xiàn)實(shí)成像技術(shù)、人體工程學(xué)、游戲開發(fā)等多個(gè)方面學(xué)科。課題結(jié)合虛擬現(xiàn)實(shí)技術(shù)的發(fā)展趨勢(shì)和體驗(yàn)式學(xué)習(xí)的方式與應(yīng)用研究，實(shí)現(xiàn)一種全新的體驗(yàn)式學(xué)習(xí)方式，通過(guò)計(jì)算機(jī)虛擬各種場(chǎng)景和互動(dòng)方式來(lái)建立直觀的、逼真的、感同身受的學(xué)習(xí)經(jīng)歷體驗(yàn)。

系統(tǒng)硬件部分設(shè)計(jì)并實(shí)現(xiàn)一種便攜式的基于虛擬現(xiàn)實(shí)和互聯(lián)網(wǎng)的體感系統(tǒng)，包括頭戴式顯示器，頭戴式陀螺儀，頭戴式3D手勢(shì)體感器，微型主機(jī)以及附件組成。

系統(tǒng)軟件部分采用C/S即客戶端和服務(wù)器的架構(gòu)模式，根據(jù)MVC系統(tǒng)框架設(shè)計(jì)思想構(gòu)建系統(tǒng)總體框架。研究通過(guò)三維虛擬現(xiàn)實(shí)環(huán)境的操控技術(shù)，實(shí)現(xiàn)角色在虛擬現(xiàn)實(shí)場(chǎng)景的自由運(yùn)動(dòng)和UI操作以及物體觸碰等控制。實(shí)現(xiàn)手勢(shì)控制，通過(guò)三維傳感器對(duì)使用者手部動(dòng)作進(jìn)行捕捉，匹配預(yù)設(shè)的動(dòng)作模型來(lái)識(shí)別手勢(shì)命令。

研究?jī)?nèi)容部分通過(guò)3Dmax三維模型制作軟件設(shè)計(jì)并制作課題內(nèi)容的虛擬場(chǎng)景，通過(guò)Unity3D虛擬