計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境

虛擬現(xiàn)實(shí)技術(shù)主講：楊文暉計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第1頁感知、光、顏色和數(shù)學(xué)投影虛幻世界虛擬環(huán)境數(shù)學(xué)基礎(chǔ)關(guān)照—光亮度方程顏色以及人對(duì)光反應(yīng)圖形真實(shí)和實(shí)時(shí)計(jì)算機(jī)圖形繪畫隱喻局部光照和光線跟蹤攝影機(jī)普通化場(chǎng)景結(jié)構(gòu)、攝影機(jī)模型實(shí)現(xiàn)裁剪多邊形、、可見性確定多邊形渲染、圖像空間渲染和紋理生成計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第2頁什么是“計(jì)算機(jī)圖形學(xué)”？相關(guān)建模、光照、虛擬世界動(dòng)態(tài)特征以及人們?cè)诩谢顒?dòng)方式理論。起源于IvanSutherland發(fā)表論文，論文描述了一個(gè)稱為Sketchpad畫板系統(tǒng)。該畫板系統(tǒng)允許用戶使用“光筆”交互在屏幕上畫圖計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第3頁“計(jì)算機(jī)圖形學(xué)”結(jié)果是什么？產(chǎn)生一個(gè)“投影虛幻世界”，也叫“虛擬環(huán)境”、“虛擬現(xiàn)實(shí)”是一個(gè)將三維空間中對(duì)象表示投影到二維顯示器上所形成表現(xiàn)?！熬W(wǎng)絡(luò)虛擬環(huán)境”？多領(lǐng)域技術(shù)集成，這些技術(shù)包含不一樣地域間異質(zhì)網(wǎng)絡(luò)互聯(lián)技術(shù)，支持視覺、聽覺、觸覺/力覺反饋技術(shù)以及對(duì)應(yīng)各種交互設(shè)備。計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第4頁“虛擬環(huán)境”有三個(gè)主要組成部分？內(nèi)容內(nèi)容由“對(duì)象”組成，組成整個(gè)環(huán)境每一個(gè)對(duì)象都有一個(gè)“描述”和一個(gè)“狀態(tài)”對(duì)象特殊子集叫做“參加者”幾何幾何包含維度、度量和環(huán)境范圍或邊界動(dòng)態(tài)特征由對(duì)象之間相互規(guī)則組成，比如碰撞檢測(cè)計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第5頁虛擬環(huán)境系統(tǒng)示意圖計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第6頁關(guān)于“場(chǎng)景數(shù)據(jù)庫”內(nèi)容包含對(duì)全部對(duì)象總描述信息和那些必須對(duì)整個(gè)場(chǎng)景給出任何其它信息存放一定在維持共享虛擬環(huán)境計(jì)算機(jī)網(wǎng)上某處存放更新一定要以某種方式及時(shí)反應(yīng)到分布環(huán)境全部節(jié)點(diǎn)上。計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第7頁“CAVE”虛擬環(huán)境“CAVE”含義？CAVE是自動(dòng)虛擬環(huán)境縮寫理想CAVE？擁有六面墻壁當(dāng)做投影屏幕房間參加者—立體眼鏡、頭部跟蹤器計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第8頁CAVE例圖計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第9頁關(guān)于VE“真實(shí)感”和“實(shí)時(shí)性”產(chǎn)生并維持虛擬“真實(shí)感”感覺條件？環(huán)境被顯示出來參加者被實(shí)時(shí)跟蹤場(chǎng)景表現(xiàn)充分計(jì)算機(jī)圖形學(xué)中“真實(shí)感”含義？幾何真實(shí)感光照真實(shí)感行為真實(shí)感計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第10頁幾何真實(shí)感什么是“幾何真實(shí)感”？與要描述真實(shí)世界中對(duì)象含有十分相同幾何外形一個(gè)圖形對(duì)象。三維幾何圖形由什么組成？是由平面多邊形（普通是三角形）來結(jié)構(gòu)。對(duì)象表面區(qū)域越是完全，所需要三角面片數(shù)目就會(huì)越多?！皫缀握鎸?shí)感”實(shí)際用處？虛擬原型設(shè)計(jì)建立真正物理實(shí)體之前虛擬結(jié)構(gòu)過程檢測(cè)對(duì)象在特定位置時(shí)候產(chǎn)生影響等計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第11頁人臉掃描儀—點(diǎn)云---3D---渲染人臉激光掃描產(chǎn)生3D點(diǎn)云，64028個(gè)頂點(diǎn)，掃描過程10秒點(diǎn)組成三角形，形成了126108個(gè)三角形表面進(jìn)行明暗處理，生成3D人臉計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第12頁光照真實(shí)感光照真實(shí)感計(jì)算復(fù)雜嗎？是一個(gè)極端復(fù)雜計(jì)算，是計(jì)算機(jī)圖形學(xué)中計(jì)算最精深方面光照計(jì)算分為兩種？局部光照假設(shè)每個(gè)對(duì)象是場(chǎng)景中除了光源之外唯一對(duì)象全局光照對(duì)環(huán)境中光分布正確計(jì)算，對(duì)象間反射也要考慮計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第13頁局部光照和全局光照渲染場(chǎng)景圖計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第14頁行為真實(shí)感情感共鳴講話恐怖癥病人治療卡通人物—米老鼠計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第15頁漫畫、印象主義和圖標(biāo)表現(xiàn)漫畫見圖印象主義梵高畫圖標(biāo)表示孩子筆下任務(wù)計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第16頁真實(shí)感和實(shí)時(shí)之間沖突計(jì)算機(jī)圖形學(xué)中“真實(shí)感”三個(gè)部分（幾何、光照、行為），結(jié)構(gòu)難度是怎樣？幾何視覺真實(shí)感-----行為真實(shí)感------光照真實(shí)感難度依次遞增“計(jì)算機(jī)圖形學(xué)”中沖突是什么？真實(shí)感與實(shí)時(shí)計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第17頁實(shí)時(shí)含義幀與幀頻一幅圖像每秒實(shí)際顯示出來圖像數(shù)目實(shí)時(shí)漫游在計(jì)算和渲染下一幀圖像時(shí)，會(huì)產(chǎn)生一個(gè)時(shí)間延遲，或者顯示滯后實(shí)時(shí)對(duì)象交互虛擬世界中位置在場(chǎng)景數(shù)據(jù)庫中得到更新延遲和滯后使VE中選擇和操作對(duì)象過程變得困難共享虛擬環(huán)境中交互網(wǎng)絡(luò)上數(shù)據(jù)傳輸所需要延遲是系統(tǒng)無法防止每個(gè)位置以60HZ運(yùn)行，500ms延遲也會(huì)破壞正常交互計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第18頁關(guān)于折衷實(shí)時(shí)需求對(duì)計(jì)算機(jī)系統(tǒng)哪些方面提出極高要求？計(jì)算設(shè)備顯示網(wǎng)絡(luò)性能計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第19頁存在和沉醉感看電影電影調(diào)動(dòng)了人感覺，不過身體反應(yīng)還是受限制看一張房間中間有深度8公尺深坑圖會(huì)有眩暈感覺計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第20頁什么是存在？從虛擬環(huán)境到真實(shí)世界相同性程度，是個(gè)意識(shí)狀態(tài)參加者所做與在現(xiàn)實(shí)世界中所做相同行為越大，存在程度就越高是對(duì)人反應(yīng)存在必要條件是傳感數(shù)據(jù)和本體感受應(yīng)該匹配（移動(dòng)手臂，看見虛擬手臂在動(dòng)）計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第21頁什么是沉醉感？存在并同時(shí)與來自那個(gè)環(huán)境傳感數(shù)據(jù)質(zhì)和量相關(guān)是對(duì)系統(tǒng)描述是關(guān)于傳感器數(shù)據(jù)顯示（傳感數(shù)據(jù)視覺、聽覺、觸覺等）跟蹤系統(tǒng)（精度依賴于幾何表示精度、采樣頻率、數(shù)據(jù)傳送和解釋速度）計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第22頁虛擬環(huán)境怎樣工作現(xiàn)實(shí)是虛擬？周圍是個(gè)時(shí)空連續(xù)系統(tǒng)，組成高分辨率視覺流視網(wǎng)膜是圖像被投影地方視網(wǎng)膜包含光敏感單元，將光能轉(zhuǎn)換為電信號(hào)，經(jīng)過視神經(jīng)傳輸?shù)酱竽X視覺皮質(zhì)視覺是個(gè)采樣過程對(duì)環(huán)境整體認(rèn)識(shí)以及心理濾波器視覺系統(tǒng)經(jīng)過掃描路徑序列來采樣環(huán)境，重復(fù)相同區(qū)域，以確認(rèn)我們內(nèi)部心理模型，和構(gòu)想看見內(nèi)容計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第23頁關(guān)于路徑掃描圖計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第24頁計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第25頁計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第26頁關(guān)于掃描路徑掃描路徑——交替快速掃描和定影序列掃描路徑本身是受到我們內(nèi)在心理模型驅(qū)使，而不是受外部世界驅(qū)使。我們從外部世界中所看見事物，如掃描路徑所指示，不只是受外部世界“物質(zhì)”所左右，而是受到我們內(nèi)在認(rèn)知模型控制。計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第27頁計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第28頁認(rèn)知模型影響計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第29頁尺寸不變性伸縮什么是尺寸不變性伸縮？用高層認(rèn)知信息替換傳感數(shù)據(jù)作用？使物體看起來較之真實(shí)傳感信息形成在視網(wǎng)膜上圖像尺寸發(fā)生了改變。計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第30頁雙目視差、調(diào)整、收斂雙目視差左右眼間圖像差異朝所處環(huán)境任意地方看，交替用兩眼看，圖像水平地從左到右然后從右到左地往返切換調(diào)整調(diào)整透鏡讓場(chǎng)景中店對(duì)準(zhǔn)焦點(diǎn)過程透鏡受睫狀肌控制收斂眼睛向內(nèi)旋轉(zhuǎn)方便讓附近對(duì)象進(jìn)入焦點(diǎn)；或者向外旋轉(zhuǎn)，使視線趨于平行，方便讓遠(yuǎn)處對(duì)象進(jìn)入焦點(diǎn)。計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第31頁視域間隙視網(wǎng)膜上與視神經(jīng)相連區(qū)域是相正確計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第32頁線性透視、深度線索視網(wǎng)膜上圖像尺寸反比于對(duì)象離觀察者距離計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第33頁線性透視、深度線索計(jì)算機(jī)學(xué)中投影中心O計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第34頁線性透視錯(cuò)覺計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第35頁P(yáng)onzo錯(cuò)覺Muller-Lyer錯(cuò)覺計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第36頁紋理梯度梵高畫紋理梯度抽象實(shí)例計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第37頁陰影和明暗處理陰影不但能傳達(dá)相關(guān)對(duì)象形狀信息，還能傳遞在場(chǎng)景里深度關(guān)系信息，大大提升對(duì)深度感知對(duì)象陰影是對(duì)象另外一個(gè)視圖—由光源產(chǎn)生視圖陰影提供了每個(gè)對(duì)象與周圍表面間空間關(guān)系直接信息見陰影深度線索圖計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第38頁遮擋與光照遮擋當(dāng)一個(gè)對(duì)象部分地遮擋其它對(duì)象時(shí)候，它提醒人們?cè)搶?duì)象比較靠近觀察者見圖Kanizsa三角形錯(cuò)覺光照光能量衰減與距離平方成百分比遠(yuǎn)處對(duì)象與近處對(duì)象相比，顏色比較淡，比較含糊。計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)環(huán)境第39頁時(shí)間和空間不變性是外界差異在刺激我們視覺，假如我們完全固定視線，很快之后我們會(huì)什么也看不見，就像連續(xù)背景噪聲滴答聲被忽略。每一次眨眼就是一次視覺中止，通常我們不注意眨眼事實(shí)，認(rèn)為我們視覺是連續(xù)而不間斷。視覺系