基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)

1、基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)軟件工程軟件工程 范鴻飛范鴻飛 指導老師指導老師 賈金原賈金原【摘要】 全景漫游是一種基于圖像的虛擬現(xiàn)實技術(shù)，它基于實際拍攝的圖片構(gòu)建而成，能表達真實可信的場景信息，具有良好的人機交互性，能為用戶帶來身臨其境的用戶體驗。本文對全景漫游技術(shù)的發(fā)展提出了新的構(gòu)想，即基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)。該系統(tǒng)將立體顯示技術(shù)與全景漫游技術(shù)相結(jié)合，革命性地增強了全景漫游的用戶體驗。本文深入研究與分析立體全景漫游系統(tǒng)的各種關(guān)鍵問題，并在此基礎(chǔ)上做出設(shè)計，構(gòu)建了系統(tǒng)原型?！娟P(guān)鍵詞】 虛擬現(xiàn)實 全景 立體 漫游 互聯(lián)網(wǎng) 同步【Abstract】 Panoram

2、a roaming is an image-based virtual reality technology. It is constructed by real images taken by cameras, and can provide reliable scene information, perfect man-machine interaction and immersive user experience. This paper proposes a new idea of panorama roaming called Stereoscopic Panorama Roamin

3、g System based on Internet. The system combines stereoscopic display technology and panorama technology, and greatly improves the user experience of panorama roaming. This paper addressed various key problems in constructing a stereoscopic panorama roaming system, gave our design, and finally built

4、a prototype.【Keywords】 Virtual Reality Panorama Stereo Roaming Internet Synchronization目錄目錄1 引言引言.51.1 研究背景.51.1.1 概述.51.1.2 已有的成果.61.1.3 目前的缺憾.61.2 研究目標.71.3 研究價值與應用價值.72 原理與技術(shù)原理與技術(shù).92.1 概述.92.2 虛擬現(xiàn)實與虛擬現(xiàn)實系統(tǒng).92.3 全景圖與全景漫游.102.3.1 基本概念.102.3.2 全景圖的定義與性質(zhì).112.3.3 全景圖的生成.142.3.4 全景圖的繪制.162.3.5 全景漫游.162.

5、4 立體顯示.172.4.1 立體顯示技術(shù)的原理和種類.172.4.2 分光立體顯示技術(shù).202.4.3 分光立體顯示設(shè)備.203 基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)的研究與設(shè)計基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)的研究與設(shè)計.213.1 概述.213.2 功能需求的描述.213.2.1 綜述.213.2.2 基于互聯(lián)網(wǎng)運行的工作模式.213.2.3 逼真的全景虛擬現(xiàn)實環(huán)境.223.2.4 精湛的立體顯示效果.223.2 性能需求的描述.233.2.1 性能需求的重要性.233.2.2 客戶端與服務端的通訊耗時.233.2.3 全景漫游的系統(tǒng)響應與圖像繪制.243.2.4 立體全景漫游的信號同步.243.2

6、.5 客戶端軟件的資源消耗.243.3 系統(tǒng)架構(gòu)設(shè)計.243.3.1 綜述.243.3.2 硬件系統(tǒng)架構(gòu).253.3.3 軟件系統(tǒng)架構(gòu).263.5 模塊設(shè)計.273.5.1 綜述.273.5.2 全景數(shù)據(jù)傳輸模塊.273.5.3 全景虛擬漫游模塊.283.5.4 立體信號同步控制模塊.284 全景數(shù)據(jù)傳輸模塊的研究與設(shè)計全景數(shù)據(jù)傳輸模塊的研究與設(shè)計.294.1 概述.294.2 全景資源的數(shù)據(jù)組織.294.2.1 全景圖文件格式.294.2.2 圖像文件的質(zhì)量與大小.304.2.3 數(shù)據(jù)組織.314.3 設(shè)計思想與設(shè)計策略.324.3.1 服務器與客戶機交互的步驟與流程.324.3.2 通訊技

7、術(shù).334.3.3 通訊模塊的多線程架構(gòu).334.3.4 圖像文件的傳輸.344.5 特別的數(shù)據(jù)傳輸策略.354.5.1 基本思想.354.5.2 策略的實現(xiàn).364.6 性能分析與評估.364.6.1 準備.364.6.2 性能測試結(jié)果.365 全景虛擬漫游模塊的研究與設(shè)計全景虛擬漫游模塊的研究與設(shè)計.385.1 概述.385.2 原理與基礎(chǔ).385.2.1 定義.385.2.2 反投影運算.395.3 反投影運算的算法分析與設(shè)計.405.3.1 基本算法.405.3.2 改進 1：削減重復的反投影運算.445.3.3 改進 2：保存增量以削減運算.445.4 模塊架構(gòu)設(shè)計.445.5 原型

8、系統(tǒng)的設(shè)計與實現(xiàn).455.5.1 類的設(shè)計.455.5.2 系統(tǒng)運行場景.455.6 性能分析與評估.465.6.1 綜述.475.6.2 性能測試結(jié)果.476 立體信號同步控制模塊的研究與設(shè)計立體信號同步控制模塊的研究與設(shè)計.496.1 概述.496.2 硬件準備.496.2.1 計算機.496.2.2 網(wǎng)絡.496.2.3 投影機與偏振光透鏡.496.2.4 投影幕.506.2.5 立體眼鏡.506.3 立體全景照片拍攝方案.506.3.1 綜述.506.3.2 拍攝方案.506.4 模塊架構(gòu)設(shè)計.516.5 原型系統(tǒng)的設(shè)計與實現(xiàn).526.5.1 主動機應用程序的類的設(shè)計.526.5.2

9、被動機應用程序的類的設(shè)計.536.5.3 通訊控制信號的約定.536.5.4 系統(tǒng)運行場景.546.6 性能分析與評估.567 結(jié)論與展望結(jié)論與展望.587.1 結(jié)論.587.2 展望.59參考文獻參考文獻.60謝辭謝辭.611 引言引言1.1 研究背景研究背景 1.1.1 概述概述 虛擬現(xiàn)實（Virtual Reality） ，是通過技術(shù)或設(shè)備模擬出一個可交互的三維空間場景，虛擬出一個逼真的視、聽、觸覺一體化的三維虛擬環(huán)境，使參與者獲得與現(xiàn)實一樣的感覺。 虛擬現(xiàn)實是一項融合了計算機圖形學、人機接口技術(shù)、傳感技術(shù)、心理學、人類工程學及人工智能的綜合技術(shù)。1965 年計算機圖形學的奠基者、被稱為

10、“虛擬現(xiàn)實之父”的 Ivan Sutherland 在一篇名為“The Ultimate Display”的論文中提出了感覺真實、交互真實的人機協(xié)作新理論，首次提出了虛擬現(xiàn)實系統(tǒng)的基本思想，至今為止已經(jīng)過去了將近 40 年。 長期以來，虛擬現(xiàn)實領(lǐng)域一直以“幾何建?！睘橹?，3ds Max、Maya 等著名圖形軟件的輝煌就印證了這一點。近年來，隨著數(shù)字圖像技術(shù)的發(fā)展以及數(shù)字圖像處理設(shè)備的普及，基于圖像的虛擬現(xiàn)實技術(shù)逐漸脫穎而出。 數(shù)字三維全景是一種基于圖像的虛擬現(xiàn)實技術(shù)。 開發(fā)人員使用專業(yè)的數(shù)字相機在某個觀測點捕捉整個 360 度三維場景的圖像信息，使用特定的圖像處理軟件進行圖片拼合，并開發(fā)專門的

11、場景播放器進行播放，從而虛擬出一個現(xiàn)實環(huán)境中的真實場景。通常，場景播放器還為觀賞者提供各種操縱圖像的功能，如放大縮小，如移動觀看，使得操控者猶如在真實環(huán)境中進行漫游，以達到模擬和再現(xiàn)真實環(huán)境的效果。 數(shù)字三維全景和以往的建模、圖片等表現(xiàn)形式相比，有很大的優(yōu)勢。 1、全景圖的真實感強，因為它是基于對真實拍攝的圖片制作而成的，比起任何其他建模生成的對象更加真實可信。 2、相對于靜態(tài)的平面圖片而言，全景圖能表達更多的圖像信息，并可以讓瀏覽者進行一定的控制，人機交互性能好。 3、全景圖是經(jīng)過對圖像的透視處理模擬出的真實三維實景，沉浸感強烈，能給觀賞者帶來身臨其境的用戶體驗。 4、相對于傳統(tǒng)的幾何建模而

12、言，全景圖的生成相對方便，制作成本也比較低。 5、對于很多空間對象較為復雜的場景，全景解決方案所需的數(shù)據(jù)文件體積小，十分適合互聯(lián)網(wǎng)的傳輸。 在某些實際的應用案例中，一系列的全景圖組合在一起構(gòu)成了一個系統(tǒng)化的全景漫游解決方案。例如，大學校園的全景展示系統(tǒng)，就是一個包含多張全景圖的系統(tǒng)，開發(fā)人員在校園中選取若干個觀測點進行全景圖的拍攝，并利用軟件將這些全景圖的關(guān)聯(lián)起來，使得用戶能夠在瀏覽全景圖的同時進行觀測點間的切換，仿佛在真實環(huán)境中走動，產(chǎn)生一種漫游的感覺。 1.1.2 已有的成果已有的成果 近些年來，全景技術(shù)的日趨成熟，促使全景技術(shù)提供商不斷涌現(xiàn)。三維全景圖能夠真實快速地表現(xiàn) 360 度空間范

13、圍內(nèi)場景的全部圖像信息，目前在酒店賓館展示、房地產(chǎn)展示、旅游風光展示、汽車展示、企業(yè)和院校展示等領(lǐng)域已經(jīng)得到一定的應用。 酒店賓館將自己的客房、餐廳、健身房等場所以三維全景方式構(gòu)建在網(wǎng)站上供客戶瀏覽，方便客戶挑選合適的旅行居住地。房地產(chǎn)供應商將樣板房的全景圖公布在互聯(lián)網(wǎng)上，有興趣置業(yè)的客戶只要訪問網(wǎng)站就可全方位地瀏覽商品房的內(nèi)部裝飾及周邊環(huán)境，改變了以往的選房模式。有意向購車的客戶瀏覽了用于展示汽車的全景圖后，就可完全掌握汽車內(nèi)部的所有情況，仿佛實際駕駛一樣。許多院校將自己的校園風景構(gòu)建成全景漫游網(wǎng)站，學生、教師和各界人士足不出戶就可欣賞到校園內(nèi)的美景，仿佛就在校園中漫游一樣。 全景漫游技術(shù)擁

14、有巨大的商業(yè)價值，必將在今后的發(fā)展中被運用到更為廣泛的領(lǐng)域。與此同時，在市場需求的推動下，全景漫游技術(shù)本身也將得到更高層次的革新。 1.1.3 目前的缺憾目前的缺憾 目前的全景漫游技術(shù)的發(fā)展及其應用存在很多缺憾： 1、全景漫游解決方案沒有一個標準的、平臺化的技術(shù)規(guī)范。 當需求者試圖構(gòu)建全景漫游的應用解決方案時，開發(fā)者通常需要在進行需求分析之后為需求者量身定制全景漫游軟件、拍攝全景圖，構(gòu)建全景漫游系統(tǒng)。隨著全景漫游市場需求的不斷增長，構(gòu)建解決方案過程中所需的一般的、共同的步驟被重復執(zhí)行，全景漫游技術(shù)提供商的行業(yè)工作效率受到嚴重制約。 2、全景漫游技術(shù)沒有大眾化、平民化、普及化。 全景漫游解決方案

15、往往是由專業(yè)的全景技術(shù)提供商來構(gòu)建的，普通的計算機用戶和攝影愛好者無法簡單地觸及和感受全景漫游技術(shù)帶來的切身體驗。在因特網(wǎng)高速發(fā)展的時代，利用互聯(lián)網(wǎng)凝聚廣大網(wǎng)民的智慧是一種全新的、高效的且已成為共識的理念。全景漫游技術(shù)的相對專業(yè)性，導致廣大互聯(lián)網(wǎng)用戶在全景漫游領(lǐng)域的智慧和資源無法被凝聚和挖掘。 3、目前沒有全景漫游解決方案支持立體顯示特性。 采用偏振光原理進行立體顯示的技術(shù)，在立體電影、立體圖像展示等領(lǐng)域已經(jīng)得到應用，然而目前沒有將全景漫游技術(shù)和偏振光立體顯示技術(shù)結(jié)合到一起的案例。傳統(tǒng)的全景漫游，已經(jīng)無法讓用戶得到更為逼真的視覺體驗，全景技術(shù)虛擬現(xiàn)實逼真程度的發(fā)展受到了嚴重制約，如果支持立體顯

16、示的全景漫游系統(tǒng)構(gòu)建完成，必將又一次推動全景技術(shù)的新發(fā)展，為數(shù)字媒體、數(shù)字娛樂行業(yè)帶來新的契機。1.2 研究目標研究目標 基于上述背景與分析，本課題的兩大目標便應運而生： 1、本課題將深入分析全景漫游解決方案中的技術(shù)關(guān)鍵，討論全景漫游解決方案一般化的技術(shù)、一般化的構(gòu)建步驟，提出一套標準規(guī)范，并分析其得到推廣的可行性，盡力讓其擁有演變?yōu)樾袠I(yè)規(guī)范的潛力。 2、本課題將研究和設(shè)計一個基于互聯(lián)網(wǎng)的、支持立體顯示特性的標準化的全景漫游系統(tǒng)，即基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)，構(gòu)建系統(tǒng)原型，并進行測試與分析。 上述的兩大目標是相輔相成的。全景漫游解決方案標準規(guī)范的提出是立體全景漫游系統(tǒng)實現(xiàn)的基石，系統(tǒng)的實現(xiàn)是

17、本課題最終的目標。系統(tǒng)的設(shè)計和運行，又恰恰可以印證提出的標準規(guī)范是否合理、是否可行，為其是否具有被業(yè)界采納的潛力提供實踐的證明。 本課題即將要構(gòu)建的基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)，應當具有如下的特性： 1、系統(tǒng)使用非常方便，用戶只需向服務器上傳所有的全景照片并在俯視地圖上標識每張照片拍攝點的位置和方向，整個全景漫游解決方案即可構(gòu)建完成。 2、系統(tǒng)主要基于互聯(lián)網(wǎng)運行，用戶在全景解決方案的構(gòu)建、使用過程中的全部操作都在客戶端軟件上運行，而數(shù)據(jù)和服務則由服務器提供。這樣的系統(tǒng)，將會凝聚互聯(lián)網(wǎng)用戶的智慧，積聚互聯(lián)網(wǎng)用戶的資源，構(gòu)建出能夠令所有互聯(lián)網(wǎng)用戶共享的、豐富而充足的數(shù)據(jù)，使全景漫游的技術(shù)和體驗在互

18、聯(lián)網(wǎng)上得到傳播和普及。 3、系統(tǒng)的網(wǎng)絡數(shù)據(jù)傳輸策略應當?shù)玫缴钊氲姆治霾⒂性敿毜脑O(shè)計和測試，以保證互聯(lián)網(wǎng)用戶在使用系統(tǒng)尤其在進行全景漫游時得到最佳的體驗。 4、立體顯示和全景漫游技術(shù)的結(jié)合，是本系統(tǒng)最值得稱贊的創(chuàng)新之處，也是本系統(tǒng)最大的亮點。因此，立體顯示所需的技術(shù)和策略，應當?shù)玫阶銐蛏钊氲姆治龊驮O(shè)計，從而使立體的效果足夠完美，革命性地增強全景漫游的用戶體驗。1.3 研究價值研究價值與應用價值與應用價值 本課題將要提出的全景漫游解決方案的標準規(guī)范以及即將設(shè)計的基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)，是全景漫游技術(shù)的新發(fā)展，必將革命性地增強全景漫游的用戶體驗。 1、基于互聯(lián)網(wǎng)的平臺，使得互聯(lián)網(wǎng)用戶的智慧和資

19、源得以凝聚。不難想象，一旦這樣的平臺在技術(shù)上突破了所有的難題，上海市政府完全可以在因特網(wǎng)上推出這樣一個系統(tǒng)，全上海的攝影愛好者乃至各界人士只要拍攝了全景照片并制作成全景圖后就可上傳至該系統(tǒng)，海內(nèi)外互聯(lián)網(wǎng)用戶就可方便地使用該系統(tǒng)瀏覽上海市豐富的全景圖資源，并在其中進行漫游體驗。這樣的應用案例，將充分利用互聯(lián)網(wǎng)的優(yōu)勢，積聚資源、分享資源，使得全景漫游技術(shù)及其體驗大眾化、平民化、普及化。 2、立體全景漫游系統(tǒng)的構(gòu)建，必將革命性地增強全景漫游的用戶體驗。傳統(tǒng)的全景漫游平臺，無論提供多人性化的功能，都遇到了發(fā)展上的巨大障礙，那就是真實感的進一步提升。隨著顯示設(shè)備成本的降低，立體顯示設(shè)備在電影、圖像展示、

20、電子游戲等領(lǐng)域已經(jīng)得到了一些應用，用戶對立體顯示的要求已經(jīng)逐漸成為數(shù)字娛樂服務的基本要求。本課題即將構(gòu)建的立體全景漫游系統(tǒng)，是立體顯示技術(shù)與全景漫游技術(shù)充分結(jié)合的產(chǎn)物，必將為用戶帶來全新的虛擬現(xiàn)實體驗，同時也推動相關(guān)技術(shù)的發(fā)展和變革。 3、本課題即將提出的全景漫游解決方案的標準規(guī)范，是基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)的設(shè)計基礎(chǔ)，也為統(tǒng)一全景漫游的技術(shù)標準、降低全景漫游技術(shù)提供商開發(fā)成本提供了可能。同時，開放的標準規(guī)范以及本課題所構(gòu)建的開放平臺，將使得普通計算機用戶也得以觸及這項技術(shù)，從而吸引更多的愛好者投入研究，繼續(xù)推動全景漫游技術(shù)乃至虛擬現(xiàn)實技術(shù)的發(fā)展和變革。2 原理與技術(shù)原理與技術(shù)2.1 概述

21、概述 基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)，是一個融合了虛擬現(xiàn)實、計算機軟件、計算機網(wǎng)絡、數(shù)字圖像處理、立體顯示、全景照片拍攝等多項技術(shù)的復雜系統(tǒng)，涉及到多門學科。對本系統(tǒng)的研究、分析、設(shè)計與構(gòu)建，具有很強的綜合性和復雜性。 因此，對本系統(tǒng)所涉及到的一些原理和技術(shù)進行分析和研究是非常必要的，也是至關(guān)重要的。對這些原理和技術(shù)的理解與掌握，將直接影響到研究與開發(fā)工作的進行。 本章將引入一些基本的原理和技術(shù)，并對其進行介紹和分析，為后續(xù)的研究工作做準備。2.2 虛擬現(xiàn)實與虛擬現(xiàn)實系統(tǒng)虛擬現(xiàn)實與虛擬現(xiàn)實系統(tǒng) 全景漫游系統(tǒng)是一種虛擬現(xiàn)實系統(tǒng)，能夠為用戶提供具有真實感、沉浸感的空間場景，并支持用戶與虛擬場景的交互

22、，形成漫游的效果。因此，全景漫游系統(tǒng)必然具備虛擬現(xiàn)實系統(tǒng)的一般特性。 虛擬現(xiàn)實（Virtual Reality） ，是通過技術(shù)或設(shè)備模擬出一個可交互的三維空間場景，虛擬出一個逼真的視、聽、觸覺一體化的三維虛擬環(huán)境，使參與者獲得與現(xiàn)實一樣的感覺。 虛擬現(xiàn)實是一項融合了計算機圖形學、人機接口技術(shù)、傳感技術(shù)、心理學、人類工程學及人工智能的綜合技術(shù)。1965 年計算機圖形學的奠基者、被稱為“虛擬現(xiàn)實之父”的 Ivan Sutherland 在一篇名為“The Ultimate Display”的論文中提出了感覺真實、交互真實的人機協(xié)作新理論，首次提出了虛擬現(xiàn)實系統(tǒng)的基本思想，至今為止已經(jīng)過去了將近 4

23、0 年。 長期以來，虛擬現(xiàn)實領(lǐng)域一直以“幾何建?！睘橹鳎?ds Max、Maya 等著名圖形軟件的輝煌就印證了這一點。近年來，隨著數(shù)字圖像技術(shù)的發(fā)展以及數(shù)字圖像處理設(shè)備的普及，基于圖像的虛擬現(xiàn)實技術(shù)逐漸脫穎而出。數(shù)字三維全景就是一種基于圖像的虛擬現(xiàn)實技術(shù)。 美國于 20 世紀 60 年代就正式開始了對虛擬現(xiàn)實系統(tǒng)的研究，到了 80 年代已取得了令人矚目的研究成果。進入 90 年代，隨著計算機軟硬件技術(shù)的迅速發(fā)展以及眾多應用成果的出現(xiàn)，虛擬現(xiàn)實技術(shù)開始被人們廣泛關(guān)注。虛擬現(xiàn)實技術(shù)還很年輕，但歷史擋不住強勁的發(fā)展勢頭。雖然在技術(shù)上仍處于探索中，可是在國外，虛擬現(xiàn)實技術(shù)幾乎應用到了各行各業(yè)，我國卻僅

24、僅處在萌芽狀態(tài)。 今天，虛擬現(xiàn)實已經(jīng)發(fā)展成一門涉及計算機圖形學、精密傳感機構(gòu)、人機接口及實時圖像處理等領(lǐng)域的綜合性學科。虛擬現(xiàn)實技術(shù)分虛擬實景（境）技術(shù)（如虛擬游覽故宮博物館）與虛擬虛景（境）技術(shù)（如虛擬現(xiàn)實環(huán)境生成、虛擬設(shè)計的波音 777 飛機等）兩大類。 虛擬現(xiàn)實技術(shù)的應用領(lǐng)域和交叉領(lǐng)域非常廣泛，幾乎到了無所不包、無孔不入的地步。虛擬現(xiàn)實技術(shù)在戰(zhàn)場環(huán)境、指揮模擬、飛機船舶車輛虛擬駕駛訓練、飛機導彈輪船與轎車的虛擬制造、虛擬建筑物的展示與參觀、虛擬手術(shù)培訓、虛擬現(xiàn)實游戲、虛擬影視藝術(shù)等方面的應用和相關(guān)產(chǎn)業(yè)的形成，都有強烈的市場需求和技術(shù)驅(qū)動。 從技術(shù)的角度來說，虛擬現(xiàn)實系統(tǒng)具有三個基本特征：

25、沉浸、交互、構(gòu)想。它強調(diào)了在虛擬系統(tǒng)中的人的主導作用：從過去人只能從計算機系統(tǒng)的外部去觀測處理的結(jié)果，到人能夠沉浸到計算機系統(tǒng)所創(chuàng)建的環(huán)境中；從過去人只能通過鍵盤、鼠標與計算環(huán)境中的單維數(shù)字信息發(fā)生作用，到人能夠用多種傳感器與多維信息的環(huán)境發(fā)生交互作用；從過去的人只能以定量計算為主的結(jié)果中啟發(fā)從而加深對事物的認識，到人有可能從定性和定量綜合集成的環(huán)境中得到感知和理性的認識從而深化概念和萌發(fā)新意。總之，在未來的虛擬現(xiàn)實系統(tǒng)中，人們的目的是使這個由計算機及其它傳感器所組成的信息處理系統(tǒng)去盡量滿足人的需要，而不是強迫人去湊合那些不是很親切的計算機系統(tǒng)。 隨著計算機技術(shù)的發(fā)展，在 PC 機上實現(xiàn)虛擬現(xiàn)

26、實技術(shù)已成為可能。所以，目前虛擬現(xiàn)實技術(shù)系統(tǒng)的運行趨勢為單機桌面和互聯(lián)網(wǎng)兩種主要方式，因此，它對計算機硬件技術(shù)和網(wǎng)絡技術(shù)的發(fā)展和應用也有很大的刺激作用。 虛擬現(xiàn)實技術(shù)的應用前景十分廣闊。它始于軍事和航空航天領(lǐng)域的需求，但近年來，虛擬現(xiàn)實技術(shù)的應用已大步走進工業(yè)、建筑設(shè)計、教育培訓、文化娛樂等方面。它正在改變著我們的生活。 隨著虛擬現(xiàn)實技術(shù)的不斷發(fā)展以及應用領(lǐng)域的不斷擴大，它的分類也更加明細化。如果要用三個最具代表性的詞語來預測未來的信息社會，它們就是：多媒體、因特網(wǎng)和虛擬現(xiàn)實。權(quán)威人士斷言，虛擬現(xiàn)實技術(shù)將是 21 世紀信息技術(shù)的代表。它的發(fā)展，從根本上改變了人們的工作方式和生活方式。虛擬現(xiàn)實技

27、術(shù)與美術(shù)、音樂等文化藝術(shù)的結(jié)合，將誕生人類的第九藝術(shù)。2.3 全景圖與全景漫游全景圖與全景漫游 2.3.1 基本概念基本概念 數(shù)字三維全景是一種基于圖像的虛擬現(xiàn)實技術(shù)。開發(fā)人員使用專業(yè)的數(shù)字相機在某個觀測點捕捉整個 360 度三維場景的圖像信息，使用特定的圖像處理軟件進行圖片拼合，并開發(fā)專門的場景播放器進行播放，從而虛擬出一個現(xiàn)實環(huán)境中的真實場景。通常，場景播放器還為觀賞者提供各種操縱圖像的功能，如放大縮小、移動觀看，使得操控者猶如在真實環(huán)境中進行漫游，以達到模擬和再現(xiàn)真實環(huán)境的效果。 數(shù)字三維全景和以往的建模、圖片等表現(xiàn)形式相比，有很大的優(yōu)勢。首先，全景圖的真實感強，因為它是基于對真實拍攝的

28、圖片制作而成的，比起任何其他建模生成的對象更加真實可信。其次，相對于靜態(tài)的平面圖片而言，全景圖能表達更多的圖像信息，并可以讓瀏覽者進行一定的控制，人機交互性能好。第三，全景圖是經(jīng)過對圖像的透視處理模擬出的真實三維實景，沉浸感強烈，能給觀賞者帶來身臨其境的用戶體驗。第四，相對于傳統(tǒng)的幾何建模而言，全景圖的生成相對方便，制作成本也比較低。第五，對于很多空間對象較為復雜的場景，全景解決方案所需的數(shù)據(jù)文件體積小，十分適合互聯(lián)網(wǎng)的傳輸。 在某些實際的應用案例中，一系列的全景圖組合在一起構(gòu)成了一個系統(tǒng)化的全景漫游解決方案。例如，大學校園的全景展示系統(tǒng)，就是一個包含多張全景圖的系統(tǒng)，開發(fā)人員在校園中選取若干

29、個觀測點進行全景圖的拍攝，并利用軟件將這些全景圖的關(guān)聯(lián)起來，使得用戶能夠在瀏覽全景圖的同時進行觀測點間的切換，仿佛在真實環(huán)境中走動，產(chǎn)生一種漫游的感覺。三維全景圖能夠真實快速地表現(xiàn) 360 度空間范圍內(nèi)場景的全部圖像信息，目前在酒店賓館展示、房地產(chǎn)展示、旅游風光展示、汽車展示、企業(yè)和院校展示等領(lǐng)域已經(jīng)得到一定的應用，這項技術(shù)擁有巨大的商業(yè)價值。隨著市場的快速成長，三維全景技術(shù)提供商也不斷涌現(xiàn)。 2.3.2 全景圖的定義與性質(zhì)全景圖的定義與性質(zhì) 全景圖，是一種能夠反映 360空間內(nèi)場景信息的圖片。一般地，它由多幅圖像依次首尾相連后組成，瀏覽時就好像是一組可循環(huán)播放的影像膠片，會有一種身臨其境的感

30、覺，具有強烈的真實感和浸沒感。 從全景圖的存儲方式來看，它是一個由二維矩陣表示的像素顏色值的集合，是一張平面圖片，有高度、寬度等屬性，同普通照片沒有任何區(qū)別。然而，從邏輯的角度來看，全景圖所記錄的信息遠不是一個普通相機取景框內(nèi)所呈現(xiàn)的內(nèi)容，而是 360空間場景內(nèi)的全部視覺信息。圖 2.1 全景圖及其瀏覽場景 如圖 2.1 所示，空間場景的圖像信息以一種特殊的方式被映射和記錄到二維的平面上，形成了全景照片。當用戶播放或瀏覽該全景圖時，相應的軟件根據(jù)用戶操作獲得必要的數(shù)據(jù)（這些數(shù)據(jù)用以描述當前的觀測角度、焦距等信息） ，并根據(jù)幾何原理進行計算，將用戶應當看到的圖像信息顯示在特定的位置。通過這樣的交

31、互操作，用戶仿佛置身于圖像所代表的真實環(huán)境之中，并可進行環(huán)視、走動和漫游，獲得具有真實感的體驗。 從全景圖所能表示的空間范圍來看，常見的全景圖一般有柱面全景圖和球面全景圖 2 種。 如圖 2.2、圖 2.3 所示，柱面全景圖能夠記錄水平方向 360場景內(nèi)的信息。以相機為中心，周圍一圈的圖像信息被平鋪在一張二維的圖片上，仿佛形成了一個貼有圖像信息的柱面，因此這種全景圖被叫做柱面全景圖。在實際瀏覽時，用戶可以相機為觀測點進行 360的環(huán)視，柱面全景播放器可模擬用戶的向左轉(zhuǎn)動、向右轉(zhuǎn)動、前進、后退等動作。圖 2.2 柱面全景圖示例 A圖 2.3 柱面全景圖示例 B 如圖 2.4、圖 2.5 所示，球

32、面全景圖能夠記錄整個 360空間場景內(nèi)的信息。三維空間內(nèi)任何視角的圖像信息，均被記錄在這張二維的圖片上。當這張圖片通過球面全景播放器以及相應的軟件處理后，就可模擬出實際的一個球面，可供用戶進行任何角度的觀測。球面全景播放器可以模擬用戶任意角度的觀測動作，并可支持前進、后退等操作。圖 2.4 球面全景圖示例 A圖 2.5 球面全景圖示例 B 不難發(fā)現(xiàn)，無論是柱面全景圖，還是球面全景圖，都是將空間環(huán)境內(nèi)的圖像信息經(jīng)過一定的幾何變換后映射到一張二維的平面圖上的。當用戶需要瀏覽場景信息并進行交互操作時，特殊的軟件對全景圖進行處理，將場景還原，形成虛擬現(xiàn)實的效果。這種以圖像為原材料進行虛擬現(xiàn)實處理的方法

33、，叫做基于圖像的渲染或基于圖像的繪制。 經(jīng)過對相關(guān)技術(shù)的研究分析和對實際情況的估計，本文所描述的基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)采用柱面全景圖為研究、分析和處理的對象。本文中，除非特別說明，文字描述中提到的“全景圖”均指“柱面全景圖” 。 2.3.3 全景圖的生成全景圖的生成 全景圖的生成，需要經(jīng)歷拍攝與后期制作兩個步驟。 如前所述，柱面全景圖是反映水平方向 360空間內(nèi)全部圖像信息的圖片。因此，柱面全景圖的生成，需要照相機在一個水平面上以一個固定點為圓心旋轉(zhuǎn)一周連續(xù)拍攝幾張照片，并接受后續(xù)處理。 如圖 2.6 所示，柱面全景圖的拍攝需要使用的器材主要有數(shù)碼照相機、中短焦鏡頭、全景云臺、三腳架、水

34、平儀等。 數(shù)碼相機應盡量選擇單反相機，例如 Canon EOS 5D。照相機鏡頭應當選用中焦或短焦的鏡頭，如 Sigma 24-70mm F2.8 DG MACRO。全景云臺應當選用具有精確刻度的云臺，最好是帶有水平儀的專業(yè)全景云臺。為了拍攝方便，三角架應選用較輕的腳架，并搭配配重物體。圖 2.6 全景照片的拍攝器材 安裝拍攝設(shè)備時，要保證鏡頭光學中心與云臺中心在同一位置。相機和云臺應當連接牢固，兩者間不能有相對位移。 拍攝全景照片時，應選擇天氣晴好、光照變化不太大、拍攝場地周圍 360范圍內(nèi)人員較少的時機，一般以午間 12 點至 14 點為宜。拍攝地點應盡量選擇在風景秀美、景物多樣以及景深較

35、大的地點。 如圖 2.7 所示，拍攝照片時，應將全景云臺繞其中心旋轉(zhuǎn) 360，并在期間連續(xù)拍攝多張照片，相鄰 2 張照片應保證圖像有 15%至 30%的重合度。圖 2.7 柱面全景照片的拍攝方法 相機參數(shù)應設(shè)置為全手動，同時要使用鏡頭的手動對焦模式。鏡頭焦段應調(diào)節(jié)到較小焦段，以保證圖像間重合度高，方便拼圖，一般以 17-40mm 之間為佳。在同等情況下，相機參數(shù)的選擇傾向于使用較小的光圈，以獲得較大景深。另外，需要根據(jù)當天光照情況按照不同的曝光補償選擇快門，傾向于使圖像稍亮為佳。測光模式應使用區(qū)域評價測光。ISO 值的選擇根據(jù)相機不同而有所不同，但盡量選擇較低的 ISO，以保證圖像的精細度。圖

36、像格式與質(zhì)量可選擇RAW，也可使用高畫質(zhì)、高分辨率的 JPEG。白平衡參數(shù)使用自動或白天均可，快門模式定位普通單拍模式。值得注意的是，在一個全景觀測點拍攝完一張照片后，相機的所有參數(shù)均要保持不變。 照片拍攝完畢后，每個觀測點形成了 6-至 8 張照片。此時，可以使用專用的柱面全景圖拼接軟件對圖片進行拼接，形成柱面全景圖。 2.3.4 全景圖的繪制全景圖的繪制 全景圖的繪制，是指用戶與全景虛擬現(xiàn)實場景的交互過程中系統(tǒng)計算某一時刻所需向用戶呈現(xiàn)的圖像信息并予以繪制的過程。全景圖的繪制，是一種基于圖像的渲染。 為了討論與研究全景圖的繪制方法，分析并理解全景圖繪制的數(shù)學原理是十分必要的。有關(guān)全景圖繪制

37、的原理和方法，將在本文第 5 章中詳細討論。 2.3.5 全景漫游全景漫游 全景漫游，是指計算機用戶在由一系列全景圖構(gòu)成的虛擬空間內(nèi)模擬地走動和瀏覽，形成漫游的效果。全景漫游是一種虛擬現(xiàn)實的技術(shù)，其核心是基于圖像的渲染和繪制。 計算機用戶操控全景漫游系統(tǒng)，通過鼠標、鍵盤等設(shè)備模擬視線轉(zhuǎn)移、前后走動等操作。全景漫游軟件根據(jù)用戶的操作計算出當前用戶所應看到的內(nèi)容，顯示于指定的位置。在這樣的交互操作中，用戶仿佛身臨其境，獲得具有真實感的空間漫游效果。 一般地，全景漫游包含多張全景圖，并且全景圖之間存在地理位置上的關(guān)聯(lián)關(guān)系。當用戶瀏覽某個觀測點的全景圖時，周邊的全景圖觀測點的信息會以一定的方式表現(xiàn)出來

38、，并提供鏈接的功能，為用戶提供多個觀測點間的切換功能，形成在空間中走動的虛擬效果。有些高級的全景漫游系統(tǒng)還將全景瀏覽與地圖信息結(jié)合在一起，為用戶提供全方位的導航功能，有很大的應用價值和商業(yè)價值。2.4 立體顯示立體顯示 2.4.1 立體顯示技術(shù)的原理和種類立體顯示技術(shù)的原理和種類要使一幅畫面產(chǎn)生立體感，至少要滿足三個方面的條件。 首先，畫面要有透視效果。透視效果是觀看三維世界時的基本規(guī)律，是畫面產(chǎn)生立體感的基本要求。 其次，畫面應當有正確的明暗虛實變化。真實世界中根據(jù)光源的亮度、顏色、位置和數(shù)量的不同，物體會有相應的亮部、暗部、投影和光澤等，同時近處的物體在色彩的飽和度、亮度、對比度等方面都相

39、對較高，遠處的則較低。如果畫面中沒有這些效果或是違反這些規(guī)律，都不會產(chǎn)生好的立體感。 第三，畫面具備雙眼的空間定位效果。人眼在觀看物體時，兩只眼睛分別從兩個角度來觀看，看到的兩幅畫面自然有細微的差別，大腦將兩幅畫面混合成一幅完整的畫面，并根據(jù)它們的差別線索感知被視物的距離。這就是雙眼的空間定位，是人眼感知距離的最主要的手段。如果重放畫面的時候不能再現(xiàn)這種空間定位的感覺，那么即使前兩點做很不錯也總覺得欠缺點什么。以上三點只有同時滿足才能產(chǎn)生比較完美的立體效果，普通顯示器可以實現(xiàn)前兩點卻無法實現(xiàn)第三點，而所謂的立體顯示技術(shù)也就是能夠再現(xiàn)空間定位感的顯示技術(shù)。關(guān)于為什么普通顯示器無法再現(xiàn)空間定位感，

40、可以從觀察視差角的不同來理解。視差角就是雙眼和一點的兩條連線之間的角度，距離近則視差角大、距離遠則視差角小，物體的表面有無數(shù)個點，那么就有無數(shù)個視差角。真實物體真實物體右眼右眼左眼左眼右眼視野范圍左眼視野范圍真實真實物體物體屏幕屏幕視角差視角差圖 2.8 人眼獲得立體感覺的原理 如圖 2.8 所示，人眼在看真實的圓柱體和看屏幕上顯示的圓柱體時，視差角有明顯的不同，看屏幕時的視差角實際上和看平板玻璃時是一樣的，因此不管屏幕上顯示的內(nèi)容如何變化，立體感始終是一個平面，這也是普通顯示器無法實現(xiàn)立體顯示的原因。 視差角之所以存在都是因為我們有兩只眼睛，那么我們可以從這一點著手：設(shè)法分別向兩眼輸送兩個拍

41、攝角度略有不同的畫面，給左眼的畫面只讓左眼看到，給右眼的只讓右眼看到，調(diào)節(jié)兩幅畫面之間的細微差距就相當于調(diào)節(jié)視差角。既然可以人為的控制視差角，我們就可以在顯示物體時調(diào)節(jié)視差角產(chǎn)生物體的立體感。事實上，當今主流的 4 種立體顯示技術(shù)都是基于這個原理的。立體顯示技術(shù)的種類非常多，大部分還在實驗室中，目前投入應用比較多的是分色、分光、分時和光柵 4 種技術(shù)。根據(jù)上面的介紹，實現(xiàn)基于雙眼視覺的立體顯示需要經(jīng)過兩大步驟：1、要準備好兩套分別供左眼和右眼觀看的畫面；2、將它們輸送給雙眼，并且要點是給左眼觀看的畫面只能讓左眼看到，給右眼觀看的畫面只能讓右眼看到。 目前，這種畫面的來源有三種途徑： 1、雙機拍

42、攝。拍攝電影或圖片時將兩臺照相機或攝像機并排放置，兩機間的角度和距離都模擬人的雙眼。 2、從 3D 場景中提取。由于 3D 場景本來就被設(shè)計用來可供任何角度觀看，所以從中提取兩套畫面自然不難，提取的兩套畫面相互間的角度要模擬人的雙眼。 3、用軟件智能模擬。這是利用計算機根據(jù)原始畫面重新生成兩套畫面，可用于將現(xiàn)有的普通視頻和圖片轉(zhuǎn)換為立體顯示的片源，但效果略差。片源準備好以后，第二個步驟就是將它們輸送給雙眼，且要點是給左眼觀看的畫面只能讓左眼看到，給右眼觀看的畫面只能讓右眼看到。在輸送時其實并不需要刻意地調(diào)節(jié)兩套畫面的差距，只要能將上述途徑獲得的片源按要求輸送給雙眼，那么人眼就會自動產(chǎn)生與畫面對

43、應的立體感了。 為了實現(xiàn)這一步，各種立體顯示技術(shù)采用了不同的方式，4 種技術(shù)的區(qū)別也就在于此。 其中前 3 種技術(shù)（分色、分光、分時）的流程很相似，都是需要經(jīng)過兩次過濾，第一次是在顯示器端，第二次是在眼睛端。分色技術(shù)的基本原理是讓某些顏色的光只進入左眼，另一部分只進入右眼。我們眼睛中的感光細胞共有 4 種，其中數(shù)量最多的是感覺亮度的細胞，另外三種用于感知顏色，分別可以感知紅、綠、藍三種波長的光，感知其他顏色是根據(jù)這三種顏色推理出來的，因此紅、綠、藍被稱為光的三原色。顯示器就是通過組合這三元色來顯示上億種顏色的，計算機內(nèi)的圖像資料也大多是用三原色的方式儲存的。分色技術(shù)在第一次過濾時要把左眼畫面中

44、的藍色、綠色去除，右眼畫面中的紅色去除，再將處理過的這兩套畫面疊合起來，但不完全重疊，左眼畫面要稍微偏左邊一些，這樣就完成了第一次過濾。第二次過濾是觀眾帶上專用的濾色眼鏡，眼鏡的左邊鏡片為紅色，右邊的鏡片是藍色或綠色，由于右眼畫面同時保留了藍色和綠色的信息，因此右邊的鏡片不管是藍色還是綠色都是一樣的。以紅、綠眼鏡為例，紅、綠兩色互補，紅色鏡片會削弱畫面中的綠色，綠色鏡片削弱畫面中的紅色，這樣就確保了兩套畫面只被相應的眼睛看到。目前，分色技術(shù)的第一次濾色已經(jīng)開始用計算機來完成了，按上述方法濾色后的片源可直接制作成音像制品，在任何彩色顯示器上都可以播放。 分光技術(shù)的理論依據(jù)是根據(jù)光的波動學說。常見

45、的光源都會隨機發(fā)出自然光和偏振光，分光技術(shù)是用偏光濾鏡或偏光片濾除特定角度偏振光以外的所有光，讓 0 度的偏振光只進入右眼，90 度的偏振光只進入左眼（也可用 45 度和 135 度的偏振光搭配） 。兩種偏振光分別搭載著兩套畫面，觀眾須帶上專用的偏光眼鏡，眼鏡的兩片鏡片由偏光濾鏡或偏光片制成，分別可以讓 0度和 90 度的偏振光或 45 度和 135 度的偏振光通過，這樣就完成了第二次過濾。目前，分光技術(shù)的應用還主要停留在投影機上，且需配合不破壞偏振光的金屬投影幕使用。 分時技術(shù)是將兩套畫面在不同的時間播放，顯示器在第一次刷新時播放左眼畫面，同時用專用的眼鏡遮住觀看者的右眼，下一次刷新時播放右

46、眼畫面，并遮住觀看者的左眼。按照上述方法將兩套畫面以極快的速度切換，在人眼視覺暫留特性的作用下就合成了連續(xù)的畫面。目前，用于遮住左右眼的眼鏡用的都是液晶板，因此也被稱為液晶快門眼鏡，早期曾用過機械眼鏡。 光柵技術(shù)和前三種差別較大，它是將屏幕劃分成一條條垂直方向上的柵條，柵條交錯顯示左眼和右眼的畫面。在屏幕和觀眾之間設(shè)一層“視差障礙” ，它也是由垂直方向上的柵條組成的，對于液晶這類有背光結(jié)構(gòu)的顯示器來說，視察障礙也可設(shè)在背光板和液晶板之間。視察障礙的作用是阻擋視線，它遮住了兩眼視線交點以外的部分，使左眼看到的柵條右眼看不到，右眼看到的左眼又看不到。不過，如果觀看者的位置改變的話，那么視差障礙位置

47、也要隨之改變。 從舒適型、畫面質(zhì)量、視力保護、設(shè)備性能方面出發(fā)，經(jīng)過對實際情況的研究估計和對可行性的分析，基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)采用分光技術(shù)作為立體顯示技術(shù)。 2.4.2 分光立體顯示技術(shù)分光立體顯示技術(shù) 分光立體顯示技術(shù)的核心理論依據(jù)是光的波動學說和偏振光的特性。根據(jù)光的波動學說，普通光的振動是全方位的。只有一個振動方向的光叫做偏振光。 用特殊材料制成的偏振光透鏡（又叫偏光濾鏡或偏光片） ，相當于一個由一組平行的細長縫組成的光柵。這個光柵只允許振動方向與細縫一致的偏振光通過，其他振動方向的偏振光則不能通過。用振動方向互相垂直的兩束偏振光把兩幅圖像投射到投影幕上，再用透光方向互相垂直的兩

48、個偏振光透鏡觀看，兩只眼睛就會看到不同的圖像，從而得到立體影像。 一般地，兩個偏振光透鏡的偏振光角度應相互垂直，一般取 0 度和 90 度的組合或 45 度和135 度的組合。偏振光透鏡濾除特定角度偏振光以外的所有光，讓一個角度的偏振光投射的投影幕上。代表著左、右眼的兩幅圖像經(jīng)過偏振光透鏡后，重疊于投影幕上。 觀眾的偏光眼鏡中，兩片鏡片也由偏光濾鏡或偏光片制成，且偏振角度相互垂直。投影幕將投影機發(fā)出的光反射到觀眾的眼鏡上，完成了第二次過濾。 2.4.3 分光立體顯示設(shè)備分光立體顯示設(shè)備 根據(jù)上述的分光立體顯示原理，分光立體顯示需要投影設(shè)備以及兩套具有偏振透光特性的光學儀器。因此，一套最基本的分

49、光立體顯示設(shè)備應當包括 2 個規(guī)格相同的投影機、一張金屬投影幕、2 個偏振角度相互垂直的偏振光透鏡、1 副裝有 2 片偏振角度相互垂直的偏光片的立體眼鏡。 立體投影機應當使用流明度較高（至少 3000 流明）的投影機，投影幕應當選用金屬投影幕。2 臺投影機的視頻信號分別由 2 臺計算機提供。3 基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)的研究與設(shè)計基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)的研究與設(shè)計3.1 概述概述 基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)（下文中簡稱“立體全景漫游系統(tǒng)” 、 “漫游系統(tǒng)”或“系統(tǒng)” ）是本課題研究和設(shè)計的主要對象。 該系統(tǒng)是一個全新的虛擬現(xiàn)實系統(tǒng)，主要向計算機用戶提供全景漫游等功能。與傳統(tǒng)的全景漫

50、游系統(tǒng)的不同之處在于，本系統(tǒng)提供了一種全新的基于互聯(lián)網(wǎng)的工作方式，并前所未有地將立體顯示技術(shù)應用于全景漫游領(lǐng)域，革命性地提升了全景漫游的用戶體驗。 本章的主要內(nèi)容是研究和分析基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)在功能、性能、系統(tǒng)、軟件架構(gòu)、數(shù)據(jù)組織、平臺構(gòu)建上的各類問題，并進行宏觀的設(shè)計，為構(gòu)建系統(tǒng)提供必要的條件。3.2 功能需求的描述功能需求的描述 3.2.1 綜述綜述 功能需求的描述是從用戶的角度對系統(tǒng)所應提供的功能進行刻畫和約定。與面向?qū)嶋H需求的軟件項目不同，本系統(tǒng)的研究與構(gòu)建是具有研究性質(zhì)的。因此，我們從用戶使用的角度出發(fā)，以提升用戶體驗為使命，將本系統(tǒng)所應提供的功能以及具體的要求進行刻畫、描

51、述與確定。 基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)，應當具備如下 3 個功能與特點： 1、提供基于互聯(lián)網(wǎng)運行的工作模式； 2、提供逼真的全景虛擬現(xiàn)實環(huán)境； 3、提供精湛的立體顯示效果。 下文將針對這 3 個功能與特點做詳細描述。 3.2.2 基于互聯(lián)網(wǎng)運行的工作模式基于互聯(lián)網(wǎng)運行的工作模式 系統(tǒng)應當提供基于互聯(lián)網(wǎng)運行的工作模式。 在因特網(wǎng)高速發(fā)展的時代，利用互聯(lián)網(wǎng)凝聚廣大網(wǎng)民的智慧是一種全新的、高效的且已成為共識的理念。目前，全景漫游技術(shù)沒有大眾化、平民化、普及化。全景漫游解決方案往往是由專業(yè)的全景技術(shù)提供商來構(gòu)建的，普通的計算機用戶和攝影愛好者無法簡單地觸及和感受全景漫游技術(shù)帶來的切身體驗。全景漫游技

52、術(shù)的相對專業(yè)性，導致廣大互聯(lián)網(wǎng)用戶在全景漫游領(lǐng)域的智慧和資源無法被凝聚和挖掘。因此，基于互聯(lián)網(wǎng)運行的工作模式，應當是本課題所構(gòu)建的立體全景漫游系統(tǒng)的重要功能之一。 在基于互聯(lián)網(wǎng)運行的立體全景漫游系統(tǒng)中，用戶在全景解決方案的構(gòu)建、使用過程中的全部操作都在客戶端軟件上運行，而數(shù)據(jù)和服務則由服務器提供。當用戶在進行全景漫游時，所有的圖像、資料等數(shù)據(jù)均從服務器下載，客戶端對下載后的數(shù)據(jù)進行處理分析，與計算機用戶進行交互。 基于網(wǎng)絡而運行的全景漫游系統(tǒng)，將會凝聚互聯(lián)網(wǎng)用戶的智慧，積聚互聯(lián)網(wǎng)用戶的資源，構(gòu)建出能夠令所有互聯(lián)網(wǎng)用戶共享的、豐富而充足的數(shù)據(jù)，使全景漫游的技術(shù)和體驗在互聯(lián)網(wǎng)上得到傳播和普及。 3

53、.2.3 逼真的全景虛擬現(xiàn)實環(huán)境逼真的全景虛擬現(xiàn)實環(huán)境 系統(tǒng)應當為用戶提供逼真的全景虛擬現(xiàn)實環(huán)境。 本系統(tǒng)支持的全景圖為柱面全景圖，采用 JPEG 圖像文件格式。當用戶進行全景漫游時，用戶選擇想要觀測的全景瀏覽點，并在觀測點上可做水平方向的視線轉(zhuǎn)移、前后方向的走動以及垂直方向的視線轉(zhuǎn)移等操作。系統(tǒng)根據(jù)用戶的操作構(gòu)建出用戶應當看到的影像，完成虛擬現(xiàn)實系統(tǒng)對用戶操作的反饋，使用戶獲得具有真實感與沉浸感的體驗。 3.2.4 精湛的立體顯示效果精湛的立體顯示效果 系統(tǒng)應當為用戶提供精湛的立體顯示效果。 將立體顯示應用于全景漫游領(lǐng)域，是本系統(tǒng)、本課題最值得稱贊的亮點和創(chuàng)新之處。如前文所述，本系統(tǒng)采用立體

54、顯示技術(shù)是分光立體顯示技術(shù)。本系統(tǒng)應當為這種立體顯示的工作方式提供軟件的支持。 分光立體顯示需要有 2 路視頻信息在同一時刻經(jīng)過 2 片偏振角度相互垂直的偏振光透鏡后輸出到投影幕上。目前，大多數(shù)的個人計算機只有一個視頻輸出接口，因此控制 2 個投影機視頻信號的應當是 2 臺計算機，計算機之間使用局域網(wǎng)（快速以太網(wǎng)）傳輸數(shù)據(jù)，完成軟件控制操作。 本系統(tǒng)應當為通過局域網(wǎng)（快速以太網(wǎng)）連接起來并將用于立體全景漫游的 2 臺計算機提供軟件功能，使得用戶只要操作其中一臺計算機（做水平方向的視線轉(zhuǎn)移、前后方向的走動以及垂直方向的視線轉(zhuǎn)移等操作） ，就可實現(xiàn) 2 路視頻信號按照某種指定的邏輯同步輸出，完成帶

55、有立體效果的全景漫游。3.2 性能需求的描述性能需求的描述 3.2.1 性能需求的重要性性能需求的重要性 上文所述的功能需求，從用戶的角度出發(fā)對立體全景漫游系統(tǒng)所應提供的 3 個主要功能做了細致的描述和刻畫，這是系統(tǒng)構(gòu)建的基礎(chǔ)。然而，軟件系統(tǒng)是否真正適應用戶需求并具有產(chǎn)品化的價值，更關(guān)鍵之處往往在于軟件的性能。 在虛擬現(xiàn)實系統(tǒng)中，系統(tǒng)性能是一個十分關(guān)鍵的指標。無論是基于實景的還是基于虛景的，無論是基于幾何建模的還是基于圖像或視頻的，虛擬現(xiàn)實系統(tǒng)往往需要在資源受限、條件苛刻的情況下處理龐大的數(shù)據(jù)、進行復雜的計算，且必須在規(guī)定的時間間隔內(nèi)完成。上述的這些需求，從本質(zhì)上看是相互矛盾的，因此虛擬現(xiàn)實系

56、統(tǒng)的設(shè)計與構(gòu)建需要研究開發(fā)人員在諸多條件因素之間做出權(quán)衡，以保證系統(tǒng)性能得到最大的提升。 基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)，在性能的要求上面臨著很大的挑戰(zhàn)。例如，用戶在進行全景漫游時，每當做出模擬的動作時（如水平方向的視線轉(zhuǎn)移、前后方向的走動等） ，軟件應當立即在指定的顯示區(qū)域繪制出用戶當前所應看到的圖像信息，這對圖像渲染的時間有著嚴格的要求。例如，當用戶在操控立體全景顯示系統(tǒng)時，2 路視頻信號應當在時間上嚴格同步，才能確保立體效果的完美演繹。 經(jīng)分析，本系統(tǒng)在性能上應當滿足如下 4 點需求： 1、客戶端軟件與服務端軟件進行數(shù)據(jù)與信號傳輸?shù)暮臅r應當控制在用戶可以接受的程度，并應越少越好. 2、用戶

57、進行全景漫游時，系統(tǒng)的響應時間、圖像的繪制時間應當控制在用戶可以接受的范圍，并且越少越好。 3、當用戶在體驗立體全景漫游時，控制不同視頻信號的 2 臺計算機在圖像的繪制上應當同步，時間上的誤差應當控制在人眼無法覺察的范圍內(nèi)。 4、客戶端軟件應當能夠在大多數(shù)個人計算機上流暢運行，且不應消耗過多的系統(tǒng)資源。 下文針對這 4 個關(guān)鍵的性能要求分別做出詳細的論述。 3.2.2 客戶端與服務端的通訊耗時客戶端與服務端的通訊耗時 如前文所述，本系統(tǒng)采用基于互聯(lián)網(wǎng)的工作方式，所有的圖像和資料均存放在服務器上。當需要使用指定的資源時，客戶端軟件首先向服務器提交請求，然后從服務器下載需要的數(shù)據(jù)。 全景圖由于其特

58、殊性，分辨率較大，清晰度很高，因此文件體積比普通的照片大很多倍。系統(tǒng)應當有恰當?shù)牟呗?，以保證在帶寬資源有限的情況下，服務器與客戶端的數(shù)據(jù)傳輸時間被控制在用戶可以接受的范圍內(nèi)。 3.2.3 全景漫游的系統(tǒng)響應與圖像繪制全景漫游的系統(tǒng)響應與圖像繪制 全景漫游系統(tǒng)是一種虛擬現(xiàn)實系統(tǒng)，對系統(tǒng)響應的性能有著嚴格的要求。 在全景漫游過程中，當用戶執(zhí)行某項操作時，系統(tǒng)應當做出迅速的反饋，并在用戶可以承受的時間間隔內(nèi)將用戶所應看到的圖像予以計算和繪制。假如響應反饋和圖像繪制的時間消耗無法達到該要求，用戶的虛擬現(xiàn)實體驗水平就會大幅下降，系統(tǒng)的可行性、可推廣性也無法提高。 因此，系統(tǒng)應當有恰當?shù)牟呗院偷卯數(shù)脑O(shè)計，

59、以保證用戶的交互操作在盡可能短的時間內(nèi)得到響應和反饋。 3.2.4 立體全景漫游的信號同步立體全景漫游的信號同步 支持立體效果是本全景漫游系統(tǒng)的特色。根據(jù)分光立體顯示原理，立體影像的生成需要 2臺通過局域網(wǎng)（快速以太網(wǎng)）連接起來的計算機同步輸出 2 路視頻信號。這 2 路視頻信號必須嚴格同步才能保證立體效果的完美演繹。 因此，立體全景漫游系統(tǒng)必須保證 2 路視頻信號按照某種指定的邏輯同步輸出，時間上的誤差應當控制在人眼無法覺察的范圍內(nèi)，以保證用戶在進行虛擬現(xiàn)實體驗時感覺立體圖像是絕對逼真的。 3.2.5 客戶端軟件的資源消耗客戶端軟件的資源消耗 虛擬現(xiàn)實系統(tǒng)的一大特點是資源消耗大，尤其是對系統(tǒng)

60、硬件資源的占用。如何在保證功能與性能的前提下盡可能削減資源消耗，一向是虛擬現(xiàn)實系統(tǒng)研究開發(fā)人員面臨的難題和挑戰(zhàn)。 立體全景漫游系統(tǒng)面向的用戶群體的廣大互聯(lián)網(wǎng)用戶，因此系統(tǒng)的構(gòu)建必須考慮大多數(shù)個人計算機的硬件配置水平以及互聯(lián)網(wǎng)的發(fā)展水平與實際狀況，以確保系統(tǒng)在大多數(shù)情況下能夠正常工作、流暢運行。3.3 系統(tǒng)架構(gòu)設(shè)計系統(tǒng)架構(gòu)設(shè)計 3.3.1 綜述綜述 基于互聯(lián)網(wǎng)的立體全景漫游系統(tǒng)是一個新型的虛擬現(xiàn)實系統(tǒng)，功能和架構(gòu)比較復雜，整個解決方案包括硬件部分和軟件部分。硬件部分主要包括服務器、客戶端的計算機、用于立體顯示的設(shè)備以及用于數(shù)據(jù)傳輸?shù)木W(wǎng)絡等；軟件部分主要包括服務器、客戶端上的支持系統(tǒng)各項功能的應用