一種使用虛擬實(shí)現(xiàn)和網(wǎng)絡(luò)平臺(tái)的協(xié)同遙控分布構(gòu)架

1、一種使用虛擬實(shí)現(xiàn)和網(wǎng)絡(luò)平臺(tái)的協(xié)同遙控分布構(gòu)架摘要：增強(qiáng)實(shí)現(xiàn)(AR)可以為實(shí)現(xiàn)復(fù)雜任務(wù)提供人工操作(HO)現(xiàn)實(shí)幫助，如機(jī)器人的遠(yuǎn)程控制和遠(yuǎn)程協(xié)作。使用方法擴(kuò)增可以使HO更快、更安全、更容易地與現(xiàn)實(shí)中遙遠(yuǎn)的世界互動(dòng)。本文展示了一種現(xiàn)存分布式軟件和針對(duì)基于結(jié)合了現(xiàn)實(shí)和移動(dòng)平臺(tái)的遠(yuǎn)程人工標(biāo)量網(wǎng)絡(luò)構(gòu)架的擴(kuò)展。第一個(gè)遠(yuǎn)程協(xié)議系統(tǒng)由VR應(yīng)用和一個(gè)網(wǎng)頁應(yīng)用組成。但是兩個(gè)系統(tǒng)不能同時(shí)使用，不可能同時(shí)控制一個(gè)遠(yuǎn)程機(jī)器人。目標(biāo)是升級(jí)遠(yuǎn)程協(xié)作系統(tǒng)允許在兩個(gè)平臺(tái)中的異構(gòu)遠(yuǎn)程協(xié)作。這種接口的一個(gè)重要的特點(diǎn)是基于不同的虛擬實(shí)現(xiàn)平臺(tái)和不同的移動(dòng)平臺(tái)來控制一個(gè)或多個(gè)機(jī)器人。這項(xiàng)研究的首要目的是發(fā)展虛擬或現(xiàn)實(shí)的協(xié)作機(jī)器人教學(xué)關(guān)鍵

2、詞：協(xié)作，虛擬實(shí)現(xiàn)，增強(qiáng)實(shí)現(xiàn)，機(jī)器人教學(xué)，分布式構(gòu)架，遠(yuǎn)程操作1. 緒論早期的計(jì)算機(jī)輔助遠(yuǎn)程協(xié)作構(gòu)架為人工操作提供了多種幫助12。但是各種輔助策略和與信息相關(guān)的任務(wù)以及操控機(jī)器人行為的函數(shù)與所采用的策略(即凍結(jié)了一些機(jī)器人的自由度)被提出。這個(gè)方法的問題在于一個(gè)封閉的平臺(tái)上使用當(dāng)前的解決方案，不允許改變函數(shù)3。虛擬實(shí)現(xiàn)(VR)和增強(qiáng)實(shí)現(xiàn)可以從遠(yuǎn)程控制系統(tǒng)中受益來發(fā)展人機(jī)互換。使用視頻反饋中機(jī)器人周圍的虛擬機(jī)器人預(yù)測顯示的概念，VR/AR已經(jīng)解決了時(shí)滯的問題4567。在實(shí)驗(yàn)室中，已經(jīng)研究用于遠(yuǎn)程操作系統(tǒng)人機(jī)互動(dòng)模型數(shù)年，得到了ARITI系統(tǒng)。通過虛擬實(shí)現(xiàn)和增強(qiáng)實(shí)現(xiàn)，ARITI允許控制一個(gè)擁有6個(gè)

3、自由度的機(jī)器人。兩個(gè)遠(yuǎn)程操作平臺(tái)共存。首先使用了一個(gè)虛擬實(shí)現(xiàn)/增強(qiáng)實(shí)現(xiàn)的半現(xiàn)場平臺(tái)89。其次是一個(gè)通過網(wǎng)頁瀏覽器的在線版本訪問6。最近協(xié)作功能已經(jīng)集成于VR9平臺(tái)和網(wǎng)頁平臺(tái)10。但是出現(xiàn)了本文所描述的技術(shù)問題和運(yùn)用限制。最主要的問題是這兩個(gè)平臺(tái)不能同時(shí)使用。因此這兩個(gè)平臺(tái)不可能協(xié)作。遠(yuǎn)程協(xié)議的根據(jù)來自數(shù)種情況：機(jī)械手工作空間或者抓巨大物體的物理限制。然而正如文獻(xiàn)11所指出的，當(dāng)前機(jī)器人的挑戰(zhàn)之一是在同一個(gè)工作空間里，執(zhí)行涉及人類和機(jī)器的任務(wù)，也叫遠(yuǎn)程監(jiān)控。這項(xiàng)研究的最終目標(biāo)是用多接口和多設(shè)備實(shí)現(xiàn)遠(yuǎn)程操作(使用者-機(jī)器人)。因?yàn)橐沟肰R/AR用戶這間的協(xié)作變得可能，所以移動(dòng)用戶和遠(yuǎn)程機(jī)器人在一

4、個(gè)機(jī)器人教程申請。在文章的第二部分，之前研究的ARITI接口提供了不同的輔助功能。第三部分描述了軟件和網(wǎng)絡(luò)構(gòu)架。第四部分展示了一個(gè)協(xié)作機(jī)器人教程應(yīng)用使用的新構(gòu)架。2. 之前的研究ARITI項(xiàng)目或者對(duì)于利用因特網(wǎng)的遠(yuǎn)程操作增強(qiáng)實(shí)現(xiàn)接口已經(jīng)于幾年之前開始了。事實(shí)上，這是一個(gè)客戶端/服務(wù)器的應(yīng)用，使用任何的遠(yuǎn)程電腦，允許虛擬化和控制6自由度機(jī)器人(Fanuc Lr Mate，其特性參閱表一)。其目的在于增強(qiáng)對(duì)于實(shí)現(xiàn)復(fù)雜遠(yuǎn)程機(jī)器人操作的HO能力。在這一部分，展示了帶著問題與限制的ARITI遠(yuǎn)程操作系統(tǒng)，嘗試解決本文列舉的研究發(fā)展問題。為了幫助HO控制機(jī)器人和實(shí)現(xiàn)復(fù)雜的遠(yuǎn)程操作任務(wù)，必須給它一個(gè)在運(yùn)算空

5、間的虛擬裝置(VF)的互動(dòng)輔助。這些VF的出現(xiàn)與消失就如機(jī)器人的掛鉤熟練地接近或遠(yuǎn)離物體12。這種虛擬裝置的出現(xiàn)與已經(jīng)實(shí)現(xiàn)的任務(wù)相關(guān)。圖一展示了ARITI版本的歷史。首先應(yīng)用創(chuàng)造試ARITI網(wǎng)頁單通道用戶。然后在應(yīng)用中集成協(xié)作函數(shù)，同時(shí)發(fā)展VR平臺(tái)來提升用戶使用3D視野和自然互動(dòng)的能力。A. ARITI網(wǎng)頁ARITI網(wǎng)頁基于一種把用戶接口分為4部分的Java小程序。第一部分是運(yùn)用疊置的虛擬機(jī)器人來實(shí)現(xiàn)遠(yuǎn)程機(jī)器人增強(qiáng)視頻反饋。接著是虛擬機(jī)器人的2個(gè)虛擬觀。最后哦一部分是通過點(diǎn)擊按鈕的方式控制機(jī)器人。在一開始，協(xié)作是不可能的，因此集成這些概念升級(jí)應(yīng)用，使得用戶做成群，而每一個(gè)用戶的獨(dú)立表現(xiàn)都會(huì)對(duì)任

6、務(wù)產(chǎn)生影響。B. VR平臺(tái)上的ARITI1) VR平臺(tái)的簡介VR平臺(tái)有兩個(gè)建立條件：自由的和正常的操作。一個(gè)有著活動(dòng)的立體能力的大屏幕組成VR平臺(tái)。目前有很多互動(dòng)的設(shè)備如5DT數(shù)據(jù)手套用來檢索手部的參數(shù)，一個(gè)ART光學(xué)跟蹤(Flystick,手/頭跟蹤)和一個(gè)SPIDAR以產(chǎn)生觸覺反饋。在圖二中，一個(gè)操作員用一個(gè)Flystick，帶著有3D效果的動(dòng)態(tài)視覺眼鏡操控著一個(gè)遠(yuǎn)程機(jī)器。2) ARITI虛擬實(shí)現(xiàn)一開始，ARITI VR使用支持單一用戶的6自由度，之后再集成了協(xié)作功能。已經(jīng)用另一個(gè)平臺(tái)測試了協(xié)作功能9。在另一個(gè)用SPIDAR作為互動(dòng)設(shè)備來控制機(jī)器人的平臺(tái)，一個(gè)網(wǎng)頁界面用來顯示兩個(gè)遠(yuǎn)程操控者

7、的視頻會(huì)議。第一個(gè)平臺(tái)用一個(gè)Flystick作為控制虛擬機(jī)器的設(shè)備，但是這個(gè)虛擬機(jī)器能通過視頻反饋不疊加于真實(shí)機(jī)器。C. 限制和問題這一時(shí)機(jī)系統(tǒng)的主要限制在于兩個(gè)版本不能完全融合。使用網(wǎng)頁版本的時(shí)候必須停止VR平臺(tái)。目標(biāo)是建立一個(gè)全局性的遠(yuǎn)程操作，允許使用希望的平日遠(yuǎn)程控制一個(gè)機(jī)器人。遠(yuǎn)程機(jī)器人的視頻流只能傳給一個(gè)用戶，因?yàn)閭鬟f視頻流的協(xié)議是一個(gè)自制協(xié)議。因此當(dāng)?shù)诙€(gè)用戶連接系統(tǒng)，就只能觀看虛擬機(jī)器人了。虛擬平臺(tái)通過高性能圖形算法行業(yè)標(biāo)準(zhǔn)庫用C+實(shí)現(xiàn)的。而且互動(dòng)接口受限于VR平臺(tái)上的設(shè)備應(yīng)用(ART跟蹤，SPIDAR)。在一個(gè)正式的JAVA小程序里實(shí)現(xiàn)了網(wǎng)頁應(yīng)用。可以利用協(xié)作但用戶必須組成一個(gè)

8、集團(tuán)并且選中每一個(gè)任務(wù)，所以他們一起不能無限制地控制。表一(第1、2列)總結(jié)了實(shí)際系統(tǒng)中很多限制和問題。3. 新的遠(yuǎn)程協(xié)作系統(tǒng)提出的遠(yuǎn)程協(xié)作系統(tǒng)試圖不久這些問題與限制。在這一部分中展現(xiàn)了擬議的更正和技術(shù)上的解決方案。旨在支持多接口和多設(shè)備。A. 解決問題和限制集成了虛擬工具解決方案來發(fā)展之前討論的VR應(yīng)用。虛擬工具是一種易于發(fā)展商業(yè)或教育活動(dòng)VR的應(yīng)用。虛擬工具本機(jī)集成VRPN，一個(gè)開源的解決方案使用多個(gè)VR設(shè)備。ARITI網(wǎng)頁的第一個(gè)版本使用標(biāo)準(zhǔn)Java小程序。這個(gè)解決方案需要安裝在客戶端的虛擬機(jī)器。使用基于Tomcat服務(wù)器的J2EE允許在服務(wù)器上驅(qū)逐和執(zhí)行代碼。然而應(yīng)為更易于移植，所以需

9、要選擇PHP或者ASP(J2SE-JEE)，以及由于現(xiàn)存的JAVA 3D JAVA VLC(JVLC)庫，所以JAVA可以提供更多可能性。B. 新的網(wǎng)絡(luò)構(gòu)架為了彌補(bǔ)不能同時(shí)使用2個(gè)平臺(tái)的限制。服務(wù)器允許連接VR和移動(dòng)應(yīng)用。圖三展示了集成了多用戶服務(wù)器的網(wǎng)絡(luò)架構(gòu)。這一個(gè)服務(wù)器與一個(gè)MySQL數(shù)據(jù)庫儲(chǔ)存位置以及用戶的虛擬機(jī)器人方向相連。連接機(jī)器人服務(wù)器的多用戶服務(wù)器從用戶端傳輸機(jī)器人命令。對(duì)于視頻組件，我們使用基于Windows Server 2003企業(yè)版終極服務(wù)器的窗口多媒體服務(wù)器。這個(gè)中繼服務(wù)器從不同的服務(wù)編碼器中接收數(shù)據(jù)流，并把數(shù)據(jù)流傳送(多廣播和單廣播)到連接的客戶端。譯碼服務(wù)器使用Wi

10、ndows Media Coder9。因?yàn)閒fmpeg流不能與虛擬工具一起正確地工作，所以這一解決方案被用來取代ffmpeg流解決方案。圖四展示了提出的流構(gòu)架。媒體編碼器可以從與DxShow相容的不同的源中編譯視頻和音頻(例如網(wǎng)絡(luò)攝像機(jī)或者防火墻攝像機(jī))。使用這兩種攝像機(jī)：Logitech Quickcam Pro 4000和PixeLink Firewire cameras。完成了很多任務(wù)(時(shí)滯，切換網(wǎng)絡(luò))來選擇最佳的標(biāo)準(zhǔn)配置。C. 新的構(gòu)架軟件隨著這項(xiàng)研究，希望在系統(tǒng)中集成軟件構(gòu)架可以允許個(gè)人應(yīng)用。為了達(dá)到這一目的，把所有函數(shù)看成是模塊，用相同的規(guī)范設(shè)計(jì)，用于第2個(gè)版本(移動(dòng)的和經(jīng)典的)。

11、一個(gè)模塊有兩個(gè)工作方式(安全模式和經(jīng)典模式)，利用內(nèi)核通信。有兩種內(nèi)核版本，移動(dòng)內(nèi)核與VR內(nèi)核。VR內(nèi)核應(yīng)用于虛擬工具腳本語言，其次應(yīng)用于JAVA。盡管現(xiàn)存兩個(gè)內(nèi)核版本，但每一個(gè)內(nèi)核都有著相同的結(jié)構(gòu)、功能、輸入以及輸出。內(nèi)核發(fā)出模塊同步信號(hào)如“LAOD”或“UNLOAD”。當(dāng)運(yùn)行時(shí)，這些信號(hào)用來載入模塊或者卸載模塊。圖五表明了內(nèi)核之間不同模塊的通信。一開始，通過模塊載入器(內(nèi)核的組件)載入模塊。當(dāng)載入完成后，模塊向內(nèi)核發(fā)出狀態(tài)報(bào)告，允許選擇工作模式(安全模式或經(jīng)典模式)。安全模式允許通過發(fā)送信號(hào)(“SAFE”)來停用一些可能的模塊。內(nèi)核也會(huì)隨著信號(hào)發(fā)送一些參數(shù)。這些參數(shù)就是下降度。例如用戶選擇

12、5臺(tái)攝像機(jī)來去遠(yuǎn)程機(jī)器的5個(gè)點(diǎn)，然而延時(shí)太大，所以在一個(gè)較好的延時(shí)水平上，系統(tǒng)將會(huì)自動(dòng)地使用盡可能多的攝像機(jī)，以給用戶一個(gè)好的體驗(yàn)，模塊接收到4臺(tái)攝像機(jī)的帶著參數(shù)4的“SAFE 4”。圖6運(yùn)用這3個(gè)模塊的軟件構(gòu)架。這種構(gòu)架的主要特點(diǎn)是用戶不用停止應(yīng)用而動(dòng)態(tài)地在應(yīng)用中添加附件。例如在一個(gè)遠(yuǎn)程任務(wù)之中用戶一開始選擇自由控制機(jī)器人，然而需要編輯和儲(chǔ)存一個(gè)軌跡。當(dāng)運(yùn)行應(yīng)用時(shí)，系統(tǒng)可以添加軌跡模塊。原型系統(tǒng)使用移動(dòng)應(yīng)用的網(wǎng)頁服務(wù)器。用戶使用原型系統(tǒng)來選擇在遠(yuǎn)程操作應(yīng)用所需的所有元素。事實(shí)上一個(gè)模塊是一個(gè)包含了方式和由XML描述含有方式和參數(shù)的模塊的包。由所有模塊的描述和用戶選項(xiàng)生成一個(gè)最終的XML文件。

13、在原始系統(tǒng)里，顯示了一個(gè)模塊清單，儲(chǔ)存于一個(gè)MySQL數(shù)據(jù)庫。點(diǎn)擊“more”功能允許配置模塊選項(xiàng)(攝像機(jī)的數(shù)量，使用的交互設(shè)備)。當(dāng)用戶把光標(biāo)放在選項(xiàng)上時(shí)，信息被顯示出來。用戶點(diǎn)擊2個(gè)鏈接：“使用舉例”和“模塊應(yīng)用”調(diào)整模塊的更多細(xì)節(jié)。D. 模塊舉例原始系統(tǒng)(PS)允許生產(chǎn)個(gè)性化的應(yīng)用。在這一部分，將展示基于所提構(gòu)架中在機(jī)器教程應(yīng)用中使用的4個(gè)重要的模塊。1) 協(xié)作模塊這個(gè)模塊允許遠(yuǎn)程協(xié)作任務(wù)。但是不強(qiáng)迫使用協(xié)作模塊。不使用這個(gè)模塊，也可以允許單用戶遠(yuǎn)程協(xié)作。這種情況下，模塊包含了通信的文本信息、基本協(xié)調(diào)進(jìn)程以及2種機(jī)器控制類型：- 每個(gè)用戶控制一個(gè)虛擬機(jī)器，所有運(yùn)動(dòng)的結(jié)果將會(huì)傳給真實(shí)機(jī)器-

14、 每個(gè)用戶獨(dú)立控制虛擬機(jī)器- 在VR平臺(tái)上的文本信息通信是不可能的，因?yàn)橛脩舨⒉皇怯面I盤的。因此集成了音頻和視頻通信2) 機(jī)器控制模塊對(duì)于遠(yuǎn)程控制機(jī)器來說，模塊是必要的和需要配置的。事實(shí)上可以利用很多方法實(shí)現(xiàn)交互功能如鼠標(biāo)、鍵盤、Flystick、數(shù)據(jù)手套和其它。但是Flystick、數(shù)據(jù)手套只能用于VR平臺(tái)。在VR應(yīng)用的情況下，這個(gè)模塊將用于VR設(shè)備模塊。這兩種模塊的組合將允許VR平臺(tái)上機(jī)器的遠(yuǎn)程操作。VR設(shè)備模塊使用VRPN支持很大的設(shè)備清單。VR設(shè)備需要VRPN轉(zhuǎn)發(fā)它們的數(shù)據(jù)；而鍵盤和鼠標(biāo)不需要VRPN。VR設(shè)備模塊可以在平臺(tái)上激活音頻和視頻和得到3D效果。3) 增強(qiáng)實(shí)現(xiàn)模塊機(jī)器教程模塊

15、允許通過使用現(xiàn)實(shí)或者虛擬的機(jī)器生成真實(shí)的軌道。當(dāng)使用AR模塊時(shí)，這條軌道直接在機(jī)器中儲(chǔ)存，而這又將使得在虛擬目標(biāo)上生成聯(lián)系著真實(shí)機(jī)器的長距離軌道。軌道通過適當(dāng)?shù)耐ㄐ艆f(xié)議直接儲(chǔ)存在機(jī)器上。圖十說明了AR的使用和機(jī)器教程模塊。4. 更新后的構(gòu)架的首次應(yīng)用使用新興軟件和網(wǎng)絡(luò)構(gòu)架來發(fā)展遠(yuǎn)程操作系統(tǒng)的協(xié)作機(jī)器人教程?？梢允褂脙煞N可能的控制。首先，控制虛擬機(jī)器生成全局命令，然后把結(jié)果傳給真實(shí)機(jī)器(對(duì)于多用戶的情況)。每個(gè)用戶都與虛擬機(jī)器相聯(lián)系，都可以看到用戶虛擬機(jī)器作用的位置。圖八表明了一個(gè)利用網(wǎng)頁瀏覽器、iPhone和一個(gè)虛擬工具的應(yīng)用例子。其次，在這個(gè)例子中控制真實(shí)機(jī)器生成一個(gè)命令(針對(duì)單用戶的情況)

16、。用戶直接使用機(jī)器人技術(shù)控制機(jī)器人(如果用戶在機(jī)器人附近)，或者用遠(yuǎn)程操作模式控制機(jī)器人(如果用戶離機(jī)器人較遠(yuǎn))。圖九展示了HO通過復(fù)制Fanuc科技控制遠(yuǎn)程機(jī)器人的顯示屏幕。用戶在三個(gè)坐標(biāo)軸(x、y、z)上有三個(gè)視點(diǎn)。用戶可以通過點(diǎn)擊“l(fā)ittle”選擇視點(diǎn)。點(diǎn)擊后，在應(yīng)用平臺(tái)上顯示視角以及使用增強(qiáng)實(shí)現(xiàn)來使制作器進(jìn)入軌道。用戶可以利用面板生成虛擬對(duì)象(這里是一輛小車)的軌跡。機(jī)器人可以在合作模式或者工具模式中遠(yuǎn)程操作。5. 總結(jié)展示了一種新的允許高級(jí)別遠(yuǎn)程工作活動(dòng)的協(xié)作人機(jī)接口(MMI)，以及使用增強(qiáng)和虛擬現(xiàn)實(shí)技術(shù)的機(jī)器人遠(yuǎn)程操控。通過辨明問題和限制真實(shí)系統(tǒng)的限制以作為研究的開始。事實(shí)上，打算在協(xié)作機(jī)器人教程層面上集成對(duì)多接口和多設(shè)備的支持。因此，在這個(gè)約束下建立架構(gòu)。遇到的一個(gè)主要的問題是允許遠(yuǎn)程機(jī)器人視頻流的同步傳輸。第二個(gè)條件是在系統(tǒng)中，允許快速簡易地增添/刪除/更新模塊。為了滿足這些條件，提出了一個(gè)通過點(diǎn)擊所需模塊允許個(gè)性化應(yīng)用的原型系統(tǒng)。同時(shí)允許選擇VR應(yīng)用平臺(tái)和網(wǎng)頁瀏覽器或其它移