2024移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)技術(shù)規(guī)范

移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)技術(shù)規(guī)范目??次目??次 I前??言 III信息技術(shù)移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)技術(shù)規(guī)范 1范圍 1規(guī)范性引用文件 1術(shù)語(yǔ)和定義 1縮略語(yǔ) 3系統(tǒng)結(jié)構(gòu) 4功能要求 4在線跟蹤定位 4尺度估計(jì) 5標(biāo)志物識(shí)別跟蹤 5三維重建 5光照估計(jì) 6人臉識(shí)別跟蹤 6手勢(shì)識(shí)別跟蹤 6渲染引擎 6虛實(shí)遮擋 7性能要求 7在線跟蹤定位 7尺度估計(jì) 8標(biāo)志物識(shí)別跟蹤 8三維重建 8光照估計(jì) 9人臉識(shí)別跟蹤 9手勢(shì)識(shí)別跟蹤 9渲染引擎 9虛實(shí)遮擋 9運(yùn)行 9測(cè)試方法 10測(cè)試環(huán)境 10室內(nèi)小場(chǎng)景 10室內(nèi)外大場(chǎng)景 10功能測(cè)試方法 10在線跟蹤定位 11尺度估計(jì) 11標(biāo)志物識(shí)別跟蹤 11三維重建 12光照估計(jì) 12人臉識(shí)別跟蹤 12I手勢(shì)識(shí)別跟蹤 12渲染引擎 12虛實(shí)遮擋 13性能測(cè)試方法 13在線跟蹤定位 13尺度估計(jì) 13標(biāo)志物識(shí)別跟蹤 13三維重建 14光照估計(jì) 15人臉識(shí)別跟蹤 15手勢(shì)識(shí)別跟蹤 15渲染引擎 15虛實(shí)遮擋 158.3.10運(yùn)行 15附錄A（規(guī)范性）增強(qiáng)現(xiàn)實(shí)系統(tǒng)相關(guān)手持式移動(dòng)設(shè)備傳感器 17曝光參數(shù) 17慣性測(cè)量單元 17對(duì)焦模式 17時(shí)間對(duì)準(zhǔn) 17攝像頭圖像質(zhì)量 17深度攝像頭 17附錄B（規(guī)范性）面部和手勢(shì)關(guān)鍵點(diǎn)分布 19面部關(guān)鍵點(diǎn)分布 19手部關(guān)鍵點(diǎn)分布 19IIII1313信息技術(shù)移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)技術(shù)規(guī)范范圍本文件給出了移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)，規(guī)定了功能要求、基本性能要求和測(cè)試方法。本文件適用于移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)的設(shè)計(jì)、生產(chǎn)、應(yīng)用和維護(hù)。規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T38247-2019信息技術(shù)增強(qiáng)現(xiàn)實(shí)術(shù)語(yǔ)術(shù)語(yǔ)和定義GB/T38247-2019界定的以及下列術(shù)語(yǔ)和定義適合于本文件。3.1手持式移動(dòng)設(shè)備handheldmobile device具備攝像頭、顯示屏、網(wǎng)絡(luò)功能以及可檢測(cè)其方位和運(yùn)動(dòng)信息的元件的手持式終端設(shè)備。注：包括具備六自由度定位功能的手機(jī)或平板電腦等智能設(shè)備。3.2增強(qiáng)現(xiàn)實(shí)augmentedreality采用以計(jì)算機(jī)為核心的現(xiàn)代高科技手段生成的附加信息對(duì)使用者感知到的真實(shí)世界進(jìn)行增強(qiáng)的環(huán)境，生成的信息以視覺(jué)、聽(tīng)覺(jué)、味覺(jué)、嗅覺(jué)、觸覺(jué)等生理感覺(jué)融合的方式疊加至真實(shí)場(chǎng)景中。[來(lái)源：GB/T38247-2019，2.1.2]3.3真實(shí)環(huán)境actual environment人類所處的不需要借助裝備就能感知的包含多物理對(duì)象的真實(shí)世界。[來(lái)源：GB/T38247-2019，2.2.4]3.4虛擬對(duì)象virtual object計(jì)算機(jī)生成的具有幾何形狀、特定格式或特定行為的對(duì)象。注：其原型可以是現(xiàn)實(shí)對(duì)象，也可以是完全虛構(gòu)的對(duì)象。[來(lái)源：GB/T38247-2019，2.2.1]PAGEPAGE10PAGEPAGE33.5二維標(biāo)志物2dimensional marker預(yù)先設(shè)定的具有特殊編碼或圖案的二維圖像，通過(guò)檢測(cè)、跟蹤或識(shí)別該二維圖像，可在場(chǎng)景、圖像或視頻中估計(jì)出其相對(duì)于手持式移動(dòng)設(shè)備的位置和朝向。3.6三維標(biāo)志物3dimensional marker預(yù)先設(shè)定的具有特殊形狀或紋理的三維物體，通過(guò)檢測(cè)、跟蹤或識(shí)別該三維圖像，可在場(chǎng)景、圖像或視頻中估計(jì)出其相對(duì)于手持式移動(dòng)設(shè)備的位置和朝向。3.7錨點(diǎn)anchor point將虛擬物體放置在環(huán)境過(guò)程中所使用的基準(zhǔn)點(diǎn)。[來(lái)源：GB/T38247-2019，2.2.45]3.8云端cloud end供具備訪問(wèn)權(quán)限的手持式移動(dòng)設(shè)備遠(yuǎn)程接入、具備計(jì)算和存儲(chǔ)功能的系統(tǒng)。3.9定位localization獲取確定指定對(duì)象的空間六自由度位置和姿態(tài)信息。3.10重定位relocalization當(dāng)跟蹤定位丟失時(shí)，手持式移動(dòng)設(shè)備根據(jù)之前跟蹤過(guò)的歷史位置和朝向，通過(guò)觸發(fā)對(duì)手持式移動(dòng)設(shè)備的重新定位機(jī)制來(lái)獲取正確的位姿信息，并重置手持式移動(dòng)設(shè)備當(dāng)前的位姿。3.11六自由度跟蹤six degree of freedom tracking實(shí)時(shí)計(jì)算手持式移動(dòng)設(shè)備相對(duì)真實(shí)場(chǎng)景的六自由度位置和姿態(tài)。3.12同步定位與地圖構(gòu)建simultaneous localization and mapping設(shè)備（移動(dòng)終端或者機(jī)器人等）在未知環(huán)境里通過(guò)觀察外部環(huán)境來(lái)定位自身的位置和姿態(tài)，再通過(guò)自身的位置增量式地構(gòu)建未知環(huán)境的地圖。[來(lái)源：GB/T38247-2019，2.2.67]3.13光照估計(jì)illumination estimation從傳感器或攝像機(jī)視圖中分析計(jì)算物理場(chǎng)景的光源照度分布信息的過(guò)程。[來(lái)源：GB/T38247-2019，2.2.50]3.14尺度估計(jì)scale estimation在系統(tǒng)中獲得到物理世界的長(zhǎng)度尺寸信息的過(guò)程。[來(lái)源：GB/T38247-2019，2.2.51]3.15絕對(duì)位置誤差absolute position error增強(qiáng)現(xiàn)實(shí)系統(tǒng)所測(cè)得的當(dāng)前時(shí)刻手持式移動(dòng)設(shè)備位置的真實(shí)值與估計(jì)值之間的平均偏差。3.16絕對(duì)旋轉(zhuǎn)誤差absolute rotation error增強(qiáng)現(xiàn)實(shí)系統(tǒng)所測(cè)得的當(dāng)前時(shí)刻手持式移動(dòng)設(shè)備旋轉(zhuǎn)角度的真實(shí)值與估計(jì)值之間的平均偏差。3.17相對(duì)位置誤差relative position error手持式移動(dòng)設(shè)備位置發(fā)生變化時(shí)，增強(qiáng)現(xiàn)實(shí)系統(tǒng)所測(cè)得的當(dāng)前時(shí)刻與前一時(shí)刻位置的真實(shí)值變化量與估計(jì)值變化量之間的平均偏差。3.18相對(duì)旋轉(zhuǎn)誤差relative rotation error手持式移動(dòng)設(shè)備旋轉(zhuǎn)角度發(fā)生變化時(shí)，增強(qiáng)現(xiàn)實(shí)系統(tǒng)所測(cè)得的當(dāng)前時(shí)刻與前一時(shí)刻旋轉(zhuǎn)角度的真實(shí)值變化量與估計(jì)值變化量之間的平均偏差。3.19關(guān)鍵點(diǎn)平均召回率keypoints mean recall手持式移動(dòng)設(shè)備拍攝的圖片中，正確跟蹤的面部或手部的關(guān)鍵點(diǎn)與實(shí)際存在的關(guān)鍵點(diǎn)數(shù)量的平均比值。注1：面部和手部的關(guān)鍵點(diǎn)分布應(yīng)符合附錄B的規(guī)定。注2：正確跟蹤是指所跟蹤的關(guān)鍵點(diǎn)與實(shí)際存在的關(guān)鍵點(diǎn)的距離小于待檢測(cè)區(qū)域?qū)挾仁种坏臓顟B(tài)。縮略語(yǔ)下列縮略語(yǔ)適用于本文件。6DoF：六自由度（SixDegreesofFreedom）APE：絕對(duì)位置誤差（AbsolutePositionError）AR： 增強(qiáng)現(xiàn)實(shí)（AugmentedReality）ARE：絕對(duì)旋轉(zhuǎn)誤差（AbsoluteRotationError）CPU：中央處理器(CentralProcessingUnit)FPS：每秒幀數(shù)（FramesPerSecond）IMU：慣性測(cè)量單元（InertialMeasurementUnit）RPE：相對(duì)位置誤差（RelativePositionError）RRE：相對(duì)旋轉(zhuǎn)誤差（RelativeRotationError）SLAM：同步定位與地圖構(gòu)建（SimultaneousLocalization AndMapping）系統(tǒng)結(jié)構(gòu)圖1手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)圖功能要求在線跟蹤定位六自由度在線跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)在線估計(jì)設(shè)備的六個(gè)自由度位姿。本地重定位當(dāng)跟蹤定位丟失時(shí)，手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)在本地重新定位并重置設(shè)備當(dāng)前的位姿。云端重定位當(dāng)跟蹤定位丟失時(shí)，端云協(xié)同的手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)在云端重新定位并重置設(shè)備當(dāng)前的位姿。尺度估計(jì)手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：a）得到物理世界的尺度信息；b）使得虛擬場(chǎng)景與物理世界注冊(cè)在同一尺度的坐標(biāo)系下；c）實(shí)現(xiàn)虛擬對(duì)象與物理世界1：1虛實(shí)融合的效果。標(biāo)志物識(shí)別跟蹤二維標(biāo)志物識(shí)別跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：a）對(duì)定義好的場(chǎng)景二維標(biāo)志物進(jìn)行識(shí)別；b）6DoF三維標(biāo)志物識(shí)別跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：對(duì)真實(shí)場(chǎng)景中三維標(biāo)志物體的紋理或結(jié)構(gòu)信息進(jìn)行預(yù)處理；將來(lái)自攝像頭的實(shí)時(shí)信息與處理過(guò)的信息進(jìn)行比較，實(shí)現(xiàn)二維和三維信息的匹配；c）云端標(biāo)志物識(shí)別端云協(xié)同的手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：對(duì)用戶上傳到云端的帶二維標(biāo)志物的圖像幀，利用云端服務(wù)器計(jì)算資源進(jìn)行識(shí)別，并返回該幀二維標(biāo)志物的位置和朝向信息至用戶端；對(duì)用戶上傳到云端的帶三維物體的圖像幀，利用云端服務(wù)器計(jì)算資源進(jìn)行識(shí)別，并返回該幀三維物體的位置和朝向信息至用戶端。三維重建平面檢測(cè)及求錨點(diǎn)單一平面重建及求錨點(diǎn)手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：a）需支持水平面和豎直平面的檢測(cè)；b）理解真實(shí)場(chǎng)景的主水平面，并在其上求出錨點(diǎn)或?qū)ζ溥M(jìn)行渲染；c）對(duì)平面上的三維點(diǎn)進(jìn)行識(shí)別、判定平面位置并進(jìn)行拓展；對(duì)場(chǎng)景中單一平面的檢測(cè)；對(duì)單一平面進(jìn)行重建并求錨點(diǎn)。多個(gè)平面重建及求錨點(diǎn)對(duì)于包含多個(gè)平面的場(chǎng)景，手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：a）（包括水平平面或垂直平面并在其上求出錨點(diǎn)或?qū)ζ溥M(jìn)行渲染；b）c）對(duì)場(chǎng)景中多個(gè)平面進(jìn)行檢測(cè)；d）對(duì)多個(gè)平面進(jìn)行重建并求錨點(diǎn)。平面位置自動(dòng)調(diào)節(jié)當(dāng)發(fā)生回路閉合或觸發(fā)其它歷史幀位姿的優(yōu)化行為時(shí)，手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：根據(jù)位姿的優(yōu)化，自動(dòng)調(diào)整平面的位置；b）稠密點(diǎn)云重建及求錨點(diǎn)當(dāng)在較為復(fù)雜的非平面場(chǎng)景上置放虛擬物體時(shí)，手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：a）重建場(chǎng)景的稠密三維點(diǎn)云信息，點(diǎn)云中的每個(gè)三維點(diǎn)包含位置、法向、顏色等信息；c）稠密網(wǎng)格重建及求錨點(diǎn)當(dāng)在真實(shí)場(chǎng)景上構(gòu)建遮擋、陰影、碰撞等復(fù)雜的虛實(shí)融合效果時(shí)，手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：重建場(chǎng)景稠密的三維網(wǎng)格信息；b）云端三維重建端云協(xié)同的手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：a）支持漸增式的實(shí)時(shí)拓展；利用云端服務(wù)器計(jì)算資源對(duì)用戶端上傳的關(guān)鍵幀圖像進(jìn)行三維重建；c）d）讀取或顯示重建信息。光照估計(jì)手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)從傳感器或者攝像頭視圖中估計(jì)出用于虛擬對(duì)象、虛擬場(chǎng)景渲染的物理場(chǎng)景的全局光照環(huán)境信息。人臉識(shí)別跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)人臉識(shí)別跟蹤應(yīng)符合以下要求：a）在手持式移動(dòng)設(shè)備的鏡頭視野下能夠檢測(cè)人臉的外接框；68在大的頭部姿態(tài)、不同的光照條件或極端表情等復(fù)雜條件下能夠?qū)崿F(xiàn)準(zhǔn)確的關(guān)鍵點(diǎn)跟蹤。手勢(shì)識(shí)別跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)手勢(shì)識(shí)別跟蹤應(yīng)符合以下要求：a）在手持式移動(dòng)設(shè)備的鏡頭視野下能夠檢測(cè)手部的外接框；21在不同手勢(shì)動(dòng)作、手部運(yùn)動(dòng)、光照條件下能夠?qū)崿F(xiàn)準(zhǔn)確的關(guān)鍵點(diǎn)跟蹤。渲染引擎手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)符合以下要求：a）實(shí)時(shí)將動(dòng)/靜態(tài)虛擬對(duì)象渲染在現(xiàn)實(shí)畫(huà)面中；b）緊密貼合虛擬對(duì)象與現(xiàn)實(shí)背景；c）正確響應(yīng)現(xiàn)實(shí)世界的光照變化；d）支持靜態(tài)模型和動(dòng)態(tài)模型的渲染。虛實(shí)遮擋手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)實(shí)現(xiàn)虛擬物體與真實(shí)環(huán)境之間的遮擋，包括虛擬對(duì)象與靜態(tài)背景環(huán)境之間的遮擋和虛擬對(duì)象與動(dòng)態(tài)前景之間的遮擋。性能要求在線跟蹤定位六自由度在線跟蹤在本文件所述基準(zhǔn)測(cè)試數(shù)據(jù)集所涵蓋的運(yùn)動(dòng)類型和測(cè)試場(chǎng)景下，手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)6DoF在線跟蹤應(yīng)符合以下要求：24FPS；9595%：1）APE10cm5%（以較大值為準(zhǔn)）；ARE6°；0.1s3cm；0.1s2°。c）5；注：初始化指標(biāo)定義如下：?????=???????????1)0.5，其中?????表示初始化完成的時(shí)間表示初始化的尺度誤差，可以基于公式??????0.5|?1|+|1/?1|)計(jì)算得到??????，其s是待測(cè)試的六自由度在線跟蹤模塊計(jì)算得到的尺度系數(shù)。d）跟蹤魯棒性指標(biāo)平均不超過(guò)2。注：跟蹤魯棒性指標(biāo)定義如下：??=(?????+0.05???0.1????),其中?????失的幀數(shù)占整個(gè)輸入視頻幀序列的比例，???表示整個(gè)視頻幀序列中每次重定位的平均誤差，????表示整個(gè)視頻幀序列的絕對(duì)位置誤差。本地重定位手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)本地重定位應(yīng)符合以下要求：12190%：用戶將手持式移動(dòng)設(shè)備置回到未跟蹤丟失之前的位置完成重定位；5cm5%（以較大值為準(zhǔn)）；2s。云端重定位手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)云端重定位符合以下要求：10cm頭所拍攝畫(huà)面深度的中值的5%（以較大值為準(zhǔn)）；b）在重定位成功的情況下，重定位時(shí)間不超過(guò)2s。尺度估計(jì)手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)對(duì)真實(shí)環(huán)境的尺度估計(jì)值與其真實(shí)值的偏差不超過(guò)5%。標(biāo)志物識(shí)別跟蹤二維標(biāo)志物識(shí)別跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)二維標(biāo)志物識(shí)別跟蹤應(yīng)符合以下要求：a）40.5s；90%，即測(cè)試數(shù)據(jù)集中的符合估計(jì)位姿下二維標(biāo)志物的投影輪廓與真值之5以較大值為準(zhǔn)的二維標(biāo)志物幀90%；24FPS；e）20FPS。三維標(biāo)志物識(shí)別跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)三維標(biāo)志物識(shí)別跟蹤應(yīng)符合以下要求：a）24FPS；1s；33%；90%，即測(cè)試數(shù)據(jù)集中的符合估計(jì)位姿下三維標(biāo)志物的投影輪廓與真值之5以較大值為準(zhǔn)三維標(biāo)志物幀數(shù)90%。云端標(biāo)志物識(shí)別（不含網(wǎng)絡(luò)傳輸延時(shí)）0.2s。三維重建平面檢測(cè)手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)平面檢測(cè)應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）平面位置精度誤差不超過(guò)2%。注：平面位置精度誤差即檢測(cè)平面與真值平面之間的平均距離與待檢測(cè)平面最大軸向尺寸的比值。稠密點(diǎn)云重建手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)稠密點(diǎn)云重建應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）稠密點(diǎn)云的位置精度誤差不超過(guò)3%。注：稠密點(diǎn)云位置精度誤差即重建點(diǎn)云與真值點(diǎn)云之間的平均距離與待重建點(diǎn)云模型最大軸向尺寸的比值。稠密網(wǎng)格重建手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)稠密網(wǎng)格重建應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）稠密網(wǎng)格的幾何精度誤差不超過(guò)3%。注：稠密網(wǎng)格位置精度誤差即重建網(wǎng)格與真值網(wǎng)格之間的平均距離與待重建網(wǎng)格模型最大軸向尺寸的比值。光照估計(jì)手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)光照估計(jì)應(yīng)符合以下要求：a）對(duì)于環(huán)境變化的響應(yīng)時(shí)間應(yīng)不超過(guò)1s；b）場(chǎng)景光照顏色的估計(jì)值與真值的誤差應(yīng)不超過(guò)0.3（光照顏色值在亮度色彩空間中統(tǒng)一歸一化為0至1的范圍）。人臉識(shí)別跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)人臉識(shí)別跟蹤應(yīng)符合以下要求：a）跟蹤幀率不小于20FPS；b）關(guān)鍵點(diǎn)平均跟蹤召回率不低于90%。手勢(shì)識(shí)別跟蹤手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)手勢(shì)識(shí)別跟蹤應(yīng)符合以下要求：a）跟蹤幀率不小于20FPS；b）關(guān)鍵點(diǎn)平均跟蹤召回率不低于90%。渲染引擎手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)渲染引擎應(yīng)符合以下要求：a）渲染幀率不低于攝像頭輸入視頻流的幀率；b）渲染分辨率不低于攝像頭輸入視頻流分辨率。虛實(shí)遮擋手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)虛實(shí)遮擋應(yīng)符合以下要求：6DoF51%（以較大值為準(zhǔn)）；c）10%。運(yùn)行CPU在單目方案中，手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)在運(yùn)行基本的跟蹤和稀疏點(diǎn)云地圖構(gòu)建時(shí)，宜符合以下要求：CPU50%；5m×5m500MB。算法運(yùn)行效率手持式移動(dòng)設(shè)備增強(qiáng)現(xiàn)實(shí)系統(tǒng)的運(yùn)行幀率應(yīng)不小于20FPS。測(cè)試方法測(cè)試環(huán)境室內(nèi)小場(chǎng)景測(cè)試環(huán)境在5m×5m的實(shí)驗(yàn)室中，按以下要求布置標(biāo)準(zhǔn)測(cè)試場(chǎng)景為在線跟蹤定位、尺度估計(jì)、標(biāo)志物識(shí)別跟蹤、三維重建、虛實(shí)遮擋模塊、標(biāo)志物識(shí)別與跟蹤、光照估計(jì)等模塊的測(cè)試做準(zhǔn)備：在房間的天花板上布置紅綠藍(lán)白四種光源模式，每種光源均為漫射光，保證場(chǎng)景中的光線均550nm460nm，白光為紅綠藍(lán)三種波長(zhǎng)20lx200lx場(chǎng)景中包含三面墻體和一張方桌，墻體表面貼上帶圖案的墻紙，方桌上鋪上帶花紋的桌布；c）55基準(zhǔn)數(shù)據(jù)集參照Z(yǔ)JU-SenseTimeVISLAMBenchmark（ /eval-vislam/dataset ） ， NEAR-VI-Dataset（/EZXR-Research/NEAR-VI-Dataset）等公開(kāi)數(shù)據(jù)集。室內(nèi)外大場(chǎng)景測(cè)試環(huán)境按以下要求選擇室內(nèi)/室內(nèi)場(chǎng)景不小于20m×20m，保證測(cè)試時(shí)燈光均勻，運(yùn)動(dòng)過(guò)程中鏡頭到場(chǎng)景最近點(diǎn)距離涵蓋范圍1m到10m，最遠(yuǎn)點(diǎn)涵蓋范圍10m到20m；室外場(chǎng)景不小于50m×50m，保證測(cè)試時(shí)陽(yáng)光充足，運(yùn)動(dòng)過(guò)程中鏡頭到場(chǎng)景最近點(diǎn)距離涵蓋范圍1m到10m，最遠(yuǎn)點(diǎn)涵蓋范圍10m到50m；基準(zhǔn)數(shù)據(jù)集參照LSFB公開(kāi)數(shù)據(jù)集（/zju3dv/LSFB）。人臉識(shí)別跟蹤測(cè)試環(huán)境按以下要求布置場(chǎng)景為人臉識(shí)別跟蹤模塊測(cè)試做準(zhǔn)備：a）在室內(nèi)場(chǎng)景中，保證測(cè)試時(shí)燈光均勻，并保證一人的臉部區(qū)域能夠被完整且清晰拍攝；b）在室外場(chǎng)景中，保證測(cè)試時(shí)陽(yáng)光充足，并保證一人的臉部區(qū)域能夠被完整且清晰拍攝；c）采集正臉、側(cè)臉不同的視角，以及微笑、大笑、憤怒、平靜、煩惱等多種表情；人工標(biāo)注所采集數(shù)據(jù)中定義的不少于68個(gè)面部關(guān)鍵點(diǎn)；基準(zhǔn)數(shù)據(jù)集參照300W-LP公開(kāi)數(shù)據(jù)集（/users/xiangyuzhu/projects/3ddfa/main.htm）。手勢(shì)識(shí)別跟蹤測(cè)試環(huán)境按以下要求布置場(chǎng)景為手勢(shì)識(shí)別跟蹤模塊測(cè)試做準(zhǔn)備：a）在室內(nèi)場(chǎng)景中，保證測(cè)試時(shí)燈光均勻，并保證單個(gè)手部區(qū)域能夠被完整且清晰拍攝；b）在室外場(chǎng)景中，保證測(cè)試時(shí)陽(yáng)光充足，并保證單個(gè)手部區(qū)域能夠被完整且清晰拍攝；c）采集手心、手背、側(cè)面不同視角，手指數(shù)字、握拳、贊賞等多種手勢(shì)；人工標(biāo)注所采集數(shù)據(jù)中定義的不少于21個(gè)手部關(guān)鍵點(diǎn)；基準(zhǔn)數(shù)據(jù)集參照OneHand10K公開(kāi)數(shù)據(jù)集（https:///papers/WANG-MCC-2018-10.html）。功能測(cè)試方法在線跟蹤定位六自由度在線跟蹤手持式移動(dòng)設(shè)備的6DoF在線跟蹤功能測(cè)試方法具體如下：a）將布置的測(cè)試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）手持移動(dòng)設(shè)備，進(jìn)行不同方式的運(yùn)動(dòng)并開(kāi)啟增強(qiáng)現(xiàn)實(shí)系統(tǒng)；c）觀察設(shè)備的可視化軌跡和設(shè)備顯示屏上的虛擬對(duì)象的位置。本地重定位手持式移動(dòng)設(shè)備本地重定位功能測(cè)試方法具體如下：a）100lx；b）快速甩動(dòng)設(shè)備或者長(zhǎng)時(shí)間遮擋攝像頭，使得算法進(jìn)入跟蹤失敗狀態(tài)；對(duì)著掃描過(guò)的場(chǎng)景重新進(jìn)行掃描定位，如果能夠定位成功（表現(xiàn)為虛擬對(duì)象恢復(fù)原位），則增強(qiáng)現(xiàn)實(shí)系統(tǒng)具備本地重定位功能，如果始終無(wú)法定位，則算不具備本地重定位功能。云端重定位手持式移動(dòng)設(shè)備云端重定位功能測(cè)試方法具體如下：a）將布置的測(cè)試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）預(yù)先掃描場(chǎng)景，使算法可以充分構(gòu)建場(chǎng)景地圖信息并置于云端；快速甩動(dòng)設(shè)備或者長(zhǎng)時(shí)間遮擋攝像頭，使得算法進(jìn)入跟蹤失敗狀態(tài)；（表現(xiàn)為虛擬對(duì)象恢復(fù)原位），則增強(qiáng)現(xiàn)實(shí)系統(tǒng)具備云端重定位功能，如果始終無(wú)法定位，則算不具備云端重定位功能。尺度估計(jì)手持式移動(dòng)設(shè)備尺度估計(jì)功能的測(cè)試方法為觀察尺度估計(jì)成功后虛擬對(duì)象的尺寸是否接近真實(shí)大小，判斷增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否具備尺度估計(jì)功能。標(biāo)志物識(shí)別跟蹤二維標(biāo)志物識(shí)別跟蹤二維標(biāo)志物識(shí)別跟蹤功能測(cè)試方法具體如下：100lx；AR三維標(biāo)志物識(shí)別跟蹤三維標(biāo)志物識(shí)別跟蹤功能測(cè)試方法為在測(cè)試環(huán)境中用手持式移動(dòng)設(shè)備掃描拍攝三維標(biāo)志物，通過(guò)AR云端標(biāo)志物識(shí)別云端標(biāo)志物識(shí)別功能測(cè)試方法為保證手持式移動(dòng)設(shè)備網(wǎng)絡(luò)通暢，在測(cè)試環(huán)境中用手持式移動(dòng)設(shè)備AR三維重建平面檢測(cè)平面檢測(cè)功能測(cè)試方法具體如下：100lx；對(duì)測(cè)試環(huán)境進(jìn)行移動(dòng)平臺(tái)上的平面檢測(cè)，測(cè)試增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否具備平面檢測(cè)功能，平面檢測(cè)是否具有漸增式的實(shí)時(shí)拓展性，以及是否可以檢測(cè)出多個(gè)平面。稠密點(diǎn)云重建稠密點(diǎn)云重建功能測(cè)試方法為對(duì)測(cè)試環(huán)境進(jìn)行移動(dòng)平臺(tái)上的稠密點(diǎn)云重建，測(cè)試增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否具備稠密點(diǎn)云重建功能，以及稠密點(diǎn)云重建是否具有漸增式的實(shí)時(shí)拓展性。稠密網(wǎng)格重建稠密網(wǎng)格重建功能測(cè)試方法為對(duì)測(cè)試環(huán)境進(jìn)行移動(dòng)平臺(tái)上的稠密網(wǎng)格重建，測(cè)試增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否具備稠密網(wǎng)格重建功能，以及稠密網(wǎng)格重建是否具有漸增式的實(shí)時(shí)拓展性。光照估計(jì)光照估計(jì)功能測(cè)試方法具體如下：在布置的測(cè)試環(huán)境中切換紅綠藍(lán)白四種光源顏色，并調(diào)整不同的照度；觀察虛擬對(duì)象的顏色是否與測(cè)試環(huán)境光照一致，是否會(huì)隨著光照變化而變化，來(lái)判斷增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否具備光照估計(jì)功能。人臉識(shí)別跟蹤人臉識(shí)別跟蹤功能測(cè)試方法具體如下：錄制不同場(chǎng)景中的不同表情的人臉視頻；如果移動(dòng)設(shè)備能夠正確跟蹤一系列面部關(guān)鍵點(diǎn)，那么增強(qiáng)現(xiàn)實(shí)系統(tǒng)就具備了人臉識(shí)別跟蹤的功能。手勢(shì)識(shí)別跟蹤手勢(shì)識(shí)別跟蹤功能測(cè)試方法具體如下：錄制不同場(chǎng)景中的不同手勢(shì)動(dòng)作的手部視頻；如果移動(dòng)設(shè)備能夠正確跟蹤視頻中的手部關(guān)鍵點(diǎn)，那么增強(qiáng)現(xiàn)實(shí)系統(tǒng)就具備了手勢(shì)識(shí)別跟蹤的功能。渲染引擎渲染引擎功能測(cè)試方法為在實(shí)驗(yàn)室中，手持上述移動(dòng)設(shè)備，進(jìn)行不同方式的運(yùn)動(dòng)并開(kāi)啟增強(qiáng)現(xiàn)實(shí)系統(tǒng)，觀察手持式移動(dòng)設(shè)備屏幕顯示的渲染效果，判斷增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否具備以下功能：實(shí)時(shí)將動(dòng)/靜態(tài)虛擬對(duì)象渲染在現(xiàn)實(shí)畫(huà)面中；緊密貼合虛擬對(duì)象與現(xiàn)實(shí)背景；正確響應(yīng)現(xiàn)實(shí)世界的光照變化；ARAR虛實(shí)遮擋虛實(shí)遮擋功能測(cè)試方法具體如下：尋找一個(gè)景深層次結(jié)構(gòu)復(fù)雜的場(chǎng)景；用手持式移動(dòng)設(shè)備拍攝該場(chǎng)景并啟動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)，并在手機(jī)場(chǎng)景的畫(huà)面中放置動(dòng)態(tài)虛擬物（包括靜態(tài)背景和動(dòng)態(tài)前景之間遮擋效果，以此判斷增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否具備虛實(shí)遮擋功能。性能測(cè)試方法在線跟蹤定位六自由度在線跟蹤6DoF在線跟蹤性能測(cè)試方法具體如下：ARIMU搭建一個(gè)支持離線運(yùn)行算法的移動(dòng)端數(shù)據(jù)采集工具，可以讀入基準(zhǔn)數(shù)據(jù)集，并能夠正常運(yùn)行算法；6DoFAPEARERPERRE評(píng)估算法的準(zhǔn)確率、幀率等指標(biāo)。本地重定位本地重定位性能測(cè)試方法具體如下：掃描場(chǎng)景，使算法可以充分構(gòu)建場(chǎng)景地圖信息；快速甩動(dòng)設(shè)備或者長(zhǎng)時(shí)間遮擋攝像頭，使得算法進(jìn)入跟蹤失敗狀態(tài)；對(duì)掃描過(guò)的場(chǎng)景重新進(jìn)行掃描定位?；谏鲜鰯?shù)據(jù)評(píng)估本地重定位的成功率、重定位耗時(shí)和重定位精度。云端重定位云端重定位性能測(cè)試方法具體如下：掃描場(chǎng)景，使算法可以充分構(gòu)建場(chǎng)景地圖信息；快速甩動(dòng)設(shè)備或者長(zhǎng)時(shí)間遮擋攝像頭，使得算法進(jìn)入跟蹤失敗狀態(tài)；對(duì)掃描過(guò)的場(chǎng)景重新進(jìn)行掃描，并傳輸至云端進(jìn)行重定位?；谏鲜鰯?shù)據(jù)評(píng)估云端重定位的成功率、重定位耗時(shí)和重定位精度。尺度估計(jì)6DoF6DoF標(biāo)志物識(shí)別跟蹤二維標(biāo)志物識(shí)別跟蹤二維標(biāo)志物識(shí)別跟蹤性能測(cè)試方法具體如下：5min的執(zhí)行時(shí)間統(tǒng)計(jì)出二維標(biāo)志物識(shí)別與跟蹤的平均單幀耗時(shí)情況，包括：55測(cè)試二維標(biāo)志物識(shí)別的成功率，包括不同角度、不同距離和不同光照下的成功率。三維標(biāo)志物識(shí)別跟蹤三維標(biāo)志物識(shí)別跟蹤性能測(cè)試方法具體如下：5min的執(zhí)行時(shí)間統(tǒng)計(jì)出三維標(biāo)志物識(shí)別與跟蹤的平均單幀耗時(shí)情況，包括：55測(cè)試三維標(biāo)志物識(shí)別的成功率，包括不同角度、不同距離和不同光照下的成功率。云端標(biāo)志物識(shí)別云端標(biāo)志物識(shí)別性能測(cè)試方法為保證測(cè)試手持式移動(dòng)設(shè)備網(wǎng)絡(luò)通暢，通過(guò)手持式移動(dòng)設(shè)備將場(chǎng)景視頻流上傳至云平臺(tái)，測(cè)試云端識(shí)別二維標(biāo)志物和三維標(biāo)志物的速度和成功率，包括：測(cè)試二維標(biāo)志物識(shí)別的平均網(wǎng)絡(luò)耗時(shí)、算法耗時(shí)和成功率；測(cè)試三維標(biāo)志物識(shí)別的平均網(wǎng)絡(luò)耗時(shí)、算法耗時(shí)和成功率。三維重建平面檢測(cè)平面檢測(cè)性能測(cè)試方法具體如下：a）根據(jù)場(chǎng)景的實(shí)際測(cè)量尺寸用建模軟件建出其中的多個(gè)平面模型作為真值；b）評(píng)估檢測(cè)的每個(gè)平面與真值平面之間的位置精度誤差；c）5min5稠密點(diǎn)云重建稠密點(diǎn)云重建性能測(cè)試方法具體如下：將三維掃描儀掃描出場(chǎng)景的精確三維模型作為真值；對(duì)場(chǎng)景進(jìn)行移動(dòng)平臺(tái)上的稠密點(diǎn)云重建，評(píng)估重建的稠密點(diǎn)云與真值三維模型之間的位置精度誤差；5min的執(zhí)行時(shí)間統(tǒng)計(jì)出稠密點(diǎn)云重建的平均單幀耗時(shí)。稠密網(wǎng)格重建稠密網(wǎng)格重建性能測(cè)試方法具體如下：將三維掃描儀掃描出場(chǎng)景的精確三維模型作為真值；對(duì)場(chǎng)景進(jìn)行移動(dòng)平臺(tái)上的稠密網(wǎng)格重建，評(píng)估重建的稠密網(wǎng)格與真值三維模型之間的幾何精度誤差；5min的執(zhí)行時(shí)間統(tǒng)計(jì)出稠密網(wǎng)格重建的平均單幀耗時(shí)。光照估計(jì)光照估計(jì)性能測(cè)試方法具體如下：關(guān)閉所有燈光，分別測(cè)試場(chǎng)景光照顏色估計(jì)值與真值的誤差，光照估計(jì)真值采用環(huán)境光采集330lx100lx200lx400lx30lx100lx200lx400lx30lx100lx200lx400lx30lx100lx200lx400lx人臉識(shí)別跟蹤人臉識(shí)別跟蹤性能測(cè)試方法具體如下：8.1.3比較人臉關(guān)鍵點(diǎn)跟蹤結(jié)果與人工標(biāo)注結(jié)果，計(jì)算面部關(guān)鍵點(diǎn)跟蹤的平均召回率。手勢(shì)識(shí)別跟蹤手勢(shì)識(shí)別跟蹤性能測(cè)試方法具體