信息技術(shù) 移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)技術(shù)規(guī)范

1GB/TXXXXX—XXXX信息技術(shù)移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)技術(shù)規(guī)范本文件給出了移動設(shè)備的增強(qiáng)現(xiàn)實系統(tǒng)的結(jié)構(gòu)，規(guī)定了功能要求、基本性能要求和測試方法。本文件適用于移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)的設(shè)計、生產(chǎn)、應(yīng)用和維護(hù)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T38247-2019信息技術(shù)增強(qiáng)現(xiàn)實術(shù)語3術(shù)語和定義GB/T38247-2019界定的以及下列術(shù)語和定義適合于本文件。3.1手持式移動設(shè)備handheldmobiledevice具備攝像頭、顯示屏、網(wǎng)絡(luò)功能以及可檢測其方位和運動信息的元件的手持式終端設(shè)備。3.2增強(qiáng)現(xiàn)實augmentedreality采用以計算機(jī)為核心的現(xiàn)代高科技手段生成的附加信息對使用者感知到的真實世界進(jìn)行增強(qiáng)的環(huán)境，生成的信息以視覺、聽覺、味覺、嗅覺、觸覺等生理感覺融合的方式疊加至真實場景中。[來源：GB/T38247-2019，2.1.2]3.3真實環(huán)境actualenvironment人類所處的不需要借助裝備就能感知的包含多物理對象的真實世界。[來源：GB/T38247-2019，2.2.4]3.4虛擬對象virtualobject計算機(jī)生成的具有幾何形狀、特定格式或特定行為的對象。[來源：GB/T38247-2019，2.2.1]2GB/TXXXXX—XXXX3.5二維標(biāo)志物2dimensionalmarker預(yù)先設(shè)定的具有特殊編碼或圖案的二維圖像，通過檢測、跟蹤或識別該二維圖像，可在場景、圖像或視頻中估計出其相對于手持式移動設(shè)備的位置和朝向。3.6三維標(biāo)志物3dimensionalmarker預(yù)先設(shè)定的具有特殊形狀或紋理的三維物體，通過檢測、跟蹤或識別該三維圖像，可在場景、圖像或視頻中估計出其相對于手持式移動設(shè)備的位置和朝向。3.7錨點anchorpoint將虛擬物體放置在環(huán)境過程中所使用的基準(zhǔn)點。[來源：GB/T38247-2019，2.2.45]3.8云端cloudend供具備訪問權(quán)限的手持式移動設(shè)備遠(yuǎn)程接入、具備計算和存儲功能的系統(tǒng)。3.9定位localization獲取確定指定對象的空間六自由度位置和姿態(tài)信息。3.10重定位relocalization當(dāng)跟蹤定位丟失時，手持式移動設(shè)備根據(jù)之前跟蹤過的歷史位置和朝向，通過觸發(fā)對手持式移動設(shè)備的重新定位機(jī)制來獲取正確的位姿信息，并重置手持式移動設(shè)備當(dāng)前的位姿。3.11六自由度跟蹤sixdegreeoffreedomtracking實時計算手持式移動設(shè)備相對真實場景的六自由度位置和姿態(tài)。3.12同步定位與地圖構(gòu)建simultaneouslocalizationandmapping設(shè)備（移動終端或者機(jī)器人等）在未知環(huán)境里通過觀察外部環(huán)境來定位自身的位置和姿態(tài)，再通過自身的位置增量式地構(gòu)建未知環(huán)境的地圖。[來源：GB/T38247-2019，2.2.67]3.13光照估計illuminationestimation從傳感器或攝像機(jī)視圖中分析計算物理場景的光源照度分布信息的過程。[來源：GB/T38247-2019，2.2.50]3GB/TXXXXX—XXXX3.14尺度估計scaleestimation在系統(tǒng)中獲得到物理世界的長度尺寸信息的過程。[來源：GB/T38247-2019，2.2.51]3.15絕對位置誤差absolutepositionerror增強(qiáng)現(xiàn)實系統(tǒng)所測得的當(dāng)前時刻手持式移動設(shè)備位置的真實值與估計值之間的平均偏差。3.16絕對旋轉(zhuǎn)誤差absoluterotationerror增強(qiáng)現(xiàn)實系統(tǒng)所測得的當(dāng)前時刻手持式移動設(shè)備旋轉(zhuǎn)角度的真實值與估計值之間的平均偏差。3.17相對位置誤差relativepositionerror手持式移動設(shè)備位置發(fā)生變化時，增強(qiáng)現(xiàn)實系統(tǒng)所測得的當(dāng)前時刻與前一時刻位置的真實值變化量與估計值變化量之間的平均偏差。3.18相對旋轉(zhuǎn)誤差relativerotationerror手持式移動設(shè)備旋轉(zhuǎn)角度發(fā)生變化時，增強(qiáng)現(xiàn)實系統(tǒng)所測得的當(dāng)前時刻與前一時刻旋轉(zhuǎn)角度的真實值變化量與估計值變化量之間的平均偏差。3.19關(guān)鍵點平均召回率keypointsmeanrecall手持式移動設(shè)備拍攝的圖片中，正確跟蹤的面部或手部的關(guān)鍵點與實際存在的關(guān)鍵點數(shù)量的平均注2：正確跟蹤是指所跟蹤的關(guān)鍵點與實際存在的關(guān)鍵點的距離小于待檢測4縮略語下列縮略語適用于本文件。6DoF：六自由度（SixDegreesofFreedom）APE：絕對位置誤差（AbsolutePositionError）AR：增強(qiáng)現(xiàn)實（AugmentedReality）ARE：絕對旋轉(zhuǎn)誤差（AbsoluteRotationError）CPU：中央處理器(CentralProcessingUnit)FPS：每秒幀數(shù)（FramesPerSecond）IMU：慣性測量單元（InertialMeasurementUnit）RPE：相對位置誤差（RelativePositionError）RRE：相對旋轉(zhuǎn)誤差（RelativeRotationError）SLAM：同步定位與地圖構(gòu)建（SimultaneousLocalizationAndMapping）4GB/TXXXXX—XXXX5系統(tǒng)結(jié)構(gòu)手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)處理單元由在線跟蹤定位、尺度估計、標(biāo)志物識別跟蹤、三維重建、虛實遮擋模塊、標(biāo)志物識別與跟蹤、光照估計、人臉識別跟蹤、手勢識別跟蹤、渲染引擎、交互引擎等模塊組成。在線跟蹤定位模塊利用手持式移動設(shè)備的輸入數(shù)據(jù)計算6DoF位姿；尺度估計模塊利用輸入數(shù)據(jù)計算尺度信息；三維重建模塊利用6DoF位姿、尺度信息和深度流數(shù)據(jù)）重建場景的三維模型；虛實遮擋模塊利用視頻流和深度流實現(xiàn)虛擬物體與現(xiàn)實環(huán)境的遮擋效果；標(biāo)志物識別跟蹤模塊基于視頻流實現(xiàn)標(biāo)志物的識別與跟蹤；光照估計模塊利用視頻流實現(xiàn)光照信息的解算；人臉識別跟蹤模塊對視頻流中的人臉關(guān)鍵點進(jìn)行識別與跟蹤；手勢識別跟蹤模塊對視頻流中的手部關(guān)鍵點進(jìn)行識別與跟蹤；如果手持式移動設(shè)備具備云計算服務(wù)，還支持將數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)皆品?wù)端實現(xiàn)更高效率的云端重定位、云端標(biāo)志物識別和云端三維重建，并將解算獲得的6DoF位姿、標(biāo)志物信息與三維模型通過網(wǎng)絡(luò)傳輸回手持式移動設(shè)備處理單元；6DoF位姿、三維模型、虛實遮擋、標(biāo)志物識別與跟蹤、光照這些信息匯總至渲染引擎實現(xiàn)真實感的增強(qiáng)現(xiàn)實虛實融合效果，人臉關(guān)鍵點、手部關(guān)鍵點這些信息匯總至交互引擎實現(xiàn)真實感的增強(qiáng)現(xiàn)實互動效果，并在手持式移動設(shè)備的顯示屏上呈現(xiàn)。手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)的結(jié)構(gòu)圖見圖1。增強(qiáng)現(xiàn)實系統(tǒng)相關(guān)手持式移動設(shè)備傳感器要求應(yīng)符合附錄A的規(guī)定。圖1手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)結(jié)構(gòu)圖6功能要求6.1在線跟蹤定位6.1.1六自由度在線跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)在線估計設(shè)備的六個自由度位姿。6.1.2本地重定位當(dāng)跟蹤定位丟失時，手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)在本地重新定位并重置設(shè)備當(dāng)前的位姿。6.1.3云端重定位當(dāng)跟蹤定位丟失時，端云協(xié)同的手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)在云端重新定位并重置設(shè)備當(dāng)前5GB/TXXXXX—XXXX的位姿。6.2尺度估計手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）得到物理世界的尺度信息；b）使得虛擬場景與物理世界注冊在同一尺度的坐標(biāo)系下；c）實現(xiàn)虛擬對象與物理世界1：1虛實融合的效果。6.3標(biāo)志物識別跟蹤6.3.1二維標(biāo)志物識別跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）對定義好的場景二維標(biāo)志物進(jìn)行識別；b）對定義好的場景二維標(biāo)志物進(jìn)行6DoF位姿跟蹤；c）在識別到預(yù)定義的特定標(biāo)志時，觸發(fā)增強(qiáng)現(xiàn)實效果。6.3.2三維標(biāo)志物識別跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）對真實場景中三維標(biāo)志物體的紋理或結(jié)構(gòu)信息進(jìn)行預(yù)處理；b）將來自攝像頭的實時信息與處理過的信息進(jìn)行比較，實現(xiàn)二維和三維信息的匹配；c）理解場景中三維物體的位置和朝向。6.3.3云端標(biāo)志物識別端云協(xié)同的手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）對用戶上傳到云端的帶二維標(biāo)志物的圖像幀，利用云端服務(wù)器計算資源進(jìn)行識別，并返回該幀二維標(biāo)志物的位置和朝向信息至用戶端；b）對用戶上傳到云端的帶三維物體的圖像幀，利用云端服務(wù)器計算資源進(jìn)行識別，并返回該幀三維物體的位置和朝向信息至用戶端。6.4三維重建6.4.1平面檢測及求錨點單一平面重建及求錨點手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）需支持水平面和豎直平面的檢測；b）理解真實場景的主水平面，并在其上求出錨點或?qū)ζ溥M(jìn)行渲染；c）對平面上的三維點進(jìn)行識別、判定平面位置并進(jìn)行拓展；d）對場景中單一平面的檢測；e）對單一平面進(jìn)行重建并求錨點。多個平面重建及求錨點對于包含多個平面的場景，手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）理解真實場景的多個平面（包括水平平面或垂直平面并在其上求出錨點或?qū)ζ溥M(jìn)行渲染；b）對平面上的三維點識別、判定平面位置并進(jìn)行拓展；6GB/TXXXXX—XXXXc）對場景中多個平面進(jìn)行檢測；d）對多個平面進(jìn)行重建并求錨點。平面位置自動調(diào)節(jié)當(dāng)發(fā)生回路閉合或觸發(fā)其它歷史幀位姿的優(yōu)化行為時，手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）根據(jù)位姿的優(yōu)化，自動調(diào)整平面的位置；b）自動調(diào)整平面上錨點的位置。6.4.2稠密點云重建及求錨點當(dāng)在較為復(fù)雜的非平面場景上置放虛擬物體時，手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）支持漸增式的實時拓展；b）重建場景的稠密三維點云信息，點云中的每個三維點包含位置、法向、顏色等信息；c）求解稠密點云的錨點位置和法向。6.4.3稠密網(wǎng)格重建及求錨點當(dāng)在真實場景上構(gòu)建遮擋、陰影、碰撞等復(fù)雜的虛實融合效果時，手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）重建場景稠密的三維網(wǎng)格信息；b）求解稠密網(wǎng)格的錨點位置和法向。6.4.4云端三維重建端云協(xié)同的手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）支持漸增式的實時拓展；b）利用云端服務(wù)器計算資源對用戶端上傳的關(guān)鍵幀圖像進(jìn)行三維重建；c）將重建結(jié)果與統(tǒng)一坐標(biāo)對齊；d）讀取或顯示重建信息。6.5光照估計手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)從傳感器或者攝像頭視圖中估計出用于虛擬對象、虛擬場景渲染的物理場景的全局光照環(huán)境信息。6.6人臉識別跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)人臉識別跟蹤應(yīng)符合以下要求：a）在手持式移動設(shè)備的鏡頭視野下能夠檢測人臉的外接框；b）檢測眼睛、眉毛、鼻子、嘴巴、臉部輪廓等一系列不少于68個面部關(guān)鍵點；c）在大的頭部姿態(tài)、不同的光照條件或極端表情等復(fù)雜條件下能夠?qū)崿F(xiàn)準(zhǔn)確的關(guān)鍵點跟蹤。6.7手勢識別跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)手勢識別跟蹤應(yīng)符合以下要求：a）在手持式移動設(shè)備的鏡頭視野下能夠檢測手部的外接框；b）檢測手指尖、手關(guān)節(jié)、手掌等一系列不少于21個手部關(guān)鍵點；c）在不同手勢動作、手部運動、光照條件下能夠?qū)崿F(xiàn)準(zhǔn)確的關(guān)鍵點跟蹤。6.8渲染引擎7GB/TXXXXX—XXXX手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）實時將動/靜態(tài)虛擬對象渲染在現(xiàn)實畫面中；b）緊密貼合虛擬對象與現(xiàn)實背景；c）正確響應(yīng)現(xiàn)實世界的光照變化；d）支持靜態(tài)模型和動態(tài)模型的渲染。6.9虛實遮擋手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)應(yīng)實現(xiàn)虛擬物體與真實環(huán)境之間的遮擋，包括虛擬對象與靜態(tài)背景環(huán)境之間的遮擋和虛擬對象與動態(tài)前景之間的遮擋。7性能要求7.1在線跟蹤定位7.1.1六自由度在線跟蹤在本文件所述基準(zhǔn)測試數(shù)據(jù)集所涵蓋的運動類型和測試場景下，手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)6DoF在線跟蹤應(yīng)符合以下要求：a）幀率不低于24FPS；b）跟蹤準(zhǔn)確率不低于95%,即測試數(shù)據(jù)集中的同時符合以下要求的幀數(shù)不低于總幀數(shù)的95%：1）APE小于10cm或小于攝像頭運動軌跡最大距離的5%（以較大值為準(zhǔn)）；2）ARE小于6°;3）與前0.1s時刻的相對位置誤差不超過3cm；4）與前0.1s時刻的角度誤差不超過2°。c）初始化質(zhì)量指標(biāo)平均不超過5；注：初始化指標(biāo)定義如下：εinit=tinit?(εscale+1)0.5，其中tinit表示初始化完成的時間，εscale表示初始化的尺度誤差，可以基于公式εscale=0.5?(|s?1|+|1/s?1|)計算得到εscale，其中s是待測試的六自由度在線跟蹤模塊計算得到的尺度系數(shù)。d）跟蹤魯棒性指標(biāo)平均不超過2。注：跟蹤魯棒性指標(biāo)定義如下：εR=(αlost+0.05)?(εRL+0.1?εAPE),其中αlost表示跟蹤丟失的幀數(shù)占整個輸入視頻幀序列的比例，εRL表示整個視頻幀序列中每次重定位的平均誤差，εAPE表示整個視頻幀序列的絕對位置誤差。7.1.2本地重定位手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)本地重定位應(yīng)符合以下要求：a）重定位成功率不低于90%，即測試數(shù)據(jù)集中的同時符合以下要求1、2的重定位次數(shù)不低于符合要求1的重定位次數(shù)的90%：1）用戶將手持式移動設(shè)備置回到未跟蹤丟失之前的位置完成重定位；2）重定位的位置與未跟蹤丟失之前估計的位置偏差小于5cm或小于攝像頭所拍攝畫面深度的中值的5%（以較大值為準(zhǔn)）；b）在重定位成功的情況下，重定位時間不超過2s。7.1.3云端重定位手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)云端重定位符合以下要求：a）重定位成功率不低于90%，即測試數(shù)據(jù)集中的重定位位置與真值的誤差小于10cm或小于攝像8GB/TXXXXX—XXXX頭所拍攝畫面深度的中值的5%（以較大值為準(zhǔn)）；b）在重定位成功的情況下，重定位時間不超過2s。7.2尺度估計手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)對真實環(huán)境的尺度估計值與其真實值的偏差不超過5%。7.3標(biāo)志物識別跟蹤7.3.1二維標(biāo)志物識別跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)二維標(biāo)志物識別跟蹤應(yīng)符合以下要求：a）支持不少于4個平面標(biāo)志的同時識別與跟蹤；b）在識別成功的情況下，單個平面標(biāo)志物識別的延遲不超過0.5s；c）識別準(zhǔn)確率不低于90%，即測試數(shù)據(jù)集中的符合估計位姿下二維標(biāo)志物的投影輪廓與真值之間的平均偏差不超過5個像素或真值輪廓寬高較大值的1%（以較大值為準(zhǔn)）的二維標(biāo)志物幀數(shù)不低于總幀數(shù)的90%；d）單個平面標(biāo)志物的跟蹤幀率不低于24FPS；e）多個平面標(biāo)志物的跟蹤幀率不低于20FPS。7.3.2三維標(biāo)志物識別跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)三維標(biāo)志物識別跟蹤應(yīng)符合以下要求：a）幀率不低于24FPS；b）在識別成功的情況下，識別時間不超過1s；c）跟蹤位置與真值的誤差不超過3%，即不大于物體運動軌跡的最大距離的3%；d）識別準(zhǔn)確率不低于90%，即測試數(shù)據(jù)集中的符合估計位姿下三維標(biāo)志物的投影輪廓與真值之間的平均偏差不超過5個像素或真值輪廓寬高較大值的1%（以較大值為準(zhǔn)）三維標(biāo)志物幀數(shù)不低于總幀數(shù)的90%。7.3.3云端標(biāo)志物識別在識別成功的情況下，手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)的云端標(biāo)志物識別時間（不含網(wǎng)絡(luò)傳輸延時）應(yīng)不超過0.2s。7.4三維重建7.4.1平面檢測手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)平面檢測應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）平面位置精度誤差不超過2%。注：平面位置精度誤差即檢測平面與真值平面之間的平均距離與待檢測平面最大軸向尺寸的比值。7.4.2稠密點云重建手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)稠密點云重建應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）稠密點云的位置精度誤差不超過3%。注：稠密點云位置精度誤差即重建點云與真值點云之間的平均距離與待重建點云模型最大軸向尺寸的比值。9GB/TXXXXX—XXXX7.4.3稠密網(wǎng)格重建手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)稠密網(wǎng)格重建應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）稠密網(wǎng)格的幾何精度誤差不超過3%。注：稠密網(wǎng)格位置精度誤差即重建網(wǎng)格與真值網(wǎng)格之間的平均距離與待重建網(wǎng)格模型最大軸向尺寸的比值。7.5光照估計手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)光照估計應(yīng)符合以下要求：a）對于環(huán)境變化的響應(yīng)時間應(yīng)不超過1s；b）場景光照顏色的估計值與真值的誤差應(yīng)不超過0.3（光照顏色值在亮度色彩空間中統(tǒng)一歸一7.6人臉識別跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)人臉識別跟蹤應(yīng)符合以下要求：a）跟蹤幀率不小于20FPS；b）關(guān)鍵點平均跟蹤召回率不低于90%。7.7手勢識別跟蹤手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)手勢識別跟蹤應(yīng)符合以下要求：a）跟蹤幀率不小于20FPS；b）關(guān)鍵點平均跟蹤召回率不低于90%。7.8渲染引擎手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)渲染引擎應(yīng)符合以下要求：a）渲染幀率不低于攝像頭輸入視頻流的幀率；b）渲染分辨率不低于攝像頭輸入視頻流分辨率。7.9虛實遮擋手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)虛實遮擋應(yīng)符合以下要求：a）畫面深度圖的獲取和遮擋處理的幀率與6DoF跟蹤幀率相同；b）遮擋邊緣的偏差不超過5個像素或畫面寬高較大值的1%（以較大值為準(zhǔn)）；c）畫面中遮擋關(guān)系錯誤占比不超過10%。7.10運行7.10.1CPU和內(nèi)存占用在單目方案中，手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)在運行基本的跟蹤和稀疏點云地圖構(gòu)建時，宜符合以下要求：a）CPU占用率不超過50%；b）在5m×5m的房間內(nèi)，內(nèi)存占用量不超過500MB。7.10.2算法運行效率手持式移動設(shè)備增強(qiáng)現(xiàn)實系統(tǒng)的運行幀率應(yīng)不小于20FPS。GB/TXXXXX—XXXX8測試方法8.1測試環(huán)境8.1.1室內(nèi)小場景測試環(huán)境在5m×5m的實驗室中，按以下要求布置標(biāo)準(zhǔn)測試場景為在線跟蹤定位、尺度估計、標(biāo)志物識別跟蹤、三維重建、虛實遮擋模塊、標(biāo)志物識別與跟蹤、光照估計等模塊的測試做準(zhǔn)備：a）在房間的天花板上布置紅綠藍(lán)白四種光源模式，每種光源均為漫射光，保證場景中的光線均勻照射；紅光波長為700nm，綠光波長為550nm，藍(lán)光波長為460nm，白光為紅綠藍(lán)三種波長光的同比例混合；允許每種光源的照度在20lx至200lx的范圍內(nèi)調(diào)節(jié)；b）場景中包含三面墻體和一張方桌，墻體表面貼上帶圖案的墻紙，方桌上鋪上帶花紋的桌布；c）三面墻角上和桌面上均擺設(shè)雜物；d）在場景中布置5個二維標(biāo)志物和5個三維標(biāo)志物；e）基準(zhǔn)數(shù)據(jù)集參照ZJU-SenseTimeVISLAMBenchmark（/eval-vislam/dataset）NEAR-VI-Dataset（/EZXR-Research/NEAR-VI-Dataset）等公開數(shù)據(jù)集。8.1.2室內(nèi)外大場景測試環(huán)境按以下要求選擇室內(nèi)/外大場景為在線跟蹤定位、尺度估計、標(biāo)志物識別跟蹤、三維重建、虛實遮擋模塊、標(biāo)志物識別與跟蹤、光照估計等模塊的測試做準(zhǔn)備：a）室內(nèi)場景不小于20m×20m，保證測試時燈光均勻，運動過程中鏡頭到場景最近點距離涵蓋范圍1m到10m，最遠(yuǎn)點涵蓋范圍10m到20m；b）室外場景不小于50m×50m，保證測試時陽光充足，運動過程中鏡頭到場景最近點距離涵蓋范圍1m到10m，最遠(yuǎn)點涵蓋范圍10m到50m；c）基準(zhǔn)數(shù)據(jù)集參照LSFB公開數(shù)據(jù)集（/zju3dv/LSFB）。8.1.3人臉識別跟蹤測試環(huán)境按以下要求布置場景為人臉識別跟蹤模塊測試做準(zhǔn)備：a）在室內(nèi)場景中，保證測試時燈光均勻，并保證一人的臉部區(qū)域能夠被完整且清晰拍攝；b）在室外場景中，保證測試時陽光充足，并保證一人的臉部區(qū)域能夠被完整且清晰拍攝；c）采集正臉、側(cè)臉不同的視角，以及微笑、大笑、憤怒、平靜、煩惱等多種表情；d）人工標(biāo)注所采集數(shù)據(jù)中定義的不少于68個面部關(guān)鍵點；e）基準(zhǔn)數(shù)據(jù)集參照300W-LP公開數(shù)據(jù)集（/users/xiangyuzhu/projects/3ddfa/main.htm）。8.1.4手勢識別跟蹤測試環(huán)境按以下要求布置場景為手勢識別跟蹤模塊測試做準(zhǔn)備：a）在室內(nèi)場景中，保證測試時燈光均勻，并保證單個手部區(qū)域能夠被完整且清晰拍攝；b）在室外場景中，保證測試時陽光充足，并保證單個手部區(qū)域能夠被完整且清晰拍攝；c）采集手心、手背、側(cè)面不同視角，手指數(shù)字、握拳、贊賞等多種手勢；d）人工標(biāo)注所采集數(shù)據(jù)中定義的不少于21個手部關(guān)鍵點；e）基準(zhǔn)數(shù)據(jù)集參照OneHand10K公開數(shù)據(jù)集（/papers/WANG-MCC-2018-10.html）。8.2功能測試方法GB/TXXXXX—XXXX8.2.1在線跟蹤定位六自由度在線跟蹤手持式移動設(shè)備的6DoF在線跟蹤功能測試方法具體如下：a）將布置的測試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）手持移動設(shè)備，進(jìn)行不同方式的運動并開啟增強(qiáng)現(xiàn)實系統(tǒng)；c）觀察設(shè)備的可視化軌跡和設(shè)備顯示屏上的虛擬對象的位置。本地重定位手持式移動設(shè)備本地重定位功能測試方法具體如下：a）將布置的測試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）掃描場景，使算法可以充分構(gòu)建場景地圖信息；c）快速甩動設(shè)備或者長時間遮擋攝像頭，使得算法進(jìn)入跟蹤失敗狀態(tài)；d）對著掃描過的場景重新進(jìn)行掃描定位，如果能夠定位成功（表現(xiàn)為虛擬對象恢復(fù)原位），則增強(qiáng)現(xiàn)實系統(tǒng)具備本地重定位功能，如果始終無法定位，則算不具備本地重定位功能。云端重定位手持式移動設(shè)備云端重定位功能測試方法具體如下：a）將布置的測試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）預(yù)先掃描場景，使算法可以充分構(gòu)建場景地圖信息并置于云端；c）快速甩動設(shè)備或者長時間遮擋攝像頭，使得算法進(jìn)入跟蹤失敗狀態(tài)；d）保證手持式移動設(shè)備網(wǎng)絡(luò)通暢，對著掃描過的場景重新進(jìn)行掃描定位，如果能夠定位成功（表現(xiàn)為虛擬對象恢復(fù)原位），則增強(qiáng)現(xiàn)實系統(tǒng)具備云端重定位功能，如果始終無法定位，則算不具備云端重定位功能。8.2.2尺度估計手持式移動設(shè)備尺度估計功能的測試方法為觀察尺度估計成功后虛擬對象的尺寸是否接近真實大小，判斷增強(qiáng)現(xiàn)實系統(tǒng)是否具備尺度估計功能。8.2.3標(biāo)志物識別跟蹤二維標(biāo)志物識別跟蹤二維標(biāo)志物識別跟蹤功能測試方法具體如下：a）將布置的測試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）測試環(huán)境中用手持式移動設(shè)備掃描拍攝二維標(biāo)志物，通過觀察設(shè)備顯示屏上虛擬AR內(nèi)容是否出現(xiàn)及其位置來判斷增強(qiáng)現(xiàn)實系統(tǒng)是否能成功識別和跟蹤二維標(biāo)志物。三維標(biāo)志物識別跟蹤三維標(biāo)志物識別跟蹤功能測試方法為在測試環(huán)境中用手持式移動設(shè)備掃描拍攝三維標(biāo)志物，通過觀察設(shè)備顯示上虛擬AR內(nèi)容是否正確出現(xiàn)及其位置來判斷增強(qiáng)現(xiàn)實系統(tǒng)是否能成功識別和跟蹤三維標(biāo)志物。云端標(biāo)志物識別云端標(biāo)志物識別功能測試方法為保證手持式移動設(shè)備網(wǎng)絡(luò)通暢，在測試環(huán)境中用手持式移動設(shè)備GB/TXXXXX—XXXX掃描拍攝標(biāo)志物，通過手持式移動設(shè)備將場景視頻流上傳至云平臺，觀察設(shè)備顯示屏上虛擬AR內(nèi)容是否正確出現(xiàn)及其位置來判斷增強(qiáng)現(xiàn)實系統(tǒng)是否能在云端成功識別二維標(biāo)志物和三維標(biāo)志物。8.2.4三維重建平面檢測平面檢測功能測試方法具體如下：a）將布置的測試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）對測試環(huán)境進(jìn)行移動平臺上的平面檢測，測試增強(qiáng)現(xiàn)實系統(tǒng)是否具備平面檢測功能，平面檢測是否具有漸增式的實時拓展性，以及是否可以檢測出多個平面。稠密點云重建稠密點云重建功能測試方法為對測試環(huán)境進(jìn)行移動平臺上的稠密點云重建，測試增強(qiáng)現(xiàn)實系統(tǒng)是否具備稠密點云重建功能，以及稠密點云重建是否具有漸增式的實時拓展性。稠密網(wǎng)格重建稠密網(wǎng)格重建功能測試方法為對測試環(huán)境進(jìn)行移動平臺上的稠密網(wǎng)格重建，測試增強(qiáng)現(xiàn)實系統(tǒng)是否具備稠密網(wǎng)格重建功能，以及稠密網(wǎng)格重建是否具有漸增式的實時拓展性。8.2.5光照估計光照估計功能測試方法具體如下：a）在布置的測試環(huán)境中切換紅綠藍(lán)白四種光源顏色，并調(diào)整不同的照度；b）觀察虛擬對象的顏色是否與測試環(huán)境光照一致，是否會隨著光照變化而變化，來判斷增強(qiáng)現(xiàn)實系統(tǒng)是否具備光照估計功能。8.2.6人臉識別跟蹤人臉識別跟蹤功能測試方法具體如下：a）錄制不同場景中的不同表情的人臉視頻；b）如果移動設(shè)備能夠正確跟蹤一系列面部關(guān)鍵點，那么增強(qiáng)現(xiàn)實系統(tǒng)就具備了人臉識別跟蹤的功能。8.2.7手勢識別跟蹤手勢識別跟蹤功能測試方法具體如下：a）錄制不同場景中的不同手勢動作的手部視頻；b）如果移動設(shè)備能夠正確跟蹤視頻中的手部關(guān)鍵點，那么增強(qiáng)現(xiàn)實系統(tǒng)就具備了手勢識別跟蹤的功能。8.2.8渲染引擎渲染引擎功能測試方法為在實驗室中，手持上述移動設(shè)備，進(jìn)行不同方式的運動并開啟增強(qiáng)現(xiàn)實系統(tǒng)，觀察手持式移動設(shè)備屏幕顯示的渲染效果，判斷增強(qiáng)現(xiàn)實系統(tǒng)是否具備以下功能：a)實時將動/靜態(tài)虛擬對象渲染在現(xiàn)實畫面中；b)緊密貼合虛擬對象與現(xiàn)實背景；c)正確響應(yīng)現(xiàn)實世界的光照變化；d)支持常見靜態(tài)AR模型和動態(tài)AR模型(如骨骼動畫)的渲染。GB/TXXXXX—XXXX8.2.9虛實遮擋虛實遮擋功能測試方法具體如下：a）尋找一個景深層次結(jié)構(gòu)復(fù)雜的場景；b）用手持式移動設(shè)備拍攝該場景并啟動增強(qiáng)現(xiàn)實系統(tǒng)，并在手機(jī)場景的畫面中放置動態(tài)虛擬物體，通過增強(qiáng)現(xiàn)實系統(tǒng)實現(xiàn)虛擬物體和真實場景（包括靜態(tài)背景和動態(tài)前景）之間遮擋效果，以此判斷增強(qiáng)現(xiàn)實系統(tǒng)是否具備虛實遮擋功能。8.3性能測試方法8.3.1在線跟蹤定位六自由度在線跟蹤6DoF在線跟蹤性能測試方法具體如下：a）構(gòu)建AR精度評估的基準(zhǔn)數(shù)據(jù)集，數(shù)據(jù)集應(yīng)覆蓋不同場景和不同運動的數(shù)據(jù)，數(shù)據(jù)集應(yīng)包括SLAM運行的基本數(shù)據(jù)，包括圖像、IMU等傳感器數(shù)據(jù)以及相應(yīng)的標(biāo)定參數(shù)等，同時需要提供真值數(shù)據(jù)（真值可以通過運動捕捉系統(tǒng)獲?。灰部梢越柚跇?biāo)準(zhǔn)公開數(shù)據(jù)集來作為基準(zhǔn)數(shù)據(jù)集；b）搭建一個支持離線運行算法的移動端數(shù)據(jù)采集工具，可以讀入基準(zhǔn)數(shù)據(jù)集，并能夠正常運行算法；c）基于基準(zhǔn)數(shù)據(jù)運行算法，并記錄每幀圖像的6DoF位姿和單幀處理時間；d）借助精度評估工具評估算法的APE、ARE、RPE、RRE、初始化質(zhì)量、跟蹤魯棒性等指標(biāo)，衡量算法精度；e）評估算法的準(zhǔn)確率、幀率等指標(biāo)。本地重定位本地重定位性能測試方法具體如下：a）利用的移動端數(shù)據(jù)采集工具，采集以下數(shù)據(jù)：i）掃描場景，使算法可以充分構(gòu)建場景地圖信息；ii）快速甩動設(shè)備或者長時間遮擋攝像頭，使得算法進(jìn)入跟蹤失敗狀態(tài)；iii）對掃描過的場景重新進(jìn)行掃描定位。b）基于上述數(shù)據(jù)評估本地重定位的成功率、重定位耗時和重定位精度。云端重定位云端重定位性能測試方法具體如下：a）利用的移動端數(shù)據(jù)采集工具，采集以下數(shù)據(jù)：i）掃描場景，使算法可以充分構(gòu)建場景地圖信息；ii）快速甩動設(shè)備或者長時間遮擋攝像頭，使得算法進(jìn)入跟蹤失敗狀態(tài)；iii）對掃描過的場景重新進(jìn)行掃描，并傳輸至云端進(jìn)行重定位。b）基于上述數(shù)據(jù)評估云端重定位的成功率、重定位耗時和重定位精度。8.3.2尺度估計尺度估計性能測試方法為參照中的數(shù)據(jù)采集方法，生成所需要的算法6DoF參數(shù)和真值數(shù)據(jù)，通過算法的位姿參數(shù)與真值數(shù)據(jù)的比較來評估算法的6DoF位姿的尺度誤差。8.3.3標(biāo)志物識別跟蹤GB/TXXXXX—XXXX二維標(biāo)志物識別跟蹤二維標(biāo)志物識別跟蹤性能測試方法具體如下：a）將每一幀識別與跟蹤算法的執(zhí)行時間記錄在日志中，通過不少于5min的執(zhí)行時間統(tǒng)計出二維標(biāo)志物識別與跟蹤的平均單幀耗時情況，包括：1)分別測試單個二維標(biāo)志物和5個二維標(biāo)志物識別的平均耗時；2)分別測試單個二維標(biāo)志物和5個二維標(biāo)志物跟蹤的平均耗時。b）測試二維標(biāo)志物識別的成功率，包括不同角度、不同距離和不同光照下的成功率。三維標(biāo)志物識別跟蹤三維標(biāo)志物識別跟蹤性能測試方法具體如下：a）將每一幀識別與跟蹤算法的執(zhí)行時間記錄在日志中，通過不少于5min的執(zhí)行時間統(tǒng)計出三維標(biāo)志物識別與跟蹤的平均單幀耗時情況，包括：3)分別測試單個三維標(biāo)志物和5個三維標(biāo)志物識別的平均耗時；4)分別測試單個三維標(biāo)志物和5個三維標(biāo)志物跟蹤的平均耗時。b）測試三維標(biāo)志物識別的成功率，包括不同角度、不同距離和不同光照下的成功率。云端標(biāo)志物識別云端標(biāo)志物識別性能測試方法為保證測試手持式移動設(shè)備網(wǎng)絡(luò)通暢，通過手持式移動設(shè)備將場景視頻流上傳至云平臺，測試云端識別二維標(biāo)志物和三維標(biāo)志物的速度和成功率，包括：a）測試二維標(biāo)志物識別的平均網(wǎng)絡(luò)耗時、算法耗時和成功率；b）測試三維標(biāo)志物識別的平均網(wǎng)絡(luò)耗時、算法耗時和成功率。8.3.4三維重建平面檢測平面檢測性能測試方法具體如下：a）根據(jù)場景的實際測量尺寸用建模軟件建出其中的多個平面模型作為真值；b）評估檢測的每個平面與真值平面之間的位置精度誤差；c）將每一幀平面檢測算法的執(zhí)行時間記錄在日志中，通過不少于5min的執(zhí)行時間統(tǒng)計出平面檢測的平均單幀耗時，包括單個平面檢測和5個平面檢測的平均耗時。稠密點云重建稠密點云重建性能測試方法具體如下：a）將三維掃描儀掃描出場景的精確三維模型作為真值；b）對場景進(jìn)行移動平臺上的稠密點云重建，評估重建的稠密點云與真值三維模型之間的位置精度誤差；c）將每一幀稠密點云重建算法的執(zhí)行時間記錄在日志中，通過不少于5min的執(zhí)行時間統(tǒng)計出稠密點云重建的平均單幀耗時。稠密網(wǎng)格重建稠密網(wǎng)格重建性能測試方法具體如下：a）將三維掃描儀掃描出場景的精確三維模型作為真值；b）對場景進(jìn)行移動平臺上的稠密網(wǎng)格重建，評估重建的稠密網(wǎng)格與真值三維模型之間的幾何精度誤差；GB/TXXXXX—XXXXc）將每一幀稠密網(wǎng)格重建算法的執(zhí)行時間記錄在日志中，通過不少于5min的執(zhí)行時間統(tǒng)計出稠密網(wǎng)格重建的平均單幀耗時。8.3.5光照估計光照估計性能測試方法具體如下：a）關(guān)閉所有燈光，分別測試場景光照顏色估計值與真值的誤差，光照估計真值采用環(huán)境光采集設(shè)備采集3次全景求平均，利用球協(xié)函數(shù)分解，獲取零階系數(shù)，作為環(huán)境光亮度和顏色真值；b）只打開白色燈光，在調(diào)整白燈的照度在30lx、100lx、200lx、400lx的四種情況下，分別測量光照顏色估計值與真值的誤差；c）只打開紅色燈光，在調(diào)整紅燈的照度在30lx、100lx、200lx、400lx的四種情況下，分別測量光照顏色估計值與真值的誤差；d）只打開綠色燈光，在調(diào)整綠燈的照度在30lx、100lx、200lx、400lx的四種情況下，分別測量光照顏色估計值與真值的誤差；e）只打開藍(lán)色燈光，在調(diào)整藍(lán)燈的照度在30lx、100lx、200lx、400lx的四種情況下，分別測量光照顏色估計值與真值的誤差。8.3.6人臉識別跟蹤人臉識別跟蹤性能測試方法具體如下：a）在8.1.3所述的數(shù)據(jù)集上得到人臉關(guān)鍵點跟蹤結(jié)果；b）比較人臉關(guān)鍵點跟蹤結(jié)果與人工標(biāo)注結(jié)果，計算面部關(guān)鍵點跟蹤的平均召回率。8.3.7手勢識別跟蹤手勢識別跟蹤性能測試方法具體如下：a）在8.1.4所述的數(shù)據(jù)集上得到手部關(guān)鍵點跟蹤結(jié)果；b）比較手部關(guān)鍵點跟蹤結(jié)果與人工標(biāo)注結(jié)果，計算手部關(guān)鍵點跟蹤的平均召回率。8.3.8渲染引擎渲染引擎性能測試方法為提供標(biāo)準(zhǔn)格式的靜態(tài)模型，骨骼動畫模型，并利用光照估計的照度值和顏色值作為環(huán)境光照度和環(huán)境光顏色進(jìn)行渲染，測試靜態(tài)模型和動態(tài)模型的載入、動畫更新及渲染結(jié)果，通過常見移動端設(shè)備截幀工具，測試渲染引擎的渲染分辨率和運行幀率。8.3.9虛實遮擋虛實遮擋性能測試方法具體如下：a）用手持式移動設(shè)備拍攝該場景并啟動增強(qiáng)現(xiàn)實系統(tǒng)，并在手機(jī)場景的畫面中放置動態(tài)虛擬物體，通過增強(qiáng)現(xiàn)實系統(tǒng)實現(xiàn)虛擬物體和真實場景（包括靜態(tài)背景和動態(tài)前景）之間遮擋效果，同時輸出遮擋處理每幀的耗時至日志，判斷幀率是否可達(dá)到6DoF跟蹤的幀率；b）通過常見移動端設(shè)備截幀工