kinect外文文獻(xiàn)翻譯

1、3D與Kinect揚(yáng)斯米謝克，米哈爾Jancosek和Tomas Pajdla控制論，費(fèi)用，在布拉格捷克技術(shù)大學(xué)的CMP摘要 我們分析的Kinect作為3D測(cè)量設(shè)備，實(shí)驗(yàn)調(diào)查深度測(cè)量分辨率和誤差性能和使超高動(dòng)力學(xué)的定量比較精度立體聲重建從單反相機(jī)和一個(gè)3D-TOF相機(jī)。我們提出的Kinect幾何模型和它的校準(zhǔn)程序提供精確的校準(zhǔn)Kinect的3D測(cè)量和Kinect攝像頭。我們通過(guò)整合演示的Kinect校準(zhǔn)的功能它變成一個(gè)SFM管道，其中三維測(cè)量從運(yùn)動(dòng)的Kinect被變換成一個(gè)共同的坐標(biāo)系統(tǒng)通過(guò)從比賽計(jì)算相對(duì)姿態(tài)彩色攝像機(jī)。1.簡(jiǎn)介 Kinect正成為一個(gè)重要的三維傳感器。它接收了大量的關(guān)注表示感

2、謝，以人迅速對(duì)構(gòu)成三維測(cè)量上開(kāi)發(fā)識(shí)別系統(tǒng)。測(cè)量的成本低，可靠性承諾使Kinect的主要3D測(cè)量室內(nèi)機(jī)器人，三維場(chǎng)景重建設(shè)備，和物體識(shí)別。 在本文中，我們提供的幾何分析Kinect的，設(shè)計(jì)它的幾何模型，提出了一個(gè)校準(zhǔn)過(guò)程，并展示其性能。方法建模Kinect的幾何形狀，從而出現(xiàn)近日，為了解一個(gè)良好的基礎(chǔ)傳感器。主要有以下幾種最相關(guān)的作品。文獻(xiàn)結(jié)合OpenCV的攝像機(jī)標(biāo)定用Kinect的逆差距的計(jì)量模型來(lái)獲得基本Kinect的校準(zhǔn)程序。他沒(méi)有學(xué)習(xí)Kinect的傳感器的特定功能，并沒(méi)有糾正他們。幾乎相同的程序?qū)嵤┗钚匝酰渲性摷t外線之間的表觀位移和深度圖像被校正。這種做法的另一個(gè)變化出現(xiàn)在，其中的Op

3、enCV校準(zhǔn)替換通過(guò)Bouguet的校準(zhǔn)工具箱。我們建立在以前的工作之上，并設(shè)計(jì)了一個(gè)精確的校準(zhǔn)程序的基礎(chǔ)上考慮的幾何模型，以及作為一個(gè)額外的校正程序會(huì)計(jì)“學(xué)習(xí)”對(duì)于剩下的非建模誤差。我們使用全相機(jī)型號(hào)和他們的校準(zhǔn)程序?yàn)閷?shí)現(xiàn)在，超高動(dòng)力學(xué)逆視差之間的關(guān)系和深度如，正確深度和紅外圖像位移如，并添加其他校正訓(xùn)練有素的校準(zhǔn)板的例子。我們證明該校準(zhǔn)超高動(dòng)力學(xué)可以與結(jié)構(gòu)相結(jié)合運(yùn)動(dòng)來(lái)獲得三維數(shù)據(jù)一致的坐標(biāo)系中，允許通過(guò)多視角來(lái)構(gòu)建觀測(cè)到的景物的表面立體聲。我們的對(duì)比表明，Kinect是優(yōu)越在精度SwissRanger SR-40003D-TOF相機(jī)接近中等分辨率單反立體聲鉆機(jī)。我們的研究結(jié)果是根據(jù)10其中

4、兼容觀測(cè)關(guān)于Kinect的深度量化被提及。圖1. Kinect的由紅外（IR）投影儀，紅外照相機(jī)和RGB攝像頭。圖2. Kinect的兩尼康D60單反相機(jī)鉆機(jī)。2.作為Kinect的三維測(cè)量裝置 Kinect是由一個(gè)紅外投影儀的復(fù)合設(shè)備一圖案和IR照相機(jī)，其用于三角測(cè)量點(diǎn)在太空中。它可以作為一個(gè)深度攝像頭，以及一顏色（RGB）相機(jī)，它可以用來(lái)識(shí)別圖像內(nèi)容和紋理的3D點(diǎn)，圖1作為測(cè)定裝置，超高動(dòng)力學(xué)提供三種輸出：紅外圖像，RGB圖像，以及（逆向）深度圖像。2.1 紅外圖像 IR（1280×1024像素的57×45度視場(chǎng)，6.1 mm焦距長(zhǎng)，5.2m像素大小）攝像頭是用來(lái)觀察和

5、解碼紅外投射圖案三角3D場(chǎng)景。如果由鹵素?zé)?6，19，同時(shí)提供適當(dāng)?shù)恼彰骷t外投影受阻，如圖7（c，d）中，它可以可靠地校正由2使用用于相同的棋盤圖案在RGB攝像頭。相機(jī)表現(xiàn)出不可忽略的徑向和切向變形，標(biāo)簽2。2.2 RGB圖像 RGB（1280×1024像素的63×50度視場(chǎng)，2.9毫米焦距，2.8m像素大?。┫鄼C(jī)提供介質(zhì)質(zhì)量的圖像。它可以由2進(jìn)行校準(zhǔn)和用于跟蹤由SFM系統(tǒng)，例如照相機(jī)運(yùn)動(dòng)17，7。2.3 深度圖像 超高動(dòng)力學(xué)的主要原料輸出是對(duì)應(yīng)的圖像到的深度在場(chǎng)景中。而不是提供實(shí)際深度z，Kinect的返回“逆深度”d圖。圖3（a）。考慮到深度分辨率達(dá)到的Kinect的（

6、部分2.4），我們通過(guò)模型等式。 5建議在3。深度圖像是通過(guò)三角測(cè)量構(gòu)造從紅外圖像和投影，因此它是由IR圖象，等式“攜帶”。 5。2.4 深度解析圖3（b，c）表示深度分辨率的函數(shù)距離。深度決議通過(guò)移動(dòng)測(cè)量Kinect的距離（0.5米，15米）從平面靶足夠精心錄制返回所有值約5視圖圍繞圖像中心領(lǐng)域。量化步驟q的大小，也就是距離兩個(gè)連續(xù)的記錄值之間，被發(fā)現(xiàn)是深度z的以下函數(shù)：q(z) = 2.73 z2 + 0.74 z 0.58 mm. (1)以Z米。 q中開(kāi)始，RESP值。的操作范圍在末端，分別為q(0.50 m) =0.65 mm, resp. q(15.7 m) = 685 mm.(a)

7、 Kinect逆深度作為實(shí)際深度的函數(shù)。(b)深入Kinect的量化步長(zhǎng)Q（0-15米）。(c)Kinect的深度量化步長(zhǎng)（0-5米細(xì)節(jié)）。2.5 紅外圖像和深度圖像之間切換 發(fā)現(xiàn)IR和深度圖像被移位。為了確定移位U0，V0？幾個(gè)不同的目標(biāo)被捕獲紅外和深度圖像，圖。圖4（a）。對(duì)比目標(biāo)從背景和分割出移是通過(guò)使分割的形狀在確定最好對(duì)準(zhǔn)，圖圖4（b）。幾個(gè)實(shí)驗(yàn)對(duì)象不同結(jié)果形狀如表1所示。 1.移估計(jì)為平均值在所有實(shí)驗(yàn)。我們的結(jié)果表明，在深度使用尺寸的相關(guān)窗口7×7像素計(jì)算處理。這是接近9×9的窗口大小估計(jì)在11。 (a)對(duì)準(zhǔn)前 （b）對(duì)準(zhǔn)后圖4.紅外深度圖像移位和校正。一個(gè)目標(biāo)

8、的紅外圖像顯示為黑色。的深度圖像目標(biāo)是通過(guò)其白邊表示。表1.紅外深度攝像頭像素位置偏移。3. Kinect的幾何模型 我們建模的Kinect作為由多視圖系統(tǒng)RGB，紅外和深度攝像頭。 RGB的幾何模型和紅外攝像機(jī)，其投射一個(gè)三維點(diǎn)X為圖像點(diǎn)U，V?,由2給出的失真參數(shù)K =K1，K2，。 。 。 ，K5，攝像機(jī)標(biāo)定矩陣K，旋轉(zhuǎn)R和攝像機(jī)中心C6。圖5.Kinect的幾何模型。 超高動(dòng)力學(xué)的深度相機(jī)相關(guān)聯(lián)的幾何紅外相機(jī)。它返回逆深度d沿z軸，圖5，對(duì)每個(gè)像素U，V的紅外攝像機(jī)作為 其中，U，V是由方程給出。 3，真正的深度z由公式。4，U0，V0按Tab鍵。 1，X代表一個(gè)3D的三維坐標(biāo)點(diǎn)，以及

9、C1和C0是模型的參數(shù)。我們聯(lián)想Kinect的坐標(biāo)系與紅外相機(jī)，因此得到RIR=我和CIR=03D點(diǎn)XIR構(gòu)造從測(cè)量X，Y，D在深度圖像通過(guò)并投射到RGB圖像作為 其中，存款保險(xiǎn)計(jì)劃是由等式給出的失真函數(shù)。 3，基里巴斯，kRGB是紅外的各自失真參數(shù)和RGB攝像頭，KIR是紅外攝像機(jī)標(biāo)定矩陣KRGB，RRGB，CRGB是校準(zhǔn)矩陣，所述旋轉(zhuǎn)矩陣和中心將RGB攝像頭。4. Kinect的標(biāo)定 我們校正2 Kinect的攝像頭一起通過(guò)展示相同的校準(zhǔn)目標(biāo)到IR和RGB照相機(jī)，圖7（c）。以這種方式，兩個(gè)照相機(jī)被校準(zhǔn)w.r.t.該相同的3D點(diǎn)和相機(jī)WRT的因此姿勢(shì)點(diǎn)可以鏈接給他們的相對(duì)姿態(tài)，圖8.以直角

10、坐標(biāo)紅外相機(jī)作為系統(tǒng)Kinect的全球坐標(biāo)系，使相機(jī)相對(duì)造成等于RRGB，CRGB。標(biāo)簽。 2，第3顯示內(nèi)部參數(shù)和圖圖6顯示效果在攝像機(jī)的扭曲。我們包括切線畸變，因?yàn)樗姆呛雎栽黾恿苏w三維測(cè)量的精度。圖。圖7（a）示出了該IR圖像在正常運(yùn)行的Kinect標(biāo)定板當(dāng)它是由其IR發(fā)射照亮。更好的圖像是通過(guò)阻斷紅外投影儀和照明獲得由鹵素?zé)魣D偏出。圖7（b）。圖6.既Kinect的攝像頭預(yù)估失真的影響。 紅色數(shù)字表示的尺寸和箭頭的方向像素位移引起的透鏡失真。交叉顯示圖像中心的圓的主點(diǎn)的位置。圖7.在IR，RGB和深度圖像的校準(zhǔn)板。 參數(shù)C0，深度相機(jī)的C1被校準(zhǔn)如下。我們得到了N次測(cè)量 ，正從深度圖像

11、全部校準(zhǔn)點(diǎn)，圖7（d）。笛卡爾坐標(biāo)相同XIRi校準(zhǔn)點(diǎn)測(cè)量在IR笛卡爾系統(tǒng)通過(guò)交叉投影點(diǎn)進(jìn)去紅外圖像的光線用最好的平面裝配到重建的校準(zhǔn)點(diǎn)。參數(shù)C0，C1進(jìn)行了優(yōu)化，以最合適的XDI到使用等式6。表2.Kinect的紅外攝像機(jī)內(nèi)部參數(shù)。表3.Kinect的攝像頭RGB內(nèi)部參數(shù)。圖8.位置和Kinect的IR和RGB攝像頭的方向與單反一對(duì)立體聲（左，右）與3D完全校準(zhǔn)重建在平面校準(zhǔn)目標(biāo)點(diǎn)。圖9.平面殘差擬合出的固定模式噪聲從不同的距離的深度圖象。表4.評(píng)價(jià)的z修正。的標(biāo)準(zhǔn)偏差平面的殘差擬合到平面目標(biāo)的測(cè)量已經(jīng)減少。4.1 學(xué)習(xí)復(fù)雜的剩余誤差 它已經(jīng)觀察到超高動(dòng)力學(xué)校準(zhǔn)與上述程序仍然呈現(xiàn)小而相對(duì)復(fù)雜的

12、殘余錯(cuò)誤近距離測(cè)量。圖。 9顯示殘差平面擬合到校準(zhǔn)Kinect的測(cè)量后平面靶的跨越視場(chǎng)。目標(biāo)已被抓獲，從18個(gè)不同的距離，從0.7至1.3米，高度相關(guān)的殘差進(jìn)行核算。沿250水平深度圖像行殘差圖10（a）。殘值是一貫的積極中心和負(fù)在外圍。為了補(bǔ)償該殘留誤差，我們形成z值的Z校正圖像構(gòu)造為所有的殘余圖像的逐像素平均。的z校正圖像是從z中減去坐標(biāo)XIR的計(jì)算等式所。 6。為了評(píng)估該修正方法，在z校正圖像從甚至圖像，然后對(duì)殘差構(gòu)建施加到奇數(shù)（表的第一行。4）和偶數(shù)（第二行選項(xiàng)卡中。 4）深度圖像。的標(biāo)準(zhǔn)偏差殘差下降。施加的z校正Kinect的測(cè)量后從在第5.1節(jié)，平均所描述的實(shí)驗(yàn)的殘留誤差減少了約0

13、.25毫米，圖。圖10（b）。在4410點(diǎn)的殘差進(jìn)行評(píng)價(jià)跨越視場(chǎng)。5.驗(yàn)證5.1 Kinect的，SLRStereo和3DTOF的比較 我們比較的平面靶的測(cè)定精度通過(guò)Kinect的，單反立體聲和3D TOF相機(jī)。 Kinect和單反立體聲（圖像尺寸2304×1536像素）分別為剛性地安裝（圖2）和校準(zhǔn)（圖8）在一起。單反立體聲被重建校準(zhǔn)點(diǎn)完成由2提取并通過(guò)線性最小二乘三角三角6。他們測(cè)量了同一平面靶中315控制校準(zhǔn)點(diǎn)在每個(gè)14的目標(biāo)。 SR-40003D TOF13不同的測(cè)量平面靶，但在一個(gè)可比的距離范圍0.9 - 從1.4米在每個(gè)11的88控制校準(zhǔn)點(diǎn)傳感器校準(zhǔn)目標(biāo)。誤差e，標(biāo)簽。

14、5，對(duì)應(yīng)于由傳感器返回的點(diǎn)之間的歐幾里德距離和在校準(zhǔn)的過(guò)程中重構(gòu)點(diǎn)的傳感器的相機(jī)。單反立體聲是最準(zhǔn)確的，Kinect的遵循和SR-4000是最準(zhǔn)確的。圖10.糾正復(fù)雜的剩余誤差表5.單反立體三角對(duì)比，Kinect和SR-40003D TOF深度傳感。圖11.從超高動(dòng)力學(xué)的RGB攝像機(jī)和圖像的實(shí)施例被用于現(xiàn)場(chǎng)重建了相應(yīng)深度5.2 結(jié)合Kinect和SFM 圖11示出的一對(duì)1/2分辨率（640×480）的KinectRGB圖像和沿途經(jīng)過(guò)的RGB光線的深度圖像中的像素通過(guò)計(jì)算等式。 50 7.序列RGB-深度圖像對(duì)已獲得的該的RGB相機(jī)的姿勢(shì)已經(jīng)計(jì)算由SFM管道17，7。使用Kinect的

15、標(biāo)定，真深度圖像已經(jīng)計(jì)算并一起注冊(cè)。 圖12（a）表示從得到的3D點(diǎn)重建的表面僅僅通過(guò)多視點(diǎn)立體9在Kinect的RGB圖像。12（b）表示通過(guò)使用所獲得的改善加入注冊(cè)的Kinect 3D數(shù)據(jù)后，同樣的方法。圖。 13比較3D表面重建從點(diǎn)云計(jì)算飛機(jī)清掃9 70 Kinect的通過(guò)的表面reconstruciton處理的3D數(shù)據(jù)9（2304×1536像素）。超高動(dòng)力學(xué)三維數(shù)據(jù)被登記到一個(gè)公共通過(guò)SFM坐標(biāo)系17，7應(yīng)用到Kinect的圖像數(shù)據(jù)。我們可以看到，多個(gè)測(cè)量時(shí)，被使用，結(jié)果與Kinect是相當(dāng)類似，以更準(zhǔn)確的多視圖atereo重建。六 結(jié)論我們提供的Kinect3D測(cè)量的分析能

16、力和校準(zhǔn)程序，允許合并Kinect的與SFM和多視點(diǎn)立體，這將打開(kāi)用于超高動(dòng)力學(xué)應(yīng)用的新領(lǐng)域。有趣的是，觀察到在多視點(diǎn)重建的質(zhì)量，Kinect的overperformed SwissRanger SR-4000和接近3.5米像素單反立體聲。圖12.現(xiàn)場(chǎng)重建，從Kinect的攝像頭的RGB。該圖為重建質(zhì)量時(shí)的比較場(chǎng)景采用多視點(diǎn)立體和情況下，只有重建當(dāng)從Kinect的三維數(shù)據(jù)也是可用的。圖13.Kinect的比較多視圖重建參考文獻(xiàn)1 D。Avrahami等。 RGB-D：技術(shù)和用法對(duì)于Kinect的深度風(fēng)格的相機(jī)。 HTTP：/ ILS。intel-2 J. Y. Bouguet。攝像機(jī)標(biāo)定工具箱

17、HTTP/WWW/bouguetj/calib_doc/，2010年1月3 N.比呂斯。 Kinect的校準(zhǔn)。 HTTP：//index.php/Research/KinectCalibration。4一Dryanovski，W.莫里斯和S. Magnenat。 Kinect的節(jié)點(diǎn)/wiki/kinect_node，2010。5 B.弗里德曼，A Shpunt，M Machline和Y Arieli。深度以投影的圖案繪制，2010年1月6 R.哈特利和A. Zisserman。在多視圖幾

18、何計(jì)算機(jī)視覺(jué)。劍橋，第二版，2003年3月7 M. Havlena，A鳥居，和T. Pajdla。從高效的結(jié)構(gòu)由圖優(yōu)化運(yùn)動(dòng)。在ECCV，2010年2月8 D. C.埃雷拉，J. Kannala和J. Heikkila。準(zhǔn)確和深度和彩色攝像機(jī)實(shí)際校準(zhǔn)對(duì)。 http:/www.ee.oulu.fi/dherrera/Kinect的/ 2011-depth_calibration.pdf，2011年1月9 M。Jancosek和T. Pajdla。多視圖重建preservingpreserving弱支撐面。 2011. 6,710 K. Khoshelham。 Kinect的深度數(shù)據(jù)分析的準(zhǔn)確性。在ISPRS車間激光掃描，體積XXXVIII 2011年1月11 K. Konolige和P. Mihelich。技術(shù)說(shuō)明Kinect的標(biāo)定。 /wiki/kinect_calibration /技術(shù)，2011年1月12 K.萊，L.博，十仁和·?？怂?/p>