kinect外文文獻翻譯

1、3D與Kinect揚斯米謝克，米哈爾Jancosek和Tomas Pajdla控制論，費用，在布拉格捷克技術大學的CMP摘要 我們分析的Kinect作為3D測量設備，實驗調查深度測量分辨率和誤差性能和使超高動力學的定量比較精度立體聲重建從單反相機和一個3D-TOF相機。我們提出的Kinect幾何模型和它的校準程序提供精確的校準Kinect的3D測量和Kinect攝像頭。我們通過整合演示的Kinect校準的功能它變成一個SFM管道，其中三維測量從運動的Kinect被變換成一個共同的坐標系統(tǒng)通過從比賽計算相對姿態(tài)彩色攝像機。1.簡介 Kinect正成為一個重要的三維傳感器。它接收了大量的關注表示感

2、謝，以人迅速對構成三維測量上開發(fā)識別系統(tǒng)。測量的成本低，可靠性承諾使Kinect的主要3D測量室內機器人，三維場景重建設備，和物體識別。 在本文中，我們提供的幾何分析Kinect的，設計它的幾何模型，提出了一個校準過程，并展示其性能。方法建模Kinect的幾何形狀，從而出現近日，為了解一個良好的基礎傳感器。主要有以下幾種最相關的作品。文獻結合OpenCV的攝像機標定用Kinect的逆差距的計量模型來獲得基本Kinect的校準程序。他沒有學習Kinect的傳感器的特定功能，并沒有糾正他們。幾乎相同的程序實施活性氧，其中該紅外線之間的表觀位移和深度圖像被校正。這種做法的另一個變化出現在，其中的Op

3、enCV校準替換通過Bouguet的校準工具箱。我們建立在以前的工作之上，并設計了一個精確的校準程序的基礎上考慮的幾何模型，以及作為一個額外的校正程序會計“學習”對于剩下的非建模誤差。我們使用全相機型號和他們的校準程序為實現在，超高動力學逆視差之間的關系和深度如，正確深度和紅外圖像位移如，并添加其他校正訓練有素的校準板的例子。我們證明該校準超高動力學可以與結構相結合運動來獲得三維數據一致的坐標系中，允許通過多視角來構建觀測到的景物的表面立體聲。我們的對比表明，Kinect是優(yōu)越在精度SwissRanger SR-40003D-TOF相機接近中等分辨率單反立體聲鉆機。我們的研究結果是根據10其中

4、兼容觀測關于Kinect的深度量化被提及。圖1. Kinect的由紅外（IR）投影儀，紅外照相機和RGB攝像頭。圖2. Kinect的兩尼康D60單反相機鉆機。2.作為Kinect的三維測量裝置 Kinect是由一個紅外投影儀的復合設備一圖案和IR照相機，其用于三角測量點在太空中。它可以作為一個深度攝像頭，以及一顏色（RGB）相機，它可以用來識別圖像內容和紋理的3D點，圖1作為測定裝置，超高動力學提供三種輸出：紅外圖像，RGB圖像，以及（逆向）深度圖像。2.1 紅外圖像 IR（1280×1024像素的57×45度視場，6.1 mm焦距長，5.2m像素大?。z像頭是用來觀察和

5、解碼紅外投射圖案三角3D場景。如果由鹵素燈16，19，同時提供適當的照明紅外投影受阻，如圖7（c，d）中，它可以可靠地校正由2使用用于相同的棋盤圖案在RGB攝像頭。相機表現出不可忽略的徑向和切向變形，標簽2。2.2 RGB圖像 RGB（1280×1024像素的63×50度視場，2.9毫米焦距，2.8m像素大小）相機提供介質質量的圖像。它可以由2進行校準和用于跟蹤由SFM系統(tǒng)，例如照相機運動17，7。2.3 深度圖像 超高動力學的主要原料輸出是對應的圖像到的深度在場景中。而不是提供實際深度z，Kinect的返回“逆深度”d圖。圖3（a）。考慮到深度分辨率達到的Kinect的（

6、部分2.4），我們通過模型等式。 5建議在3。深度圖像是通過三角測量構造從紅外圖像和投影，因此它是由IR圖象，等式“攜帶”。 5。2.4 深度解析圖3（b，c）表示深度分辨率的函數距離。深度決議通過移動測量Kinect的距離（0.5米，15米）從平面靶足夠精心錄制返回所有值約5視圖圍繞圖像中心領域。量化步驟q的大小，也就是距離兩個連續(xù)的記錄值之間，被發(fā)現是深度z的以下函數：q(z) = 2.73 z2 + 0.74 z 0.58 mm. (1)以Z米。 q中開始，RESP值。的操作范圍在末端，分別為q(0.50 m) =0.65 mm, resp. q(15.7 m) = 685 mm.(a)

7、 Kinect逆深度作為實際深度的函數。(b)深入Kinect的量化步長Q（0-15米）。(c)Kinect的深度量化步長（0-5米細節(jié)）。2.5 紅外圖像和深度圖像之間切換 發(fā)現IR和深度圖像被移位。為了確定移位U0，V0？幾個不同的目標被捕獲紅外和深度圖像，圖。圖4（a）。對比目標從背景和分割出移是通過使分割的形狀在確定最好對準，圖圖4（b）。幾個實驗對象不同結果形狀如表1所示。 1.移估計為平均值在所有實驗。我們的結果表明，在深度使用尺寸的相關窗口7×7像素計算處理。這是接近9×9的窗口大小估計在11。 (a)對準前 （b）對準后圖4.紅外深度圖像移位和校正。一個目標

8、的紅外圖像顯示為黑色。的深度圖像目標是通過其白邊表示。表1.紅外深度攝像頭像素位置偏移。3. Kinect的幾何模型 我們建模的Kinect作為由多視圖系統(tǒng)RGB，紅外和深度攝像頭。 RGB的幾何模型和紅外攝像機，其投射一個三維點X為圖像點U，V?,由2給出的失真參數K =K1，K2，。 。 。 ，K5，攝像機標定矩陣K，旋轉R和攝像機中心C6。圖5.Kinect的幾何模型。 超高動力學的深度相機相關聯的幾何紅外相機。它返回逆深度d沿z軸，圖5，對每個像素U，V的紅外攝像機作為 其中，U，V是由方程給出。 3，真正的深度z由公式。4，U0，V0按Tab鍵。 1，X代表一個3D的三維坐標點，以及

9、C1和C0是模型的參數。我們聯想Kinect的坐標系與紅外相機，因此得到RIR=我和CIR=03D點XIR構造從測量X，Y，D在深度圖像通過并投射到RGB圖像作為 其中，存款保險計劃是由等式給出的失真函數。 3，基里巴斯，kRGB是紅外的各自失真參數和RGB攝像頭，KIR是紅外攝像機標定矩陣KRGB，RRGB，CRGB是校準矩陣，所述旋轉矩陣和中心將RGB攝像頭。4. Kinect的標定 我們校正2 Kinect的攝像頭一起通過展示相同的校準目標到IR和RGB照相機，圖7（c）。以這種方式，兩個照相機被校準w.r.t.該相同的3D點和相機WRT的因此姿勢點可以鏈接給他們的相對姿態(tài)，圖8.以直角

10、坐標紅外相機作為系統(tǒng)Kinect的全球坐標系，使相機相對造成等于RRGB，CRGB。標簽。 2，第3顯示內部參數和圖圖6顯示效果在攝像機的扭曲。我們包括切線畸變，因為它的非忽略增加了整體三維測量的精度。圖。圖7（a）示出了該IR圖像在正常運行的Kinect標定板當它是由其IR發(fā)射照亮。更好的圖像是通過阻斷紅外投影儀和照明獲得由鹵素燈圖偏出。圖7（b）。圖6.既Kinect的攝像頭預估失真的影響。 紅色數字表示的尺寸和箭頭的方向像素位移引起的透鏡失真。交叉顯示圖像中心的圓的主點的位置。圖7.在IR，RGB和深度圖像的校準板。 參數C0，深度相機的C1被校準如下。我們得到了N次測量 ，正從深度圖像

11、全部校準點，圖7（d）。笛卡爾坐標相同XIRi校準點測量在IR笛卡爾系統(tǒng)通過交叉投影點進去紅外圖像的光線用最好的平面裝配到重建的校準點。參數C0，C1進行了優(yōu)化，以最合適的XDI到使用等式6。表2.Kinect的紅外攝像機內部參數。表3.Kinect的攝像頭RGB內部參數。圖8.位置和Kinect的IR和RGB攝像頭的方向與單反一對立體聲（左，右）與3D完全校準重建在平面校準目標點。圖9.平面殘差擬合出的固定模式噪聲從不同的距離的深度圖象。表4.評價的z修正。的標準偏差平面的殘差擬合到平面目標的測量已經減少。4.1 學習復雜的剩余誤差 它已經觀察到超高動力學校準與上述程序仍然呈現小而相對復雜的

12、殘余錯誤近距離測量。圖。 9顯示殘差平面擬合到校準Kinect的測量后平面靶的跨越視場。目標已被抓獲，從18個不同的距離，從0.7至1.3米，高度相關的殘差進行核算。沿250水平深度圖像行殘差圖10（a）。殘值是一貫的積極中心和負在外圍。為了補償該殘留誤差，我們形成z值的Z校正圖像構造為所有的殘余圖像的逐像素平均。的z校正圖像是從z中減去坐標XIR的計算等式所。 6。為了評估該修正方法，在z校正圖像從甚至圖像，然后對殘差構建施加到奇數（表的第一行。4）和偶數（第二行選項卡中。 4）深度圖像。的標準偏差殘差下降。施加的z校正Kinect的測量后從在第5.1節(jié)，平均所描述的實驗的殘留誤差減少了約0

13、.25毫米，圖。圖10（b）。在4410點的殘差進行評價跨越視場。5.驗證5.1 Kinect的，SLRStereo和3DTOF的比較 我們比較的平面靶的測定精度通過Kinect的，單反立體聲和3D TOF相機。 Kinect和單反立體聲（圖像尺寸2304×1536像素）分別為剛性地安裝（圖2）和校準（圖8）在一起。單反立體聲被重建校準點完成由2提取并通過線性最小二乘三角三角6。他們測量了同一平面靶中315控制校準點在每個14的目標。 SR-40003D TOF13不同的測量平面靶，但在一個可比的距離范圍0.9 - 從1.4米在每個11的88控制校準點傳感器校準目標。誤差e，標簽。

14、5，對應于由傳感器返回的點之間的歐幾里德距離和在校準的過程中重構點的傳感器的相機。單反立體聲是最準確的，Kinect的遵循和SR-4000是最準確的。圖10.糾正復雜的剩余誤差表5.單反立體三角對比，Kinect和SR-40003D TOF深度傳感。圖11.從超高動力學的RGB攝像機和圖像的實施例被用于現場重建了相應深度5.2 結合Kinect和SFM 圖11示出的一對1/2分辨率（640×480）的KinectRGB圖像和沿途經過的RGB光線的深度圖像中的像素通過計算等式。 50 7.序列RGB-深度圖像對已獲得的該的RGB相機的姿勢已經計算由SFM管道17，7。使用Kinect的

15、標定，真深度圖像已經計算并一起注冊。 圖12（a）表示從得到的3D點重建的表面僅僅通過多視點立體9在Kinect的RGB圖像。12（b）表示通過使用所獲得的改善加入注冊的Kinect 3D數據后，同樣的方法。圖。 13比較3D表面重建從點云計算飛機清掃9 70 Kinect的通過的表面reconstruciton處理的3D數據9（2304×1536像素）。超高動力學三維數據被登記到一個公共通過SFM坐標系17，7應用到Kinect的圖像數據。我們可以看到，多個測量時，被使用，結果與Kinect是相當類似，以更準確的多視圖atereo重建。六 結論我們提供的Kinect3D測量的分析能

16、力和校準程序，允許合并Kinect的與SFM和多視點立體，這將打開用于超高動力學應用的新領域。有趣的是，觀察到在多視點重建的質量，Kinect的overperformed SwissRanger SR-4000和接近3.5米像素單反立體聲。圖12.現場重建，從Kinect的攝像頭的RGB。該圖為重建質量時的比較場景采用多視點立體和情況下，只有重建當從Kinect的三維數據也是可用的。圖13.Kinect的比較多視圖重建參考文獻1 D。Avrahami等。 RGB-D：技術和用法對于Kinect的深度風格的相機。 HTTP：/ ILS。intel-2 J. Y. Bouguet。攝像機標定工具箱

17、HTTP/WWW/bouguetj/calib_doc/，2010年1月KinectCalibration。4一Dryanovski，W.莫里斯和S. Magnenat。 Kinect的節(jié)點/wiki/kinect_node，2010。5 B.弗里德曼，A Shpunt，M Machline和Y Arieli。深度以投影的圖案繪制，2010年1月6 R.哈特利和A. Zisserman。在多視圖幾何計算機視覺。劍橋，第二版，2003年3月7 M. Havlena，A鳥居，和T. Pajdla。從高效的結構由圖優(yōu)化運動。在EC

18、CV，2010年2月8 D. C.埃雷拉，J. Kannala和J. Heikkila。準確和深度和彩色攝像機實際校準對。 http:/www.ee.oulu.fi/dherrera/Kinect的/ 2011-depth_calibration.pdf，2011年1月9 M。Jancosek和T. Pajdla。多視圖重建preservingpreserving弱支撐面。 2011. 6,710 K. Khoshelham。 Kinect的深度數據分析的準確性。在ISPRS車間激光掃描，體積XXXVIII 2011年1月kinect_calibration /技術，2011年1月12 K.萊，L.博，十仁和·?？怂?。稀疏遠程教育用于對象識別結合RGB和深度信息。在機器人上的IEEE國際會議自動化，2011年1月13 MESA成像。 SwissRanger SR-4000。 HTTP：/ WWW。mesa-imaging.ch/，2011年5月14微軟。 Kinect的用于X BOX 360 http:/www.xbox。COM / EN-US / Kinect的，2010年1月15 J.肖頓，菲茨吉本A.，M.庫克，T.夏普，M Finocchio，R.摩爾，A Kipman，和A.布雷克。實時人類姿勢識別在零件從一個單