Kinect項目匯報0506資料

基于Kinect體感機(jī)械臂的人機(jī)交互系統(tǒng)開發(fā)田行健目錄Contents1項目綜述2InMoov機(jī)械臂搭建3Arduino主從機(jī)部分4Kinect部分5實物測試與評價基于微軟提供的Kinect體感交互接口，搭建了InMoov機(jī)械臂，開發(fā)了一個類似“石頭、剪刀、布”的人機(jī)互動游戲。通過開發(fā)基于Modbus協(xié)議的主從機(jī)開發(fā)板來控制仿生機(jī)械手，提高系統(tǒng)的穩(wěn)定性。通過多線程并發(fā)、游戲模式創(chuàng)新等方式實現(xiàn)較好的實時性體驗。對PC隨機(jī)出的手勢和Kinect識別的手勢進(jìn)行比對，實現(xiàn)游戲勝負(fù)判斷和游戲結(jié)果的累計記錄，以此來體現(xiàn)閉環(huán)特性。相較于傳統(tǒng)人機(jī)交互系統(tǒng)，自然互動的交互方法具有人機(jī)交互生動自然、響應(yīng)快速、擴(kuò)展性強(qiáng)等優(yōu)點。項目綜述本項目基于InMoov人形機(jī)器人進(jìn)行開發(fā)，通過位于機(jī)器人中部的Kinect設(shè)備進(jìn)行機(jī)器人視覺，隨后主機(jī)與單片機(jī)ArduinoMega通信。ArduinoMega通過Modbus協(xié)議多機(jī)通信控制ArduinoNano，最后由ArduinoNano分別控制每個舵機(jī)（即每個手指關(guān)節(jié)的運(yùn)動）。實現(xiàn)程序設(shè)定的功能。項目綜述游戲流程圖Kinect：微軟的人機(jī)交互設(shè)備，能夠提供即時動態(tài)影像追蹤、影像識別、麥克風(fēng)輸入、語音控制等多種功能。Arduino：一款包含硬件和軟件、便捷、易上手的開源電子原型平臺。本項目采用ArduinoMega當(dāng)作主機(jī)，Arduino

nano當(dāng)作從機(jī)。Modbus協(xié)議：應(yīng)用于電子控制器上的一種通用語言。通過這種協(xié)議，單一主機(jī)可以與多個從機(jī)之間進(jìn)行通信。項目技術(shù)背景目錄Contents1項目綜述2InMoov機(jī)械臂搭建3Arduino主從機(jī)部分4Kinect部分5實物測試與評價擴(kuò)孔對指關(guān)節(jié)外側(cè)的鉸鏈孔進(jìn)行3mm擴(kuò)孔對指關(guān)節(jié)內(nèi)側(cè)及手掌內(nèi)側(cè)的鉸鏈孔進(jìn)行3.2mm或3.5mm擴(kuò)孔打磨對指關(guān)節(jié)進(jìn)行打磨，使其剛好能夠輕松轉(zhuǎn)動打磨手掌轉(zhuǎn)動處和軸承，使得其與手掌之間能自由轉(zhuǎn)動穿線并固定在指關(guān)節(jié)頂端打一個小孔，同時旋入一個小螺絲，并將拉線從頂端原有的兩個孔穿入一邊穿線一邊旋入指關(guān)節(jié)軸，并用膠水固定各指關(guān)節(jié)軸，完成五個手指的拼裝工作完成整個手掌的拼接機(jī)械臂拼裝-手掌部分機(jī)械臂拼裝-手腕部分?jǐn)U孔用8mm的鉆頭對左下圖中零件進(jìn)行擴(kuò)孔。用5.5mm鉆頭對右下圖的部件進(jìn)行擴(kuò)孔，然后將其按入舵機(jī)中。打磨適當(dāng)打磨右圖的部件穿線并潤滑將手掌處的拉線如右圖穿過手腕，同時上緊螺栓，在齒輪處添加適當(dāng)潤滑脂。

拼裝并測試組裝情況如有圖所示，此處用arduino跑一個簡單的程序，確保手腕能夠自由轉(zhuǎn)動，調(diào)試完成后將手腕部舵機(jī)角度調(diào)整到90度。機(jī)械臂拼裝-手臂部分大體框架搭建對手臂內(nèi)外部分的毛邊適當(dāng)打磨，然后用膠水把手臂的兩塊大的部件粘合在一起。在手臂中用螺絲固定伺服床部件。

舵機(jī)的組裝在伺服床中裝入舵機(jī)，舵機(jī)方向如下圖所示，舵機(jī)線從伺服床的相應(yīng)

出口拉出。然后用螺絲組裝固定下圖黃圈所示部件。

引線裝置制作在下圖相應(yīng)位置裝上彈簧，同時剪適量的細(xì)管或者水筆筆芯套在彈簧上，效果如下圖所示。機(jī)械臂拼裝-手臂部分穿線

將手腕處的線，依次穿過彈簧和中間的隔板，最后連接到舵機(jī)上。穿線原則為：彈簧從下至上分別對應(yīng)小拇指到小拇指的五個手指，舵機(jī)部分接線如下圖中黃色箭頭所示，依次從大拇指到小拇指。接線時，每個手指的兩端線分別從上右圖部件的圓周處兩個洞中穿過，然后經(jīng)過舵機(jī)上的螺絲纏繞數(shù)圈進(jìn)行固定。機(jī)械臂拼裝-手臂部分調(diào)線舵機(jī)拉線

調(diào)整方法如下：將舵機(jī)置30度，若此時手指有收縮跡象，將用手將手指完全收縮，同時將兩根拉線同時調(diào)緊，后將舵機(jī)置150度，將手指完全伸直后，將兩根拉線調(diào)緊。五根手指調(diào)完之后，將腕部舵機(jī)緩慢調(diào)整至60度和130度，后再次調(diào)整舵機(jī)拉線的位置，反復(fù)多次，調(diào)整好拉線的位置，拉線通過繞自攻螺絲一兩圈后，固定在舵機(jī)上。所有舵機(jī)的起始角度調(diào)整完成后，記錄響應(yīng)的起始角度，為后續(xù)程序做準(zhǔn)備

目錄Contents1項目綜述2InMoov機(jī)械臂搭建3Arduino主從機(jī)部分4Kinect部分5實物測試與評價利用Arduino內(nèi)部的Servo類來控制。利用調(diào)節(jié)PWM（脈沖寬度調(diào)制）信號的占空比來控制舵機(jī)。舵機(jī)控制控制從機(jī)Arduino-Nano連接方式：Mega通過USB與PC相連（串口0），串口1與Uno相連（Mega的RX1接Uno的TX0，Mega的TX1接Uno的RX1，地線相連）。Arduino主從機(jī)整體測試結(jié)合硬件部分目錄Contents1項目綜述2InMoov機(jī)械臂搭建3Arduino主從機(jī)部分4Kinect部分5實物測試與評價Kinect部分Kinect部分主要實現(xiàn)人體姿態(tài)的讀取。將手勢分為張開，半張開，握緊三種狀態(tài)，隨后將三種手勢信號傳遞給單片機(jī)。

同時kinect部分在主機(jī)上需要通過GUI實現(xiàn)人機(jī)交互，獲取當(dāng)前狀態(tài)，游戲開始結(jié)束等信息。Kinect部分—GUI部分實際效果圖可以看出右側(cè)兩個圖像分別為深度圖像與人體骨架圖像。GUI右側(cè)三個按鈕分別為開始按鈕，清零按鈕，打開串口按鈕。上側(cè)兩個label分別顯示人體手勢和機(jī)器人手勢。左側(cè)label顯示輸贏狀態(tài)，及當(dāng)前輸贏次數(shù)統(tǒng)計。目錄Contents1項目綜述2InMoov機(jī)械臂搭建3Arduino主從機(jī)部分4Kinect部分5實物測試與評價PC提供給Modbus主機(jī)仿生機(jī)械臂動作信號，使得仿生機(jī)械臂做出相應(yīng)手勢，同時實時動態(tài)接受來自Kinect的人體姿態(tài)識別結(jié)果。玩家只需響應(yīng)仿生機(jī)械臂的倒計時等信號，即可與其進(jìn)行“剪刀、石頭、布”游戲，并從PC獲得單局和累計的游戲結(jié)果。實物測試與評價實物測試與評價結(jié)果顯示，機(jī)械臂流暢率、識別正確率等指標(biāo)都接近100%，該娛樂系統(tǒng)表現(xiàn)良好。在Kinect識別準(zhǔn)確率方面，由于Kinect識別的瞬時性，在識別過程中偶爾會發(fā)生識別錯誤。研究