基于LabVIEW的智能廚房助手機器人

..智能廚房助手機器人同濟大學(xué)設(shè)計者：邵謠夏楊宇奧劉繼超張瑜馬千里指導(dǎo)教師：李夢如1、設(shè)計目的烹飪是每個家庭日常生活必不可少的一個環(huán)節(jié),而前期的食材準(zhǔn)備工作非常繁瑣麻煩。首先食材的挑選與預(yù)處理耗費時間,并且在烹飪時人們有時很難騰出雙手去拿下一步需要的東西,有時會因為同時準(zhǔn)備許多道菜肴而手忙腳亂,這種情況讓人們無暇享受烹飪的樂趣。一個智能的廚房助手可以承擔(dān)人們處理食材的工作,通過語音指令,廚房助手機器人將自動識別并抓取用戶指定的、在桌面上的食材,并放入相應(yīng)的處理器中〔切絲、切片等,通過處理器處理過的食材即可以用于人們進一步烹飪。整個過程全部自動化處理,用戶只需發(fā)出語音指令,即可控制烹飪助手處理食材,節(jié)省人們在廚房做飯時處理食材的時間,使得人們可以專注于烹飪菜肴,增加烹飪的樂趣。我們需要設(shè)計的是一個可以減輕烹飪者負(fù)擔(dān),并且易于操作,穩(wěn)定可靠的廚房助手。它不只是替我們完成反復(fù)繁瑣的動作,更是可以在指令下自主完成工作的,智能的機器人助手。2、工作原理2.1機器人小車部分針對廚房助手機器人部分,我們采用上位機下位機編程模式進行編程。硬件方面包括一個架于桌面上且與電腦相連的USB攝像頭、自主設(shè)計組裝的機器人底盤、安裝在機器人底盤四周的紅外線傳感器以及架于底盤上的機械手。廚房助手機器人的主體結(jié)構(gòu)如下圖所示：在機器人底盤的設(shè)計中,由于考慮到廚房桌面小果皮雜物及光滑度的問題,為了提高機器人的穩(wěn)定性,我們采用了四輪獨立懸掛的設(shè)計,四輪分別使用一個減速器,避免了傳統(tǒng)小車行駛過障礙時因車輪懸空導(dǎo)致無法穩(wěn)定行駛的問題；同時我們使用了摩擦性好的軟胎車輪,大大提高了行駛過程中的穩(wěn)定性。同時,為了防止機器人從桌面跌落,在底盤的四角上安放了四個紅外線傳感器。這些傳感器通過檢查從桌面返回的紅外線信號來判斷傳感器下面是否懸空,若某個傳感器懸空則傳回高電平信號至myRIO主控制器,由軟件程序設(shè)定向相反方向行駛,從而避免機器人從桌面跌落。考慮到傳感器信號的延時以及機器人行駛的慣性,將紅外線傳感器支架設(shè)計成"探出型",保證程序的響應(yīng)可以避免機器人跌落。整個機器人底盤均由我們自己設(shè)計,結(jié)構(gòu)緊湊,部件穩(wěn)固,部分連接件借助3D打印機打印成型,整體運行平穩(wěn),安全可靠。在底盤上裝載了一個用于抓取食材的機械手,由myRIO控制器發(fā)送的PWM3D在實際系統(tǒng)工作時,外置攝像頭識別廚房助手機器人以及廚房桌面上的食材與食材處理器,以廚房助手機器人車身為原點建立坐標(biāo)系,得到識別的食材與食材處理器在該坐標(biāo)系下的二維坐標(biāo)〔X,Y。USB攝像頭實時返回桌面的圖像數(shù)據(jù),程序通過調(diào)用目標(biāo)靜態(tài)圖像訓(xùn)練樣本,通過顏色模式匹配的方式對動態(tài)的圖像進行識別,當(dāng)圖像中某塊區(qū)域與訓(xùn)練時保存的靜態(tài)圖片樣本區(qū)域匹配的分值大于設(shè)定的最小匹配分值,則該區(qū)域?qū)⒈蛔R別。在PC上位機中,基于圖像識別并回傳目標(biāo)坐標(biāo)值時,考慮到圖像數(shù)據(jù)的誤差及噪聲,在傳遞數(shù)據(jù)時采用均值濾波方式對數(shù)據(jù)進行預(yù)處理。然后反饋電信號至myRIO控制器,傳遞到下位機進行路徑規(guī)劃判斷。輸入語音指令后,機器人通過識別用戶發(fā)出的語音指令,判斷下一步應(yīng)該執(zhí)行的動作〔抓取特定食材或?qū)⑹巢姆湃胧巢奶幚砥髦?。根?jù)不同的動作,獲得對應(yīng)目標(biāo)的二維坐標(biāo)〔X,Y,從而驅(qū)動機器人完成規(guī)定動作。小車底盤搭載myRIO控制器進行運動,車載的機械臂在myRIO的控制下對指定食材完成抓取。2.2食材處理器部分食材處理器部分,針對真實廚房場景中需要將食材處理成不同形狀這一特點,我們完全自主設(shè)計了可以將食材處理成3種不同形狀的多功能食材處理器。食材處理器主控采用Arduino芯片,通過傳感器判斷是否有食材投入,自主進行包括壓緊機構(gòu)壓緊食材、主軸旋轉(zhuǎn)帶動切削筒切削食材的動作,并最終自動將食材裝入位于出口的盤中。食材處理器的主要運動有壓緊機構(gòu)的上下運動和切削主軸的轉(zhuǎn)動。其中,壓緊動作的實現(xiàn)是通過位于左右兩側(cè)的兩個步進電機驅(qū)動絲桿轉(zhuǎn)動,從而帶動整個壓緊機構(gòu)進行上下運動。采用這種結(jié)構(gòu)的優(yōu)點是傳動平穩(wěn)、進給均勻,同時壓緊力較大；主軸轉(zhuǎn)動則是由普通的直流電機,通過同步帶傳動實現(xiàn)的。食材處理器的結(jié)構(gòu)架采用2020鋁型材切割制作,其余主要結(jié)構(gòu)部件一律采用3D打印技術(shù)自主打印完成。食材處理器裝配模型如圖：食材處理器采用開源平臺控制器Arduino作為主控,采用紅外線傳感器檢測是否有食材投入,之后驅(qū)動頂部電機,將食材壓入切削結(jié)構(gòu)的處理器中。同時切削結(jié)構(gòu)處理器也由電機驅(qū)動,達(dá)到處理食材的效果。食材被處理完后,進入下方預(yù)置的容器中,供烹飪者下一步使用。2.3其他食材處理根據(jù)我們的設(shè)計目的,助手機器人可以配備烹飪者所需要的其他食材處理裝置,如削皮、榨汁、打碎等,由于時間關(guān)系,其他可供配備的食材處理裝置仍在設(shè)計中,還未產(chǎn)生實體。3、設(shè)計計算3.1機器人小車部分3.1.1圖像識別〔1ColorPatternMatching〔ColorMatching的方式識別廚房助手機器人、食材以及食材處理器。首先采集目標(biāo)靜態(tài)ROI的結(jié)果保存。我們采用NIVisionAssistant3.1所示3.1靜態(tài)圖像樣本的采集與標(biāo)定選項卡 3.3Settings選項卡USBMinimumScore〔2建立坐標(biāo)系與坐標(biāo)轉(zhuǎn)換對目標(biāo)圖像訓(xùn)練完之后,我們以機器人底盤上的紅色箭頭標(biāo)志為原SetCoordinate3.4所示。3.4建立坐標(biāo)系圖像中所識別的機器人小車與目標(biāo)物體均會返回中心的二維圖像坐標(biāo)值〔X,Y,為了判斷機器人小車與目標(biāo)物體的相對位置,我們將目標(biāo)物體的二維坐標(biāo)轉(zhuǎn)換到了以機器人小車中心點為原點的二維坐標(biāo)系中。坐標(biāo)轉(zhuǎn)換的原理如圖3.5所示3.5原坐標(biāo)系設(shè)機器人小車中心坐標(biāo)為<Xo,Yo>,作為原點坐標(biāo)。目標(biāo)點坐標(biāo)值為<X1,Y1>,將目標(biāo)點坐標(biāo)值轉(zhuǎn)換到以原點坐標(biāo)為原點的坐標(biāo)系中,則新的目標(biāo)坐標(biāo)值為,則目標(biāo)點距離原點的距離信息與角度信息分別為與下圖所示。上位機主界面顯示由USB攝像頭傳回的桌面圖像,通過顏色模式匹配識別機器人小車以及目標(biāo)食材,實時返回目標(biāo)物體在以機器人小車中<XtYt>Distance<pixels><degrees>3.8圖形識別及路徑規(guī)劃核心算法3.1.2語音識別win10C#LabVIEW中.NET<ConstructorNode>.NETC#.NET在調(diào)用之前,首先要講預(yù)設(shè)的指令輸入,需要修改小娜語音助手本身的virtualGrammar識別規(guī)則,修改規(guī)則的C#代碼如下圖所示。C#C#.NETLabVIEW裝成初始化子程序SpeechInitialize.vi。LabVIEW然后通過調(diào)用SpeechRecognized函數(shù)對識別到的語音信息進行匹配,超過所設(shè)置的匹配分?jǐn)?shù)則返回識別的字符串。3.1.3基于視覺的路徑規(guī)劃<X,Y>3.13基于視覺信號的路徑規(guī)劃第一階段,對目標(biāo)物體的縱坐標(biāo)Yt值進行判斷,由于考慮到所訓(xùn)練的機器人車身圖像樣本位于整個底盤的后面,且車身整體偏長,經(jīng)過反復(fù)測試調(diào)整參數(shù),我們把判斷前進還是后退的參數(shù)定位正負(fù)100,即目Yt100范圍內(nèi),停止不動并結(jié)束第一階段判斷,留有死區(qū)以保證系統(tǒng)運行時的穩(wěn)定性?！猜窂揭?guī)劃中,目標(biāo)物體的坐標(biāo)值均為以機器人底盤為原點的坐標(biāo)系中的數(shù)值,后文不在贅述。實現(xiàn)的代碼如圖所示。Xt000Xt至此,通過圖像識別與實時坐標(biāo)反饋的路徑規(guī)劃編寫完畢。經(jīng)過測試,USB回傳的視頻速度已經(jīng)算法的控制精度都能達(dá)到預(yù)設(shè)的標(biāo)準(zhǔn),基于圖像的路徑規(guī)劃算法運行可靠,能實現(xiàn)所設(shè)計的功能。在整個智能廚房助手的軟件編程中,我們采用模塊化的編程結(jié)構(gòu)。VI3.17整體項目軟件架構(gòu)3.2食材處理器軟件架構(gòu)食材處理Arduino3.3整體流程整個智能廚房助手機器人項目執(zhí)行的流程圖如下所示3.18項目執(zhí)行流程圖4、主要創(chuàng)新點〔1拋棄了傳統(tǒng)小車采用的黑線延跡、超聲波、紅外線等路徑規(guī)劃方式,采用圖像識別與基于圖像坐標(biāo)的實時反饋的方式進行路徑規(guī)劃。不用在機器人運行的場地做任何布置,僅需針對現(xiàn)場進行圖像樣本訓(xùn)練,即可識別物體并完成路徑規(guī)劃。為相應(yīng)場合的路徑規(guī)劃方式提供了新的途徑?！?采用語音識別的方式發(fā)送命令,相比體感傳感器及其他傳統(tǒng)的發(fā)送指