機器人感知智能 教案-第6章 機器人感知系統(tǒng)智能化

PAGEPAGE27授課周次第周授課時間2024年月日至2024年月日課程章節(jié)第6章機器人感知系統(tǒng)智能化6.2機器人感知系統(tǒng)控制6.2.1機器人感知系統(tǒng)概述6.2.2主控電路設(shè)計6.2.3多傳感器接口設(shè)計6.2.4UML機器人感知系統(tǒng)設(shè)計6.2.5傳感器通訊模塊設(shè)計6.2.6控制系統(tǒng)硬件設(shè)計6.2.7控制系統(tǒng)軟件設(shè)計教學(xué)目的1、掌握機器人感知系統(tǒng)基本結(jié)構(gòu)；2、了解機器人感知系統(tǒng)硬件設(shè)計；3、了解機器人感知系統(tǒng)軟件設(shè)計。內(nèi)容提要及板書設(shè)計第6章機器人感知系統(tǒng)智能化6.2機器人感知系統(tǒng)控制6.2.1機器人感知系統(tǒng)概述6.2.2主控電路設(shè)計6.2.3多傳感器接口設(shè)計6.2.4UML機器人感知系統(tǒng)設(shè)計6.2.5傳感器通訊模塊設(shè)計6.2.6控制系統(tǒng)硬件設(shè)計6.2.7控制系統(tǒng)軟件設(shè)計重點、難點及解決方案重點：機器人感知系統(tǒng)基本結(jié)構(gòu)難點：機器人感知系統(tǒng)硬件設(shè)計教學(xué)內(nèi)容時間分配序號教學(xué)內(nèi)容1機器人感知系統(tǒng)基本結(jié)構(gòu)402機器人感知系統(tǒng)硬件設(shè)計203機器人感知系統(tǒng)軟件設(shè)計3045教學(xué)手段講解教學(xué)形式（在右欄勾選）理實一體（）理論教學(xué)（）實驗（）實訓(xùn)（）上機（）作業(yè)作業(yè)完成方式書面（）電子（）教學(xué)后記

附頁：第周序號具體內(nèi)容（課堂組織和教學(xué)過程設(shè)計）授課改進意見及實時教學(xué)效果記錄6.1多傳感器信息融合6.1.1多傳感器信息融合概念一、信息融合信息融合所涉及的主要領(lǐng)域包括：模式識別、智能制造系統(tǒng)、無人機駕駛、目標(biāo)檢測與跟蹤、人工智能、航空航天應(yīng)用、圖像分析處理等；由于該技術(shù)涉及到的研究內(nèi)容種類豐富，領(lǐng)域廣泛，目前還沒有普遍適用且明確的定義。不同國家的學(xué)者對信息融合的定義有著不同的表述；根據(jù)國內(nèi)外的觀點，信息融合的定義為：按照一定的規(guī)則，使用計算機技術(shù)對特定時序獲得的若干異質(zhì)或同質(zhì)的傳感觀測信息進行分析、提取和綜合，是一種用于對所需要的目標(biāo)進行估計與決策的信息處理過程。信息融合是近些年發(fā)展起來的技術(shù)，由許多學(xué)科領(lǐng)域交叉融合形成，在機器人信息處理的過程中被廣泛應(yīng)用。二、多傳感器信息融合根據(jù)數(shù)據(jù)處理方法的不同，信息融合系統(tǒng)的體系結(jié)構(gòu)有三種：分布式、集中式和混合式。（一）分布式：先對各個獨立傳感器所獲得的原始數(shù)據(jù)進行局部處理，然后再將結(jié)果送入信息融合中心進行智能優(yōu)化組合來獲得最終的結(jié)果。分布式對通信帶寬的需求低、計算速度快、可靠性和延續(xù)性好，但跟蹤的精度卻遠沒有集中式高；分布式的融合結(jié)構(gòu)又可以分為帶反饋的分布式融合結(jié)構(gòu)和不帶反饋的分布式融合結(jié)構(gòu)。（二）集中式：集中式將各傳感器獲得的原始數(shù)據(jù)直接送至中央處理器進行融合處理，可以實現(xiàn)實時融合，其數(shù)據(jù)處理的精度高，算法靈活，缺點是對處理器的要求高，可靠性較低，數(shù)據(jù)量大，故難于實現(xiàn)；（三）混合式：混合式多傳感器信息融合框架中，部分傳感器采用集中式融合方式，剩余的傳感器采用分布式融合方式?；旌鲜饺诤峡蚣芫哂休^強的適應(yīng)能力，兼顧了集中式融合和分布式的優(yōu)點，穩(wěn)定性強。混合式融合方式的結(jié)構(gòu)比前兩種融合方式的結(jié)構(gòu)復(fù)雜，這樣就加大了通信和計算上的代價。信息融合的三個主要特征如下：（一）信息融合是一個多源、多級的信息處理過程，每一級都代表著不同層次的圖像抽象。（二）信息融合包含信息的檢測、互聯(lián)、相關(guān)、估計和組合等步驟。（三）信息融合的結(jié)果包含低層次的局部狀態(tài)估計和高層次的全局狀態(tài)估計。圖6.3緊耦合狀態(tài)估計流程圖6.1.2幾種機器人中的多傳感器融合自主車輛機器人中的傳感器融合技術(shù)有三種主要方法來融合檢測到的數(shù)據(jù)：高層次融合（HLF）低層次融合（LLF）中級融合（MLF）在HLF方法中，每個傳感器獨立地執(zhí)行目標(biāo)檢測，并隨后組合這些檢測。因此，對象檢測是在可用信息有限的地方進行的，因為如果存在多個重疊對象和工件，則HLF會丟棄置信值較低的分類。相反，LLF在原始數(shù)據(jù)級別結(jié)合了來自不同傳感器類型的數(shù)據(jù)，從而保留了所有信息，并潛在地提高了目標(biāo)檢測的準(zhǔn)確性。MLF也稱為特征級融合，它融合了從相應(yīng)傳感器數(shù)據(jù)中提取的多目標(biāo)特征（原始測量），例如來自圖像的顏色信息或雷達的位置特征，并且隨后對融合的特征執(zhí)行識別和分類。醫(yī)療人機交互場景下的多傳感器融合通過監(jiān)控用戶的實時狀態(tài)，成為智能醫(yī)療服務(wù)不可或缺的一部分?；诨旌先梭w傳感器網(wǎng)絡(luò)體系結(jié)構(gòu)的多傳感器融合（HBMF）旨在支持最先進的智能醫(yī)療服務(wù)，它結(jié)合了各種傳感器、通信、機器人和數(shù)據(jù)處理技術(shù)。人機交互是一個基于人工智能的發(fā)展領(lǐng)域智能、機器人、自然語言理解和社會交際。近年來，人們對人機交互的認(rèn)識醫(yī)療場景大致可以分為兩個方面：人—機器人協(xié)作環(huán)境感知和人類意圖感知。預(yù)處理階段數(shù)據(jù)預(yù)處理是多傳感器融合不可或缺的階段，適當(dāng)?shù)念A(yù)處理不僅使融合結(jié)果更加準(zhǔn)確，還提高了融合效率。特征學(xué)習(xí)階段特征學(xué)習(xí)是數(shù)據(jù)預(yù)處理后的必要步驟，分為四步根據(jù)服務(wù)類型劃分的部分：多模型用戶數(shù)據(jù)融合、人機對話和意圖理解、用戶分類以及路徑和行動規(guī)劃。每項服務(wù)所需的技術(shù)如下：1）多模型用戶數(shù)據(jù)融合：可解釋的神經(jīng)網(wǎng)絡(luò)、聯(lián)想學(xué)習(xí)。2）人機對話和意圖理解：人類識別、語音識別。3）用戶分類：交互式知識圖譜建模。4）路徑和動作規(guī)劃：基于多模態(tài)的路徑規(guī)劃仿人操作的感知、任務(wù)規(guī)劃。融合決策階段融合決策階段分為兩步：第一步融合特征學(xué)習(xí)階段的四個部分的結(jié)果第二步驟作出決定，以獲得最終的行動計劃。為了提高多傳感器融合的執(zhí)行效率在醫(yī)療人機交互場景中，有必要找到基于感官特征的最佳融合策略并及時調(diào)整融合策略，以獲得準(zhǔn)確的融合決策。根據(jù)之前的數(shù)據(jù)源分析，以下三點選擇融合機制：1）跨領(lǐng)域融合：跨領(lǐng)域融合主要關(guān)注跨領(lǐng)域知識遷移和不同特征空間的融合，它解決了由于源域和目標(biāo)域在不同的有限元表示空間中的多模態(tài)數(shù)據(jù)。它能夠支持基于決策的融合醫(yī)學(xué)人機交互產(chǎn)生的多源數(shù)據(jù)研究情節(jié)。2）增量分類器融合：由于醫(yī)療機器人引入了附加信息、大量數(shù)據(jù)或數(shù)據(jù)的動態(tài)增長數(shù)據(jù)導(dǎo)致收斂開銷顯著增加，這不能滿足實時融合決策的要求。在中，增量分類器融合可以通過以下方式優(yōu)化互補模態(tài)數(shù)據(jù)：對多模態(tài)數(shù)據(jù)進行聯(lián)合聚類，更快地得到?jīng)Q策結(jié)果。3）數(shù)據(jù)不完整的多傳感器融合：主要處理部分丟失的原始感知數(shù)據(jù)。移動機器人定位多傳感器融合移動機器人對外部環(huán)境的感知取決于安裝在移動機器人上的外部傳感器。外部傳感器對信息的處理與分析可以幫助判斷當(dāng)前機器人的狀態(tài)，讓機器人知道自己的實際位置。如果僅使用單個傳感器，則很容易受到周圍環(huán)境的干擾，環(huán)境因素可以破壞機器人的穩(wěn)定性，同時會產(chǎn)生噪聲，積累誤差，影響定位系統(tǒng)的定位精度。因此，人們想到使用多個傳感器協(xié)同工作。多傳感器的使用可以使機器人感知更全面的環(huán)境信息，補充單個傳感器的不足之處。同時它可以使獲得的信息更加準(zhǔn)確和可靠，能夠減少實際誤差。盡管使用多個傳感器可以帶來積極的效果，如何將它們很好地結(jié)合始終是一個難題。如果不能正確處理多個傳感器的信息，它也會產(chǎn)生負(fù)面影響。如何更好地匹配多個傳感器的數(shù)據(jù)信息，已成為機器人定位中的一項重要任務(wù)。6.1.3傳感器類型與布局在多傳感器信息融合技術(shù)中，通常涉及到多種類型的傳感器選擇的問題，因此在選擇傳感器類型時，考慮以下幾個問題：系統(tǒng)中傳感器的類型、分辨率以及精度傳感器在機器人本體上的布置位置系統(tǒng)的通信能力和計算能力系統(tǒng)的設(shè)計目標(biāo)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)多傳感器融合的移動機器人一般包括三個傳感系統(tǒng)：視覺子系統(tǒng)主要包括三個模塊：光視覺檢測模塊紅外視覺檢測模塊視覺融合模塊在光線較暗的不利于光視覺檢測的情況下，則主要由紅外視覺來進行檢測。此系統(tǒng)還要負(fù)責(zé)對兩種視覺傳感器數(shù)據(jù)的采集。當(dāng)移動機器人運用至搜救行動時，視覺子系統(tǒng)對幸存者進行檢測搜索，在檢測到幸存者后，需檢測區(qū)域利用機器人控制模塊通過網(wǎng)絡(luò)模塊傳輸至遠程監(jiān)控子系統(tǒng)，遠程監(jiān)控子系統(tǒng)將對該區(qū)域進行標(biāo)記，為施救人員提供相關(guān)信息。視覺子系統(tǒng)相較于其他傳感系統(tǒng)而言，能夠提供的感知信息更為豐富，同時也是一種被動的傳感器系統(tǒng)，被動傳感器通過接收以目標(biāo)為載體的發(fā)動機、通信雷達等所輻射的紅外線、電磁波或目標(biāo)所反射的外來電磁波來檢測目標(biāo)，其本身不發(fā)射電磁波，這種傳感器系統(tǒng)最接近人類的五官眼睛對環(huán)境的感知。并且，機器視覺與模式識別等相關(guān)領(lǐng)域技術(shù)與理論的發(fā)展進一步推動了視覺傳感在移動機器人傳感器系統(tǒng)中的應(yīng)用，如目標(biāo)對象識別，目標(biāo)對象圖像處理，視覺定位等。二、聽覺子系統(tǒng)。主要包括三個模塊語音檢測模塊類周期求救聲檢測模塊聲源定向模塊語音檢測模塊主要負(fù)責(zé)語音求救聲音的檢音，類周期求救聲檢測主要負(fù)責(zé)非語音類周期敲擊求救聲音的檢測，聲源定向模塊根據(jù)求救聲音檢測的結(jié)果，進行聲源定向，為運動規(guī)劃子系統(tǒng)提供導(dǎo)航信息。此外，聽覺子系統(tǒng)還要實時的聲音數(shù)據(jù)、求救聲檢測結(jié)果及聲源定向結(jié)果通過網(wǎng)絡(luò)模塊傳輸至遠程監(jiān)控子系統(tǒng)，遠程監(jiān)控子系統(tǒng)將實時地將這些顯示在界面上，為施救人員提供相關(guān)信息。聽覺子系統(tǒng)提供聽覺信息與視覺信息相結(jié)合，用于協(xié)助移動機器人尋找目標(biāo)對象，視覺信息直觀明顯，但當(dāng)目標(biāo)在機器人視覺感知范圍之外時，視覺信息難以獲得，聽覺傳感系統(tǒng)顯得尤為重要。這時，聲源定位系統(tǒng)可以判斷目標(biāo)對象的大致方向，并引導(dǎo)移動機器人轉(zhuǎn)向或靠近至目標(biāo)對象附近。聽覺信息在時間上是一維的，在空間上是非定向的，所以，當(dāng)聲音產(chǎn)生時，可以從任何方向接收到聲波，這使得聽覺檢測系統(tǒng)能夠檢測環(huán)境中的聲音信號。三、運動規(guī)劃子系統(tǒng)主要包括三個模塊自主規(guī)劃模塊主要負(fù)責(zé)對搜索路徑進行自主規(guī)劃，盡可能覆蓋整個搜索區(qū)域，并能根據(jù)聲音和圖像提供的幸存者信息執(zhí)行目標(biāo)搜索。避免碰撞模塊的主要功能是在搜索過程中避免碰撞。而機器人控制模塊則負(fù)責(zé)對救援機器人的具體控制，同時還要實時的計算救援機器人的當(dāng)前狀態(tài)，包括救援機器人在物理世界中的位置和朝向。該模塊的另一個功能是將救援機器人的當(dāng)前位置信息通過網(wǎng)絡(luò)模塊實時傳回遠程監(jiān)控子系統(tǒng)，遠程監(jiān)控子系統(tǒng)將實時地將這些顯示在界面上，為施救人員提供相關(guān)信息。運動規(guī)劃系統(tǒng)是移動機器人承上啟下的子系統(tǒng)，承接輸入的處理后的環(huán)境信息，引出輸出的路徑點，進而保證完善地圖的同時，又能規(guī)劃好合適的路徑，以保證控制系統(tǒng)提供合理的輸入。機器人控制模塊移動機器人路徑規(guī)劃能夠分為兩種類型，即全局路徑規(guī)劃和局部路徑規(guī)劃，全局路徑規(guī)劃是解決在已知的全局環(huán)境下，由多個中間狀態(tài)組成的全局目標(biāo)狀態(tài)的路徑規(guī)劃問題；避免碰撞模塊局部路徑規(guī)劃則主要解決在局部環(huán)境下規(guī)劃出局部小范圍內(nèi)的合理路徑，以實現(xiàn)躲避障礙物的目的。6.1.4傳感器模型一、相機傳感器圖6.9SLAM算法系統(tǒng)流程圖二、慣性測量單元慣性測量單元IMU是一種組合測量傳感器，其具有三個加速度計和三個陀螺儀，可用來獲取運動載體的位姿信息的裝置；加速度計和陀螺儀相互垂直安裝，加速度計用來檢測物體在坐標(biāo)系上的加速度，陀螺儀利用載體相對空間的位置變化，再進行坐標(biāo)變化檢測到物體的角速度；通過測量物體的角速度與加速度來計算物體的姿態(tài)。三、里程計模型四、激光雷達傳感器模型圖6.18激光雷達飛行時間測量原理6.1.5多傳感器融合方法一、多傳感器融合分類（一）數(shù)據(jù)層的融合數(shù)據(jù)層融合也稱像素層融合，是對傳感器原始信息的融合，屬于最低層融合方式。未經(jīng)處理的原始觀測信息直接通過數(shù)據(jù)層融合進行加工和處理，然后再提取其信息特征進行特征匹配。數(shù)據(jù)層融合對數(shù)據(jù)類型有所要求，即傳感器感知觀測到的對象信息需要是同一類型的數(shù)據(jù)。圖6.20數(shù)據(jù)層融合（二）特征層的融合特征層融合是指對傳感器信息進行初步處理之后，將各自提取的特征點進行統(tǒng)籌融合，屬于中間層融合，因此該方式同時具備了低層次和高層次的部分融合優(yōu)勢。該方法可分為目標(biāo)特征信息融合和目標(biāo)狀態(tài)信息融合。圖6.21特征層融合（三）決策層的融合決策層融合屬于高層次的融合方式，與前兩者相比，這種融合的時間順序發(fā)生了主要變化；該方式在感知到數(shù)據(jù)信息后，對其進行了特征提取和識別，之后才開始融合過程，同樣融合之后可以返回用于決策，它直接響應(yīng)決策目標(biāo)，并為最終決策奠定基礎(chǔ)，是充分利用較完整信息的一種策略類融合算法；通過策略類的選擇評級，分?jǐn)?shù)更高的結(jié)果使其成為下一模塊的信息的輸入，不會增加過多的運算負(fù)擔(dān)，還能夠擁有更好的魯棒性。圖6.22決策層融合二、多傳感器融合策略（一）加權(quán)平均法（二）卡爾曼濾波法（三）模糊邏輯（四）神經(jīng)網(wǎng)絡(luò)算法（五）貝葉斯估計（六）D-S證據(jù)理論三、隱馬爾可夫模型與貝葉斯模型隱馬爾可夫過程基于兩個基本假設(shè)：（一）齊次馬爾科夫假設(shè)，是指假設(shè)馬爾科夫過程在任意時刻的狀態(tài)只與前一時刻的狀態(tài)相關(guān)。（二）觀測獨立性假設(shè)，是指任何時刻的觀測只與當(dāng)前時刻的狀態(tài)有關(guān)，與其他時刻觀測無關(guān)。6.1.6SLAM技術(shù)中的多傳感器信息融合概述：SLAM最早以激光測距儀作為主要的傳感器，激光測距具有測量精度高，含有深度信息等優(yōu)點。但是，該方式價格高且功耗大，隨著科技的進步己經(jīng)越來越不符合移動端的輕量低功耗的要求。近幾年對視覺SLAM的研究取得了相當(dāng)?shù)倪M步，但是仍然存在一些問題。存在的問題：相機在發(fā)生快速平移或者旋轉(zhuǎn)時，會導(dǎo)致圖像出現(xiàn)模糊，或者在亮度變化較快時，由于相機來不及調(diào)整進光量而出現(xiàn)畫面過度曝光或者欠曝光。這種情況下檢測的圖像特征變少或者丟失會導(dǎo)致定位失敗。此外視覺SLAM的定位也存在誤差隨著時間累積的缺點。因此，目前發(fā)展出了將微型慣性單元、激光雷達以及視覺傳感器等傳感單元相互融合的方法，便于更好地進行定位與建圖。本節(jié)將介紹SLAM技術(shù)中的多傳感器融合案例，每個案例均給出傳感器融合方法，包括數(shù)據(jù)預(yù)處理方法、濾波方法、融合策略與方案。微型慣性單元與視覺數(shù)據(jù)融合視覺和IMU間的數(shù)據(jù)融合，也稱視覺慣性里程計（VisualInertialOdometry，VIO）。先前最早出現(xiàn)的IMU處理方法是整合IMU數(shù)據(jù)，再積分處理，但該方法對位姿信息依賴性強，融合過程中計算量較大。從整體來看，相機和IMU定位方案有一定的互補性：IMU計算適合短時且快速的運動，而長時且慢速的運動適合用視覺來計算。并且，可使用視覺定位信息估計IMU的零偏，以減少IMU零偏引起的發(fā)散和累積誤差。相反，IMU可為視覺傳感提供快速的定位與加速度。利用這種方式進行數(shù)據(jù)融合的典型方法為卡爾曼濾波器：相機和IMU中的參數(shù)（如相機尺度和零偏）在融合過程本身會受到影響，因此需要將所有的信息放在一起進行優(yōu)化估計。圖6.27基于濾波的松耦合圖6.28基于非線性優(yōu)化的緊耦合在松耦合情況中，由于視覺傳感內(nèi)部的光束法平差從多視角提取的信息中沒有IMU的信息，因此從全局來看，松耦合不是最優(yōu)的。緊耦合可以一次性對所有的運動和測量信息建模，便于達到最優(yōu)?；谒神詈系囊曈X與慣導(dǎo)融合的SLAM算法，是指圖像特征信息不添加至狀態(tài)向量中進行同時優(yōu)化，而是將圖像的視覺部分和IMU傳感器信息通過不同的狀態(tài)估計方法計算出運動的位姿，然后再使用EKF等濾波方法進行狀態(tài)的融合?；诰o耦合的視覺—慣導(dǎo)融合SLAM算法是利用視覺重投影估計和IMU傳感器預(yù)積分估計之間的耦合關(guān)系，將視覺圖像的特征信息統(tǒng)一到狀態(tài)向量中優(yōu)化。同樣，根據(jù)優(yōu)化方法的不同，基于緊耦合的視覺—慣導(dǎo)融合的SLAM算法可分為兩類：卡爾曼濾波優(yōu)化非線性優(yōu)化。二、2D激光雷達與RGB-D相機信息融合移動機器人在未知的環(huán)境下執(zhí)行導(dǎo)航任務(wù)前，需要獲得環(huán)境的地圖信息。但是室內(nèi)環(huán)境復(fù)雜，障礙物的形狀和材質(zhì)多變，使用單一的激光雷達往往無法有效地檢測出材質(zhì)透明以及形狀和高度不一的障礙物，從而導(dǎo)致構(gòu)建的地圖不夠準(zhǔn)確。多種傳感器能夠從各個維度感知環(huán)境以及機器人自身的運動信息，能夠避免或降低單一傳感器帶來的環(huán)境光線變化、動態(tài)物體顯現(xiàn)等因素的影響，為機器人提供了更加準(zhǔn)確的姿態(tài)估計，同時構(gòu)建了精度更高的環(huán)境地圖。相機標(biāo)定二維激光雷達和Kinect相機在同一環(huán)境中有著不同的參考坐標(biāo)系。圖6.31激光雷達與Kinect相機坐標(biāo)系點云匹配激光點是真實環(huán)境中的曲面離散采樣，激光點到實際曲面的距離是最佳誤差范圍。常用的點云匹配算法為迭代最近點算法，將點間距離作為誤差，構(gòu)造誤差方程，易造成誤差匹配，增加迭代時間。傳感器數(shù)據(jù)融合在點云配準(zhǔn)得到兩傳感器間的位姿關(guān)系后，可將兩束激光轉(zhuǎn)換到同一坐標(biāo)系下進行數(shù)據(jù)精確融合。該過程常用濾波思想來實現(xiàn)，由于經(jīng)典卡爾曼濾波對運算場景有限制，只能用于高斯理想場景下。（4）貝葉斯估計數(shù)據(jù)融合貝葉斯估計是一種利用先前經(jīng)驗與經(jīng)驗推理對狀態(tài)進行估計的信息融合算法，該算法是在得到結(jié)果后重新修正的概率的基礎(chǔ)上進行的。三、視覺慣性激光雷達由于不同類型的傳感器本身都存在的優(yōu)點和不足，單一模態(tài)傳感器往往不能實現(xiàn)定位構(gòu)圖等功能，需要多信息結(jié)合以獲得判斷的最佳效果，因此一個有效的多傳感器融合算法便成了實現(xiàn)功能的必須考慮，多傳感器信息融合能更好地利用各模態(tài)傳感器數(shù)據(jù)，進而提高狀態(tài)估計的準(zhǔn)確性和系統(tǒng)的魯棒性。該系統(tǒng)模塊分布示意圖，如圖6.33所示。將激光雷達和RGB-D相機結(jié)合，可以實現(xiàn)激光數(shù)據(jù)和三維深度數(shù)據(jù)的同時采集，進而建立激光雷達測距點與深度圖像點間的對應(yīng)關(guān)系，對檢測數(shù)據(jù)進行融合，得到環(huán)境障礙物的位置。相機從空間中采集三維深度數(shù)據(jù)，使用針孔相機模型將真實世界中的三維坐標(biāo)點映射到二維平面以獲取深度圖像，將數(shù)據(jù)深度圖像轉(zhuǎn)換為虛擬激光測距數(shù)據(jù)。三、視覺慣性激光雷達圖6.33VIL-SLAM系統(tǒng)圖授課周次第周授課時間2024年月日至2024年月日課程章節(jié)第6章機器人感知系統(tǒng)智能化6.2機器人感知系統(tǒng)控制6.2.1機器人感知系統(tǒng)概述6.2.2主控電路設(shè)計6.2.3多傳感器接口設(shè)計6.2.4UML機器人感知系統(tǒng)設(shè)計6.2.5傳感器通訊模塊設(shè)計6.2.6控制系統(tǒng)硬件設(shè)計6.2.7控制系統(tǒng)軟件設(shè)計教學(xué)目的1、掌握機器人感知系統(tǒng)基本結(jié)構(gòu)；2、了解機器人感知系統(tǒng)硬件設(shè)計；3、了解機器人感知系統(tǒng)軟件設(shè)計。內(nèi)容提要及板書設(shè)計第6章機器人感知系統(tǒng)智能化6.2機器人感知系統(tǒng)控制6.2.1機器人感知系統(tǒng)概述6.2.2主控電路設(shè)計6.2.3多傳感器接口設(shè)計6.2.4UML機器人感知系統(tǒng)設(shè)計6.2.5傳感器通訊模塊設(shè)計6.2.6控制系統(tǒng)硬件設(shè)計6.2.7控制系統(tǒng)軟件設(shè)計重點、難點及解決方案重點：機器人感知系統(tǒng)基本結(jié)構(gòu)難點：機器人感知系統(tǒng)硬件設(shè)計教學(xué)內(nèi)容時間分配序號教學(xué)內(nèi)容1機器人感知系統(tǒng)基本結(jié)構(gòu)402機器人感知系統(tǒng)硬件設(shè)計203機器人感知系統(tǒng)軟件設(shè)計3045教學(xué)手段講解教學(xué)形式（在右欄勾選）理實一體（）理論教學(xué)（）實驗（）實訓(xùn)（）上機（）作業(yè)作業(yè)完成方式書面（）電子（）教學(xué)后記附頁：第周序號具體內(nèi)容（課堂組織和教學(xué)過程設(shè)計）授課改進意見及實時教學(xué)效果記錄6.2機器人感知系統(tǒng)控制6.2.1機器人感知系統(tǒng)概述物理層：也叫做傳感器層，負(fù)責(zé)原始信號的采集，獲取物理世界的信息；應(yīng)用服務(wù)層：把采集到的信息進行局部功能封裝，成為具有特定服務(wù)功能的模塊；應(yīng)用開發(fā)層：借助第三方開發(fā)工具、算法等對下層的功能模塊進一步集成；應(yīng)用層：面向最終的用戶，針對具體應(yīng)用定制自己的系統(tǒng)。相互合作型可以分為四類：一、水平型合作：每個模塊可以獨立獲取問題決策而不必依賴于其他模塊，而它與其他模塊的合作可以增加決策的可信度；二、樹型合作：一個高級的模塊必須依靠低級的模塊才能獲得問題的決策；三、遞歸型合作：為了取得問題的決策各模塊之間具有相互依賴的關(guān)系；四、混合型合作：它是前三種合作類型的有機結(jié)合。6.2.2主控電路設(shè)計主控模塊主要是進行各種信息數(shù)據(jù)的處理，可以讓每一個功能模塊都能更好的來完成它們各自的任務(wù)。ARM是通常意義所說的高效能RISC，使用了經(jīng)過精簡設(shè)計的指令系統(tǒng)，基于該芯片的微控制器在功耗和體積上都大大減小，設(shè)計也可以更加簡潔；DSP是數(shù)字信號處理器，顧名思義，DSP只負(fù)責(zé)數(shù)字信號處理，難以實現(xiàn)和普通處理器一樣的通用計算；PLC是可編程邏輯控制器，PLC和工控機在控制性能上都很優(yōu)異，二者缺點是相較于微處理器，其體積和功耗更大，價格更貴。6.2.3多傳感器接口設(shè)計不同應(yīng)用場景下滿足各類機器人傳感功能的接口設(shè)計，包括氣體傳感器、溫度傳感器、超聲波傳感器等。氣體傳感器化石能源生產(chǎn)和消耗環(huán)境氣體檢測主要分三大類氧氣檢測有毒氣體檢測可燃性氣體檢測氣體傳感器是消防機器人感知系統(tǒng)的重要組成部分，用于獲取環(huán)境中的氣體信息。傳感器將特定氣體的濃度這樣的非電信號轉(zhuǎn)化為對應(yīng)的電信號，控制器在采集到該電信號后，再經(jīng)過一些轉(zhuǎn)化和運算，就可以得到實際的檢測數(shù)據(jù)。一般按照不同的檢測原理，將常用的氣體傳感器分為半導(dǎo)體氣體傳感器半導(dǎo)體氣體傳感器的內(nèi)部一般有半導(dǎo)體氣敏元件、加熱絲等，其中氣敏元件是核心器件；外部會配有防暴網(wǎng)。氣敏元件與特定的氣體接觸后，氣體會在其表面吸附，并發(fā)生反應(yīng)，導(dǎo)致其性質(zhì)發(fā)生改變，此類傳感器就是利用該原理來檢測氣體。電化學(xué)氣體傳感器電化學(xué)氣體傳感器利用待測氣體在電極處發(fā)生氧化或者還原反應(yīng)而產(chǎn)生電流的原理，來檢測氣體的濃度和成分。催化燃燒式氣體傳感器催化燃燒式氣體傳感器是在一定的溫度下，使可燃性氣體在其表面催化燃燒，對所有可燃性氣體都有反應(yīng)。紅外式氣體傳感器等。紅外式氣體傳感器利用的原理是：被測氣體由于其分子結(jié)構(gòu)不同、濃度不同和能量分布的差異而有各自不同的吸收光譜或熱效應(yīng)，從而實現(xiàn)氣體濃度測量的。下表是各類氣體傳感器的優(yōu)缺點比較：溫度傳感器當(dāng)機器人在高溫環(huán)境下長時間工作，車內(nèi)電路系統(tǒng)溫度會逐漸升高，如電機、驅(qū)動器、其他傳感設(shè)備及相關(guān)外設(shè)電路等，若保護措施不當(dāng)，這些設(shè)備長時間的工作可能產(chǎn)生損壞。針對此問題，考慮在控制艙內(nèi)選幾個地方放置溫度傳感器，以監(jiān)控車內(nèi)溫度是否過高。通過保護機構(gòu)，車內(nèi)溫度不會過高，會控制在幾十?dāng)z氏度范圍內(nèi)，常見的數(shù)字溫度傳感器如DS18B20，其體積小，硬件開銷低，精度高，最大精度可達0.0625°Ｃ，抗干擾能力強，完全可以滿足設(shè)計要求。超聲波傳感器機器人在行進過程中，有時會遇到各種障礙物、崎嶇路段，為保證車體順利前進，不被障礙物阻隔，或者遇到洼地、較大的坑時被陷入無法動彈，我們需要增加一些測距傳感器，測量車體與前方物體的距離，通過距離大小來判斷機器人周圍路段情況。當(dāng)判斷出前方有較高較大阻礙物，或者深坑、洼地等不良路面時，機器人需要提前避開，當(dāng)阻礙物較低較小，或者路面情況良好時，機器人可以直接碾過去，因此還需注意傳感器在車體上的安放位置。障礙物的距離主要通過傳感器探測后將信息傳遞給微控制器，目前機器人常用的測距方式可分為接觸式測距和非接觸式測距。接觸式測距：不適用本設(shè)計，因此不考慮該方式。非接觸式測距方法：主要包含視覺、紅外、激光、超聲波等視覺測量處理的信息很大，使用困難；紅外測距的優(yōu)點是靈敏度高、響應(yīng)快等，但是紅外傳感器受環(huán)境的影響較大，測量的方向性和距離都無法滿足要求；激光測距雖然測量距離遠，但是安裝精度要求高、價格昂貴；超聲波測距具有數(shù)據(jù)處理簡單、環(huán)境適應(yīng)性強，較好的方向性和價格便宜等優(yōu)點，因此選用超聲波測距的方法來檢測障礙物的方位。6.2.4UML機器人感知系統(tǒng)設(shè)計UML是一種用于指定、可視化、構(gòu)造和記錄軟件系統(tǒng)工件的語言，以及用于業(yè)務(wù)建模和其他非軟件系統(tǒng)的語言。UML代表了一系列在大型復(fù)雜系統(tǒng)建模中證明成功的最佳工程實踐。這里需要注意的重要一點是，UML是一種“語言”，而不是一種方法或過程。UML建模中視圖之間的架構(gòu)藍圖交互主要包含以下幾個方面：（一）邏輯視圖，解決了系統(tǒng)的功能需求，是設(shè)計模型的抽象，并確定了主要的設(shè)計包、子系統(tǒng)和類；（二）實現(xiàn)視圖，從打包、分層和配置管理的角度描述組織中的靜態(tài)模塊；（三）進程視圖，處理系統(tǒng)運行時任務(wù)、線程或進程的并發(fā)方面及其交互；（四）部署視圖，顯示底層平臺或計算節(jié)點中各種可執(zhí)行文件和其他運行時組件的映射；（五）用例視圖，在初始階段和精化階段推動架構(gòu)的發(fā)現(xiàn)和設(shè)計，稍后將用于驗證不同的視圖。機器人感知系統(tǒng)的UML描述整個UML建?？梢苑譃楦拍罴?、邏輯級以及物理級這三個建模過程：圖6.37UML建模圖形類別概念級：確定所需解決的問題以及目標(biāo)，常采用黑盒方式確立角色和用例，然后繪制用例圖，角色可以是人，也可以是物，機器人感知系統(tǒng)中的用戶是普通用戶和設(shè)計人員，用例是系統(tǒng)所提供的功能模塊。邏輯級：詳細(xì)分析用例的基本信息和工作流程，整個分析過程可以分為靜態(tài)描述和動態(tài)描述。其中靜態(tài)描述主要是明確系統(tǒng)的關(guān)鍵要素，可以使用類圖、對象圖等進行描述，感知系統(tǒng)的關(guān)鍵要素為：微處理器、存儲器、總線、接口等，他們之間的關(guān)系為關(guān)聯(lián)關(guān)系，接口可以派生出鍵盤、顯示器、以太網(wǎng)等多個子模塊。在明確關(guān)鍵要素的基礎(chǔ)上進一步描述他們的屬性及功能。物理級：這個階段主要考慮系統(tǒng)的實際結(jié)構(gòu)以及物理部署，包括設(shè)備之間的連接、分布情況、組件之間的物理關(guān)系。機器人感知系統(tǒng)的設(shè)計是軟硬件互相嵌套的組合方式，我們將從中抽取相對固定的組件以及組件端口，可以組合出多樣化的感知系統(tǒng)，同時組件可以分散提前開發(fā)，加快組合速度，并且可以外購線程組件以降低成本，為感知系統(tǒng)的模塊化設(shè)計提供一些基礎(chǔ)。6.2.5傳感器通訊模塊設(shè)計短距離無線通信技術(shù)有三大特點和優(yōu)勢：低功耗、消費、低成本、點對點通信。短距離無線通信技術(shù)包括：UWB、藍牙、Wifi、Zigbee等。短距離無線通信方式可用于物聯(lián)網(wǎng)。物聯(lián)網(wǎng)中使用的節(jié)點之間的通信方法或無線傳感器網(wǎng)絡(luò)是一種短程無線射頻網(wǎng)絡(luò)。當(dāng)節(jié)點獲取信息時，處理后的信息將通過無線通信逐跳發(fā)送給感興趣的網(wǎng)絡(luò)用戶。廣泛應(yīng)用于遠程環(huán)境監(jiān)測、遠程故障診斷、軍事戰(zhàn)場、醫(yī)療衛(wèi)生、救災(zāi)、公共場所、安全等領(lǐng)域。本小節(jié)將介紹各傳感器與上位機通信模塊的設(shè)計。通信原理無論是數(shù)據(jù)傳輸還是視頻傳輸，都需要通過無線發(fā)射模塊和無線接收模塊來實現(xiàn)，其工作原理如圖6.38所示。無論是數(shù)據(jù)傳輸還是視頻傳輸，都需要通過無線發(fā)射模塊和無線接收模塊來實現(xiàn)：數(shù)傳模塊和圖傳模塊均有獨立的一套無線發(fā)射器和無線接收器，其各自有一個互不干擾的傳輸頻段，設(shè)定好工作頻段即可實現(xiàn)信號在無線模塊之間傳輸。圖6.38機器人無線通信模塊選擇無線數(shù)傳時，無線傳輸模塊既可作發(fā)射器，也可作接收器，信號可在兩個模塊之間雙向發(fā)射和接收，而無線圖傳時，發(fā)射器與攝像頭連接，接收器與顯示器連接，由于無需給攝像頭下達控制指令，所以圖像信息是單向傳輸。數(shù)傳模塊采用高性能LoRa擴頻芯片SX1276，采用高效的循環(huán)交織糾檢錯編碼，抗干擾和靈敏度都大大提高。圖傳模塊采用AOMWAY5.8G1W無線圖傳。圖6.39機器人數(shù)傳模塊圖6.40機器人攝像頭與圖傳模塊ZigBee通信模塊ZigBee通信模塊是制造無線電源條以減少備用功率的最合適的網(wǎng)絡(luò)模塊，因為它能夠構(gòu)建基于IEEE802.15.4標(biāo)準(zhǔn)的低成本低功耗網(wǎng)絡(luò)。ZigBee通信用于通過中間設(shè)備進行遠距離數(shù)據(jù)傳輸。nRF2401通信模塊nRF2401芯片是一種高度集成的半雙工多通道無線通信芯片。它包含一個高速單片機和高性能射頻核心。它的特點是接收機靈敏度高，發(fā)射功率和數(shù)據(jù)傳輸速率高。它支持與單片機的數(shù)據(jù)接口?；趎RF24L01的傳感器節(jié)點的設(shè)計是對短距離通信的補充在節(jié)點或網(wǎng)關(guān)之間。該節(jié)點包括嵌入式微處理器、外圍硬件設(shè)備、應(yīng)用軟件和其他組件。這個系統(tǒng)主要實現(xiàn)以下三個功能：1）節(jié)點作為傳感器節(jié)點，采集數(shù)據(jù)從環(huán)境中獲取數(shù)據(jù)，并通過電信將數(shù)據(jù)發(fā)送到另一個節(jié)點或網(wǎng)關(guān)。2）節(jié)點采集的數(shù)據(jù)可以直接發(fā)送到計算機終端。3）節(jié)點從接收訂單用戶和進行執(zhí)行準(zhǔn)備。6.2.6控制系統(tǒng)硬件設(shè)計一、硬件模塊化設(shè)計基本原則（一）結(jié)構(gòu)分離原則（軟硬件分離原則）：分級別、分層次結(jié)構(gòu)分離原則是考慮機器人系統(tǒng)設(shè)計的分工和效率。目前現(xiàn)有的機器人系統(tǒng)專用性強，通常采用源自專業(yè)領(lǐng)域的整體系統(tǒng)設(shè)計方法。按照模塊化機器人系統(tǒng)的設(shè)計思想，首先應(yīng)該完成機器人結(jié)構(gòu)分離，將軟件與硬件系統(tǒng)分離開來以便于進行獨立設(shè)計開發(fā)。（二）功能分離原則（通用專用分離原則）：平臺無關(guān)和平臺相關(guān)原則功能分離是功能構(gòu)件體系的基本出發(fā)點。（三）復(fù)合原則（可組合性）：由于機器人功能具有可以復(fù)合的特點，模塊化機器人的功能構(gòu)件應(yīng)當(dāng)具有可組合性，即應(yīng)當(dāng)具有可以復(fù)合的特性。（四）開放原則（可擴展性）：對機器人本身構(gòu)造來講，為了提高機器人軟件的復(fù)用性，實現(xiàn)源碼開放，資源共享，一些開源的機器人軟件工程獲到了快速發(fā)展，提出了自己的復(fù)用解決方案。二、底層節(jié)點模塊機器人感知系統(tǒng)節(jié)點是傳感器與計算機或傳感器網(wǎng)絡(luò)之間連接的橋梁，解決傳感器的異構(gòu)性帶來的諸多問題，完成從原始信號到數(shù)據(jù)的數(shù)據(jù)流過程，一般是指傳感器與計算機或傳感器網(wǎng)絡(luò)之間的硬件連接設(shè)備，主要包括傳感器信號的轉(zhuǎn)換、調(diào)理電路，有時還包括模數(shù)轉(zhuǎn)換器以及數(shù)據(jù)通信的總線接口。節(jié)點硬件模塊如圖所示，其中模擬傳感器需要經(jīng)過信號調(diào)理，去除噪聲并調(diào)整信號電平與模數(shù)轉(zhuǎn)換器一致；數(shù)字傳感器一般可以直接與接口模塊的數(shù)字接口相連；網(wǎng)絡(luò)通信接口利用當(dāng)前的網(wǎng)絡(luò)協(xié)議實現(xiàn)傳感器信息的資源共享存儲器模塊存放電子數(shù)據(jù)描述，為識別不同的傳感器的即插即用服務(wù)，設(shè)置不同的傳感器物理參數(shù)，在傳感器的設(shè)計過程中，應(yīng)該將這些參數(shù)保存在一個數(shù)據(jù)表格中，便需要的時候去讀取即可，同時在必要的時候可以修改相應(yīng)的參數(shù)。三、傳感器模塊機器人感知系統(tǒng)的硬件平臺設(shè)計的基本任務(wù)是根據(jù)其所連接的各種傳感器的輸出方式設(shè)計相應(yīng)的信號接口處理電路，用于傳感器的信號轉(zhuǎn)換和處理。傳感器模塊總體來說包括執(zhí)行器、模擬傳感器和數(shù)字傳感器，該模塊是直接與物理世界連接的裝備，一切信號的來源，實現(xiàn)物理信號到數(shù)字信息的轉(zhuǎn)換。（1）模擬傳感器接口（2）信號調(diào)理（3）模/數(shù)轉(zhuǎn)換由于系統(tǒng)的實際處理對象往往都是一些模擬量（如溫度、壓力、位移、圖像等），要使計算機或數(shù)字儀表能識別和處理這些信號，必須首先將這些模擬信號轉(zhuǎn)換成數(shù)字信號，選AD芯片的時候主要考慮下面兩個指標(biāo)：轉(zhuǎn)換精度。轉(zhuǎn)換時間。數(shù)字通信接口模塊存儲單元處理器模塊網(wǎng)絡(luò)用戶接口6.2.7控制系統(tǒng)軟件設(shè)計前面提到機器人感知系統(tǒng)的交互包括機器人與環(huán)境、機器人與人、機器人與機器人之間以及機器人內(nèi)部的這四種形式的交互，這些不同類別的交互的本質(zhì)是數(shù)據(jù)流的傳遞，統(tǒng)一的語義規(guī)范是感知系統(tǒng)不同交互遵循的溝通約束，因此數(shù)據(jù)描述、用戶接口、通信協(xié)議的規(guī)定是必須考慮的問題。一、機器人操作系統(tǒng)軟件設(shè)計方法圖6.41ROS開發(fā)的機器人軟件整體架構(gòu)圖（一）感知類節(jié)點感知類節(jié)點的主要工作是驅(qū)動硬件，進行數(shù)據(jù)預(yù)處理，轉(zhuǎn)換成ROS規(guī)定的消息格式發(fā)布。（二）計算類節(jié)點計算類節(jié)點主要執(zhí)行圖像處理、決策、導(dǎo)航規(guī)劃、數(shù)據(jù)融合等任務(wù)，是軟件系統(tǒng)的核心，ROS對主要任務(wù)類型都有相應(yīng)的功能包。（三）互執(zhí)行類節(jié)點交互執(zhí)行類節(jié)點的主要任務(wù)是處理包括輸入、輸出、可視化調(diào)試在內(nèi)的人機交互工作，并包含底層控制和執(zhí)行器驅(qū)動節(jié)點，控制和驅(qū)動執(zhí)行器執(zhí)行計算節(jié)點發(fā)送的指令。傳感器軟件傳感器軟件設(shè)計可以用STM32芯片為主控器而搭建的硬件控制電路，一切軟件控制的程序代碼均需寫入此控制芯片中。程序采用模塊化設(shè)計，下面分別介紹各部分的軟件設(shè)計。氣體傳感器和溫度傳感器在上電后，會一直保持檢測狀態(tài)，主控器只需每隔一段時間讀取一次即可。定義相應(yīng)的變量對讀取的數(shù)據(jù)進行保存，再根據(jù)前面章節(jié)的公式推導(dǎo)，對數(shù)據(jù)計算后，得到最終的檢測值。在得到五個超聲波傳感器的一組測距值后，將傳感器的方位信息和測得的距離值作為模糊控制器的輸入，經(jīng)模糊化處理后，依據(jù)前面章節(jié)己經(jīng)建立好的模糊控制規(guī)則，推導(dǎo)輸出機器人的轉(zhuǎn)彎方向和角度，即可實現(xiàn)機器人的避障。其流程如圖6.42所示。圖6.42模糊控制流程三、上位機軟件（一）虛擬儀器與LabViewLabView最大的特點是采用圖形化編程語言，程序以框圖形式編寫，易學(xué)易用。LabView是一種通用的編程系統(tǒng)，具有各種功能強大的函數(shù)庫，包括數(shù)據(jù)采集、串行控制、數(shù)據(jù)顯示和存儲，甚至還具有網(wǎng)絡(luò)功能。（二）基于LabView的上位機開發(fā)在顯示界面上完成對機器人控制指令的發(fā)送，和實時顯示各項檢測數(shù)據(jù)的波形變化。使用LabView開發(fā)平臺編寫的程序稱為VI，LabView是以VI文件為程序單位的，一個VI程序又可以通過調(diào)用下級的子VI來擴展程序規(guī)模。一個VI由前面板和后面板組成，下面就分別介紹前面板和后面板的設(shè)計過程。四、傳感器數(shù)據(jù)描述傳感器信息典型的包括識別信息和校準(zhǔn)信息。傳感器識別信息主要包括傳感器的生產(chǎn)廠商、序列號、使用壽命、型號、尺寸大小