機(jī)器人感知智能 課件 第5、6章 機(jī)器人聽(tīng)覺(jué)感知、機(jī)器人感知系統(tǒng)智能化

機(jī)器人感知智能第五章機(jī)器人聽(tīng)覺(jué)感知聲音是一種物理波動(dòng)現(xiàn)象，即聲源振動(dòng)或氣動(dòng)發(fā)聲所產(chǎn)生的聲波。聲波通過(guò)空氣、固體、液體等介質(zhì)傳播，便能被人或動(dòng)物的聽(tīng)覺(jué)器官所感知。聲波具有一般波的各種特性，包括反射、折射和衍射等。聲音還是一種心理感受，不僅與人的生理構(gòu)造和聲音的物理性質(zhì)有關(guān)，還受到環(huán)境和背景的影響。圖5.1聲音的分類(lèi)關(guān)系圖5.1.1人類(lèi)聽(tīng)覺(jué)模型一、聲音的定義5.1機(jī)器人聽(tīng)覺(jué)概述純音和復(fù)合音都是周期性聲音，波形具有一定的重復(fù)性，具有明顯的音高。純音是只具有單一頻率的正弦波，通常只能由音叉、電子器件或合成器產(chǎn)生，在自然環(huán)境下一般不會(huì)發(fā)生。日常生活和自然界中聽(tīng)到的聲音大多是復(fù)合音，由許多參數(shù)不同的正弦波分量疊加而成。純音和復(fù)合音之間可以互相合成與分解。從信號(hào)的角度——聲音可分為純音、復(fù)合音和噪聲。從聲音特性的角度——聲音可劃分為語(yǔ)音、音樂(lè)和一般音頻。語(yǔ)音信號(hào)屬于復(fù)合音，其基本要素是音高、強(qiáng)度、音長(zhǎng)、音色等。音樂(lè)是人類(lèi)創(chuàng)造的復(fù)雜的藝術(shù)形式，組成成分是上述的各種樂(lè)音，包括歌聲、各種管弦和彈撥類(lèi)樂(lè)器發(fā)出的復(fù)合音、少量來(lái)自環(huán)境聲的復(fù)合音以及一些來(lái)自打擊樂(lè)器的噪樂(lè)音。除了人類(lèi)創(chuàng)造的語(yǔ)音和音樂(lè)，在自然界和日常生活中，還存在著其他數(shù)量巨大、種類(lèi)繁多的聲音，統(tǒng)稱(chēng)為一般音頻或環(huán)境聲。5.1.1人類(lèi)聽(tīng)覺(jué)模型二、人類(lèi)聽(tīng)覺(jué)中樞外耳包括耳翼和外耳道兩個(gè)部分。從外耳道發(fā)出的聲音在中頻區(qū)域與外耳產(chǎn)生共鳴。外耳道的最后部分是一種稱(chēng)為鼓膜的薄膜。中耳包括鼓膜和內(nèi)耳層，內(nèi)層有三個(gè)聽(tīng)小骨，即錐骨、砧骨和鐙骨，它們彼此相連。聲波經(jīng)外耳道進(jìn)入后，會(huì)引起鼓膜的震動(dòng)，三個(gè)與鼓膜連接的聽(tīng)骨會(huì)因?yàn)槁曇舻恼饎?dòng)而產(chǎn)生震動(dòng)。內(nèi)耳是人類(lèi)聽(tīng)覺(jué)的一個(gè)主要器官，在內(nèi)耳有一個(gè)重要的螺旋狀環(huán)形通路，稱(chēng)為耳蝸。耳蝸是主要的聽(tīng)覺(jué)器官，它是由骨頭組成，外形像蝸牛，里面充滿(mǎn)了高電阻的淋巴。當(dāng)聲音傳入耳內(nèi)時(shí)，由外耳、中耳、內(nèi)耳分別負(fù)責(zé)，共同發(fā)出“感覺(jué)”訊息給大腦。一般而言，聲源與媒介間的時(shí)序差異和聲源間的強(qiáng)度差異，可以幫助人們精確地確定聲源的方位。5.1.1人類(lèi)聽(tīng)覺(jué)模型三、人類(lèi)聽(tīng)覺(jué)中樞的工作方式機(jī)器人聽(tīng)覺(jué)傳感器的總體思想：模仿人的聽(tīng)覺(jué)中樞，完成語(yǔ)音信號(hào)的信息提取和聲源定位。外耳鼓膜接收外界聲音，鼓膜產(chǎn)生震動(dòng)，中耳將這種震動(dòng)放大、壓縮和限幅，并抑制噪聲。內(nèi)耳的主要功能是對(duì)不同聲音進(jìn)行分析。纖維將基底膜接受聲音時(shí)產(chǎn)生的震動(dòng)變成電信號(hào)的平均值時(shí)，對(duì)應(yīng)的繼電器接通。位于耳蝸底部的基底膜使得耳蝸帶有相異的電諧振以及機(jī)械諧振效應(yīng)，如果接收到的聲音信號(hào)中含有不同頻率段，那么在基底膜的不同位置會(huì)產(chǎn)生由于行波差異導(dǎo)致的某個(gè)頻率段的最大峰值。重合神經(jīng)元主要負(fù)責(zé)完成突觸和細(xì)胞體的響應(yīng)，在整個(gè)聽(tīng)覺(jué)中樞系統(tǒng)中完成對(duì)語(yǔ)音信號(hào)的空間方位信息提取與整合。5.1.1人類(lèi)聽(tīng)覺(jué)模型（一）聲源目標(biāo)的實(shí)時(shí)定位：在許多應(yīng)用場(chǎng)景下機(jī)器人是需要實(shí)時(shí)與人進(jìn)行溝通的，目標(biāo)定位的實(shí)時(shí)性是機(jī)器人定位應(yīng)用的關(guān)鍵問(wèn)題，如何進(jìn)一步提高算法的精度和速度是下一步研究的主要內(nèi)容之一。（二）多語(yǔ)音識(shí)別：很多時(shí)候機(jī)器人實(shí)際工作環(huán)境不可能是單聲源的，如何在多聲源情況下服務(wù)機(jī)器人準(zhǔn)確辨識(shí)、分離、判斷任務(wù)，是人機(jī)互動(dòng)的前提之一。（三）針對(duì)運(yùn)動(dòng)聲源實(shí)現(xiàn)跟蹤定位：機(jī)器人大多需要不停移動(dòng)或者被服務(wù)對(duì)象是運(yùn)動(dòng)的，如何針對(duì)運(yùn)動(dòng)的聲源進(jìn)行定位、追蹤，同樣是服務(wù)機(jī)器人進(jìn)行聲源定位的研究?jī)?nèi)容之一。（四）智能、友好的交互方式：機(jī)器人可以透明地、主動(dòng)與人交互，而人處于被動(dòng)的方式。因此，服務(wù)機(jī)器人目標(biāo)聲源定位技術(shù)一定程度上受到相關(guān)技術(shù)的限制，例如聲音的分離、檢測(cè)以及識(shí)別等。一、聽(tīng)覺(jué)感知應(yīng)用5.1.2機(jī)器人聽(tīng)覺(jué)感知二、機(jī)器人聽(tīng)覺(jué)在應(yīng)用中需要解決的問(wèn)題音頻時(shí)頻表示：包括音頻本身的表示，如信號(hào)或符號(hào)、單聲道或雙聲道、模擬或數(shù)字、聲波樣本、壓縮算法的參數(shù)等；音頻信號(hào)的各種時(shí)頻表示，如短時(shí)傅里葉變換、小波變換、小波包變換、連續(xù)小波變換、常數(shù)Q變換、S變換、希爾伯特－黃變換、離散余弦變換等；音頻信號(hào)的建模表示由于種類(lèi)繁多，又通常包含多個(gè)聲源，無(wú)法像語(yǔ)音信號(hào)那樣被有效地表示成某個(gè)特定的模型，如源濾波器模型，通常使用濾波器組或正弦波模型來(lái)獲取并捕捉多個(gè)聲音參數(shù)。特征提?。阂纛l特征是對(duì)音頻內(nèi)容的緊致反映，用來(lái)刻畫(huà)音頻信號(hào)的特定方面，有時(shí)域特征、頻域譜特征、T-F特征、統(tǒng)計(jì)特征、感知特征、中層特征、高層特征等數(shù)十種。典型的時(shí)域特征如過(guò)零率、能量，頻域譜特征如譜質(zhì)心、譜通量，T-F特征如基于頻譜圖的Zernike矩、基于頻譜圖的描述子，統(tǒng)計(jì)特征如峰度、均值，感知特征如Mel頻率倒譜系數(shù)、線(xiàn)性預(yù)測(cè)倒譜系數(shù)，中層特征如半音類(lèi)，高層特征如旋律、節(jié)奏、頻率顫音等。5.1.2機(jī)器人聽(tīng)覺(jué)感知聲音相似性：兩段音頻之間或者一段音頻內(nèi)部各子序列之間的相似性一般通過(guò)計(jì)算音頻特征之間的各種距離來(lái)度量。距離越小，相似度越高。在某些時(shí)域信息很重要的場(chǎng)合，通常使用動(dòng)態(tài)時(shí)間規(guī)整來(lái)計(jì)算相似度，也可通過(guò)機(jī)器學(xué)習(xí)方法進(jìn)行音頻相似性計(jì)算。聲源分離：與通常只有一個(gè)聲源的語(yǔ)音信號(hào)不同，現(xiàn)實(shí)聲音場(chǎng)景中的環(huán)境聲及音樂(lè)的一個(gè)基本特性就是包含多個(gè)同時(shí)發(fā)聲的聲源，因此聲源分離問(wèn)題成為一個(gè)極其重要的技術(shù)難點(diǎn)。音樂(lè)中的各種樂(lè)器及歌聲按照旋律、和聲及節(jié)奏耦合起來(lái)，對(duì)其進(jìn)行分離比分離環(huán)境聲中各種基本不相關(guān)的聲源要更加困難，至今沒(méi)有方法能很好地解決這個(gè)問(wèn)題。多模態(tài)分析：人類(lèi)對(duì)世界的感知都是結(jié)合各個(gè)信息源綜合得到的。因此，對(duì)數(shù)字音頻和音樂(lè)進(jìn)行內(nèi)容分析理解時(shí)，理想情況下也需要結(jié)合文本、視頻、圖像等多種媒體進(jìn)行多模態(tài)的跨媒體研究。二、機(jī)器人聽(tīng)覺(jué)在應(yīng)用中需要解決的問(wèn)題5.1.2機(jī)器人聽(tīng)覺(jué)感知5.2.1麥克風(fēng)原理：電磁感應(yīng)原理。當(dāng)發(fā)射聲波后，膜片產(chǎn)生振動(dòng)，膜片內(nèi)部纏繞的線(xiàn)圈（又稱(chēng)音圈）也隨之振動(dòng)。線(xiàn)圈纏繞在磁鐵上，在磁鐵產(chǎn)生的磁場(chǎng)內(nèi)發(fā)生振動(dòng)，振動(dòng)導(dǎo)致電流產(chǎn)生，輸出電信號(hào)。當(dāng)話(huà)筒采集到的聲音時(shí)，在音圈內(nèi)產(chǎn)生的電流的幅度和方向也會(huì)隨之改變，獲取到的聲音信號(hào)決定了感應(yīng)電流變化的大小。優(yōu)點(diǎn)：結(jié)構(gòu)簡(jiǎn)單、穩(wěn)定性好、自身噪音小、容易操作、實(shí)用性好、成本低。缺點(diǎn)：靈敏度低、頻率范圍窄。結(jié)構(gòu)：電容式麥克風(fēng)內(nèi)包含三部分，即振膜、金屬極板和負(fù)載電阻。原理：內(nèi)部含有兩個(gè)導(dǎo)電膜片，當(dāng)振膜受到聲波振動(dòng)時(shí)，導(dǎo)電膜片之間的電容大小產(chǎn)生變化，導(dǎo)致整個(gè)電路中的電流隨之變化。電流的變化導(dǎo)致負(fù)載電阻上產(chǎn)生相對(duì)應(yīng)的電壓，將接收到的聲音信號(hào)就變成電信號(hào)。優(yōu)點(diǎn)：具有平坦的頻率響應(yīng)。對(duì)于語(yǔ)音信號(hào)的識(shí)別，語(yǔ)音頻率范圍內(nèi)靈敏度統(tǒng)一，有利于單通道語(yǔ)音識(shí)別處理。缺點(diǎn)：靈敏度不足、識(shí)別距離有限、功耗大、大放大電路不穩(wěn)定等。圖5.6動(dòng)圈式麥克風(fēng)結(jié)構(gòu)示意圖一、動(dòng)圈式麥克風(fēng)二、電容式麥克風(fēng)5.2聲音傳感器毫米級(jí)駐極體麥克風(fēng)具有極低的雜散電容、自偏置、可大規(guī)模生產(chǎn)、可陣列、可與片上電子器件集成、結(jié)構(gòu)簡(jiǎn)單且在普通環(huán)境中隨時(shí)間推移極其穩(wěn)定等特點(diǎn)。在聲控電路、錄音機(jī)、無(wú)線(xiàn)話(huà)筒等方面廣泛應(yīng)用，在其生產(chǎn)高峰時(shí)每年產(chǎn)量超過(guò)10億個(gè)。由于出色的電荷存儲(chǔ)氟碳聚合物的特性，幾乎所有商用非硅駐極體麥克風(fēng)使用碳氟化合物駐極體，例如聚四氟乙烯，且考慮到輸入輸出阻抗問(wèn)題，駐極體電容式話(huà)筒在工作時(shí)需要直流工作電壓。圖5.7駐極體麥克風(fēng)優(yōu)點(diǎn)：高可靠性、高穩(wěn)定性、高一致性、低不良率和低返修率等優(yōu)點(diǎn)。圖5.11MEMS傳感器結(jié)構(gòu)示意圖與傳感器實(shí)物圖片（一）駐極體麥克風(fēng)（二）MEMS電容傳感器5.2.1麥克風(fēng)壓電式麥克風(fēng)是用晶體或陶瓷（欽酸鋇等材料）作為變換元件，利用壓電原理將機(jī)械振動(dòng)從聲波信號(hào)轉(zhuǎn)換為電信號(hào)。在壓電式麥克風(fēng)中，常用用來(lái)制造振動(dòng)隔膜的壓電材料是氮化鋁和氧化鋅。壓電式麥克風(fēng)的優(yōu)點(diǎn)是靈敏度高、體積小。壓電效應(yīng)是通過(guò)變形來(lái)產(chǎn)生電荷，除了可以作為聲音傳感元件，壓電效應(yīng)所產(chǎn)生的電信號(hào)還可用于感知運(yùn)動(dòng)引起的物理或化學(xué)效應(yīng)。圖5.12柔性壓電式麥克風(fēng)的工作流程示意圖

電容式壓阻式電磁式壓電式檢測(cè)信號(hào)電容電壓電流電壓外部供電需要需要不需要不需要開(kāi)路靈敏度低低低高頻率響應(yīng)平坦尖峰尖峰聲音頻帶可調(diào)表5.1不同聲傳感器的性能對(duì)比三、壓電式麥克風(fēng)5.2.1麥克風(fēng)

圖5.14幾款超聲波傳感器芯片：（a）MaxBotixInc.（MB1414-000）；（b）MaxBotixInc.（MB1443-000）；（c）TDKInvenSense（MOD_CH101-03-01）.超聲波是一種具有很短的波長(zhǎng)（在空氣中不到2厘米）的機(jī)械波，它必須通過(guò)媒介來(lái)傳遞，在空中的傳播速度沒(méi)有聲音和次聲波快，在水里的傳播范圍要更大一些。超聲傳感器測(cè)距包括三個(gè)主要過(guò)程，即超聲波的產(chǎn)生、傳播和接收。5.2.2超聲波傳感器超聲波傳感器是一種應(yīng)用超聲波技術(shù)研制而成的傳感器，可以把各種能量和超聲波轉(zhuǎn)換成各種形態(tài)的裝置。超聲波傳感器的核心部分是一種能夠發(fā)出和接收聲波的壓電片。超聲波探頭可以分為直探頭、雙探頭、斜探頭等。超聲波沿著一條直線(xiàn)進(jìn)行傳播，其發(fā)射頻率越高，其反射性能越好。目前超聲傳感器的市場(chǎng)份額最大的是電聲型傳感器和水力型超聲波傳感器。一、工作原理電聲傳感器包括壓電、磁致伸縮、靜電三大類(lèi)；液動(dòng)超聲傳感器分為兩類(lèi)，即氣態(tài)和液態(tài)。5.2.2超聲波傳感器超聲波接收器的工作原理：利用發(fā)電機(jī)中的壓電晶體共振來(lái)生成聲波。常見(jiàn)的壓電式超聲波傳感器內(nèi)部包括兩塊壓電晶圓和一塊喇叭或共振板，當(dāng)負(fù)載的脈沖信號(hào)與壓電晶圓的自振頻率一致時(shí)，它們就會(huì)發(fā)生共鳴，從而引起振蕩，因此形成了超聲波信號(hào)。反之，在不將脈沖信號(hào)導(dǎo)入壓電晶圓的兩端時(shí)，若在擴(kuò)音器或共振板上檢測(cè)到超聲波，則該揚(yáng)聲器或諧振板將引起振蕩，從而使壓電晶片產(chǎn)生振動(dòng)，使物理機(jī)械能量轉(zhuǎn)化為電能，而壓電晶體在振動(dòng)時(shí)，將會(huì)產(chǎn)生電信號(hào)，從而使壓電晶體的兩端產(chǎn)生電信號(hào)，這時(shí)，超聲波發(fā)生器就變成了超聲波接收器。接觸式超聲傳感器主要用于變壓器、組合電器等大型電力設(shè)備監(jiān)測(cè)；非接觸式超聲傳感器則主要用于電力電纜、開(kāi)關(guān)柜等電力設(shè)備檢測(cè)。圖5.16超聲波往返時(shí)間檢測(cè)法測(cè)距原理示意圖圖5.15常見(jiàn)超聲波傳感器外觀(guān)及結(jié)構(gòu)示意圖5.2.2超聲波傳感器常規(guī)脈沖回波超聲波傳感器，其測(cè)距方法包括單程測(cè)距法和雙程測(cè)距法。單程測(cè)距法中傳感器信號(hào)發(fā)射端和接收端分離，信號(hào)接收端配置在待測(cè)目標(biāo)處，發(fā)射端發(fā)射信號(hào)，接收端接收信號(hào)，根據(jù)信號(hào)傳播速度和渡越時(shí)間的乘積，計(jì)算獲得距離。距離計(jì)算公式：l表示超聲傳感器信號(hào)的發(fā)送端到被測(cè)量對(duì)象的信號(hào)接收端的距離，c表示在空氣中超聲的傳播速率，?t表示從信號(hào)發(fā)送端到被測(cè)量對(duì)象的接收端的超聲傳輸?shù)膫鬏敃r(shí)間。圖5.19雙程測(cè)距法原理圖圖5.18單程測(cè)距法原理圖雙程測(cè)距法與單程測(cè)距法的不同之處在于超聲波傳感器信號(hào)發(fā)射端與信號(hào)接收端配置在一起。距離計(jì)算公式：5.2.2超聲波傳感器二、聲吶聲吶檢測(cè)利用了聲波在水下的傳播特性，發(fā)射聲波在水中傳播遇到物體發(fā)射的回波獲取目標(biāo)信息，完成水下目標(biāo)檢測(cè)。水下聲傳播可以用聲波P的齊次波動(dòng)方程來(lái)描述：其中c為水中聲速，x，y，z為空間方向。通常用聲場(chǎng)信號(hào)強(qiáng)度的衰減來(lái)度量傳播損失的大小，某點(diǎn)與參考點(diǎn)距離之間的聲信號(hào)強(qiáng)度損失為傳播損失：聲波的強(qiáng)度隨傳播距離增大會(huì)呈現(xiàn)指數(shù)衰減的變化規(guī)律，另外聲波的振動(dòng)頻率、環(huán)境溫度和介質(zhì)特性也會(huì)造成聲波強(qiáng)度的變化。一、仿生聽(tīng)覺(jué)傳感器蝙蝠耳仿生麥克風(fēng)：蝙蝠具有極其強(qiáng)大的檢波、抗噪、自適應(yīng)能力，是目前的聲吶系統(tǒng)、雷達(dá)系統(tǒng)所無(wú)法達(dá)到的。仿蠅耳麥克風(fēng)：一種具有指向性、靈敏度高特性的微型傳聲器蚊子聽(tīng)覺(jué)仿生系統(tǒng)：蚊子的聽(tīng)覺(jué)系統(tǒng)位于其頭部觸角上。當(dāng)有聲音傳過(guò)來(lái)時(shí)，觸角上的鞭毛會(huì)發(fā)生彎曲變形，拉動(dòng)觸角中的神經(jīng)發(fā)生形變，使得神經(jīng)膜內(nèi)外電位差變化，從而將這種信號(hào)傳輸給蚊子大腦來(lái)感知聲音信號(hào)。二、柔性壓電聲學(xué)傳感器壓電膜的厚度和形狀是影響諧振頻率的關(guān)鍵因素，設(shè)計(jì)時(shí)應(yīng)該重點(diǎn)考慮；柔性壓電膜可以根據(jù)通道寬度產(chǎn)生多個(gè)頻率分量數(shù)據(jù)集，多通道信號(hào)可以獲得兩倍以上的語(yǔ)音信息進(jìn)行語(yǔ)音處理；具有基于充足數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練和從多通道輸入中選擇有用信號(hào)的優(yōu)點(diǎn)。5.2.3其他聲音傳感器三、光纖聲音傳感器光纖聲學(xué)傳感器是一種利用光纖作為光傳播的聲學(xué)傳感器媒體或檢測(cè)單元。與傳統(tǒng)的電聲傳感器相比，它具有靈敏度高、帶寬頻率響應(yīng)、抗電磁干擾等優(yōu)點(diǎn)，對(duì)國(guó)家安全、工業(yè)無(wú)損檢測(cè)、醫(yī)療診斷、消費(fèi)電子等領(lǐng)域具有重要價(jià)值。聲場(chǎng)與光的耦合方式有間接耦合和直接耦合兩種。間接耦合型光纖聲傳感器：分為光強(qiáng)調(diào)制型、相位調(diào)制型和波長(zhǎng)調(diào)制型等類(lèi)型。直接耦合型光纖聲傳感器：不使用聲耦合材料，直接利用光束檢測(cè)聲波引起空氣介質(zhì)折射率的微小變化實(shí)現(xiàn)聲探測(cè)，相比間接耦合型光纖聲傳感器，具有穩(wěn)定性好、高頻靈敏度高、大帶寬、大動(dòng)態(tài)范圍等優(yōu)點(diǎn)，主要包括自耦合效應(yīng)型和法布里—珀羅標(biāo)準(zhǔn)具（FPE）型兩種類(lèi)型。衡量光纖聲傳感器性能的參數(shù)主要包括：靈敏度、信噪比、頻率響應(yīng)和動(dòng)態(tài)范圍。5.2.3其他聲音傳感器5.3.1語(yǔ)音信號(hào)特點(diǎn)一、語(yǔ)音的聲學(xué)特性和短時(shí)性聲道是一個(gè)可以放大一定頻率的共振腔，同時(shí)也可以削弱其它頻率的能量，這種共振頻率就是所謂的共振峰值。諧振峰與聲道的尺寸相關(guān)，不同組之間的諧振峰一一對(duì)應(yīng)。語(yǔ)音的頻譜特征主要取決于諧振峰值。因?yàn)椴煌f(shuō)話(huà)人的聲道尺寸是不一樣的，所以諧振峰值和說(shuō)話(huà)人有著很大的聯(lián)系。即便是同樣的音位，由于說(shuō)話(huà)人的差異，其共振峰也會(huì)發(fā)生很大的改變。在語(yǔ)音識(shí)別中，需要考慮三個(gè)以上的共振峰。二、語(yǔ)音信號(hào)特點(diǎn)漢語(yǔ)以漢語(yǔ)拼音為基礎(chǔ)。漢語(yǔ)一字節(jié)是由聲母和韻母組成的，通常一個(gè)聲母中只有一個(gè)輔音，而韻母是一個(gè)或幾個(gè)以上的元音或元音和輔音的結(jié)合。漢語(yǔ)是一種聲調(diào)語(yǔ)言，漢語(yǔ)聲調(diào)的識(shí)別功能是其最基本的功能，其主要功能是根據(jù)調(diào)式進(jìn)行區(qū)分不同的音調(diào)。英語(yǔ)里的每個(gè)句子都有一個(gè)重讀。在口語(yǔ)中，有時(shí)還會(huì)出現(xiàn)兩個(gè)或更多的重讀，所以，在口頭交流中，重音是表達(dá)意義的象征，而重音同時(shí)也是一條重要的信息。5.3語(yǔ)音識(shí)別二、語(yǔ)音識(shí)別系統(tǒng)分類(lèi)（一）按照說(shuō)話(huà)人分類(lèi)說(shuō)話(huà)人識(shí)別的特征提取與語(yǔ)音識(shí)別的特征提取正好相反，語(yǔ)音識(shí)別是要找到不同說(shuō)話(huà)人相同語(yǔ)音之間的共性作為特征，而說(shuō)話(huà)人識(shí)別則需要使用說(shuō)話(huà)人之間的區(qū)別作為特征。說(shuō)話(huà)人識(shí)別的特征在層次上又可分為低層的聲學(xué)特征和高層的語(yǔ)言習(xí)慣特征，而在目前的研究水平，可區(qū)分性較強(qiáng)、穩(wěn)定性較高特征還僅限于低層的聲學(xué)特征，是基于個(gè)人的發(fā)聲器官的生理特性的特征。具有較好效果的特征主要有如下幾種：

基于發(fā)聲原理的管道模型的線(xiàn)性預(yù)測(cè)系數(shù)及其各種變體；語(yǔ)音頻譜導(dǎo)出系數(shù)組，包括基音輪廓、共振峰、語(yǔ)音強(qiáng)度以及其變遷特性；基于聽(tīng)覺(jué)感知原理的特征，以美爾頻標(biāo)倒譜為代表。5.3.2語(yǔ)音識(shí)別概述二、語(yǔ)音識(shí)別系統(tǒng)分類(lèi)（二）按照詞匯量分類(lèi)大詞匯量指的是500字以上的識(shí)別，小詞匯量是指100字以下的識(shí)別，除此之外，還有中等詞匯量的識(shí)別。例如，MHINT語(yǔ)料庫(kù)：包含男性發(fā)音的480個(gè)語(yǔ)句，每個(gè)語(yǔ)句包含十個(gè)漢字。語(yǔ)音采樣率均為16kHz。（三）按照表達(dá)方式的不同分類(lèi)對(duì)于一次語(yǔ)音輸出，機(jī)器可按照連續(xù)信號(hào)、孤立詞、關(guān)鍵詞三種方式檢索識(shí)別。連續(xù)語(yǔ)音識(shí)別計(jì)算量較大，對(duì)一段連續(xù)的語(yǔ)音信號(hào)進(jìn)行識(shí)別處理；孤立詞即機(jī)器對(duì)一個(gè)個(gè)孤立的字或詞進(jìn)行識(shí)別，所以運(yùn)算量較小；關(guān)鍵詞語(yǔ)音識(shí)別即機(jī)器從一段語(yǔ)音信號(hào)中找出需要的關(guān)鍵詞進(jìn)行識(shí)別。5.3.2語(yǔ)音識(shí)別概述三、說(shuō)話(huà)人識(shí)別基本原理說(shuō)話(huà)人識(shí)別系統(tǒng)由語(yǔ)音數(shù)據(jù)預(yù)處理、特征提取、模型訓(xùn)練、模式匹配四部分組成。在訓(xùn)練階段，系統(tǒng)根據(jù)輸入的語(yǔ)音數(shù)據(jù)提取特征，利用聲紋識(shí)別算法訓(xùn)練出模型；在識(shí)別階段，系統(tǒng)提取輸入語(yǔ)音數(shù)據(jù)的特征，并將該特征輸入訓(xùn)練好的識(shí)別模型，輸出識(shí)別結(jié)果。圖5.25說(shuō)話(huà)人識(shí)別系統(tǒng)架構(gòu)語(yǔ)音情感識(shí)別語(yǔ)音情感識(shí)別是指從語(yǔ)音信號(hào)中識(shí)別出說(shuō)話(huà)人的情感狀態(tài)，常見(jiàn)特征包括：特征名稱(chēng)說(shuō)明基音基因頻率及其導(dǎo)數(shù)，以及均值，方差等統(tǒng)計(jì)量基音輪廓輪廓以及各種幾何學(xué)特征強(qiáng)度短時(shí)能量及其導(dǎo)數(shù)的各種統(tǒng)計(jì)量語(yǔ)速單位時(shí)間內(nèi)的符號(hào)數(shù)量音質(zhì)共振峰的頻率及其帶寬5.3.2語(yǔ)音識(shí)別概述預(yù)處理

將輸入的音信號(hào)數(shù)字話(huà)并轉(zhuǎn)換成適合在計(jì)算機(jī)系統(tǒng)中進(jìn)行運(yùn)算的結(jié)構(gòu)以及調(diào)整數(shù)據(jù)的特性。特征提取

從語(yǔ)音流中找到聲學(xué)特征的表達(dá)參數(shù)，能夠有效的包含應(yīng)語(yǔ)音段的有效信息。特征訓(xùn)練

先將訓(xùn)練的聲音輸入到語(yǔ)音，再通過(guò)預(yù)處理、特征抽取等方法，獲得一個(gè)特征向量的參數(shù)，再利用該模型建立一個(gè)訓(xùn)練語(yǔ)音的參照庫(kù)，或者在模式庫(kù)中修改該參照庫(kù)。識(shí)別

將輸入的語(yǔ)音特征矢量和參照模式庫(kù)的相似度進(jìn)行測(cè)度，并將它們的相應(yīng)類(lèi)型作為識(shí)別的中間候選。后處理判別模塊是利用語(yǔ)言模型、詞法、句法等多種知識(shí)進(jìn)行最后的辨識(shí)，以達(dá)到語(yǔ)音識(shí)別的目的。圖5.26典型的語(yǔ)音識(shí)別系統(tǒng)結(jié)構(gòu)語(yǔ)音數(shù)據(jù)處理包含了語(yǔ)音信號(hào)預(yù)處理、特征提取、特征訓(xùn)練、識(shí)別與后處理判定等多項(xiàng)功能，后處理和判決是任選的。5.3.3語(yǔ)音數(shù)據(jù)處理一、語(yǔ)音數(shù)據(jù)預(yù)處理圖5.27語(yǔ)音識(shí)別預(yù)處理基本流程（一）采樣與量化聲帶發(fā)出的原始聲音是連續(xù)的，而錄音機(jī)則會(huì)接收到持續(xù)的訊號(hào)，也就是模擬訊號(hào)，需要取樣、量化，然后再用電腦進(jìn)行處理。取樣是指在時(shí)間線(xiàn)上以某一頻率（也就是間隔一段時(shí)間），用每一次模擬信號(hào)的模擬量替換原先連續(xù)的信號(hào)。奈奎斯特取樣頻率：假定頻譜限制信號(hào)f（t），在頻譜在-ωm~+ωm范圍內(nèi)時(shí)，可用等間距取樣值來(lái)唯一地表達(dá)信號(hào)f（t）。（二）預(yù)加重目的是消除聲門(mén)激振和口鼻輻射，人為地利用預(yù)加重功能強(qiáng)化了語(yǔ)音信號(hào)中的高頻成分，改善了高頻段的信噪比，降低了語(yǔ)音信號(hào)在發(fā)射時(shí)產(chǎn)生的能量損耗，使得聲音的高頻部分得到增強(qiáng)，使得信號(hào)的頻譜更加扁平。5.3.3語(yǔ)音數(shù)據(jù)處理一、語(yǔ)音數(shù)據(jù)預(yù)處理（三）分幀與加窗可以把話(huà)音分成短時(shí)的語(yǔ)言，每一段都被稱(chēng)作“幀”，所以對(duì)話(huà)音信號(hào)的處理必須基于它的“短時(shí)性”；分幀是通過(guò)窗函數(shù)實(shí)現(xiàn)語(yǔ)音信號(hào)截?cái)啵財(cái)嗪蟮亩虝r(shí)語(yǔ)音信號(hào)會(huì)導(dǎo)致信號(hào)的頻譜特性發(fā)生突變，產(chǎn)生無(wú)限帶寬；在語(yǔ)音分幀時(shí)，常采用一種可動(dòng)的有限長(zhǎng)窗來(lái)進(jìn)行加權(quán)，而窗的選取會(huì)影響其短期能量，并將其視為濾波器的單元沖擊響應(yīng)。（1）矩形窗

（2）漢明窗（3）漢寧窗5.3.3語(yǔ)音數(shù)據(jù)處理（四）端點(diǎn)檢測(cè)實(shí)際的語(yǔ)音識(shí)別中，由于語(yǔ)音信號(hào)中會(huì)含有噪音，因此，首先要對(duì)語(yǔ)音輸入進(jìn)行判定，并從中找到含有有效信息的起始點(diǎn)，從而確保所獲取的聲音是真正有用的；通常采用短時(shí)能量、短時(shí)平均振幅、短時(shí)過(guò)零率等時(shí)域參數(shù)來(lái)判定有效信號(hào)的起始和結(jié)束。語(yǔ)音信號(hào)的短時(shí)能量定義為：其中，窗口長(zhǎng)度為N，短時(shí)能見(jiàn)度為一幀樣點(diǎn)的加權(quán)平方和。短時(shí)能的主要功能是：首先，它可以區(qū)分清音與濁音，因?yàn)樵跐嵋魰r(shí)，短時(shí)間內(nèi)的能量E（n）要比清音大。語(yǔ)音信號(hào)的短時(shí)平均過(guò)零率定義為：一、語(yǔ)音數(shù)據(jù)預(yù)處理5.3.3語(yǔ)音數(shù)據(jù)處理二、特征提?。ㄒ唬┚€(xiàn)性預(yù)測(cè)系數(shù)LPC線(xiàn)性預(yù)測(cè)的基本概念：將其以往幾次抽樣值的權(quán)值（線(xiàn)性結(jié)合）用于預(yù)測(cè)，其中每一權(quán)重系數(shù)都是以最小的預(yù)測(cè)誤差平均方值為原則（也就是按照所謂的最小平均方差標(biāo)準(zhǔn)），那么就是p級(jí)的線(xiàn)性預(yù)測(cè)因子（Linearitypredictscoefficients,LPC）。設(shè)P{x（n）|n=0,1,...,N-1}為一幀語(yǔ)音采樣序列，則第n個(gè)語(yǔ)音樣點(diǎn)值s（n）的p階線(xiàn)性預(yù)測(cè)值為：式中p為預(yù)測(cè)階數(shù)，ai

（i=1,2,...,p

）是線(xiàn)性預(yù)測(cè)系數(shù)。預(yù)測(cè)誤差ε（n）為：5.3.3語(yǔ)音數(shù)據(jù)處理二、特征提取線(xiàn)性預(yù)測(cè)倒頻譜系數(shù)（Linearitypredictscepstrumcoefficients,LPCC）是一個(gè)較為關(guān)鍵的特征參數(shù)，它可以較徹底地消除語(yǔ)音生成時(shí)的激勵(lì)信息，并能很好地反映出語(yǔ)音的共振峰。在線(xiàn)性預(yù)測(cè)分析中，通道模型是一個(gè)完全的極點(diǎn)模式：LPC分析的重要意義：該方法能提供一套簡(jiǎn)單的語(yǔ)音模型參數(shù)，能夠更準(zhǔn)確地反映出語(yǔ)音信號(hào)的波幅，并且其運(yùn)算量也不大，可以用來(lái)做模板，既能提高識(shí)別率，又能縮短處理時(shí)間。LPC倒譜系數(shù)不足之處：其建立在全極點(diǎn)模式的基礎(chǔ)上，因而不能準(zhǔn)確地反映清、鼻音，同時(shí)又包含了零點(diǎn)效應(yīng)，故在理論上，應(yīng)采用極點(diǎn)模式。（二）線(xiàn)性預(yù)測(cè)倒譜系數(shù)LPCC5.3.3語(yǔ)音數(shù)據(jù)處理二、特征提?。ㄈ┟窢柕棺V系數(shù)MFCC在求取梅爾倒譜系數(shù)（Mel-frequencycepstralcoefficient,MFCC）的過(guò)程中，根據(jù)梅爾頻率與Hz的對(duì)應(yīng)關(guān)系，類(lèi)似臨界頻帶的劃分，可以將語(yǔ)音頻率劃分成一系列三角濾波器序列，即梅爾頻率濾波器組，每個(gè)濾波器在以梅爾為單位的頻率軸上是不等間距的，而是符合臨界帶寬的分布特性。取每個(gè)三角形的濾波器頻帶寬內(nèi)所有信號(hào)幅度加權(quán)和作為某個(gè)帶通濾波器的輸出，然后對(duì)所有濾波器輸出做對(duì)數(shù)運(yùn)算，再進(jìn)一步進(jìn)行離散余弦變換（Discretecosinetransform,DCT），即得到MFCC。將各三角濾波器頻率帶寬中的信號(hào)幅值相加，并將其作為一個(gè)帶通濾波器的輸出，并對(duì)各濾波器的輸出進(jìn)行對(duì)數(shù)運(yùn)算，最后進(jìn)行DCT，即獲得MFCC。5.3.3語(yǔ)音數(shù)據(jù)處理（一）動(dòng)態(tài)時(shí)間規(guī)整法（DynamicTimeWarping,DTW）動(dòng)態(tài)時(shí)間規(guī)則問(wèn)題是最典型的，其最大的特點(diǎn)是：在此基礎(chǔ)上，利用一條有條件限制的時(shí)間規(guī)則函數(shù)來(lái)描述模型與樣品模板之間的時(shí)間對(duì)應(yīng)關(guān)系，并在此基礎(chǔ)上求出相應(yīng)的規(guī)則函數(shù)。（二）矢量量化（VectorQuantization,VQ）模型向量量化指的是把說(shuō)話(huà)者當(dāng)作一個(gè)聲音信號(hào)源，通過(guò)向量量化技術(shù)對(duì)其進(jìn)行建模（通過(guò)訓(xùn)練序列聚合產(chǎn)生

VQ代碼書(shū)），使得

VQ代碼書(shū)與說(shuō)話(huà)者一一對(duì)應(yīng)，在進(jìn)行識(shí)別時(shí)，使用全部碼本編碼輸入的測(cè)試序列，并計(jì)算出相應(yīng)的平均量化畸變，再進(jìn)行比較，確定出失真最少的基準(zhǔn)模式。圖5.17基于VQ技術(shù)的說(shuō)話(huà)人識(shí)別系統(tǒng)原理圖三、模型訓(xùn)練與模板匹配5.3.3語(yǔ)音數(shù)據(jù)處理（三）隱馬爾可夫模型隱馬爾可夫模型是一種以轉(zhuǎn)移概率和輸出概率為基礎(chǔ)的隨機(jī)模式，其原因在于，一種具有n個(gè)狀態(tài)的S1，S2，……，Sn的模式，將輸入的特性從一種狀態(tài)轉(zhuǎn)換到另一種狀態(tài)，每次由于無(wú)法觀(guān)測(cè)到狀態(tài)轉(zhuǎn)換序列，因此只能根據(jù)已知的輸出符號(hào)序列進(jìn)行運(yùn)算，并對(duì)其進(jìn)行預(yù)測(cè)。為每一個(gè)說(shuō)話(huà)人構(gòu)建一個(gè)特殊的語(yǔ)音模型，然后經(jīng)過(guò)訓(xùn)練，獲得一個(gè)狀態(tài)轉(zhuǎn)換的概率矩陣和符號(hào)的輸出概率矩陣。在辨識(shí)時(shí)，通過(guò)計(jì)算狀態(tài)轉(zhuǎn)換中未知語(yǔ)言的最大機(jī)率，并利用最大概率對(duì)應(yīng)的模式判斷出說(shuō)話(huà)者的身份。圖5.19狀態(tài)轉(zhuǎn)移模型三、模型訓(xùn)練與模板匹配5.3.3語(yǔ)音數(shù)據(jù)處理語(yǔ)音識(shí)別系統(tǒng)可分為離線(xiàn)語(yǔ)音識(shí)別和在線(xiàn)離線(xiàn)語(yǔ)音識(shí)別系統(tǒng)。離線(xiàn)語(yǔ)音識(shí)別：詞語(yǔ)庫(kù)比較小，屬于小詞匯量語(yǔ)音識(shí)別，不依賴(lài)網(wǎng)絡(luò)環(huán)境，識(shí)別過(guò)程在硬件內(nèi)部自動(dòng)完成；受嵌入式硬件平臺(tái)的限制，導(dǎo)致離線(xiàn)語(yǔ)音識(shí)別不能占有過(guò)多的存儲(chǔ)空間，而且不能進(jìn)行太多復(fù)雜的運(yùn)算處理；目前主要以嵌入式平臺(tái)為主，通過(guò)啟動(dòng)專(zhuān)用語(yǔ)音識(shí)別芯片的方法來(lái)進(jìn)行語(yǔ)音識(shí)別。在線(xiàn)語(yǔ)音識(shí)別：針對(duì)大詞匯量的連續(xù)語(yǔ)音識(shí)別的分布式語(yǔ)音識(shí)別系統(tǒng)；每次識(shí)別前將需要識(shí)別的語(yǔ)音內(nèi)容上傳至服務(wù)器，然后通過(guò)服務(wù)器進(jìn)行運(yùn)算處理，最后與詞語(yǔ)庫(kù)中的詞語(yǔ)進(jìn)行匹配，最后再將結(jié)果反饋給說(shuō)話(huà)者。一、語(yǔ)音識(shí)別模塊（一）MEGASUN-M6語(yǔ)音識(shí)別模塊（二）LD3320芯片（三）XFS5152CE芯片5.3.4語(yǔ)音識(shí)別系統(tǒng)二、硬件開(kāi)發(fā)語(yǔ)音識(shí)別芯片：語(yǔ)音信號(hào)的處理和識(shí)別；單片機(jī)：主控芯片加以控制，同時(shí)與上位機(jī)進(jìn)行通訊；外部寄存器：動(dòng)態(tài)地添加和編輯需要識(shí)別的詞語(yǔ)庫(kù)；USB轉(zhuǎn)串口模塊：將硬件系統(tǒng)方便地與上位機(jī)建立通信；專(zhuān)用的語(yǔ)音識(shí)別芯片：用麥克風(fēng)接收說(shuō)話(huà)者的語(yǔ)音信號(hào)，進(jìn)行處理和識(shí)別。三、軟件開(kāi)發(fā)（一）Arduino開(kāi)源平臺(tái)（二）DeepSpeech開(kāi)源平臺(tái)（三）Kaldi開(kāi)源平臺(tái)（四）CMUSphinx語(yǔ)音識(shí)別器5.3.4語(yǔ)音識(shí)別系統(tǒng)5.4.1人耳模型在大多數(shù)人類(lèi)聲音定位研究中，聲源被限制在兩個(gè)平面中的一個(gè)：水平面或垂直（中矢）面。水平和垂直定位之間的區(qū)別似乎也可以通過(guò)水平和垂直定位的主要空間線(xiàn)索（即雙耳差異線(xiàn)索與單耳線(xiàn)索）的差異來(lái)證明。入射到聽(tīng)者耳朵上的聲波會(huì)被面對(duì)入射波一側(cè)的頭部反射，衍射到頭部陰影一側(cè)的耳朵，并通過(guò)耳廓傳輸?shù)蕉?。這些反射和衍射產(chǎn)生雙耳時(shí)間差和雙耳強(qiáng)度差，這是眾所周知的雙耳差異線(xiàn)索。5.4.2麥克風(fēng)陣列麥克風(fēng)陣列由若干個(gè)具有特定幾何結(jié)構(gòu)的感應(yīng)器構(gòu)成，具有很好的空間選擇性，能夠在一定的距離上對(duì)聲源進(jìn)行自適應(yīng)探測(cè)，并能進(jìn)行軌跡定位。麥克風(fēng)陣列能夠有效地解決單一話(huà)筒在空間信號(hào)的接收與處理上的不足。機(jī)器人聽(tīng)力系統(tǒng)通常采用多種形式的傳聲器，通過(guò)多種方法組成一個(gè)陣列，從周?chē)h(huán)境中采集聲音，并對(duì)不同方位的聲音進(jìn)行加強(qiáng)。5.4聲源定位（一）線(xiàn)性陣列圖5.23線(xiàn)性陣列示意圖（二）二維平面陣列指向性模式圖5.25二維面陣示意圖5.4.2麥克風(fēng)陣列（三）三維立體陣列1.四元正四面體陣列：圖5.28正四面體陣列結(jié)構(gòu)與位置示意圖2.五元正四面體陣列：圖5.29五元正四面體陣列結(jié)構(gòu)3.球形陣列：圖5.30球面陣列示意圖5.4.2麥克風(fēng)陣列固定波束形成。固定波束成形可以看做是一種閉環(huán)系統(tǒng)，在這種系統(tǒng)中，接收到的信號(hào)的隨機(jī)統(tǒng)計(jì)特性決定了其性能的好壞，為了能夠更好的降低噪聲和干擾對(duì)語(yǔ)音的影響，進(jìn)行固定波束形成前需要知道信號(hào)和干擾、噪聲的具體位置。它的各項(xiàng)參數(shù)在進(jìn)行波束形成前就由開(kāi)發(fā)人員固定，不因信號(hào)的改變而改變。自適應(yīng)波束形成。該類(lèi)波束形成算法常以具體準(zhǔn)則為基礎(chǔ)提出相應(yīng)的算法，可用較少的麥克風(fēng)取得較好的去噪效果。自適應(yīng)波束形成算法本質(zhì)上以信號(hào)處理為基礎(chǔ)，仍只是將語(yǔ)音看做普通的傳輸信號(hào)處理。

盲源信號(hào)分離。該類(lèi)算法分為三類(lèi)，第一類(lèi)方法被稱(chēng)為獨(dú)立分量分析，它是在信號(hào)經(jīng)過(guò)變換后，保證不同的信號(hào)分量之間的相依性盡可能的減小。5.4.2麥克風(fēng)陣列雙耳聲源定位主要機(jī)理：1.雙耳間聲強(qiáng)差：聲源在左右耳的聲音強(qiáng)度差；

2.雙耳間時(shí)間差或相位差：點(diǎn)聲源抵達(dá)左右耳的時(shí)間差；

3.頻率線(xiàn)索：基于頻譜相關(guān)特性來(lái)進(jìn)行聲源定位。在三維空間聲場(chǎng)中，空間上的描述有三個(gè)維度：1.左右空間方位：這個(gè)主要是依賴(lài)于雙耳線(xiàn)索，通過(guò)聲音抵達(dá)雙耳之間的差異，來(lái)判斷聲音的左右偏向。ITD是聲源抵達(dá)雙耳的時(shí)間差，ITD范圍為0~690????區(qū)間。2.上下空間方位：主要是通過(guò)耳廓的形狀，造成不同入射角有不同的折射程度而產(chǎn)生的差異。大多數(shù)頻譜線(xiàn)索位于4~16kHz的頻率范圍。

3.遠(yuǎn)近空間方位（Distance）：遠(yuǎn)近維度其實(shí)就是聲源到達(dá)雙耳的能量，能量大聽(tīng)覺(jué)上感覺(jué)近，能量小聽(tīng)覺(jué)上感覺(jué)遠(yuǎn)。

5.4.3聲源定位方法

一、基于聲波到達(dá)時(shí)間差聲音定位的基本思想是從一對(duì)麥克風(fēng)之間的到達(dá)時(shí)間差推導(dǎo)出聲源的方向；時(shí)差可以在短時(shí)間內(nèi)通過(guò)通用互相關(guān)方法進(jìn)行估計(jì)；通用互相關(guān)方法可以通過(guò)不同的加權(quán)方案進(jìn)行增強(qiáng)，如相位變換。二、基于最大輸出功率的可控波束形成技術(shù)波束形成器形成標(biāo)量輸出信號(hào)，作為傳感器陣列接收的數(shù)據(jù)的加權(quán)組合；權(quán)重確定波束形成器的空間濾波特性，并且如果具有重疊頻率內(nèi)容的信號(hào)來(lái)自不同位置，則能夠分離這些信號(hào)；選擇與數(shù)據(jù)無(wú)關(guān)的波束形成器中的權(quán)重，以提供與接收數(shù)據(jù)無(wú)關(guān)的固定響應(yīng)。三、基于高分辨率譜估計(jì)高分辨頻譜估計(jì)技術(shù)一般應(yīng)用于多個(gè)聲源環(huán)境；該方法給出了在一定條件下，保證在平穩(wěn)狀態(tài)下不發(fā)生變化，且具有充分的平均信號(hào)，而在真實(shí)情況下，這種情況發(fā)生的可能性非常低；這種方法計(jì)算量大，相對(duì)于傳統(tǒng)的波束成形算法，它對(duì)聲源和話(huà)筒模型的錯(cuò)誤具有很好的魯棒性，因而很難應(yīng)用于現(xiàn)代的其他聲源定位系統(tǒng)。5.4.3聲源定位方法5.5.1人類(lèi)視聽(tīng)交叉感知機(jī)制視聽(tīng)覺(jué)系統(tǒng)感受環(huán)境信息的機(jī)理相似，信息量重合，因此大腦對(duì)這兩種系統(tǒng)獲取的信息進(jìn)行交叉感知，得到統(tǒng)一的感知。但對(duì)于視聽(tīng)覺(jué)信息發(fā)生的多種情況作出不同反應(yīng)：互相補(bǔ)充。當(dāng)兩種信息中的一方不能滿(mǎn)足環(huán)境的感知時(shí)，可以通過(guò)另一方來(lái)獲得補(bǔ)充。例如視覺(jué)只能對(duì)視野內(nèi)的目標(biāo)信息敏感，但當(dāng)發(fā)生遮擋和偏轉(zhuǎn)等情況時(shí)，這時(shí)聽(tīng)覺(jué)系統(tǒng)可以根據(jù)目標(biāo)的聲音信息判別出物體，也可以提供物體的方位信息。這樣，兩者之間的互相補(bǔ)充作用增加了信息的全面性。

整合化一。當(dāng)兩者信息相違背時(shí)，人腦會(huì)對(duì)這兩種感官信息分析融合，形成單一的認(rèn)知。

對(duì)應(yīng)調(diào)整。當(dāng)兩信號(hào)持續(xù)不一致時(shí)，人腦的神經(jīng)系統(tǒng)會(huì)調(diào)整信息，最終獲得視聽(tīng)一致的信號(hào)。例如當(dāng)發(fā)生閃電時(shí)，視覺(jué)和聽(tīng)覺(jué)會(huì)對(duì)閃電的發(fā)生會(huì)產(chǎn)生不一致的信息，但人腦可以根據(jù)聲音和視覺(jué)的傳播差機(jī)制將這兩種信息整合成單一的閃電信息。

5.5視覺(jué)聽(tīng)覺(jué)交叉融合圖5.34說(shuō)話(huà)人識(shí)別中的視聽(tīng)交互感知人的視覺(jué)和聽(tīng)覺(jué)是通過(guò)感知來(lái)收集外部的信息，然后將這些信息傳遞給大腦，再由大腦將這些信息結(jié)合起來(lái)，最終獲得正確的信息。人在處理和做出決定的過(guò)程中，將感知所獲得的信息進(jìn)行綜合處理，并與神經(jīng)系統(tǒng)協(xié)同作用，最后由相互融合的信息做出決定。5.5.2視聽(tīng)信息融合識(shí)別一、視覺(jué)—聽(tīng)覺(jué)融合跟蹤圖5.37基于視覺(jué)聽(tīng)覺(jué)融合的目標(biāo)跟蹤算法結(jié)構(gòu)二、聽(tīng)覺(jué)控制—視覺(jué)跟蹤圖5.38聽(tīng)覺(jué)控制—視覺(jué)追蹤控制系統(tǒng)方案5.5.3視聽(tīng)信息交互的目標(biāo)跟蹤總結(jié)知識(shí)節(jié)點(diǎn)5.1機(jī)器人聽(tīng)覺(jué)概述人類(lèi)聽(tīng)覺(jué)模型機(jī)器人聽(tīng)覺(jué)感知5.2聲音傳感器麥克風(fēng)動(dòng)圈式麥克風(fēng)電容式麥克風(fēng)壓電式麥克風(fēng)5.3語(yǔ)音識(shí)別語(yǔ)音信號(hào)特點(diǎn)語(yǔ)音識(shí)別概述語(yǔ)音識(shí)別系統(tǒng)分類(lèi)說(shuō)話(huà)人識(shí)別語(yǔ)音數(shù)據(jù)處理預(yù)處理特征提取特性訓(xùn)練與模板匹配語(yǔ)音識(shí)別系統(tǒng)語(yǔ)音識(shí)別模塊硬件開(kāi)發(fā)軟件開(kāi)發(fā)5.4聲源定位人耳模型麥克風(fēng)陣列陣列類(lèi)型陣列算法聲源定位方法聲波到達(dá)時(shí)間差可控波束形成技術(shù)高分辨率譜估計(jì)聲源定位案例系統(tǒng)原理方案設(shè)計(jì)定位誤差分析5.5視聽(tīng)交叉融合超聲波傳感器概念與發(fā)展工作原理其他聲音傳感器仿生聽(tīng)覺(jué)傳感器柔性壓電聲學(xué)傳感器光纖聲音傳感器機(jī)器人聽(tīng)覺(jué)概述聲音傳感器語(yǔ)音識(shí)別聲源定位視聽(tīng)交叉融合人類(lèi)視聽(tīng)交叉感知機(jī)制視聽(tīng)信息融合識(shí)別視聽(tīng)信息交互的目標(biāo)跟蹤第五章機(jī)器人聽(tīng)覺(jué)感知機(jī)器人感知智能第六章機(jī)器人感知系統(tǒng)智能化信息融合所涉及的主要領(lǐng)域包括：模式識(shí)別、智能制造系統(tǒng)、無(wú)人機(jī)駕駛、目標(biāo)檢測(cè)與跟蹤、人工智能、航空航天應(yīng)用、圖像分析處理等；由于該技術(shù)涉及到的研究?jī)?nèi)容種類(lèi)豐富，領(lǐng)域廣泛，目前還沒(méi)有普遍適用且明確的定義。不同國(guó)家的學(xué)者對(duì)信息融合的定義有著不同的表述；根據(jù)國(guó)內(nèi)外的觀(guān)點(diǎn)，信息融合的定義為：按照一定的規(guī)則，使用計(jì)算機(jī)技術(shù)對(duì)特定時(shí)序獲得的若干異質(zhì)或同質(zhì)的傳感觀(guān)測(cè)信息進(jìn)行分析、提取和綜合，是一種用于對(duì)所需要的目標(biāo)進(jìn)行估計(jì)與決策的信息處理過(guò)程。信息融合是近些年發(fā)展起來(lái)的技術(shù)，由許多學(xué)科領(lǐng)域交叉融合形成，在機(jī)器人信息處理的過(guò)程中被廣泛應(yīng)用。6.1.1多傳感器信息融合概念一、信息融合6.1多傳感器信息融合（一）分布式：先對(duì)各個(gè)獨(dú)立傳感器所獲得的原始數(shù)據(jù)進(jìn)行局部處理，然后再將結(jié)果送入信息融合中心進(jìn)行智能優(yōu)化組合來(lái)獲得最終的結(jié)果。分布式對(duì)通信帶寬的需求低、計(jì)算速度快、可靠性和延續(xù)性好，但跟蹤的精度卻遠(yuǎn)沒(méi)有集中式高；分布式的融合結(jié)構(gòu)又可以分為帶反饋的分布式融合結(jié)構(gòu)和不帶反饋的分布式融合結(jié)構(gòu)。（二）集中式：集中式將各傳感器獲得的原始數(shù)據(jù)直接送至中央處理器進(jìn)行融合處理，可以實(shí)現(xiàn)實(shí)時(shí)融合，其數(shù)據(jù)處理的精度高，算法靈活，缺點(diǎn)是對(duì)處理器的要求高，可靠性較低，數(shù)據(jù)量大，故難于實(shí)現(xiàn)；（三）混合式：混合式多傳感器信息融合框架中，部分傳感器采用集中式融合方式，剩余的傳感器采用分布式融合方式?；旌鲜饺诤峡蚣芫哂休^強(qiáng)的適應(yīng)能力，兼顧了集中式融合和分布式的優(yōu)點(diǎn)，穩(wěn)定性強(qiáng)?；旌鲜饺诤戏绞降慕Y(jié)構(gòu)比前兩種融合方式的結(jié)構(gòu)復(fù)雜，這樣就加大了通信和計(jì)算上的代價(jià)。二、多傳感器信息融合圖6.3緊耦合狀態(tài)估計(jì)流程圖根據(jù)數(shù)據(jù)處理方法的不同，信息融合系統(tǒng)的體系結(jié)構(gòu)有三種：分布式、集中式和混合式。6.1.1多傳感器信息融合概念二、多傳感器信息融合多傳感器融合狀態(tài)估計(jì)技術(shù)在人工智能應(yīng)用場(chǎng)景中，有非常多的應(yīng)用：（一）掃地機(jī)器人：這是最簡(jiǎn)單的多傳感器融合狀態(tài)估計(jì)的應(yīng)用了，一般該機(jī)器人會(huì)裝有相機(jī)和IMU傳感器，一些還有紅外線(xiàn)接近度傳感器、激光傳感器。（二）餐廳服務(wù)機(jī)器人：在餐廳負(fù)責(zé)送餐任務(wù)的機(jī)器人，通常會(huì)有雙目相機(jī)、輪速計(jì)、導(dǎo)軌等傳感器。（三）增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用：AR技術(shù)近年來(lái)快速發(fā)展，在手機(jī)軟件、智能穿戴硬件中都有應(yīng)用，主要用到的傳感器有相機(jī)、慣性測(cè)量單元（InertialMeasurementUnit,IMU）等。（四）自動(dòng)駕駛：自動(dòng)駕駛對(duì)精度和魯棒性要求非常之高，所用傳感器也是非常之多，自動(dòng)駕駛汽車(chē)基本都會(huì)用到的傳感器有多個(gè)相機(jī)、IMU、輪速計(jì)、激光雷達(dá)、超聲波、紅外、GPS等。圖6.5美國(guó)海軍實(shí)驗(yàn)室研發(fā)的四麥克風(fēng)陣列B21r機(jī)器人（左）和MDS像人機(jī)器人（右）6.1.1多傳感器信息融合概念二、多傳感器信息融合信息融合的三個(gè)主要特征如下：

（一）信息融合是一個(gè)多源、多級(jí)的信息處理過(guò)程，每一級(jí)都代表著不同層次的圖像抽象。

（二）信息融合包含信息的檢測(cè)、互聯(lián)、相關(guān)、估計(jì)和組合等步驟。（三）信息融合的結(jié)果包含低層次的局部狀態(tài)估計(jì)和高層次的全局狀態(tài)估計(jì)。圖6.4常見(jiàn)的地面機(jī)器人（a）新正源迎賓服務(wù)機(jī)器人（b）愛(ài)森T2智能移動(dòng)機(jī)器人（c）華碩Zenbo智能家庭助理機(jī)器人6.1.1多傳感器信息融合概念一、自主車(chē)輛機(jī)器人中的傳感器融合技術(shù)二、醫(yī)療人機(jī)交互場(chǎng)景下的多傳感器融合圖6.7幾種自主車(chē)輛機(jī)器人（a）應(yīng)用于國(guó)家電網(wǎng)的新松無(wú)人搬運(yùn)車(chē)（b）艾瑞思物流倉(cāng)儲(chǔ)智能機(jī)器人（c）海康威視智能倉(cāng)庫(kù)機(jī)器人（一）多模型用戶(hù)數(shù)據(jù)融合：可解釋的神經(jīng)網(wǎng)絡(luò)、聯(lián)想學(xué)習(xí)。（二）人機(jī)對(duì)話(huà)和意圖理解：人類(lèi)識(shí)別、語(yǔ)音識(shí)別。（三）用戶(hù)分類(lèi)：交互式知識(shí)圖譜建模。（四）路徑和動(dòng)作規(guī)劃：基于多模態(tài)的路徑規(guī)劃仿人操作的感知、任務(wù)規(guī)劃。

6.1.2幾種機(jī)器人中的多傳感器融合（一）跨領(lǐng)域融合：主要關(guān)注跨領(lǐng)域知識(shí)遷移和不同特征空間的融合，解決了由于源域和目標(biāo)域在不同的有限元表示空間中的多模態(tài)數(shù)據(jù)，能夠支持基于決策的融合醫(yī)學(xué)人機(jī)交互產(chǎn)生的多源數(shù)據(jù)研究情節(jié)。（二）增量分類(lèi)器融合：由于醫(yī)療機(jī)器人引入了附加信息、大量數(shù)據(jù)或數(shù)據(jù)的動(dòng)態(tài)增長(zhǎng)數(shù)據(jù)導(dǎo)致收斂開(kāi)銷(xiāo)顯著增加，這不能滿(mǎn)足實(shí)時(shí)融合決策的要求。增量分類(lèi)器融合可以通過(guò)以下方式優(yōu)化互補(bǔ)模態(tài)數(shù)據(jù)：對(duì)多模態(tài)數(shù)據(jù)進(jìn)行聯(lián)合聚類(lèi)，更快地得到?jīng)Q策結(jié)果。（三）數(shù)據(jù)不完整的多傳感器融合：主要處理部分丟失的原始感知數(shù)據(jù)。例如，傳統(tǒng)的融合機(jī)制無(wú)法處理數(shù)據(jù)集中包含的不完整數(shù)據(jù)。雖然它可以直接刪除不完整的數(shù)據(jù)，并做出融合決策僅基于剩余的完整數(shù)據(jù)，不完整數(shù)據(jù)中包含的有價(jià)值信息的丟失將影響融合決策的準(zhǔn)確性和綜合性。因此，核聚變機(jī)制基于不完全數(shù)據(jù)的醫(yī)學(xué)人機(jī)交互是非常必要的。融合機(jī)制的選擇：6.1.2幾種機(jī)器人中的多傳感器融合一、系統(tǒng)中傳感器的類(lèi)型、分辨率以及精度二、傳感器在機(jī)器人本體上的布置位置三、系統(tǒng)的通信能力和計(jì)算能力四、系統(tǒng)的設(shè)計(jì)目標(biāo)五、系統(tǒng)的拓?fù)浣Y(jié)構(gòu)在多傳感器信息融合技術(shù)中，通常涉及到多種類(lèi)型的傳感器選擇的問(wèn)題，因此在選擇傳感器類(lèi)型時(shí)，要考慮以下幾個(gè)問(wèn)題：多傳感器融合的移動(dòng)機(jī)器人一般包括三個(gè)傳感系統(tǒng)：（一）視覺(jué)子系統(tǒng)。該子系統(tǒng)主要包括3個(gè)模塊：光視覺(jué)檢測(cè)模塊、紅外視覺(jué)檢測(cè)模塊和視覺(jué)融合模塊。（二）聽(tīng)覺(jué)子系統(tǒng)。該子系統(tǒng)主要包括3個(gè)模塊：語(yǔ)音檢測(cè)模塊、類(lèi)周期求救聲檢測(cè)模塊和聲源定向模塊。（三）運(yùn)動(dòng)規(guī)劃子系統(tǒng)。該子系統(tǒng)主要包括3個(gè)模塊：自主規(guī)劃模塊、機(jī)器人控制模塊和避免碰撞模塊。6.1.3傳感器類(lèi)型與布局一、相機(jī)傳感器圖6.9SLAM算法系統(tǒng)流程圖6.1.4傳感器模型二、慣性測(cè)量單元圖6.11三軸數(shù)字加速度計(jì)圖6.12三軸磁力計(jì)圖6.13IMU傳感器慣性測(cè)量單元IMU是一種組合測(cè)量傳感器，其具有三個(gè)加速度計(jì)和三個(gè)陀螺儀，可用來(lái)獲取運(yùn)動(dòng)載體的位姿信息的裝置；加速度計(jì)和陀螺儀相互垂直安裝，加速度計(jì)用來(lái)檢測(cè)物體在坐標(biāo)系上的加速度，陀螺儀利用載體相對(duì)空間的位置變化，再進(jìn)行坐標(biāo)變化檢測(cè)到物體的角速度；通過(guò)測(cè)量物體的角速度與加速度來(lái)計(jì)算物體的姿態(tài)。6.1.4傳感器模型三、里程計(jì)模型圖6.14相機(jī)透視投影模型（一）從世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換。6.1.4傳感器模型三、里程計(jì)模型（二）從相機(jī)坐標(biāo)系到物理成像平面坐標(biāo)的轉(zhuǎn)換。（三）從物理成像平面坐標(biāo)到計(jì)算機(jī)圖像坐標(biāo)的轉(zhuǎn)換。圖6.15視覺(jué)里程計(jì)實(shí)現(xiàn)流程圖6.1.4傳感器模型四、激光雷達(dá)傳感器模型圖6.17激光雷達(dá)三角測(cè)距原理圖6.18激光雷達(dá)飛行時(shí)間測(cè)量原理飛行時(shí)差測(cè)距法（TimeofFlight，TOF）是激光器發(fā)射激光脈沖，由計(jì)時(shí)器記錄出射時(shí)間，接收器接收往返光，計(jì)時(shí)器記錄返回時(shí)間，返回時(shí)間減出射時(shí)間，得到光的“飛行時(shí)間”。光速是已知的，因此在速度和時(shí)間已知的情況下，可以求得機(jī)器人與目標(biāo)物體之間的距離。6.1.4傳感器模型四、激光雷達(dá)傳感器模型（一）測(cè)量距離：TOF激光雷達(dá)可以測(cè)量更長(zhǎng)的距離，因此應(yīng)用更為廣泛，而三角測(cè)距法當(dāng)測(cè)量物體距離越遠(yuǎn)時(shí)，在CCD上所成的像的位置間差別就越小，超過(guò)一定距離時(shí)，CCD上的成像位置幾乎無(wú)法分辨。（二）采樣率：TOF激光雷達(dá)采樣率更高，因?yàn)轱w行時(shí)間測(cè)距一次測(cè)量只需一個(gè)激光脈沖，且時(shí)效性好，可以快速響應(yīng)。然而，三角雷達(dá)的計(jì)算時(shí)間較長(zhǎng)。（三）精度：三角法在近距離測(cè)量時(shí)的精度很高，但是隨著距離的增加，測(cè)量精度會(huì)隨之下降。由于TOF激光雷達(dá)的精度取決于飛行時(shí)間，時(shí)間測(cè)量精度不隨長(zhǎng)度的增加而變化，在幾十米的測(cè)量范圍內(nèi)都保持較高的測(cè)量精度。（四）轉(zhuǎn)速（幀率）：三角激光雷達(dá)的最大轉(zhuǎn)速通常在20Hz以下，而TOF激光雷達(dá)的最大轉(zhuǎn)速約為30Hz~50Hz。6.1.4傳感器模型一、多傳感器融合分類(lèi)（一）數(shù)據(jù)層的融合數(shù)據(jù)層融合也稱(chēng)像素層融合，是對(duì)傳感器原始信息的融合，屬于最低層融合方式。未經(jīng)處理的原始觀(guān)測(cè)信息直接通過(guò)數(shù)據(jù)層融合進(jìn)行加工和處理，然后再提取其信息特征進(jìn)行特征匹配。數(shù)據(jù)層融合對(duì)數(shù)據(jù)類(lèi)型有所要求，即傳感器感知觀(guān)測(cè)到的對(duì)象信息需要是同一類(lèi)型的數(shù)據(jù)。圖6.20像素層融合6.1.5多傳感器融合方法（二）特征層的融合特征層融合是指對(duì)傳感器信息進(jìn)行初步處理之后，將各自提取的特征點(diǎn)進(jìn)行統(tǒng)籌融合，屬于中間層融合，因此該方式同時(shí)具備了低層次和高層次的部分融合優(yōu)勢(shì)。該方法可分為目標(biāo)特征信息融合和目標(biāo)狀態(tài)信息融合。前者適用于目標(biāo)的跟蹤，通過(guò)對(duì)數(shù)據(jù)進(jìn)行配準(zhǔn)實(shí)現(xiàn)對(duì)狀態(tài)和參數(shù)的估計(jì)；后者適用于目標(biāo)的組合分類(lèi)，通過(guò)傳統(tǒng)的模式識(shí)別技術(shù)實(shí)現(xiàn)分類(lèi)再整合。圖6.21特征層融合一、多傳感器融合分類(lèi)6.1.5多傳感器融合方法（三）決策層的融合決策層融合屬于高層次的融合方式，與前兩者相比，這種融合的時(shí)間順序發(fā)生了主要變化；該方式在感知到數(shù)據(jù)信息后，對(duì)其進(jìn)行了特征提取和識(shí)別，之后才開(kāi)始融合過(guò)程，同樣融合之后可以返回用于決策，它直接響應(yīng)決策目標(biāo)，并為最終決策奠定基礎(chǔ)，是充分利用較完整信息的一種策略類(lèi)融合算法；通過(guò)策略類(lèi)的選擇評(píng)級(jí)，分?jǐn)?shù)更高的結(jié)果使其成為下一模塊的信息的輸入，不會(huì)增加過(guò)多的運(yùn)算負(fù)擔(dān)，還能夠擁有更好的魯棒性。圖6.22決策層融合一、多傳感器融合分類(lèi)6.1.5多傳感器融合方法二、多傳感器融合策略（一）加權(quán)平均法最簡(jiǎn)單的加權(quán)平均法是對(duì)一組傳感器的數(shù)據(jù)直接進(jìn)行加權(quán)平均運(yùn)算，每個(gè)傳感器的權(quán)值由經(jīng)驗(yàn)確定，并將此加權(quán)結(jié)果作為最終融合的信息。6.1.5多傳感器融合方法（二）卡爾曼濾波法卡爾曼濾波算法基于系統(tǒng)線(xiàn)性測(cè)量模型的統(tǒng)計(jì)特性進(jìn)行遞歸計(jì)算，動(dòng)態(tài)系統(tǒng)的狀態(tài)通過(guò)一系列噪聲數(shù)據(jù)來(lái)估計(jì)，實(shí)時(shí)更新和處理現(xiàn)場(chǎng)采集的數(shù)據(jù)。系統(tǒng)噪聲和系統(tǒng)的狀態(tài)都是呈現(xiàn)高斯分布的，因此對(duì)錯(cuò)誤信息較敏感。在數(shù)據(jù)層融合中，傳感器接收的數(shù)據(jù)常存在較大誤差，卡爾曼濾波法能有效減小數(shù)據(jù)間的誤差，提升融合效果。二、多傳感器融合策略6.1.5多傳感器融合方法（三）模糊邏輯模糊邏輯是一種不需要建立精確數(shù)學(xué)模型，將已有的經(jīng)驗(yàn)和知識(shí)直接通過(guò)模糊集合論構(gòu)建模型的方法。模糊邏輯是在人類(lèi)思維方式的基礎(chǔ)上，根據(jù)客觀(guān)事物認(rèn)知的統(tǒng)一特征，進(jìn)行歸納、提取、抽象和總結(jié)，最后轉(zhuǎn)化為模糊規(guī)則，來(lái)幫助相應(yīng)的函數(shù)確定結(jié)果。由于該方法不依賴(lài)數(shù)學(xué)模型，所以該方法可以應(yīng)用在各種復(fù)雜難以建?；騽?dòng)態(tài)特性常變的系統(tǒng)中。模糊邏輯的難點(diǎn)問(wèn)題：合理的指標(biāo)判斷規(guī)則和隸屬函數(shù)的構(gòu)建。二、多傳感器融合策略6.1.5多傳感器融合方法（四）神經(jīng)網(wǎng)絡(luò)算法神經(jīng)網(wǎng)絡(luò)算法是一種新出現(xiàn)的算法，其融合方法能對(duì)非線(xiàn)性系統(tǒng)進(jìn)行很好地處理和模型的泛化，并且可以較好地解決檢測(cè)系統(tǒng)的誤差問(wèn)題，實(shí)現(xiàn)了知識(shí)的自動(dòng)獲取及并行處理信息的能力。圖6.23神經(jīng)元的數(shù)學(xué)模型圖6.24網(wǎng)絡(luò)通用結(jié)構(gòu)二、多傳感器融合策略6.1.5多傳感器融合方法（五）貝葉斯估計(jì)貝葉斯的基本思想是：把現(xiàn)象的經(jīng)驗(yàn)推理和某種先前經(jīng)驗(yàn)結(jié)合，去估計(jì)事物的可能性。貝葉斯估計(jì)將每個(gè)傳感器作為一個(gè)貝葉斯分類(lèi)器，根據(jù)傳感器的先驗(yàn)概率分布，組合成聯(lián)合分布似然函數(shù)，然后根據(jù)不同的新觀(guān)測(cè)值更新聯(lián)合分布函數(shù)，并利用概率函數(shù)的極值完成融合。它要求系統(tǒng)具有正太分布，或者噪聲也是高斯分布的。貝葉斯估計(jì)還可以將傳感器采集的可信度低的信息剔除，提高了信息采集的準(zhǔn)確性。狀態(tài)方程：觀(guān)測(cè)方程：圖6.25狀態(tài)估計(jì)模型圖二、多傳感器融合策略6.1.5多傳感器融合方法（六）D-S證據(jù)理論D-S證據(jù)理論可以處理由于未知引起的不確定性，并將其轉(zhuǎn)換為一組以概率分布函數(shù)表示的不確定性描述集，得到概率函數(shù)來(lái)描述不同數(shù)據(jù)對(duì)命題結(jié)果的支持率，并通過(guò)推理得到目標(biāo)融合結(jié)果；該方法利用信任函數(shù)和非信任函數(shù)將證明區(qū)間分為支持、信任和拒絕三類(lèi)，在不確定信息的情況下對(duì)證明區(qū)間進(jìn)行快速分類(lèi)，分類(lèi)決策在最終的決策層進(jìn)行，以促進(jìn)最終結(jié)果的產(chǎn)生。圖6.26三類(lèi)證據(jù)關(guān)系圖二、多傳感器融合策略6.1.5多傳感器融合方法三、隱馬爾可夫模型與貝葉斯模型隱馬爾可夫過(guò)程基于兩個(gè)基本假設(shè)：

（一）齊次馬爾科夫假設(shè)，是指假設(shè)馬爾科夫過(guò)程在任意時(shí)刻的狀態(tài)只與前一時(shí)刻的狀態(tài)相關(guān)。

（二）觀(guān)測(cè)獨(dú)立性假設(shè)，是指任何時(shí)刻的觀(guān)測(cè)只與當(dāng)前時(shí)刻的狀態(tài)有關(guān)，與其他時(shí)刻觀(guān)測(cè)無(wú)關(guān)。

貝葉斯遞推過(guò)程基于狀態(tài)觀(guān)測(cè)和狀態(tài)更新：

（一）基于模型的狀態(tài)估計(jì)，也就是說(shuō)根據(jù)狀態(tài)轉(zhuǎn)移概率或者已知的真是測(cè)量值，計(jì)算預(yù)測(cè)概率分布，以得出狀態(tài)預(yù)測(cè)的均值和方差等估計(jì)值。

（二）基于觀(guān)測(cè)狀態(tài)更新，通過(guò)概率函數(shù)與狀態(tài)估計(jì)概率進(jìn)行積分系數(shù)歸一化處理，得到觀(guān)測(cè)轉(zhuǎn)移的后驗(yàn)概率分布，然后得到目標(biāo)觀(guān)測(cè)的均值和方差，計(jì)算卡爾曼增益。6.1.5多傳感器融合方法一、微型慣性單元與視覺(jué)數(shù)據(jù)融合最早出現(xiàn)的IMU處理方法是整合IMU數(shù)據(jù)，再積分處理，但該方法對(duì)位姿信息依賴(lài)性強(qiáng)，融合過(guò)程中計(jì)算量較大。為了解決這個(gè)問(wèn)題，學(xué)者們提出了IMU預(yù)積分法，該方法的核心思想是對(duì)兩幀間的IMU運(yùn)動(dòng)增量進(jìn)行計(jì)算，并提取增量積分中與初始值有關(guān)的數(shù)據(jù)，從而避免重復(fù)反饋過(guò)程優(yōu)化中的重復(fù)積分，提高計(jì)算效率。同時(shí)，兩幀之間的IMU預(yù)測(cè)分量可對(duì)這兩關(guān)鍵幀加以限制。

IMU視覺(jué)優(yōu)勢(shì)快速響應(yīng)；不受成像質(zhì)量影響；角速度比較準(zhǔn)確；可估計(jì)絕對(duì)尺度；存在零偏；低精度IMU積分位姿發(fā)散；高精度價(jià)格昂貴不產(chǎn)生漂移；直接測(cè)量旋轉(zhuǎn)與平移劣勢(shì)存在零偏；低精度IMU積分位姿發(fā)散；高精度價(jià)格昂貴受圖像遮擋和運(yùn)動(dòng)物體干擾；單目視覺(jué)無(wú)法測(cè)量尺度；單目純旋轉(zhuǎn)運(yùn)動(dòng)無(wú)法估計(jì)；快速運(yùn)動(dòng)時(shí)易丟失表6.1IMU與視覺(jué)定位特點(diǎn)比較6.1.6SLAM技術(shù)中的多傳感器信息融合一、微型慣性單元與視覺(jué)數(shù)據(jù)融合圖6.27基于濾波的松耦合圖6.28基于非線(xiàn)性?xún)?yōu)化的緊耦合6.1.6SLAM技術(shù)中的多傳感器信息融合二、2D激光雷達(dá)與RGB-D相機(jī)信息融合將激光雷達(dá)和RGB-D相機(jī)結(jié)合，可以實(shí)現(xiàn)激光數(shù)據(jù)和三維深度數(shù)據(jù)的同時(shí)采集，進(jìn)而建立激光雷達(dá)測(cè)距點(diǎn)與深度圖像點(diǎn)間的對(duì)應(yīng)關(guān)系，對(duì)檢測(cè)數(shù)據(jù)進(jìn)行融合，得到環(huán)境障礙物的位置。相機(jī)從空間中采集三維深度數(shù)據(jù)，使用針孔相機(jī)模型將真實(shí)世界中的三維坐標(biāo)點(diǎn)映射到二維平面以獲取深度圖像，將數(shù)據(jù)深度圖像轉(zhuǎn)換為虛擬激光測(cè)距數(shù)據(jù)。圖6.29英特爾RealSenseD455相機(jī)表6.2KinectV2參數(shù)配置參數(shù)彩色相機(jī)分辨率1920×1080深度相機(jī)分辨率512×424水平角度70°垂直角度60°骨骼關(guān)節(jié)數(shù)25個(gè)/人檢測(cè)范圍0.5~4.5m音效16bit，16kHz6.1.6SLAM技術(shù)中的多傳感器信息融合（一）相機(jī)標(biāo)定二者參考坐標(biāo)系不同，需要將多個(gè)傳感器的數(shù)據(jù)統(tǒng)一整合到一個(gè)參考坐標(biāo)系中進(jìn)行坐標(biāo)對(duì)準(zhǔn)，從而實(shí)現(xiàn)數(shù)據(jù)的粗糙融合。通過(guò)坐標(biāo)標(biāo)定，找到激光雷達(dá)坐標(biāo)系與Kinect圖像坐標(biāo)系間的關(guān)系，以實(shí)現(xiàn)激光雷達(dá)測(cè)距與Kinect的深度圖像數(shù)據(jù)的精確融合。圖6.31激光雷達(dá)與Kinect相機(jī)坐標(biāo)系圖6.32激光雷達(dá)的直角坐標(biāo)系與極坐標(biāo)系二、2D激光雷達(dá)與RGB-D相機(jī)信息融合6.1.6SLAM技術(shù)中的多傳感器信息融合（二）點(diǎn)云匹配激光點(diǎn)是真實(shí)環(huán)境中的曲面離散采樣，激光點(diǎn)到實(shí)際曲面的距離是最佳誤差范圍。常用的點(diǎn)云匹配算法為迭代最近點(diǎn)算法，將點(diǎn)間距離作為誤差，構(gòu)造誤差方程，易造成誤差匹配，增加迭代時(shí)間。通過(guò)用點(diǎn)到其最近兩點(diǎn)連線(xiàn)的距離，可以構(gòu)建誤差方程，有利于縮減迭代時(shí)間，增加算法時(shí)效性。深度相機(jī)模擬的點(diǎn)云和對(duì)應(yīng)的激光雷達(dá)點(diǎn)云空間坐標(biāo)集合分別為：二、2D激光雷達(dá)與RGB-D相機(jī)信息融合6.1.6SLAM技術(shù)中的多傳感器信息融合（三）傳感器數(shù)據(jù)融合在點(diǎn)云配準(zhǔn)得到兩傳感器間的位姿關(guān)系后，可將兩束激光轉(zhuǎn)換到同一坐標(biāo)系下進(jìn)行數(shù)據(jù)精確融合。該過(guò)程常用濾波思想來(lái)實(shí)現(xiàn)，由于經(jīng)典卡爾曼濾波對(duì)運(yùn)算場(chǎng)景有限制，只能用于高斯理想場(chǎng)景下。而基于經(jīng)典卡爾曼濾波演變的EKF算法，可以在粗融合的基礎(chǔ)上再進(jìn)行細(xì)化融合。（四）貝葉斯估計(jì)數(shù)據(jù)融合貝葉斯估計(jì)是一種利用先前經(jīng)驗(yàn)與經(jīng)驗(yàn)推理對(duì)狀態(tài)進(jìn)行估計(jì)的信息融合算法，該算法是在得到結(jié)果后重新修正的概率的基礎(chǔ)上進(jìn)行的。該方法通過(guò)觀(guān)測(cè)得到已知狀態(tài)向量Z，預(yù)測(cè)一個(gè)未知的n維狀態(tài)向量X，并且已知狀態(tài)向量z中包含有未知狀態(tài)向量X的信息。二、2D激光雷達(dá)與RGB-D相機(jī)信息融合6.1.6SLAM技術(shù)中的多傳感器信息融合三、視覺(jué)慣性激光雷達(dá)圖6.33VIL-SLAM系統(tǒng)圖圖6.34固定滯后位姿圖示慣性測(cè)量單元具有抗干擾能力強(qiáng)、可信度高、獨(dú)立性強(qiáng)等優(yōu)點(diǎn)，而3D激光雷達(dá)具有測(cè)量范圍廣、可以直接得到較為準(zhǔn)確的深度信息、計(jì)算負(fù)擔(dān)小以及受光照影響小等優(yōu)點(diǎn)，恰巧可以彌補(bǔ)視覺(jué)傳感器受劇烈運(yùn)動(dòng)、無(wú)環(huán)境紋理、光照條件不好等外界環(huán)境的影響，進(jìn)而提高了系統(tǒng)的魯棒性、健壯性以及廣泛適用性。6.1.6SLAM技術(shù)中的多傳感器信息融合物理層：也叫做傳感器層，負(fù)責(zé)原始信號(hào)的采集，獲取物理世界的信息；應(yīng)用服務(wù)層：把采集到的信息進(jìn)行局部功能封裝，成為具有特定服務(wù)功能的模塊；應(yīng)用開(kāi)發(fā)層：借助第三方開(kāi)發(fā)工具、算法等對(duì)下層的功能模塊進(jìn)一步集成；應(yīng)用層：面向最終的用戶(hù)，針對(duì)具體應(yīng)用定制自己的系統(tǒng)。6.2.1機(jī)器人感知系統(tǒng)概述相互合作型可以分為四類(lèi)：一、水平型合作：每個(gè)模塊可以獨(dú)立獲取問(wèn)題決策而不必依賴(lài)于其他模塊，而它與其他模塊的合作可以增加決策的可信度；

二、樹(shù)型合作：一個(gè)高級(jí)的模塊必須依靠低級(jí)的模塊才能獲得問(wèn)題的決策；三、遞歸型合作：為了取得問(wèn)題的決策各模塊之間具有相互依賴(lài)的關(guān)系；四、混合型合作：它是前三種合作類(lèi)型的有機(jī)結(jié)合。6.2機(jī)器人感知系統(tǒng)控制機(jī)器人感知系統(tǒng)標(biāo)準(zhǔn)化工作的必要性：

一、仿人機(jī)器人智能化很大程度上取決于其感知能力，其傳感器種類(lèi)越來(lái)越多，對(duì)可重用和互置換的要求迫在眉睫；

二、現(xiàn)場(chǎng)總線(xiàn)的標(biāo)準(zhǔn)各自為政，需要統(tǒng)一的通信協(xié)議來(lái)約束，方便用戶(hù)的操作；

三、國(guó)家的戰(zhàn)略需求，國(guó)內(nèi)機(jī)器人及傳感器產(chǎn)業(yè)現(xiàn)狀迫切需要制訂的相應(yīng)的標(biāo)準(zhǔn)，實(shí)現(xiàn)工業(yè)化級(jí)別的規(guī)模生產(chǎn)，降低制造成本。6.2.1機(jī)器人感知系統(tǒng)概述主控模塊主要是進(jìn)行各種信息數(shù)據(jù)的處理，可以讓每一個(gè)功能模塊都能更好的來(lái)完成它們各自的任務(wù)。圖6.35STM32F芯片主控單元模板ARM是通常意義所說(shuō)的高效能RISC，使用了經(jīng)過(guò)精簡(jiǎn)設(shè)計(jì)的指令系統(tǒng)，基于該芯片的微控制器在功耗和體積上都大大減小，設(shè)計(jì)也可以更加簡(jiǎn)潔；DSP是數(shù)字信號(hào)處理器，顧名思義，DSP只負(fù)責(zé)數(shù)字信號(hào)處理，難以實(shí)現(xiàn)和普通處理器一樣的通用計(jì)算；PLC是可編程邏輯控制器，PLC和工控機(jī)在控制性能上都很優(yōu)異，二者缺點(diǎn)是相較于微處理器，其體積和功耗更大，價(jià)格更貴。6.2.2主控電路設(shè)計(jì)一、氣體傳感器氧氣是人類(lèi)正常生活必不可少的氣體，因此氧氣濃度是重要的檢測(cè)參數(shù)?？扇夹詺怏w，以瓦斯為主要代表，其主要成分是烷烴，其中甲烷含量所占比例最高，其次還有少量的乙烷、丙烷和丁烷。烷烴類(lèi)氣體具有易燃易爆的特點(diǎn)，而且濃度過(guò)高時(shí)也可造成缺氧，甚至使人窒息死亡。分類(lèi)優(yōu)點(diǎn)缺點(diǎn)半導(dǎo)體響應(yīng)速度快、檢測(cè)靈敏度高、結(jié)構(gòu)簡(jiǎn)單、價(jià)格低廉測(cè)量線(xiàn)性范圍小，受背景氣體干擾較大電化學(xué)線(xiàn)性和重復(fù)性較好，體積小，功耗小，分辨率較高，壽命較長(zhǎng)易受干擾，靈敏度受溫度變化影響較大催化燃燒式對(duì)環(huán)境濕度、溫度的影響不敏感，近線(xiàn)性的輸出信號(hào)，響應(yīng)快精度低，電流功耗大，對(duì)可燃性氣體無(wú)選擇性，有引燃爆炸的危險(xiǎn)，易中毒紅外式無(wú)需加熱、響應(yīng)速度快、精度高、靈敏度高、壽命長(zhǎng)技術(shù)不夠成熟，制造成本高，使用復(fù)雜表6.3氣體傳感器的分類(lèi)及各自?xún)?yōu)缺點(diǎn)對(duì)比圖6.36MQ-2氣體傳感器化石能源生產(chǎn)和消耗環(huán)境氣體檢測(cè)主要分三大類(lèi)：氧氣檢測(cè)、有毒氣體檢測(cè)和可燃性氣體檢測(cè)。6.2.3多傳感器接口設(shè)計(jì)二、溫度傳感器

消防的目的就是為了救災(zāi)滅火，防止火勢(shì)進(jìn)一步蔓延而造成更多的損失，對(duì)環(huán)境的溫度測(cè)量有助于消防工作。同時(shí)，為保護(hù)機(jī)器人內(nèi)部元器件，防止高溫對(duì)機(jī)器人的損害，可以采用機(jī)器人暫時(shí)遠(yuǎn)離火場(chǎng)，或者噴水自冷卻等保護(hù)措施，則還需探測(cè)機(jī)器人內(nèi)部的溫度，來(lái)判斷何時(shí)該啟動(dòng)保護(hù)措施。因此溫度傳感器需包括車(chē)內(nèi)和車(chē)外溫度傳感器。三、超聲波傳感器

機(jī)器人在行進(jìn)過(guò)程中，有時(shí)會(huì)遇到各種障礙物、崎嶇路段，為保證車(chē)體順利前進(jìn)，不被障礙物阻隔，或者遇到洼地、較大的坑時(shí)被陷入無(wú)法動(dòng)彈，我們需要增加一些測(cè)距傳感器，測(cè)量車(chē)體與前方物體的距離，通過(guò)距離大小來(lái)判斷機(jī)器人周?chē)范吻闆r。當(dāng)判斷出前方有較高較大阻礙物，或者深坑、洼地等不良路面時(shí)，機(jī)器人需要提前避開(kāi)，當(dāng)阻礙物較低較小，或者路面情況良好時(shí)，機(jī)器人可以直接碾過(guò)去，因此還需注意傳感器在車(chē)體上的安放位置。6.2.3多傳感器接口設(shè)計(jì)在機(jī)器人感知系統(tǒng)設(shè)計(jì)方面，現(xiàn)階段較為成熟的是就是統(tǒng)一建模語(yǔ)言（UnifiedModelingLanguage,UML，UML在面向?qū)ο竽Ｐ偷谋硎痉矫娴玫搅藦V泛的認(rèn)可。（一）邏輯視圖，解決了系統(tǒng)的功能需求，是設(shè)計(jì)模型的抽象，并確定了主要的設(shè)計(jì)包、子系統(tǒng)和類(lèi)；（二）實(shí)現(xiàn)視圖，從打包、分層和配置管理的角度描述組織中的靜態(tài)模塊；（三）進(jìn)程視圖，處理系統(tǒng)運(yùn)行時(shí)任務(wù)、線(xiàn)程或進(jìn)程的并發(fā)方面及其交互；（四）部署視圖，顯示底層平臺(tái)或計(jì)算節(jié)點(diǎn)中各種可執(zhí)行文件和其他運(yùn)行時(shí)組件的映射；（五）用例視圖，在初始階段和精化階段推動(dòng)架構(gòu)的發(fā)現(xiàn)和設(shè)計(jì)，稍后將用于驗(yàn)證不同的視圖。表6.4

UML表現(xiàn)不同的視圖名稱(chēng)視圖主要符號(hào)組合結(jié)構(gòu)圖表現(xiàn)架構(gòu)需求，主要包括Part、Port接口和鏈接Part

、Port、接口、連接關(guān)系用例圖表現(xiàn)功能需求，

主要包括用例和參與者用例、參與者、關(guān)聯(lián)關(guān)系類(lèi)圖表現(xiàn)靜態(tài)結(jié)構(gòu)，

主要包括一群類(lèi)及其間的靜態(tài)關(guān)系關(guān)聯(lián)關(guān)系、泛化關(guān)系序列圖表現(xiàn)一群對(duì)象依序傳送消息的交互狀況對(duì)象、消息、活動(dòng)期對(duì)象圖表現(xiàn)某時(shí)刻下的數(shù)據(jù)結(jié)構(gòu)，

主要包括一群對(duì)象及其間擁有的數(shù)據(jù)數(shù)值對(duì)象、鏈接、消息協(xié)作圖表現(xiàn)一群有鏈接的對(duì)象傳送消息的交互狀況對(duì)象、鏈接6.2.4UML機(jī)器人感知系統(tǒng)設(shè)計(jì)UML的主要特點(diǎn)：（一）統(tǒng)一的標(biāo)準(zhǔn)。UML統(tǒng)一了眾多方法中的基本概念，并被OMG接受為標(biāo)準(zhǔn)的建模語(yǔ)言，越來(lái)越多的開(kāi)發(fā)人員和廠(chǎng)商開(kāi)始支持并使用UML進(jìn)行軟件開(kāi)發(fā)。（二）UML吸取了其它流派的長(zhǎng)處，包括一些非常規(guī)方法的影響，同時(shí)也溶入了軟件工程領(lǐng)域的新思想、新方法和新技術(shù)，它是開(kāi)發(fā)者依據(jù)最優(yōu)方法和豐富的計(jì)算機(jī)科學(xué)實(shí)踐經(jīng)驗(yàn)綜合提煉而成的。（三）UML在演變過(guò)程中提出了一些新的概念，如模板、擴(kuò)展機(jī)制、線(xiàn)程、分布式、并發(fā)等，為分布式、并發(fā)以及實(shí)時(shí)系統(tǒng)等的開(kāi)發(fā)提供了支持。（四）面向?qū)ο?、可視化、表示能力?qiáng)大。豐富的符號(hào)表示使得UML成為眾多應(yīng)用程序領(lǐng)域中有關(guān)獲得系統(tǒng)文件、規(guī)格說(shuō)明、捕獲用戶(hù)需求、定義初始軟件體系結(jié)構(gòu)的一種受歡迎的建模語(yǔ)言。（五）獨(dú)立于過(guò)程。UML不依賴(lài)于特定的軟件開(kāi)發(fā)過(guò)程，這也是它被眾多軟件開(kāi)發(fā)人員接受的一個(gè)原因。（六）概念明確，建模表示法簡(jiǎn)潔，圖形結(jié)構(gòu)清晰，容易掌握和使用。6.2.4UML機(jī)器人感知系統(tǒng)設(shè)計(jì)UML建模分為三個(gè)建模過(guò)程：（一）概念級(jí)：確定所需解決的問(wèn)題以及目標(biāo)，常采用黑盒方式確立角色和用例，然后繪制用例圖，角色可以是人，也可以是物，機(jī)器人感知系統(tǒng)中的用戶(hù)是普通用戶(hù)和設(shè)計(jì)人員，用例是系統(tǒng)所提供的功能模塊。（二）邏輯級(jí)：詳細(xì)分析用例的基本信息和工作流程，整個(gè)分析過(guò)程可以分為靜態(tài)描述和動(dòng)態(tài)描述。其中靜態(tài)描述主要是明確系統(tǒng)的關(guān)鍵要素，可以使用類(lèi)圖、對(duì)象圖等進(jìn)行描述，感知系統(tǒng)的關(guān)鍵要素為：微處理器、存儲(chǔ)器、總線(xiàn)、接口等，其關(guān)系為關(guān)聯(lián)關(guān)系，接口可以派生出鍵盤(pán)、顯示器、以太網(wǎng)等多個(gè)子模塊。圖6.37UML建模圖形類(lèi)別（三）物理級(jí)：主要考慮系統(tǒng)的實(shí)際結(jié)構(gòu)以及物理部署，包括設(shè)備之間的連接、分布情況、組件之間的物理關(guān)系。終上所述，機(jī)器人感知系統(tǒng)的設(shè)計(jì)是軟硬件互相嵌套的組合方式，可以將從中抽取相對(duì)固定的組件以及組件端口，組合出多樣化的感知系統(tǒng)，同時(shí)組件可以分散提前開(kāi)發(fā)，加快組合速度，并且可以外購(gòu)線(xiàn)程組件以降低成本，為感知系統(tǒng)的模塊化設(shè)計(jì)提供基礎(chǔ)。6.2.4UML機(jī)器人感知系統(tǒng)設(shè)計(jì)一、通信原理圖6.38機(jī)器人無(wú)線(xiàn)通信無(wú)論是數(shù)據(jù)傳輸還是視頻傳輸，都需要通過(guò)無(wú)線(xiàn)發(fā)射模塊和無(wú)線(xiàn)接收模塊來(lái)實(shí)現(xiàn)：數(shù)傳模塊和圖傳模塊均有獨(dú)立的一套無(wú)線(xiàn)發(fā)射器和無(wú)線(xiàn)接收器，其各自有一個(gè)互不干擾的傳輸頻段，設(shè)定好工作頻段即可實(shí)現(xiàn)信號(hào)在無(wú)線(xiàn)模塊之間傳輸。無(wú)線(xiàn)數(shù)傳時(shí)，無(wú)線(xiàn)傳輸模塊既可作發(fā)射器，也可作接收器，信號(hào)可在兩個(gè)模塊之間雙向發(fā)射和接收，而無(wú)線(xiàn)圖傳時(shí)，發(fā)射器與攝像頭連接，接收器與顯示器連接，由于無(wú)需給攝像頭下達(dá)控制指令，所以圖像信息是單向傳輸。6.2.5傳感器通訊模塊設(shè)計(jì)無(wú)線(xiàn)傳輸?shù)氖巧衔粰C(jī)與下位機(jī)之間的指令、數(shù)據(jù)、圖像等，包括上位機(jī)發(fā)出的控制指令，以及下位機(jī)對(duì)各個(gè)傳感器、電機(jī)、攝像頭的控制以及數(shù)據(jù)、圖像的采集，并返回給上位機(jī)顯示，即控制信號(hào)、數(shù)據(jù)信號(hào)和視頻信號(hào)的無(wú)線(xiàn)傳輸，其中控制信號(hào)和數(shù)據(jù)信號(hào)可用同一無(wú)線(xiàn)設(shè)備傳輸。圖6.39機(jī)器人數(shù)傳模塊數(shù)傳模塊圖傳模塊圖6.40機(jī)器人攝像頭與圖傳模塊二、模塊選擇6.2.5傳感器通訊模塊設(shè)計(jì)（一）結(jié)構(gòu)分離原則（軟硬件分離原則）：分級(jí)別、分層次結(jié)構(gòu)分離原則是考慮機(jī)器人系統(tǒng)設(shè)計(jì)的分工和效率。目前現(xiàn)有的機(jī)器人系統(tǒng)專(zhuān)用性強(qiáng)，通常采用源自專(zhuān)業(yè)領(lǐng)域的整體系統(tǒng)設(shè)計(jì)方法。

（二）功能分離原則（通用專(zhuān)用分離原則）：平臺(tái)無(wú)關(guān)和平臺(tái)相關(guān)原則功能分離是功能構(gòu)件體系的基本出發(fā)點(diǎn)。（三）復(fù)合原則（可組合性）：由于機(jī)器人功能具有可以復(fù)合的特點(diǎn)，模塊化機(jī)器人的功能構(gòu)件應(yīng)當(dāng)具有可組合性，即應(yīng)當(dāng)具有可以復(fù)合的特性。（四）開(kāi)放原則（可擴(kuò)展性）：對(duì)機(jī)器人本身構(gòu)造來(lái)講，為了提高機(jī)器人軟件的復(fù)用性，實(shí)現(xiàn)源碼開(kāi)放，資源共享，一些開(kāi)源的機(jī)器人軟件工程獲到了快速發(fā)展，提出了自己的復(fù)用解決方案。一、硬件模塊化設(shè)計(jì)基本原則6.2.6控制系統(tǒng)硬件設(shè)計(jì)二、底層節(jié)點(diǎn)模塊三、傳感器模塊機(jī)器人感知系統(tǒng)的硬件平臺(tái)設(shè)計(jì)的基本任務(wù)是根據(jù)其所連接的各種傳感器的輸出方式設(shè)計(jì)相應(yīng)的信號(hào)接口處理電路，用于傳感器的信號(hào)轉(zhuǎn)換和處理。傳感器模塊總體來(lái)說(shuō)包括執(zhí)行器、模擬傳感器和數(shù)字傳感器，該模塊是直接與物理世界連接的裝備，一切信號(hào)的來(lái)源，實(shí)現(xiàn)物理信號(hào)到數(shù)字信息的轉(zhuǎn)換。機(jī)器人感知系統(tǒng)節(jié)點(diǎn)是傳感器與計(jì)算機(jī)或傳感器網(wǎng)絡(luò)之間連接的橋梁，解決傳感器的異構(gòu)性帶來(lái)的諸多問(wèn)題，完成從原始信號(hào)到數(shù)據(jù)的數(shù)據(jù)流過(guò)程，一般是指?jìng)鞲衅髋c計(jì)算機(jī)或傳感器網(wǎng)絡(luò)之間的硬件連接設(shè)備，主要包括傳感器信號(hào)的轉(zhuǎn)換、調(diào)理電路，有時(shí)還包括模數(shù)轉(zhuǎn)換器以及數(shù)據(jù)通訊的總線(xiàn)接口。6.2.6控制系統(tǒng)硬件設(shè)計(jì)一、機(jī)