機器人傳感器課件

機器人傳感器第七章機器人傳感器第一節(jié)機器人傳感器功能與分類第二節(jié)機器人視覺傳感器1、人眼與視覺2、機器人視覺方法3、機器人圖像處理技術4、機器人立體視覺第三節(jié)機器人觸覺傳感器1、接觸覺傳感器2、壓覺傳感器3、力覺傳感器4、滑覺傳感器5、仿生皮膚第四節(jié)機器人接近覺傳感器1、電磁式接近覺傳感器2、光電式接近覺傳感器3、超聲波接近覺傳感器機器人傳感器第七章第一節(jié)機器人1第一節(jié)機器人傳感器分類PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity機器人分類機器人傳感器的特點傳感器的信號獲取與處理過程機器人傳感器的分類第一節(jié)機器人傳感器分類PrinciplesandA2第一節(jié)機器人傳感器功能與分類機器人是由計算機控制的能模擬人的感覺、手工操縱和具有自動行走能力而又足以完成有效工作的裝置。機器人分類：第一代機器人：進行程式化操作的機器，完成一系列預置動作。未采用傳感器，不能適應外界環(huán)境的變化。第二代機器人：采用傳感器，具有初步感覺和反饋控制能力，能進行識別、選取和判斷。具有初步智能。第三代機器人：更高一級智能機器，“電腦化”是其重要標志。Robot是捷克語“奴工”的意思，捷克劇作家卡魯·卡帕克1920年一部劇本中的“人物”，一種具有人類特征的機器。第一節(jié)機器人傳感器功能與分類機器人是由計算機控制的能模擬3對敏感材料的柔性和功能有特定要求。機器人傳感器的特點獲取的信息實時地用于控制，用以決定機器人的行動。有別于其它種類的傳感器，機器人傳感器信息收集能力強：既能獲取信息，又緊隨環(huán)境狀態(tài)進行大幅度變化。機器人傳感器既包括傳感器本身，也包含傳感器的信號處理。它由獲取信息和處理信息兩部分有機地構成。對敏感材料的柔性和功能有特定要求。機器人傳感器的特點獲取的信4傳感器的信號獲取與處理過程信號獲取→信號處理→信號提取→數(shù)據(jù)解釋等幾個層次。并非所有傳感器的信號處理都要經過這四個全過程。如視覺和高密度壓覺傳感器一般需經過③和④的的過程。位置、接近覺和壓覺等傳感器僅經過②過程。接觸覺傳感器多半是經過①過程。傳感器的信號獲取與處理過程信號獲取→信號處理→信號提取→數(shù)據(jù)5內部檢測傳感器傳感器的分類：以機器人本身的坐標軸來確定其位置，用來感知運動學參數(shù)。通過內部檢測傳感器，機器人可以了解自己的工作狀態(tài)，調整和控制自己按照一定的位置、速度、加速度、壓力和軌跡等進行工作。外部檢測傳感器用于獲取周圍環(huán)境或者目標物狀態(tài)特征的信息，是機器人與周圍進行交互工作的信息通道。其功能是讓機器人對環(huán)境有自校正和自適應能力，很好地執(zhí)行工作。接近覺、視覺、聽覺、嗅覺、味覺等傳感器。內部檢測傳感器傳感器的分類：以機器人本身的坐標軸來確定其位置6機器人傳感器的分類及應用機器人傳感器的分類及應用7PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第二節(jié)機器人視覺傳感器機器人視覺方法人眼與視覺機器人圖像處理技術機器人立體視覺PrinciplesandApplicationsof8一、人眼與視覺人的80%以上的外界信息通過視覺所獲取。對于機器人來說，視覺傳感器也是最重要的傳感器。人眼視覺是立體的，就是說能將視場中的物體區(qū)別出遠近。第二節(jié)機器人視覺傳感器1、人眼的結構眼球壁外層（角膜、鞏膜）中層（虹膜、睫狀體、脈絡膜）內層（視網膜）屈光系統(tǒng)感光系統(tǒng)角膜晶狀體房水睫狀肌視網膜視神經視中樞黃斑一、人眼與視覺人的80%以上的外界信息通過視覺所獲取9單眼成像單眼成像10黃斑Maculalutea(直徑約2mm)雙眼注視無窮遠的點，無窮遠點與雙目的夾角θ=0，無窮遠的點經水晶體成的像都落在左右眼的黃斑處；=0天空遠景，處于無窮遠雙眼成像視網膜上視覺最敏銳的部位視乳頭(視盤)(直徑約1．5mm)沒有視細胞，在視野中是生理盲點黃斑雙眼注視無窮遠的點，無窮遠點與雙目的夾角θ=0，無窮遠11人的雙眼從不同的方位獲取同一景物的信息，各自得到關于景物的二維圖像，這左右兩幅圖像有著微小的區(qū)別，這種區(qū)別就叫做視差。人的雙眼從不同的方位獲取同一景物的信息，各自得到關于景物的二12人腦通過對左右兩幅圖像視差的分析和處理，可以得到關于景物的光亮度、形狀、色彩、空間分布等等信息。人腦通過對左右兩幅圖像視差的分析和處理，可以得到關于景物的光13雙眼注視有限距離點B，B在視網膜上的像也落在左右眼的黃斑位置B1和Br。2、人眼的立體視覺B點相對于左右眼的兩視線的夾角O1BOr稱作視差角，用θb表示。為了觀看物點B，眼睛將偏轉一定量的會聚角φ。B相對于人眼的距離Zb為：

Zb=b/tgφ A點的像分別為A1和Ar，設線視差分別為Δl、Δr。θb=2φ雙眼注視有限距離點B，B在視網膜上的像也落在左右眼的黃斑位置14根據(jù)A點的線視差計算得：線視差是描述物點在空間中位置的重要參數(shù)，在機器人立體視覺中，視差也是一個十分重要的判定景物空間分布的因素之一。根據(jù)A點的線視差計算得：線視差是描述物點在空間中位置的重要參151、激光掃描法二、機器人視覺方法在OlenA’D中綜合上式計算得tgα=x/Lf在AOlenM’中OM=(Z+Ll)

×tgα=x×(Z+Ll)/Lf在AOlaserM中MOlaser=Z×ctgβOM+MOlaser=b另外A點的另外兩個坐標值Z=(bLf–xLl)/(x+Lftgβ)X=x(btgβ+Ll)/(xtgβ+Lf)Y=y(btgβ+Ll)/(xtgβ+Lf)1、激光掃描法二、機器人視覺方法在OlenA’D中綜合上式16機械掃描裝置把激光光束投向景物空間，按照一定的順序對景物空間進行二維掃描，即可得到景物空間各點的距離信息。如果用扇形光束代替點光束，只需進行一維掃瞄，就能快速測定CCD圖像畫面內全部點的距離信息。機械掃描裝置把激光光束投向景物空間，按照一定的順序對景物空間172、立體攝影法物點A和B兩視線的夾角O1AO2稱作視差角：點A和B視差角的差值Δθab稱作立體視差：Δθab=θa-θbθa=2b/Za 2b——CCD攝像機光軸間的距離視差角的大小表征了物點的遠近，圖中：θa>θb，物點A較B近。立體視差Δθab的正負也能表征物點的遠近。在CCD成像面上，物體的角視差實際上是以線視差來表現(xiàn)的。2、立體攝影法物點A和B兩視線的夾角O1AO2稱作視差角18設坐標A點的線視差ΔXaAl(Xal、Yal、Zal)Ar(Xar、Yar、Zar)Bl(Xal、Yal、Zal)Br(Xar、Yar、Zar)設坐標A點的線視差ΔXaAl(Xal、19A、B兩點的線視差ΔXa、ΔXb物點A和物點B之間的相對線視差ΔXab為由二維圖像中的線視差和相對線視差，可以推算出空間物點的三維信息。A、B兩點的線視差ΔXa、ΔXb物點A和物點B之間的相20三、機器人圖像處理技術機器人圖像第一步是初級處理，內容主要有：從灰度圖中尋找圖像邊緣和分割圖像通過圖像的分割，機器人可以區(qū)分出所關心的特定的對象（即整個畫面中的一部分圖像）。為了識別特征物體，常用具有標準姿勢的物體圖像與所拍攝的物體圖像相比較。同樣出于對姿態(tài)調整的考慮，需要計算圖像兩個垂直的主慣性軸的方向。簡單的圖像分割方法有閾值處理和邊緣檢測兩種。求取圖像重心位置提取圖像的兩個垂直的主慣性軸視覺獲取的任意姿態(tài)物體圖像，需要進行姿態(tài)調整，其第一步就是計算出物體的重心點坐標。三、機器人圖像處理技術機器人圖像第一步是初級處理，內容主要有21對圖像的初級處理，可以識別物體的形狀特征、區(qū)分出物體在背景中所處的的位置。具有圖像初級處理能力的機器人往往能滿足在工業(yè)應用中的要求。對圖像的初級處理，可以識別物體的形狀特征、區(qū)分出物體在背景中221、圖像的分割算法根據(jù)適當?shù)幕叶乳撝祎h將圖像的轉變成二值化圖像，便于圖像分割。1）閾值處理法閾值的獲得途徑：二維圖像函數(shù)f（x，y），假設其二值化之后的圖像函數(shù)為：ft（x，y），則：1）由圖像灰度分布概率，用最小二乘法準確計算2）實驗法1、圖像的分割算法根據(jù)適當?shù)幕叶乳撝祎h將圖像的轉變成二23雙峰值特性的圖像物體背景1(1)2(2)——期望值——協(xié)方差假定其灰度分布服從正態(tài)分布，其概率密度函數(shù)聯(lián)合概率密度：P1、P2為兩個峰下面的面積，且：P1+P2

=1雙峰值特性的圖像物體背景1(1)2(2)——期24以閾值th分割圖像thE1(th)E2(th)背景當物體的概率：物體當背景的概率：物體背景總誤差概率：E(th

)=P2E1

(th)+P1

E2(th

)p2(t)p1(t)關于

t微分，取dE(t)

/dt=0，得：P2p2

(th

)=P1p1(th)以閾值th分割圖像thE1(th)E2(th)背景當物體的25若P1=P2，則最佳閾值

t為：將p2(t)

和p1(t)

代入上式，得：Ath

2

+Bth+C=0A=σ12+σ22B=2(μ1σ22-μ2σ12)C=μ22σ12

-μ12σ22

+2σ12σ22

ln(σ2P1/σ1P2)如果σ12

=σ22

=σ2

，則：若P1=P2，則最佳閾值t為：將p2(t)26thth272）微分邊緣檢測法：2）微分邊緣檢測法：282）微分邊緣檢測法：xxx2）微分邊緣檢測法：xxx292）微分邊緣檢測法：設圖像f（x，y）原坐標（x，y）旋轉θ角，新坐標為（x’，y’）兩者的關系：

x=x'cosθ–y'sinθy=x'sinθ–y'cosθ圖像函數(shù)f（x，y）沿x、y和x’、y’方向的灰度變化率為：2）微分邊緣檢測法：設圖像f（x，y）原坐標（x，y）旋轉30上式對θ微分，并令其為0梯度的大小灰度變化最陡的方向在數(shù)字圖像中，用差分代替微分圖像的梯度矢量的大?。簣D像的梯度矢量的方向：例如Sobel算子x方向y方向上式對θ微分，并令其為0梯度的大小灰度變化最陡的方向在數(shù)字圖312、重心點及慣性矩計算圖像灰度函數(shù)f(i，j)的重心坐標xc、ycm——象素最大列數(shù)n——象素最大行數(shù)圖像灰度值總和x(i)y(j)xc、ycf(i，j)2、重心點及慣性矩計算圖像灰度函數(shù)f(i，j)的重心坐32圖像的慣性矩Ix、Iy、Ixy圖像的主慣性矩I’x、I’y、I’xy偏角φ：圖像的慣性矩Ix、Iy、Ixy圖像的主慣性矩I’x、I’y、33原坐標系和新坐標系的變換關系x2=[(x0

–xc

)cosφ-(

y0–yc

)sinφ]+xcy2

=[(x0

–xc

)sinφ-(

y0–yc

)cosφ]+yc比對圖像原始圖像圖像調整原坐標系和新坐標系的變換關系x2=[(x0–xc34StereovisionofMarsRoverStereovisionofMarsRover35StereoGraphicsdevelopedthespecial3-DglassescalledCrystalEyes

StereoGraphicsdevelopedthes36PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第三節(jié)機器人觸覺傳感器接觸覺傳感器壓覺傳感器力覺傳感器滑覺傳感器仿生皮膚PrinciplesandApplicationsof37一、接觸覺傳感器第三節(jié)機器人觸覺傳感器機械人觸覺可分為：接觸覺、壓覺、力覺、滑覺等幾種。用來檢測機器人的某些部位與外界物體接觸與否，例如感受是否抓住零件，是否接觸地面等。一、接觸覺傳感器第三節(jié)機器人觸覺傳感器機械人觸覺可分為：38機器人傳感器課件39機器人傳感器課件40模擬開關A/D轉換計算機_+_+_+_+陣列掃描電路模擬開關A/D轉換計算機_+_+_+_+陣列掃描電路41二、壓覺傳感器用來檢測機器人手指的握持面上承受的壓力大小和分布。特點：小型輕便、響應快、陣列密度高、在線性好、可靠性高等。常用的敏感材料：導電橡膠或塑料、偏聚二氟乙烯薄膜（PVF2）、應變片陣列、磁彈性式壓磁傳感器陣列（如針式差動變壓器、霍爾元件）、光電傳感器陣列等。二、壓覺傳感器用來檢測機器人手指的握持面上承42Vo=Vp

[(Cx-CR)/CF]=Vp(ΔC/CF)

Vo=Vp[(Cx-CR)/CF]43三、力覺傳感器腕力傳感器發(fā)展趨勢：用于感知機器人的指、肢和關節(jié)等在工作和運動中所受力的大小和方向，從而決定如何運動、采用什么姿勢、以及推測對象物體的重量等。特點是感知多維的作用力。間接輸出型腕力傳感器將傳感器本身設計的簡單化，經過復雜的計算求出傳遞矩陣，使用時要經過矩陣運算才能提取出六個力分量。直接輸出型腕力傳感器傳感器結構比較復雜，簡單的計算就能提取六個分量，甚至可以直接得到六個分量。三、力覺傳感器腕力傳感器發(fā)展趨勢：用于感知機44材料：鋁筒式六自由度腕力傳感器X、Y、Z方向：力——Fx、Fy、Fz轉矩——Mx、My、MzFx=K1（Py++Py-

）Fy=K2（Px++Px-）Fz=K3（Qx++Qx-+Qy++Qy-） Mx=K4（Qy+-Qy-）My=K5（-Qx++Qx-）Mz=K6（Px+-Px--Py++Py-）K1、K2、K3、K4、K5、K6為比例系數(shù)，與各根梁所貼應變片的應變靈敏度有關。XYZ材料：鋁筒式六自由度腕力傳感器X、Y、Z方向：Fx=K145材料：鋁撓性件十字梁式腕力傳感器梁側面貼應變片手臂尼龍球（易于伸縮）相對面上的兩片應變片構成一組半橋，共8只應變計，輸出參數(shù)fx1、fx3、fy1、fy2、fy3、fy4、fz2、fz4X、Y、Z的力：Fx、Fy、Fz力矩：Mx、My、Mz： Fx=-fx1

-fx3 Fy=-fy1-fy2

-fy3-fy4 Fz=-fz2-fz4 Mx=afz2+afz4

+bfy1-bfy3 My=-bfx1+bfz4

+bfz2–bfz4 Mx=-afx1–afx3

–bfy2+bfy4

材料：鋁撓性件十字梁式腕力傳感器梁側面貼應變片手臂尼龍球相對46四、滑覺傳感器用于機器人感知手指與物體接觸面之間相對運動（滑動）的大小和方向，從而確定最佳大小的把握力，以保證既能握住物體不產生滑動，又不至于因用力過大而使物體發(fā)生變形或被損壞。四、滑覺傳感器用于機器人感知手指與物體接觸面47四、仿生皮膚聚偏二氟乙烯（PVDF）觸覺傳感器PVDF薄膜與物體有相對滑移時，指紋或凸點變形，引起誘導振動，發(fā)生應力變化，產生電荷。表皮信號輸出PVDF（厚幾十微米）橡膠基底外殼四、仿生皮膚聚偏二氟乙烯（PVDF）觸覺傳感器PVDF薄膜與48觸、滑、溫覺傳感器上層為兩面鍍銀的整塊PVDF，兩面引出電極，可以獲取溫覺、觸覺信號。橡膠基底下層PVDF隔熱層加熱層上層PVDF橡膠表層下層PVDF鍍有條狀電極，引線由導電膠粘接后引出，可以獲取壓覺和滑覺信號。上下兩層PVDF之間，有電加熱層和柔性隔熱層，隔離成兩個不同的物理測量空間。觸、滑、溫覺傳感器上層為兩面鍍銀的整塊PVDF，兩面引出電極49手爪表面開始接觸物體時，接觸階躍性應力使PVDF產生電荷，呈現(xiàn)單方向脈沖信號特征。觸覺Vt手爪表面開始接觸物體時，接觸階躍性應力使PVDF產生電荷，呈50Vt物體相對于表層滑動時，摩擦力變化引起傳感器表層的誘導振動，使PVDF產生交變信號。滑覺Vt物體相對于表層滑動時，摩擦力變化引起傳感器表層的誘導振動51溫覺：將上層PVDF保持在55℃左右，當與物體接觸時，物體與表皮的溫差形成熱能傳遞，使PVDF極化面產生相應數(shù)量的電荷輸出。Vt55℃溫覺：將上層PVDF保持在55℃左右，當與物體接觸時，物體與52壓電效應產生的電荷是x、y、z三方向的軸向應力和切向應力產生電荷的總和，所以它能感覺出三維應力，從而判斷觸覺、滑覺的大小及應力區(qū)域。PVDF纖維絲(幾十微米)高分子充水薄膜微球由于PVDF薄膜絲纖維束有強的熱釋電效應，環(huán)境溫度的變化使極間產生電荷，從而產生了溫覺。壓電效應產生的電荷是x、y、z三方向的軸向應力和切向應力產生53信號的檢出與重構——PVDF微單元~放大器RiQ(t)漏電流i信號的檢出與重構~放大器RiQ(t)漏電流i54控制電路數(shù)據(jù)采集電路計算機A/D轉換器上層PVDF下層PVDFMOSFET輸入型高阻抗、低失調、低漂移高精度放大器云母電容復位開關使每次讀值從同一起點開始控制電路數(shù)據(jù)采集電路計算機A/D轉換器上層PVDF下層PVD55PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第四節(jié)機器人接近覺傳感器電磁式接近覺傳感器光電式接近覺傳感器超聲波接近覺傳感器PrinciplesandApplicationsof56

第四節(jié)機器人接近覺傳感器機械人接近覺是介于觸覺和視覺之間的感覺，感應的距離范圍一般為幾毫米至幾十毫米，用于感知一定距離內場景的狀況。常見的接近覺傳感器有電磁式、光電式、電容式、氣動式、超聲式、紅外線、微波式等多種類型。第四節(jié)機器人接近覺傳感器機械人接近覺是介57一、電磁式接近覺傳感器精度比較高、響應速度快、受環(huán)境影響小、結構簡單、可以在高溫下工作。物體（金屬）檢測線圈激勵線圈檢測線圈物體內產生流線閉合的感應電流（即渦流）。渦流大小與對象物的距離等有關。焊接機器人多半使用渦流傳感器來跟蹤焊接縫，在200℃下工作，距離0~8mm時，誤差小于4%。渦流式一、電磁式接近覺傳感器精度比較高、響應速度快、受環(huán)境影響小、58用永久磁鐵和緊貼磁鐵的圓柱形線圈構成線圈永久磁鐵外殼樹脂磁鐵式用永久磁鐵和緊貼磁鐵的圓柱形線圈構成線圈永久磁鐵外殼樹脂磁59在遠離物體時，永久磁鐵的磁力線對稱分布在遠離物體時，永久磁鐵的磁力線對稱分布60有導磁金屬（鋼或鐵等）接近時，磁力線分布發(fā)生變化。用霍爾元件或集成磁敏傳感器代替線圈，可感知近距離的靜止物體的接近情況。有導磁金屬（鋼或鐵等）接近時，磁力線分布發(fā)生變化。用霍爾元件61這種接近覺傳感器所能感知的距離很近，對于小于幾分之一毫米的近距離運動物體十分靈敏。電流輸出急劇變化呈非線性關系只能感知金屬物體，無法感知非金屬物體。這種接近覺傳感器所能感知的距離很近，對于小于幾分之一毫米的近62二、光電式接近覺傳感器物體表面特性特別是表面反射率等對靈敏度有較大影響Ipθ發(fā)射透鏡接收透鏡靈敏區(qū)域光敏二極管發(fā)光二極管不同物體的光反射率不同，無法測量物體遠近，只感知有無物體接近θ越小，敏感距離越遠二、光電式接近覺傳感器物體表面特性特別是表面反射率等對靈敏度63264837+5V+12V+12V+-+-+-+-VoutCD4066光發(fā)射與接收電路5551KHz方波功率放大解調264837+5V+12V+12V+-+-+-+-VoutC64機器人傳感器課件65三、超聲波接近覺傳感器超聲波換能器的構造與特性（雙向聲電器件）。在接近覺傳感器中，可以用一只超聲波換能器兼作發(fā)射和接收器件，也可以用兩只超聲波換能器，分別發(fā)射和接收超聲波。超聲波換能器兼作發(fā)射和接收器的話，由于壓電陶瓷機械振蕩的衰減需要一定時間，換能器對于很近的物體無法探測。必然存在一個盲區(qū)，大小為脈沖延時法：電路簡單，但受到超聲波傳播速度以及電子器件工作速度的限制，脈沖延時法感知的距離不可能很近。相位調制法：電路復雜，但可以根據(jù)需要選擇適當?shù)恼{制波長，實現(xiàn)近距離高精度探測。三、超聲波接近覺傳感器超聲波換能器的構造與特性（雙向聲電器件66設超聲波傳播速度為v，則物體距離傳感器的距離l為：τtt發(fā)射波接收波脈沖延時法延時時間

v

=20.067[T(1+0.3192e/p)]1/2(m/s)≈23.05(T)1/2超聲波傳播速度為：設超聲波傳播速度為v，則物體距離傳感器的距離l為：τtt發(fā)射67相位調制法λ/2發(fā)射波接收波tt物體相對于傳感器的距離——整數(shù)部分1234……n相位調制法λ/2發(fā)射波接收波tt物體相對于傳感器的距離——整68物體相對于傳感器的距離——余數(shù)部分λ/2發(fā)射波接收波Δφtt物體相對于傳感器的距離——余數(shù)部分λ/2發(fā)射波接收波Δφtt69本章結束再見本章結束70機器人傳感器課件71機器人傳感器課件72機器人傳感器課件73左眼圖像左眼圖像74右眼圖像右眼圖像75Vison-guidedrobotsplaceheavyengines從貨箱中抓起機器從流水線提起機器裝箱Vison-guidedrobotsplaceheav76圖像灰度與直方圖圖像灰度與直方圖77剛性工具通過六軸腕力傳感器與手臂連接，工具在剛體表面轉動，形成特定的軌跡剛性工具通過六軸腕力傳感器與手臂連接，工具在78聚偏二氟乙烯（PVDF）是具有壓電效應、熱釋電效應的高分子材料。工作溫度范圍寬、體電阻高、重量輕、柔順性好、機械強度高、頻響寬，很容易用熱成形的辦法加工成薄膜、細管或微粒。利用PVDF可以制成接觸覺、滑覺、溫覺等傳感器，是研制仿生皮膚的主要材料。聚偏二氟乙烯聚偏二氟乙烯（PVDF）是具有壓電效應、熱釋電效應的高分子材79發(fā)光二極管發(fā)光二極管80光敏管光敏管81機器人傳感器第七章機器人傳感器第一節(jié)機器人傳感器功能與分類第二節(jié)機器人視覺傳感器1、人眼與視覺2、機器人視覺方法3、機器人圖像處理技術4、機器人立體視覺第三節(jié)機器人觸覺傳感器1、接觸覺傳感器2、壓覺傳感器3、力覺傳感器4、滑覺傳感器5、仿生皮膚第四節(jié)機器人接近覺傳感器1、電磁式接近覺傳感器2、光電式接近覺傳感器3、超聲波接近覺傳感器機器人傳感器第七章第一節(jié)機器人82第一節(jié)機器人傳感器分類PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity機器人分類機器人傳感器的特點傳感器的信號獲取與處理過程機器人傳感器的分類第一節(jié)機器人傳感器分類PrinciplesandA83第一節(jié)機器人傳感器功能與分類機器人是由計算機控制的能模擬人的感覺、手工操縱和具有自動行走能力而又足以完成有效工作的裝置。機器人分類：第一代機器人：進行程式化操作的機器，完成一系列預置動作。未采用傳感器，不能適應外界環(huán)境的變化。第二代機器人：采用傳感器，具有初步感覺和反饋控制能力，能進行識別、選取和判斷。具有初步智能。第三代機器人：更高一級智能機器，“電腦化”是其重要標志。Robot是捷克語“奴工”的意思，捷克劇作家卡魯·卡帕克1920年一部劇本中的“人物”，一種具有人類特征的機器。第一節(jié)機器人傳感器功能與分類機器人是由計算機控制的能模擬84對敏感材料的柔性和功能有特定要求。機器人傳感器的特點獲取的信息實時地用于控制，用以決定機器人的行動。有別于其它種類的傳感器，機器人傳感器信息收集能力強：既能獲取信息，又緊隨環(huán)境狀態(tài)進行大幅度變化。機器人傳感器既包括傳感器本身，也包含傳感器的信號處理。它由獲取信息和處理信息兩部分有機地構成。對敏感材料的柔性和功能有特定要求。機器人傳感器的特點獲取的信85傳感器的信號獲取與處理過程信號獲取→信號處理→信號提取→數(shù)據(jù)解釋等幾個層次。并非所有傳感器的信號處理都要經過這四個全過程。如視覺和高密度壓覺傳感器一般需經過③和④的的過程。位置、接近覺和壓覺等傳感器僅經過②過程。接觸覺傳感器多半是經過①過程。傳感器的信號獲取與處理過程信號獲取→信號處理→信號提取→數(shù)據(jù)86內部檢測傳感器傳感器的分類：以機器人本身的坐標軸來確定其位置，用來感知運動學參數(shù)。通過內部檢測傳感器，機器人可以了解自己的工作狀態(tài)，調整和控制自己按照一定的位置、速度、加速度、壓力和軌跡等進行工作。外部檢測傳感器用于獲取周圍環(huán)境或者目標物狀態(tài)特征的信息，是機器人與周圍進行交互工作的信息通道。其功能是讓機器人對環(huán)境有自校正和自適應能力，很好地執(zhí)行工作。接近覺、視覺、聽覺、嗅覺、味覺等傳感器。內部檢測傳感器傳感器的分類：以機器人本身的坐標軸來確定其位置87機器人傳感器的分類及應用機器人傳感器的分類及應用88PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第二節(jié)機器人視覺傳感器機器人視覺方法人眼與視覺機器人圖像處理技術機器人立體視覺PrinciplesandApplicationsof89一、人眼與視覺人的80%以上的外界信息通過視覺所獲取。對于機器人來說，視覺傳感器也是最重要的傳感器。人眼視覺是立體的，就是說能將視場中的物體區(qū)別出遠近。第二節(jié)機器人視覺傳感器1、人眼的結構眼球壁外層（角膜、鞏膜）中層（虹膜、睫狀體、脈絡膜）內層（視網膜）屈光系統(tǒng)感光系統(tǒng)角膜晶狀體房水睫狀肌視網膜視神經視中樞黃斑一、人眼與視覺人的80%以上的外界信息通過視覺所獲取90單眼成像單眼成像91黃斑Maculalutea(直徑約2mm)雙眼注視無窮遠的點，無窮遠點與雙目的夾角θ=0，無窮遠的點經水晶體成的像都落在左右眼的黃斑處；=0天空遠景，處于無窮遠雙眼成像視網膜上視覺最敏銳的部位視乳頭(視盤)(直徑約1．5mm)沒有視細胞，在視野中是生理盲點黃斑雙眼注視無窮遠的點，無窮遠點與雙目的夾角θ=0，無窮遠92人的雙眼從不同的方位獲取同一景物的信息，各自得到關于景物的二維圖像，這左右兩幅圖像有著微小的區(qū)別，這種區(qū)別就叫做視差。人的雙眼從不同的方位獲取同一景物的信息，各自得到關于景物的二93人腦通過對左右兩幅圖像視差的分析和處理，可以得到關于景物的光亮度、形狀、色彩、空間分布等等信息。人腦通過對左右兩幅圖像視差的分析和處理，可以得到關于景物的光94雙眼注視有限距離點B，B在視網膜上的像也落在左右眼的黃斑位置B1和Br。2、人眼的立體視覺B點相對于左右眼的兩視線的夾角O1BOr稱作視差角，用θb表示。為了觀看物點B，眼睛將偏轉一定量的會聚角φ。B相對于人眼的距離Zb為：

Zb=b/tgφ A點的像分別為A1和Ar，設線視差分別為Δl、Δr。θb=2φ雙眼注視有限距離點B，B在視網膜上的像也落在左右眼的黃斑位置95根據(jù)A點的線視差計算得：線視差是描述物點在空間中位置的重要參數(shù)，在機器人立體視覺中，視差也是一個十分重要的判定景物空間分布的因素之一。根據(jù)A點的線視差計算得：線視差是描述物點在空間中位置的重要參961、激光掃描法二、機器人視覺方法在OlenA’D中綜合上式計算得tgα=x/Lf在AOlenM’中OM=(Z+Ll)

×tgα=x×(Z+Ll)/Lf在AOlaserM中MOlaser=Z×ctgβOM+MOlaser=b另外A點的另外兩個坐標值Z=(bLf–xLl)/(x+Lftgβ)X=x(btgβ+Ll)/(xtgβ+Lf)Y=y(btgβ+Ll)/(xtgβ+Lf)1、激光掃描法二、機器人視覺方法在OlenA’D中綜合上式97機械掃描裝置把激光光束投向景物空間，按照一定的順序對景物空間進行二維掃描，即可得到景物空間各點的距離信息。如果用扇形光束代替點光束，只需進行一維掃瞄，就能快速測定CCD圖像畫面內全部點的距離信息。機械掃描裝置把激光光束投向景物空間，按照一定的順序對景物空間982、立體攝影法物點A和B兩視線的夾角O1AO2稱作視差角：點A和B視差角的差值Δθab稱作立體視差：Δθab=θa-θbθa=2b/Za 2b——CCD攝像機光軸間的距離視差角的大小表征了物點的遠近，圖中：θa>θb，物點A較B近。立體視差Δθab的正負也能表征物點的遠近。在CCD成像面上，物體的角視差實際上是以線視差來表現(xiàn)的。2、立體攝影法物點A和B兩視線的夾角O1AO2稱作視差角99設坐標A點的線視差ΔXaAl(Xal、Yal、Zal)Ar(Xar、Yar、Zar)Bl(Xal、Yal、Zal)Br(Xar、Yar、Zar)設坐標A點的線視差ΔXaAl(Xal、100A、B兩點的線視差ΔXa、ΔXb物點A和物點B之間的相對線視差ΔXab為由二維圖像中的線視差和相對線視差，可以推算出空間物點的三維信息。A、B兩點的線視差ΔXa、ΔXb物點A和物點B之間的相101三、機器人圖像處理技術機器人圖像第一步是初級處理，內容主要有：從灰度圖中尋找圖像邊緣和分割圖像通過圖像的分割，機器人可以區(qū)分出所關心的特定的對象（即整個畫面中的一部分圖像）。為了識別特征物體，常用具有標準姿勢的物體圖像與所拍攝的物體圖像相比較。同樣出于對姿態(tài)調整的考慮，需要計算圖像兩個垂直的主慣性軸的方向。簡單的圖像分割方法有閾值處理和邊緣檢測兩種。求取圖像重心位置提取圖像的兩個垂直的主慣性軸視覺獲取的任意姿態(tài)物體圖像，需要進行姿態(tài)調整，其第一步就是計算出物體的重心點坐標。三、機器人圖像處理技術機器人圖像第一步是初級處理，內容主要有102對圖像的初級處理，可以識別物體的形狀特征、區(qū)分出物體在背景中所處的的位置。具有圖像初級處理能力的機器人往往能滿足在工業(yè)應用中的要求。對圖像的初級處理，可以識別物體的形狀特征、區(qū)分出物體在背景中1031、圖像的分割算法根據(jù)適當?shù)幕叶乳撝祎h將圖像的轉變成二值化圖像，便于圖像分割。1）閾值處理法閾值的獲得途徑：二維圖像函數(shù)f（x，y），假設其二值化之后的圖像函數(shù)為：ft（x，y），則：1）由圖像灰度分布概率，用最小二乘法準確計算2）實驗法1、圖像的分割算法根據(jù)適當?shù)幕叶乳撝祎h將圖像的轉變成二104雙峰值特性的圖像物體背景1(1)2(2)——期望值——協(xié)方差假定其灰度分布服從正態(tài)分布，其概率密度函數(shù)聯(lián)合概率密度：P1、P2為兩個峰下面的面積，且：P1+P2

=1雙峰值特性的圖像物體背景1(1)2(2)——期105以閾值th分割圖像thE1(th)E2(th)背景當物體的概率：物體當背景的概率：物體背景總誤差概率：E(th

)=P2E1

(th)+P1

E2(th

)p2(t)p1(t)關于

t微分，取dE(t)

/dt=0，得：P2p2

(th

)=P1p1(th)以閾值th分割圖像thE1(th)E2(th)背景當物體的106若P1=P2，則最佳閾值

t為：將p2(t)

和p1(t)

代入上式，得：Ath

2

+Bth+C=0A=σ12+σ22B=2(μ1σ22-μ2σ12)C=μ22σ12

-μ12σ22

+2σ12σ22

ln(σ2P1/σ1P2)如果σ12

=σ22

=σ2

，則：若P1=P2，則最佳閾值t為：將p2(t)107thth1082）微分邊緣檢測法：2）微分邊緣檢測法：1092）微分邊緣檢測法：xxx2）微分邊緣檢測法：xxx1102）微分邊緣檢測法：設圖像f（x，y）原坐標（x，y）旋轉θ角，新坐標為（x’，y’）兩者的關系：

x=x'cosθ–y'sinθy=x'sinθ–y'cosθ圖像函數(shù)f（x，y）沿x、y和x’、y’方向的灰度變化率為：2）微分邊緣檢測法：設圖像f（x，y）原坐標（x，y）旋轉111上式對θ微分，并令其為0梯度的大小灰度變化最陡的方向在數(shù)字圖像中，用差分代替微分圖像的梯度矢量的大小：圖像的梯度矢量的方向：例如Sobel算子x方向y方向上式對θ微分，并令其為0梯度的大小灰度變化最陡的方向在數(shù)字圖1122、重心點及慣性矩計算圖像灰度函數(shù)f(i，j)的重心坐標xc、ycm——象素最大列數(shù)n——象素最大行數(shù)圖像灰度值總和x(i)y(j)xc、ycf(i，j)2、重心點及慣性矩計算圖像灰度函數(shù)f(i，j)的重心坐113圖像的慣性矩Ix、Iy、Ixy圖像的主慣性矩I’x、I’y、I’xy偏角φ：圖像的慣性矩Ix、Iy、Ixy圖像的主慣性矩I’x、I’y、114原坐標系和新坐標系的變換關系x2=[(x0

–xc

)cosφ-(

y0–yc

)sinφ]+xcy2

=[(x0

–xc

)sinφ-(

y0–yc

)cosφ]+yc比對圖像原始圖像圖像調整原坐標系和新坐標系的變換關系x2=[(x0–xc115StereovisionofMarsRoverStereovisionofMarsRover116StereoGraphicsdevelopedthespecial3-DglassescalledCrystalEyes

StereoGraphicsdevelopedthes117PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第三節(jié)機器人觸覺傳感器接觸覺傳感器壓覺傳感器力覺傳感器滑覺傳感器仿生皮膚PrinciplesandApplicationsof118一、接觸覺傳感器第三節(jié)機器人觸覺傳感器機械人觸覺可分為：接觸覺、壓覺、力覺、滑覺等幾種。用來檢測機器人的某些部位與外界物體接觸與否，例如感受是否抓住零件，是否接觸地面等。一、接觸覺傳感器第三節(jié)機器人觸覺傳感器機械人觸覺可分為：119機器人傳感器課件120機器人傳感器課件121模擬開關A/D轉換計算機_+_+_+_+陣列掃描電路模擬開關A/D轉換計算機_+_+_+_+陣列掃描電路122二、壓覺傳感器用來檢測機器人手指的握持面上承受的壓力大小和分布。特點：小型輕便、響應快、陣列密度高、在線性好、可靠性高等。常用的敏感材料：導電橡膠或塑料、偏聚二氟乙烯薄膜（PVF2）、應變片陣列、磁彈性式壓磁傳感器陣列（如針式差動變壓器、霍爾元件）、光電傳感器陣列等。二、壓覺傳感器用來檢測機器人手指的握持面上承123Vo=Vp

[(Cx-CR)/CF]=Vp(ΔC/CF)

Vo=Vp[(Cx-CR)/CF]124三、力覺傳感器腕力傳感器發(fā)展趨勢：用于感知機器人的指、肢和關節(jié)等在工作和運動中所受力的大小和方向，從而決定如何運動、采用什么姿勢、以及推測對象物體的重量等。特點是感知多維的作用力。間接輸出型腕力傳感器將傳感器本身設計的簡單化，經過復雜的計算求出傳遞矩陣，使用時要經過矩陣運算才能提取出六個力分量。直接輸出型腕力傳感器傳感器結構比較復雜，簡單的計算就能提取六個分量，甚至可以直接得到六個分量。三、力覺傳感器腕力傳感器發(fā)展趨勢：用于感知機125材料：鋁筒式六自由度腕力傳感器X、Y、Z方向：力——Fx、Fy、Fz轉矩——Mx、My、MzFx=K1（Py++Py-

）Fy=K2（Px++Px-）Fz=K3（Qx++Qx-+Qy++Qy-） Mx=K4（Qy+-Qy-）My=K5（-Qx++Qx-）Mz=K6（Px+-Px--Py++Py-）K1、K2、K3、K4、K5、K6為比例系數(shù)，與各根梁所貼應變片的應變靈敏度有關。XYZ材料：鋁筒式六自由度腕力傳感器X、Y、Z方向：Fx=K1126材料：鋁撓性件十字梁式腕力傳感器梁側面貼應變片手臂尼龍球（易于伸縮）相對面上的兩片應變片構成一組半橋，共8只應變計，輸出參數(shù)fx1、fx3、fy1、fy2、fy3、fy4、fz2、fz4X、Y、Z的力：Fx、Fy、Fz力矩：Mx、My、Mz： Fx=-fx1

-fx3 Fy=-fy1-fy2

-fy3-fy4 Fz=-fz2-fz4 Mx=afz2+afz4

+bfy1-bfy3 My=-bfx1+bfz4

+bfz2–bfz4 Mx=-afx1–afx3

–bfy2+bfy4

材料：鋁撓性件十字梁式腕力傳感器梁側面貼應變片手臂尼龍球相對127四、滑覺傳感器用于機器人感知手指與物體接觸面之間相對運動（滑動）的大小和方向，從而確定最佳大小的把握力，以保證既能握住物體不產生滑動，又不至于因用力過大而使物體發(fā)生變形或被損壞。四、滑覺傳感器用于機器人感知手指與物體接觸面128四、仿生皮膚聚偏二氟乙烯（PVDF）觸覺傳感器PVDF薄膜與物體有相對滑移時，指紋或凸點變形，引起誘導振動，發(fā)生應力變化，產生電荷。表皮信號輸出PVDF（厚幾十微米）橡膠基底外殼四、仿生皮膚聚偏二氟乙烯（PVDF）觸覺傳感器PVDF薄膜與129觸、滑、溫覺傳感器上層為兩面鍍銀的整塊PVDF，兩面引出電極，可以獲取溫覺、觸覺信號。橡膠基底下層PVDF隔熱層加熱層上層PVDF橡膠表層下層PVDF鍍有條狀電極，引線由導電膠粘接后引出，可以獲取壓覺和滑覺信號。上下兩層PVDF之間，有電加熱層和柔性隔熱層，隔離成兩個不同的物理測量空間。觸、滑、溫覺傳感器上層為兩面鍍銀的整塊PVDF，兩面引出電極130手爪表面開始接觸物體時，接觸階躍性應力使PVDF產生電荷，呈現(xiàn)單方向脈沖信號特征。觸覺Vt手爪表面開始接觸物體時，接觸階躍性應力使PVDF產生電荷，呈131Vt物體相對于表層滑動時，摩擦力變化引起傳感器表層的誘導振動，使PVDF產生交變信號?；XVt物體相對于表層滑動時，摩擦力變化引起傳感器表層的誘導振動132溫覺：將上層PVDF保持在55℃左右，當與物體接觸時，物體與表皮的溫差形成熱能傳遞，使PVDF極化面產生相應數(shù)量的電荷輸出。Vt55℃溫覺：將上層PVDF保持在55℃左右，當與物體接觸時，物體與133壓電效應產生的電荷是x、y、z三方向的軸向應力和切向應力產生電荷的總和，所以它能感覺出三維應力，從而判斷觸覺、滑覺的大小及應力區(qū)域。PVDF纖維絲(幾十微米)高分子充水薄膜微球由于PVDF薄膜絲纖維束有強的熱釋電效應，環(huán)境溫度的變化使極間產生電荷，從而產生了溫覺。壓電效應產生的電荷是x、y、z三方向的軸向應力和切向應力產生134信號的檢出與重構——PVDF微單元~放大器RiQ(t)漏電流i信號的檢出與重構~放大器RiQ(t)漏電流i135控制電路數(shù)據(jù)采集電路計算機A/D轉換器上層PVDF下層PVDFMOSFET輸入型高阻抗、低失調、低漂移高精度放大器云母電容復位開關使每次讀值從同一起點開始控制電路數(shù)據(jù)采集電路計算機A/D轉換器上層PVDF下層PVD136PrinciplesandApplication