機(jī)器視覺入門介紹課件

機(jī)器視覺機(jī)器視覺1機(jī)器視覺概述使機(jī)器具有像人一樣的視覺功能，從而實(shí)現(xiàn)各種檢測(cè)、判斷、識(shí)別、測(cè)量等功能。一個(gè)典型的機(jī)器視覺系統(tǒng)組成包括：圖像采集單元（光源、鏡頭、相機(jī)、采集卡、機(jī)械平臺(tái)），圖像處理分析單元（工控主機(jī)、圖像處理分析軟件、圖形交互界面），執(zhí)行單元（電傳單元、機(jī)械單元）機(jī)器視覺概述使機(jī)器具有像人一樣的視覺功能，從而實(shí)現(xiàn)各種檢測(cè)、2機(jī)器視覺概述機(jī)器視覺系統(tǒng)通過圖像采集單元將待檢測(cè)目標(biāo)轉(zhuǎn)換成圖像信號(hào)，并傳送給圖像處理分析單元。圖像處理分析單元的核心為圖像處理分析軟件，它包括圖像增強(qiáng)與校正、圖像分割、特征提取、圖像識(shí)別與理解等方面。輸出目標(biāo)的質(zhì)量判斷、規(guī)格測(cè)量等分析結(jié)果。分析結(jié)果輸出至圖像界面，或通過電傳單元（PLC等）傳遞給機(jī)械單元執(zhí)行相應(yīng)操作，如剔除、報(bào)警等，或通過機(jī)械臂執(zhí)行分揀、抓舉等動(dòng)作。機(jī)器視覺概述機(jī)器視覺系統(tǒng)通過圖像采集單元將待檢測(cè)目標(biāo)轉(zhuǎn)換成圖3機(jī)器視覺優(yōu)勢(shì)機(jī)器視覺系統(tǒng)具有高效率、高度自動(dòng)化的特點(diǎn)，可以實(shí)現(xiàn)很高的分辨率精度與速度。機(jī)器視覺系統(tǒng)與被檢測(cè)對(duì)象無(wú)接觸，安全可靠。人工檢測(cè)與機(jī)器視覺自動(dòng)檢測(cè)的主要區(qū)別有：

機(jī)器視覺自動(dòng)檢測(cè)人工檢測(cè)效率效率高效率低速度速度快速度慢精度高精度受主觀影響，精度一般可靠性檢測(cè)效果穩(wěn)定可靠易疲勞，受情緒波動(dòng)工作時(shí)間可24小時(shí)不停息工作工作時(shí)間有限信息集成方便信息集成不易信息集成成本成本不斷降低，一次性投入人力和管理成本不斷上升環(huán)境適合惡劣、危險(xiǎn)環(huán)境不適合惡劣和危險(xiǎn)環(huán)境機(jī)器視覺優(yōu)勢(shì)機(jī)器視覺系統(tǒng)具有高效率、高度自動(dòng)化的特點(diǎn)，可以4機(jī)器視覺的應(yīng)用領(lǐng)域識(shí)別標(biāo)準(zhǔn)一維碼、二維碼的解碼光學(xué)字符識(shí)別（OCR）和確認(rèn)（OCV）檢測(cè)色彩和瑕疵檢測(cè)零件或部件的有無(wú)檢測(cè)目標(biāo)位置和方向檢測(cè)測(cè)量尺寸和容量檢測(cè)預(yù)設(shè)標(biāo)記的測(cè)量，如孔位到孔位的距離機(jī)械手引導(dǎo)輸出空間坐標(biāo)引導(dǎo)機(jī)械手精確定位機(jī)器視覺的應(yīng)用領(lǐng)域識(shí)別5機(jī)器視覺系統(tǒng)的分類智能相機(jī)基于嵌入式基于PC機(jī)器視覺系統(tǒng)的分類智能相機(jī)基于嵌入式基于PC6主流的解決方案提供商提供從單一的視覺檢測(cè)到視覺系統(tǒng)集成的完整視覺檢測(cè)方案。視覺檢測(cè)方案主要包括兩個(gè)方面：硬件——相機(jī)，控制器，光源及支架；軟件——控制系統(tǒng)，圖形用戶界面(GUI)和圖像分析算法。廠家擅長(zhǎng)前身康耐視識(shí)別/檢測(cè)/測(cè)量一/二維碼識(shí)別邁思肯識(shí)別/檢測(cè)/測(cè)量一/二維碼識(shí)別邦納識(shí)別/檢測(cè)/測(cè)量傳感器Leuze識(shí)別/檢測(cè)/測(cè)量傳感器基恩士識(shí)別/檢測(cè)/測(cè)量傳感器ABB機(jī)械手引導(dǎo)變頻器發(fā)那科機(jī)械手引導(dǎo)機(jī)器人美國(guó)國(guó)家儀器公司數(shù)據(jù)采集/交互軟硬件測(cè)試、自動(dòng)化主流的解決方案提供商提供從單一的視覺檢測(cè)到視覺系統(tǒng)集成的完整7機(jī)器視覺主要行業(yè)協(xié)會(huì)和標(biāo)準(zhǔn)美國(guó)自動(dòng)成像協(xié)會(huì)（AIA）相機(jī)專用傳輸協(xié)議——CameraLink標(biāo)準(zhǔn)相機(jī)千兆網(wǎng)傳輸協(xié)議——GigEVision標(biāo)準(zhǔn)歐洲機(jī)器視覺協(xié)會(huì)（EMVA）相機(jī)統(tǒng)一控制協(xié)議——GenICam標(biāo)準(zhǔn)相機(jī)靈敏度和成像質(zhì)量評(píng)測(cè)——EMVA1288機(jī)器視覺主要行業(yè)協(xié)會(huì)和標(biāo)準(zhǔn)美國(guó)自動(dòng)成像協(xié)會(huì)（AIA）8機(jī)器視覺發(fā)展歷程（國(guó)外）發(fā)展階段：20世紀(jì)50年代提出機(jī)器視覺概念，20世紀(jì)70年代真正開始發(fā)展，20世紀(jì)80年代進(jìn)入發(fā)展期，20世紀(jì)90年代發(fā)展趨于成熟，20世紀(jì)90代后至今高速發(fā)展。關(guān)鍵標(biāo)志：20世紀(jì)70年代CCD圖像傳感器的出現(xiàn)是機(jī)器視覺提供了可靠清晰的圖像；20世紀(jì)80年代以來處理器、圖像處理技術(shù)的飛速發(fā)展為機(jī)器視覺的高速發(fā)展提供了基礎(chǔ)條件；2000年以來基于LED光源的任意光場(chǎng)設(shè)計(jì)使機(jī)器視覺在各種行業(yè)的應(yīng)用成為可能。機(jī)器視覺發(fā)展歷程（國(guó)外）發(fā)展階段：9機(jī)器視覺發(fā)展歷程（國(guó)內(nèi)）起步于20世紀(jì)80年代20世紀(jì)90年代進(jìn)入發(fā)展期，加速發(fā)展是近幾年的事情。機(jī)遇與挑戰(zhàn)并存中國(guó)正在成為世界機(jī)器視覺發(fā)展最為活躍的地區(qū)之一；中國(guó)已經(jīng)成為全世界的制造中心，許多生產(chǎn)線已經(jīng)遷至中國(guó)，許多國(guó)際先進(jìn)水平的機(jī)器視覺系統(tǒng)也進(jìn)入了中國(guó)；國(guó)內(nèi)機(jī)器視覺企業(yè)在與國(guó)際機(jī)器視覺企業(yè)的競(jìng)爭(zhēng)中不斷得到成長(zhǎng)。機(jī)器視覺發(fā)展歷程（國(guó)內(nèi)）起步于20世紀(jì)80年代10機(jī)器視覺系統(tǒng)組成圖像獲?。汗庠础㈢R頭、相機(jī)、采集卡、機(jī)械平臺(tái)圖像處理與分析：工控主機(jī)、圖像處理分析軟件、圖形交互界面。判決執(zhí)行：電傳單元、機(jī)械單元機(jī)器視覺系統(tǒng)組成圖像獲?。汗庠?、鏡頭、相機(jī)、采集卡、機(jī)械平臺(tái)11圖像獲取組成：光源、鏡頭、相機(jī)、采集卡、機(jī)械平臺(tái)GarbageIn,GarbageOut圖像獲取組成：光源、鏡頭、相機(jī)、采集卡、機(jī)械平臺(tái)Garbag12光源——種類LED：壽命長(zhǎng)/可以有各種顏色/便于做成各種復(fù)雜形狀/光均勻穩(wěn)定/可以閃光；熒光燈：光場(chǎng)均勻/價(jià)格便宜/亮度較LED高；鹵素?zé)簦毫炼忍貏e高/通過光纖傳輸后可做成；氙燈：使用壽命約1000小時(shí)/亮度高，色溫與日光接近。大部分機(jī)器視覺照明采用LED光源——種類LED：壽命長(zhǎng)/可以有各種顏色/便于做成各種復(fù)雜13光源——光路原理照相機(jī)并不能看見物體，而是看見從物體表面反射過來的光。鏡面反射：平滑表面以對(duì)頂角反射光線漫射反射：粗糙表面會(huì)從各個(gè)方向漫射光線發(fā)散反射：多數(shù)表面既有紋理，又有平滑表面，會(huì)對(duì)光線進(jìn)行發(fā)散反射光源——光路原理照相機(jī)并不能看見物體，而是看見從物體表面反射14光源——作用和要求在機(jī)器視覺中的作用照亮目標(biāo)，提高亮度形成有利于圖像處理的效果克服環(huán)境光照影響，保證圖像穩(wěn)定性用作測(cè)量的工具或參照良好的光場(chǎng)設(shè)計(jì)要求對(duì)比度明顯，目標(biāo)與背景的邊界清晰背景盡量淡化而且均勻，不干擾圖像處理與顏色有關(guān)的還需要顏色真實(shí)，亮度適中，不過曝或欠曝；光源——作用和要求在機(jī)器視覺中的作用15光源——光場(chǎng)構(gòu)造明場(chǎng)：光線反射進(jìn)入照相機(jī)暗場(chǎng)：光線反射離開照相機(jī)明場(chǎng)照明暗場(chǎng)照明光源——光場(chǎng)構(gòu)造明場(chǎng)：光線反射進(jìn)入照相機(jī)明場(chǎng)照明暗場(chǎng)照明16光源——構(gòu)造光源光源——構(gòu)造光源17光源——構(gòu)造光源使用不同照明技術(shù)對(duì)滾珠軸承產(chǎn)生的影響：滾珠軸承光纖環(huán)光燈熒光環(huán)光燈漫射圓頂燈同軸照明燈直角持續(xù)漫射燈持續(xù)漫射燈光源——構(gòu)造光源使用不同照明技術(shù)對(duì)滾珠軸承產(chǎn)生的影響：滾珠軸18鏡頭——主要參數(shù)工業(yè)的鏡頭大都是多組鏡片組合在一起的。計(jì)算時(shí)會(huì)忽略厚度對(duì)透鏡的影響將其等效成沒有厚度的播透鏡模型，即理想凸透鏡。參數(shù)：焦距/視場(chǎng)/物距/像距/光圈/景深/分辨力/放大倍數(shù)/畸變/接口成象面物距景深（DOV）視野（FOV）像距鏡頭——主要參數(shù)工業(yè)的鏡頭大都是多組鏡片組合在一起的。計(jì)算時(shí)19鏡頭——主要參數(shù)分辨率：對(duì)色彩和紋理的分辨能力?；儯虹R頭中心區(qū)域和四周區(qū)域的放大倍數(shù)不相同。畸變的校正一般用黑白分明的方格圖像來進(jìn)行，過程并不復(fù)雜。一般如果畸變小于2%，人眼觀察不到；若畸變小于CCD的一個(gè)像素，攝像機(jī)也看不見。鏡頭——主要參數(shù)分辨率：對(duì)色彩和紋理的分辨能力?；兊男Ｕ?0鏡頭——分類CCTV鏡頭專業(yè)攝影鏡頭遠(yuǎn)心鏡頭CCTV鏡頭專業(yè)攝影鏡頭遠(yuǎn)心鏡頭價(jià)格低中高分辨率低（20L/MM）中（40^80L/MM）高畸變高中低焦距選擇范圍廣泛廣泛狹窄使用靈活性高中低適合應(yīng)用低精度測(cè)量/簡(jiǎn)單檢測(cè)標(biāo)準(zhǔn)精度測(cè)量/定位高精度測(cè)量/縱深測(cè)量鏡頭——分類CCTV鏡頭專業(yè)攝影鏡頭遠(yuǎn)心鏡頭CCTV鏡頭專業(yè)21鏡頭——遠(yuǎn)心鏡頭在測(cè)量系統(tǒng)中，物距常發(fā)生變化，從而使像高發(fā)生變化，所以測(cè)得的物體尺寸也發(fā)生變化，即產(chǎn)生了測(cè)量誤差；即使物距是固定的，也會(huì)因?yàn)镃CD敏感表面不易精確調(diào)整在像平面上，同樣也會(huì)產(chǎn)生測(cè)量誤差。采用遠(yuǎn)心物鏡中的像方遠(yuǎn)心物鏡可以消除物距變化帶來的測(cè)量誤差，而物方遠(yuǎn)心物鏡則可以消除CCD位置不準(zhǔn)帶來的測(cè)量誤差。鏡頭——遠(yuǎn)心鏡頭在測(cè)量系統(tǒng)中，物距常發(fā)生變化，從而使像高發(fā)生22相機(jī)種類：線&面、隔/逐、黑/彩、數(shù)/模、低/高、CCD/CMOS指標(biāo)：象元尺寸、分辨率、靶面大小、感應(yīng)曲線、動(dòng)態(tài)范圍、靈敏度、速度噪聲、填充因子、體積、質(zhì)量、工作環(huán)境等工作模式：Freerun、Trigger（多種）、長(zhǎng)時(shí)間曝光等傳輸方式：GIGE，Cameralinker,模擬相機(jī)種類：線&面、隔/逐、黑/彩、數(shù)/模、低/高、CCD/C23相機(jī)——線掃描系統(tǒng)相機(jī)——線掃描系統(tǒng)24相機(jī)——面陣相機(jī)相機(jī)——面陣相機(jī)25相機(jī)——自由觸發(fā)/外部觸發(fā)自由觸發(fā)：按照相機(jī)自己的時(shí)鐘抓怕圖像，對(duì)于運(yùn)動(dòng)目標(biāo)，每次在圖像中出現(xiàn)的位置不同。外部觸發(fā)：按照外部傳感器給的觸發(fā)信號(hào)拍攝圖像，運(yùn)動(dòng)物體在圖像中每次的位置一致。相機(jī)——自由觸發(fā)/外部觸發(fā)自由觸發(fā)：按照相機(jī)自己的時(shí)鐘抓怕圖26相機(jī)——數(shù)據(jù)接口模擬接口：CCIR/EIA,Non-Standard,RS-422/LVDS高速，可靠性高，傳輸距離遠(yuǎn)，支持多相機(jī)連接。管腳定義不統(tǒng)一，電纜成本高。CameraLink高速，高可靠性。不便于多相機(jī)連接和集中控制，電纜價(jià)格高。IEE1394靈活性高，成本低。傳輸距離短，可靠性低。USB2.0靈活性高，成本低。傳輸距離短，可靠性低，技術(shù)不成熟。GigEVision靈活性高，可擴(kuò)充性強(qiáng)，支持遠(yuǎn)距離傳輸，支持多點(diǎn)傳輸，技術(shù)成熟，魯棒性強(qiáng)，成本低。USB3.0靈活性高。傳輸距離短，可靠性低，技術(shù)不成熟。相機(jī)——數(shù)據(jù)接口模擬接口：CCIR/EIA,Non-Sta27圖像分析——核心算法空間標(biāo)定物體測(cè)量二維碼讀取圖像數(shù)學(xué)和邏輯運(yùn)算瑕疵檢測(cè)圖像分割圖像分析——核心算法空間標(biāo)定物體測(cè)量二維碼讀取圖像數(shù)學(xué)和邏輯28圖像分析——核心算法模板和形狀匹配光學(xué)字符的識(shí)別與確認(rèn)色彩檢測(cè)邊緣檢測(cè)目標(biāo)分類圖像濾波和頻率分析圖像分析——核心算法模板和形狀匹配光學(xué)字符的識(shí)別與確認(rèn)色彩檢29圖像處理分析——核心功能邊緣工具：確定邊緣的有無(wú)、數(shù)量、類別和位置目標(biāo)物工具：確定目標(biāo)物有無(wú)、數(shù)量、類別、尺寸和位置圖形計(jì)數(shù)工具：確定圖形的有無(wú)、數(shù)量和位置GEO計(jì)數(shù)工具：在360度范圍內(nèi)確定目標(biāo)圖形的有無(wú)和位置條碼檢測(cè)工具：查找、解碼和評(píng)估一維和二維碼OCR/OCV:讀取和確認(rèn)光學(xué)字符圓弧工具:檢測(cè)圓弧，以及圓心及其他弧形特征線段工具:檢測(cè)長(zhǎng)度，端點(diǎn)及其他線段特征顏色匹配:檢測(cè)匹配的色調(diào)和濃度

測(cè)量工具：測(cè)量?jī)牲c(diǎn)的距離，點(diǎn)到線的距離，兩線之間的角度

線性定位：通過檢測(cè)工件邊緣的相對(duì)移動(dòng)確定工件的平移和旋轉(zhuǎn)

模板查找：通過檢測(cè)圖形的相對(duì)移動(dòng)確定工件的平移和旋轉(zhuǎn)GEO查找：通過檢測(cè)圖形的相對(duì)移動(dòng)確定工件的平移和部件360度的旋轉(zhuǎn)

斑點(diǎn)查找：通過檢測(cè)工件的有無(wú)、關(guān)聯(lián)、尺寸、形狀和坐標(biāo)來確定工件位置圖像處理分析——核心功能邊緣工具：確定邊緣的有無(wú)、數(shù)量、類別30圖像處理分析——核心功能圖像處理分析——核心功能31行業(yè)應(yīng)用飲料行業(yè)：類別和瑕疵檢測(cè)日用品行業(yè)：排列順序檢測(cè)行業(yè)應(yīng)用飲料行業(yè)：類別和瑕疵檢測(cè)日用品行業(yè)：排列順序檢測(cè)32行業(yè)應(yīng)用電子器件行業(yè)：電鍍不良檢測(cè)電子器件行業(yè)：器件污點(diǎn)檢測(cè)行業(yè)應(yīng)用電子器件行業(yè)：電鍍不良檢測(cè)電子器件行業(yè)：器件污點(diǎn)檢測(cè)33行業(yè)應(yīng)用電子器件行業(yè)：儀表按鍵位置錯(cuò)誤檢測(cè)包裝行業(yè)：樹脂蓋污點(diǎn)檢測(cè)行業(yè)應(yīng)用電子器件行業(yè)：儀表按鍵位置錯(cuò)誤檢測(cè)包裝行業(yè)：樹脂蓋污34行業(yè)應(yīng)用電子器件行業(yè)：輪廓和邊緣曲線檢測(cè)包裝行業(yè)：罐頭底部污點(diǎn)檢測(cè)行業(yè)應(yīng)用電子器件行業(yè)：輪廓和邊緣曲線檢測(cè)包裝行業(yè)：罐頭底部污35行業(yè)應(yīng)用日用品行業(yè)：透明塑料瓶污點(diǎn)檢測(cè)紡織行業(yè)：布匹瑕疵檢測(cè)行業(yè)應(yīng)用日用品行業(yè)：透明塑料瓶污點(diǎn)檢測(cè)紡織行業(yè)：布匹瑕疵檢測(cè)36行業(yè)應(yīng)用加工業(yè)：金屬元件檢測(cè)與內(nèi)徑測(cè)量包裝行業(yè)：二維碼讀取，OCR字符識(shí)別行業(yè)應(yīng)用加工業(yè)：金屬元件檢測(cè)與內(nèi)徑測(cè)量包裝行業(yè)：二維碼讀取，37行業(yè)應(yīng)用電子器件行業(yè)：接線位置檢測(cè)包裝行業(yè)：保質(zhì)期有無(wú)檢測(cè)/標(biāo)簽錯(cuò)位檢測(cè)行業(yè)應(yīng)用電子器件行業(yè)：接線位置檢測(cè)包裝行業(yè)：保質(zhì)期有無(wú)檢測(cè)/38行業(yè)應(yīng)用電子器件行業(yè)：電子零部件的有無(wú)檢測(cè)、方向識(shí)別/確認(rèn)工業(yè)制品檢測(cè)：金屬零部件內(nèi)的密封墊有無(wú)、螺紋孔的螺紋槽是否存在行業(yè)應(yīng)用電子器件行業(yè)：電子零部件的有無(wú)檢測(cè)、方向識(shí)別/確認(rèn)工39高精密工件檢測(cè)線陣相機(jī)+遠(yuǎn)心鏡頭+精密絲桿組成的線掃描式工業(yè)視覺檢測(cè)高精密工件檢測(cè)40應(yīng)用案例——產(chǎn)品可追溯針對(duì)潤(rùn)滑油灌裝生產(chǎn)線，實(shí)現(xiàn)產(chǎn)線一體化管理，產(chǎn)品生產(chǎn)數(shù)據(jù)與上下游數(shù)據(jù)實(shí)現(xiàn)無(wú)縫連接，實(shí)現(xiàn)產(chǎn)品在整個(gè)供應(yīng)鏈中的可追溯性需求。機(jī)器視覺系統(tǒng)重點(diǎn)聚焦調(diào)合和灌裝兩個(gè)生產(chǎn)區(qū)域，先后實(shí)現(xiàn)了產(chǎn)品在線賦碼、灌裝線管匯自動(dòng)化、儲(chǔ)罐信息共享、調(diào)合配方系統(tǒng)化、灌裝線自動(dòng)數(shù)據(jù)采集、儲(chǔ)運(yùn)發(fā)貨優(yōu)化、中轉(zhuǎn)庫(kù)和經(jīng)銷商管理、原料油到貨管理、生產(chǎn)任務(wù)智能排產(chǎn)等管理課題的突破，有效地提高了現(xiàn)場(chǎng)作業(yè)管理效率，具備了先進(jìn)過程控制體系的基本格局，使智能數(shù)字化管理水平進(jìn)一步提升。應(yīng)用案例——產(chǎn)品可追溯針對(duì)潤(rùn)滑油灌裝生產(chǎn)線，實(shí)現(xiàn)產(chǎn)線一體化管41應(yīng)用案例——產(chǎn)品可追溯

使用機(jī)器視覺技術(shù)進(jìn)行條碼讀取和標(biāo)簽驗(yàn)證，具體包括讀碼（包括讀取一維碼，二維碼），OCR（光學(xué)字符識(shí)別），檢測(cè)有/無(wú)，定位，測(cè)量，標(biāo)簽驗(yàn)證，OCV（光學(xué)字符驗(yàn)證）等等，保證產(chǎn)品質(zhì)量和全程可視化操作。管理者和生產(chǎn)人員可輕松地管理日常工作，對(duì)各類時(shí)間能快速響應(yīng)和決斷，確保生產(chǎn)順利進(jìn)行，實(shí)現(xiàn)產(chǎn)品的全程可追溯性。應(yīng)用案例——產(chǎn)品可追溯42應(yīng)用案例——視覺堆垛通過相機(jī)視野內(nèi)目標(biāo)比例的變化來估算目標(biāo)的高度并引導(dǎo)機(jī)器人的運(yùn)動(dòng)補(bǔ)償目標(biāo)的偏移，允許機(jī)器人只借助一個(gè)普通2D相機(jī)或線激光輔助來拾取碼放堆集的目標(biāo)。應(yīng)用案例——視覺堆垛通過相機(jī)視野內(nèi)目標(biāo)比例的變化來估算目標(biāo)的43應(yīng)用案例——視覺堆垛工作原理：利用傳感器和輔助光源組成機(jī)器視覺系統(tǒng)，實(shí)現(xiàn)對(duì)無(wú)定位工件的準(zhǔn)確位置判斷，在機(jī)器人收到信號(hào)后，機(jī)器人裝上為工件定制的專用手爪去可靠的抓取工件，在與機(jī)床進(jìn)行通訊得到上料請(qǐng)求后，最終完成機(jī)床的上下料，在各種機(jī)械加工行業(yè)中該系統(tǒng)應(yīng)用廣泛。工作流程標(biāo)定：圖像坐標(biāo)映射與世界坐標(biāo)的映射檢測(cè)：工件有無(wú)及在圖像坐標(biāo)中的位置定位：工件映射到世界坐標(biāo)的位置引導(dǎo)：發(fā)出指令動(dòng)作應(yīng)用案例——視覺堆垛工作原理：44應(yīng)用案例——視覺堆垛傳感器安裝方式：固定式機(jī)械手一體式傳