機(jī)器視覺系統(tǒng)設(shè)計(jì)五大難點(diǎn)[詳細(xì)講解]

1、機(jī)器視覺系統(tǒng)設(shè)計(jì)五大難點(diǎn)容來源網(wǎng)絡(luò)，由“機(jī)械展（ 11 萬， 1100 多家展商，超10 萬觀眾）” 收集整理！更多 cnc 加工中心、車銑磨鉆床、線切割、數(shù)控刀具工具、工業(yè)機(jī)器人、非標(biāo)自動(dòng)化、數(shù)字化無人工廠、精密測量、數(shù)控系統(tǒng)、3D 打印、激光切割、鈑金沖壓折彎、精密零件加工等展示，就在機(jī)械展.機(jī)器視覺系統(tǒng)的組成機(jī)器視覺系統(tǒng)是指用計(jì)算機(jī)來實(shí)現(xiàn)人的視覺功能，也就是用計(jì)算機(jī)來實(shí)現(xiàn)對客觀的三維世界的識別。按現(xiàn)在的理解，人類視覺系統(tǒng)的感受部分是視網(wǎng)膜，它是一個(gè)三維采樣系統(tǒng)。三維物體的可見部分投影到網(wǎng)膜上，人們按照投影到視網(wǎng)膜上的二維的像來對該物體進(jìn)行三維理解。所謂三維理解是指對被觀察對象的形狀、尺寸

2、、離開觀察點(diǎn)的距離、質(zhì)地和運(yùn)動(dòng)特征（方向和速度）等的理解。機(jī)器視覺系統(tǒng)的輸入裝置可以是攝像機(jī)、轉(zhuǎn)鼓等，它們都把三維的影像作為輸入源，即輸入計(jì)算機(jī)的就是三維管觀世界的二維投影。如果把三維客觀世界到二維投影像看作是一種正變換的話，則機(jī)器視覺系統(tǒng)所要做的是從這種二維投影圖像到三維客觀世界的逆變換，也就是根據(jù)這種二維投影圖像去重建三維的客觀世界。機(jī)器視覺系統(tǒng)主要由三部分組成：圖像的獲取、圖像的處理和分析、輸出或顯示。近 80%的工業(yè)視覺系統(tǒng)主要用在檢測方面，包括用于提高生產(chǎn)效率、控制生產(chǎn)過程中的產(chǎn)品質(zhì)量、采集產(chǎn)品數(shù)據(jù)等。產(chǎn)品的分類和選擇也集成于檢測功能中。下面通過一個(gè)用于生產(chǎn)線上的單攝像機(jī)視覺系統(tǒng)，說

3、明系統(tǒng)的組成及功能。視覺系統(tǒng)檢測生產(chǎn)線上的產(chǎn)品，決定產(chǎn)品是否符合質(zhì)量要求，并根據(jù)結(jié)果，產(chǎn)生相應(yīng)的信號輸入上位機(jī)。圖像獲取設(shè)備包括光源、攝像機(jī)等；圖像處理設(shè)備包括相應(yīng)的軟件和硬件系統(tǒng)；輸出設(shè)備是與制造過程相連的有關(guān)系統(tǒng)，包括過程控制器和報(bào)警裝置等。數(shù)據(jù)傳輸?shù)接?jì)算機(jī)，進(jìn)行分析和產(chǎn)品控制，若發(fā)現(xiàn)不合格品，則報(bào)警器告警，并將其排除出生產(chǎn)線。機(jī)器視覺的結(jié)果是CAQ系統(tǒng)的質(zhì)量信息來源，也可以和CIMS其它系統(tǒng)集成。圖像的獲取圖像的獲取實(shí)際上是將被測物體的可視化圖像和在特征轉(zhuǎn)換成能被計(jì)算機(jī)處理的一系列數(shù)據(jù)，它主要由三部分組成：照明圖像聚焦形成圖像確定和形成攝像機(jī)輸出信號1、照明照明和影響機(jī)器視覺系統(tǒng)輸入的重

4、要因素，因?yàn)樗苯佑绊戄斎霐?shù)據(jù)的質(zhì)量和至少30%的應(yīng)用效果。由于沒有通用的機(jī)器視覺照明設(shè)備，所以針對每個(gè)特定的應(yīng)用實(shí)例，要選擇相應(yīng)的照明裝置，以達(dá)到最佳效果。過去，許多工業(yè)用的機(jī)器視覺系統(tǒng)用可見光作為光源，這主要是因?yàn)榭梢姽馊菀撰@得，價(jià)格低，并且便于操作。常用的幾種可見光源是白幟燈、日光燈、水銀燈和鈉光燈。但是，這些光源的一個(gè)最大缺點(diǎn)是光能不能保持穩(wěn)定。以日光燈為例，在使用的第一個(gè)100 小時(shí)，光能將下降15%，隨著使用時(shí)間的增加，光能將不斷下降。因此，如何使光能在一定的程度上保持穩(wěn)定，是實(shí)用化過程中急需要解決的問題。另一個(gè)方面，環(huán)境光將改變這些光源照射到物體上的總光能，使輸出的圖像數(shù)據(jù)存在噪

5、聲，一般采用加防護(hù)屏的方法，減少環(huán)境光的影響。由于存在上述問題，在現(xiàn)今的工業(yè)應(yīng)用中，對于某些要求高的檢測任務(wù)，常采用X 射線、超聲波等不可見光作為光源。但是不可見光不利于檢測系統(tǒng)的操作，且價(jià)格較高，所以，目前在實(shí)際應(yīng)用中，仍多用可見光作為光源。照明系統(tǒng)按其照射方法可分為：背向照明、前向照明、結(jié)構(gòu)光和頻閃光照明等。其中，背向照明是被測物放在光源和攝像機(jī)之間，它的優(yōu)點(diǎn)是能獲得高對比度的圖像。前向照明是光源和攝像機(jī)位于被測物的同側(cè)，這種方式便于安裝。結(jié)構(gòu)光照明是將光柵或線光源等投射到被測物上，根據(jù)它們產(chǎn)生的畸變，解調(diào)出被測物的三維信息。頻閃光照明是將高頻率的光脈沖照射到物體上，照像機(jī)拍攝要求與光源同

6、步。2、圖像聚焦形成被測物的圖像通過一個(gè)透鏡聚焦在敏感元件上，如同照像機(jī)拍照一樣。所不同的是照像機(jī)使用膠卷，而機(jī)器視覺系統(tǒng)使用傳感器來捕捉圖像，傳感器將可視圖像轉(zhuǎn)化為電信號，便于計(jì)算機(jī)處理。選取機(jī)器視覺系統(tǒng)中的攝像機(jī)應(yīng)根據(jù)實(shí)際應(yīng)用的要求，其中攝像機(jī)的透鏡參數(shù)是一項(xiàng)重要指標(biāo)。透鏡參數(shù)分為四個(gè)部分：放大倍率、焦距、景深和透鏡安裝。3、圖像確定和形成攝像機(jī)輸出信號機(jī)器視覺系統(tǒng)實(shí)際上是一個(gè)光電轉(zhuǎn)換裝置，即將傳感器所接收到的透鏡成像，轉(zhuǎn)化為計(jì)算機(jī)能處理的電信號、攝像機(jī)可以是電子管的，也可是固體狀態(tài)傳感單元。電子管攝像機(jī)發(fā)展較早，20 世紀(jì) 30 年代就已應(yīng)用于商業(yè)電視，它采用包含光感元件的真空管進(jìn)行圖像

7、傳感，將所接收到的圖像轉(zhuǎn)換成模擬電壓信號輸出。具有 RS-170 輸出制式的攝像機(jī)可直接與商用電視顯示器相連。固體狀態(tài)攝像機(jī)是在20 世紀(jì) 60 年代后期， 美國貝爾實(shí)驗(yàn)室發(fā)明了電荷耦合裝置（ CCD），而發(fā)展起來的。它上分布于各個(gè)像元的光敏二極管的線性陣列或矩形陣列構(gòu)成，通過按一定順序輸出每個(gè)二極管的電壓脈沖，實(shí)現(xiàn)將圖像光信號轉(zhuǎn)換成電信號的目的。輸出的電壓脈沖序列可以直接以RS-170 制式輸入標(biāo)準(zhǔn)電視顯示器，或者輸入計(jì)算機(jī)的存，進(jìn)行數(shù)值化處理。CCD是現(xiàn)在最常用的機(jī)器視覺傳感器。圖像處理技術(shù)機(jī)器視覺系統(tǒng)中，視覺信息的處理技術(shù)主要依賴于圖像處理方法，它包括圖像增強(qiáng)、數(shù)據(jù)編碼和傳輸、平滑、邊緣

8、銳化、分割、特征抽取、圖像識別與理解等容。經(jīng)過這些處理后，輸出圖像的質(zhì)量得到相當(dāng)程度的改善，既改善了圖像的視覺效果，又便于計(jì)算機(jī)對圖像進(jìn)行分析、處理和識別。1、圖像的增強(qiáng)圖像的增強(qiáng)用于調(diào)整圖像的對比度，突出圖像中的重要細(xì)節(jié)，改善視覺質(zhì)量。通常采用灰度直方圖修改技術(shù)進(jìn)行圖像增強(qiáng)。圖像的灰度直方圖是表示一幅圖像灰度分布情況的統(tǒng)計(jì)特性圖表，與對比度緊密相連。通常，在計(jì)算機(jī)中表示的一幅二維數(shù)字圖像可表示為一個(gè)矩陣，其矩陣中的元素是位于相應(yīng)坐標(biāo)位置的圖像灰度值，是離散化的整數(shù)，一般取0， 1， ，255 。這主要是因?yàn)橛?jì)算機(jī)中的一個(gè)字節(jié)所表示的數(shù)值圍是0255 。另外，人眼也只能分辨32個(gè)左右的灰度級。

9、所以，用一個(gè)字節(jié)表示灰度即可。但是，直方圖僅能統(tǒng)計(jì)某級灰度像素出現(xiàn)的概率，反映不出該像素在圖像中的二維坐標(biāo)。因此，不同的圖像有可能具有相同的直方圖。通過灰度直方圖的形狀，能判斷該圖像的清晰度和黑白對比度。如果獲得一幅圖像的直方圖效果不理想，可以通過直方圖均衡化處理技術(shù)作適當(dāng)修改，即把一幅已知灰度概率分布圖像中的像素灰度作某種映射變換，使它變成一幅具有均勻灰度概率分布的新圖像，實(shí)現(xiàn)使圖象清晰的目的。2、圖像的平滑圖像的平滑處理技術(shù)即圖像的去噪聲處理，主要是為了去除實(shí)際成像過程中，因成像設(shè)備和環(huán)境所造成的圖像失真，提取有用信息。眾所周知，實(shí)際獲得的圖像在形成、傳輸、接收和處理的過程中，不可避免地存

10、在著外部干擾和部干擾，如光電轉(zhuǎn)換過程敏感元件靈敏度的不均勻性、數(shù)字化過程的量化噪聲、傳輸過程中的誤差以及人為因素等，均會(huì)使圖像變質(zhì)。因此，去除噪聲，恢復(fù)原始圖像是圖像處理中的一個(gè)重要容。3、圖像的數(shù)據(jù)編碼和傳輸數(shù)字圖像的數(shù)據(jù)量是相當(dāng)龐大的，一幅512*512個(gè)像素的數(shù)字圖像的數(shù)據(jù)量為256 K字節(jié)，若假設(shè)每秒傳輸25 幀圖像，則傳輸?shù)男诺浪俾蕿?2.4M比特/ 秒。高信道速率意味著高投資，也意味著普及難度的增加。因此，傳輸過程中，對圖像數(shù)據(jù)進(jìn)行壓縮顯得非常重要。數(shù)據(jù)的壓縮主要通過圖像數(shù)據(jù)的編碼和變換壓縮完成。圖像數(shù)據(jù)編碼一般采用預(yù)測編碼，即將圖像數(shù)據(jù)的空間變化規(guī)律和序列變化規(guī)律用一個(gè)預(yù)測公式表

11、示，如果知道了某一像素的前面各相鄰像素值之后，可以用公式預(yù)測該像素值。采用預(yù)測編碼，一般只需傳輸圖像數(shù)據(jù)的起始值和預(yù)測誤差，因此可將8 比特/ 像素壓縮到2 比特/ 像素。變換壓縮方法是將整幅圖像分成一個(gè)個(gè)小的（一秀取8*8或16*16）數(shù)據(jù)塊，再將這些數(shù)據(jù)塊分類、變換、量化，從而構(gòu)成自適應(yīng)的變換壓縮系統(tǒng)。該方法可將一幅圖像的數(shù)據(jù)壓縮到為數(shù)不多的幾十個(gè)特傳輸，在接收端再變換回去即可。4、邊緣銳化圖像邊緣銳化處理主要是加強(qiáng)圖像中的輪廓邊緣和細(xì)節(jié)，形成完整的物體邊界，達(dá)到將物體從圖像中分離出來或?qū)⒈硎就晃矬w表面的區(qū)域檢測出來的目的。它是早期視覺理論和算法中的基本問題，也是中期和后期視覺成敗的重要

12、因素之一。5、圖像的分割圖像分割是將圖像分成若干部分，每一部分對應(yīng)于某一物體表面，在進(jìn)行分割時(shí)，每一部分的灰度或紋理符合某一種均勻測度度量。某本質(zhì)是將像素進(jìn)行分類。分類的依據(jù)是像素的灰度值、顏色、頻譜特性、空間特性或紋理特性等。圖像分割是圖像處理技術(shù)的基本方法之一，應(yīng)用于諸如染色體分類、景物理解系統(tǒng)、機(jī)器視覺等方面。圖像分割主要有兩種方法：一是鑒于度量空間的灰度閾值分割法。它是根據(jù)圖像灰度直方圖來決定圖像空間域像素聚類。但它只利用了圖像灰度特征，并沒有利用圖像中的其它有用信息，使得分割結(jié)果對噪聲十分敏感；二是空間域區(qū)域增長分割方法。它是對在某種意義上（如灰度級、組織、梯度等）具有相似性質(zhì)的像素

13、連通集構(gòu)成分割區(qū)域，該方法有很好的分割效果，但缺點(diǎn)是運(yùn)算復(fù)雜，處理速度慢。其它的方法如邊緣追蹤法，主要著眼于保持邊緣性質(zhì)，跟蹤邊緣并形成閉合輪廓，將目標(biāo)分割出來；錐體圖像數(shù)據(jù)結(jié)構(gòu)法和標(biāo)記松弛迭代法同樣是利用像素空間分布關(guān)系，將邊鄰的像素作合理的歸并。而基于知識的分割方法則是利用景物的先驗(yàn)信息和統(tǒng)計(jì)特性，首先對圖像進(jìn)行初始分割，抽取區(qū)域特征，然后利用領(lǐng)域知識推導(dǎo)區(qū)域的解釋，最后根據(jù)解釋對區(qū)域進(jìn)行合并。6、圖像的識別圖像的識別過程實(shí)際上可以看作是一個(gè)標(biāo)記過程，即利用識別算法來辨別景物中已分割好的各個(gè)物體，給這些物體賦予特定的標(biāo)記，它是機(jī)器視覺系統(tǒng)必須完成的一個(gè)任務(wù)。按照圖像識別從易到難，可分為三類

14、問題。第一類識別問題中，圖像中的像素表達(dá)了某一物體的某種特定信息。如遙感圖像中的某一像素代表地面某一位置地物的一定光譜波段的反射特性，通過它即可判別出該地物的種類。第二類問題中，待識別物是有形的整體，二維圖像信息已經(jīng)足夠識別該物體，如文字識別、某些具有穩(wěn)定可視表面的三維體識別等。但這類問題不像第一類問題容易表示成特征矢量，在識別過程中，應(yīng)先將待識別物體正確地從圖像的背景中分割出來，再設(shè)法將建立起來的圖像中物體的屬性圖與假定模型庫的屬性圖之間匹配。第三類問題是由輸入的二維圖、要素圖、 2·5 維圖等，得出被測物體的三維表示。這里存著如何將隱含的三維信息提取出來的問題，當(dāng)是今研究的熱點(diǎn)。

15、目前用于圖像識別的方法主要分為決策理論和結(jié)構(gòu)方法。決策理論方法的基礎(chǔ)是決策函數(shù)，利用它對模式向量進(jìn)行分類識別，是以定時(shí)描述（如統(tǒng)計(jì)紋理）為基礎(chǔ)的；結(jié)構(gòu)方法的核心是將物體分解成了模式或模式基元，而不同的物體結(jié)構(gòu)有不同的基元串（或稱字符串），通過對未知物體利用給定的模式基元求出編碼邊界，得到字符串，再根據(jù)字符串判斷它的屬類。這是一種依賴于符號描述被測物體之間關(guān)系的方法。那么，機(jī)器視覺系統(tǒng)設(shè)計(jì)的難點(diǎn)都有哪些？本文主要總結(jié)了一下五點(diǎn)，第一：打光的穩(wěn)定性工業(yè)視覺應(yīng)用一般分成四大類：定位、測量、檢測和識別，其中測量對光照的穩(wěn)定性要求最高，因?yàn)楣庹罩灰l(fā)生10-20%的變化， 測量結(jié)果將可能偏差出1-2 個(gè)

16、像素，這不是軟件的問題，這是光照變化，導(dǎo)致了圖像上邊緣位置發(fā)生了變化，即使再厲害的軟件也解決不了問題，必須從系統(tǒng)設(shè)計(jì)的角度，排除環(huán)境光的干擾，同時(shí)要保證主動(dòng)照明光源的發(fā)光穩(wěn)定性。當(dāng)然通過硬件相機(jī)分辨率的提升也是提高精度，抗環(huán)境干擾的一種辦法了。 比如之前的相機(jī)對應(yīng)物空間尺寸是 1 個(gè)像素 10um，而通過提升分辨率后變成 1 個(gè)像素 5um，精度近似可以認(rèn)為提升 1 倍，對環(huán)境的干擾自然增強(qiáng)了。第二：工件位置的不一致性一般做測量的項(xiàng)目，無論是離線檢測，還是在線檢測，只要是全自動(dòng)化的檢測設(shè)備，首先做的第一步工作都是要能找到待測目標(biāo)物。每次待測目標(biāo)物出現(xiàn)在拍攝視場中時(shí)，要能精確知道待測目標(biāo)物在哪里，即使你使用一些機(jī)械夾具等，也不能特別高精度保證待測目標(biāo)物每次都出現(xiàn)在同一位置的，這就需要用到定位功能，如果定位不準(zhǔn)確，可能測量工具出現(xiàn)的位置就不準(zhǔn)確，測量結(jié)果有時(shí)會(huì)有較大偏差第三：標(biāo)定一般在高精度測量時(shí)需要做以下幾個(gè)標(biāo)定，一光學(xué)畸變標(biāo)定（如果您不是用的軟件鏡頭，一般都必須標(biāo)定），二投影畸變的標(biāo)定，也就是因?yàn)槟惭b位置誤差代表的圖像畸變校正，三物像空間的標(biāo)定，也就是具體算出每個(gè)像素對應(yīng)物空間的尺寸。不過目前的標(biāo)定算法都是基于平面的標(biāo)定，如果待測量的物理不是平面的，標(biāo)定就會(huì)需要作一些特種算法來處理，通常的標(biāo)定算法是解決不了的。此外有些標(biāo)定，因?yàn)椴环矫媸褂脴?biāo)定板