機器視覺-相機

1、機器視覺中的圖像采集技術(shù)機器視覺中的圖像采集技術(shù)（硬件基礎(chǔ)知識）（硬件基礎(chǔ)知識）第二講第二講第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識 基本結(jié)構(gòu)基本結(jié)構(gòu) 基本概念基本概念 分類與發(fā)展趨勢分類與發(fā)展趨勢 數(shù)字工業(yè)相機的傳數(shù)字工業(yè)相機的傳輸接口輸接口第一節(jié)第一節(jié) 工業(yè)相機工業(yè)相機第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機內(nèi)容提要內(nèi)容提要第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識一、工業(yè)相機的基本結(jié)構(gòu)一、工業(yè)相機的基本結(jié)構(gòu)Digital Image Processing Module數(shù)字圖像處理模塊 Lens Mount

2、IR FilterImage SensorDrive Circuit驅(qū)動電路 Transmitting Controller 發(fā)射控制器 Video Signal視頻信號 Channel to control the camera 通道控制 相機 第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（1）q 傳感器的尺寸傳感器的尺寸 圖像傳感器感光區(qū)域的面積大小。這個尺寸直圖像傳感器感光區(qū)域的面積大小。這個尺寸直接決定了整個系統(tǒng)的物理放大率。如：接決定了整個系統(tǒng)的物理放大率。如：1/

3、3“、1/2”等。絕大多數(shù)模擬相機的傳感器的長寬比例等。絕大多數(shù)模擬相機的傳感器的長寬比例是是4：3 (H：V)，數(shù)字相機的長寬比例則包括多，數(shù)字相機的長寬比例則包括多種：種：1：1，16：9，3：2 etc。第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機線掃描相機：線掃描相機： 用像素的一條線來成像，像在這條線的垂直方向移動。傳感器獲取一行數(shù)據(jù)，讀用像素的一條線來成像，像在這條線的垂直方向移動。傳感器獲取一行數(shù)據(jù)，讀出后再獲取另一行數(shù)據(jù)。像的運動就提供了一個二維空間。線掃描相機可以有幾出后再獲取另一行數(shù)據(jù)。像的運動就提供了一個二維空間。線掃描相機可以有幾K個像個像素，因此可提供高分辨率的像。許多線掃描相機能

4、夠有較高的數(shù)據(jù)速率。這種相機和素，因此可提供高分辨率的像。許多線掃描相機能夠有較高的數(shù)據(jù)速率。這種相機和采集卡的缺點是價錢較高。線掃描相機最多用在網(wǎng)狀探測中，這里網(wǎng)連續(xù)的在相機的采集卡的缺點是價錢較高。線掃描相機最多用在網(wǎng)狀探測中，這里網(wǎng)連續(xù)的在相機的成像視場中移動。成像視場中移動。線掃描相機具有靈敏度高，動態(tài)范圍大，性價比高等特點。線掃描線掃描相機具有靈敏度高，動態(tài)范圍大，性價比高等特點。線掃描CCD相機的主相機的主要優(yōu)點是：要優(yōu)點是： 在高分辨率應(yīng)用中，低成本提高分辨率在高分辨率應(yīng)用中，低成本提高分辨率 100%的填充因子（感光面積與整個像素面積之比的填充因子（感光面積與整個像素面積之比

5、） 動態(tài)范圍高動態(tài)范圍高 拍攝高速運動的物體時無需附加復(fù)雜的快門裝置就能實現(xiàn)無拍攝高速運動的物體時無需附加復(fù)雜的快門裝置就能實現(xiàn)無 smear輸出輸出線掃描相機系統(tǒng)的重點元素線掃描相機系統(tǒng)的重點元素 運動平穩(wěn)運動平穩(wěn) 速度跟蹤精度高速度跟蹤精度高 光源強度要求高光源強度要求高 二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（2）第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（3）q 相機掃描方式相機掃描方式 隔行掃描（隔行掃描（ Interlace ），模擬相機一般都是隔行），模擬相機一般都是隔行掃描。掃描

6、。請問如果是拍運動物體的話，會出現(xiàn)什么情請問如果是拍運動物體的話，會出現(xiàn)什么情況？怎么解決況？怎么解決?35246第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（4）q 相機掃描方式相機掃描方式 逐行掃描（逐行掃描（ Progressive scan ）,數(shù)字相機一般都逐數(shù)字相機一般都逐行掃描，行掃描，CCD和和COMS芯片在運動拍攝會出現(xiàn)什么情況？芯片在運動拍攝會出現(xiàn)什么情況？35241第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺

7、中的圖像采集技術(shù)硬件基礎(chǔ)知識二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（5）q 物理放大率物理放大率 傳感器感光面積于視野的比值，整個參數(shù)基本傳感器感光面積于視野的比值，整個參數(shù)基本取決于鏡頭取決于鏡頭q 系統(tǒng)放大率系統(tǒng)放大率 最后顯示環(huán)節(jié)上目標(biāo)的尺寸于實際目標(biāo)尺寸的最后顯示環(huán)節(jié)上目標(biāo)的尺寸于實際目標(biāo)尺寸的比值。系統(tǒng)放大率取決于物理放大率和顯示系統(tǒng)比值。系統(tǒng)放大率取決于物理放大率和顯示系統(tǒng)的闡述。對于自動測量和檢測系統(tǒng)而言，物理放的闡述。對于自動測量和檢測系統(tǒng)而言，物理放大率具有關(guān)鍵的意義。系統(tǒng)放大率僅僅對于需要大率具有關(guān)鍵的意義。系統(tǒng)放大率僅僅對于需要人機交互進行檢測的系統(tǒng)有意義人機交互

8、進行檢測的系統(tǒng)有意義第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機1.SENSORSENSOR:圖像傳感器；2.CMOSCMOS（Complementary Metal Oxide SemiconductorComplementary Metal Oxide Semiconductor）: : 互補型金屬氧化物半導(dǎo)體；3.CCDCCD（Charge Coupled DeviceCharge Coupled Device）:電荷耦合器件；4.像素像素：感光器件上的基本感光單元，也是一幅圖像的基本單元；5.5. 像素尺寸像素尺寸(pixel size):(pixel size):感光像元的大小，像元越大，敏感度越

9、高。如：10.6um*10.6um；6.分辨率分辨率(Number of Pixels)(Number of Pixels)：感光器件/圖像的水平和垂直方向的像素數(shù)（1024X1024）； 7.信噪比信噪比：輸出信號中有用信號和噪聲的比（dB） ；8.幀幀/ /場場： 相機輸出的完整的一幅圖像為一幀，隔行信號一幀分為兩場 時差20MS。幀率：相機每秒中能夠輸出圖像的幀數(shù)，對于模擬制式相機，這個頻率是固定值，對于數(shù)字相機，是個可變的值。二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（6）9.Binning9.Binning：將幾個像素聯(lián)合起來作為一個像素使用，提高靈敏度，輸出速度，降低分辨率 ；

10、10.快門速度快門速度：每幀圖像的曝光時間； CCD/CMOS相機多數(shù)采用電子快門，通過電信號脈沖的寬度來控制傳感器的光積分（曝光）時間。對于一般性能的的相機快門速度可以達到1/10000-1/100000秒。11.光譜響應(yīng)：光譜響應(yīng)：感光器件在不同波段的感光程度；12.量子效率：量子效率：光子轉(zhuǎn)化成電子的效率（以%表示）；13.快門方式（快門方式（Shutter type)Shutter type)： Rolling（滾動）快門：逐行曝光方式，多數(shù)CMOS圖像傳感器上使用的快門，其特征是逐行曝光，每一行的曝光時間不一致，拍攝高速運動物體時出現(xiàn)拖尾。 Global（全幀）快門：CCD傳感器和極

11、少數(shù)CMOS傳感器采用的快門，傳感器上所有像素同時刻曝光。全幀曝光方式，不會出現(xiàn)拖尾；14.AOI14.AOI（Area Of InterestArea Of Interest）：）：感興趣區(qū)域；二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（7）15.15.靈敏度靈敏度(Sensitivity):(Sensitivity):靈敏度是用來衡量傳感器探測光照能力的 指標(biāo)。靈敏度越高，探測光的能力越強，越能探測到很弱的光；最低照度，又稱靈敏度，衡量相機對光線敏感程度的指標(biāo)。通常情況下是指相機獲得30最大輸出值時候所需的照度。單位是Lux。16.16.滿阱容量滿阱容量(full well capac

12、ity):(full well capacity): 傳感器是通過光電效應(yīng)來積累電子進而輸出電壓。積累的電子存儲在勢阱中，勢阱越深，存儲的電子越多，能接受的光通量越大。滿阱容量用勢阱中能存儲的電子數(shù)來計量，滿阱容量越大，則相機的動態(tài)范圍越大，抗噪能力越強，但同時靈敏度也降低了，因為需要更多的光子才能夠輸出； 17.增益增益：通過放大器對信號及噪聲的放大 ；18.18.物鏡接口方式（物鏡接口方式（objective mount):objective mount): 工業(yè)相機物鏡常用的兩種接口方式，即C接口和CS接口。C接口的相機可以安裝C和CS接口的物鏡，而CS接口的相機只能安裝同樣接口的物鏡；

13、19.19.動態(tài)范圍動態(tài)范圍 (Dynamic range ):(Dynamic range ): 動態(tài)范圍等于滿阱電容量與讀出噪聲的比值，二者的單位都是“電子”，相除就約去了，因此動態(tài)范圍這個參數(shù)沒有量綱的；動態(tài)范圍表示圖像中所包含的從“最暗”至“最亮”的范圍。動態(tài)范圍越大，所能表現(xiàn)的層次越豐富，所包含的色彩空間也越廣。它能同時記錄的暗部細節(jié)和亮部細節(jié)越豐富。二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（8）20.20.白平衡（白平衡（White BalanceWhite Balance）: :在各種不同的光線狀況下，目標(biāo)物的色彩會產(chǎn)生變化。在這方面，在各種不同的光線狀況下，目標(biāo)物的色彩會

14、產(chǎn)生變化。在這方面，白色物體變化得最為明顯：在室內(nèi)鎢絲燈光下，白色物體看起來白色物體變化得最為明顯：在室內(nèi)鎢絲燈光下，白色物體看起來會帶有橘黃色色調(diào)，在這樣的光照條件下拍攝出來的景物就會偏會帶有橘黃色色調(diào)，在這樣的光照條件下拍攝出來的景物就會偏黃；但如果是在蔚藍天空下，則會帶有藍色色調(diào)。在這樣的光照黃；但如果是在蔚藍天空下，則會帶有藍色色調(diào)。在這樣的光照條件下拍攝出來的景物會偏藍。為了盡可能減少外來光線對目標(biāo)條件下拍攝出來的景物會偏藍。為了盡可能減少外來光線對目標(biāo)顏色造成的影響，在不同的色溫條件下都能還原出被攝目標(biāo)本來顏色造成的影響，在不同的色溫條件下都能還原出被攝目標(biāo)本來的色彩，這就需要攝像

15、機進行色彩校正，以達成正確的色彩平衡，的色彩，這就需要攝像機進行色彩校正，以達成正確的色彩平衡，就稱為白平衡調(diào)整。就稱為白平衡調(diào)整。二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（9）21.21.伽瑪糾正技術(shù)是一項被在實際顯示中非線性響應(yīng)特征中被伽瑪糾正技術(shù)是一項被在實際顯示中非線性響應(yīng)特征中被廣泛使用的技術(shù)。換句話說如果你傳寄出一個廣泛使用的技術(shù)。換句話說如果你傳寄出一個“2 2”的亮度信的亮度信息至顯示器上，那么最終這個像素并不會顯示出相當(dāng)于兩個息至顯示器上，那么最終這個像素并不會顯示出相當(dāng)于兩個“1 1”的亮度，這就需要由的亮度，這就需要由GammaGamma曲線響做一些的糾正，使色彩曲

16、線響做一些的糾正，使色彩值看起來更加的自然。值看起來更加的自然。二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（10）第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（11）補充）補充q 分辨率(Resolution) 模擬制式相機的分辨率取決于傳感器上像素的數(shù)目以及后期處理電路的質(zhì)量，數(shù)字相機的分辨率則直接取決與傳感器上像素的數(shù)目。感光器件上圖像的水平和垂直方向的像素數(shù)（1024X1024）； 480768640480760574美制美制 RS RS 170 Norm 170 Norm歐制歐制 CCIR -

17、 NormCCIR - Norm第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（12）補充）補充q 傳感器的光譜傳感器的光譜下面是一個典型的CCD圖像傳感器對于不同光譜的響應(yīng)曲線。第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機ACEGBDFHScan & transferab cd efghefghBinning 2*2相臨4個像素的電荷相臨2像素的電荷Binning 的作用，在于，把相臨幾個像素所積累的電荷累加起來。作為一個電荷進行轉(zhuǎn)換。這樣做的效果，相當(dāng)于把幾個像素拼成了一個大像素

18、使用。優(yōu)點，速度快。缺點，分辨率降低。二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（13）補充）補充ACEGBDFHScan & transferab cd efghVertical Binninggh這部分的電荷累積并不能節(jié)省時間，所以Vertical binning和 binning 2*2具有相同的速度優(yōu)勢二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（14）補充）補充第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（15）補充）補充q 信號格式模擬圖像信號的格式包括：復(fù)合視頻信號，Y/C分離

19、信號，RGB分量信號。絕大多數(shù)周邊設(shè)備都能夠兼容這些信號格式。通常情況下對于彩色視頻信號，Y/C分離傳輸?shù)姆绞絻?yōu)于復(fù)合視頻傳輸?shù)姆绞?，RGB分量傳輸?shù)姆绞接謨?yōu)于Y/C分離傳輸方式。 數(shù)字相機的信號傳輸格式更為復(fù)雜，目前普遍應(yīng)用的包括： *IEEE-1394(Fire Wire) *USB2。0 *CameraLink *Ethernet，包括傳輸未經(jīng)壓縮影像的千兆協(xié)議和傳輸經(jīng)過壓縮影像的百兆協(xié)議。 上述數(shù)字相機的傳輸方式無論是在機械上還是在電氣上都是不兼容的。第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機GAIN 通過調(diào)節(jié)電壓放大環(huán)節(jié)調(diào)節(jié)圖像亮度SNR 對于同等光照條件 SNR=A * T * C增大像素尺寸

20、、binning、長時間積分GAIN 增大，SNR會變小二、工業(yè)相機的基本概念（二、工業(yè)相機的基本概念（16）補充）補充按成像色彩劃分 彩色工業(yè)相機 黑白工業(yè)相機按感光芯片工藝劃分 COMS工業(yè)相機 CCD工業(yè)相機按信號輸出類型劃分 數(shù)字工業(yè)相機 模擬工業(yè)相機按感光芯片類型劃分 線陣工業(yè)相機 面陣工業(yè)相機三、工業(yè)相機分類（三、工業(yè)相機分類（1）彩色形成，需要同一點的R/G/B三原色的數(shù)值。用空間疊放的三片CCD，分別感R，G，B光，并在感光后過濾掉相應(yīng)色光。利用棱鏡，將光線折射成三部分。在R，G，B三束光線 的方向上分別帖上三片感光片，各自感光。 利用BAYER濾光片，讓相臨四個像素分別只能接

21、收R， G,G，B光。每個像素輸出的信息只是相應(yīng)色光的灰度值。之后，通過軟件合成為彩色。這樣，每個像素的彩色信息其實是不獨立的，依賴于相臨像素的信息。SUPER CCD ，一個蜂窩型的CCD感光片，每個像素被使用3次，相當(dāng)于增大了有效像素數(shù)量。工業(yè)相機分類（工業(yè)相機分類（1）補充：色彩的形成）補充：色彩的形成 許多系統(tǒng)分析師本能的選擇彩色相機，因為他們覺得一幅黑白圖象要比彩色圖象要差，這是錯誤的。 黑白相機輸出灰階圖象 ，每個象素點會根據(jù)光通量來賦予一個數(shù)值，每個象素產(chǎn)生的信息只與亮度有關(guān)，與顏色無關(guān) 。為了檢測顏色，需要一個馬賽克慮光片，這樣就限制了感光芯片的分辨率。結(jié)果，黑白相機一般會比同

22、類的單芯片彩色相機的分辨率要高10。黑白相機有較高的分辨率，較好的信噪比，增強的光靈敏度，對比度也會比同類的彩色相機要高 。 彩色的圖象需要更多的處理時間，但并不會產(chǎn)生更多關(guān)于物體的有用信息 工業(yè)相機分類（工業(yè)相機分類（1）補充：色彩的形成）補充：色彩的形成第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識第二講：機器視覺中的圖像采集技術(shù)硬件基礎(chǔ)知識q 按輸出信號區(qū)分 模擬信號相機模擬信號相機從傳感器中傳出的信號，被轉(zhuǎn)換成模擬電壓信號，即普通視頻信號，后再傳到圖像采集卡中。 數(shù)字信號相機數(shù)字信號相機信號自傳感器中的像素輸出后，在相機內(nèi)部直接數(shù)字化并輸出。第二節(jié)第二節(jié) 工業(yè)相機工業(yè)相機工業(yè)相機分類（工

23、業(yè)相機分類（1）補充：信號分類）補充：信號分類 CCD/CMOSCCD/CMOS感光元件的核心感光元件的核心都是一個感光二極管，該二極管在接受光線照射之后能夠產(chǎn)生輸出電流，而電流的強度則與光照的強度對應(yīng)。 周邊組件：周邊組件： CCD：感光二極管和一個用于控制相鄰電荷的存儲單元 。 CMOS：感光二極管和放大器與模數(shù)轉(zhuǎn)換電路 。 結(jié)論： CMOS有效感光比率低，感光元件所能捕捉到的光信號就 明顯小于CCD元件，靈敏度較低；體現(xiàn)在輸出結(jié)果上，就是CMOS傳感器捕捉到的圖像內(nèi)容不如CCD傳感器來得豐富，圖像細節(jié)丟失情況嚴(yán)重且噪聲明顯 。 工業(yè)相機分類（工業(yè)相機分類（1）補充：）補充：COMS和和C

24、CD比較比較工業(yè)相機分類（工業(yè)相機分類（1）補充：）補充：COMS和和CCD比較比較信號放大：信號放大： CMOS：每個像素都有模擬放大器，每個像素捕獲的光電子都經(jīng)過獨立的有模擬放大器進行放大，其放大比率并不一致，導(dǎo)致圖像噪音大。 CCD：光元件生成的電信號實在太微弱了，無法直接進行模數(shù),CCD 有專門的放大器進行統(tǒng)一轉(zhuǎn)換工作，其放大比率一致，因而成像效果非常不錯；功耗：功耗： CMOS：感光二極管所產(chǎn)生的電荷直接由晶體管放大輸出，這種做法雖然導(dǎo)致嚴(yán)重的噪聲，但也令CMOS傳感器擁有超低功耗的優(yōu)點。 CCD：必須借助外來電壓才能讓每個感光元件中的電荷移動，這個外加電壓的強度通常都達到12-18

25、V，這導(dǎo)致耗費較多的能源（最高可達同規(guī)模CMOS傳感器的十倍之多），發(fā)熱量也明顯高于CMOS產(chǎn)品。由于需要外來電壓，CCD傳感器也就需要包括Power IC在內(nèi)的電源管理電路，設(shè)計難度也遠高于CMOS產(chǎn)品。 工業(yè)相機分類（工業(yè)相機分類（1）補充：）補充：COMS和和CCD比較比較制造工藝制造工藝 CMOS：采用標(biāo)準(zhǔn)的CMOS半導(dǎo)體芯片制造技術(shù)，很容易實現(xiàn)大批量生產(chǎn)，加之 CMOS的每個感光元件相互獨立，即便有若干個元件出問題，也不會影響傳感器的完整性。 CCD：采用電荷傳遞的方式傳送電信號，只要有其中的一個感光元件無法工作，信號傳輸將無法繼續(xù)，一整排的圖像信號將因此缺失，情況嚴(yán)重的話將導(dǎo)致整枚傳感器芯片因此報廢。由于制造工藝不同，CCD傳感器本體與周邊電路無法整合 ，無法實現(xiàn)整個模塊小型化 。結(jié)論：CMOS的成品率要比CCD高出許多，這就決定了CMOS在制造成本方面擁有絕對的優(yōu)勢 。 CMOS優(yōu)勢：制造成本、功能集成、功耗特性等三方面對 于CCD有一定的優(yōu)勢。CCD優(yōu)勢：捕光靈敏度、像素規(guī)模及噪聲控制等方面優(yōu)于CMOS。 CMOS傳感器領(lǐng)域出現(xiàn)的新技術(shù) ： 1.通過增大傳感器尺寸，增強相機的光學(xué)輸入能力，成功解決了CMOS傳感器捕光靈敏度弱和分辨率較低的難題雖然大尺