用奇異值分解的方法自動(dòng)檢測(cè)LCD的缺陷.ppt

用奇異值分解的方法自動(dòng)檢測(cè)LCD的缺陷,摘要,目前，Thin film transistor liquid crystal display(TFT-LCD)越來(lái)越主流化并且已經(jīng)在顯示設(shè)備終端領(lǐng)域里占有統(tǒng)治地位。LCD的表面缺陷不僅引起視覺上的錯(cuò)誤，而且會(huì)造成電子元件的錯(cuò)誤和各種設(shè)備功能上的使用錯(cuò)誤。在本文里，我們提出了一個(gè)global（球體）逼近方法去自動(dòng)監(jiān)測(cè)TFT面板上的各種細(xì)微（肉眼難以發(fā)覺）的缺陷。在TFT面板上建立幾何結(jié)構(gòu)包括很多由水平的和垂直線劃分的小面積元素，這樣就可以把面板劃分成由結(jié)構(gòu)紋理（structural texture）的圖片。這種方法不是依靠紋理的局部特征來(lái)描述。它是基于一種用奇異值分解（SVD）而重新構(gòu)造的球形圖片。（It is based on a global image reconstruction scheme using the singular value decomposition (SVD) ）.把圖片轉(zhuǎn)換成由像素組成的矩陣，由奇異值組成的對(duì)角矩陣代表了不同的圖片細(xì)節(jié)。選擇合適的奇異值去描述背景紋理的表面，然后去掉這些奇異值之后再重新構(gòu)造一個(gè)矩陣，這樣，就能夠消除周期性和反復(fù)性的紋理模型圖片。，并且保護(hù)圖片存儲(chǔ)過(guò)程中的不規(guī)則性。在這次試驗(yàn)里面，我們已經(jīng)評(píng)估了TFT面板的的大量的微小，多樣的缺陷，包括：小孔，刮痕，小點(diǎn)和指紋，并且結(jié)果顯示這種方法是非常有效的檢測(cè)LCD面板缺陷的方法。,1，緒論,這幾年，TFT-LCD已經(jīng)越來(lái)越重要，因?yàn)樗哂泻芎玫娜噬@示功能，低能耗，小體積。為了監(jiān)控過(guò)程的穩(wěn)定性和保證LCD顯示的平面性，此TFT面板缺陷檢測(cè)采用了生產(chǎn)過(guò)程的臨界作業(yè)。人工視覺檢測(cè)和電子功能檢測(cè)是最主流的檢測(cè)LCD缺陷的方法。但是，手動(dòng)檢測(cè)是非常辛苦和非常消耗時(shí)間的工作。人工檢測(cè)不僅主觀性很強(qiáng)而且對(duì)經(jīng)驗(yàn)非常依賴。電子功能檢測(cè)天生就缺乏聯(lián)機(jī)檢測(cè)的能力，并且通常都需要吧TFT面板做出來(lái)以后才能檢測(cè)。在本文中，我們提出一個(gè)自動(dòng)視覺系統(tǒng)來(lái)檢測(cè)TFT-LCD面板的缺陷。 TFT面板的表面缺陷不僅產(chǎn)生視覺錯(cuò)誤，而且會(huì)引起LCD面板的硬件操作錯(cuò)誤。出現(xiàn)在TFT面板中的缺陷大致可以分成2類：宏觀的缺陷和微觀的缺陷。宏觀缺陷包括”MURA,SIMI,ZURE”,MURA的意思是面板不均勻，SIMI的意思是TFT面板上有污點(diǎn)，ZURE的意思是面板沒有對(duì)準(zhǔn)。微觀的缺陷包括小孔，指紋，小點(diǎn)和刮痕。宏觀缺陷與不規(guī)則大小和形狀形成鮮明對(duì)比。它們的體積一般都很大，所以很容易用人工視覺來(lái)檢測(cè)。但是微觀缺陷通常都很小而且很難用人工的方法或者電子的方法來(lái)檢測(cè)。本文提出的方法就是重點(diǎn)在利用TFT面板結(jié)構(gòu)特點(diǎn)來(lái)檢測(cè)微觀缺陷。,關(guān)于LCD自動(dòng)檢測(cè)系統(tǒng)，有幾種基于檢測(cè)技術(shù)電子的或者光學(xué)的方法已經(jīng)為L(zhǎng)CD的制造提出了方法。Henly和Addiego用2維電視覺調(diào)節(jié)器產(chǎn)生電壓圖像，這些圖像表示LCD面板的沒有聯(lián)系的潛在表面。Kido et al.介紹了用光學(xué)感知裝置來(lái)檢測(cè)部分完全活性矩陣的LCD面板。表面反射被用來(lái)感知光線的變換然后產(chǎn)生一個(gè)圖像來(lái)表示線和點(diǎn)的缺陷。大多數(shù)現(xiàn)有的自動(dòng)檢測(cè)系統(tǒng)都是基于常規(guī)的電子方法去探測(cè)表面潛在的可能。這些電子方法可以很好的查證TFT面板的基本功能。正如前面所說(shuō)的，這些方法都是要在制作完成后才能進(jìn)行。功能檢測(cè)方法在生產(chǎn)過(guò)程中可能就沒有用了。 一些視覺技術(shù)用模式匹配算法被用于LCD的檢測(cè)。Nakashima提出在LCD彩色過(guò)濾面板中采用圖像減少和光學(xué)傅立葉過(guò)濾來(lái)檢測(cè)LCD的缺陷 Nakashima presented an inspection system based on image subtraction and optical Fourier filtering for detecting defects on an LCD colour filter panel。,Sokolov and Treskunov developed an automatic vision system for final chech of LCD output check. Slkolov和Treskunov發(fā)明的最終LCD自動(dòng)檢測(cè)系統(tǒng) 還有很多LCD檢測(cè)技術(shù)主要都集中在最后外觀缺陷檢查，例如：在生產(chǎn)完成后檢查明點(diǎn)和暗點(diǎn)。 一個(gè)TFT面板通常包含重復(fù)的水平線和垂直的數(shù)據(jù)線。當(dāng)圖像建立起來(lái)后，TFT面板的表面就包含了這些水平的和垂直的元素，它能夠被以結(jié)構(gòu)紋理來(lái)分類。TFT面板的圖像就由一些相似的網(wǎng)格組成了一個(gè)有序的結(jié)構(gòu)。TFT面板就可以很好的由奇異值分解的方法很好的來(lái)表示。在這次的研究中，我們就用SVD的方法很好的來(lái)檢查TFT面板上的微觀缺陷。,In this paper, we propose a global approach that uses an SVD-based image reconstruction technique for inspecting micro defects including pinholes, scratches, particles and fingerprints on the surface of TFT panels. The proposed method does not rely on textural features to detect local anomalies, and does not require a reference image for comparison. It alleviates all limitations of the feature extraction schemes and template matching methods just mentioned. 在本文中，我們提出了用球形逼近的基于SVD圖像重構(gòu)技術(shù)去檢測(cè)微觀缺陷，其中包括小孔，刮痕，小點(diǎn)，和指紋。這個(gè)方法不是依靠結(jié)構(gòu)的特點(diǎn)去發(fā)現(xiàn)局部異常，也不是要求用2個(gè)圖像來(lái)進(jìn)行比較。它是提取所有的極限特點(diǎn)有序和完全的滿足以上所提到的方法。 SVD能夠用來(lái)分解圖像然后獲得對(duì)角矩陣。所有的矩陣都是由奇異值組成。最主要的信息是：圖像能夠被表示為大量的奇異值。在LCD缺陷檢測(cè)中，我們可以建立大量的從0到（preserve the smaller singular values）去重構(gòu)圖像。不規(guī)則背景被去掉，然后很清楚的還原不規(guī)則的圖像。,2缺陷檢測(cè)安排,用奇異值分解,假設(shè)圖像是一個(gè)M*N大小的矩陣X，MN，也就是說(shuō)長(zhǎng)大于寬。它就能夠被表示成在R維子空間里面的圖像，其中R是矩陣X的秩，并且RN。 X=USVT,其中，U是標(biāo)準(zhǔn)正交向量組XXT成的M*R階矩陣。V是N*R矩陣由標(biāo)準(zhǔn)正交向量組XTX組成。S是R*R對(duì)角矩陣，對(duì)角元素是奇異值，都是XTX方程的非負(fù)平方根。奇異值用a表示，并且按照單調(diào)遞減的順序排列。 SVD就是基于矩陣X的奇異值分解。奇異值（a）表示了每個(gè)矩陣X在每個(gè)子空間里的活力（energe）。每個(gè)奇異值和它們的分類，都帶有有用的X的信息。在這些奇異值當(dāng)中，只有一小部分可以用來(lái)表示圖片的直角結(jié)構(gòu)，其他的都趨近于0。 The singular values and their distribution, which carry useful information about the contents of X, vary drastically from image to image. For an image with orthogonal texture content such as horizontal and/or vertical structures, only a very few larger singular values will dominate, and yet all others have magnitudes close to zero.,上圖的，是人工模擬的面板，是真實(shí)的面板，可以看出，只有第一個(gè)奇異值是支配其他所有奇異值的，越往后，奇異值就越趨近于. 在大多數(shù)情況下，大量奇異值中的比較打的奇異值表示的是原始圖像的球形逼近 In most of the cases, the larger singular values (with lager magnitude) represent the global approximation of the original Image 其他奇異值都是表示局部和細(xì)節(jié)的圖片，因此，我們能夠選擇合適的奇異值來(lái)表示,基于的圖像重建,在這次研究中，我們用機(jī)器視覺捕捉有問(wèn)題的TFT面板的圖像（微觀）。SVD合適地表示了TFT面板上的垂直相交的紋理圖像。因此，基于SVD的圖像重構(gòu)技術(shù)被用來(lái)移動(dòng)TFT面板表上的直角紋理模式。用這種方法我們不需要定義缺陷的各種特點(diǎn)?；赟VD圖像重構(gòu)技術(shù)能消除TFT面板上很多重復(fù)的垂直和水平的分界線部分。保留下來(lái)的部分能夠很容易的識(shí)別TFT面板上的各種缺陷。從重構(gòu)的圖像里被選出來(lái)的奇異值由下列式子給出： X=UjajVTj J從k+1到r。 X是被重構(gòu)的圖像，Uj和Vj是U和V的第j列向量；k是一些被選出來(lái)的奇異值。aj是S的第j個(gè)奇異值，r是矩陣X的秩。,從左到右分別為a,b1,b2,b3,c1,c2,c3,Fig. 4. a The artificial horizontal/vertical lines image (the original image); b1 the reconstructed image from 1; b2 The reconstructed image from 2; b3 The reconstructed image from both 1 and 2; c1 The reconstructed image excluding 1; c2 The reconstructed image excluding 2; b3 The reconstructed image excluding both 1 and 2 a圖就是人工畫的紋理圖像（最原始的圖片），b1是用a1重新構(gòu)建的圖，b2是a2構(gòu)建的圖，b3是用a1,a2構(gòu)建的圖，c1是是用包括的a1的主要奇異值構(gòu)建的圖，c2是包括a2構(gòu)建的圖，c3是用包括a1,a2構(gòu)建的圖。,選擇合適的奇異值,用式子1可以分解然后得到一系列的奇異值，用式子2可以選擇一些合適的奇異值來(lái)充分的表示一些表面結(jié)構(gòu)。在這次的研究中，我們用k這個(gè)值來(lái)決定2個(gè)相鄰的特征值的臨界關(guān)系。由于一開始很難界定k的取值點(diǎn)， 我們用下式來(lái)表示一個(gè)通用的方法： ai=(ai-ua)/sa i=1,2r 這里，等號(hào)前面的是第i個(gè)規(guī)格化（normalize）的奇異值，ai 是第i個(gè)奇異值，ua 平均數(shù)，s是一個(gè)圖像標(biāo)準(zhǔn)偏移值（standard deviation of all singular values） 讓i = i i+1 也就是奇異值I的邊緣增量。如果它大于一些開始的特征值，那么這個(gè)增量被認(rèn)為是有用的。 If i is larger than some threshold (T ), the additional singular value i+1 is considered to be significant.,圖5，從左到右為a,b,c,d,y,Fig. 5ad. The artificial orthogonal image with scratch defects: a The original image; b The plot of the marginal gain () of normalized singular values; c The restored image; d the resulting binary image for defect segmentation a是原始的圖像，b是a的邊緣增量，c是重新構(gòu)建的圖像，d是缺陷分割的結(jié)果。也就是說(shuō)，在這里，k=4，在4以后，值就已經(jīng)穩(wěn)定了。一旦k選出來(lái)以后，我們就能夠消除背景紋理和利用第k個(gè)最大奇異值保護(hù)缺陷的圖像c就很好的顯示了去掉背景紋理之后的缺陷圖像。 因?yàn)楸尘暗牧炼茸兓欠浅Ｐ〉?，所以我們利用統(tǒng)計(jì)學(xué)的方法去建立一個(gè)極限，這個(gè)極限是用來(lái)區(qū)分圖像區(qū)域的缺陷。重構(gòu)圖像的上限和下限用下面的公式給出： X t sX 這里X和sX是中間值和重構(gòu)圖像的標(biāo)準(zhǔn)背離（standard deviation of grey levels），t是物理常量。,According to the Chebyshevs theorem 4, the probability that any random variable x will fall within t standard deviations of the mean is at least 1 1 /2 . That is： p(X t sX x X +t sX) 11/2 由切比雪夫不等式得：隨機(jī)變量X的可能取值范圍是上面式子的取值范圍。 在TFT面板的實(shí)際生產(chǎn)過(guò)程中,微觀缺陷大部分都是非常小的，在這次研究中，我們?cè)O(shè)置的控制常量是k=4，這控制大約93.75%的像素極限,試驗(yàn)和討論,在這部分中，我們將展示試驗(yàn)的結(jié)果，包括上面提到的各種微觀的缺陷。 在一塊256*256的面板上設(shè)置8個(gè)灰度。圖6中a-c顯示了每3個(gè)灰度圖片所包含的微觀缺陷。 Fig. 6ac. Three defective images under fine image resolution (60 pixels/mm): a Pinhole; b Scratch; c Particle,圖8從a到d顯示了邊緣增量 的圖6和圖7四個(gè)測(cè)試圖片的圖?？梢院苊黠@的看出，如果邊緣增量小于0.05的話，那么函數(shù)區(qū)域0而且穩(wěn)定。,表1記錄了標(biāo)準(zhǔn)奇異值和他們的增量與4個(gè)圖片的詳細(xì)信息?？梢钥闯觯喝绻吘壴隽看笥?.05，那么，函數(shù)曲線下降很快并且趨于0。因此，0.05就是邊緣增量的初始條件 Defective image Pinhole Fig. 6a Scratch Fig. 6b Particle Fig. 6c Fingerprint Fig. 7 Singular value (i) 1 15.86 14.56 15.77 13.96 15.83 14.38 15.89 15.29 2 1.30 0.85 1.81 0.98 1.45 0.90 0.60 0.10 3 0.45 0.15 0.83 0.30 0.55 0.26 0.51 0.17 4 0.30 0.13 0.53 0.21 0.30 0.04 0.34 0.05 5 0.17 0.04 0.32 0.05 0.25 0.04 0.29 0.10 6 0.13 0.04 0.27 0.10 0.21 0.04 0.19 0.02 7 0.09 0.03 0.17 0.10 0.17 0.03 0.17 0.01 8 0.06 0.03 0.07 0.02 0.14 0.02 0.16 0.04 9 0.03 0.01 0.05 0.02 0.12 0.03 0.12 0.01 10 0.02 0.02 0.04 0.01 0.09 0.01 0.11 0.02,圖9的a1,b1,c1,d1顯示了圖6和7的TFT面板的缺陷圖像。圖9a2顯示了用前5個(gè)奇異值重新構(gòu)建的圖像。能夠發(fā)現(xiàn)重復(fù)的背景紋理變得越來(lái)越相似于同一個(gè)灰度，然后這個(gè)指紋缺陷就被明顯的在重新建立的圖像中加強(qiáng)并顯示出來(lái)。b2和c2分別顯示了前8個(gè)和前4個(gè)奇異值重構(gòu)的圖像，同時(shí)也顯示缺陷圖像被很好的存儲(chǔ)起來(lái)。D2說(shuō)明了用d1的前6個(gè)奇異值來(lái)顯示的圖像。a3d3顯示了用缺陷結(jié)果并用二進(jìn)制圖像保存起來(lái)。很明顯，背景紋理被很好的消除了。,圖9Fig. 9. a1-d1 The defective images with pinhole, scratch, particle and fingerprint, respectively; a2-d2 The respective restored images; a3-d3 The resulting binary images for defect segmentation,為了測(cè)試這個(gè)方法的魯棒性，檢測(cè)完好的TFT面板也被評(píng)估。圖10a就顯示了圖6中沒有錯(cuò)誤的圖像，b顯示的是邊緣增量。,依次為a-i,其中