一種基于YOLOv3和數(shù)學(xué)形態(tài)學(xué)的表格檢測(cè)方法

一種基于YOLOv3和數(shù)學(xué)形態(tài)學(xué)的表格檢測(cè)方法引言在現(xiàn)實(shí)世界中，許多場(chǎng)景都需要對(duì)文檔中的表格進(jìn)行自動(dòng)識(shí)別和提取。表格是一種基本的布局結(jié)構(gòu)，它包含著數(shù)據(jù)之間的關(guān)系和邏輯結(jié)構(gòu)信息，具有著重要的應(yīng)用。由于表格具有著很強(qiáng)的半結(jié)構(gòu)化特征，表格檢測(cè)成為了文本識(shí)別、自然語(yǔ)言處理等多個(gè)領(lǐng)域中必不可少的一個(gè)環(huán)節(jié)。因此，研究如何高效準(zhǔn)確地檢測(cè)表格成為了很多學(xué)者關(guān)注的問題。目前，表格檢測(cè)算法分為兩大類：基于滑動(dòng)窗口的方法和基于區(qū)域提議的方法。其中，基于滑動(dòng)窗口的方法在計(jì)算量和時(shí)間上存在著很大的挑戰(zhàn)，而基于區(qū)域提議的方法則需要算法生成一系列候選框，并進(jìn)行分類，耗費(fèi)時(shí)間較長(zhǎng)。本文提出了一種基于YOLOv3和數(shù)學(xué)形態(tài)學(xué)的表格檢測(cè)方法，該方法繼承了YOLOv3的優(yōu)勢(shì)，具有快速、準(zhǔn)確、可擴(kuò)展等特點(diǎn)。同時(shí)，采用數(shù)學(xué)形態(tài)學(xué)方法對(duì)檢測(cè)結(jié)果進(jìn)行后處理，更準(zhǔn)確地提高了表格檢測(cè)的準(zhǔn)確率。YOLOv3模型本文所提出的表格檢測(cè)方法基于YOLOv3模型。YOLO(YouOnlyLookOnce)是一種基于卷積神經(jīng)網(wǎng)絡(luò)的對(duì)象檢測(cè)模型，使用了單個(gè)神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)圖像中所有對(duì)象的邊界框和類別，速度快，準(zhǔn)確度高，被廣泛應(yīng)用于圖像和視頻中對(duì)象檢測(cè)任務(wù)中。相對(duì)于傳統(tǒng)的檢測(cè)方法，YOLO采用了基于方塊的圖像處理方法，將輸入的圖片分成多個(gè)方塊，然后通過單獨(dú)的神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)方塊的對(duì)象進(jìn)行檢測(cè)，最后將所有的結(jié)果合并。YOLOv3是一種改進(jìn)版的YOLO算法，它采用了多尺度檢測(cè)和特征金字塔技術(shù)來提升檢測(cè)精度，在保持快速的條件下提高了檢測(cè)準(zhǔn)確率。同時(shí)，YOLOv3還采用了Darknet53等深度網(wǎng)絡(luò)結(jié)構(gòu)，在保證模型精度的前提下，減少了模型的參數(shù)，降低了模型的計(jì)算成本，提高了模型的訓(xùn)練和調(diào)試效率。為了達(dá)到更好的效果，我們對(duì)YOLOv3模型進(jìn)行了改進(jìn)，將原來的分類結(jié)果從20類別改為了2類別，分別為表格和非表格。這是因?yàn)楸砀袷且粋€(gè)特殊的結(jié)構(gòu)，如果單獨(dú)將其作為一個(gè)類別來檢測(cè)，可以使得結(jié)果更準(zhǔn)確，同時(shí)可以大大減少模型的計(jì)算量，提高檢測(cè)效率。數(shù)學(xué)形態(tài)學(xué)方法數(shù)學(xué)形態(tài)學(xué)是一種數(shù)學(xué)方法，主要用于處理圖像、信號(hào)、文本和語(yǔ)音等方面的問題。它的主要思想是以集合論為基礎(chǔ)，通過將結(jié)構(gòu)進(jìn)行擴(kuò)展和收縮，來達(dá)到探測(cè)、分離、定義區(qū)域、特征提取等目的，既可以作為一種圖像處理技術(shù)，也可以有廣泛的工程應(yīng)用。在圖像處理中，數(shù)學(xué)形態(tài)學(xué)主要使用膨脹和腐蝕兩個(gè)基本操作。膨脹運(yùn)算是將一個(gè)結(jié)構(gòu)元素在圖像上向外擴(kuò)張的過程，用于消除對(duì)象的孔洞和斷斷續(xù)續(xù)的斷點(diǎn)，同時(shí)對(duì)對(duì)象進(jìn)行平滑處理。其運(yùn)算過程如下：①取一個(gè)固定的結(jié)構(gòu)元素，將其在待處理圖像上“滑動(dòng)”，使其在圖像上擴(kuò)張；②如果擴(kuò)張后結(jié)構(gòu)元素中心與待處理圖像中心對(duì)應(yīng)像素值均為1，則認(rèn)為它們是重合的，否則該點(diǎn)像素值為0；③將得到的結(jié)構(gòu)元素覆蓋到原圖像上，形成一個(gè)新圖像，并消除圖像中的孔洞。腐蝕運(yùn)算是將圖像中的一些細(xì)小突起和細(xì)節(jié)消除，模擬“侵蝕”過程，同時(shí)用于邊緣檢測(cè)和連接分割，其運(yùn)算過程如下：①取一個(gè)固定的結(jié)構(gòu)元素，將其在待處理圖像上“滑動(dòng)”，使其與待處理圖像的中心點(diǎn)發(fā)生重合，如圖1所示；②如果結(jié)構(gòu)元素與圖像完全重合，輸出1，否則輸出0；③將新的像素點(diǎn)保存到腐蝕后的新圖像中，輸出為1的相應(yīng)位置，在輸出為0的位置刪除像素點(diǎn)。表格檢測(cè)算法流程表格檢測(cè)算法的整體流程如下圖所示：從上圖中可以看出，本算法主要分為四個(gè)部分，分別是圖像預(yù)處理、YOLOv3模型檢測(cè)、后處理和表格邊緣提取。具體實(shí)現(xiàn)過程如下：1.圖像預(yù)處理首先將待處理的圖像進(jìn)行歸一化處理，以便后續(xù)的處理。然后采用灰度化和高斯模糊的方法對(duì)圖像進(jìn)行預(yù)處理?；叶然姆椒▽D像轉(zhuǎn)換為灰度圖像，便于后續(xù)處理；高斯模糊的方法利用高斯分布的權(quán)重系數(shù)對(duì)圖像進(jìn)行模糊處理，可以消除噪點(diǎn)和細(xì)節(jié)，使得后續(xù)的處理更加容易。2.YOLOv3模型檢測(cè)接下來，采用改進(jìn)后的YOLOv3模型對(duì)處理后的圖像進(jìn)行檢測(cè)。該模型使用了單個(gè)神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)圖像中所有對(duì)象的邊界框和類別。我們所提出的模型中，將原來的分類結(jié)果從20類別改為了2類別，分別為表格和非表格。同時(shí)，采用多尺度檢測(cè)和特征金字塔技術(shù)來提升檢測(cè)精度。最終，該模型將檢測(cè)到的表格通過標(biāo)框框起來。3.后處理為了減少誤檢的情況，我們采用數(shù)學(xué)形態(tài)學(xué)方法對(duì)檢測(cè)結(jié)果進(jìn)行后處理。具體過程如下：①首先采用膨脹運(yùn)算將表格中可能存在的較小的斷點(diǎn)連接成一整塊區(qū)域；②接著采用腐蝕運(yùn)算將表格的邊緣進(jìn)行平滑處理，消除無關(guān)性信息；③最后采用開運(yùn)算（先腐蝕后膨脹）去除噪音并保持表格的形態(tài)不變。通過上述操作，可以使得檢測(cè)結(jié)果更加準(zhǔn)確，降低誤檢率。4.表格邊緣提取最后，通過邊緣檢測(cè)的方法對(duì)檢測(cè)到的表格進(jìn)行進(jìn)一步的處理，提取表格的邊緣信息。邊緣檢測(cè)使用的是Canny邊緣檢測(cè)算法。該算法利用圖像中像素之間的差異性來實(shí)現(xiàn)高斯濾波和銳化處理，并使用Sobel算子來尋找每個(gè)像素的灰度級(jí)梯度的方向，在去噪和非極大值抑制后，形成一張邊緣圖。最終，對(duì)表格的邊緣信息進(jìn)行提取，得到最終的表格檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果我們?cè)诤铣蓴?shù)據(jù)集和實(shí)際場(chǎng)景數(shù)據(jù)集上進(jìn)行了測(cè)試，testing集中包含了140張大小不定、復(fù)雜程度不等的掃描文檔圖片。實(shí)驗(yàn)結(jié)果表明，我們所提出的算法在測(cè)試集上表現(xiàn)良好，檢測(cè)準(zhǔn)確率達(dá)到95%，同時(shí)檢測(cè)速度還不受包圍框密集數(shù)量的影響。結(jié)論本文提出了一種基于YOLOv3和數(shù)學(xué)形態(tài)學(xué)的表格檢測(cè)方法。該算法采用了多尺度檢測(cè)和特征金字塔技術(shù)來提升檢測(cè)精度，并