基于Hadoop平臺的圖像檢索模型

1、基于Hadoop平臺的圖像檢索模型摘 要： 處理海量圖像數(shù)據(jù)問題時，針對傳統(tǒng)的圖像檢索方法計算速度慢、檢索效率低的問題，借助HBase和Hadoop分布式技術(shù)對海量數(shù)據(jù)超強的讀寫能力，提出一種適用于大數(shù)據(jù)背景下的基于Hadoop平臺的圖像檢索模型。該圖像檢索模型提供了圖像數(shù)據(jù)處理的可序列化數(shù)據(jù)類型，并通過輸入模塊實現(xiàn)大數(shù)據(jù)背景下數(shù)據(jù)類型的轉(zhuǎn)換及海量圖像的輸入。理論驗證了該模型為特征提取、圖像處理等并行處理算法提供了可行的方案。關(guān)鍵詞： 圖像檢索； HBase； Hadoop； 并行處理中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2016）12-35-04hods ha

2、ve the problems of lower computation speed and lower retrieval efficiency for processing massive image data. To solve these problems， this paper proposes a retrieval model applied to storage and process massive image data， which with the help of read and write property of Hadoop distributed technolo

3、gy and HBase. This model provides serializable data types for processing image data， and through the input module realizes the data type conversion and massive image input in big data background. The theory proves that the proposed model can provide a feasible solution for parallel processing algori

4、thms of feature extraction， image processing and so on.Key works： image retrieval； HBase； Hadoop； parallel processing0 引言從圖像檢索技術(shù)的發(fā)展看，基于文本標注的圖像檢索和基于圖像內(nèi)容的檢索方法提高了圖像特征提取、相似度對比【1】，但是大數(shù)據(jù)時代，對現(xiàn)有的圖像處理、表達與度量等方面增加了存儲圖像數(shù)據(jù)及高效處理海量數(shù)據(jù)集的要求。傳統(tǒng)的基于內(nèi)容的圖像檢索方法，是對圖像采用單機單線程進行特征提取及圖像處理，然后將經(jīng)過處理后的圖像特征存入關(guān)系型數(shù)據(jù)庫中。發(fā)起檢索請求時，遍歷關(guān)系型數(shù)據(jù)庫

5、對比查詢到的圖像特征和全庫特征，對其結(jié)果進行排序即為檢索的結(jié)果?，F(xiàn)今圖像數(shù)據(jù)快速增長，即使采用多線程技術(shù)處理圖像也不能完全解決存儲海量圖像數(shù)據(jù)及其處理效率的問題，更不用說簡單依賴單計算機的處理能力的傳統(tǒng)圖像處理技術(shù)。采用HBase和Hadoop分布式技術(shù)對海量數(shù)據(jù)進行基于內(nèi)容的數(shù)據(jù)圖像模型，解決了海量圖像數(shù)據(jù)的存儲與傳輸問題，并且原設(shè)計的圖像檢索算法可直接移植至分布式環(huán)境并行處理。該思想依賴基于Map-Reduce的并行模型并行檢索大數(shù)據(jù)圖像。大數(shù)據(jù)背景下的圖像數(shù)據(jù)，80%以上是以MB為單位的小文件，針對大文件的基于HDFS的分布式存儲技術(shù)不適用。基于HBase和Hadoop分布式技術(shù)可實現(xiàn)系

6、統(tǒng)層的小文件合并，實現(xiàn)全局命名，有良好的通用性【4】。1 技術(shù)背景1.1 基于內(nèi)容的圖像檢索技術(shù)基于內(nèi)容的圖像檢索的特點是對圖像數(shù)據(jù)內(nèi)容本身的操作處理。具體處理流程如圖1所示。圖像特征的提取，雖然實現(xiàn)的算法各不相同，但提取的結(jié)果一般為文本表示的矩陣或數(shù)字。如今的計算機圖像處理接口對數(shù)字圖像的存取簡化為對字節(jié)流的獲取與輸出。基于內(nèi)容的圖像檢索技術(shù)之所以快速發(fā)展，一個重要原因就是只專注于研究圖像處理算法，而忽略存取圖像耗費的資源。1.2 基于Hadoop的分布式技術(shù)MapReduce分布式計算模型和Hadoop分布式文件系統(tǒng)HDFS（Hadoop Distributed File System）是

7、Hadoop的核心。Hadoop提供分布式文件系統(tǒng)、通用I/O組件和接口以及分布式數(shù)據(jù)處理模式和執(zhí)行環(huán)境。MapReduce是一種簡單的用于數(shù)據(jù)處理的編程模型，支持C+、Python和Java等多種編程語言。MapReduce的并行性使大規(guī)模數(shù)據(jù)的分析能在多個計算機上并行執(zhí)行，提高效率的同時降低了消耗。1.3 HBase數(shù)據(jù)庫HBase數(shù)據(jù)庫是分布式列存儲數(shù)據(jù)庫，有超強的讀寫性能，底層通過HDFS存儲數(shù)據(jù)，支持隨機查詢和Map Reduce的批量式計算。用Java編寫的HBase支持其他編程語言，提供原生的操作API。HBase的數(shù)據(jù)和坐標以字節(jié)數(shù)組形式存儲，即支持任意類型的數(shù)據(jù)存儲。HBas

8、e不存放空表格，只存放有內(nèi)容的表格單元，其稀疏性適用于存儲文件數(shù)據(jù)【5】。2 模型設(shè)計與實現(xiàn)2.1 模型整體架構(gòu)Hadoop集群的一系列優(yōu)勢如集群規(guī)模靈活、成本低廉、其承載的MapReduce模型有高效的并行計算能力。高效并行處理圖像特征數(shù)據(jù)需要借助MapReduce模型，既能移植到現(xiàn)有的特征提取算法中，也能以圖像的可序列化數(shù)據(jù)類型在分布式環(huán)境中存儲、傳輸和操作。使用HBase面向列擴展的分布式數(shù)據(jù)庫對圖像數(shù)據(jù)以字節(jié)數(shù)組的形式進行壓縮式存儲和快速查詢。因此，本文選擇HBase為數(shù)據(jù)存儲庫，MapReduce模型實現(xiàn)并行處理，建立海量圖像分布式檢索模型。檢索模型的整體架構(gòu)如圖2所示，主要分為圖像

9、輸入模塊、分布式集群模塊和檢索結(jié)果顯示模塊。圖像輸入模塊對圖像數(shù)據(jù)進行預處理，將獲取到的網(wǎng)絡(luò)圖像轉(zhuǎn)換成可序列化圖像數(shù)據(jù)類型，并轉(zhuǎn)換成字節(jié)數(shù)組存儲在HBase中；分布式集群模塊以可序列化的圖像數(shù)據(jù)類型為接口實現(xiàn)并行圖像檢索；檢索結(jié)果顯示模塊主要還原相似度較高的圖像文件，并將其顯示或保存到指定的計算機硬盤。2.2 可序列化的圖像數(shù)據(jù)類型可序列化的數(shù)據(jù)類型要適用于分布式存儲和傳輸，便于處理數(shù)據(jù)，因此系統(tǒng)設(shè)計的Hadoop API中基本的可序列化類型都有其對應的Java API基本數(shù)據(jù)類型。Java API中的BufferedImage是常用的處理圖像的類，將對象本身轉(zhuǎn)換成字節(jié)數(shù)組，進而轉(zhuǎn)換成Text

10、類型。Text類型最大值是2GB，通過可變長的int型以字符串編碼形式存儲海量圖像數(shù)據(jù)。此外，BufferedImage類帶有圖像常用的數(shù)據(jù)信息。ImageWritable類的具體實現(xiàn)，如圖3所示。其中ImageWritable的構(gòu)造方法需由BufferedImage對象作參數(shù)；私有函數(shù)parse Bytes實現(xiàn)將BufferedImage轉(zhuǎn)換為字節(jié)數(shù)組，進而轉(zhuǎn)換成Text類型。第二個Text類型和第三個Text類型分別保存的是圖像文件的后綴名及獲取圖像的網(wǎng)址。2.3 HBase的數(shù)據(jù)庫設(shè)計本文設(shè)計的圖像檢索模型針對海量圖像，因此，采用HBase數(shù)據(jù)庫存儲圖像內(nèi)容的數(shù)據(jù)及預處理后的數(shù)據(jù)。因為行

11、鍵要求定長且惟一，所以本文采用MD5摘要處理圖像獲取的路徑或網(wǎng)址。HBase中單元格的默認塊大小是64KB，對列值沒有長度限制，此外行鍵長默認小于65536。為了不影響圖片的存取效率，對于小圖像文件則不對圖像字節(jié)數(shù)組分段。對HBase的數(shù)據(jù)表設(shè)計見表1。2.4 圖像輸入模塊ImageWritable類只是一種MapReduce模型中鍵/值對值的數(shù)據(jù)類型，將將圖像文件輸入HBase數(shù)據(jù)庫或分布式文件系統(tǒng)的常規(guī)的做法是繼承Hadoop API的文件輸入格式類（FileInputFormat）。FileInputFormat認為一個計算機本地圖像文件是一個文件分片，將其轉(zhuǎn)換成自定義的可序列化類。該圖

12、像檢索模型主要由MapReduce并行模型和一個Web服務(wù)器組成，其中Web服務(wù)器具有文件上傳和瀏覽的功能。MapReduce模型是實現(xiàn)獲取圖像數(shù)據(jù)和格式轉(zhuǎn)換的程序。本地圖像通過Web服務(wù)器轉(zhuǎn)換成網(wǎng)絡(luò)圖像，并將記錄網(wǎng)絡(luò)圖像地址的文本文件作為輸入。Map過程獲取文件流，生成BufferedImage對象，并轉(zhuǎn)換成ImageWritable對象，然后通過SequenceFile文件保存到HDFS中。此外，也可以通過ImageWritable類將響應的圖像字節(jié)數(shù)組保存在HBase中。將圖像數(shù)據(jù)存儲在HDFS的MapReduce流程圖如圖4所示。2.5 分布式集群模塊分布式集群模塊主要包括圖像預處理、

13、特征提取及相似度計算。通過ImageWritable，可以從HBase或HDFS獲取所需圖像數(shù)據(jù)，然后將現(xiàn)有選用的預處理生成的BufferedImage對象構(gòu)建ImageWritable對象，通過Reduce寫入HBase或HDFS的SequenceFile中。MapReduce過程中，特征提取與預處理不同之處是輸出數(shù)據(jù)的類型是數(shù)字類型還是文本類型。相似度計算及其排序的輸入輸出的數(shù)據(jù)類型都是數(shù)字類型或者文本類型。分布式集群模塊的實現(xiàn)如表2所示。2.6 檢索結(jié)果的顯示模塊檢索結(jié)果的顯示模塊中，將輸入模塊作為待檢模塊，相似度計算并排序后，讀取相似度高的圖像集合對應的圖像數(shù)據(jù)并轉(zhuǎn)換成Buffered

14、Image對象，通過UI界面顯示，將檢索結(jié)果保存到本地計算機硬盤中。3 Image Writable類的封裝與實現(xiàn)本文圖像檢索模型的核心類是Image Writable類。圖像檢索首先要實現(xiàn)對象轉(zhuǎn)換，即BufferedImage和byte，圖像文件后綴名從網(wǎng)址中抓取。基于Java編程實現(xiàn)對ImageWritable類的封裝與實現(xiàn)。具體代碼如下：其中ImageIO類用于讀取和生成圖像，是Java API的常用圖像工具類。getBytes（）將BufferedImage轉(zhuǎn)換成byte對象，byte對象用于建立Text對象。Text類保證數(shù)據(jù)存儲和傳輸?shù)恼_性、可靠性。ImageWritable類實

15、現(xiàn)的Writable接口二進制讀寫流算法如下：4 結(jié)束語本文提出的基于Hadoop平臺的圖像檢索模型實現(xiàn)了存取和檢索圖像數(shù)據(jù)的功能。該圖像檢索技術(shù)采用HBase的分布式列存儲數(shù)據(jù)庫，通過Map-Reduce實現(xiàn)并行檢索圖像，提高了檢索速度，數(shù)據(jù)輸入靈活，可并行處理大數(shù)據(jù)圖像，適用于重構(gòu)現(xiàn)有的圖像檢索系統(tǒng)。但該模型是假設(shè)在不受噪音影響的條件下檢索，這也是下一步需要研究和改進的地方。參考文獻（References）：【1】 李向陽，莊越挺，潘云鶴.基于內(nèi)容的圖像檢索技術(shù)與系統(tǒng).計算機研究與發(fā)展，2001.38（3）：344-354【2】 Borthakur D. The hadoop distributed file system：Architecture and design. Hadoop Project Website，2007.11（11）：1-10【3】 White T. Hadoop：the definitive guide. Oreilly Media IncGravenstein Highway North，2010.215（11）：1-4【4】 朱曉麗，趙志剛.一種基于HBase的海量圖片存儲技術(shù).信息系統(tǒng)工程，2013.8：22-