GIST特征描述符使用

1、GIST特征描述符使用一種場景特征描述場景特征描述？通常的特征描述符都是對圖片的局部特征進行描述的，以這種思路進行場景描述是不可行的。比如：對于“大街上有一些行人”這個場景，我們必須通過局部特征辨認圖像是否有大街、 行人等對象，再斷定這是否是滿足該場景。但這個計算量無疑是巨大的，且特征向量也可能 大得無法在內(nèi)存中存儲計算。例如即使使用GIST進行1MB的圖像數(shù)據(jù)搜索，也需要3.8GB的RAM空間。Evaluation of GIST descriptors for web-scale image search Talk這迫使我們需要一種更加“宏觀”的特征描述方式，從而忽略圖片的局部特點。比如：

2、我們 無需知道圖像中在那些位置有多少人，或者有其他什么對象。那么應(yīng)該如何定義一種“宏觀”的場景特征描述呢？我們注意到：大多數(shù)城市看起來就像天空和地面由建筑物外墻緊密連接;大部分高速公路看起來就像一個 大表面拉伸天際線，里面充滿了凹型（車輛）；而森林場景將包括在一個封閉的環(huán)境中，有 垂直結(jié)構(gòu)作為背景（樹），并連接到一定紋理的水平表面（草）。如此看來，空間包絡(luò)可以一定程度表征這些信息。五種空間包絡(luò)描述我們定義下列五種對空間包絡(luò)的描述方法：自然度（Degree of Naturalness）：場景如果包含高度的水平和垂直線，這表明該場景有明顯 的人工痕跡，通常自然景象具有紋理區(qū)域和起伏的輪廓。所以，

3、邊緣具有高度垂直于水平傾 向的自然度低，反之自然度高。開放度（Degree of Openness）：空間包絡(luò)是否是封閉（或圍繞）的。封閉的，例如：森林、 山、城市中心。或者是廣闊的，開放的，例如：海岸、高速公路。粗糙度(Degree of Roughness):主要指主要構(gòu)成成分的顆粒大小。這取決于每個空間中元 素的尺寸，他們構(gòu)建更加復(fù)雜的元素的可能性，以及構(gòu)建的元素之間的結(jié)構(gòu)關(guān)系等等。粗糙 度與場景的分形維度有關(guān)，所以可以叫復(fù)雜度。膨脹度(Degree of Expansion)：平行線收斂，給出了空間梯度的深度特點。例如平面視圖中 的建筑物，具有低膨脹度。相反，非常長的街道則具有高膨脹度

4、。險峻度(Degree of Ruggedness)：即相對于水平線的偏移。(例如，平坦的水平地面上的山地 景觀與陡峭的地面)。險峻的環(huán)境下在圖片中生產(chǎn)傾斜的輪廓，并隱藏了地平線線。大多數(shù) 的人造環(huán)境建立了平坦地面。因此，險峻的環(huán)境大多是自然的。從而基于這五點對圖像進行特征描述。本文并不準備深入GIST的算法，如想了解具體算法，請參考參考資料1。MatLab實現(xiàn)參考資料2提供了一個MatLab實現(xiàn)。例如通過圖片計算GIST特征描述，在使用LMgist的情況下，可以這么寫：復(fù)制代碼%讀取圖片img = imread(demo2.jpg);%設(shè)置GIST參數(shù)clear paramparam.ori

5、entationsPerScale = 8 8 8 8; % number of orientations per scale (from HF to LF) param.numberBlocks = 4;param.fc_prefilt = 4;%計算GISTgist, param = LMgist(img, , param);復(fù)制代碼具體請參考參考資料2。C實現(xiàn)首先在 LEAR 下載其提供的 Lears GIST implementation。由于其基于 FFTW3(the Faster Fourier Transform in the Wes)，所以我們還需要先安裝fftw3。在下載頁面

6、下載一個合適的FFTW3版本。Linux或者Mac需要在終端運行configure時配置浮點數(shù)版本(Windows沒試過，不過Lears GIST implementation的Readme中說明了只能在Linux和Mac上跑，所以Windows安裝這個 也沒有)，即./configure -enable-single在進行編譯：makemake checksudo make install編譯 Lears GIST implementation需要將Makefile的：compute_gist: compute_gist.c gist.o standalone_image.ogcc -Wal

7、l -g -o $ $A $(WFFTLIB) -lfftw3f添加-lm，改成：compute_gist: compute_gist.c gist.o standalone_image.ogcc -Wall -g -o $ $A $(WFFTLIB) -lfftw3f -lm然后：make將生成compute_gist程序，則可以對PPM圖片進行GIST計算。例如在終端輸入： ./compute_gist ar.ppm將會出現(xiàn)960個浮點數(shù)，如下：0.0579 0.1926 0.0933 0.0662 . 0.0563 0.0575 0.0640注意事項 輸入圖片必須是原始（也就是二進制）的PGM/PPM格式的圖片。輸入圖片的尺寸必須是相同的，否則計算出來的GIST沒有什么意義。通過SVM訓(xùn)練來進行圖片檢測，2001年那篇論文得出83.7%的判斷準確度。參考資料Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope . Aude Oliva& An