關(guān)于圖像特征提取

1、關(guān)于圖像特征提取特征提取是計算機視覺和圖像處理中的一個概念。它指的是使用計算機提取圖像信息，決定每個圖像 的點是否屬于一個圖像特征。特征提取的結(jié)果是把圖像上的點分為不同的子集，這些子集往往屬于孤立的 點、連續(xù)的曲線或者連續(xù)的區(qū)域。特征的定義至今為止特征沒有萬能和精確的定義。特征的精確定義往往由問題或者應(yīng)用類型決定。特征是一個數(shù) 字圖像中 有趣”的部分，它是許多計算機圖像分析算法的起點。因此一個算法是否成功往往由它使用和定 義的特征決定。因此特征提取最重要的一個特性是可重復(fù)性”：同一場景的不同圖像所提取的特征應(yīng)該是相同的。特征提取是圖象處理中的一個初級運算，也就是說它是對一個圖像進行的第一個運算

2、處理。它檢查每 個像素來確定該像素是否代表一個特征。假如它是一個更大的算法的一部分，那么這個算法一般只檢查圖 像的特征區(qū)域。作為特征提取的一個前提運算，輸入圖像一般通過高斯模糊核在尺度空間中被平滑。此后 通過局部導(dǎo)數(shù)運算來計算圖像的一個或多個特征。有時，假如特征提取需要許多的計算時間，而可以使用的時間有限制，一個高層次算法可以用來控制 特征提取階層，這樣僅圖像的部分被用來尋找特征。由于許多計算機圖像算法使用特征提取作為其初級計算步驟，因此有大量特征提取算法被發(fā)展，其提 取的特征各種各樣，它們的計算復(fù)雜性和可重復(fù)性也非常不同。邊緣邊緣是組成兩個圖像區(qū)域之間邊界（或邊緣）的像素。一般一個邊緣的形狀

3、可以是任意的，還可能包 括交叉點。在實踐中邊緣一般被定義為圖像中擁有大的梯度的點組成的子集。一些常用的算法還會把梯度 高的點聯(lián)系起來來構(gòu)成一個更完善的邊緣的描寫。這些算法也可能對邊緣提出一些限制。局部地看邊緣是一維結(jié)構(gòu)。角角是圖像中點似的特征，在局部它有兩維結(jié)構(gòu)。早期的算法首先進行邊緣檢測，然后分析邊緣的走向 來尋找邊緣突然轉(zhuǎn)向（角）。后來發(fā)展的算法不再需要邊緣檢測這個步驟，而是可以直接在圖像梯度中尋 找高度曲率。后來發(fā)現(xiàn)這樣有時可以在圖像中本來沒有角的地方發(fā)現(xiàn)具有同角一樣的特征的區(qū)域。區(qū)域與角不同的是區(qū)域描寫一個圖像中的一個區(qū)域性的結(jié)構(gòu)，但是區(qū)域也可能僅由一個像素組成，因此許 多區(qū)域檢測也可

4、以用來監(jiān)測角。一個區(qū)域監(jiān)測器檢測圖像中一個對于角監(jiān)測器來說太平滑的區(qū)域。區(qū)域檢 測可以被想象為把一張圖像縮小，然后在縮小的圖像上進行角檢測。脊長條形的物體被稱為脊。在實踐中脊可以被看作是代表對稱軸的一維曲線，此外局部針對于每個脊像 素有一個脊寬度。從灰梯度圖像中提取脊要比提取邊緣、角和區(qū)域困難。在空中攝影中往往使用脊檢測來 分辨道路，在醫(yī)學(xué)圖像中它被用來分辨血管。特征抽取特征被檢測后它可以從圖像中被抽取出來。這個過程可能需要許多圖像處理的計算機。其結(jié)果被稱為 特征描述或者特征向量。常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關(guān)系特征。一顏色特征（一）特點：顏色特征是一種全局特征，描述了圖

5、像或圖像區(qū)域所對應(yīng)的景物的表面性質(zhì)。一般顏色特征 是基于像素點的特征，此時所有屬于圖像或圖像區(qū)域的像素都有各自的貢獻(xiàn)。由于顏色對圖像或圖像區(qū)域 的方向、大小等變化不敏感，所以顏色特征不能很好地捕捉圖像中對象的局部特征。另外，僅使用顏色特 征查詢時，如果數(shù)據(jù)庫很大，常會將許多不需要的圖像也檢索出來。顏色直方圖是最常用的表達(dá)顏色特征 的方法，其優(yōu)點是不受圖像旋轉(zhuǎn)和平移變化的影響，進一步借助歸一化還可不受圖像尺度變化的影響，其 缺點是沒有表達(dá)出顏色空間分布的信息。（二）常用的特征提取與匹配方法：（1 ）顏色直方圖 其優(yōu)點在于：它能簡單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特

6、別適用于描述那些難以自動分割的圖像和不需要考慮物體空間位置的圖像。其缺點在于：它無法描述圖像中 顏色的局部分布及每種色彩所處的空間位置，即無法描述圖像中的某一具體的對象或物體。最常用的顏色空間： RGB 顏色空間、 HSV 顏色空間。 顏色直方圖特征匹配方法：直方圖相交法、距離法、中心距法、參考顏色表法、累加顏色直方圖法。（2）顏色集 顏色直方圖法是一種全局顏色特征提取與匹配方法，無法區(qū)分局部顏色信息。顏色集是對顏色直方圖 的一種近似。首先將圖像從 RGB 顏色空間轉(zhuǎn)化成視覺均衡的顏色空間（如 HSV 空間），并將顏色空間量 化成若干個柄。然后，用色彩自動分割技術(shù)將圖像分為若干區(qū)域，每個區(qū)域用

7、量化顏色空間的某個顏色分 量來索引，從而將圖像表達(dá)為一個二進制的顏色索引集。在圖像匹配中，比較不同圖像顏色集之間的距離 和色彩區(qū)域的空間關(guān)系。（3）顏色矩 這種方法的數(shù)學(xué)基礎(chǔ)在于：圖像中任何的顏色分布均可以用它的矩來表示。此外，由于顏色分布信息 主要集中在低階矩中，因此，僅采用顏色的一階矩（mean ）、二階矩（ variance ）和三階矩（ skewness ）就足以表達(dá)圖像的顏色分布。（4 ）顏色聚合向量 其核心思想是：將屬于直方圖每一個柄的像素分成兩部分，如果該柄內(nèi)的某些像素所占據(jù)的連續(xù)區(qū)域 的面積大于給定的閾值，則該區(qū)域內(nèi)的像素作為聚合像素，否則作為非聚合像素。（5）顏色相關(guān)圖二紋理

8、特征（一）特點： 紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域所對應(yīng)景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內(nèi) 容的。與顏色特征不同，紋理特征不是基于像素點的特征，它需要在包含多個像素點的區(qū)域中進行統(tǒng)計計 算。在模式匹配中，這種區(qū)域性的特征具有較大的優(yōu)越性，不會由于局部的偏差而無法匹配成功。作為一 種統(tǒng)計特征， 紋理特征常具有旋轉(zhuǎn)不變性， 并且對于噪聲有較強的抵抗能力。 但是， 紋理特征也有其缺點， 一個很明顯的缺點是當(dāng)圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。另外，由于有可 能受到光照、反

9、射情況的影響，從 2-D 圖像中反映出來的紋理不一定是 3-D 物體表面真實的紋理。例如，水中的倒影，光滑的金屬面互相反射造成的影響等都會導(dǎo)致紋理的變化。由于這些不是物體本 身的特性，因而將紋理信息應(yīng)用于檢索時，有時這些虛假的紋理會對檢索造成 “誤導(dǎo) ”。在檢索具有粗細(xì)、疏密等方面較大差別的紋理圖像時，利用紋理特征是一種有效的方法。但當(dāng)紋理之 間的粗細(xì)、疏密等易于分辨的信息之間相差不大的時候，通常的紋理特征很難準(zhǔn)確地反映出人的視覺感覺 不同的紋理之間的差別。（二）常用的特征提取與匹配方法： 紋理特征描述方法分類（1）統(tǒng)計方法 統(tǒng)計方法的典型代表是一種稱為灰度共生矩陣的紋理特征分析方法。 Got

10、lieb 和 Kreyszig 等人在研究 共生矩陣中各種統(tǒng)計特征基礎(chǔ)上，通過實驗，得出灰度共生矩陣的四個關(guān)鍵特征：能量、慣量、熵和相關(guān) 性。統(tǒng)計方法中另一種典型方法，則是從圖像的自相關(guān)函數(shù)（即圖像的能量譜函數(shù)）提取紋理特征，即通 過對圖像的能量譜函數(shù)的計算，提取紋理的粗細(xì)度及方向性等特征參數(shù)。（2）幾何法 所謂幾何法，是建立在紋理基元（基本的紋理元素）理論基礎(chǔ)上的一種紋理特征分析方法。紋理基元 理論認(rèn)為，復(fù)雜的紋理可以由若干簡單的紋理基元以一定的有規(guī)律的形式重復(fù)排列構(gòu)成。在幾何法中，比 較有影響的算法有兩種： Voronio 棋盤格特征法和結(jié)構(gòu)法。（3）模型法 模型法以圖像的構(gòu)造模型為基礎(chǔ)，

11、采用模型的參數(shù)作為紋理特征。典型的方法是隨機場模型法，如馬 爾可夫（ Markov ）隨機場（ MRF ）模型法和 Gibbs 隨機場模型法。（4 ）信號處理法紋理特征的提取與匹配主要有：灰度共生矩陣、 Tamura 紋理特征、自回歸紋理模型、小波變換等。 灰度共生矩陣特征提取與匹配主要依賴于能量、慣量、熵和相關(guān)性四個參數(shù)。 Tamura 紋理特征基于人類 對紋理的視覺感知心理學(xué)研究， 提出 6 種屬性，即：粗糙度、對比度、方向度、 線像度、 規(guī)整度和粗略度。 自回歸紋理模型 （simultaneous auto-regressive ，SAR ）是馬爾可夫隨機場 （MRF ）模型的一種應(yīng)用實

12、例。 三形狀特征 （一）特點：各種基于形狀特征的檢索方法都可以比較有效地利用圖像中感興趣的目標(biāo)來進行檢索， 但它們也有一 些共同的問題，包括：目前基于形狀的檢索方法還缺乏比較完善的數(shù)學(xué)模型；如果目標(biāo)有變形時檢索 結(jié)果往往不太可靠；許多形狀特征僅描述了目標(biāo)局部的性質(zhì)，要全面描述目標(biāo)常對計算時間和存儲量有 較高的要求；許多形狀特征所反映的目標(biāo)形狀信息與人的直觀感覺不完全一致，或者說，特征空間的相 似性與人視覺系統(tǒng)感受到的相似性有差別。另外，從 2-D 圖像中表現(xiàn)的 3-D 物體實際上只是物體在空間某 一平面的投影，從 2-D 圖像中反映出來的形狀常不是 3-D 物體真實的形狀，由于視點的變化，可能

13、會產(chǎn)生 各種失真。（二）常用的特征提取與匹配方法： I幾種典型的形狀特征描述方法通常情況下，形狀特征有兩類表示方法，一類是輪廓特征，另一類是區(qū)域特征。圖像的輪廓特征主要 針對物體的外邊界，而圖像的區(qū)域特征則關(guān)系到整個形狀區(qū)域。幾種典型的形狀特征描述方法：（1）邊界特征法該方法通過對邊界特征的描述來獲取圖像的形狀參數(shù)。其中 Hough 變換檢測平行直線方法和邊界方 向直方圖方法是經(jīng)典方法。 Hough 變換是利用圖像全局特性而將邊緣像素連接起來組成區(qū)域封閉邊界的一 種方法，其基本思想是點 線的對偶性；邊界方向直方圖法首先微分圖像求得圖像邊緣，然后，做出關(guān)于 邊緣大小和方向的直方圖，通常的方法是構(gòu)

14、造圖像灰度梯度方向矩陣。（2）傅里葉形狀描述符法傅里葉形狀描述符（ Fourier shape deors ）基本思想是用物體邊界的傅里葉變換作為形狀描述，利用 區(qū)域邊界的封閉性和周期性，將二維問題轉(zhuǎn)化為一維問題。由邊界點導(dǎo)出三種形狀表達(dá)，分別是曲率函數(shù)、質(zhì)心距離、復(fù)坐標(biāo)函數(shù)。（3）幾何參數(shù)法 形狀的表達(dá)和匹配采用更為簡單的區(qū)域特征描述方法，例如采用有關(guān)形狀定量測度（如矩、面積、周長等）的形狀參數(shù)法（ shape factor ）。在 QBIC 系統(tǒng)中，便是利用圓度、偏心率、主軸方向和代數(shù)不變矩 等幾何參數(shù)，進行基于形狀特征的圖像檢索。需要說明的是，形狀參數(shù)的提取，必須以圖像處理及圖像分割為前

15、提，參數(shù)的準(zhǔn)確性必然受到分割效 果的影響，對分割效果很差的圖像，形狀參數(shù)甚至無法提取。（4）形狀不變矩法利用目標(biāo)所占區(qū)域的矩作為形狀描述參數(shù)。(5) 其它方法 近年來，在形狀的表示和匹配方面的工作還包括有限元法( Finite Element Method 或 FEM )、旋轉(zhuǎn) 函數(shù)( Turning )和小波描述符( Wavelet Deor )等方法。H基于小波和相對矩的形狀特征提取與匹配 該方法先用小波變換模極大值得到多尺度邊緣圖像，然后計算每一尺度的 7 個不變矩，再轉(zhuǎn)化為 10 個相對矩，將所有尺度上的相對矩作為圖像特征向量，從而統(tǒng)一了區(qū)域和封閉、不封閉結(jié)構(gòu)。四空間關(guān)系特征(一) 特

16、點： 所謂空間關(guān)系，是指圖像中分割出來的多個目標(biāo)之間的相互的空間位置或相對方向關(guān)系，這些關(guān)系也可分為連接 /鄰接關(guān)系、交疊 /重疊關(guān)系和包含 /包容關(guān)系等。通?？臻g位置信息可以分為兩類：相對空間位 置信息和絕對空間位置信息。前一種關(guān)系強調(diào)的是目標(biāo)之間的相對情況，如上下左右關(guān)系等，后一種關(guān)系 強調(diào)的是目標(biāo)之間的距離大小以及方位。顯而易見，由絕對空間位置可推出相對空間位置，但表達(dá)相對空 間位置信息常比較簡單?？臻g關(guān)系特征的使用可加強對圖像內(nèi)容的描述區(qū)分能力，但空間關(guān)系特征常對圖像或目標(biāo)的旋轉(zhuǎn)、反 轉(zhuǎn)、尺度變化等比較敏感。另外，實際應(yīng)用中，僅僅利用空間信息往往是不夠的，不能有效準(zhǔn)確地表達(dá)場 景信息。

17、為了檢索，除使用空間關(guān)系特征外，還需要其它特征來配合。(二) 常用的特征提取與匹配方法： 提取圖像空間關(guān)系特征可以有兩種方法：一種方法是首先對圖像進行自動分割，劃分出圖像中所包含的對象或顏色區(qū)域，然后根據(jù)這些區(qū)域提取圖像特征，并建立索引；另一種方法則簡單地將圖像均勻地劃 分為若干規(guī)則子塊，然后對每個圖像子塊提取特征，并建立索引。姿態(tài)估計問題就是：確定某一三維目標(biāo)物體的方位指向問題。 姿態(tài)估計在機器人視覺、動作跟蹤和單照相機定標(biāo)等很多領(lǐng)域都有應(yīng)用。 在不同領(lǐng)域用于姿態(tài)估計的傳感器是不一樣的，在這里主要講基于視覺的姿態(tài)估計。 基于視覺的姿態(tài)估計根據(jù)使用的攝像機數(shù)目又可分為單目視覺姿態(tài)估計和多目視覺

18、姿態(tài)估計。根據(jù)算法的不同又可分為基于模型的姿態(tài)估計和基于學(xué)習(xí)的姿態(tài)估計。一基于模型的姿態(tài)估計方法 基于模型的方法通常利用物體的幾何關(guān)系或者物體的特征點來估計。 其基本思想是利用某種幾何模型或結(jié)構(gòu)來表示物體的結(jié)構(gòu)和形狀，并通過提取某些物體特征，在模型和圖像之間建立起對應(yīng)關(guān)系，然后通 過幾何或者其它方法實現(xiàn)物體空間姿態(tài)的估計。這里所使用的模型既可能是簡單的幾何形體，如平面、圓 柱，也可能是某種幾何結(jié)構(gòu)，也可能是通過激光掃描或其它方法獲得的三維模型?；谀Ｐ偷淖藨B(tài)估計方法是通過比對真實圖像和合成圖像，進行相似度計算更新物體姿態(tài)。目前基于 模型的方法為了避免在全局狀態(tài)空間中進行優(yōu)化搜索，一般都將優(yōu)化問

19、題先降解成多個局部特征的匹配問 題，非常依賴于局部特征的準(zhǔn)確檢測。當(dāng)噪聲較大無法提取準(zhǔn)確的局部特征的時候，該方法的魯棒性受到 很大影響。二基于學(xué)習(xí)的姿態(tài)估計方法基于學(xué)習(xí)的方法借助于機器學(xué)習(xí)( machine learning )方法，從事先獲取的不同姿態(tài)下的訓(xùn)練樣本中 學(xué)習(xí)二維觀測與三維姿態(tài)之間的對應(yīng)關(guān)系，并將學(xué)習(xí)得到的決策規(guī)則或回歸函數(shù)應(yīng)用于樣本，所得結(jié)果作 為對樣本的姿態(tài)估計?；趯W(xué)習(xí)的方法一般采用全局觀測特征，不需檢測或識別物體的局部特征，具有較 好的魯棒性。其缺點是由于無法獲取在高維空間中進行連續(xù)估計所需要的密集采樣，因此無法保證姿態(tài)估 計的精度與連續(xù)性?；趯W(xué)習(xí)的姿態(tài)估計方法源于姿態(tài)

20、識別方法的思想。姿態(tài)識別需要預(yù)先定義多個姿態(tài)類別，每個類別 包含了一定的姿態(tài)范圍；然后為每個姿態(tài)類別標(biāo)注若干訓(xùn)練樣本，通過模式分類的方法訓(xùn)練姿態(tài)分類器以 實現(xiàn)姿態(tài)識別。這一類方法并不需要對物體進行建模，一般通過圖像的全局特征進行匹配分析，可以有效的避免局部 特征方法在復(fù)雜姿態(tài)和遮擋關(guān)系情況下出現(xiàn)的特征匹配歧義性問題。然而姿態(tài)識別方法只能將姿態(tài)劃分到 事先定義的幾個姿態(tài)類別中，并不能對姿態(tài)進行連續(xù)的精確的估計?；趯W(xué)習(xí)的方法一般采用全局觀測特征，可以保證算法具有較好的魯棒性。然而這一類方法的姿態(tài)估 計精度很大程度依賴于訓(xùn)練的充分程度。要想比較精確地得到二維觀測與三維姿態(tài)之間的對應(yīng)關(guān)系，就必 須獲

21、取足夠密集的樣本來學(xué)習(xí)決策規(guī)則和回歸函數(shù)。而一般來說所需要樣本的數(shù)量是隨狀態(tài)空間的維度指 數(shù)級增加的，對于高維狀態(tài)空間，事實上不可能獲取進行精確估計所需要的密集采樣。因此，無法得到密 集采樣而難以保證估計的精度與連續(xù)性，是基于學(xué)習(xí)的姿態(tài)估計方法無法克服的根本困難。和姿態(tài)識別等典型的模式分類問題不同的是，姿態(tài)估計輸出的是一個高維的姿態(tài)向量，而不是某個類 別的類標(biāo)。因此這一類方法需要學(xué)習(xí)的是一個從高維觀測向量到高維姿態(tài)向量的映射，目前這在機器學(xué)習(xí) 領(lǐng)域中還是一個非常困難的問題。特征是描述模式的最佳方式，且我們通常認(rèn)為特征的各個維度能夠從不同的角度描述模式，在理想情 況下，維度之間是互補完備的。特征

22、提取的主要目的是降維。特征抽取的主要思想是將原始樣本投影到一個低維特征空間，得到最能 反應(yīng)樣本本質(zhì)或進行樣本區(qū)分的低維樣本特征。一般圖像特征可以分為四類：直觀性特征、灰度統(tǒng)計特征、變換系數(shù)特征與代數(shù)特征。 直觀性特征主要指幾何特征，幾何特征比較穩(wěn)定，受人臉的姿態(tài)變化與光照條件等因素的影響小，但 不易抽取，而且測量精度不高，與圖像處理技術(shù)密切相關(guān)。代數(shù)特征是基于統(tǒng)計學(xué)習(xí)方法抽取的特征。代數(shù)特征具有較高的識別精度，代數(shù)特征抽取方法又可以 分為兩類：一種是線性投影特征抽取方法；另外一種是非線性特征抽取方法。習(xí)慣上，將基于主分量分析和 Fisher 線性鑒別分析所獲得的特征抽取方法，統(tǒng)稱為線性投影分析。 基于線性投影分析的特征抽取方法，其基本思想是根據(jù)一定的性能目標(biāo)來尋找一線性變換，把原始信號數(shù)