計算機視覺教程（第3版）第04章顯著性檢測課件

第4章 顯著性檢測

顯著性是一個與主觀感知相關聯(lián)的概念，視覺顯著性常歸因于場景區(qū)域在底層特性方面的變化或?qū)Ρ榷鴮е碌木C合結果

顯著性在中間語義層次上表達了圖像的特性

對于顯著性的可靠估計往往并不需要對任何實際場景內(nèi)容的高層理解

不同的顯著性可用其易感知性來描述

圖像中的顯著極值的有效提取對于圖像分析和處理具有重要的意義和應用價值目錄contents4.1

顯著性概述4.2

基于對比度的檢測4.3 基于最穩(wěn)定區(qū)域的檢測4.4

顯著目標區(qū)域提取及效果評價4.1顯著性概述

顯著性指能使一個特征、圖像點、圖像區(qū)域或目標的鑒別性或相對于其環(huán)境更顯眼的量/特性顯著性的內(nèi)涵

顯著性與人對世界的關注或注意有關。關注或注意是一個心理學概念，是心理過程的一種具有共性的特征，屬于認知過程的內(nèi)容

作為一個中層的語義線索，顯著性可幫助填補低層特征和高層類別間的鴻溝4.1顯著性概述(1)

高層語義特征：人在觀察中經(jīng)常注意到的對象（如人臉、汽車等）經(jīng)常對應圖像中的顯著區(qū)域，本身具有一定的認知語義含義(2)

認知穩(wěn)定性：顯著區(qū)域?qū)鼍傲炼?、對象位置、朝向、尺度、以及觀察條件等比較魯棒(3)

全局稀缺性：從全局范圍來看，顯著區(qū)域出現(xiàn)的頻率比較低（局部、稀少），且不容易由圖像中的其他區(qū)域復合而得到(4)

局部差異性：顯著區(qū)域總是與周圍區(qū)域具有明顯的特性（顏色、邊緣、朝向）差異顯著區(qū)域的特點4.1顯著性概述

顯著圖反映了圖像中各部分吸引人注意的程度

顯著圖的質(zhì)量是評價顯著性檢測算法好壞的重要標準，也與顯著區(qū)域的特點密切關聯(lián) (1) 能突出最為顯著的物體（與人感知一致） (2) 能使整個顯著物體各部分具有比較一致的突出程度（完整提取目標） (3) 能給出精確完整的顯著物體邊界（分離） (4) 能給出全分辨率的檢測結果（實用）顯著圖質(zhì)量的評價4.1顯著性概述

視覺注意力機制有兩個基本特征：指向性（表現(xiàn)為對出現(xiàn)在同一時段的多個刺激有選擇性）和集中性（表現(xiàn)為對干擾性刺激的抑制能力）

注意力機制主要分為兩大類：自底向上數(shù)據(jù)驅(qū)動的預注意機制和自頂向下任務驅(qū)動的后注意機制

用計算機來模擬人類視覺注意機制的模型稱為視覺注意力模型

一個視覺注意力模型對圖像中的顯著區(qū)域用視覺注意力（VA）圖來表示視覺注意力機制和模型4.1顯著性概述(1) 對圖像信號的處理域：空域/變換域(2) 檢測算法的流程：自底向上/自頂向下(3) 考慮計算對象：基于注視點/顯著區(qū)域(4) 檢測結果分辨率：像素級的方法和基于區(qū)域（包括超

像素）的方法(5) 考慮輔助信息：將檢測方法分為僅利用圖像自身信息

的內(nèi)部方法和還利用圖像“周邊”信息的外部方法(6) 顯著性與主觀感知相關聯(lián)，所以除可借助計算模型也

可考慮仿生學的方法顯著性檢測方法分類4.1顯著性概述

主要有5個模塊，輸入和輸出可有不同的形式

其他3個模塊也列出了一些常用的方法和技術基本檢測流程4.2基于對比度的檢測

計算對比度的方法主要分為3大類：

(1)

利用局部對比度先驗知識

將每個像素僅僅與圖像局部中某些像素比較

(2)

利用全局對比度先驗知識

將目標像素與圖像中其余所有像素進行特征差異度計算

(3)

利用背景先驗知識

背景先驗：圖像的四周對應背景對比度檢測4.2基于對比度的檢測

基于直方圖對比度的算法

一個像素的顯著性是該像素與圖像中所有其他像素之間的顏色/灰度的對比度之和具有相同顏色/灰度的像素會具有相同的顯著性值，將對應具有相同顏色/灰度值ci的像素Ii分在同一組基于對比度幅值對應直方圖表達，計算快捷4.2基于對比度的檢測

基于區(qū)域?qū)Ρ榷鹊乃惴?/p>

將輸入圖像初步分成多個區(qū)域，通過計算區(qū)域?qū)Ρ榷龋≧C）獲取其顯著性值

Dc(Ri,

Rj)度量區(qū)域間在L*a*b*空間中的顏色距離

引入空間信息以調(diào)整區(qū)域權重基于對比度幅值4.2基于對比度的檢測

考慮圖像中對比度的整體分布因素

圖(a)為原始圖像，圖(b)為理想結果

以圖(c)中的標記像素為中心，大的顯著性數(shù)值主要分布在其右下方。以圖(d)中的標記像素為中心，大的顯著性數(shù)值則在各個方向上的分布都差不多基于對比度分布4.2基于對比度的檢測

(1)

對圖像進行超像素分割

(2)

計算超像素的最大環(huán)繞對比度

(3)

計算相對對比度方差

(4)

將該方差數(shù)值轉(zhuǎn)換為顯著性值基于對比度分布流程4.2基于對比度的檢測

對屬于內(nèi)部的超像素區(qū)域，其各個方向的最大對比度值都比較大；而對屬于外部的超像素區(qū)域，其各個方向的最大對比度值有比較大的差別對比度分布計算4.2基于對比度的檢測

屬于顯著物體內(nèi)部的超像素區(qū)域的相對標準方差（RSD）比屬于顯著物體外部的超像素區(qū)域的相對標準方差?。@著性與相對標準方差成反比）顯著性圖相對標準方差顯著性圖后處理結果真值4.2基于對比度的檢測

將目標像素i看作視場中心，則整幅圖像可相對于i的位置被劃分成若干個區(qū)域（左上、右上、左下、右上）最小方向?qū)Ρ榷雀鞣较蚨急容^大有的方向比較小4.2基于對比度的檢測

來自各個區(qū)域的方向?qū)Ρ榷龋―C）

前景與背景像素的方向?qū)Ρ榷确植己懿灰粯?/p>

用最小方向?qū)Ρ榷龋∕DC），即所有方向中對比度最小的DC值，作為初始的顯著性的度量值：最小方向?qū)Ρ榷?.2基于對比度的檢測

為了降低計算復雜度，對顏色進行量化

簡單的顏色量化，可能會導致兩種相似的顏色量化到兩種取值，進而得到的顯著性在視覺上不連續(xù)。借助邊界連通性的平滑來消除這種問題顯著性平滑平滑結果初始度量4.2基于對比度的檢測

增加前景和背景區(qū)域之間的對比度

使用基于標記的分水嶺算法增強顯著性

前景像素為紅色、背景像素為綠色顯著性增強最終標記區(qū)域初始標記區(qū)域平滑結果真值4.3基于最穩(wěn)定區(qū)域的檢測

在復雜背景下，基于（逐個）像素或者超像素低層特征的方法很難獲得魯棒的顯著性結果區(qū)域顯著性4.3基于最穩(wěn)定區(qū)域的檢測

從目標種子出發(fā)，用區(qū)域生長策略會產(chǎn)生一系列（嵌套的）周圍區(qū)域，最可能的目標區(qū)域可根據(jù)下面3個因素決定： (1) 這個區(qū)域與其外部周邊區(qū)域之間是否

有很高的對比度 (2) 這個區(qū)域內(nèi)部是否只有很低的對比度

（即很平滑） (3) 這個區(qū)域的面積不能太小，否則噪聲

影響過大最穩(wěn)定區(qū)域4.3基于最穩(wěn)定區(qū)域的檢測6個得分：1.04，4.65、19.25、21.94、20.6、0.0最穩(wěn)定區(qū)域4.3基于最穩(wěn)定區(qū)域的檢測邊界連通性

一個圖像中區(qū)域和整幅圖像邊界重疊的長度與該區(qū)域面積的平方根的比值。這個比值可以衡量給定圖像區(qū)域?qū)儆诒尘暗目赡苄?/p>

兩種先驗結合：邊界先驗認為圖像的邊界大部分對應背景區(qū)域，連通性先驗認為背景區(qū)域（比前景區(qū)域）更多地與圖像的邊界連在一起顯著性計算4.3基于最穩(wěn)定區(qū)域的檢測顏色空間分布

表示某個特定區(qū)域顏色在圖像中其他地方出現(xiàn)的可能性

實際中，背景區(qū)域顏色常分布在整幅圖像上，即在空間分布上方差很高；而前景區(qū)域顏色常分布比較緊湊，在空間分布上方差較小。在空間上分布較緊湊的區(qū)域顏色將會比在空間上分布較廣泛的區(qū)域顏色更顯著顯著性計算4.3基于最穩(wěn)定區(qū)域的檢測顯著性計算僅使用邊界連通性僅使用顏色空間分布結合兩個指標4.4顯著目標區(qū)域提取及效果評價(1)

直接閾值分割(2)

基于交互圖像分割(3)

結合矩形窗定位(1)

顯著圖計算(2)

初始顯著區(qū)域定位(3)

精細顯著區(qū)域提取顯著目標區(qū)域提取不同提取框架提取主要步驟4.4顯著目標區(qū)域提取及效果評價顯著目標區(qū)域效果評價4.4顯著目標區(qū)域提取及效果評價評價指標(1)

查準率（精確度/精確性）：P=|TP|/(|TP|+|FP|)(2)

查全率（召回率）：R=|TP|/(|