基于人眼視覺(jué)規(guī)律的注視點(diǎn)分類及其在圖像標(biāo)注中的應(yīng)用

時(shí)間：TIME\@"yyyy'年'M'月'd'日'"2022年3月29日學(xué)海無(wú)涯頁(yè)碼：第1-頁(yè)共1頁(yè)基于人眼視覺(jué)規(guī)律的注視點(diǎn)分類及其在圖像標(biāo)注中的應(yīng)用圖像標(biāo)注廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域，如物體檢測(cè)、識(shí)別等［1-4］。傳統(tǒng)圖像標(biāo)注通常由標(biāo)注人員手動(dòng)繪制目標(biāo)物體邊界框，存在效率低、成本高的問(wèn)題。據(jù)統(tǒng)計(jì)，在MechanicalTurk上對(duì)ImageNet進(jìn)行大規(guī)模標(biāo)注時(shí)，繪制邊界框耗費(fèi)的時(shí)間中位數(shù)為25.5s。此外，還需要對(duì)標(biāo)注人員進(jìn)行相關(guān)培訓(xùn)［5-6］。

生物學(xué)研究表明，人類的視覺(jué)系統(tǒng)存在選擇性注意機(jī)制［7］。目前，針對(duì)眼動(dòng)規(guī)律與目標(biāo)識(shí)別關(guān)系的相關(guān)研究結(jié)果表明，在任務(wù)驅(qū)動(dòng)型眼動(dòng)過(guò)程中，相較于背景，人眼注視點(diǎn)會(huì)更多地停留在與任務(wù)相關(guān)的圖像目標(biāo)中［8-10］?；谏鲜鲅芯拷Y(jié)果，利用人眼在觀測(cè)標(biāo)注目標(biāo)過(guò)程中的注視點(diǎn)規(guī)律，自動(dòng)確定目標(biāo)物體邊界框，能有效提高標(biāo)注效率，降低標(biāo)注成本［11-12］。DIMITRIOSP等提出的眼動(dòng)圖像標(biāo)注算法［11］就是此類應(yīng)用領(lǐng)域的一個(gè)經(jīng)典算法［13］。該方法將目標(biāo)標(biāo)注問(wèn)題建模為一個(gè)目標(biāo)和背景的分類問(wèn)題。首先提取眼動(dòng)注視點(diǎn)和背景分別所在的超像素塊的相關(guān)眼動(dòng)特征和圖像外觀［14］、似物性特征［15］等，構(gòu)建一個(gè)支持向量機(jī)（SupportVectorMachine，SVM）超像素塊分類模型，實(shí)現(xiàn)標(biāo)注目標(biāo)邊界框的初定位；然后采用似GrabCut能量模型［14］進(jìn)行目標(biāo)邊界框精定位。該算法只需使用較少的數(shù)據(jù)（7%）訓(xùn)練標(biāo)注模型，標(biāo)注一幅圖片平均僅需2s。

標(biāo)定過(guò)程中采集的眼動(dòng)數(shù)據(jù)中包含標(biāo)定目標(biāo)的位置先驗(yàn)線索，利用這些線索能有效提高后續(xù)標(biāo)定精度。但是，首先眼動(dòng)過(guò)程中存在的固有抖動(dòng)和眨動(dòng)，使眼動(dòng)數(shù)據(jù)中容易引入噪聲；另外，眼動(dòng)圖像目標(biāo)標(biāo)注這類任務(wù)驅(qū)動(dòng)型眼動(dòng)過(guò)程是一個(gè)自底向上和自頂而下相互交互的復(fù)雜認(rèn)知過(guò)程［11，16］。研究表明，人眼更容易關(guān)注動(dòng)物、人之類的活動(dòng)目標(biāo)，也容易停留在顯著的非目標(biāo)對(duì)象或背景對(duì)象上，因此目前提取和標(biāo)注任務(wù)相關(guān)的眼動(dòng)信息仍然是一個(gè)研究難點(diǎn)。目前DIMITRIOSP等提出的眼動(dòng)圖像標(biāo)注算法利用所有注視點(diǎn)定位標(biāo)注目標(biāo)，停留在非目標(biāo)上的注視點(diǎn)容易引入干擾因素，存在算法精度不高的問(wèn)題。文獻(xiàn)［10，17］采用熱力圖去除離群點(diǎn)算法提取和識(shí)別任務(wù)相關(guān)的注視點(diǎn)，但是該方法以每一個(gè)注視點(diǎn)為中心累加二維高斯函數(shù)，通過(guò)設(shè)置閾值將離群注視點(diǎn)濾除，未能有效地適應(yīng)注視點(diǎn)通常以線狀而非球狀呈現(xiàn)這一空間特征，并且高斯函數(shù)計(jì)算量大、方差難以確定，因此存在運(yùn)行效率低、閾值設(shè)置困難等問(wèn)題。另外，這些算法主要應(yīng)用在目標(biāo)檢測(cè)領(lǐng)域，文獻(xiàn)［10］雖然提到目標(biāo)標(biāo)注問(wèn)題，但是也是以現(xiàn)有圖像目標(biāo)檢測(cè)結(jié)果為基礎(chǔ)，輔助眼動(dòng)數(shù)據(jù)減少漏標(biāo)注，與經(jīng)典的DIMITRIOSP眼動(dòng)圖像標(biāo)注算法思路不一致。

國(guó)內(nèi)已有針對(duì)駕駛過(guò)程中的注視序列［18-19］以及人機(jī)交互過(guò)程中的注視序列［20-21］的研究，但均不能適用于圖片標(biāo)注研究領(lǐng)域。在目標(biāo)導(dǎo)向、任務(wù)驅(qū)動(dòng)的圖像標(biāo)注過(guò)程中，人眼視覺(jué)由“預(yù)注意”和“注意”兩個(gè)階段組成［22-23］，被稱為人眼視覺(jué)的“搜索”和“識(shí)別”［16］，前者的凝視點(diǎn)不在目標(biāo)上，而后者的凝視點(diǎn)在目標(biāo)上。準(zhǔn)確提取眼動(dòng)識(shí)別階段的注視點(diǎn)是提高眼動(dòng)圖像標(biāo)注定位精度的關(guān)鍵。鑒于此，本文擬從探索圖像目標(biāo)標(biāo)注這一任務(wù)驅(qū)動(dòng)下的眼動(dòng)規(guī)律入手，設(shè)計(jì)注視點(diǎn)分類模型。首先研究圖像標(biāo)注過(guò)程中眼動(dòng)注視點(diǎn)在時(shí)間、空間維度上的眼動(dòng)規(guī)律，然后結(jié)合眼動(dòng)規(guī)律，提出基于參數(shù)自適應(yīng)的DBSCAN（Density-BasedSpatialClusteringofApplicationswithNoise）［24］算法將人眼注視序列中注視點(diǎn)自動(dòng)分類為視覺(jué)搜索和視覺(jué)識(shí)別兩個(gè)類別，旨在將提取的眼動(dòng)識(shí)別階段注視點(diǎn)作為圖像標(biāo)注算法的輸入，提高標(biāo)注精度。

2搜索和識(shí)別兩階段的眼動(dòng)規(guī)律

為了探究隸屬于視覺(jué)識(shí)別和視覺(jué)搜索階段注視點(diǎn)的規(guī)律，本文選取2022DIMITRIOSP數(shù)據(jù)集［11，25］當(dāng)中的包含單目標(biāo)的圖片開(kāi)展眼動(dòng)規(guī)律實(shí)驗(yàn)研究。該數(shù)據(jù)集選取PascalVOC2022數(shù)據(jù)集中的10類目標(biāo)，共6270幅圖片，其中單目標(biāo)圖片共5104幅圖。這10類目標(biāo)分別為貓/狗、自行車(chē)/摩托車(chē)、飛機(jī)/船、牛/馬以及沙發(fā)/餐桌。5位受試者眼動(dòng)標(biāo)注過(guò)程中的眼動(dòng)數(shù)據(jù)采用Eyelink2000眼動(dòng)儀采集，采樣頻率為1000Hz。眼動(dòng)數(shù)據(jù)格式用F=(xi,yi,t_starti,t_endi)Ni=1表示，其中x,y表示坐標(biāo)（單位：像素），t_start,t_end分別記錄為注視點(diǎn)的開(kāi)始時(shí)間戳和結(jié)束時(shí)間戳（單位：ms），可通過(guò)t_end?t_start計(jì)算得到注視點(diǎn)的持續(xù)時(shí)間。每個(gè)目標(biāo)的標(biāo)注真值框由數(shù)據(jù)集提供。圖1為摩托車(chē)目標(biāo)圖像，5位受試者的眼動(dòng)注視數(shù)據(jù)使用不同顏色繪制，目標(biāo)標(biāo)注真值框使用綠色標(biāo)識(shí)。

圖1數(shù)據(jù)集展示

Fig.1Datasetpresentation

下載:原圖|高精圖|低精圖

針對(duì)標(biāo)注目標(biāo)i（1≤i≤10），5位受試者標(biāo)注過(guò)程中的眼動(dòng)注視點(diǎn)集合為Ui。定義實(shí)驗(yàn)中視覺(jué)搜索和視覺(jué)識(shí)別兩階段注視點(diǎn)的量化判定標(biāo)準(zhǔn)如下：若注視點(diǎn)落在目標(biāo)物體i的標(biāo)注真值框B內(nèi)，則屬于視覺(jué)識(shí)別階段注視點(diǎn)集合Ri，反之屬于視覺(jué)搜索階段注視點(diǎn)集合Si，即Ui=Ri?Si。具體如圖2所示。

圖2視覺(jué)搜索-識(shí)別階段注視點(diǎn)的量化標(biāo)準(zhǔn)示意圖

Fig.2Visualsearchandrecognitionfixations

下載:原圖|高精圖|低精圖

針對(duì)10類標(biāo)注目標(biāo)，從注視點(diǎn)分布占比率、注視持續(xù)時(shí)間、注視空間聚集度3個(gè)角度探索兩個(gè)視覺(jué)階段的眼動(dòng)規(guī)律。

（1）兩階段注視點(diǎn)分布占比率對(duì)比

針對(duì)上述10類標(biāo)注目標(biāo)，分別計(jì)算5位受試者眼動(dòng)注視點(diǎn)集合Ri、Si中注視點(diǎn)數(shù)目占集合Ui中注視點(diǎn)總數(shù)目的比例：card(Ri)/card(Ui)、card(Si)/card(Ui)。

從圖3所示的計(jì)算結(jié)果可知，所有標(biāo)注目標(biāo)視覺(jué)識(shí)別階段的注視點(diǎn)分布占比明顯比視覺(jué)搜索階段高，其中8個(gè)目標(biāo)在視覺(jué)識(shí)別階段的注視點(diǎn)占比甚至超過(guò)70%。說(shuō)明在標(biāo)注這類任務(wù)驅(qū)動(dòng)的眼動(dòng)過(guò)程中，人類的眼動(dòng)注視點(diǎn)會(huì)明顯分布在標(biāo)注目標(biāo)附近。

圖3不同標(biāo)注目標(biāo)的人眼注視點(diǎn)分布情況

Fig.3Fixationsdistributionofdifferentobjects

下載:原圖|高精圖|低精圖

（2）兩階段注視點(diǎn)持續(xù)時(shí)間對(duì)比

針對(duì)標(biāo)注目標(biāo)i，將每一幅包含i的圖片當(dāng)中的人眼注視點(diǎn)歸類于集合Ri和集合Si，并計(jì)算兩階段的注視點(diǎn)持續(xù)時(shí)間均值。最后分別累加得到集合Ri和集合Si中相應(yīng)注視點(diǎn)的注視持續(xù)時(shí)間，研究二者占集合Ui所有注視點(diǎn)的持續(xù)時(shí)間總和的比例。

從圖4可知，在所有類別標(biāo)注目標(biāo)過(guò)程中，視覺(jué)識(shí)別階段注視點(diǎn)的注視持續(xù)時(shí)間明顯大于視覺(jué)搜索階段。標(biāo)注目標(biāo)“貓”的視覺(jué)識(shí)別階段與其視覺(jué)搜索階段的注視持續(xù)時(shí)間差異最顯著，目標(biāo)“船”的差異最小，但也有22.8%。所有目標(biāo)兩階段的持續(xù)時(shí)間占比差的平均值為58.5%。

圖4不同標(biāo)注目標(biāo)的搜索-識(shí)別階段注視點(diǎn)的持續(xù)時(shí)間占比

Fig.4Proportionofthedurationoffixationsinthesearch-recognitionofdifferenttargets

下載:原圖|高精圖|低精圖

（3）兩階段注視點(diǎn)空間聚集度對(duì)比

針對(duì)視覺(jué)識(shí)別和視覺(jué)搜索兩個(gè)階段，分別按照式（1）和（2）計(jì)算標(biāo)注目標(biāo)i的眼動(dòng)注視點(diǎn)集合Ri、Si中的眼動(dòng)注視點(diǎn)空間位置歸一化點(diǎn)密度D(Ri)和D(Si)：

D(Ri)=1Mi∑j=1MiRji/Ujiλji

，（1）

D(Si)=1Mi∑j=1MiSji/Uji1?λji

，（2）

式中：i表示標(biāo)注目標(biāo)類別，Mi表示第i類標(biāo)注目標(biāo)的圖片總數(shù)，Rji和Sji分別表示第i類目標(biāo)中第j幅圖片的視覺(jué)識(shí)別階段注視點(diǎn)集合和視覺(jué)搜索階段注視點(diǎn)集合，λji表示第i類物體的第j幅圖片目標(biāo)框B的面積與圖片面積的比值。

繪制不同類別目標(biāo)物體的搜索、識(shí)別階段歸一化點(diǎn)密度，如圖5所示。視覺(jué)識(shí)別階段的注視點(diǎn)密度明顯高于視覺(jué)搜索階段的注視點(diǎn)密度。

圖5不同標(biāo)注目標(biāo)的搜索-識(shí)別階段注視點(diǎn)的歸一化點(diǎn)密度

Fig.5Normalizedpointdensityoffixationsinthevisualsearch-recognitionofdifferenttargets

下載:原圖|高精圖|低精圖

綜合上述實(shí)驗(yàn)結(jié)果，可分析得出如下眼動(dòng)規(guī)律：

（1）在眼動(dòng)圖像標(biāo)注這類任務(wù)驅(qū)動(dòng)的眼動(dòng)過(guò)程中，眼動(dòng)注視點(diǎn)會(huì)明顯落在標(biāo)注目標(biāo)上。因此以標(biāo)注者的眼動(dòng)注視點(diǎn)位置為線索，能較準(zhǔn)確地初步定位標(biāo)注目標(biāo)位置。

（2）從眼動(dòng)注視點(diǎn)的時(shí)間維度上看，視覺(jué)識(shí)別階段的注視點(diǎn)總的持續(xù)時(shí)間呈現(xiàn)明顯大于視覺(jué)搜索階段的趨勢(shì)。

（3）從眼動(dòng)注視點(diǎn)的空間維度上看，視覺(jué)識(shí)別階段注視點(diǎn)在目標(biāo)內(nèi)部聚集，視覺(jué)搜索階段注視點(diǎn)在標(biāo)注目標(biāo)四周稀疏分布。

3基于眼動(dòng)規(guī)律的眼動(dòng)注視點(diǎn)分類

實(shí)驗(yàn)結(jié)果表明：在眼動(dòng)標(biāo)注過(guò)程中，處于眼動(dòng)搜索階段和眼動(dòng)識(shí)別階段的注視點(diǎn)在空間聚集度和時(shí)間持續(xù)性兩個(gè)方面存在明顯的差別。因此本文提出基于眼動(dòng)注視點(diǎn)空間和時(shí)間兩個(gè)維度特征的眼動(dòng)注視點(diǎn)分類方法。在圖6（a）中紅色標(biāo)識(shí)的是該圖片標(biāo)注過(guò)程中一位受試者的所有注視點(diǎn)。為了有效分類注視點(diǎn)，首先在第一階段利用視覺(jué)識(shí)別階段存在的空間聚集度高的特點(diǎn)，提出基于參數(shù)自適應(yīng)的DBSCAN密度聚類算法，得到k個(gè)候選眼動(dòng)識(shí)別階段注視點(diǎn)集。然后結(jié)合識(shí)別階段注視點(diǎn)持續(xù)時(shí)間長(zhǎng)的特性，篩選出注視總時(shí)長(zhǎng)最長(zhǎng)的集合，將其中所包含的注視點(diǎn)分類為眼動(dòng)識(shí)別注視點(diǎn)。算法流程示意圖和具體算法如圖6和表1所示。

圖6視覺(jué)搜索-識(shí)別注視點(diǎn)劃分流程圖。（a）注視序列用紅點(diǎn)標(biāo)識(shí)，藍(lán)線相連；（b）、（c）聚類簇由綠色和粉紅色點(diǎn)標(biāo)識(shí)；（d）視覺(jué)搜索階段使用紅點(diǎn)標(biāo)識(shí)，視覺(jué)識(shí)別階段使用黃點(diǎn)標(biāo)識(shí)。

Fig.6Frameworkofvisualsearch-recognitionfixationsclassification.（a）Fixationsequencemarkedwithreddotsandlinkedbybluelines；（b），（c）Differentclustersmarkedwithgreenandpinkdotsindividually；（d）Visualsearchphaseandvisualrecognitionphasemarkedwiththeredandyellowdotscorrespondingly.

下載:原圖|高精圖|低精圖

表1視覺(jué)搜索-識(shí)別注視點(diǎn)劃分算法偽代碼

Tab.1Visualsearch-recognitionclassificationpseudocode

算法：視覺(jué)搜索與識(shí)別注視點(diǎn)分類算法

輸入：圖像I，注視序列F=(xi,yi,t_starti,t_endi)Ni=1，參數(shù)α,β

輸出：視覺(jué)識(shí)別注視序列R，視覺(jué)搜索注視序列S

begin

//獲取自適應(yīng)參數(shù)

(W,H)=size(I)

Eps=max(W,H)/α

MinPts=N/β

//DBSCAN劃分聚類簇Ck以及離群點(diǎn)集合O

[Ck,O]=DBSCAN(F,Eps,MinPts)

//分類聚類簇，完成劃分

ifk==0

R=?

S=F

elseifk==1

R=Ck

S=O

elsek1

//Tk表示第k個(gè)簇Ck的注視點(diǎn)持續(xù)時(shí)間之和

k=argmaxk=1,2,...kTk

R=Ck

S=F?Ck

end

end

下載:導(dǎo)出CSV

表1算法中，關(guān)鍵的是第一步，即基于空間維度聚集特性的眼動(dòng)識(shí)別階段注視點(diǎn)候選集的確定。傳統(tǒng)的聚類算法如k-means聚類或者高斯混合聚類算法，都是適合球形聚類簇。但是觀察發(fā)現(xiàn)，眼動(dòng)識(shí)別階段的注視點(diǎn)簇不一定滿足該形狀假設(shè)。DBSCAN算法［24］是一種基于密度且適應(yīng)任何形狀簇的經(jīng)典聚類算法，同時(shí)只需要迭代一次，具有聚類速度快的特點(diǎn)。但是算法中的兩個(gè)重要參數(shù)鄰域半徑Eps和鄰域密度閾值MinPts的設(shè)置對(duì)算法的執(zhí)行效果影響較大。本文結(jié)合標(biāo)注任務(wù)特點(diǎn)，通過(guò)分析發(fā)現(xiàn)了參數(shù)的如下特點(diǎn)：

（1）目標(biāo)標(biāo)注問(wèn)題中聚類簇的鄰域半徑Eps與標(biāo)注目標(biāo)的尺寸有較明確的對(duì)應(yīng)關(guān)系。觀察發(fā)現(xiàn)，標(biāo)注目標(biāo)尺寸占標(biāo)注圖片總尺寸的比例主要分布在5%~50%左右，因此定義Eps參數(shù)取值公式如公式（3）所示：

Eps=max(W,H)α

，（3）

式中：(W,H)表示標(biāo)注圖像I的寬度和高度，α取值可選范圍大致在3~7。

（2）鄰域密度閾值MinPts與停留在標(biāo)注目標(biāo)上的平均注視點(diǎn)數(shù)量有關(guān)。統(tǒng)計(jì)分析發(fā)現(xiàn)，數(shù)據(jù)集中標(biāo)注目標(biāo)上的注視點(diǎn)數(shù)目占注視點(diǎn)總數(shù)比例分布在12.7%~29.3%之間?；诖?，定義MinPts參數(shù)取值公式如式（4）所示：

MinPts=Nβ

.（4）

其中：N表示當(dāng)前標(biāo)注圖像I中的注視點(diǎn)總數(shù)目，β可取值范圍大致在3~10。

圖7繪制了α、β取不同值時(shí)，眼動(dòng)注視點(diǎn)分類的查準(zhǔn)率指標(biāo)結(jié)果。從圖7可知，分類準(zhǔn)確率對(duì)參數(shù)α的敏感程度更高，當(dāng)α取7、β在3~10之間時(shí)，查準(zhǔn)率基本穩(wěn)定在0.65~0.66之間。當(dāng)β取5時(shí)，查準(zhǔn)率相對(duì)最高。因此，自適應(yīng)參數(shù)設(shè)置為α=7,β=5。

圖7參數(shù)取值情況

Fig.7Parametervaluesituation

下載:原圖|高精圖|低精圖

4實(shí)驗(yàn)與分析

本文針對(duì)標(biāo)注過(guò)程中的眼動(dòng)序列，結(jié)合眼動(dòng)規(guī)律提出算法將包含的眼動(dòng)注視點(diǎn)分類到對(duì)應(yīng)的搜索階段和識(shí)別階段。本節(jié)將首先圍繞算法分類性能、算法執(zhí)行效率兩個(gè)方面開(kāi)展對(duì)比分析，然后驗(yàn)證本文算法對(duì)提高眼動(dòng)圖像標(biāo)注精度的有效性。

實(shí)驗(yàn)數(shù)據(jù)集：2022DIMITRIOSP公共眼動(dòng)數(shù)據(jù)集（10類目標(biāo)，目標(biāo)物體占整幅圖片比小于30%，單目標(biāo)圖片共1962幅），訓(xùn)練集和測(cè)試集比例為1∶9。

實(shí)驗(yàn)硬件環(huán)境：第4代IntelCorei5（3.3GHz）；8GB內(nèi)存；256GBSSD；MatlabR2022b；操作系統(tǒng)為Win10專業(yè)版。

4.1視覺(jué)搜索和識(shí)別注視點(diǎn)分類相關(guān)實(shí)驗(yàn)與分析

4.1.1眼動(dòng)注視點(diǎn)分類性能評(píng)估

本文提出將受試者眼動(dòng)序列中的注視點(diǎn)分為視覺(jué)搜索和識(shí)別兩個(gè)階段，這個(gè)過(guò)程可看作一個(gè)二分類問(wèn)題。因此，采用機(jī)器學(xué)習(xí)常用的查準(zhǔn)率P、查全率R和F1度量分?jǐn)?shù)來(lái)評(píng)估算法的分類性能，其中F1度量計(jì)算如式（5）所示：

F1=2×P×RP+R

.（5）

計(jì)算熱圖（Heatmap）算法［17］、基于固定參數(shù)的本文算法（DBSCAN）和基于自適應(yīng)參數(shù)的本文算法（Adaptive-DBSCAN）3種方法的查準(zhǔn)率P、查全率R和F1度量分?jǐn)?shù)。其中，Heatmap算法使用自適應(yīng)閾值，設(shè)置thr=mean(T)/12，T表示圖片內(nèi)注視點(diǎn)的注視持續(xù)時(shí)間之和；DBSCAN算法的參數(shù)設(shè)置為MinPts=2，Eps=65；本文的Adaptive-DBSCAN算法自適應(yīng)參數(shù)設(shè)置為α=7,β=5。計(jì)算結(jié)果如表2所示。

表2眼動(dòng)注視點(diǎn)分類結(jié)果對(duì)比

Tab.2Comparisonoftheclassificationresultsofeyemovementfixationpoints

方法PRF1

Heatmap0.610.8760.71

DBSCAN0.650.740.69

Adaptive-DBSCAN0.650.8810.75

下載:導(dǎo)出CSV

從表2結(jié)果可知，DBSCAN方法相對(duì)于Heatmap方法，僅在查準(zhǔn)率方面有提升，但卻影響了查全率R和F1度量分?jǐn)?shù)。而本文提出的Adaptive-DBSCAN算法在查準(zhǔn)率、查全率和F1度量分?jǐn)?shù)均高于Heatmap算法。圖8給出了本文算法對(duì)標(biāo)注過(guò)程中眼動(dòng)注視點(diǎn)的分類結(jié)果。從圖8可以看出當(dāng)注視序列符合“識(shí)別階段注視序列聚集，搜索階段注視序列離散”和“視覺(jué)識(shí)別階段的注視持續(xù)時(shí)間比視覺(jué)搜索階段的注視持續(xù)時(shí)間長(zhǎng)”這兩條規(guī)律時(shí)，本文算法性能表現(xiàn)良好。另外，圖8（b）繪制了圖片中有顯著物體的情況，此時(shí)只要滿足上述的兩條規(guī)律，算法的輸出結(jié)果依然較好。

圖8視覺(jué)搜索-識(shí)別注視序列劃分算法的結(jié)果。（a）常規(guī)情況；（b）含有顯著物體的情況。

Fig.8Resultsofvisualsearch-recognitionclassification.（a）Normalsituation；（b）Situationcontainingvisualattentionobjects.

下載:原圖|高精圖|低精圖

4.1.2算法執(zhí)行效率對(duì)比

從表3可知，本文算法的運(yùn)行速度明顯優(yōu)于Heatmap算法。Heatmap算法是由高斯函數(shù)累加，運(yùn)行速度與注視序列的數(shù)量成正比，每一個(gè)注視點(diǎn)都需要進(jìn)行一次二維高斯函數(shù)的計(jì)算，極大地影響了算法的運(yùn)行速度。而本文基于空間特征聚類，無(wú)需反復(fù)進(jìn)行高斯函數(shù)累加，因此運(yùn)行速度有較大的改善。

表3算法的整體運(yùn)行速度

Tab.3Overallrunningspeedofthealgorithm

方法運(yùn)行時(shí)間/s

本文Adaptive-DBSCAN算法24.16

Heatmap算法47.21

下載:導(dǎo)出CSV

4.2眼動(dòng)圖像標(biāo)注精度對(duì)比

利用眼動(dòng)數(shù)據(jù)標(biāo)注圖像的方法的研究目前還處于初級(jí)階段，DIMITRIOSP等［11］提出的眼動(dòng)圖像標(biāo)注算法是一個(gè)非常經(jīng)典的算法。因此，為了驗(yàn)證本文算法對(duì)提高眼動(dòng)圖像標(biāo)注精度的可行性和有效性，本實(shí)驗(yàn)將以該算法為基礎(chǔ)對(duì)比以下3種方法的圖像標(biāo)注精度：（1）復(fù)現(xiàn)的DIMITRIOSP圖像標(biāo)注算法（DIMITRIOSP）；（2）基于熱力圖過(guò)濾離群點(diǎn)的圖像標(biāo)注算法（Heatmap-Annotation）；（3）基于本文方法提取眼動(dòng)識(shí)別階段注視點(diǎn)的圖像標(biāo)注方法（Ours）。為了比較結(jié)果的客觀性，這3種方法僅在眼動(dòng)序列輸入的選擇上采取不同策略，后續(xù)的圖像標(biāo)注過(guò)程均保持一致。DIMITRIOSP算法未開(kāi)源，因此復(fù)現(xiàn)該算法的初分割部分作為本文標(biāo)注算法的基線。其中似物性特征使用BING算法［26］構(gòu)建。

精度評(píng)估指標(biāo)CorLoc［11，27］的計(jì)算公式如式（6）所示：

CorLoc=mn

，（6）

式中：n為預(yù)測(cè)的物體框總數(shù)，m為標(biāo)注結(jié)果與目標(biāo)真值框重疊率大于0.5目標(biāo)總數(shù)。

針對(duì)數(shù)據(jù)集中的10種標(biāo)注目標(biāo)，上述3種方法標(biāo)注結(jié)果的CorLoc精度指標(biāo)計(jì)算結(jié)果如表4所示。原始DIMITRIOSP算法基于標(biāo)注過(guò)程中所有的眼動(dòng)注視點(diǎn)，而實(shí)際情況中這些注視點(diǎn)有一部分可能停留在背景或者顯著非目標(biāo)上，因此容易造成標(biāo)注目標(biāo)定位不準(zhǔn)確的問(wèn)題。從表4中可以明顯看到，10種目標(biāo)中除了“牛”和本文算法相等、“狗”高于本文算法之外，標(biāo)注指標(biāo)均明顯低于Heatmap-Annotation或者本文算法。實(shí)驗(yàn)結(jié)果說(shuō)明在眼動(dòng)標(biāo)注過(guò)程中，選擇與標(biāo)注物體相關(guān)的眼動(dòng)注視點(diǎn)進(jìn)行后續(xù)標(biāo)注目標(biāo)位置的初定位能提高標(biāo)注精度，證明了文本研究思路的有效性和可行性。比較Heatmap-Annotation算法和本文算法的標(biāo)注結(jié)果，本文方法7種目標(biāo)的標(biāo)注精度明顯比Heatmap-Annotation方法高，精度指標(biāo)的平均值高于Heatmap-Annotation。本文算法相較于DIMITRIOSP算法和Heatmap-Annotation算法分別平均提高了3.34%和1.02%，能更準(zhǔn)確地定位標(biāo)注目標(biāo)。圖9展示了部分目標(biāo)的標(biāo)注結(jié)果圖。

表4眼動(dòng)圖像標(biāo)注精度指標(biāo)CorLoc結(jié)果

Tab.4Eyemoveme