基于雙色反射模型的人臉高光區(qū)域檢測與輻射校正

基于雙色反射模型的人臉高光區(qū)域檢測與輻射校正

針對女性的計算機視覺研究是圖像識別領(lǐng)域中受關(guān)注的研究熱點。正確評估圖像的光譜光譜有助于識別和識別圖像中的女性特征。因此，在這項工作中，我們提出了一種新的技術(shù)來自動檢測色彩圖像中是否存在高光色彩的區(qū)域，以及如何在該區(qū)域進行輻射校正。該方法是在檢測面部特征時選擇合適的顏色模型的有效自適應(yīng)手段，也是檢測光照明設(shè)備主要成分的一種手段。根據(jù)Klinker等人的研究,彩色圖像分割是高光分析中的主要困難之一,分割錯誤或不準(zhǔn)確對高光分析均會產(chǎn)生直接影響.Str?rring等人通過人工選擇皮膚的高光區(qū)域,根據(jù)雙色反射模型估算照明色彩取得較高的精度.系統(tǒng)分析和實驗均證明,雙色反射模型基本可以反映人的活體皮膚在可見光波段的反射特性.但是,這些高光分析都是直接在三維彩色空間中尋求雙色反射模型中的面反射矢量和體反射矢量,需要復(fù)雜的分析計算我們通過考察不同彩色空間中的膚色分布形態(tài)以及對皮膚光譜反射特性與機制的分析,提出了一種在TSL(tint-saturation-luminance)彩色空間中自動選擇候選膚色區(qū)域、可降到二維平面進行快速、穩(wěn)健的高光檢測和輻射校正的新方法,并在普渡大學(xué)的彩色人臉數(shù)據(jù)庫ARDatabase中獲得了較好的實驗結(jié)果.1色反射模型的建立本節(jié)首先考察人臉皮膚的反射波譜特性,使用雙色反射模型為皮膚反射機制建模,然后根據(jù)不同彩色空間中皮膚彩色的分布特性,選擇有利于高光檢測的彩色空間,最后提出解決問題的技術(shù)方案.1.1皮膚反射機制圖1表示皮膚的3種反射光譜曲線.最上面的曲線代表白種人,中間的代表被曬紅的白種人,下面的是黑人.在這些皮膚反射光譜曲線中,最典型的皮膚反射光譜特征是綠光波段中血色素吸收所形成的W曲線.可惜該特征不會呈現(xiàn)在RGB的色彩空間中,因為一般的彩色成像設(shè)備并沒有將綠光波段細分成若干波段.盡管如此,皮膚反射光譜特性曲線至少反映出皮膚反射率在總體上是隨波長的增加而上升.這與如圖2(a)所示的皮膚彩色在RGB中的分布是一致的,也與文獻中的R>G>B的膚色特征一致,但是彩色分量滿足這個不等式的常見物體顏色也不少,比如紅磚或未油漆的木板.同時,有的膚色也不滿足該不等式.人的皮膚可分為較薄的表皮層和表皮下較厚的真皮層.人體皮膚上的表面反射發(fā)生在表皮,大約占輻射量5%的表面反射率與光波波長無關(guān),也與人種無關(guān).其余95%的入射光進入皮膚,在這兩層皮膚中被吸收和散射,散射光中的一部分逸出表皮形成皮膚的體反射.皮膚在較強光照下可能出現(xiàn)高光區(qū),區(qū)中的像素以不同比例混合了表皮層的面反射和真皮層的體反射,而非高光區(qū)的像素基本上只有體反射.因此,皮膚反射機制可以用雙色反射模型描述,如圖3所示.體反射Cb基本上具有朗伯體漫反射的特點,面反射Cs基本上具有鏡面反射的特點,而且面反射的光譜與入射光譜一致.皮膚的雙色反射模型可用下式描述:其中ms和mb分別是面反射和體反射的權(quán)重函數(shù),ms+mb=1.皮膚高光分析的主要目的就是要在彩色圖像中找出皮膚高光區(qū)域,并從光譜中分離出面反射成分Cs和體反射成分Cb,這不僅可以消除因強光照射所造成的人臉膚色失真,也可以估算入射光的主要光譜成分.1.2彩色數(shù)碼成像的原理為選擇一個恰當(dāng)?shù)牟噬臻g進行高光分析,我們考察了高光皮膚圖像在多種彩色空間中的分布情況.表1表示在幾種常用的彩色空間中,含有高光的人臉膚色在某二維平面所占面積(深色)與所有可能色彩所占面積(淺色)的比例,一般是比例越小越有利于同其他物體的色彩分離.其中在HV和TL平面中,膚色所占的面積比例最小,而在La*b*中總體比例最小,但是結(jié)合彩色空間中的分布形態(tài)和亮度動態(tài),對本膚色訓(xùn)練場地是TL平面最有利于高光分析.因此,在這些不同彩色空間中,根據(jù)含有高光的膚色像素所占整個彩色空間的面積、分布的形態(tài)、亮度的動態(tài)范圍大小以及前人相關(guān)研究工作,我們最后選擇了TSL和RGB彩色空間進行皮膚的高光分析.圖2顯示了人工采樣的十幾幅強側(cè)光人臉皮膚訓(xùn)練場地在RGB和TSL彩色空間的分布.如果忽略成像傳輸過程對輻射量的影響,可用亮度分量L最大值所在(T,S,L)值對應(yīng)的面反射光譜成分Cs估計皮膚受到的主要入射光譜成分,并依此作為照明光線優(yōu)勢波長的估計,從而為在彩色數(shù)碼成像時自動獲取白平衡參數(shù)提供一種有效途徑.1.3彩色人臉數(shù)據(jù)庫的實現(xiàn)根據(jù)上述皮膚反射波譜特性和帶有高光區(qū)域的皮膚圖像在彩色空間中的分布形態(tài)特征,我們采用雙色反射模型有效地描述了皮膚的反射特性.為了進行可比實驗,我們利用普渡大學(xué)網(wǎng)上的彩色人臉數(shù)據(jù)庫ARDatabase,手工選擇人臉皮膚樣本建立訓(xùn)練場地,并在此基礎(chǔ)上建立皮膚的彩色直方圖統(tǒng)計模型.利用人臉膚色模型和連通區(qū)域形狀特征篩選出候選區(qū)域,然后在所選的彩色空間中作膚色集群和主分量分析,得出皮膚體反射矢量和面反射矢量,從彩色皮膚圖像中檢測并分離出高光區(qū)域,并實現(xiàn)了高光輻射的自動校正.系統(tǒng)技術(shù)流程如圖4所示.2人臉皮膚的區(qū)域分割我們在前面的系統(tǒng)分析中已經(jīng)介紹了技術(shù)流程圖(如圖4所示)中的分類訓(xùn)練部分,包括來源于ARDatabase的彩色人臉圖像訓(xùn)練場地、使用雙色反射模型描述皮膚反射、選擇RGB和TSL彩色空間以及在TSL彩色空間中建立膚色模型.下面將介紹人臉皮膚的區(qū)域分割,候選膚色像素的序貫PCA,基于雙色反射模型的皮膚面反射矢量Vs和體反射矢量Vb計算,高光區(qū)域檢測和輻射校正等.2.1彩色模型的建立彩色是檢測物體的重要基本特征.在彩色圖像人臉的低層檢測中,區(qū)分皮膚像素與非皮膚像素有各種各樣的統(tǒng)計彩色模型.高斯模型、混合高斯模型和直方圖模型都可以用作皮膚的彩色模型.我們采用以直方圖統(tǒng)計模型為基礎(chǔ)的膚色模型,又將RGB變換到TSL彩色空間,以便后面進行基于雙色反射模型的高光分析.從RGB映射到歸一化的TSL彩色空間是一種非線性變換,變換式為其中,r′=(r-1/)3,g′=(g-1/)3,r=R/(R+G+B),g=G/(R+G+B),T是色調(diào),S是飽和度,L是亮度.當(dāng)R,G,B歸一化時,L的取值范圍和T,S一致,都在區(qū)間[01].2.2連通區(qū)區(qū)域的檢測將輸入的彩色測試圖像轉(zhuǎn)換到TSL彩色空間后,首先根據(jù)上述的膚色模型對測試圖進行像素點的膚色概率檢測,然后用一個較低的閾值將這個膚色概率圖二值化.在這個二值圖上運用帶有形狀測量的連通區(qū)快速標(biāo)號算法進行連通區(qū)標(biāo)記,將面積很小或者區(qū)域在其外接矩形中面積比例較小的連通區(qū)刪掉,并對剩下的連通區(qū)進行較小結(jié)構(gòu)的數(shù)學(xué)形態(tài)學(xué)閉運算,最后得到膚色和形狀過濾后的候選人臉區(qū)域,如圖5(b)所示.它們可作為蒙板選擇被測圖像的相應(yīng)區(qū)域,進行下一步的人臉高光分析.2.3彩色空間中的三維皮膚反射本方法研究的重點是檢測彩色人臉圖像中是否存在高光照區(qū)域,如果存在,則又是如何自動分割出來進行輻射校正的.皮膚高光區(qū)域檢測是根據(jù)對皮膚訓(xùn)練樣本的光譜空間分布形態(tài)的觀察,發(fā)現(xiàn)在許多不同彩色空間中,帶有高光區(qū)域的膚色樣本集都呈現(xiàn)出均勻光照下或帶有陰影的膚色樣本集所沒有的Γ形分布.本系統(tǒng)選擇TSL彩色空間進行皮膚高光分析的原因,除了TSL在膚色檢測中表現(xiàn)突出以外,更重要的是帶有高光區(qū)域的皮膚圖像在TSL彩色空間中的分布也呈顯著的Γ形狀,而且集中表現(xiàn)在TL和SL平面上.因此,RGB彩色空間中的三維皮膚反射成分分析在TSL彩色空間中可以降到二維中進行,比如在TL平面中,這樣極大地降低了計算復(fù)雜度.圖6表示TL平面上膚色像素的分布,Vb和Vs分別是由序貫主分量分析估算的體反射矢量與面反射矢量.如果體反射像素的亮度具有一定的動態(tài)范圍,這些像素就可以用來估計體反射.根據(jù)朗伯體的余弦定律,體反射的亮度僅與照明的入射角余弦成正比.在有主要照明方向的人臉上,入射角變化必然導(dǎo)致皮膚體反射強度的變化,所以,體反射為主的像素集合一般具有足夠的亮度動態(tài)范圍.由于彩色直方圖與空間信息無關(guān),以亮度分量L為索引值對膚色區(qū)中的所有像素的(T,S,L)三元組進行排序,可以得到一串有序的彩色像素.在這些有序的彩色像素上進行序貫主分量分析,需要將這些像素按數(shù)量等分成n個(本實驗中n取32)子集,或按亮度動態(tài)的范圍等分為n個級別,在每個級別中選取限量的像素.序貫主分量分析的過程是:第1次取第1個子集的協(xié)方差陣做主分量分析,第2次取前兩個子集的協(xié)方差陣做主分量分析,到第n次取全部膚色像素的協(xié)方差陣做主分量分析,得到n組特征值和特征向量.2.4染色區(qū)域vb和面反射向量vs.膚色像素各分量間的協(xié)方差陣的特征值實質(zhì)上就是在其特征矢量上投影值的方差,反映了膚色像素在各特征矢量方向上的彩色動態(tài)范圍.高光分析在我們前面選擇的TL平面中進行.假設(shè)在二維平面上的兩個特征值是λ1和λ2,λ1>λ2,我們發(fā)現(xiàn),比值R=λ1/λ2是膚色像素在該平面上分布扁平程度的有效度量.對按L排序的膚色像素進行2維序貫主分量分析之后,可以依次得到n對特征值間的n個R值.如果膚色集合中沒有高光區(qū)域,則R值是單調(diào)上升的.如果膚色集合中的確存在高光區(qū)域,則R值是先升后降,其過程會出現(xiàn)一個明顯的峰值.可見,檢測膚色區(qū)域是否存在高光區(qū)域就變成檢測序貫主分量分析是否存在R值的峰值.最大R值出現(xiàn)前的一組特征值中較大的特征值所對應(yīng)的特征矢量就是膚色在TL平面中的體反射向量Vb.如果存在高光區(qū),還需要計算面反射向量Vs.具體實現(xiàn)是,將按L升序排列后的所有膚色像素的(T,S,L)三元組進行反序,即從最亮到最暗的像素進行類似上述Vb的計算,可得到膚色在TL平面的面反射向量Vs.為了準(zhǔn)確定位帶高光區(qū)域的膚色圖像在彩色空間中Γ形分布的轉(zhuǎn)折點,我們在估算體反射向量Vb和面反射向量Vs時避免采用轉(zhuǎn)折點附近的像素,并采用體反射向量Vb和面反射向量Vs之間的交點作為劃分高光和非高光皮膚區(qū)域的亮度閾值Lth.高光區(qū)域的輻射校正的實現(xiàn)是根據(jù)雙色反射模型將L分量大于Lth的膚色像素沿著面反射矢量Vs的方向投影到體反射矢量Vb軸上,同時應(yīng)注意保留高光區(qū)膚色像素間的亮度和色度差異,但這種投影依然會不可避免地降低了高光區(qū)的反差.最后我們利用結(jié)構(gòu)陣列中像素對像素的數(shù)據(jù)組織方式建立了TSL到RGB彩色查找表,便于將輻射校正后膚色像素快速從TSL映射到RGB空間進行顯示或存儲.2.5皮膚高光分析的染色模型利用普渡大學(xué)網(wǎng)上的彩色人臉數(shù)據(jù)庫ARDatabase,一部分用作人臉皮膚訓(xùn)練場地,另一部分用作測試圖像.圖5是部分人臉測試圖像、人臉候選區(qū)域、自動高光檢測和輻射校正效果.從膚色模型檢測出的測試圖像按0.1~0.3之間的某概率閾值二值化,經(jīng)形狀過濾后得到了候選膚色區(qū)域(如圖5(b)所示).膚色概率閾值大小變化會影響侯選膚色區(qū)域的個數(shù)和大小,但經(jīng)形狀過濾后對后面的高光分析結(jié)果影響很小,表現(xiàn)出很好的穩(wěn)健性.左圖的人臉濃眉和腮幫子胡須等部分對人臉區(qū)域雖然有一定影響,但缺少部分皮膚面積根本不影響在整體上對皮膚高光區(qū)域的檢出和輻射校正.右圖的頭發(fā)與膚色很接近,但經(jīng)過形狀和密集度過濾,僅剩下皮膚區(qū)域.為了與輸入圖像相比,高光校正后的膚色部分仍然與被過濾的其他部分一起顯示(如圖5(c)所示).3高光區(qū)局部特征分析本文介紹了一種基于雙色反射模型的彩色人臉圖像高光檢測和輻射校正的全自動方法.通過對皮膚光譜反射特性的分析、考察膚色在各種不同彩色空間中的分布形態(tài),我們在TSL彩色空間中自動提取含有高光人臉的區(qū)域,并提出了一種基于雙色反射模型進行高光分析的新方法.實驗證明,在關(guān)鍵的2維亮度與色度平面中,即使在基于膚色和形狀的人臉區(qū)域的分割精度不高的情況下,通過對膚色像素進行序貫主分量分析,采用特征值比值作主要參數(shù),