《基于學(xué)習(xí)的圖像增強(qiáng)技術(shù)》課件第14章

第十四章基于視覺美學(xué)學(xué)習(xí)的圖像質(zhì)量評估和增強(qiáng)14.1基于學(xué)習(xí)的美學(xué)14.2重建照片，增強(qiáng)照片質(zhì)量14.3實(shí)驗(yàn)結(jié)果與分析14.4本章小結(jié)本章主要介紹一種基于視覺美學(xué)學(xué)習(xí)的圖像(照片)質(zhì)量評估和增強(qiáng)技術(shù),該技術(shù)是在《AFrameworkforPhoto-QualityAssessmentandEnhancementbasedonVisualAesthetics》一文中提出的,其原理是：對照片進(jìn)行語義分割,從中提取顯著信息,再根據(jù)理想的攝影組成規(guī)則,從顯著信息中提取能用于衡量典型組成偏差的美學(xué)特征,然后學(xué)習(xí)美感吸引力和美學(xué)特征的映射模型,最后用這些模型來增強(qiáng)照片質(zhì)量。

該技術(shù)主要應(yīng)用于兩類照片：a類照片擁有鮮明的單一前景;b類照片是無鮮明主題的風(fēng)景/海景照片。其中部分照片如圖14-1所示。圖14-1圖庫的部分照片專業(yè)的視覺美學(xué)要求a類照片遵循三分法,如圖14-2(a)所示。所謂三分法,即所關(guān)注的主題應(yīng)該與四個(gè)應(yīng)力點(diǎn)(圖14-2(a)中黃線的交點(diǎn),應(yīng)力點(diǎn)是攝影幀中最強(qiáng)的焦點(diǎn))之一對齊,因?yàn)槿绻P(guān)注的主題被平均置于人眼捕捉到的所有應(yīng)力點(diǎn),觀眾的注意力會(huì)平均分配給這四個(gè)點(diǎn),從而對照片失去興趣,進(jìn)而降低照片的美感。對于b類照片,視覺美學(xué)要求其遵循視覺重量平衡原則,即照片不同區(qū)域的視覺重量比應(yīng)為黃金比例,如圖14-2(b)所示。本章會(huì)根據(jù)這兩項(xiàng)原則來評估照片質(zhì)量,經(jīng)由三分法和視覺重量平衡處理后的照片分別如圖14-3(a)、(b)所示。圖14-2視覺美學(xué)圖14-3經(jīng)過視覺美學(xué)處理的照片,左邊是原圖,右邊是處理后的照片

14.1基于學(xué)習(xí)的美學(xué)

基于學(xué)習(xí)的美學(xué)任務(wù),其一是通過用戶調(diào)查得出照片的美感吸引力;其二是提取照片的美學(xué)特征;其三是將前二者映射起來,得出美學(xué)模型。利用這些美學(xué)模型就能增強(qiáng)照片質(zhì)量。系統(tǒng)的框架結(jié)構(gòu)如圖14-4所示。系統(tǒng)分為照片評估和增強(qiáng)兩部分。照片評估部分兩條線并行操作,一方面首先對照片進(jìn)行語義分割,得到照片的顯著信息圖,再從中提取美學(xué)特征;另一方面通過用戶調(diào)查得出照片的美感吸引力,然后學(xué)習(xí)美感吸引力和美學(xué)特征的映射模型。照片增強(qiáng)部分采用這些模型來優(yōu)化和修補(bǔ)任意輸入的照片。圖14-4系統(tǒng)的框架結(jié)構(gòu)14.1.1用戶調(diào)查

要得到科學(xué)的視覺美學(xué)評估系統(tǒng),就要對人類美學(xué)進(jìn)行研究,研究結(jié)果如圖14-5所示。美感吸引力從低到高分別為1,2,…5,圖中白色區(qū)域、黑色區(qū)域、斜條陰影區(qū)域和豎條陰影區(qū)域的美感吸引力(Fa)代表專業(yè)的視覺美學(xué)評估系統(tǒng)對測試照片美感的評分(分別為(1~2]、(2~3]、(3~4]和(4~5]);每個(gè)區(qū)域直方圖的長度是受試者對該區(qū)域照片的美感打分的統(tǒng)計(jì)百分比,直方圖上的數(shù)字表示用戶對照片美感的評分,橫坐標(biāo)為美感吸引力區(qū)間,縱坐標(biāo)為用戶投票百分比。觀察直方圖分布可得照片美感吸引力排名分配的以下趨勢：

(1)美感吸引力為1<Fa≤2的照片有91%的Fa被標(biāo)記為1和2;

(2)4<Fa≤5的照片有88%的Fa被標(biāo)記為4和5。這表明,受試者能區(qū)分照片美感的優(yōu)劣。圖14-5匯總用戶調(diào)查結(jié)果(上方餅圖表明圖庫中每張照片的真實(shí)美感分布,底部直方圖顯示每個(gè)區(qū)間內(nèi)照片排名的分布)14.1.2視覺美學(xué)特征

1.相對前景位置

相對前景位置定義為：照片框架中四個(gè)應(yīng)力點(diǎn)與前景重心間的歸一化歐氏距離也稱為視覺注意力中心。

相對前景位置由下式確定：(14-1)其中,h、w為照片的高度和寬度,x0是前景重心,si(i=1,2,3,4)是應(yīng)力點(diǎn)(s1…s4四點(diǎn)分別位于左上角、右上角、右下角、左下角)。為了確定視覺注意力中心(如圖14-6所示),首先要根據(jù)幾何背景對照片進(jìn)行語義分割,得到右邊的分割后的圖像,深灰色像素表示天空,淺灰色像素表示支撐區(qū)(陸/海),白色像素表示占主導(dǎo)地位的前景,淺色十字為應(yīng)力點(diǎn)(s1…s4),深色十字為前景重心x0。語義分割后,前景的輪廓更為清晰。表14-1是從圖14-6提取的映射表,該表是美感吸引力(Fa)和相對前景位置(F)之間的映射。第二至第五列的值為視覺注意力中心(x0)和四個(gè)應(yīng)力點(diǎn)(s1…s4)之間的相對歐幾里德距離,圖像幀的寬度和高度是歸一化的。圖14-6相對前景位置表14-1美感吸引力(Fa)和相對前景位置(F)之間的映射

2.視覺重量比

視覺重量比(Yg/Yk)是天空區(qū)域像素大小與支撐區(qū)域像素大小的比值,同樣先使用自動(dòng)語義分割技術(shù)處理照片。如圖14-7所示,圖中水平線為地平線,水平線上方虛線和下方虛線分別表示天空的垂直距離Yk和支撐區(qū)域的垂直距離Yg,為黃金比例(0.618),為了保持視覺重量平衡,視覺重量比應(yīng)等于1.61803:(14-2)假設(shè)攝影幀近似與地平線對齊,則Yg/Yk(或Yk/(Yk+Yg))比率與黃金比例(φ)的偏差構(gòu)成了風(fēng)景圖的美學(xué)特征(視覺重量偏差(W)):(14-3)圖14-7視覺重量語義分割表14-2美感吸引力(Fa)和視覺重量偏差(W)的映射通過式(14-1)和式(14-3)獲得了兩類照片的視覺美學(xué)特征并通過用戶統(tǒng)計(jì)獲得了美感吸引力,然后可采用大規(guī)模的支持向量機(jī)(SVR)的算法學(xué)習(xí)它們之間的非線性映射關(guān)系。隨機(jī)選擇150幅照片用于訓(xùn)練,其余的用于測試。結(jié)果顯示,單前景照片的預(yù)測精度為87.3±3％。在相同組成類別參數(shù)下,風(fēng)景/海景照片的預(yù)測精度為96.1±2％。

14.2重建照片,增強(qiáng)照片質(zhì)量

這里分別用優(yōu)化對象位置和平衡視覺重量兩種獨(dú)立的增強(qiáng)方法來處理兩類照片。對于a類照片,旨在重置前景對象,在保持場景語義完整性(例如地面上的物體與地面保持接觸,而不浮到天空)的同時(shí),提高預(yù)測照片的美感吸引力。對于b類照片,側(cè)重于平衡天空和支撐區(qū)域的視覺重量,以便提高風(fēng)景/海景照片的美感吸引力。這兩種方法在以下小節(jié)中詳細(xì)介紹。

重建照片之前,首先采用基于外觀學(xué)習(xí)的場景分類方法對照片語義分割,產(chǎn)生一張顯著信息圖。確定照片中可能的天空和支撐區(qū)域,找出對應(yīng)的前景區(qū)域(由排除法可知,即照片中既不屬于天空又不屬于支撐的互補(bǔ)區(qū)域)。其原理如圖14-8所示。圖14-8語義分割原理14.2.1算法Ⅰ優(yōu)化對象位置

1.優(yōu)化對象位置

對于a類照片,優(yōu)化對象位置即找出最大吸引力位置x,再從原位置x0搬移到新位置x。設(shè)a類照片的視覺美學(xué)特征和美感吸引力之間的非線性映射關(guān)系為frf(Fa),最大吸引力位置x表示為(14-4)其中,δ是人為強(qiáng)制指定的支撐鄰域大小,λ(x,x0)是x,x0空間鄰域像素強(qiáng)度和梯度計(jì)算所得的平滑條件。圖14-9是對象可能的重置位置。圖14-9對象可能的重置位置

2.縮放前景物體以維持視角

僅僅搬移前景物體重建照片有時(shí)還不夠合理,還需要重新調(diào)整前景物體的大小,保持照片逼真感,如圖14-10所示。采用自動(dòng)估算照片中地平線位置的方法來確定前景在其新位置的大?。?14-5)其中,v=(vx,vy)是消失點(diǎn)(地平線y=vy和同時(shí)經(jīng)過前景原位置x0和新位置x的直線的交點(diǎn)),Dx/Dy是斜率,x2、y2是x的坐標(biāo)值?？s放因子為^^(14-6)對于那些消失線信息不能可靠確定的照片,保持其原始大小即可。圖14-10縮放前景物體

3.修補(bǔ)照片

單幅照片的修補(bǔ)采用基于補(bǔ)丁的區(qū)域填充算法填補(bǔ)缺失信息,修補(bǔ)結(jié)果如圖14-11所示。圖14-11修補(bǔ)照片14.2.2算法Ⅱ平衡視覺重量

對于沒有前景但能清楚劃分地平線的照片,可利用空間重構(gòu)更好的平衡天空的視覺重心。假設(shè)地平線把照片劃分為Yk/Yg,擴(kuò)大或縮減Yk即可優(yōu)化視覺重量比,以達(dá)到最大化美感吸引力。優(yōu)化方案如下:(14-7)(14-8)其中,h是Yk增加的垂直距離(如圖14-12所示),對方程(14-7)、(14-8)進(jìn)行一系列代數(shù)代換即可求得一個(gè)關(guān)于h的二次方程,很容易求得兩個(gè)h值,正值為Yk的增加量,負(fù)值為Yg的減少量,從而增加或降低照片的高度。增加照片高度需要用鄰域像素的可用信息修補(bǔ)新增區(qū)域,采用基于補(bǔ)丁的區(qū)域填充算法;降低就只需適當(dāng)裁剪照片。圖14-12平衡視覺重量

14.3實(shí)驗(yàn)結(jié)果與分析

根據(jù)上面的重構(gòu)技術(shù),采用一個(gè)圖形交互工具分別對200張圖像進(jìn)行測試,要求用戶用封閉多邊形分別標(biāo)記天空、支撐和前景區(qū)域。完成語義分割后,選擇算法Ⅰ/Ⅱ處理照片。結(jié)果如圖14-13、圖14-14所示,照片美感吸引力明顯提升。圖14-13a類照片重建前后美感吸引力區(qū)間對比圖14-14b類照片重建前后美感吸引力區(qū)間對比

(1)對比重建前后的a類照片,四個(gè)由低到高的美感吸引力區(qū)間((1,2],(2,3],(3,4],(4,5]),如圖14-13所示。a類照片重建前后示例如圖14-15所示。圖14-15a類照片重構(gòu)前后美感吸引力對比

(2)對比重建前后的b類照片,如圖14-14所示,照片的美感吸引力大幅提高。b類照片重建前后示例如圖14-