空間復用的光場成像技術建模與應用

空間復用的光場成像技術建模與應用

1微透鏡陣列式光場成像技術空間復用傳統(tǒng)相機的二維圖像是三維場景的映射。圖像中的每個點都是為了獲得所需的光束方案，并失去光線的方向信息。與之相對的,光場成像技術不僅記錄空間位置的亮度,而且可以分辨光線的方向。依據(jù)光場信息可以實現(xiàn)重聚焦,視點變換,深度估計等多項應用。Adelson等提出五維全光函數(shù)的概念解釋圖像的生成過程。當光線在空間中自由傳播時,則具有一個自由度的冗余性,全光函數(shù)可表達為四維光場,一般由兩個平行平面表示。空間復用是獲得光場信息的一項重要技術。通過在光路中插入微透鏡陣列,將光場信息以空間陣列復用的形式蘊藏在一幅圖像里。根據(jù)微透鏡陣列的位置不同,其又分為兩類技術。一種是將微透鏡陣列放置在主透鏡成像面上,電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)傳感器在其一倍焦距處。這一配置形式使得將光線的二維角度信息陣列式保存在一個更大的二維矩陣中,每個二維角度矩陣單元表示具有相同位置信息但角度信息不同的光線。另一種是將微透鏡陣列作為中繼透鏡,將主透鏡實像在CCD或CMOS傳感器上二次成像。這一配置形式是對光線二維位置信息的陣列式保存,而非二維角度信息,在更大二維矩陣中的每個二維位置矩陣單元具有不同的方向信息。由于CCD或CMOS傳感器分辨率固定,在高斯成像規(guī)律下改變二次成像的放大率,光場信息的空間分辨率和角度分辨率亦會此消彼長。蘊藏在圖像中的光場信息,必須對其復用進行解析才能獲得。Dansereau等提出了一種解碼、標定、校正方法,并在商用的光場相機Lytro上實現(xiàn)。他們通過對Lytro相機內(nèi)白圖像進行峰值檢測確定微透鏡中心,從而標定像素光場。Cho等則在頻域內(nèi)估計白圖像旋轉(zhuǎn)參數(shù),使用形態(tài)學腐蝕操作尋找像素級峰值,使用二次曲面擬合方法得到亞像素峰值。上述方法都是使用Lytro內(nèi)部自帶的白圖像,且假設微透鏡漸暈的峰值就是微透鏡的中心點。一方面Lytro相機的白圖像是針對Lytro有限個系統(tǒng)參數(shù)下獲得,并不能表示任何光學參數(shù)下的特性,另一方面,由于主鏡頭制造安裝的誤差和白圖像獲取過程中漫反射光的不一致性,都有可能導致微透鏡中心與漸暈光峰值的不一致性。本文基于光學器件對光場的變換規(guī)律,闡釋了微透鏡陣列式光場成像術空間復用的機理,建立了像素光場與標準光場的轉(zhuǎn)換關系。在此基礎上,基于多頻相移技術確定了微透鏡中心位置,像素與微透鏡的隸屬關系和漸暈效應特性。在實驗中,標定了Lytro相機,獲得了光場數(shù)據(jù),并應用于光場重聚焦和全聚焦。2光場成像的模型2.1基于不同光場方向的距離三維空間的光線通過各種媒介(空間、光學鏡片、光學器件)最終被光學敏感器感知成像。只有恰當選擇器件并合理布置,才能達到獲取所需視覺信息的目的。微透鏡陣列對光場的復用機理建立在各種光學器件對光線的傳播規(guī)律基礎上。實際上,若光線在自由空間傳播,可用四維光場函數(shù)(u,v,s,t)表示。如圖1所示,光線穿過的第一個平面記錄光線位置信息(u,v)T,第二個平面記錄光線方向信息(s,t)T。光線穿過兩個平行平面,分別與其相交于點o和od。兩個平行平面的距離為d=1,oo′垂直于這兩個平面。第一個平面上的點o表示為[u,v]T,向量o′od表示為[s,t]T,因此光線ood表示為[u,v,s,t]T?？臻g距離對于光場成像技術來說至關重要。一般來說,存在兩種情形:共軸空間距離和離軸空間距離。共軸空間距離指:兩個光場坐標系完全平行,只存在光軸方向移動距離d,其意味著圖1中的[u,v]T位置平面沿著垂直軸移動。離軸空間距離指:兩個光場坐標系完全平行,只存在垂直光軸的移動,其意味著[u,v]T位置平面在其面上移動(u0,v0)。在齊次坐標下,共軸空間距離和離軸空間引起的光場變換如(1)和(2)式所示。透鏡是光線變換的重要器件,主要作用是改變光線方向。在齊次坐標下,其引起光場的變換可用(3)式表示。式中f表示透鏡的焦距。光學敏感器(CCD或CMOS傳感器)對在同一位置不同方向的光線進行收集,并轉(zhuǎn)換成電信號。其過程可表達為(4)式:式中r(u,v,s,t)表示光線[u,v,s,t]T的輻射度,I(u,v)表示像素坐標(u,v)下的圖像亮度。2.2典型的光學敏感器和成像區(qū)域的劃分光場空間復用是通過將微透鏡陣列安置在傳統(tǒng)相機主透鏡的成像面上,光學敏感器(CCD或CMOS傳感器)與微透鏡陣列平行,且在其后一倍焦距處,光線通過微透鏡并在敏感器相應區(qū)域上成像。如圖2所示,微透鏡陣列平面和CCD平面共同構(gòu)成描述四維光場的兩個平行平面,光線穿過微透鏡中心的坐標為(xi,xj),在CCD上的坐標為(xk,xl)。光線的位置信息為(xi,xj),光線的方向信息為(xk-xi,xl-xj)。微透鏡的焦距為fm,微透鏡陣列與CCD的距離為fm,像素的尺寸為wpix。坐標軸z表示主透鏡的光軸,方向指向內(nèi)部敏感器。在微透鏡陣列處的光場設為Lc,其z軸與主透鏡的光軸重合,指向內(nèi)部光學敏感器(CCD或CMOS傳感器),其x軸、y軸平行于CCD像素坐標系。第i行第j列個微透鏡的光場設為Lmic_cell(xi,yj),其Z軸與自身光軸重合,其x軸、y軸平行于微透鏡陣列處的光場坐標系。光場Lc與光場Lmic_cell坐標系平行,只是存在離軸空間距離(xi,yj)。由(2)式可知式中(xi,yj)表示該微透鏡中心坐標,符號ue09e表示光場變換。經(jīng)過該微透鏡的折射作用,根據(jù)(3)式折射后的光場Lm1(xi,yj)可表示為微透鏡陣列與CCD平面距離為fm,此為共軸空間距離。根據(jù)(1)式則CCD處的光場Lccd(xi,yj)表示為聯(lián)立(5)~(7)式,則微透鏡陣列光場到CCD平面光場的變換表示為CCD對接收到的光線進行積分,(8)式代入到(4)式中,CCD的成像公式為由(9)式可知,微透鏡mmic_cell(xi,yi)像素值是由通過光心位置(xi,yj)方向為(fms,fmt)的光線決定的,即CCD像素坐標蘊含了光線的方向信息。微透鏡陣列平面的標準光場如圖2所示,將標準光場的坐標系按照像素進行采樣,并將坐標原點平移到左上點,則為像素坐標系。設微透鏡光心位置的像素坐標為(xi,yj),其中i,j是微透鏡陣列的行列坐標。對于任意屬于此微透鏡成像區(qū)域的像素(xk,yl)∈mmic_cel(xi,yj),像素光場表示為Lp=[xiyjxk-xiyl-yj1]T。標準光場可由像素光場轉(zhuǎn)換得到:式中Ox,Oy為主點位置,即光軸與圖像的交點在像素坐標系下的表示。ωpix是單位像素的長度。由(10)式可知,CCD上的任意像素(xk,yl)∈mmic_cel(xi,yj)唯一確定了光場中的一條光線。由幾何光學角度看,CCD上的任意一個像素來自于透過微透鏡的光線成像所致。由于CCD與微透鏡的距離為一倍焦距,根據(jù)高斯成像公式CCD上的像點來源于通過微透鏡中心和像點的平行光束。以過像點和微透鏡中心的主光線來代替這一平行光束,微透鏡中心是這一光線的空間位置坐標,而CCD的像素位置決定了這個光線方向。2.3光場重聚焦技術對微透鏡陣列處的標準光場Lc進行共軸空間變換即可實現(xiàn)光場的重聚焦。將(10)式代入(1)式,可得其中,由(11)式可知,像素光場具有標準光場類似的同軸空間變換,只是變換參數(shù)由T(d)變成Tpix(d)實現(xiàn)。通過此公式可實現(xiàn)像素光場的重聚焦和全聚焦,生成對于任意所需物距點的清晰成像,而不必將像素光場轉(zhuǎn)換到標準光場之后再進行重聚焦和全聚焦。像素光場重聚焦和全聚焦相對于標準光場重聚焦和全聚焦不僅減輕了計算量,更重要的是其直接方便,無需知道光場相機參數(shù)。值得強調(diào)的是,在對像素光場進行同軸變換時,光場相機的微透鏡焦距fm和同軸變換距離d,無需知道,使用α=d/fm這一無量綱的數(shù)值即可。根據(jù)光場信息可生成重聚焦圖片。光場重聚焦是無需鏡頭移動無需重新拍攝圖像僅通過一幅光場圖像即可變化聚焦位置的數(shù)字圖像技術。光場重聚焦算法如下:1)獲得光場數(shù)據(jù)。α初始為0,設置其步長為αstep;2)采用爬山算法尋找某一物點最清晰的圖像:(1)沿著增大清晰度的方向更新參數(shù)值(α←α+αstep);(2)根據(jù)公式計算當前參數(shù)下的光場數(shù)據(jù),并根據(jù)(9)式生成重聚焦圖片;(3)對此重聚焦圖片進行清晰度評價;(4)更新搜索步長。如果清晰度下降,步長減小一半αstep←0.5αstep,否則步長不改變;光場重聚焦是對圖像中某一物點實現(xiàn)清晰聚焦的技術。進一步的,可以對圖像中的所有物點都清晰成像,即為全聚焦圖片。光場全聚焦是僅通過光場圖像而非多幅多焦點圖像實現(xiàn)場景全聚焦的數(shù)字圖像技術。根據(jù)光場位置信息[u,v]T,將光場劃分為子光場(圖3)。當光場變換參數(shù)為α時,可由(11)式計算新光場。以子光場下標為橫坐標,以光場變換參數(shù)α為縱坐標,可建立二維網(wǎng)格圖。全聚焦問題轉(zhuǎn)化為在二維網(wǎng)格圖中尋找最優(yōu)路徑問題,該路徑滿足網(wǎng)格圖每列只選擇一個節(jié)點的約束。采用分治算法,在網(wǎng)格圖中的每一列選擇最清晰子圖的節(jié)點,并將所有最清醒子圖的節(jié)點連接成最優(yōu)路徑。根據(jù)這一路徑重新構(gòu)造光場,并使用此光場根據(jù)(9)式計算全聚焦圖片。3像素與空間物面的對應關系由光學敏感器(CCD或CMOS傳感器)圖像中恢復出光場信息,稱之為像素光場標定問題。其包括三個方面:1)確定像素和微透鏡的對應關系;2)確定微透鏡的中心位置(xi,yj);3)亮度校正,因為微透鏡具有漸暈效應,微透鏡下像素亮度的響應具有不均衡特性。根據(jù)光場成像模型,當三維空間物體經(jīng)光場相機主透鏡在微透鏡陣列面上清晰成像,即微透鏡陣列上每個位置僅僅來源于物面上同一點的光線。經(jīng)微透鏡的空間復用,CCD或CMOS傳感器上像素是來自于此點不同方向的光線信息。從另外一個角度,CCD或CMOS傳感器上這些經(jīng)同一個微透鏡成像的像素都是來自空間同一點的光線,不同微透鏡來自不同的物點。因此,確定像素與微透鏡的對應關系轉(zhuǎn)化成為確定像素與空間物面點的對應關系。采用多頻相移的方法確定物面點與像素點的對應關系。在光場相機前方垂直光軸位置放置顯示器,在顯示器上分時顯示多頻相移圖片,光場相機依次進行拍攝,計算卷繞相位和絕對相位。對物面的橫、縱坐標分別進行相位編碼,重復使用多頻相移技術,即可確定像素點與物面點的對應關系。當確立了CCD或CMOS傳感器上像素與空間物面的對應關系,根據(jù)對應性的不連續(xù)性,通過梯度檢測算子獲得其邊緣,對此邊緣信息與微透鏡模板邊緣進行匹配獲得最優(yōu)位置估計,從而確定微透鏡的中心位置和各個像素的所屬關系。微透鏡的漸暈效應導致微透鏡中心位置亮度較高,而邊緣處較弱。當已知微透鏡下的像素來源于同一個物點后,根據(jù)各個像素點對此物點的亮度響應即可標定出微透鏡的漸暈特性。采用均勻相位步長算法,投射的第n幅亮度圖案可表示為式中f是余弦周期函數(shù)的頻率,Ap和Bp是預先設定好的常數(shù),yp是投影機任意像素的縱坐標值,如果是橫坐標,直接將yp代換為xp,Inp為此像素對應的投射亮度值,N表示相移步數(shù)。當不考慮Gamma效應時,投影機和攝像機的亮度傳遞函數(shù)為理想線性的情況下,在攝像機圖像對應像素上獲得的亮度值可表示為式中Ac為該攝像機圖像像素多幅余弦采樣圖像的平均亮度,Bc則為此余弦函數(shù)的調(diào)制幅值,相位值ф是2π的模數(shù),即ф=2πfyp[mod(2π)]。根據(jù)N步相移圖像可求得相位值ф稱為卷繞相位,在0到2π之間,其中包含了位置信息y或x。對于L個不同頻率(f1,f2,…,fi,…,fL)的卷繞相位фi,0≤i≤L相位展開,可表述為式中ki是對應頻率fi的未知整數(shù),稱為折疊整數(shù),2πfiyp為絕對相位。(15)式兩邊同除以2πfi,可轉(zhuǎn)化為式中,0≤i≤L,其中λi是對應頻率余弦波的波長,ri為yp對λi的模,也稱為余數(shù)。由(16)式可知,對于同一整數(shù)yp在不同除數(shù)λi下,余數(shù)ri已知,折疊整數(shù)ki未知,求解整數(shù)yp。其本質(zhì)為數(shù)論中的同余問題,可通過健壯中國剩余定理獲得其封閉解。4基于透鏡陣列的光場復用所有實驗在Lytro光場相機的原始圖片上實現(xiàn)。Lytro相機使用六邊形微透鏡陣列進行光場空間復用,拍攝獲得的原始圖片具有六邊形間隔特性,如圖4所示。使用Lytro光場相機進行了像素光場的標定實驗[圖5(a)],建立了原始圖片像素與光場的對應關系,并運用光場信息進行重聚焦和全聚焦。4.1外來時距的轉(zhuǎn)色技術在標定過程中相移步數(shù)N取值為4,三個頻率分別為(1/90,1/120,1/150),顯示器投射的圖案后光場相機進行拍攝[圖5(a)],獲取的原始圖片如圖5(b)所示。光場相機拍攝相移圖案后使用相移分析技術確定感知相移條紋的平均值,幅度值和卷繞相位值,繼而通過健壯中國剩余定理解卷繞確定光場原始圖像像素與投射相移坐標的對應關系。光場相機拍攝條紋的幅度值和平均值如圖6(a)和(c)所示。由其局部放大圖[圖6(b)和(d)]可見,同一個微透鏡間隔內(nèi)像素亮度具有中間大周圍小漸暈效應。對其特性進行三維顯示,如圖7所示每個微透鏡下中心位置光亮度響應高,隨著半徑距離的增大光亮度響應逐漸遞減。對此響應值以其峰值進行歸一化,作為光場信息的亮度校正因子。對光場數(shù)據(jù)除以亮度校正因子,即可實現(xiàn)漸暈校正。根據(jù)多頻相移技術計算出光場相機CCD像素與顯示器像素的對應關系,其結(jié)果如圖6(e)所示。在對應性結(jié)果的局部放大圖6(f)中,可發(fā)現(xiàn)對應性具有明顯的間斷特性。其原因是同一個微透鏡代表相同物點位置信息,其背后覆蓋的像素則代表該物點的方向信息。根據(jù)這一不連續(xù)性,使用基于梯度的邊緣檢測算子,尋找對應性邊緣,如圖6(g)所示。在局部放大圖[圖6(h)]中,可清晰分辨出六邊形網(wǎng)格。這是因為Lytro相機使用的是六邊形微透鏡陣列。使用由粗到精的策略確定像素與微透鏡的關系和微透鏡的中心坐標值。1)基于漸暈特性確定峰值點。在幅值亮度圖像中進行高斯濾波,尋找局部最大值,作為微透鏡中心的初始位置。2)模板匹配對應性邊緣。建立六邊形網(wǎng)格模板與對應性邊緣進行模板匹配,尋找最優(yōu)匹配位置。六邊形網(wǎng)格的中心即為微透鏡的中心坐標,六邊形的邊緣即為微透鏡的界限。從而標定出像素與微透鏡的關系,得到微透鏡的中心坐標。標定結(jié)果如圖6(h)所示。由圖可見,六邊形網(wǎng)格均勻排布,每個像素歸屬于唯一的微透鏡,微透鏡中心坐標亦精確確定。Dansereau對白圖像[圖8(a)]進行峰值檢測,得到的微透鏡中心結(jié)果如圖8(b)所示。Lytro相機使用的微透鏡陣列間距為14μm,CCD像素尺寸為1.4μm,因此,微透鏡間距等效于10pixel。Dansereau結(jié)果和本文微透鏡中心結(jié)果都與此標準值進行比較,計算得到距離誤差,并計算誤差的均值和標準差。兩者結(jié)果分別如圖8(c)和(d)所示。兩種方法得到的分布相似,均值和標準差非常接近。這說明提出的多頻相移方法與白圖像方法具有相當?shù)男Ч?。根?jù)像素光場標定結(jié)果,即可將原始圖像的像素轉(zhuǎn)化為光場表達。光場中既含有位置信息又具有方向信息。當方向信息固定時,可得到相應方向的圖片。如圖9所示,由同一光場信息通過視點變換可得到不同方向視角的圖片信息,光場方向坐標(xk-xi,xl-xj)分別為[-3,-3],[-3,3],[3,-3],[3,3]。由于進行了漸暈效應校正,不同視角圖片具有一致的亮度對比特性。4.2不同清晰度評價函數(shù)的對比實驗中,依據(jù)光場相機的標定獲得光場信息,進而根據(jù)(11)式生成任意深度的光場圖像,在圖像清晰度評價函數(shù)的優(yōu)選中確定最清晰的圖像,或者融合多幅光場圖片實現(xiàn)全聚焦圖像。當α=0時,由(9)式可生成傳統(tǒng)相機拍攝的正常圖片[圖10(a)]。選擇小塊區(qū)域[圖10(a)中黃色矩形框]作為新的聚焦位置,通過光場同軸變換不斷生成新成像面位置的圖片,并利用圖像清晰度評價算子(二階梯度平方函數(shù))判斷該矩形框區(qū)域的清晰度,直到該區(qū)域內(nèi)具有最高的清晰度為止。計算結(jié)果如圖10(b)所示。由圖10(c)可以看出,該區(qū)域在此時α值清晰度評價算子具有最大值,相對于最初始的位置(α=0)清晰度度值增加幅度明顯。在光場重聚焦技術中,圖像清晰度函數(shù)是重要的決策值,其優(yōu)劣決定了重聚焦效果的好壞。在實驗中對多種常見清晰度評價函數(shù)在光場重聚焦中的效果進行比較,定量分析各評價函數(shù)的性能。對比實驗采用相同的光場數(shù)據(jù),光場同軸變換和同一框選區(qū)域,只是清晰度評價函數(shù)不同。清晰度評價函數(shù)的種類和方法見表1共有6種評價函數(shù),分別為:方差評價函數(shù)(Va),梯度向量平方函數(shù)(GVS),拉普拉斯函數(shù)(La),羅伯特梯度函數(shù)(RG),梯度向量橫方函數(shù)(GVN)和二階梯度平方函數(shù)(SOGS)。函數(shù)中f(i,j)表示像素灰度值,表示灰度平均值,Isub表示3pixel×3pixel以目標像素點為中心的子模塊。由圖11可知,ESOGS和EGVS具有無偏心、單峰性和單調(diào)性,在健壯性上優(yōu)于其他清晰度評價函數(shù)。與之相對的,EVa和ELa抖動性較大。在全聚焦實驗中遍歷光場變換參數(shù)α,可生成不同的聚焦圖片(如圖13所示),針對圖片每個微小區(qū)域進行清晰度