光場成像原理

1、光場成像理論目錄1. 光場概念 11.1 七維全光函數(shù) 11.2 全光函數(shù)的降維 12. 光場采集設(shè)備的開展與典型結(jié)構(gòu) 22.1多相機(jī)光場采集 32.2 單相機(jī)光場采集 63. 微透鏡陣列的光場采集 113.1基于針孔陣列的光場采集 113.2 基于微透鏡陣列的光場采集 131. 光場概念七維全光函數(shù)光場(Light field)的概念最早于1936年由ershun提出，用以描述光在三維空間中的輻射 傳輸特性。1991年，E.adelson和根據(jù)人眼對外部光線的視覺感知，提出全光函數(shù)(Pienopticfunction)，利用七維函數(shù)表征場景中物體外表發(fā)出(或反射)的光線。在全光函數(shù)可以表示為

2、：P7P( x, y, z, , , ,t)其中，x, y,z 表征光纖中任意一點的三維坐標(biāo)；, 表征光纖傳輸方向 表征光線波長t 表示時間此時，全光函數(shù) P P(x,y, z, , , ,t)表示了波長為的光線t時刻經(jīng)過三維空間中坐標(biāo)為 (x,y,z) 的點，且傳播方向為 ( , )的一條光線。與只包含位置信息的光場不同，全光函 數(shù)的七維表示增加了光線的色彩信息及動態(tài)變化。1.2 全光函數(shù)的降維根據(jù)全光函數(shù)P7px,y,z, , , ,t的意義，當(dāng)光線在自由空間中傳播時，其頻率即波長 不發(fā)生變化，對于靜態(tài)場，此時全光函數(shù)可由七維降至五維，即P5 P(x,y, z,)由于觀察者往往受限于目標(biāo)的

3、成像范圍，此時五維光場出現(xiàn)一位冗余，當(dāng)給定光線在 自由空間的輻射不發(fā)生變化，因此在限光器的空間范圍內(nèi)，五維光場可以表示為四維光場。四維光場的參數(shù)化表征可有一下三種方式：1方向-點參數(shù)化表政法。利用光線與平面的交點x,y和光線方向，作為四維參數(shù)來描述光場中的光線。2球面光場參數(shù)表征法。利用緊緊包圍三維物體的球面上兩點，可以表征球面封閉范圍內(nèi)任意一條光線的傳播。盡管該參數(shù)表征方式采樣均勻，但無法表征與球面相切的光線。3雙平面參數(shù)化表征法。雙平面參數(shù)化表征法是采用光線與兩個平行平面的焦點坐標(biāo)來對光場中光線進(jìn)行參數(shù)化表征。其表達(dá)形式為Ls,t,u,v，其中s,t和u,v分表是光纖盒兩平面的坐標(biāo)交點。由

4、于實際中大局部成像系統(tǒng)都可以簡化成兩個相互平行的平面，如傳統(tǒng)光學(xué)系統(tǒng)中的光瞳面和探測器像面，因此雙平面參數(shù)化表征法具有較高的合理性和實用性。圖1.1三種光場參數(shù)化模型2. 光場采集設(shè)備的開展與典型結(jié)構(gòu)區(qū)別于傳統(tǒng)成像方式， 光場成像是一種計算成像技術(shù)， 對捕獲光場信息進(jìn)行相應(yīng)的數(shù)字 處理才能得到相應(yīng)的圖像信息。 從目前光場相機(jī)的結(jié)構(gòu)組成上區(qū)分， 可分為多相機(jī)陣列和單 相機(jī)改造兩種方式。多相機(jī)陣列采集光場信息是通過相機(jī)陣列對同一目標(biāo)進(jìn)行成像，因為每一個相機(jī)分別處于不同視角，因此對應(yīng)光場的一個方向采樣。改變成像結(jié)構(gòu)進(jìn)行如何光場的單相機(jī)改造結(jié)構(gòu)是利用在單個相機(jī)中引入光學(xué)調(diào)制元件，重新采集，實現(xiàn)將入射的

5、四維光場重新分布在二維探測器平面。2.1多相機(jī)光場采集在多相機(jī)陣列出現(xiàn)之前，一般通機(jī)械移動裝置實現(xiàn)相機(jī)多目標(biāo)多視角圖像采集。其中 典型結(jié)構(gòu)包括M.Levoy所設(shè)計的移動機(jī)械臂和saksen等人設(shè)計的二維移動平臺。自1996年，美國斯坦福大學(xué)的Marc Levoy等人將相機(jī)固定到一個廣場采集支架，如以下圖。利用支架的二維平移和二維轉(zhuǎn)動實現(xiàn)四個自由度的調(diào)整，僅為完成目標(biāo)廣場的完成采集。在2000年，根據(jù)斯坦福實驗室所設(shè)計的移動機(jī)械臂原理，等人設(shè)計了類似的二維移動平臺驅(qū)動相機(jī)進(jìn)行光場采樣，如以下圖，利用光場參數(shù)的變化實現(xiàn)不同的成像應(yīng)用，包括改變景深及調(diào)節(jié)焦點。當(dāng)相機(jī)在平臺上能夠移動較大范圍距離時，合

6、成光場能夠穿透遮擋物對其后目標(biāo)進(jìn)行圖像的重構(gòu)。圖2.1斯坦福采集光場平臺圖2.2二維移動平臺和相機(jī)在2002年，禾U用結(jié)構(gòu)排列緊密的微透鏡陣列代替攝像頭陣列設(shè)計了一種結(jié)構(gòu)緊促、成本低廉的光場采集設(shè)備，如以下圖。設(shè)備通過8X 11個微透鏡陣列對物體進(jìn)行多角度成像實現(xiàn)光場采集，再利用一個平板掃描儀對透鏡像平面完成一次掃描，即可將所有微透鏡所成的像記錄到電腦中。圖2.3采集微透鏡陣列和平板掃描儀的光場采集裝置早期的多相機(jī)陣列還包括ang等人設(shè)的8X 11個攝像機(jī)陣列如圖2.4,以及C.Zhang和hen設(shè)計可獨立調(diào)節(jié)姿態(tài)的多相機(jī)陣列如圖。在后者的設(shè)中，每個相機(jī)都固定到一個移 動機(jī)構(gòu)單元中，可以各自在

7、水平方向和兩維轉(zhuǎn)動方向進(jìn)行調(diào)節(jié)。圖2.4 ang等人設(shè)計的實時相機(jī)陣列圖2.5可獨立調(diào)節(jié)姿態(tài)的相機(jī)陣列論是采用外部機(jī)械或是掃描儀，要完成光場的采集都需要一定的掃描周期，因此只能 局限于對靜態(tài)物體的拍攝，而采用多相機(jī)陣列可以彌補(bǔ)這一缺陷。斯坦福大學(xué)的學(xué)者利用大型的相機(jī)陣列對光場進(jìn)行捕捉與處理，對此進(jìn)行全面的分析 和研究。圍繞成像應(yīng)用領(lǐng)域的不同，在2003年等人設(shè)計了幾種不同的攝像機(jī)陣列，如圖2.6.所示。通過嚴(yán)格控制每個相機(jī)單元的時間同步以及位置的精度，從而能精確地對光場數(shù) 據(jù)進(jìn)行捕捉處理，獲得高分辨率光場圖像。圖2.6斯坦福相機(jī)陣列22單相機(jī)光場采集多相機(jī)陣列的規(guī)模和尺寸限制其使用場合，而實現(xiàn)

8、單相機(jī)內(nèi)的廣場獲取那么更具實際意 義。1992年，E.Adelson和設(shè)計了一種全光相機(jī) (Pienoptic camera)，其結(jié)構(gòu)原理如圖 所 示，系統(tǒng)由主鏡頭、微透鏡陣列、成像探測器組成。探測器與主鏡頭的光瞳關(guān)于微透鏡共軛， 主鏡頭出射的光線經(jīng)過每個微透鏡后投影到其對對應(yīng)的假設(shè)干像元上，這些像元共同組成一個"宏像素(Macropixel)。此時每個宏像素的坐標(biāo)對應(yīng)目標(biāo)像點的幾何位置，二宏像素中所覆蓋的每個探測器像元那么代表目標(biāo)的不同視角信息。在該系統(tǒng)的設(shè)計中，包含了一個光學(xué)擴(kuò)散片和一個場景。前者的作用類似于攝影相機(jī)中的額低通濾鏡，相處高于透鏡陣列采樣頻率的高頻成分；而場景的引入

9、可以將宏像素對齊到微透鏡所在位置。在如以下圖系統(tǒng)中，利用中繼鏡頭將微透鏡陣列焦面上的像轉(zhuǎn)接到探測器，可以解決猶豫微透鏡焦距非常小導(dǎo)致的探測器和微透鏡陣列難以直接耦合的困難。由于二次成像具有較嚴(yán)重的漸暈效應(yīng)，因此在微透鏡焦平面處參加一片毛玻璃進(jìn)行勻光補(bǔ)償。Maindiffuser lensFWSensorlens array an ayLeniicuhr OpttoiWSensorarray Qrounoglass lensaray圖2.7 (a)全光相機(jī)設(shè)計結(jié)構(gòu)；(b)采用終極鏡頭的全光相機(jī)2005年，R. Ng等人簡化了全光相機(jī)的設(shè)計，在常規(guī)攝影相機(jī)的根底上制成手持式全 光相機(jī)(光場相機(jī))，

10、如以下圖。等通探測器芯片立接安裝在微透鏡陣列的焦面上，減少了中繼 鏡頭所帶來的額外尺寸以及漸暈效應(yīng)。由于宏像素的排列次序與相應(yīng)微透鏡單元的排列保持一致，兩者并不需要嚴(yán)格的對齊，因此也可以去除場鏡。圖2.9中，頂部兩幅圖片為手持式光場相機(jī)所拍攝的光場圖像，宏觀上來看與常規(guī)圖像沒有太大區(qū)別，但從放大后的圖中可以明顯看出，每個微透鏡所對應(yīng)的宏像素均覆蓋了假設(shè)干個探測器像元。對二維光場圖像中的像素進(jìn)行重新排列，得到四維光場矩陣，將四維光場重新投影到新的像平而進(jìn)行積分疊加， 就可以獲得不同像平而上的對焦圖像。 這一對焦過程 完全依靠數(shù)字計算來完成，而非傳統(tǒng)的機(jī)械對焦方式，因此稱之為"數(shù)字對焦(

11、Digitalrefocusing)。圖2.9底部三幅圖片給出光場相機(jī)依次對焦到前、中、后三個、同深度位置的 重構(gòu)圖像。圖 上圖為光場相機(jī)結(jié)構(gòu)原理圖；以下圖為光場相機(jī)外觀圖光場圖像與數(shù)字對焦eorgiev等人基于光場維度冗余性，減少光場方向維度的采樣，即用較低的分辨率換取 相對較高的空間分辨率。在光場相機(jī)中，減少方向采樣的直接方法就是減小微透鏡單元的孔 徑和焦距，使單個宏像素所覆蓋的像元數(shù)減少。減小微透鏡單元孔徑和焦距的方法分別會引入制造和處理的兩大問題。為此，eorgiev等人對此展開相關(guān)研究，其中和eorgiev提出的光場相機(jī)，又稱聚焦光場相機(jī)，其結(jié)構(gòu)如以下圖。探測器位于微透鏡陣列之前某個

12、有限距離處的虛擬無平面上。假設(shè)該虛擬物平面和探測器分別距離微透鏡 a和b，那么光場相機(jī)對光場的方向分辨率為a/b，空問分辨率為探測器分辨率的b/a倍。通過調(diào)整參數(shù) a和b可以對光場方向采樣和空問采樣進(jìn)行折衷調(diào)節(jié)。array 疔那P躲圖2.9光場相機(jī)結(jié)構(gòu)針對處理的問題，eorgiev等設(shè)計了一種外置與常規(guī)相機(jī)鏡頭前端的微透鏡陣列或透鏡-棱鏡陣列，如以下圖。每個子圖像為光場的一個方向維度采樣，而子圖像內(nèi)的像元表示光場 的空間采樣。由于光場的方向采樣數(shù)一般都遠(yuǎn)小于其空間采樣數(shù)，因此采用這種排列方式能夠減少子圖像邊緣像素的比例，因而提高了探測器像元的有效利用率。圖2.10采用外置透鏡-棱鏡陣列的光場相

13、機(jī)與此結(jié)構(gòu)類似，由P.Green等人設(shè)計的多孔徑相機(jī)，如以下圖。多孔徑相機(jī)將主鏡頭的孔徑分割為四個同心環(huán)，目標(biāo)經(jīng)過每個環(huán)形子孔徑所成的像，經(jīng)過不同的反射光路重新分布到探測器像面。與上述光場相機(jī)在光場方向維度的二維形采樣方式不同，多孔徑相機(jī)只對光場因此需采用額外的反射的方向維度沿徑向進(jìn)行一維采樣，將其獲得的多孔徑圖像直接相加即可合成為常規(guī)扣機(jī)在不 同光圈下的圖像。環(huán)形孔徑分割方式難以直接在折射型透鏡上實現(xiàn)，和中繼光路，增加了整個系統(tǒng)的尺寸重量和工程復(fù)雜度。L1EHIFd町 ng MifiwAf4rtiife Sp ftlinj U rroriFld'iigI ft' d0cj：

14、"nsE闿封0曲謂_ _丫Frerr fltnyOpSctFAperturp sptrnng fArmra圖基于環(huán)形分割的多孔徑相機(jī)C.K.Liang 等人設(shè)計的一種可編程孔徑相機(jī)(Programmable aperture camera)，可通過多次曝光對主鏡的子孔徑進(jìn)行采樣，每次曝光只允許特定子孔徑位置的光線成像到探測器?？删幊炭讖较鄼C(jī)所采集到的光場具有與探測器柏當(dāng)?shù)目諉柗直媛?，但這同時是以犧牲噪光時間或圖像信噪比為代價的，屢次曙光成像所形成的龐大數(shù)據(jù)量也成為額外的負(fù)擔(dān)。等人還提出了另一種采用編碼調(diào)制的方式獲取光場的方法，即外差式光場相機(jī)(Heterody ne light fi

15、eld came，如以下圖。與空域?qū)鈭鲞M(jìn)行調(diào)制的光場相機(jī)不同，外差式光 場相機(jī)實現(xiàn)的是四維光場在傅里葉頻域中的調(diào)制。在傅里葉域來看，某個深度位置所成的像就是四維光場沿相應(yīng)角度的二維切片。如果在這個深度平面放置一片具有特定透過率函數(shù)的編碼掩膜，那么光線經(jīng)過掩膜濾光的過程在傅里葉域表現(xiàn)為光場頻譜與透過率函數(shù)傅里葉變 換的卷積。將掩膜透過率函數(shù)設(shè)計為余弦函數(shù)，其傅里葉變換為脈沖函數(shù)，就可以實現(xiàn)光場頻譜沿角度的復(fù)制和搬移。調(diào)制后的光場再會聚到探測器上，即沿零度角重新作切片采樣， 采樣后的圖像頻譜中已經(jīng)包含了光場方向維度的頻譜信息。對光場進(jìn)行解調(diào)時，將探測器圖像的頻譜依序重新排列，即可得到四維光場的頻

16、譜。夕卜差式光場相機(jī)的一個優(yōu)點在于它在原始對焦面即探測器所在平面能夠得到與探測器相同分辨率的圖像，缺陷在于掩膜會濾掉相機(jī)巾的大局部光線，造成光通量的嚴(yán)重?fù)p失，需要增加數(shù)倍的曝光時間來進(jìn)行補(bǔ)償。亡!2逍iq節(jié)戒歆町外莖成堆場棚機(jī)結(jié)梅和鈿抵膜遺過率函數(shù)估外差式光場相機(jī)和編碼掩噸隕慟閔圖采用編碼掩膜的外差式光場相機(jī)3. 微透鏡陣列的光場采集不同于傳統(tǒng)成像，光場成像利用二維探測器同時記錄光場的四維信息，即二維位置分 布和二維傳輸方向?？赏ㄟ^對四維光場的重新采樣和分布實現(xiàn)四維光場向二維平面的轉(zhuǎn)換。3.1基于針孔陣列的光場采集如以下圖，在傳統(tǒng)成像系統(tǒng)的探測器前方距離處放置一組等間距針孔陣列可實現(xiàn)光場的重采

17、樣。從鏡頭發(fā)出的光線經(jīng)過每個針孔后投影到探測器平面形成1個子圖像，子圖像中一點此時就對應(yīng)于鏡頭光瞳發(fā)出的一條光線即一個光場采樣。假設(shè)將每個子圖像整體看作一個宏像素，那么每個宏像素對應(yīng)于光場的一個位置采樣，而宏像素內(nèi)的每一點對應(yīng)于光場在該位置的一個方向采樣；所有宏像素共同組成了光場在鏡頭孔徑上每一點和每一個針孔位置 的采樣。光場的位置采樣分辨率由針孔采樣問隔所決定，而光場的方向分辨率那么取決于其在鏡頭孔徑上的采樣次數(shù)，這是由每個宏像素內(nèi)所包含的像元數(shù)所決定的。鏡頭tl孔陣列探測器圖3.1基于針孔陣列的光場采樣上述直觀上的理解也可以從成像公式的數(shù)學(xué)推導(dǎo)來驗證。圖中D為鏡頭孔徑的直徑，鏡頭與針孔陣列

18、之間的距離為a，針孔陣列中柏鄰針孔的距為d。對于探測器上任意一點x處的照度可表示為光場經(jīng)過針孔過濾后的積分，即I (x) L(u,x) (s id)du(3-1)i其中(?)表示針孔對應(yīng)的 Dirac脈沖函數(shù)；i為整數(shù)，id表示每個針孔陣列所在平面上的坐 標(biāo)。對于圖中入射的一跳光線，設(shè)其經(jīng)過三個平面時的交點分別為u,s,x，根據(jù)其幾何關(guān)系可知s u x sxa ubsa ba b引入臨時變量ff aba b此時，ffs x uba將s f x 丄u代入式(3-1)中，得到b aI (x) L(u,x) (fx 丄u id)dui b aaaaL(u,x) ( x u id)dua 、-x,x)(3-2)b當(dāng)相鄰自圖像的邊緣相切時，探測器利用率最大，根據(jù)幾何關(guān)系可知：DdDdDfda bba b a將dDdDf代入式(3-2),那么有a b aI(x)旦L(iDax, bx)(3-3)由于成像鏡頭孔徑范圍的限制，式 (3-3)應(yīng)滿足D2定義h為鏡頭孔徑經(jīng)過一個針孔投影到探測器像面上的直徑,iD axb那么有進(jìn)而得到Dbx1x1 一1h21h2(3-4)向下取整,即ix1h2I(x) +L(iDaf.x 1bF"2a,“ x1L(-Dfh2由于i為整數(shù)，因此對式x,x)(3-4)。此時將i代入式(3-2)可得abx，x)(3-5)直接將式(3-5)推廣至四維光場