光場成像原理

1、光場成像原理光場成像理論目錄L 光場概念21.2全光函數(shù)的降維32.光場采集設(shè)備的發(fā)展與典型結(jié)構(gòu)42. 1多相機(jī)光場采集52. 2單相機(jī)光場采集103.微透鏡陣列的光場采集193.1 基于針孔陣列的光場采集193.2 基于微透鏡陣列的光場采集23L光場概念1.1七維全光函數(shù)光場(Light field)的概念最早于1936年由A.Gershim提出，用以描述光在三維空間中的輻 射傳輸特性。1991年，E.adelsoii和J.Bergen根 據(jù)人眼對外部光線的視覺感知，提出全光函數(shù) (Plenoptic function),利用七維函數(shù)表征場景中 物體表面發(fā)出(或反射)的光線。在全光函數(shù)可以表

2、示為：P： = P(x,y,N,a(p,2,t)其中，“Z表征光纖中任意一點(diǎn)的三維坐標(biāo);e. w表征光纖傳輸方向 表征光線波長,一表示時(shí)間此時(shí),全光函數(shù)鳥=尸(內(nèi)怎8平力)表示了波長為2的 光線,時(shí)刻經(jīng)過三維空間中坐標(biāo)為(x,y,z) 的點(diǎn)，且 傳播方向?yàn)橐钡囊粭l光線。與只包含位置信息 的光場不同，全光函數(shù)的七維表示增加了光線的 色彩信息及動(dòng)態(tài)變化。1.2全光函數(shù)的降維根據(jù)全光函數(shù)為 = P(x,y,z,0,<p,X,t) 的意義，當(dāng)光線在 自由空間中傳播時(shí)，其頻率(即波長融不發(fā)生變 化，對于靜態(tài)場，此時(shí)全光函數(shù)可由七維降至五 維，即P5 = Pa, y, z, a <p)由于觀察

3、者往往受限于目標(biāo)的成像范圍，此 時(shí)五維光場出現(xiàn)一位冗余，當(dāng)給定光線在自由空 間的輻射不發(fā)生變化，因此在限光器的空間范E 內(nèi)，五維光場可以表示為四維光場。四維光場的參數(shù)化表征可有一下三種方式：1)方向點(diǎn)參數(shù)化表政法。利用光線與平面的交點(diǎn)(2)和光線方向 作為四維參數(shù)來描述光場中的光線。2）球面光場參數(shù)表征法。利用緊緊包圍三維物體的球面上兩點(diǎn)，可以表征球面封閉范圍內(nèi)任意一條光線的傳播。盡管該參數(shù)表征方式采樣均勻，但無法 表征與球面相切的光線。3）雙平面參數(shù)化表征法。雙平面參數(shù)化表征法是采用光線與兩個(gè) 平行平面的焦點(diǎn)坐標(biāo)來對光場中光線進(jìn)行參 數(shù)化表征。其表達(dá)形式為9 其中CM）和（,y）分表是光纖盒

4、兩平面的坐標(biāo)交點(diǎn)o由于實(shí)際中大部分成像系統(tǒng)都可以簡化成兩個(gè)相互平行的平面，如傳統(tǒng)光學(xué)系統(tǒng)中的光瞳面和探測器像面，因此雙平面參數(shù)化表征法具有較高的合理性和實(shí)用性。圖L1三種光場參數(shù)化模型2.光場采集設(shè)備的發(fā)展與典型結(jié)構(gòu)區(qū)別于傳統(tǒng)成像方式，光場成像是一種計(jì)算 成像技術(shù)，對捕獲光場信息進(jìn)行相應(yīng)的數(shù)字處理 才能得到相應(yīng)的圖像信息。從目前光場相機(jī)的結(jié) 構(gòu)組成上區(qū)分，可分為多相機(jī)陣列和單相機(jī)改造 兩種方式。多相機(jī)陣列采集光場信息是通過相機(jī)陣列 對同一目標(biāo)進(jìn)行成像，因?yàn)槊恳粋€(gè)相機(jī)分別處于 不同視角，因此對應(yīng)光場的一個(gè)方向采樣。單相機(jī)改造結(jié)構(gòu)是利用在單個(gè)相機(jī)中引入 光學(xué)調(diào)制元件，改變成像結(jié)構(gòu)進(jìn)行如何光場的重

5、新采集，實(shí)現(xiàn)將入射的四維光場重新分布在二維 探測器平面。2.1多相機(jī)光場采集在多相機(jī)陣列出現(xiàn)之前，一般通機(jī)械移動(dòng)裝 置實(shí)現(xiàn)相機(jī)多目標(biāo)多視角圖像采集。其中典型結(jié) 構(gòu)包括M.Levoy所設(shè)計(jì)的移動(dòng)機(jī)械臂和A.Isaksen等人設(shè)計(jì)的二維移動(dòng)平臺(tái)。自1996年，美國斯坦福大學(xué)的Marc Levoy 等人將相機(jī)固定到一個(gè)廣場采集支架，如圖2.1 所示。利用支架的二維平移和二維轉(zhuǎn)動(dòng)實(shí)現(xiàn)四個(gè) 自由度的調(diào)整，僅為完成目標(biāo)廣場的完成采集。在2000年，根據(jù)斯坦福實(shí)驗(yàn)室所設(shè)計(jì)的移動(dòng) 機(jī)械臂原理，A.Isaksen等人設(shè)計(jì)了類似的二維 移動(dòng)平臺(tái)驅(qū)動(dòng)相機(jī)進(jìn)行光場采樣,如圖2.2所示,利用光場參數(shù)的變化實(shí)現(xiàn)不同的成像

6、應(yīng)用，包括 改變景深及調(diào)節(jié)焦點(diǎn)。當(dāng)相機(jī)在平臺(tái)上能夠移動(dòng)較大范圍距離時(shí)，合成光場能夠穿透遮擋物對其圖2.1斯坦福采集光場平臺(tái)圖2.2二維移動(dòng)平臺(tái)和相機(jī)在2002年，利用結(jié)構(gòu)排列緊密的微透鏡陣列 代替攝像頭陣列設(shè)計(jì)了一種結(jié)構(gòu)緊促、成本低廉 的光場采集設(shè)備，如圖2.3所示。設(shè)備通過8X 11個(gè)微透鏡陣列對物體進(jìn)行多角度成像實(shí)現(xiàn)光 場采集，再利用一個(gè)平板掃描儀對透鏡像平面完 成一次掃描，即可將所有微透鏡所成的像記錄到 計(jì)算機(jī)中。圖2.3采集微透鏡陣列和平板掃描儀的光場采集裝置早期的多相機(jī)陣列還包括ang等人設(shè)的8 X11 個(gè)攝像機(jī)陣列（如圖2.4）,以及C.Zhang和 T.Chen設(shè)計(jì)可獨(dú)立調(diào)節(jié)姿態(tài)

7、的多相機(jī)陣列（如圖 2.5）o在后者的設(shè)中，每個(gè)相機(jī)都固定到一個(gè)移 動(dòng)機(jī)構(gòu)單元中，可以各自在水平方向和兩維轉(zhuǎn)動(dòng) 方向進(jìn)行調(diào)節(jié)。圖2.4 ang等人設(shè)計(jì)的實(shí)時(shí)相機(jī)陣列圖2.5可獨(dú)立調(diào)節(jié)姿態(tài)的相機(jī)陣列論是采用外部機(jī)械或是掃描儀，要完成光場 的采集都需要一定的掃描周期，因此只能局限于 對靜態(tài)物體的拍攝，而采用多相機(jī)陣列可以彌補(bǔ) 這一缺陷。斯坦福大學(xué)的學(xué)者利用大型的相機(jī)陣列對光 場進(jìn)行捕捉與處理，對此進(jìn)行全面的分析和研究。圍繞成像應(yīng)用領(lǐng)域的不同，在2003年B.Wilburn等人設(shè)計(jì)了幾種不同的攝像機(jī)陣列, 如圖26所示。通過嚴(yán)格控制每個(gè)相機(jī)單元的時(shí) 間同步以及位置的精度，從而能精確地對光場數(shù) 據(jù)進(jìn)行

8、捕捉處理，獲得高分辨率光場圖像。圖2.6斯坦福相機(jī)陣列2 . 2單相機(jī)光場采集多相機(jī)陣列的規(guī)模和尺寸限制其使用場合， 而實(shí)現(xiàn)單相機(jī)內(nèi)的廣場獲取則更具實(shí)際意義。1992年，E.Adelson和J.Wang設(shè)計(jì)了一種全 光相機(jī)(Plenoptic camera),其結(jié)構(gòu)原理如圖2.7.a 所示，系統(tǒng)由主鏡頭、微透鏡陣列、成像探測器 組成。探測器與主鏡頭的光瞳關(guān)于微透鏡共輾， 主鏡頭出射的光線經(jīng)過每個(gè)微透鏡后投影到其 對對應(yīng)的若干像元上，這些像元共同組成一個(gè)“宏像素”(Macropixel)。此時(shí)每個(gè)宏像素的坐 標(biāo)對應(yīng)目標(biāo)像點(diǎn)的幾何位置，二宏像素中所覆蓋 的每個(gè)探測器像元?jiǎng)t代表目標(biāo)的不同視角信息。

9、在該系統(tǒng)的設(shè)計(jì)中，包含了一個(gè)光學(xué)擴(kuò)散片和一 個(gè)場景。前者的作用類似于攝影相機(jī)中的額低通 濾鏡，相處高于透鏡陣列采樣頻率的高頻成分;而場景的引入可以將宏像素對齊到微透鏡所在在如圖所示系統(tǒng)中，利用中繼鏡頭將微透鏡 陣列焦面上的像轉(zhuǎn)接到探測器，可以解決猶豫微 透鏡焦距非常小導(dǎo)致的探測器和微透鏡陣列難 以直接耦合的困難。由于二次成像具有較嚴(yán)重的 漸暈效應(yīng)，因此在微透鏡焦平面處加入一片毛玻 璃進(jìn)行勻光補(bǔ)償。WeakMaindiffuser lensField Lenticular Sensor lens arrayarray/ ItLenticular Optional RelaySensorarray

10、 gtoundgiass lensarray圖2.7 (a)全光相機(jī)設(shè)計(jì)結(jié)構(gòu);(b)采用終極鏡頭的全光相機(jī)2005年，RNg等人簡化了全光相機(jī)的設(shè)計(jì), 在常規(guī)攝影相機(jī)的基礎(chǔ)上制成手持式全光相機(jī) (光場相機(jī))，如圖2.8所示。等通探測器芯片立 接安裝在微透鏡陣列的焦面上，減少了中繼鏡頭 所帶來的額外尺寸以及漸暈效應(yīng)。由于宏像素的 排列次序與相應(yīng)微透鏡單元的排列保持一致，兩 者并不需要嚴(yán)格的對齊，因此也可以去除場鏡。圖2.9中，頂部兩幅圖片為手持式光場相機(jī)所b O拍攝的光場圖像，宏觀上來看與常規(guī)圖像沒有太 大區(qū)別，但從放大后的圖中可以明顯看出，每個(gè) 微透鏡所對應(yīng)的宏像素均覆蓋了若干個(gè)探測器 像元。

11、對二維光場圖像中的像素進(jìn)行重新排列, 得到四維光場矩陣，將四維光場重新投影到新的 像平而進(jìn)行積分疊加，就可以獲得不同像平而上 的對焦圖像。這一對焦過程完全依靠數(shù)字計(jì)算來 完成,而非傳統(tǒng)的機(jī)械對焦方式，因此稱之為“數(shù) 字對焦"(Digital refocusing) o圖2.9底部三幅圖 片給出光場相機(jī)依次對焦到前、中、后三個(gè)、同 深度位置的重構(gòu)圖售圖2.9上圖為光場相機(jī)結(jié)構(gòu)原理圖；下圖為光場相機(jī)外觀圖2.8光場圖像與數(shù)字對焦T.Georgiev等人基于光場維度冗余性,減少光 場方向維度的采樣，即用較低的分辨率換取相對 較高的空間分辨率。在光場相機(jī)中，減少方向采 樣的直接方法就是減小微

12、透鏡單元的孔徑和焦 距，使單個(gè)宏像素所覆蓋的像元數(shù)減少。減小微透鏡單元孔徑和焦距的方法分別會(huì)引 入制造和處理的兩大問題。為此，T.Georgiev等 人對此展開相關(guān)研究，其中A.Lumsdaine和 T.Georgiev提出的光場相機(jī)20,又稱”聚焦光場 相機(jī)”，其結(jié)構(gòu)如圖2.9所示。探測器位于微透 鏡陣列之前某個(gè)有限距離處的虛擬無平面上。若 該虛擬物平面和探測器分別距離微透鏡和人那 么光場相機(jī)對光場的方向分辨率為小打空間分 辨率為探測器分辨率的叫倍。通過調(diào)整參數(shù)“和 可以對光場方向采樣和空間采樣進(jìn)行折衷調(diào)節(jié)O圖2.9光場相機(jī)2.0結(jié)構(gòu)Focused plenoptic cameraPnoio

13、senscf MdolensMain lensarray胤age place針對處理的問題,T.Georgiev等設(shè)計(jì)了一種外 置與常規(guī)相機(jī)鏡頭前端的微透鏡陣列（或透鏡棱 鏡陣列），如圖2.10所示。每個(gè)子圖像為光場的 一個(gè)方向維度采樣，而子圖像內(nèi)的像元表示光場 的空間采樣。由于光場的方向采樣數(shù)一般都遠(yuǎn)小 于其空間采樣數(shù)，因此采用這種排列方式能夠減 少子圖像邊緣像素的比例，因而提高了探測器像 元的有效利用率。圖2.10采用外置透鏡.棱鏡陣列的光場相機(jī)與此結(jié)構(gòu)類似，由P.Green等人設(shè)計(jì)的多孔徑 相機(jī)，如圖2.11所示。多孔徑相機(jī)將主鏡頭的 孔徑分割為四個(gè)同心環(huán)，目標(biāo)經(jīng)過每個(gè)環(huán)形子孔 徑所成的

14、像，經(jīng)過不同的反射光路重新分布到探 測器像面。與上述光場相機(jī)在光場方向維度的二 維形采樣方式不同，多孔徑相機(jī)只對光場的方向 維度沿徑向進(jìn)行一維采樣，將其獲得的多孔徑圖 像直接相加即可合成為常規(guī)扣機(jī)在不同光圈下 的圖像。環(huán)形孔徑分割方式難以直接在折射型透 鏡上實(shí)現(xiàn)，因此需采用額外的反射和中繼光路, 增加了整個(gè)系統(tǒng)的尺寸重量和工程復(fù)雜度。圖2.11基于環(huán)形分割的多孔徑相機(jī)等人設(shè)計(jì)的一種可編程孔徑相機(jī) (Programmable aperture camera),可通過多次 曝光對主鏡的子孔徑進(jìn)行采樣，每次曝光只允許 特定子孔徑位置的光線成像到探測器?？删幊炭?徑相機(jī)所采集到的光場具有與探測器相當(dāng)?shù)?/p>

15、空 問分辨率，但這同時(shí)是以犧牲噪光時(shí)間或圖像信 噪比為代價(jià)的，多次曙光成像所形成的龐大數(shù)據(jù) 量也成為額外的負(fù)擔(dān)。A.Veeraraghavan等人還提出了另一種采用 編碼調(diào)制的方式獲取光場的方法，即外差式光場 相機(jī)(Heterodyne light field camera),如圖 2.12 所示。與空域?qū)鈭鲞M(jìn)行調(diào)制的光場相機(jī)不同， 外差式光場相機(jī)實(shí)現(xiàn)的是四維光場在傅里葉頻域中的調(diào)制。在傅里葉域來看，某個(gè)深度位置所 成的像就是四維光場沿相應(yīng)角度。的二維切片。如果在這個(gè)深度平面放置一片具有特定透過率 函數(shù)的編碼掩膜，則光線經(jīng)過掩膜濾光的過程在 傅里葉域表現(xiàn)為光場頻譜與透過率函數(shù)傅里葉 變換的卷

16、積。將掩膜透過率函數(shù)設(shè)計(jì)為余弦函 數(shù)，其傅里葉變換為脈沖函數(shù)，就可以實(shí)現(xiàn)光場 頻譜沿。角度的復(fù)制和搬移。調(diào)制后的光場再會(huì) 聚到探測器上，即沿零度角重新作切片采樣，采 樣后的圖像頻譜中已經(jīng)包含了光場方向維度的 頻譜信息。對光場進(jìn)行解調(diào)時(shí)，將探測器圖像的 頻譜依序重新排列，即可得到四維光場的頻譜。外差式光場相機(jī)的一個(gè)優(yōu)點(diǎn)在于它在原始對 焦面（即探測器所在平面）能夠得到與探測器相 同分辨率的圖像，缺陷在于掩膜會(huì)濾掉相機(jī)巾的 大部分光線，造成光通量的嚴(yán)重?fù)p失，需要增加 數(shù)倍的曝光時(shí)間來進(jìn)行補(bǔ)償。）外案式光場印機(jī)結(jié)構(gòu)和編惻施膜透過率函數(shù)（b）外養(yǎng)式光場相機(jī)和編碼掩媵實(shí)物圖掩膜板圖2.12采用編碼掩膜的外

17、差式光場相機(jī)3 .微透鏡陣列的光場采集不同于傳統(tǒng)成像，光場成像利用二維探測器 同時(shí)記錄光場的四維信息，即二維位置分布和二 維傳輸方向。可通過對四維光場的重新采樣和分 布實(shí)現(xiàn)四維光場向二維平面的轉(zhuǎn)換。3.1 基于針孔陣列的光場采集如圖3.1所示，在傳統(tǒng)成像系統(tǒng)的探測器前方 距離處放置一組等間距針孔陣列可實(shí)現(xiàn)光場的 重采樣。從鏡頭發(fā)出的光線經(jīng)過每個(gè)針孔后投影 到探測器平面形成1個(gè)子圖像，子圖像中一點(diǎn)此 時(shí)就對應(yīng)于鏡頭光瞳發(fā)出的一條光線（即一個(gè)光 場采樣）。若將每個(gè)子圖像整體看作一個(gè)宏像素,則每個(gè)宏像素對應(yīng)于光場的一個(gè)位置采樣，而宏 像素內(nèi)的每一點(diǎn)對應(yīng)于光場在該位置的一個(gè)方 向采樣；所有宏像素共同組

18、成了光場在鏡頭孔徑 上每一點(diǎn)和每一個(gè)針孔位置的采樣。光場的位置 采樣分辨率由針孔采樣間隔所決定，而光場的方向分辨率則取決于其在鏡頭孔徑上的采樣次數(shù),這是由每個(gè)宏像素內(nèi)所包含的像元數(shù)所決定的O鏡頭針孔陣列探測相圖3.1基于針孔陣列的光場采樣上述直觀上的理解也可以從成像公式的數(shù)學(xué)推導(dǎo)來驗(yàn)證。圖中。為鏡頭孔徑的直徑，鏡頭與 針孔陣列之間的距離為“，針孔陣列中柏鄰針孔 的距為九(3-1)對于探測器上任意一點(diǎn)X處的照度可表示為 光場經(jīng)過針孔過濾后的積分，即其中叫)表示針孔對應(yīng)的Dirac脈沖函數(shù)；i為整 數(shù)，汨表示每個(gè)針孔陣列所在平面上的坐標(biāo)。對于圖3.1中入射的一跳光線，設(shè)其經(jīng)過三個(gè)平面時(shí)的交點(diǎn)分別為MX,s-u x-s引入臨時(shí)變量/根據(jù)其幾何關(guān)系可知xa + uba + b此時(shí),/ /S = X+ b a將戶*乙代入式(31)中， b a得到= yj，L(, x 又叫 x + - id)di(3-2)當(dāng)相鄰自圖像的邊緣相切時(shí)，探測器利用率 最大，根據(jù)幾何關(guān)系可知：Dd _Df將公鳥二二代入式(32),則有(3-3)由于成像鏡頭孔徑范圍的限制，式(33)應(yīng)滿iD-x < 定義人為鏡頭孔徑經(jīng)過一個(gè)針孔投影到探測器像 面上的直徑，則有 進(jìn)而得到(3-4)X1 / X1< I < + h 2 h 2由于，為整數(shù)，因此對式(34)向下取整，即o此時(shí)將，代入式(32)可得(3-L