計算攝像學(xué)專題第3講課件

計算攝像學(xué)專題第三講戴瓊海清華大學(xué)自動化系計算攝像學(xué)專題第三講戴瓊海第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三視覺場景信息視覺在人類對世界的感知、理解、交互中的重要意義

視覺信息的采集(采樣)、表示（數(shù)學(xué)定義）、重建（恢復(fù)）、感知(理解)、渲染(顯示)、編輯（交互）、通訊(編碼與傳輸)……

涉及學(xué)科領(lǐng)域：計算視覺、計算機圖形學(xué)、圖像信號處理、(計算攝像學(xué))

如何表示視覺信息是研究視覺信息的基礎(chǔ)與核心視覺場景信息視覺在人類對世界的感知、理解、交互中的重要意義全光函數(shù)plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空間中的某個位置(3D)沿著某個方向(2D)在某個具體的時間(1D)具有某個波長(1D)為7維函數(shù)涵蓋動態(tài)場景中的任意光線集全光函數(shù)plenoptic(拉丁plenus:full單通道圖像為光線的強度也可記為P(x,y)從單一位置點看見的光線固定某一時刻對可見光各波長分量作平均單通道圖像為光線的強度顏色圖像為光線的強度從單一位置點看固定某一時刻以波長為變量顏色圖像為光線的強度視頻為光線的強度從單一位置點看以時間為變量以波長為變量視頻為光線的強度全息視頻為光線的強度以視點位置為變量以時間為變量以波長為變量全息視頻為光線的強度全光函數(shù)描述了物理存在的任何視覺信息包含了不可見光等電磁輻射信息沒有經(jīng)過任何物理處理涵蓋時變及波長變化情況（如磷光）波長分量一般離散化為R,G,B通道實際系統(tǒng)的輻射度范圍受限LDR與HDR全光函數(shù)雖然不可能獲得，但其作用：為視覺信息的研究提供了基礎(chǔ)理論工具全光函數(shù)描述了物理存在的任何視覺信息全光函數(shù)基于全光函數(shù)子集的圖像采集系統(tǒng)傳統(tǒng)圖像(和的2D子集)全景圖[Chen95](和的2D全集)視頻序列(

,

,

,

,

,的3D子集)光場[Levoy96,Gortler96](,,,,的4D子集)動態(tài)光場[Wilburn05](,,,,,的5D子集)全光函數(shù)基于全光函數(shù)子集的圖像采集系統(tǒng)第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三光場Thelightfieldisafunctionthatdescribestheamountoflighttravelingineverydirectionthrougheverypointinspace.MichaelFaradaywasthefirsttopropose(inan1846lectureentitled"ThoughtsonRayVibrations")thatlightshouldbeinterpretedasafield,muchlikethemagneticfieldsonwhichhehadbeenworkingforseveralyears.ThephraselightfieldwascoinedbyAlexanderGershuninaclassicpaperontheradiometricpropertiesoflightinthree-dimensionalspace(1936).Thephrasehasbeenredefinedbyresearchersincomputergraphicstomeansomethingslightlydifferent[citationneeded].[Levoy96]光場ThelightfieldisafunctiLightField(光場)[McMillan95]在3D空間，使用規(guī)則的離散采樣(,,,,)生成連續(xù)空間的新

視角圖像維度仍然過高如何簡化？4D光場光線沿著光軸方向輻射度不變自由空間假設(shè)LightField(光場)[McMillan95]在3光場

空間含遮擋物(5D)自由空間，輻射度恒定(4D)由內(nèi)向外由外向內(nèi)自由空間自由空間自由空間自由空間光場空間4D光場-繪制對目標(biāo)光線進行參數(shù)定位以下將[Levoy96]提出的4D光場簡稱為光場4D光場-繪制對目標(biāo)光線進行參數(shù)定位以下將[Levoy9光場–參數(shù)化L(x,y,,)光場–參數(shù)化L(x,y,,)光場–參數(shù)化雙平面參數(shù)法[Levoy96]最常用的參數(shù)化方法檢索簡單（圖像陣列）繪制簡單（投影幾何）缺陷：只覆蓋了一個方向覆蓋360度視角需要至少6套光板光板之間的切換引入artifacts光場–參數(shù)化雙平面參數(shù)法[Levoy96]光場–參數(shù)化基于雙平面參數(shù)法的新視角繪制視角匯聚與視角平行？規(guī)則的4D圖像集光場–參數(shù)化基于雙平面參數(shù)法的新視角繪制光場–2D繪制繪制步驟：對于給定的視角，將st和uv平面分別投影到虛擬視角xy上對于目標(biāo)圖像上的每個像素，將投影得到的(u,v,s,t)進行查表獲得光強L(u,v,s,t)2*投影+查表獲得每個像素值，復(fù)雜度低光場–2D繪制光場–2D繪制加權(quán)樣本最近鄰U,V加權(quán)U,V,S,T加權(quán)光場–2D繪制加權(quán)樣本最近鄰U,V加權(quán)U,V,S,T加權(quán)光場繪制示例光場繪制示例光場–優(yōu)缺點優(yōu)點繪制速度快繪制復(fù)雜度與場景復(fù)雜度無關(guān)繪制真實感較強缺點數(shù)據(jù)量大（雖然壓縮率高120:1[Levoy96]）不可編輯（無模型）光場–優(yōu)缺點優(yōu)點深度輔助光場繪制無深度信息深度信息輔助需對多個像素進行加權(quán)深度輔助光場繪制無深度信息深度信息輔助需對多個像素進行加權(quán)動態(tài)可調(diào)光場繪制假想對象平面st可變的情況動態(tài)可調(diào)光場繪制假想對象平面st可變的情況動態(tài)可調(diào)光場繪制動態(tài)可調(diào)光場繪制光場的進一步思考4D光場還能簡化嗎？簡化帶來采集的便利、重建質(zhì)量的下降如何在降低維度的過程中盡可能地保留重要的全光信息第三部分將介紹光場的擴展(維度的增加)光場的進一步思考4D光場還能簡化嗎？基于圖像繪制vs.基于模型繪制基于圖像繪制與基于模型繪制的折中如何分析？數(shù)據(jù)采樣密度對繪制的影響圖像信號處理算法優(yōu)化需求數(shù)據(jù)量高需求數(shù)據(jù)量低

復(fù)雜度高

復(fù)雜度低基于圖像繪制vs.基于模型繪制基于圖像繪制與基于模型繪制全光采樣理論PlenopticSamplingPlenopticSampling[Chai00]使用傅里葉信號分析研究光場繪制獲得光場采樣與光場繪制的關(guān)系簡化假設(shè)無遮擋朗泊漫反射表面將4維簡化為2維進行信號分析STSUVU全光采樣理論PlenopticSamplingPlen采樣率分析圖像采集數(shù)量與深度層數(shù)量的不同組合可獲得相同的虛擬視角繪制質(zhì)量采樣率分析圖像采集數(shù)量與深度層數(shù)量的不同組合可獲得相同的虛擬采樣率分析3個深度層，32Х32圖像集，過采樣采樣率分析3個深度層，32Х32圖像集，過采樣采樣率分析3個深度層，16Х16圖像集，采樣采樣率分析3個深度層，16Х16圖像集，采樣采樣率分析3個深度層，8Х8圖像集，最優(yōu)采樣采樣率分析3個深度層，8Х8圖像集，最優(yōu)采樣采樣率分析3個深度層，4Х4圖像集，欠采樣采樣率分析3個深度層，4Х4圖像集，欠采樣采樣率分析3個深度層，2Х2圖像集，欠采樣采樣率分析3個深度層，2Х2圖像集，欠采樣采樣率分析幾何信息與采樣率的折中，由最小采樣曲線決定目標(biāo)圖像的分辨率影響最小采樣曲線的偏移采樣率分析幾何信息與采樣率的折中，由最小采樣曲線決定光場—采集與應(yīng)用Sphericalgantry[Levoy96]相機自由度：2光照自由度：2360度的光場及反射場

捕獲

應(yīng)用：文物記錄與保護光場—采集與應(yīng)用Sphericalgantry[L光場—采集與應(yīng)用

多相機陣列128相機系統(tǒng)(Stanford’05)64相機系統(tǒng)(Tsinghua’07)應(yīng)用動態(tài)光場捕獲虛擬光圈成像時空高分辨率插值HDR光場成像光場—采集與應(yīng)用多相機陣列光場—采集與應(yīng)用光場—采集與應(yīng)用光場—采集與應(yīng)用光場—采集與應(yīng)用全光函數(shù)plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空間中的某個位置(3D)沿著某個方向(2D)在某個具體的時間(1D)具有某個波長(1D)為7維函數(shù)涵蓋動態(tài)場景中的任意光線集全光函數(shù)plenoptic(拉丁plenus:full光場

空間含遮擋物(5D)自由空間，輻射度恒定(4D)由內(nèi)向外由外向內(nèi)自由空間自由空間自由空間自由空間光場空間光場–2D繪制繪制步驟：對于給定的視角，將st和uv平面分別投影到虛擬視角xy上對于目標(biāo)圖像上的每個像素，將投影得到的(u,v,s,t)進行查表獲得光強L(u,v,s,t)2*投影+查表獲得每個像素值，復(fù)雜度低光場–2D繪制平面攝像機陣列高分辨率或動態(tài)范圍圖像高速視頻虛擬光圈成像平面攝像機陣列高分辨率或動態(tài)范圍圖像高速視頻虛擬光圈成像光場—采集與應(yīng)用

多相機陣列128相機系統(tǒng)(Stanford’05)64相機系統(tǒng)(Tsinghua’07)應(yīng)用動態(tài)光場捕獲虛擬光圈成像時空高分辨率插值HDR光場成像光場—采集與應(yīng)用多相機陣列光場相機4000×4000像素

÷292×292透鏡

=14×14像素/透鏡Contax中檔相機Kodak1600萬像素底片光學(xué)微透鏡陣列125微米微透鏡光場相機4000×4000像素÷292×2傳統(tǒng)相機與光場相機傳統(tǒng)相機與光場相機傳統(tǒng)相機與光場相機uv-planest-plane傳統(tǒng)相機與光場相機uv-planest-plane光場圖像光場圖像視角截取截取=對每個微透鏡中央像素求和視角截取截取=對每個微透鏡中央像素求和數(shù)字重聚焦重聚焦=從不同的微透鏡提取像素求和數(shù)字重聚焦重聚焦=從不同的微透鏡提取像素求和數(shù)字重聚焦數(shù)字重聚焦數(shù)字視角調(diào)整視角調(diào)整=移動所有微透鏡的截取窗數(shù)字視角調(diào)整視角調(diào)整=移動所有微透鏡的截取窗數(shù)字視角調(diào)整數(shù)字視角調(diào)整數(shù)字視角調(diào)整數(shù)字視角調(diào)整光場—采集與應(yīng)用重聚焦、視角調(diào)整、光照處理只采集一張圖像解決所有處理都基于數(shù)字處理犧牲空間分辨率，換取光線角度信息光場—采集與應(yīng)用重聚焦、視角調(diào)整、光照處理光場顯微鏡傳統(tǒng)顯微鏡為看到對象切片，調(diào)節(jié)載物臺，手動聚焦光場顯微鏡[Levoy06]與光場相機類似，捕捉光場，計算聚焦特點：多視角及三維重建犧牲空間分辨率光場顯微鏡傳統(tǒng)顯微鏡第三講提綱全光函數(shù)一光場基本概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場基本概念與理論二光場的多光照拓展三光場

4D光場：捕捉從對象發(fā)出的4D光線集合光場4D光場：捕捉從對象發(fā)出的4D光線集光照變化下的場景采集入射光場：進入對象的光線集光照變化下的場景采集入射光場：進入對象的光線反射場入射光場：進入對象的光線集，屬全光函數(shù)的采樣4D光場：Lo(θo,φo,x,y)4D(入射)光場：Li(θi,φi,x,y)θ,φ

:

采集視點或光照視點的二維坐標(biāo)x,y：對象的二維參數(shù)化反射場：對象表面對光線進行傳遞變換所構(gòu)成的場R(Lo;Li)=R(θo,φo,xo,yo;θi,φi,xi,yi)Lo∝LiR(Lo;Li)輸出光線只與作用到該點的入射光線有關(guān)，6D反射場：R(θo,φo,x,y；θi,φi)4D反射場：R(x,y；θi,φi)⊕反射場入射光場：進入對象的光線集，屬全光函數(shù)的采樣⊕4D反射場每個光源對應(yīng)采集一張圖像4D反射場每個光源對應(yīng)采集一張圖像4D反射場2D光照具有可加性4D反射場2D光照具有可加性重光照2D圖像2D+光照2D重光照：根據(jù)對象在一個或多個光照下的外觀，就算目標(biāo)光照下的對象外觀重光照2D圖像2D+光照2D重光LightStage[Debevec2000]LightStage[Debevec2000]LightStage采集圖像OriginalResolution:6432LightStage采集圖像OriginalResolu反射函數(shù)6432反射函數(shù)6432反射函數(shù)環(huán)境光照圖反射函數(shù)光照積繪制像素1Demo反射函數(shù)環(huán)境光照圖反射函數(shù)光照積繪制像素1DemoTheLightStage:

60-secondexposureTheLightStage:

60-secondexp反射場遠(yuǎn)距離環(huán)境光照反射場遠(yuǎn)距離環(huán)境光照反射場有近距離遮擋物，該重光照框架是否成立？反射場有近距離遮擋物，該重光照框架是否成立？LightStage單視角多光照只適用于遠(yuǎn)距離光照框架假設(shè)物體上每個點具有相同的環(huán)境光照圖近距離光照或遮擋物使得

每個物體點的環(huán)境光照圖不一需要維度更高的反射場函數(shù)及其圖形學(xué)方法LightStage單視角多光照8D反射場8D反射場函數(shù)8D反射場處理互遮擋的重光照問題8D反射場8D反射場函數(shù)8D反射場處理互遮擋的重光照問題反射場8D反射場函數(shù)[Masselus2003]反射場8D反射場函數(shù)6D反射場6D圖像2D+視角2D+光照2D6D反射場6D圖像2D+視角2D+光照2D光場—采集與應(yīng)用Sphericalgantry[Levoy96]相機自由度：2光照自由度：2360度的光場及反射場

捕獲

應(yīng)用：文物記錄與保護光場—采集與應(yīng)用Sphericalgantry[L多視點多光照采集對靜態(tài)對象,數(shù)據(jù)維度—6D[Matusik2002]多視點多光照采集對靜態(tài)對象,數(shù)據(jù)維度—6D[Ma多視點多光照采集VisualHullSurfaceLightfieldSurfaceReflectanceFieldsAlphaMattes多視點多光照采集VisualSurfaceLightfie多視點多光照采集VisualHullSurfaceLightfieldSurfaceReflectanceFieldsAlphaMattes多視點多光照采集VisualSurfaceLightfie多視點多光照采集多視點多光照采集總結(jié)全光函數(shù)是空間光線的集合

光場是全光函數(shù)的4D參數(shù)化與簡化

光場可實現(xiàn)虛擬視角的實時繪制

光場采樣定律：深度與采樣率的折中

光場的應(yīng)用：光場相機與光場顯微鏡

光場的擴展：場景重光照總結(jié)全光函數(shù)是空間光線的集合計算攝像學(xué)專題第三講戴瓊海清華大學(xué)自動化系計算攝像學(xué)專題第三講戴瓊海第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三視覺場景信息視覺在人類對世界的感知、理解、交互中的重要意義

視覺信息的采集(采樣)、表示（數(shù)學(xué)定義）、重建（恢復(fù)）、感知(理解)、渲染(顯示)、編輯（交互）、通訊(編碼與傳輸)……

涉及學(xué)科領(lǐng)域：計算視覺、計算機圖形學(xué)、圖像信號處理、(計算攝像學(xué))

如何表示視覺信息是研究視覺信息的基礎(chǔ)與核心視覺場景信息視覺在人類對世界的感知、理解、交互中的重要意義全光函數(shù)plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空間中的某個位置(3D)沿著某個方向(2D)在某個具體的時間(1D)具有某個波長(1D)為7維函數(shù)涵蓋動態(tài)場景中的任意光線集全光函數(shù)plenoptic(拉丁plenus:full單通道圖像為光線的強度也可記為P(x,y)從單一位置點看見的光線固定某一時刻對可見光各波長分量作平均單通道圖像為光線的強度顏色圖像為光線的強度從單一位置點看固定某一時刻以波長為變量顏色圖像為光線的強度視頻為光線的強度從單一位置點看以時間為變量以波長為變量視頻為光線的強度全息視頻為光線的強度以視點位置為變量以時間為變量以波長為變量全息視頻為光線的強度全光函數(shù)描述了物理存在的任何視覺信息包含了不可見光等電磁輻射信息沒有經(jīng)過任何物理處理涵蓋時變及波長變化情況（如磷光）波長分量一般離散化為R,G,B通道實際系統(tǒng)的輻射度范圍受限LDR與HDR全光函數(shù)雖然不可能獲得，但其作用：為視覺信息的研究提供了基礎(chǔ)理論工具全光函數(shù)描述了物理存在的任何視覺信息全光函數(shù)基于全光函數(shù)子集的圖像采集系統(tǒng)傳統(tǒng)圖像(和的2D子集)全景圖[Chen95](和的2D全集)視頻序列(

,

,

,

,

,的3D子集)光場[Levoy96,Gortler96](,,,,的4D子集)動態(tài)光場[Wilburn05](,,,,,的5D子集)全光函數(shù)基于全光函數(shù)子集的圖像采集系統(tǒng)第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場概念與理論二光場的多光照拓展三光場Thelightfieldisafunctionthatdescribestheamountoflighttravelingineverydirectionthrougheverypointinspace.MichaelFaradaywasthefirsttopropose(inan1846lectureentitled"ThoughtsonRayVibrations")thatlightshouldbeinterpretedasafield,muchlikethemagneticfieldsonwhichhehadbeenworkingforseveralyears.ThephraselightfieldwascoinedbyAlexanderGershuninaclassicpaperontheradiometricpropertiesoflightinthree-dimensionalspace(1936).Thephrasehasbeenredefinedbyresearchersincomputergraphicstomeansomethingslightlydifferent[citationneeded].[Levoy96]光場ThelightfieldisafunctiLightField(光場)[McMillan95]在3D空間，使用規(guī)則的離散采樣(,,,,)生成連續(xù)空間的新

視角圖像維度仍然過高如何簡化？4D光場光線沿著光軸方向輻射度不變自由空間假設(shè)LightField(光場)[McMillan95]在3光場

空間含遮擋物(5D)自由空間，輻射度恒定(4D)由內(nèi)向外由外向內(nèi)自由空間自由空間自由空間自由空間光場空間4D光場-繪制對目標(biāo)光線進行參數(shù)定位以下將[Levoy96]提出的4D光場簡稱為光場4D光場-繪制對目標(biāo)光線進行參數(shù)定位以下將[Levoy9光場–參數(shù)化L(x,y,,)光場–參數(shù)化L(x,y,,)光場–參數(shù)化雙平面參數(shù)法[Levoy96]最常用的參數(shù)化方法檢索簡單（圖像陣列）繪制簡單（投影幾何）缺陷：只覆蓋了一個方向覆蓋360度視角需要至少6套光板光板之間的切換引入artifacts光場–參數(shù)化雙平面參數(shù)法[Levoy96]光場–參數(shù)化基于雙平面參數(shù)法的新視角繪制視角匯聚與視角平行？規(guī)則的4D圖像集光場–參數(shù)化基于雙平面參數(shù)法的新視角繪制光場–2D繪制繪制步驟：對于給定的視角，將st和uv平面分別投影到虛擬視角xy上對于目標(biāo)圖像上的每個像素，將投影得到的(u,v,s,t)進行查表獲得光強L(u,v,s,t)2*投影+查表獲得每個像素值，復(fù)雜度低光場–2D繪制光場–2D繪制加權(quán)樣本最近鄰U,V加權(quán)U,V,S,T加權(quán)光場–2D繪制加權(quán)樣本最近鄰U,V加權(quán)U,V,S,T加權(quán)光場繪制示例光場繪制示例光場–優(yōu)缺點優(yōu)點繪制速度快繪制復(fù)雜度與場景復(fù)雜度無關(guān)繪制真實感較強缺點數(shù)據(jù)量大（雖然壓縮率高120:1[Levoy96]）不可編輯（無模型）光場–優(yōu)缺點優(yōu)點深度輔助光場繪制無深度信息深度信息輔助需對多個像素進行加權(quán)深度輔助光場繪制無深度信息深度信息輔助需對多個像素進行加權(quán)動態(tài)可調(diào)光場繪制假想對象平面st可變的情況動態(tài)可調(diào)光場繪制假想對象平面st可變的情況動態(tài)可調(diào)光場繪制動態(tài)可調(diào)光場繪制光場的進一步思考4D光場還能簡化嗎？簡化帶來采集的便利、重建質(zhì)量的下降如何在降低維度的過程中盡可能地保留重要的全光信息第三部分將介紹光場的擴展(維度的增加)光場的進一步思考4D光場還能簡化嗎？基于圖像繪制vs.基于模型繪制基于圖像繪制與基于模型繪制的折中如何分析？數(shù)據(jù)采樣密度對繪制的影響圖像信號處理算法優(yōu)化需求數(shù)據(jù)量高需求數(shù)據(jù)量低

復(fù)雜度高

復(fù)雜度低基于圖像繪制vs.基于模型繪制基于圖像繪制與基于模型繪制全光采樣理論PlenopticSamplingPlenopticSampling[Chai00]使用傅里葉信號分析研究光場繪制獲得光場采樣與光場繪制的關(guān)系簡化假設(shè)無遮擋朗泊漫反射表面將4維簡化為2維進行信號分析STSUVU全光采樣理論PlenopticSamplingPlen采樣率分析圖像采集數(shù)量與深度層數(shù)量的不同組合可獲得相同的虛擬視角繪制質(zhì)量采樣率分析圖像采集數(shù)量與深度層數(shù)量的不同組合可獲得相同的虛擬采樣率分析3個深度層，32Х32圖像集，過采樣采樣率分析3個深度層，32Х32圖像集，過采樣采樣率分析3個深度層，16Х16圖像集，采樣采樣率分析3個深度層，16Х16圖像集，采樣采樣率分析3個深度層，8Х8圖像集，最優(yōu)采樣采樣率分析3個深度層，8Х8圖像集，最優(yōu)采樣采樣率分析3個深度層，4Х4圖像集，欠采樣采樣率分析3個深度層，4Х4圖像集，欠采樣采樣率分析3個深度層，2Х2圖像集，欠采樣采樣率分析3個深度層，2Х2圖像集，欠采樣采樣率分析幾何信息與采樣率的折中，由最小采樣曲線決定目標(biāo)圖像的分辨率影響最小采樣曲線的偏移采樣率分析幾何信息與采樣率的折中，由最小采樣曲線決定光場—采集與應(yīng)用Sphericalgantry[Levoy96]相機自由度：2光照自由度：2360度的光場及反射場

捕獲

應(yīng)用：文物記錄與保護光場—采集與應(yīng)用Sphericalgantry[L光場—采集與應(yīng)用

多相機陣列128相機系統(tǒng)(Stanford’05)64相機系統(tǒng)(Tsinghua’07)應(yīng)用動態(tài)光場捕獲虛擬光圈成像時空高分辨率插值HDR光場成像光場—采集與應(yīng)用多相機陣列光場—采集與應(yīng)用光場—采集與應(yīng)用光場—采集與應(yīng)用光場—采集與應(yīng)用全光函數(shù)plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空間中的某個位置(3D)沿著某個方向(2D)在某個具體的時間(1D)具有某個波長(1D)為7維函數(shù)涵蓋動態(tài)場景中的任意光線集全光函數(shù)plenoptic(拉丁plenus:full光場

空間含遮擋物(5D)自由空間，輻射度恒定(4D)由內(nèi)向外由外向內(nèi)自由空間自由空間自由空間自由空間光場空間光場–2D繪制繪制步驟：對于給定的視角，將st和uv平面分別投影到虛擬視角xy上對于目標(biāo)圖像上的每個像素，將投影得到的(u,v,s,t)進行查表獲得光強L(u,v,s,t)2*投影+查表獲得每個像素值，復(fù)雜度低光場–2D繪制平面攝像機陣列高分辨率或動態(tài)范圍圖像高速視頻虛擬光圈成像平面攝像機陣列高分辨率或動態(tài)范圍圖像高速視頻虛擬光圈成像光場—采集與應(yīng)用

多相機陣列128相機系統(tǒng)(Stanford’05)64相機系統(tǒng)(Tsinghua’07)應(yīng)用動態(tài)光場捕獲虛擬光圈成像時空高分辨率插值HDR光場成像光場—采集與應(yīng)用多相機陣列光場相機4000×4000像素

÷292×292透鏡

=14×14像素/透鏡Contax中檔相機Kodak1600萬像素底片光學(xué)微透鏡陣列125微米微透鏡光場相機4000×4000像素÷292×2傳統(tǒng)相機與光場相機傳統(tǒng)相機與光場相機傳統(tǒng)相機與光場相機uv-planest-plane傳統(tǒng)相機與光場相機uv-planest-plane光場圖像光場圖像視角截取截取=對每個微透鏡中央像素求和視角截取截取=對每個微透鏡中央像素求和數(shù)字重聚焦重聚焦=從不同的微透鏡提取像素求和數(shù)字重聚焦重聚焦=從不同的微透鏡提取像素求和數(shù)字重聚焦數(shù)字重聚焦數(shù)字視角調(diào)整視角調(diào)整=移動所有微透鏡的截取窗數(shù)字視角調(diào)整視角調(diào)整=移動所有微透鏡的截取窗數(shù)字視角調(diào)整數(shù)字視角調(diào)整數(shù)字視角調(diào)整數(shù)字視角調(diào)整光場—采集與應(yīng)用重聚焦、視角調(diào)整、光照處理只采集一張圖像解決所有處理都基于數(shù)字處理犧牲空間分辨率，換取光線角度信息光場—采集與應(yīng)用重聚焦、視角調(diào)整、光照處理光場顯微鏡傳統(tǒng)顯微鏡為看到對象切片，調(diào)節(jié)載物臺，手動聚焦光場顯微鏡[Levoy06]與光場相機類似，捕捉光場，計算聚焦特點：多視角及三維重建犧牲空間分辨率光場顯微鏡傳統(tǒng)顯微鏡第三講提綱全光函數(shù)一光場基本概念與理論二光場的多光照拓展三第三講提綱全光函數(shù)一光場基本概念與理論二光場的多光照拓展三光場

4D光場：捕捉從對象發(fā)出的4D光線集合光場4D光場：捕捉從對象發(fā)出的4D光線集光照變化下的場景采集入射光場：進入對象的光線集光照變化下的場景采集入射光場：進入對象的光線反射場入射光場：進入對象的光線集，屬全光函數(shù)的采樣4D光場：Lo(θo,φo,x,y)4D(入射)光場：Li(θi,φi,x,y)θ,φ

:

采集視點或光照視點的二維坐標(biāo)x,y：對象的二維參數(shù)化反射場：對象表面對光線進行傳遞變換所構(gòu)成的場R(Lo;Li)=R(θo,φo,xo,yo;θi,φi,xi,yi)Lo∝LiR(Lo;Li)輸出光線只與作用到該點的入射光線有關(guān)，6D反射場：R(θo,φo,x,y；θi,φi)4D反射場：R(