北理工賈云德《計算機視覺》chapter09明暗分析

1、第九章 明暗分析 本章將介紹光在物體表面的反射物理特性以及利用反射特性估計表面形狀的方法，即光度立體法（Photometric Stereo）在討論光度立體法及從明暗恢復(fù)形狀(Shape from Shading)之前，我們將首先介紹成象物理學(xué)，即場景中各點的光強度在圖象平面上的映射過程（通常將這一過程稱為成像）本章將按照Horn 1986所做的開創(chuàng)性工作對有關(guān)的理論和算法展開討論91 圖象輻照度 我們知道，通過投影原理可以確定場景中的點在圖象平面中的位置，但并不能確定該點的圖象強度圖象強度可用本節(jié)將要介紹的成象物理學(xué)來確定，其中用于描述圖象強度的一個術(shù)語是圖象輻照度（Irradiance）由

2、于強度、亮度或灰度等術(shù)語使用的十分普遍，因此本書通篇將這些術(shù)語視為圖象輻照度的同義詞 圖象平面中一點的圖象輻照度是指圖象平面點單位面積接收的輻射（radiance）功率。輻射為輸出能量，輻照為輸入能量對圖像來說，圖像的輻照源對應(yīng)景物對光源的反射，即場景的輻射。也就是說，圖象平面上一點的輻照度對應(yīng)于圖象點到場景點方向的場景輻射能量： (91)場景點位于從投影中心到圖象點的射線上為了找到圖象的輻照源，我們必須沿這條射線返回到發(fā)射射線的表面片上，并且弄清楚場景照明光是如何被表面片反射的 決定場景表面片輻射的因素有兩個：一個是投在場景表面片上的照明，另一個是表面片反射的入射照明部分投在某一特定表面片上

3、的照明量取決于該表面片在場景中相對于光源的分布位置在某一特定方向上被表面片反射的入射照明部分取決于表面材料的光學(xué)特性圖91在一個無限小的表面片上建立極坐標(biāo)系，用來描述表面片可視半球方向的照明和輻射方向 考慮場景中一個無窮小的表面片被一個單獨的點光源照明在表面片上建立一個坐標(biāo)系，如圖91所示此坐標(biāo)系表示能量可以到達或離開該表面所有可能的方向半球設(shè)表示在極坐標(biāo)中相對于表面片的場景照明點光源的方向，設(shè)表示能量從表面片中發(fā)射的方向從某一方向到達該表面片的能量為，從表面片向某一方向輻射的能量為從表面片往某一方向輻射的能量與表面片從某一方向接收的能量的比值定義為雙向反射分布函數(shù)（Bidirectional

4、 Reflectance Distribution Function，BRDF），用表示雙向反射分布函數(shù)取決于表面材料的光學(xué)特性輻射量與輻照量的關(guān)系式為： (92)這可能是一個一般的公式，可能是一個很復(fù)雜的式子，但在計算機視覺的大多數(shù)感興趣的場合中，可能相當(dāng)?shù)睾唵螌Υ蠖鄶?shù)材料來說，BRDF只取決于入射和發(fā)射角之差： (93)圖9.2 半球上某一表面片和其對應(yīng)的角增量和組成的立體角示意圖911照明給定表面材料的BRDF和光源的分布，就可以計算一個表面片發(fā)出的光量下面介紹兩種類型的照明：點光源和均勻光源 首先介紹計算一般分布光源射到一個表面片的總輻照公式坐標(biāo)系就是在圖91中描繪的可能方向半球極坐標(biāo)

5、，如圖9.2所示表面片上的全部輻照就是從半球中所有方向上照到表面片上的輻照總和將通過單位半球（半徑為1）上每一個小片面積上的輻照累加起來，直到計算完半球的全部面積由半球上某一表面片和其對應(yīng)的角增量和組成的錐形空間，稱為立體角： (94)式中的是考慮到越接近半球頂部，半球面積越小半徑的球面積為，單位半徑的半球面積為半球的面積可以由組成半球的立體角加起來得到：(95)在方程94中如果沒有因子，半球面的各個無窮小單元加起來就得不到正確的總面積穿過球面的總的輻射量是對無窮小表面片加權(quán)穿過每一個表面片對應(yīng)的單位立體角輻射量的積分讓表示從方向上穿過半球單位立體角上的輻射量，則表面片接收的總輻照量為： (9

6、6)式中多了一個附加項，這是因為透視縮比效應(yīng)（foreshortening）造成表面片在照明方向上變小從表面片反射出的輻射量為 (97)基于場景輻射等于圖象輻照假設(shè)，在圖象平面中，位置處的圖象輻照與場景中相對應(yīng)的表面片上的輻射量相等： (98)式中場景輻照的發(fā)射角度由場景表面的幾何性質(zhì)決定注意：對每一個圖象位置，都可以在相對于表面法線或表面片的極坐標(biāo)中，計算出對應(yīng)的場景位置、表面片的表面法線以及從表面片到圖象平面點的連線的角度為了從場景中的表面幾何和光源的分布確定整幅圖象的輻照量，必須知道場景表面的BRDF這正是下一節(jié)討論的主題912反射 下面將介紹三種不同類型的反射： Lambertian反

7、射（也叫散光反射）、鏡面反射、 Lambertian反射和鏡面反射組合。(1) Lambertian反射Lambertian 表面是指在一個固定的照明分布下從所有的視場方向上觀測都具有相同亮度的表面，Lambertian 表面不吸收任何入射光Lambertian反射也叫散光反射，不管照明分布如何，Lambertian 表面在所有的表面方向上接收并發(fā)散所有的入射照明，結(jié)果是每一個方向上都能看到相同數(shù)量的能量許多無光澤表面都大致屬于Lambertian型的，除了下面將提到的情況以外，許多表面在性質(zhì)上都屬于Lambertian 型 Lambertian 表面的BRDF是一個常數(shù)： (99)輻射獨立于

8、發(fā)射方向，輻射可通過累加來自所有可能方向半球的入射光線上的BRDF效應(yīng)得到： (910)其中是在表面片上的總?cè)肷涔?下面討論在一個遠距離點光源的照明下，一個Lambertian 表面的可感覺亮度。在相對于表面片法線的一個方向上，一個點表面照明描述如下： (911)式中指的是總照明本質(zhì)上，-函數(shù)僅限于照明到達表面片的方向與方向之間方程911分母中有一個正弦項，將其引入方程96時，就得到總照明 將方程911中的照明函數(shù)和方程99中的BRDF函數(shù)引入表面片輻射方程97，得到了感覺亮度方程: (912)這就是Lambert余弦定律，即指由點光源照明的表面片的感覺亮度隨著單元表面法線的入射角度變化而變化

9、隨入射角變化是由于因為相對于照明方向表面片的透視縮比效應(yīng)換句話說，一塊給定面積的表面片，當(dāng)它的法線指向照明光線方向時，可以獲取最多的光照當(dāng)表面法線偏離照明方向時，從照明方向看過去的表面片面積變小了，因此表面片的亮度也降低了如果你想親自看一看這個效應(yīng)的演示，請拿一個球狀物體，比如一個白球，關(guān)掉房間里的所有燈，只打開一個燈泡，你將會看到球體上最亮的部分是表面法線指向照明方向的部分，并且這與你相對于球所處的位置無關(guān)，球體上的亮度從對應(yīng)于光源最亮的一點出發(fā)，向四周所有方向以相同速率遞減 假定照明不是一個點光源，而是在所有方向都是均勻的，其發(fā)光總強度為那么亮度可由下式給出： (913)現(xiàn)在，Lamber

10、tian 表面的被感覺的亮度在所有方向上都相同，這是因為不管表面片朝向何方，它都能接收到同樣數(shù)量的照明(2) 鏡面反射 鏡面在某一方向上反射所有的入射光，反射方向角相對于鏡面法線來說與入射角相等，但在法線的另一側(cè)換句話說，從方向來的光線的反射方向鏡面的BRDF為: (914)BRDF中需要和因子，以消去方程97中由透視縮比和立體角產(chǎn)生的相應(yīng)因子將式914代入式97，得到 (915)該方程表明入射光線被表面片反射出去，如同理想的鏡子一樣(3) Lambertian反射和鏡面反射組合在計算機圖形學(xué)中，通常用鏡面反射和散光反射一起來構(gòu)成物體反射特性模型： (916)式中常量控制著兩個反射函數(shù)的混合度

11、鏡面反射和散光反射的相對比例隨著物體表面材料的不同而變化光滑的物體，或者說閃亮的物體，其鏡面反射的成分要高于無光澤的物體92表面方向 上一節(jié)討論了照明與被感覺亮度關(guān)系，該關(guān)系表示在一個設(shè)在假想表面片上的坐標(biāo)系中為了將這一結(jié)果應(yīng)用到計算機視覺中，必須在如圖93中的圖象平面坐標(biāo)系中重新討論表面反射和場景照明表面方向必須在攝象機坐標(biāo)系中表示考慮一個與光軸對準(zhǔn)的球，如圖94所示想象球上的一個點，并假定一個平面在該點與球相切該平面的法線也是球上對應(yīng)點的表面法線 圖93場景中一點圖象平面上的投影 圖94示意表面方向和圖象坐標(biāo)關(guān)系的高斯球假定這一點到圖象平面的距離是： (917)對物體上任意一點，它的圖像坐

12、標(biāo)為，在光度立體視覺中，為了簡化問題，一般假定物體表面各點值的變化遠小于物體到攝象機的距離，即和是物體表面上的兩個點，。因此常常認為物體上的所有點，根據(jù)透視投影公式1.5，并設(shè)，有如下等式： （9.18）考慮物體表面一點的鄰近點其中點的深度為。為了建立點的深度變化與圖象平面坐標(biāo)變換和之間的聯(lián)系，即而得到和和的關(guān)系，考慮一下函數(shù)在點的Taylor級數(shù)的展開就可得到答案： (918)對和的偏微分與場景表面上點處的正切平面傾斜角有關(guān) 在點處的表面梯度是一個矢量記為： (919)深度值和比例系數(shù)皆為未知數(shù)，為了減少未知參數(shù)，可令：，于是上式為： （9.20）由于和只差一個比例因子，因此，如果能夠根據(jù)上

13、式求出，就能求出關(guān)于一個常數(shù)因子的物體形狀。這樣問題就歸結(jié)為求取表面梯度矢量。 表面片的法線與梯度的關(guān)系如下： (921) 該式子簡單地表明對應(yīng)于深度的單位變化，在和的相應(yīng)位移量分別為和單位表面法線可以通過表面法線除以它的長度得到： (922)93 反射圖 將場景照明、表面反射和（在以觀察者為中心的坐標(biāo)系中）表面方向表示的組合稱為反射圖它確定了在給定照明分布和表面材料的情況下，一個表面片在特定方向上的亮度在本節(jié)中，假設(shè)使用平行投影，所以圖象平面坐標(biāo)將由表示，略去了上標(biāo)撇 考慮場景中的一個表面片，它對應(yīng)于圖象平面坐標(biāo)軸和的表面方向是和假設(shè)該表面片具有Lambertian反射特性，并且由一個點光源

14、照明在912節(jié)中，已計算出表面片的輻射為 (923)式中，是表面片的法線與光源方向矢量間的夾角下面討論在以觀察者為中心的坐標(biāo)系中對應(yīng)的表示方法。在92節(jié)中講述的以觀察者為中心的坐標(biāo)系中，表面法線僅是，光源的方向為兩個矢量間夾角的余弦是兩矢量的點積除以每個矢量的長度，所以表面法線和光源方向之間的夾角的余弦是： (924) 對于一個給定的光源分布和一個給定的表面材料，所有表面方向和的反射都能從表中查到或是計算出來，由此得到反射圖圖象輻照度的精確值取決于各種因素，比如光源強度、光學(xué)系統(tǒng)的集光性能以及很多其它不影響反射的因素因此，反射圖可以歸一化，其最大值為1利用這個歸一化圖，再假設(shè)場景的輻射與圖象的

15、輻照相等，就得出圖象輻照方程： (925)該式表明在圖象平面中的點處的輻照（亮度）等于場景表面對應(yīng)點的表面方向和的反射圖值對于Lambertian反射面和點光源，反射圖由方程924 給出，如圖95所示Jain 1995圖95 Lambertian表面是由點光源照明的一個典型反射圖，其中，左：灰度圖象；右：輪廓圖線94 從圖象明暗恢復(fù)形狀 在一個象素點處的圖象強度是對應(yīng)于場景點的表面方向的函數(shù)，該強度值可在反射圖中獲取這樣，對于一個固定照明和成象條件，以及對于一個已知反射特性的表面，表面方向的變化可轉(zhuǎn)換成圖象強度的相應(yīng)變化反過來，由圖象強度的變化可以恢復(fù)表面形狀的問題，即所謂從明暗恢復(fù)形狀的問題

16、現(xiàn)在我們簡單介紹一下利用表面光滑度約束來求解此問題的步驟 從前一節(jié)已知，圖象輻照與表面上對應(yīng)點方向的關(guān)系是： (926)式中是表面的反射圖我們的目的是通過計算圖象中每一點處的表面方向來恢復(fù)表面形狀注意我們只有一個方程，但是有兩個未知數(shù)和因此，必須附加額外的限制條件才有可能求解方程一個常用的附加約束是表面光滑性我們假定物體是由逐段光滑的表面組成，只在邊緣處才不受光滑約束的限制 一個光滑表面是以其梯度和緩慢變化為特征的因此，如果，和表示和在和方向上的偏微分，我們規(guī)定光滑性約束是這些偏微分平方和的積分最小： (927)嚴(yán)格地說，我們必須在方程926給定的約束下求這個積分的最小極值但是，考慮到噪聲使所

17、求的值偏離了理想值，問題就變?yōu)榍蠼饪偲畹臉O小值： (928)式中，l是一個光滑度約束誤差的加權(quán)參數(shù)，是圖象輻照方程誤差： (929)這是一個變積分問題在第次迭代中，更新值的迭代結(jié)果由下式給出： (930)式中*表示在鄰域中計算出的均值注意，雖然對一個給定迭代的計算是局部的，通過多次迭代中的約束傳播可以得到全局的一致上面所述的基本步驟已經(jīng)通過許多途徑得到了證明具體的內(nèi)容可在本章末所附的參考書中找到雖然從明暗恢復(fù)形狀的基本原理很簡單，但是卻有很多實踐上的困難，特別是表面的反射特性并不總是知道得很精確，也不容易控制場景中的照明，這些都限制了其應(yīng)用95 光度立體我們知道，圖像輻照方程包含有兩個未知數(shù)

18、，表面方向和。在由圖象明暗恢復(fù)形狀方法中，為了能求解這兩個參數(shù)，增加了一個光滑連續(xù)約束。本節(jié)將介紹另一種方法，稱為光度立體視覺。其基本思想是通過不同的光源產(chǎn)生不同的圖像輻射方程來增加方程數(shù)目，以求解表面方向和。假定獲取兩幅采用不同照明圖像，如圖9.6所示。這樣，對于圖像中的每一點，將產(chǎn)生兩個圖像輻照方程： 圖9.6 在兩個不同光源照射下，同一物體表面將產(chǎn)生不同的亮度圖9.7 在兩個不同光源照射下的兩個反射圖迭加示意圖如果這些方程是線性的，而且是線性無關(guān)，則和具有唯一解。如果方程是非線性的，則方程無解或無唯一解，如圖9.7所示。例如，兩個圖像輻射方程為：可以驗證，當(dāng)和分別取不同值時，上述方程將會

19、有一個解、兩個解、或無解，當(dāng)，將有無窮解。實際上，當(dāng)假定場景中所有表面都具有Lambertian反射時，對于一個特定方向的點光源，可用二階多項式來描述恒值反射（見方程924）圖象中每一點都有一個亮度函數(shù)，所有可能的表面方向?qū)⒈幌拗圃谟啥A多項式定義的反射圖中的一條曲線上因為約束方程是二次多項式，如上所述，含有兩個未知數(shù)的兩個二次方程是沒有唯一解的，因此必須使用三個方程，即三種不同的照明如圖98 所示圖98立體光度原理示意圖圖象輻照測量值被歸一化成單位間隔 到目前為止，我們的討論都略去了輻射度效應(yīng)，即所有的入射光線都不是從一個表面發(fā)射的這種效應(yīng)可以很容易地通過一個Albedo因子加入到圖象輻照方

20、程： (931)其中albedo因子的取值范圍是術(shù)語albedo來源于拉丁語，意思是白色 對于一個albedo變化的Lambertian表面，表面方向和albedo可同時得到恢復(fù)設(shè)表面法線的表示式如下： (932)假設(shè)有三個照明點光源點光源的方向由單位矢量表示： (933)從前面已知，由一個點光源照明的散射表面的亮度取決于表面法線和照明方向間的夾角的余弦值，因此，亮度就與這兩個矢量的點積有關(guān)對每一個照明的點光源，因為有不同的反射圖，所以就有不同的圖象輻照方程對點光源，圖象輻照方程是： (934)由點光源的方向矢量形成一個33矩陣： (935)在圖象中的每一點得到三個圖象輻照測值的一個矢量： (936)圖象中每一點的圖象輻照方程組可重新表示為： (937)注意：，和取決于圖象平面中的位置，但不取決于圖象平面中的位置，對于一個給定排列位置的光源組，是一個常值對于圖象中的每個點，求解表示albedo和表面方向的矢量： (938)albedo是矢量的幅值表面方向的單位法線可通過除以albedo得到 對于一個給定分布的光源組，矩陣的逆可以通過使用上下三角形矩陣分解（LU分解）求得，不必對圖象中每個點重新計算來求得逆矩陣實際上，對每一個應(yīng)用，只計算一次矩陣的逆，并存貯起來以便在后續(xù)的表面方向計算中重復(fù)使用使用向后置換法1