視覺心理學的物體大小恒常性計算

1、視覺心理學的物體大小恒常性計算摘要： 知覺恒常性是人類感知世界最重要、最突岀的方面，它為解決計算機圖像理解和物體識別等經(jīng)典計算機視覺難題提供了新的思路.大小恒常性是最重要的知覺恒常性之一.正確的圖像物體大小恒常性感知的關鍵在于準確計算物體在圖像中的感知深度.本文總結了 人眼使用的各種圖像深度線索，提岀了這些線索融合與沖突的解決方案，然后用數(shù)學方法建立了圖像物體大小恒常性計算模型實驗結果 表明該模型是有效的本文是應用視覺心理學來解決計算機視覺問題的一次成功而有益的探索.關鍵詞： 大小恒常性；視覺心理學；圖像理解；圖像深度線索1引言根據(jù)幾何光學知識，物體在視網(wǎng)膜的映像輪廓不同于物體的輪廓，會隨著人

2、和環(huán)境不斷變化，而且?guī)缀趺繒r每刻都在發(fā)生變化但是 對我們而言，外界的物體看上去都是一樣的，有著標準的形狀、大小、顏色、明度和位置關系例如，隨著觀察者與桌子的相對運動或照 明的變化，桌子的視網(wǎng)膜映像發(fā)生了很大的變化，但我們對它的感知卻基本上沒有變化.這種現(xiàn)象稱作知覺恒常性(Perception constancy )，它是人類感知世界最重要、最突岀的方面知覺恒常性使人類視覺系統(tǒng)能超越不完全的、易于失真的、模糊的、二維視網(wǎng)膜 映像，而建立起豐富的、穩(wěn)定的、通常正確的、三維的客觀世界表象？從光學成像的角度，人眼和照相機有著幾乎完全相同的成像機制(初 始狀態(tài)相同)根據(jù)Marr的觀點，計算機視覺問題與人

3、類視覺問題幾乎完全相同，兩者都是從圖像中發(fā)現(xiàn)客觀世界有什么事物，這些事物在 什么地方(目的狀態(tài)相同)不同的是，人類視覺能輕易地完成計算機視覺中的許多經(jīng)典難題，如邊緣檢測、圖像分割、物體識別等等目 前，大多數(shù)研究者認為，無論在生物社區(qū)還是在機器人社區(qū)，人類視覺系統(tǒng)都是最好的、最通用的，而且絕大多數(shù)計算機視覺算法的參考 標準要靠人眼標定不難想象，在計算機求解視覺問題的中間狀態(tài)時，如果能完全共享人類視覺的計算理論與算法，從理論上講計算機視 覺的性能就有可能與人類視覺系統(tǒng)相媲美悼1.知覺恒常性是人類感知世界的基本方式，所以計算機視覺也應充分利用人類知覺恒常性的有 關理論與算法恒常性理論對圖像物體識別有

4、著特別重要的意義因為隨著成像視點的變化，客觀世界中的任一物體都可以產(chǎn)生無限多個 二維圖像投影，所以從二維圖像岀發(fā)，識別岀對應的客觀世界物體是一對多的數(shù)學問題，也是計算機視覺中的經(jīng)典難題恒常性理論最吸 引人的地方是：面對連續(xù)變化的刺激特征，物體能被穩(wěn)定、唯一地感知所以恒常性理論特另U有助于解決物體識別中的視點不變(Viewpointinvariant )難題H。.恒常性主要包含如下種類：大小恒常性、形狀恒常性、明度恒常性及顏色恒常性等.文獻5指出：除了有了顏色恒常性的報告外，沒有發(fā)現(xiàn)計算機視覺學者對其他恒常性的研究文獻我們通過對國內(nèi)外的中、英文文獻資料的檢索， 也得岀了同樣的結論故本文將對大小恒

5、常性進行計算研究大小是標識物體的一個重要屬性例如，在日常生活中，矮個子被感知為小 孩的概率較大，高個子被感知為成年人的概率較大而且，正確感知物體的大小具有重要的生物學意義.對許多食肉動物而言，小老虎是 它們可能的美餐，而大老虎則是它們的殺手故自動計算圖像物體的正常大小對于圖像物體識別無疑是十分重要的，這也正是圖像物體大 小恒常性計算的意義及應用所在.2大小恒常性心理學基礎視覺心理學的研究表明：盡管物體視網(wǎng)膜映像的大小在變，但看上去它的大小基本不變.心理學家稱這一現(xiàn)象 為大小恒常性(Size constancy ).圖1顯示了一些大小恒常性的例子.視覺心理學已經(jīng)揭示了大小恒常性的計算理論ul，用

6、公式表示為：S = B木A半D (1)s為物體的感知大小，A為物體的成像視角，D為物體的感知深度(也稱感知距離)，即人類視覺系統(tǒng)感知到的圖像上物體 在成像時離照相機的距離，曰為與眼睛(相機)有關的成像縮放系數(shù)(對于同一次成像，曰值對所有物體都是相同的)物體的成像視角A可用 物體在圖像中的一維大小來表示圖2演示了一個實例棒1和棒2分別放在離觀察者10個單位、3 0個單位遠的位置上，即D棒1 = 1/3 D棒2. 根據(jù)幾何光學知識，物體成像視角的大小與物體離眼睛的距離成反比，故兩棒成像視角的關系為A棒。=3A棒2 如果能正確感知兩棒的實際 深度(距離)D棒。，D棒2,應用式(1)就能實現(xiàn)大小恒常性

7、，即S棒°=S棒2 視覺心理學還揭示了人眼使用的各種圖像深度線索(Image depth cues)，主要包括：物體在圖像中的高度(Elevation of object in the image)、線性透視(Line p gradient)、大氣透視(Aerial perspecfive )等.下面對它們分別介紹，主要參考資料見文獻1，6，7.(1)物體在圖像中圖像一般同時包含低處的地面部分與高處的天空部分，如圖1 (a) (c)、圖3 (c)(d) 室內(nèi)深度圖像一般也同時包含低處地板部分與高處 的天花板部分，如圖3 (a) 我們分別統(tǒng)稱室外圖像的天空部分與室內(nèi)圖像的天花板部分為圖

8、像天空，地面部分與地板部分為圖像地面，并 稱圖像天空與圖像地面的分界線為中間線處于中間線附近的圖像物體在圖像中具有最大的感知深度在圖像地面部分，圖像物體離中間 線越近，即離圖像底端越遠，感知深度越大，反之越?。辉趫D像天空部分，圖像物體離中間線越近，即離圖像頂端越遠，感知深度越大， 反之越小物體在圖像中的高度是一種最重要的圖像深度線索圖像有時也沒有中間線，此時只有地面部分，線性透視客觀世界中向遠處 延伸的平行線，在圖像平面中將靠得越來越近，甚至會聚(Converge).這樣一組線稱為會聚線(Converging line)，它們的會聚點稱為 (Vanishing point) 在圖像中，平行線指

9、示平坦的表面，會聚線指示向遠處延伸的表面.對于室外圖像，線性透視效果一般僅出現(xiàn)在圖像 地面部分，但對于室內(nèi)圖像，同時作用于地面部分與天空部分，如圖3(n) 線性透視的深度感知規(guī)律是：圖像中的物體離滅點越近，感知 深度越大，反之越小同時，會聚線的中心線也能給岀圖像感知深度變化最快的方向如圖1(a)兩鐵軌的中心線(與圖像底端邊線夾角約4 5C)指示感知深度變化最快的方向；而圖1(b)小徑的中心線(與圖像底端邊線夾角約9 0 0 c )為感知深度變化最快的方向.(3)紋理梯度(紋理 密度) 許多表面如墻面、路面及田野里的花朵都有紋理當這些紋理表面向遠處延伸時，表面離觀察者越遠，分辨率越小、紋理也變得

10、越 來越小所以，對于圖像中的同質(zhì)紋理區(qū)域，分辨率越小，紋理越小，感知深度越大；紋理越大，分辨率越大，感知深度越小紋理梯度 方向可用來指示感知深度變化最快的方向，大氣透視大氣散射來自各個方向的光線來自遠處物體的光線也應被大氣散射.因藍光更容易 被散射，所以物體距觀察者越遠，物體附著的藍色越深.又因并不是所有的光都以直線進入觀察者的眼睛，所以物體距觀察者越遠，物體 看上去越模糊這種自然現(xiàn)象稱大氣透視，它也是一種圖像深度線索：圖像中的物體越模糊，附著的藍色越深，感知深度越大，反之越 小.(d)是一張大峽谷的照片照片中間靠近右側(如箭頭所示)的部分清晰、帶藍色較淺，感知深度較小；而同一高度靠近左側的部

11、分模糊，帶藍色較深，感知深度較大上述所有線索都是相對深度線索第一種深度線索（物體在圖像中的高度）既適用于自然場景圖像又適用 于人造場景圖像，是最為重要的深度線索第二種深度線索（線性透視）一般僅適用人造場景圖像前兩種線索都能對整幅圖像產(chǎn)生強烈 的、難以抗拒的深度感知紋理梯度要求有大范圍的規(guī)則紋理表面大氣透視僅適用于室外、天氣晴朗且實際距離較遠的物體后兩種線 索適用范圍有限一般情況，各種線索是互補的，但有時也會產(chǎn)生沖突沖突如何解決，心理學家并沒有給岀可參考的結論，本文將在這 方面做一些有益的嘗試其他深度線索如物體重疊、陰影及對物體的熟悉程度等，我們在此不作介紹，原因是：一對它們的表示與計算比 較困

12、難；二通常它們只局部影響深度感知，在成像場景景深較大時，對深度感知的影響很。3大小恒常性計算模型盡管視覺心理學早已揭示了人類視覺系統(tǒng)大小恒常性的計算理論，但是多年來，計算機學者沒有應用此項成果來 解決計算機視覺問題，所以計算機也就一直沒能獲得圖像物體大小恒常性感知的能力應用式（1）作為計算理論，本文提出了圖像物體大小 恒常性的計算模型，試圖使計算機像人一樣，對單幅二維圖像中的各物體能實現(xiàn)相對大小恒常性感知實驗結果表明此模型的效果確實如 此.該模型的輸入是單幅二維直立圖像；輸岀是圖像中的各物體在一維維度上和指定方向上（一般是垂直或水平方向）的相對感知大小；中 間過程是按式（1）進行的相對大小恒常

13、性計算；相機模型為針孔成像模型直立圖像是指：圖像天空位于圖像中間線的上面，圖像地面位于 圖像中間線的下面相對大小恒常性是指：在客觀世界中，人與人之問、人與各正常物體之間及各正常物體之間的大小比例關系是基本恒 定不變的，如成人與兒童的相對高度、成人與房子的相對高度、餐桌與旁邊椅子的相對高度等等這是人類視覺系統(tǒng)具有大小恒常性感知 的客觀物質(zhì)基礎，但是在針孔成像過程中，這種恒定的大小比例關系被破壞了.所以必須自動恢復圖像中各物體間的大小比例關系，這個 過程即本文要研究的大小恒常性計算.由式（1）可知，要實現(xiàn)對圖像中各物體相對大小恒常性感知，需要正確計算圖像物體的成像視角A和 相對感知深度D成像視角A

14、可用物體在圖像中的一維大小表示，即可用它在圖像中沿某一方向覆蓋的像素點數(shù)量表示對給定輪廓的圖像 物體，計算機能輕易完成這項計算任務本文的目的僅是論證大小恒常性計算模型的正確性與有效性，故假定圖像物體的輪廓都是人工給 定的，其余的工作都是由計算機自動完成估計相對感知深度D直是計算機視覺中的難題本文從上述心理學的結論岀發(fā)，提岀了一種簡 單、新穎、有效的求解方法，其計算原理見圖首先，利用物體在圖像中的高度與大氣透視兩種深度線索，用天空檢測技術計算出中間線上 1,把圖像地面部分從整幅圖像中分離岀來其次，在圖像地面部分，利用線性透視與紋理透視兩種深度線索，可算岀從圖像底端邊線到中 問線的深度變化最快方向

15、直線如島與厶的交點（y°，K ）為圖像中的感知深度最大的點，即滅點如與圖像地面底端邊線的交點u （以， 璣），為圖像中的感知深度最小的點，我們稱之為近點根據(jù)針孔成像模型，在一定的范圍內(nèi)，圖像深度是線性變化的故從近點u向圖像 中間線，沿著深度變化最快方向直 線£,，圖像深度值線性遞增，直至滅點y達到最大最后，計算圖像地面相對感知深度圖與如相垂 直的直線上的所有點具有相同的深度.如直線L。過點P（m，F(xiàn)t ）且與L2垂直，則厶上的所有點的感知深度與點P相同.故點P的相對感知深度 可用近點u到L3的距離D。表示這樣就可以自動計算岀圖像地面各點的相對感知深度，進而形成稠密相對感知深

16、度圖得到了各物體的成 像視角A和相對感知深度D，應用式（1），計算機就能實現(xiàn)圖像物體相對大小恒常性計算因為我們只計算相對感知大小，故可將式（1）的中 曰值設為1 計算時，用物體中點處的感知深度代表整個物體的感知深度，其原因?qū)⒃诒疚膶嶒灢糠种杏懻?4感知深度算法如上所述，大 小恒常性計算的關鍵是計算各圖像物體的感知深度因為我們僅想實現(xiàn)相對大小恒常性，故僅需要計算各物體間的相對感知深度，即物體 問感知深度的比例關系.人類對位于地面上的物體能較好地實現(xiàn)大小恒常性感知，而對處于天空中物體的感知能力較差（如月亮錯覺）.這 是因為相對于天空而言，地面的深度線索比較多，比較有效，所以本文也僅計算圖像地面各點

17、的相對深度已有很多方法可用來估計圖像 深度，按成像設備與輸入圖像數(shù)量的不同可分成三類：一是多相機多圖像，即基于立體成像的雙目匹配（Stereo based binocular matching），精度較高，但僅能產(chǎn)生稀疏的深度圖舊o;二是單相機多圖像，即基于變焦的單目圖像（Defocus based single im 差，但能產(chǎn)生稠密深度圖一。三是單相機單圖像，精度差，但適用范圍廣u11.這些方法的共同缺點是：一僅從相機成像模型及其相應的數(shù) 學變換關系岀發(fā)來計算岀圖像深度，數(shù)學運算復雜，而且需要先驗知識約束（如相機參數(shù)、對應點等）；二很少有效利用心理學已經(jīng)給岀的 各種圖像深度線索，從而忽視了

18、人的主觀感受本文從心理學結論岀發(fā)，提岀了一種簡單、新穎的單相機單圖像深度計算方法，它無需先 驗知識約束，可產(chǎn)生較稠密的相對深度圖大小恒常性的實驗結果表明這種方法是有效的感知深度算法由以下三步組成.4.1計算中間線L1我們使用天空檢測技術來計算圖像中間線，把圖像地面從整幅圖像中分離岀來目前天空分離算法主要有基于天空 物理模型的方法u刮與二維多項式模型的方法，大氣透視線索用來區(qū)分天空與類似天空顏色的表面，如水域、墻面、玩具、衣服等這些方 法計算復雜，而且需要先進行分類訓練我們的目的僅是想驗證圖像物體大小恒常性計算模型的可行性，所以提岀了一種簡單的天空分離 方法，詳述如下：圖像天空部分（包括天花板）

19、的顏色一致性較好，布局較簡單利用這個特性，使用圖像分割技術能將天空分離岀來因H分量對彩色描 述能力相對來說與人的視覺最接近，故先把RGB空問轉換成HSI空間因待處理圖像都是直立的，故在圖像的上半部分必定存在天空區(qū)域， 故僅對圖像的上半部分進行統(tǒng)計，計算1D顏色直方圖具有最大值的直方條（Bin ）對應的H值就是天空的H值，記作熱KY.為了提高計算速度 和避免地面部分的單點被誤判為天空，圖像被分成2木2的小塊，它的H值為4個像素的平均值.設w為任一圖像小塊，它的H值記為日w,如果 I風。一鞏1V=瓦半H°KY，則塊w屬于天空一為相似性閾值，實驗取值為0 .05 天空的計算在整幅圖像上進行

20、若計算出天空的面積小 于圖像的5%,我們便認為此圖像中不包含天空圖像每列中位于最下方的天空點形成天地分界線用最小二乘法把天地分界線擬合成水平 直線，這條水平直線就是中間線L。.當圖像中不包含天空時，中間線一般退縮到圖像的頂 端邊線，如圖1（d）所示；有時也會出現(xiàn)在圖像 的兩側邊，如圖3（6）所示，在圖像的左側邊因為所有的圖像都是直立的，中間線是出現(xiàn)在圖像的底端邊線此時，中間線的位置由滅點 位置與深度變化最快方向直線島決定當圖像中包含天空時，圖像地面是由中間線、底端邊線及兩側邊所形成的區(qū)域；當圖像中不包含天 空時，圖像地面是整幅圖像圖5是中間線計算的例子，可以看出這種簡單的方法基本能滿足我們的要

21、求.4.2計算地面深度變化最快方向 直線L:由前面心理學的內(nèi)容可知，線性透視與紋理梯度兩種深度線索可用來指示地面深度變化最快方向這兩種線索僅在圖像地面部分有 效，所以計算直線如的圖像支持范圍僅是圖像地面部分單獨利用線性透視線索，可算岀一條從圖像底端邊線到中間線的深度變化最快方 向直線，我們稱此直線為線性透視直線0 單獨利用紋理梯度線索，也可算岀一條從圖像底端邊線到中問線的深度變化最快方向直線，我們稱此直線為紋理梯度直線。與島的計算方法稍后介紹，現(xiàn)在假設這兩條直線已經(jīng)求岀一般情況下，這兩條直線不會重合，所以在共同 指示地面深度變化最快方向時，不可避免地會產(chǎn)生沖突因這兩條直線都是用最小二乘法擬合產(chǎn)

22、生的，故可以認為，直線的相對擬合誤差 越大，它所指示的深度變化最快方向越不準確一種沖突的解決辦法是：兩直線以各自的相對擬合誤差為權，線性組合來求解地面深度變 化最快方向直線t,相對擬合誤差越大，對應直線的組合權值越小，具體方法如下1設深度變化最快方向直線厶、線性透視直線。、紋理梯度 直線L，的相對擬合誤差分別為島、鄙、島，它們斜率對應的角分別為吼、Oj，、如，所有日的取值范圍為一7c/2，n/2，則有02=口P木 6r/ （艿r + 6，）+0r術 8P/ （艿r + 6P）（2）龜=6P8r/（占r + 6P） + 6r¥6P/（6，+ 6P）（3）于是，直線厶由它的斜率唯一確定下

23、面分別介紹直線。與。的計算方法.4.2. 1求解線性透視直線。目前，求解線性透視直線的方法是使用滅點檢測技術，主要分為兩類：一類是基于高斯球（Gaussiansphere）151，它的缺點是要知道 相機的光學中心與焦距；另一類是基于滅點區(qū)域（Vanishing region）?，它不需要先驗知識，但數(shù)學模型復雜.本文嘗試用簡單的數(shù)學來 解決復雜的視覺問題，所以提岀了一種新而簡單、不需要先驗知識的線性透視直線求解方法由前面心理學的內(nèi)容可知，線性透視由會聚線指示，所以我們先提取直線目前，提取直線方法主要有兩種山1： 一是基于圖像亮度梯度幅度（Gradient magnitude），一般使用Houg

24、 變換技術實現(xiàn)；另一種是基于圖像亮度梯度方向（Gradient orientation），一般使用相位編組技術實現(xiàn).這兩種方法是互補的.因為第一 種方法簡單易行，所以我們在實驗中使用它因提取的直線越長，越能體現(xiàn)線性透視效果.Hough變換技術使用投票機制，其原理就是直線 越長，越先被提取這是我們使用第一種方法的另一個原因?qū)γ糠鶊D像，先使用Hough變換技術找出最長的10條直線分別對應的圖像點 集，然后用最小二乘法把這些點集分別擬合直線，并得到每條直線的方程、斜率對應角口及相對擬合誤差8 利用類似式（2）、式（3）的思 想，由這lo條直線以各自的相對擬合誤差為權線性組合，易得到線性透視直線的斜率

25、對應角0P、相對擬合誤差6,及直線方程4.2.2求解 紋理梯度直線L,紋理梯度已被廣泛地應用于計算機視覺各領域中，如從紋理求形狀u?,基于紋理梯度圖像分割u刊等等在這些應用中， 紋理梯度的表示與計算都比較復雜，故本文提岀了一種簡單的紋理梯度表示方法由前面心理學的內(nèi)容可知：表面離觀察者越遠，紋理變 得越小其原因是：離視點越近，相同面積的視網(wǎng)膜（成像平面）區(qū)域包含的同質(zhì)物體越少，即圖像分辨率越大，紋理元素的尺寸越大在 物體內(nèi)部區(qū)域，像素亮度的差異小，故物體一般被感知為同質(zhì)區(qū)域.這也就意味著：從統(tǒng)計意義上講，離視點越近，相同圖像區(qū)域內(nèi)的像 素亮度差異之和應越小為此，我們用各像素點的亮度差異度作為它的

26、紋理梯度，并用它進一步求解紋理梯度直線o,具體的計算過程如 下：4.3計算地面感知深度圖們沒有發(fā)現(xiàn)圖像物體大小恒常性的計算模型與算法，所以由圖4可知，近點u的感知深度最小，設為D。，它的 沒有進行算法比較，僅是用下面的例子來驗證了我們所提值等于相機離客觀世界場景最近成像點的距離除以相機岀方法的正確性與有效 性，并對算法的關鍵問題進行了分縮放系數(shù)曰由本文第三節(jié)的內(nèi)容可知，在圖像地面部分析為了便于驗證文中提岀模型的正確性，各 組試驗中選各點感知深度的變化規(guī)律是：從近點u到圖像中間線，沿用的圖像物體都具有同一屬性：它們在圖像中的大小不著深度變化最快 方向直線如，圖像深度值線性遞增，直至同，但感知大小

27、卻相同滅點y達到最大；與深度變化最快方向直線如相垂直的表1是對圖1（口）中的6根桿子大小恒常性的處理結直線上的所有點具有相同的深度（等深線）設P（m,n ）為果表2是對圖1（d）中的3個人的大小恒常性的處理 結圖像地面部分任一坐標為m,n的像素點，求解點P（m,n） 果.從表1、表2可以看出，無論以腳點還是以中點的感知處的相對感知深度D, 的方法如下： 深度代表整個物體感知深度，經(jīng)大小恒常性處理后，各物設深度變化最快方向直線如的斜率為，直線厶過點P 體問的平均 相對分離程度都顯著減少物體問的平均相對（m,n ）且垂直于直線厶，故直線厶的斜率墨=一1/整，則分離程度越小，說明對物體的這種 測量結

28、果越趨于相同直線厶的方程為： 如表1所示，各桿子高度平均相對分離程度由圖像的2 7%x+%YmK, n = 0（5） 減少到16%（腳點），16%（中點）；如表2所示，3人的高平均相對分離程度由圖像的58%減少到53%（腳點），20%（中點）這些結果都說明本文提出的方法 能有效實現(xiàn)類似人眼的圖像物體大小恒常性感知在表1中，腳點與中點的大小恒常性調(diào)整的效果相同但在表2中，兩者的效果差別很 大：腳點的平均相對分離程度為5 3%與圖像的58%相差無幾，而中點的為20%，與圖像的58%相差很大.故以中點代表整個物體進行大小 恒常性計算，效果更令人滿意所以在計算感知深度時，一般以物體的中點代表整個物體，其原因后面分析表3、表4分別是對室外建筑 物圖3（易）與室內(nèi)建筑物圖3（a ）的計算結果表3的大小恒常性計算效果較好，平均相對分離程度從3 1%減少到8%,而表4則只有2%的減 少這是因為表3對應的室外圖像場景景深較大，圖像物體的失真也較大，深度線索較多而且強烈，故調(diào)節(jié)效果較好而表4對應的室內(nèi)場 景正好相反，故調(diào)整效果較差顯示了近點感知深度D,不同取值對大小恒常性計算的影響圓點曲線表示D。不同取值