立體視覺課件

1、計(jì)算機(jī)視覺進(jìn)展 立體視覺計(jì)算機(jī)學(xué)院 李征主要內(nèi)容一. 立體視覺的概念二. 立體視覺的基本原理三. 射影幾何中的基本概念四. 基本的成像模型五. 單視幾何學(xué)的基本原理六. 雙視幾何學(xué)的基本原理一. 立體視覺的概念1. 計(jì)算機(jī)視覺的概念2. 立體視覺的概念1. 計(jì)算機(jī)視覺的概念應(yīng)用實(shí)例：汽車牌照識(shí)別車輛形狀識(shí)別人臉識(shí)別拍攝場(chǎng)景中的人數(shù)統(tǒng)計(jì)動(dòng)態(tài)目標(biāo)分割、定位、跟蹤、行為分析1. 計(jì)算機(jī)視覺的概念相關(guān)領(lǐng)域：計(jì)算機(jī)圖形學(xué)數(shù)字圖像處理計(jì)算機(jī)圖形學(xué)使用圖形生成管道（一組有序執(zhí)行的算法），由計(jì)算機(jī)內(nèi)部的虛擬幾何圖形表述生成虛擬可視像素圖形的過(guò)程。入口數(shù)據(jù)：虛擬二維或三維場(chǎng)景描述（幾何圖形，非可視數(shù)據(jù)）出口數(shù)據(jù)

2、：經(jīng)圖形管道處理后得到的虛擬的、像素化圖形（可視數(shù)據(jù)）數(shù)字圖像處理使用算法對(duì)數(shù)字圖像中的像素信息實(shí)施處理，使圖像中內(nèi)容的可視化質(zhì)量得以提高的過(guò)程。入口數(shù)據(jù)：圖像（可視）出口數(shù)據(jù)：圖像（可視）二. 立體視覺的基本原理1. 單視幾何原理2 .雙視幾何原理3. 多視幾何原理4. 立體視覺的一般處理過(guò)程2 .雙視幾何原理雙視幾何：基于標(biāo)定攝像機(jī)的三維表面重建4. 立體視覺的一般處理過(guò)程plprPOlOrXlXrPlPrflfrZlYlZrYrR, T入口數(shù)據(jù)：?jiǎn)螏蚨鄮瑘D像為了最終恢復(fù)三維信息，需要基于入口數(shù)據(jù)進(jìn)一步獲取哪些數(shù)據(jù)？4. 立體視覺的一般處理過(guò)程問題：如何知道不同圖像中的匹配信息？如何知道

3、不同拍攝方位的相對(duì)放置（外部參數(shù)）？如何知道攝像機(jī)的內(nèi)部參數(shù)？4. 立體視覺的一般處理過(guò)程（1）圖像配準(zhǔn)（2）攝像機(jī)標(biāo)定（確定內(nèi)部參數(shù)）（3）確定攝像機(jī)相對(duì)放置（確定外部參數(shù)）（4）三維表面重建（1）圖像配準(zhǔn)1）基于像素的圖像配準(zhǔn)方法兩幀圖像中所有具有同一原像的像素對(duì)都應(yīng)建立匹配關(guān)系。2）基于特征的圖像配準(zhǔn)方法僅針對(duì)兩幀圖像中的具有同一原像的點(diǎn)、線、區(qū)域特征對(duì)建立匹配關(guān)系。（1）圖像配準(zhǔn)兩類方法具有一定的聯(lián)系，并且，基于特征的圖像配準(zhǔn)效率更高，在其基礎(chǔ)上可簡(jiǎn)化像素級(jí)配準(zhǔn)。由于各類特征均可以轉(zhuǎn)換為點(diǎn)特征，因此，基于特征點(diǎn)的配準(zhǔn)方法成為研究的重點(diǎn)。例如，直線段特征可轉(zhuǎn)換為直線段的兩兩交點(diǎn)，區(qū)域特征

4、可轉(zhuǎn)換為區(qū)域的重心。a）角點(diǎn)提取示例：基于獨(dú)立性的角點(diǎn)提取方法兩個(gè)像素窗口的關(guān)聯(lián)系數(shù)：像素的獨(dú)立性：123456789123456789x與y 小于指定整數(shù)，且不同時(shí)為零a）角點(diǎn)提取獨(dú)立性示例：亮度越強(qiáng)的像素位置獨(dú)立性越強(qiáng)a）角點(diǎn)提取其中，di為第i個(gè)剩余邊緣像素與輸出角點(diǎn)間的像素距離；D為相對(duì)距離定義，由它規(guī)定距離遠(yuǎn)、近的概念。b）基于特征點(diǎn)的圖像配準(zhǔn)圖像配準(zhǔn)的目的：在兩幀圖像間建立一個(gè)映射關(guān)系，該映射能夠?qū)⑵渲幸粠瑘D像上的特征點(diǎn)坐標(biāo)映射為另一幀圖像中匹配特征點(diǎn)的坐標(biāo)。b）基于特征點(diǎn)的圖像配準(zhǔn)特征點(diǎn)坐標(biāo)間的映射可理解為坐標(biāo)變換，可使用矩陣來(lái)表示。矩陣類型與圖像間幾何變換的關(guān)系：1. 二維仿射

5、矩陣與圖像平面內(nèi)的二維旋轉(zhuǎn)、平移、放縮變換對(duì)應(yīng)2.二維透視矩陣除包含二維變換外，還包含攝像機(jī)繞光心的旋轉(zhuǎn)變換3. 基礎(chǔ)矩陣包含二維變換、攝像機(jī)旋轉(zhuǎn)、攝像機(jī)平移等變換b）基于特征點(diǎn)的圖像配準(zhǔn)二維仿射變換：兩幀圖像間的變化可由二維圖像平面上的二維旋轉(zhuǎn)、放縮、平移來(lái)描述；r、l 分別表示左右圖像中特征點(diǎn)坐標(biāo)，i、j 表示特征點(diǎn)序號(hào)若已知左、右圖像中的3個(gè)匹配特征點(diǎn)對(duì)，則能求解該變換b）基于特征點(diǎn)的圖像配準(zhǔn)二維透視變換：兩幀圖像間的變化包括二維圖像平面上的二維旋轉(zhuǎn)、放縮、平移、攝像機(jī)成像平面在三維空間中繞光心旋轉(zhuǎn)；r、l 分別表示左右圖像中特征點(diǎn)坐標(biāo)，i、j 表示特征點(diǎn)序號(hào)若已知左、右圖像中的4個(gè)匹配

6、特征點(diǎn)對(duì)，則能求解該變換b）基于特征點(diǎn)的圖像配準(zhǔn)相似三角形約束：p、q分別表示P、Q中的特征點(diǎn)，相同腳標(biāo)表示具有匹配關(guān)系，為很小的值b）基于特征點(diǎn)的圖像配準(zhǔn)3. 使用三點(diǎn)對(duì)解方程組，求解仿射變換的6個(gè)未知系數(shù)，確定變換矩陣4. 使用得到的變換矩陣，求P中所有特征點(diǎn)在Q中滿足容忍度D（誤差，以像素為單位）的匹配特征點(diǎn)5. 若特征點(diǎn)數(shù)量足夠大，則認(rèn)為配準(zhǔn)成功，保存匹配點(diǎn)對(duì)信息，結(jié)束處理流程；否則，轉(zhuǎn)第1步b）基于特征點(diǎn)的圖像配準(zhǔn)仿射配準(zhǔn)示例：由于實(shí)際的幾何變換包含攝像機(jī)繞光心旋轉(zhuǎn)、平移等三維變換，因此導(dǎo)致部分點(diǎn)對(duì)失配三. 射影幾何中的基本概念1.矩陣與向量間的關(guān)系2.幾何變換與逆變換3.對(duì)偶與對(duì)偶

7、變換4.歐氏幾何、同射幾何、仿射幾何、射影幾何的概念以及相互間的關(guān)系1.矩陣與向量間的關(guān)系向量的幾何概念：具有長(zhǎng)度、方向的幾何元素向量表述的幾何元素：點(diǎn)、線、面、乃至于N維空間中的線性幾何元素向量的具體形式：一組坐標(biāo)值向量坐標(biāo)的本質(zhì)向量坐標(biāo)的本質(zhì)：在N維空間中，在給定基向量集的基礎(chǔ)上，任意向量在各基向量上的投影給定向量，求坐標(biāo)：向各基向量投影給定坐標(biāo)，求向量：以坐標(biāo)為系數(shù)對(duì)基向量做線性組合向量坐標(biāo)的本質(zhì)oXY矩陣行、列均理解為基向量集矩陣的本質(zhì)-以旋轉(zhuǎn)為例YXYXOVVXVYVXVY思考：行、列向量組的含義是什么？逆變換矩陣的本質(zhì)-以旋轉(zhuǎn)為例YXYXO(x,y)矩陣的本質(zhì)-以旋轉(zhuǎn)為例YXYXO

8、(x,y)矩陣的本質(zhì)僅考慮N階方陣，因?yàn)橐话憔仃嚳赏ㄟ^(guò)添加零向量（行或列）擴(kuò)展為方陣。任意N階方陣的行、列向量組分別對(duì)應(yīng)N維空間中兩個(gè)不同的基向量集（不一定線性無(wú)關(guān)），即N維空間中的兩個(gè)坐標(biāo)系。矩陣的本質(zhì)方陣的行向量組為行坐標(biāo)系基向量在列坐標(biāo)系下的坐標(biāo)；列向量組為列坐標(biāo)系基向量在行坐標(biāo)系下的坐標(biāo)。矩陣的本質(zhì)N階方陣的本質(zhì)是N維空間中兩個(gè)坐標(biāo)系間的坐標(biāo)變換。若N階方陣不是滿秩矩陣，即行、列向量組中存在線性相關(guān)，則坐標(biāo)變換中存在降維變換。N階單位陣的行、列坐標(biāo)系為同一坐標(biāo)系，其中無(wú)坐標(biāo)變換。向量變換與坐標(biāo)系變換YXYYXXOOO等價(jià)變換向量變換與坐標(biāo)系變換對(duì)任意一種向量變換，可以找到一種等價(jià)的坐標(biāo)

9、系變換與之對(duì)應(yīng)；反之亦然。2.幾何變換與逆變換（1）旋轉(zhuǎn)變換與逆變換（2）放縮變換與逆變換（3）平移變換與逆變換（4）射影變換與逆變換（1）旋轉(zhuǎn)變換與逆變換旋轉(zhuǎn)變換一一對(duì)應(yīng)于單位正交陣，也稱為旋轉(zhuǎn)矩陣，其逆變換即為旋轉(zhuǎn)矩陣的轉(zhuǎn)置。解釋：V由R的列坐標(biāo)系變換到行坐標(biāo)系，再由行坐標(biāo)系變換到列坐標(biāo)系；列坐標(biāo)系自己向自己投影，即無(wú)坐標(biāo)變換。（2）放縮變換與逆變換YXOYXOYXO等價(jià)變換沿坐標(biāo)軸放縮沿坐標(biāo)軸放縮對(duì)于沿坐標(biāo)軸的放縮，變換矩陣為對(duì)角陣，對(duì)角線上各元素對(duì)應(yīng)各坐標(biāo)軸分別的放縮因子。行坐標(biāo)系與列坐標(biāo)系相互的坐標(biāo)描述完全一致。思考：試從投影與線性組合兩個(gè)角度來(lái)解釋放縮變換。沿坐標(biāo)軸放縮-逆變換（2

10、）放縮變換與逆變換YXOYXOppXpYOXYypxpxpyp等價(jià)變換沿任意方向放縮列坐標(biāo)系變換：變換矩陣為對(duì)稱陣放縮變換可能改變幾何形狀（夾角），但不會(huì)改變平行性沿任意方向的放縮對(duì)于沿任意方向的放縮，其變換矩陣為對(duì)稱陣，其含義是先將坐標(biāo)系旋轉(zhuǎn)到放縮方向，再實(shí)施向量放縮，最后再將坐標(biāo)系旋轉(zhuǎn)回原處。任意對(duì)稱陣總可以拆分為RTKR的形式。行坐標(biāo)系與列坐標(biāo)系相互的坐標(biāo)描述完全一致。思考：試從投影與線性組合兩個(gè)角度來(lái)解釋放縮變換沿任意方向的放縮-逆變換可見，逆變換的放縮方向并無(wú)變化，僅將放縮因子變?yōu)榈箶?shù)線性變換N維向量空間中的旋轉(zhuǎn)、放縮變換統(tǒng)稱為線性變換。N維空間中的線性變換與N階方陣一一對(duì)應(yīng)。任一N

11、階矩陣對(duì)應(yīng)的線性變換均可分解為旋轉(zhuǎn)、放縮兩種變換。N階方陣的特征值分解（SVD）M為任意N階矩陣，R表示旋轉(zhuǎn)，RTKR表示任意方向上的放縮（3）平移變換與逆變換在N維向量空間中，平移變換是通過(guò)向量加法來(lái)實(shí)現(xiàn)的，而非矩陣實(shí)現(xiàn)的線性變換。如果使用矩陣來(lái)實(shí)現(xiàn)平移，則必須引入齊次坐標(biāo)系，將N維向量空間擴(kuò)展為N+1 維空間，稱為N維射影空間。為了區(qū)分所討論的向量空間，將N維常規(guī)空間稱為IRN，將N維射影空間稱為IPN。二維射影空間IP2YXOW(0,0,1)(x,y,w)(x/w, y/w, 1)Plane: w=1在IP2 中，對(duì)任意過(guò)原點(diǎn)的直線，其上所有點(diǎn)等價(jià)，每條過(guò)原點(diǎn)直線對(duì)應(yīng)平面w=1上一個(gè)點(diǎn)。

12、雖然是3維坐標(biāo)，但自由度仍為2IR2在IP2中對(duì)應(yīng)于平面w=1三維射影空間IP34維空間中每條過(guò)原點(diǎn)的直線等價(jià)于w=1這個(gè)3維超平面中的一個(gè)點(diǎn)雖然是4維坐標(biāo)，但自由度仍為3三維射影空間IP3如果要針對(duì)IP3作圖，則必須在4維空間作圖，無(wú)法實(shí)現(xiàn)。但應(yīng)理解，IR3中的每一點(diǎn)均為IP3中過(guò)原點(diǎn)直線在w=1的3維超頻面上投影而成的。注：直線（1維）、平面（2維）、3維超平面、乃至N維超平面并沒有本質(zhì)區(qū)別，區(qū)別僅在于維度。XYW二維平移變換XYWXYW通過(guò)IP2中的線性變換實(shí)現(xiàn)了IR2中的平移變換IPN中平移變換的逆變換思考：試舉一例說(shuō)明IP2中平移變換與其逆變換的關(guān)系歐氏變換旋轉(zhuǎn)與平移變換并稱歐氏變換

13、。顯然，歐氏變換常用于描述剛體放置。注：平移變換在IRN中并非線性變換，它是通過(guò)IPN中的線性變換間接實(shí)現(xiàn)的。 在歐氏變換中，幾何形狀、大小均不變化，僅坐標(biāo)系中的方位變化。同射變換旋轉(zhuǎn)、平移、各方向等比放縮并稱為同射變換。在同射變換下，幾何形狀不變化（保持角度、長(zhǎng)度比例），但長(zhǎng)度、面積等測(cè)度，以及方位會(huì)變化。仿射變換旋轉(zhuǎn)、平移、放縮并稱為仿射變換。在仿射變換下，物體形狀、測(cè)度、方位均可能變化，但原本平行的幾何元素其平行性不變。為什么仿射變換不保持角度、長(zhǎng)度比例？存在任意的放縮變換（4）射影變換與逆變換射影變換的含義：將IRN中的N維向量理解為IPN中N+1維向量在N維超平面w=1上的投影；對(duì)I

14、PN中N+1維原向量實(shí)施變換，則IRN中的N維投影向量隨之改變。二維射影變換XYWXYWXYWIP2中原像對(duì)應(yīng)的過(guò)原點(diǎn)直線發(fā)生變化，引起IR2中的像點(diǎn)發(fā)生變化在IR2中，像點(diǎn)的變化規(guī)律為沿原射線方向變化（IR2原點(diǎn)為起點(diǎn)，變換前像點(diǎn)為終點(diǎn)確定的射線方向）三維射影變換XYZIR3IP3中原像對(duì)應(yīng)的過(guò)原點(diǎn)直線發(fā)生變化，引起IR3中的像點(diǎn)發(fā)生變化在IR3中，像點(diǎn)的變化規(guī)律為沿原射線方向變化（IR3原點(diǎn)為起點(diǎn)，變換前像點(diǎn)為終點(diǎn)確定的射線方向）IP3無(wú)法作圖，只能針對(duì)IR3作圖觀察N維射影變換N維向量的射影變換一定在IPN中才能完成。IPN中的射影變換：在N+1維向量坐標(biāo)中，改變齊次項(xiàng)w，實(shí)質(zhì)上修改了原

15、像所在的過(guò)原點(diǎn)直線，從而引起IRN中N維投影向量的變化，但投影向量的方向總是不變，僅長(zhǎng)度發(fā)生變化。N維射影變換N維射影變換的逆變換齊次坐標(biāo)系的意義IRN中的平移變換通過(guò)IPN變換矩陣的第N+1列實(shí)現(xiàn)；IRN中的射影變換通過(guò)IPN變換矩陣的第N+1行實(shí)現(xiàn)齊次坐標(biāo)系的引入，使得IRN中的平移、射影兩種非線性變換能夠用IRN+1（實(shí)質(zhì)上是IPN）中的線性變換來(lái)表示。3.對(duì)偶與對(duì)偶變換XYWXYWIR2中的任意2D點(diǎn)可由IP2中3D向量確定;IR2中的任意直線可由IP2中過(guò)原點(diǎn)平面確定;IP2中給定一個(gè)3D向量，可以確定一個(gè)點(diǎn)，也可以確定一個(gè)過(guò)原點(diǎn)平面IP2IP2IP2中直線的描述YX(a,b)cIR

16、2IP2中點(diǎn)與直線對(duì)偶若針對(duì)其中一個(gè)幾何元素存在一個(gè)定理，則對(duì)其對(duì)偶幾何元素一定存在一個(gè)相應(yīng)的定理。示例：任意兩個(gè)不同點(diǎn)確定一條直線任意兩條不同直線交于一點(diǎn)（平行直線？）IP2中點(diǎn)與直線對(duì)偶XYWIP2PQR若P、Q為兩點(diǎn)，則R為兩點(diǎn)所確定的直線法向量；若P、Q為兩直線法向量，則R為兩直線的交點(diǎn)IP3中點(diǎn)與平面對(duì)偶在IP3中給定一個(gè)向量，可以確定一個(gè)IR3的點(diǎn)；也可以確定一個(gè)IR3的平面XYZ（a, b, c）IP3中點(diǎn)與平面對(duì)偶示例：三個(gè)不同的點(diǎn)確定一個(gè)平面三個(gè)不同的平面確定一個(gè)點(diǎn)IPN中的對(duì)偶關(guān)系對(duì)偶關(guān)系可以推廣到N維空間IPN中的點(diǎn)與N-1維超平面對(duì)偶IPN中的對(duì)偶變換P為N-1維超平面

17、上的點(diǎn)，為超平面的法線向量若對(duì)P實(shí)施線性變換A，對(duì)應(yīng)實(shí)施何種變換，使它仍是該超平面的法線向量？對(duì)而言：對(duì)偶變換的性質(zhì)在IPN與IRN+1中是一致的IPN中的對(duì)偶變換對(duì)A作SVD分解：對(duì)P所作變換：對(duì)所作變換：IPN中的對(duì)偶變換為什么對(duì)偶變換中的放縮變換必須互逆？換言之，為什么放縮互逆才能保角？YX以IR2為例IPN中的對(duì)偶變換在IPN中，若要在線性變換后保持兩個(gè)向量間的角度，則需要對(duì)它們實(shí)施對(duì)偶變換。特別的，若要保證向量相對(duì)于某坐標(biāo)系的坐標(biāo)在線性變換前后保持不變，則考察向量與坐標(biāo)系需要作互為對(duì)偶的變換。IPN中的對(duì)偶變換將A的列坐標(biāo)系下任一點(diǎn)的列坐標(biāo)P變換到行坐標(biāo)系下，得到行坐標(biāo)P對(duì)P實(shí)施線性

18、變換B，若期望經(jīng)變換A后保持行坐標(biāo)P不變，必須對(duì)A中行坐標(biāo)系基向量實(shí)施對(duì)偶變換4.歐氏、同射、仿射、射影幾何（1）無(wú)窮遠(yuǎn)直線、平面（2）環(huán)點(diǎn)、絕對(duì)二次曲線（3）IPN中的歐氏幾何（4）IPN中的同射幾何（5）IPN中的仿射幾何（6）IPN中的射影幾何（1）無(wú)窮遠(yuǎn)直線、平面IP2中一個(gè)3D向量可確定IR2中的一條直線，若該向量與W坐標(biāo)軸同向，直線在何處？（1）無(wú)窮遠(yuǎn)直線、平面對(duì)IP2中對(duì)無(wú)窮遠(yuǎn)直線的理解（1）無(wú)窮遠(yuǎn)直線、平面IP2中的普通直線IP2中的無(wú)窮遠(yuǎn)直線（1）無(wú)窮遠(yuǎn)直線、平面在IP2中，兩條平行直線交于何處？無(wú)窮遠(yuǎn)直線上的某個(gè)無(wú)窮遠(yuǎn)點(diǎn)在IP2中，只要兩條直線不同，無(wú)論是否平行，它們都具有

19、交點(diǎn)。在IP2中，所有同方向的平行直線交于同一無(wú)窮遠(yuǎn)點(diǎn)。（1）無(wú)窮遠(yuǎn)直線、平面IP3中一個(gè)4D向量可確定IR3中的一個(gè)平面，若該向量與W坐標(biāo)軸同向，平面在何處？無(wú)窮遠(yuǎn)處，即無(wú)窮遠(yuǎn)平面IP3中兩條平行直線交于無(wú)窮遠(yuǎn)平面上一點(diǎn)；兩個(gè)平行平面交于無(wú)窮遠(yuǎn)平面上一條直線（1）無(wú)窮遠(yuǎn)直線、平面IP3中的普通平面IP3中的無(wú)窮遠(yuǎn)平面（1）無(wú)窮遠(yuǎn)直線、平面同理，無(wú)窮遠(yuǎn)直線、平面的概念可以推廣到N維空間IPN中存在N-1維無(wú)窮遠(yuǎn)超平面（2）環(huán)點(diǎn)、絕對(duì)二次曲線IP2中的二次曲線，包括圓、橢圓（2）環(huán)點(diǎn)、絕對(duì)二次曲線IP2中的二次曲線，包括圓、橢圓（2）環(huán)點(diǎn)、絕對(duì)二次曲線IP2中的二次曲線的簡(jiǎn)化表述如果二次曲線的參

20、數(shù)a、b給定，則定下一種橢圓（或圓）所有這種形狀的橢圓（或圓）交于如下兩點(diǎn)：（2）環(huán)點(diǎn)、絕對(duì)二次曲線相同形狀橢圓的交點(diǎn)也可寫作：由于（2）環(huán)點(diǎn)、絕對(duì)二次曲線特別的，所有圓的交點(diǎn)為：對(duì)圓而言：此二點(diǎn)稱為環(huán)點(diǎn)，環(huán)點(diǎn)是所有圓的共同交點(diǎn)，同時(shí)也是任意圓與無(wú)窮遠(yuǎn)直線的交點(diǎn)（2）環(huán)點(diǎn)、絕對(duì)二次曲線IP3中的二次曲面（2）環(huán)點(diǎn)、絕對(duì)二次曲線所有球面的交線稱為絕對(duì)二次曲線，它也是任意球面與無(wú)窮遠(yuǎn)平面的交點(diǎn)僅存在一個(gè)實(shí)點(diǎn)，其余點(diǎn)均在復(fù)空間（2）環(huán)點(diǎn)、絕對(duì)二次曲線絕對(duì)二次曲線的概念可以推廣到N維空間。在IPN中，存在絕對(duì)二次超曲線。（3）IPN中的歐氏幾何歐氏變換僅包括旋轉(zhuǎn)、平移變換。問題：以IP2為例，歐氏變換

21、會(huì)改變無(wú)窮遠(yuǎn)直線或環(huán)點(diǎn)嗎？以IP3為例，歐氏變換會(huì)改變無(wú)窮遠(yuǎn)平面或絕對(duì)二次曲線嗎？IP2中平移對(duì)無(wú)窮遠(yuǎn)直線的影響對(duì)直線上的點(diǎn)實(shí)施平移，其法線向量則作對(duì)偶變換，實(shí)質(zhì)上為射影變換：變換后法線向量未改變，可見平移不會(huì)改變無(wú)窮遠(yuǎn)直線的方位IP3中平移對(duì)無(wú)窮遠(yuǎn)平面的影響同理，平移不會(huì)改變IP3中無(wú)窮遠(yuǎn)平面的方位。此結(jié)論可以推廣到IPN中，即平移不會(huì)改變IPN中的無(wú)窮遠(yuǎn)超平面。IP2中平移對(duì)環(huán)點(diǎn)的影響平移前后環(huán)點(diǎn)坐標(biāo)未變，可見平移不改變環(huán)點(diǎn)的方位實(shí)際上，平移不影響任何無(wú)窮遠(yuǎn)點(diǎn)，由此可以推論，IP3中的平移不影響絕對(duì)二次曲線，IPN中的平移不影響絕對(duì)二次超曲線 IP2中旋轉(zhuǎn)對(duì)無(wú)窮遠(yuǎn)直線的影響直線上的點(diǎn)與法線

22、向量作對(duì)偶變換，對(duì)旋轉(zhuǎn)變換則是相同的旋轉(zhuǎn)前后無(wú)窮遠(yuǎn)直線的法線向量未改變，說(shuō)明旋轉(zhuǎn)不改變無(wú)窮遠(yuǎn)直線的方位IP3中旋轉(zhuǎn)對(duì)無(wú)窮遠(yuǎn)平面的影響同理，旋轉(zhuǎn)不會(huì)改變IP3中無(wú)窮遠(yuǎn)平面的方位。此結(jié)論可以推廣到IPN中，即旋轉(zhuǎn)不會(huì)改變IPN中的無(wú)窮遠(yuǎn)超平面。IP2中旋轉(zhuǎn)對(duì)環(huán)點(diǎn)的影響旋轉(zhuǎn)前后環(huán)點(diǎn)坐標(biāo)未變，可見旋轉(zhuǎn)不改變環(huán)點(diǎn)的方位（復(fù)空間內(nèi)，直線是螺旋形的）IP3中的旋轉(zhuǎn)不影響絕對(duì)二次曲線（請(qǐng)自行給出說(shuō)明），IPN中的旋轉(zhuǎn)不影響絕對(duì)二次超曲線 （3）IPN中的歐氏幾何在IPN中，歐氏變換不改變無(wú)窮遠(yuǎn)超平面、絕對(duì)二次超曲線。無(wú)窮遠(yuǎn)超平面的改變，意味著透視變形；絕對(duì)二次超曲線的改變，意味著仿射變形。在歐氏變換下，幾何元

23、素?zé)o任何變形，僅存在幾何元素的方位改變。（4）IPN中的同射幾何同射變換包含歐氏變換與各向等比放縮。在IPN中，同射變換不改變無(wú)窮遠(yuǎn)超平面、絕對(duì)二次超曲線。（自行說(shuō)明）同射變換下，幾何元素的方位、絕對(duì)測(cè)度可能改變，但相對(duì)形狀不改變（5）IPN中的仿射幾何仿射變換包括旋轉(zhuǎn)、平移、各向等比或不等比放縮變換。在IPN中，仿射變換是否會(huì)影響無(wú)窮遠(yuǎn)超平面、絕對(duì)二次超曲線？IP2中不等比放縮對(duì)無(wú)窮遠(yuǎn)直線的影響對(duì)直線上的點(diǎn)實(shí)施放縮，其法線向量則作對(duì)偶變換，實(shí)質(zhì)上為互逆的放縮：變換后法線向量未改變，可見不等比放縮不會(huì)改變無(wú)窮遠(yuǎn)直線的方位IP3中不等比放縮對(duì)無(wú)窮遠(yuǎn)平面的影響同理，不等比放縮不會(huì)改變IP3中無(wú)窮遠(yuǎn)

24、平面的方位。此結(jié)論可以推廣到IPN中，即不等比放縮不會(huì)改變IPN中的無(wú)窮遠(yuǎn)超平面。IP2中不等比放縮對(duì)環(huán)點(diǎn)的影響放縮前后環(huán)點(diǎn)坐標(biāo)改變，可見不等比放縮會(huì)改變環(huán)點(diǎn)的方位同樣的，IP3中的不等比放縮會(huì)影響絕對(duì)二次曲線，IPN中的不等比放縮會(huì)影響絕對(duì)二次超曲線 IPN中不等比放縮對(duì)絕對(duì)二次超曲線的影響不等比放縮會(huì)改變IP2中的環(huán)點(diǎn)、IP3中的絕對(duì)二次曲線、IPN中的絕對(duì)二次超曲線，這意味著圓會(huì)變形為橢圓、球面會(huì)變形為橢球面、超球面會(huì)變形為超橢球面。IPN中不等比放縮不改變平行性以IP2中的平行直線為例：假設(shè)法線向量已標(biāo)準(zhǔn)化，即（, ）為單位向量，為IR2中該直線的法線向量與其平行的另一直線可設(shè)為：（方

25、向相同，與原點(diǎn)距離不同）IPN中不等比放縮不改變平行性變換后，兩平行直線的方向、相互距離都發(fā)生變化；但仍保持平行性IPN中不等比放縮不改變平行性此結(jié)論可以推廣到IPN中，即IPN中不等比放縮變換不會(huì)改變N-1維平行超平面間的平行性。容易證明，旋轉(zhuǎn)、平移不改變平行性，因此IPN中的仿射變換不改變平行性。（5）IPN中的仿射幾何仿射變換可能改變幾何元素的方位、形狀，但不會(huì)改變幾何元素間的平行性。若IPN中的絕對(duì)二次超曲線方位發(fā)生變化，而無(wú)窮遠(yuǎn)超平面未發(fā)生變化，則可以斷定IPN中發(fā)生的變形為仿射變形。（6）IPN中的射影幾何廣義的射影變換包括旋轉(zhuǎn)、平移、各向等比或不等比放縮、射影變換。在IPN中，射

26、影變換是否會(huì)影響無(wú)窮遠(yuǎn)超平面、絕對(duì)二次超曲線？IP2中射影變換對(duì)無(wú)窮遠(yuǎn)直線的影響對(duì)直線上的點(diǎn)實(shí)施射影變換，其法線向量則作對(duì)偶變換，實(shí)質(zhì)上為平移變換：變換后法線向量改變，可見射影變換會(huì)改變無(wú)窮遠(yuǎn)直線的方位IP2中射影變換對(duì)無(wú)窮遠(yuǎn)直線的影響射影變換會(huì)將IP2中的無(wú)窮遠(yuǎn)直線拉至與原點(diǎn)間具有有限距離的位置上。變換前，相互平行的直線交于一個(gè)無(wú)窮遠(yuǎn)點(diǎn)；變換后，它們交于一個(gè)與原點(diǎn)具有有限距離的點(diǎn)，它們還平行嗎？不平行，射影變換不保持平行性。示例：目測(cè)的或照片中的兩根平行鐵軌IP2中射影變換對(duì)無(wú)窮遠(yuǎn)直線的影響示例：無(wú)窮遠(yuǎn)直線被拉至有限距離IP3中射影變換對(duì)無(wú)窮遠(yuǎn)平面的影響同理，射影變換會(huì)改變IP3中無(wú)窮遠(yuǎn)平面

27、的方位。此結(jié)論可以推廣到IPN中，即射影變換會(huì)改變IPN中的無(wú)窮遠(yuǎn)超平面。由于在IPN中，絕對(duì)二次超曲線在無(wú)窮遠(yuǎn)超平面內(nèi)，因此絕對(duì)二次超曲線也會(huì)受到影響。（6）IPN中的射影幾何射影變換會(huì)改變幾何元素的方位、形狀，并且不保持平行性。4.歐氏、同射、仿射、射影幾何類型旋轉(zhuǎn)平移等比例放縮不等比放縮透視扭曲歐氏幾何vv同射幾何vvv仿射幾何vvvv射影幾何vvvvv4.歐氏、同射、仿射、射影幾何類型線性相交平行角度長(zhǎng)度比例長(zhǎng)度歐氏幾何vvvvvv同射幾何vvvvv仿射幾何vvv射影幾何vv四. 基本的成像模型ZYX(0,0,-f)(0,0,f)OVirtual Projection PlaneFac

28、tual Projection Plane基本的小孔成像模型為簡(jiǎn)化模型，總是使用虛擬成像平面四. 基本的成像模型從世界坐標(biāo)系轉(zhuǎn)換到左攝像坐標(biāo)系世界坐標(biāo)系下的原像坐標(biāo)世界坐標(biāo)系與左攝像坐標(biāo)系間的平移圖像坐標(biāo)系原點(diǎn)與光心投影點(diǎn)間的平移圖像坐標(biāo)系內(nèi)的傾斜因子焦距分別對(duì)應(yīng)兩個(gè)方向的放縮因子，將長(zhǎng)度單位轉(zhuǎn)換為像素左攝像機(jī)圖像坐標(biāo)系下的像坐標(biāo)左攝像機(jī)外部參數(shù)左攝像機(jī)內(nèi)部參數(shù)（1）傾斜因子的幾何解釋圖像中傾斜產(chǎn)生的原因：傳感器的原始排列圖像中像素的排列原始成像平面數(shù)字圖像（2）焦距對(duì)三維表面重建的影響ZYX(0,0,f)OVirtual Projection Plane(0,0,1)擺放在正確焦距上的圖像原

29、像擺放在默認(rèn)焦距上的圖像四. 基本的成像模型plprPOlOrXlXrPlPrflfrZlYlZrYrR, T四. 基本的成像模型從世界坐標(biāo)系轉(zhuǎn)換到右攝像坐標(biāo)系世界坐標(biāo)系與右攝像坐標(biāo)系間的平移右攝像機(jī)外部參數(shù)右攝像機(jī)內(nèi)部參數(shù)五. 單視幾何學(xué)的基本原理單視幾何學(xué)解決的問題：消除成像平面中平面像結(jié)構(gòu)的仿射、透視變形，使之恢復(fù)為真實(shí)的原像結(jié)構(gòu)；（針對(duì)平面結(jié)構(gòu)的同射重建）五. 單視幾何學(xué)的基本原理單視幾何學(xué)的應(yīng)用：針對(duì)三維場(chǎng)景中某一平面結(jié)構(gòu)實(shí)施同射重建，即生成成像平面與該原像平面平行時(shí)所成的圖像單視幾何學(xué)采用的變換模型由于單視幾何學(xué)僅討論三維場(chǎng)景中平面結(jié)構(gòu)的成像問題，因此其中的幾何變換不需要使用完整的

30、成像模型。單視幾何學(xué)中采用簡(jiǎn)化的變換模型。單視幾何中的問題分類（1）場(chǎng)景中一個(gè)平面結(jié)構(gòu)經(jīng)透視投影，投影到成像平面，場(chǎng)景平面與成像平面間的變換是怎樣的？單視幾何中的問題分類（2）攝像機(jī)光心不動(dòng)，成像平面繞光心旋轉(zhuǎn)或調(diào)整焦距前后針對(duì)同一場(chǎng)景（不一定是平面）所成圖像間的幾何變換是怎樣的？單視幾何中的問題分類（3）攝像機(jī)自由運(yùn)動(dòng)前后，針對(duì)同一平面結(jié)構(gòu)所成圖像間的幾何變換是怎樣的？單視幾何中的問題分類 歸納單視幾何總是討論兩個(gè)平面結(jié)構(gòu)之間的變換，此變換可視為IP2中的變換，因此不需要使用IP3中的攝像機(jī)模型來(lái)描述。單視幾何中透視變形的消除給出圖像中兩對(duì)已知平行線（經(jīng)透視投影，已變得不平行），求得兩個(gè)交點(diǎn)

31、后，確定無(wú)窮遠(yuǎn)直線，假設(shè)法向量為：?jiǎn)我晭缀沃型敢曌冃蔚南僭O(shè)從場(chǎng)景平面到成像平面間的線幾何變換（與點(diǎn)幾何變換對(duì)偶）如下：不影響無(wú)窮遠(yuǎn)直線僅考慮有影響的部分回憶IPN中的對(duì)偶變換P為N-1維超平面上的點(diǎn)，為超平面的法線向量若對(duì)P實(shí)施線性變換A，對(duì)應(yīng)實(shí)施何種變換，使它仍是該超平面的法線向量？對(duì)而言：考慮對(duì)應(yīng)的點(diǎn)變換注：未體現(xiàn)平面內(nèi)的旋轉(zhuǎn)、放縮、平移變換，因?yàn)樗麄兪欠律渥儞Q，不影響無(wú)窮遠(yuǎn)直線點(diǎn)變換為射影變換：對(duì)圖像施以逆變換，即可消除透視變形：?jiǎn)我晭缀沃型敢曌冃蔚南褂?對(duì)已知平行線確定無(wú)窮遠(yuǎn)直線，從而消除透視變形外，還可以使用直線段間已知的長(zhǎng)度比例來(lái)消除透視變形單視幾何中仿射變形的消除假設(shè)場(chǎng)景平面與成像平面間的點(diǎn)仿射變換為：旋轉(zhuǎn)與放縮平移這里不考慮射影變換相應(yīng)的線變換為：?jiǎn)我晭缀沃蟹律渥冃蔚南僭O(shè)已知原像平面中兩條直線正交：由于未知參數(shù)僅3個(gè)，提供3對(duì)正交直線可確定矩陣，分解、求逆后可得線變換矩陣（僅包含旋轉(zhuǎn)、放縮），求對(duì)偶后可得點(diǎn)變換矩陣經(jīng)仿射變換，兩條像直線的內(nèi)積已改變單視幾何中仿射變形的消除（1）平移：尚有平移變換沒有消除，但平移屬于歐氏變換，不影響平面結(jié)構(gòu)的形狀。（2）方法擴(kuò)展：給出圖像中任意3對(duì)已知夾角的直線，即能消除圖像中的仿