計(jì)算機(jī)視覺(jué)課件筆記

第一講：介紹1什么是視覺(jué)：Visionistheprocessofdiscoveringfromimageswhatispresentintheworld,andwhereitis.2研究視覺(jué)的用處：對(duì)象識(shí)別、空間定位、運(yùn)動(dòng)跟蹤、動(dòng)作識(shí)別3什么是計(jì)算機(jī)視覺(jué)：ComputerVisionisthestudyofanalysisofpicturesandvideosinordertoachieveresultssimilartothoseasbymen.即為了近似于人眼觀察結(jié)果而進(jìn)行的圖像和視頻的分析研究4MAR計(jì)算機(jī)視覺(jué)理論：將視覺(jué)過(guò)程看做一個(gè)信息加工過(guò)程，把視覺(jué)圖像的形成劃分為三個(gè)階段：1)二維1)二維基素圖〔2-Dsketch〕：視覺(jué)過(guò)程的第一階段，由輸入圖像而獲得基素圖?；貓D主要指圖像中強(qiáng)度變化劇烈處的位置及其幾何分布和組織結(jié)構(gòu)，其中用到的基元包括斑點(diǎn)、端點(diǎn)、邊緣片斷、有效線段、線段組、曲線組織、邊界等.目的在于把原始二維圖像中的重要信息更清楚地表示出來(lái)。(2)2.5維要素圖：視覺(jué)過(guò)程的第二階段，通過(guò)符號(hào)處理，將線條、點(diǎn)和斑點(diǎn)以不同的方式組織起來(lái)而獲得2.5維圖。視覺(jué)過(guò)程的這一階段也稱為中期視覺(jué)。2.5維圖指的是在以觀察者為中心的坐標(biāo)系中，可見(jiàn)外表的法線方向、大致的深度以及它們的不連續(xù)輪廓等。其中用到的基元包括可見(jiàn)外表上各點(diǎn)的法線方向、和各點(diǎn)離觀察者的距離〔深度〕、深度上的不連續(xù)點(diǎn)、外表法線方向上的不連續(xù)點(diǎn)等等。視覺(jué)的這一階段是由一系列相對(duì)獨(dú)立的處理模塊組成的。這些處理模塊包括：表達(dá)、運(yùn)動(dòng)、由外表明暗恢復(fù)形狀、由外表輪廓線恢復(fù)形狀、由外表紋理恢復(fù)形狀等。它的作用是揭示一個(gè)圖像的外表特征。Marr聲稱，早期視覺(jué)加工的目標(biāo)就是要建立一個(gè)2.5維的要素圖，這是把一個(gè)外表解釋為一個(gè)特定的物體或一組物體之前的最后一步。(3)三維模型表征〔3-Dmodelrepresentation〕：視覺(jué)過(guò)程的第三階段，由輸入圖像、基素圖、2.5維圖而獲得物體的三維表示。視覺(jué)過(guò)程的這一階段，也稱為后期視覺(jué)。所謂物體的三維表示指的是在以物體為中心的坐標(biāo)系中，用含有體積基元〔即表示形狀所占體積的基元〕和面積基元的模塊化分層次表象，描述形狀和形狀的空間組織形式，其表征包括容積、大小和形狀。當(dāng)三維模型表征建立起來(lái)時(shí)，其最終結(jié)果是對(duì)我們能夠區(qū)別的物體的一種獨(dú)特的描述。第二講：視覺(jué)通路簡(jiǎn)介1可見(jiàn)光譜范圍：380nm~780nm2眼球根本結(jié)構(gòu)和功能：3視網(wǎng)膜：將光信號(hào)轉(zhuǎn)變成電脈沖信號(hào)1光感受體：包括視錐細(xì)胞和視桿細(xì)胞。作用是將光信號(hào)轉(zhuǎn)換為電脈沖信號(hào)。視錐細(xì)胞：亮視覺(jué)1光感受體：包括視錐細(xì)胞和視桿細(xì)胞。作用是將光信號(hào)轉(zhuǎn)換為電脈沖信號(hào)。視錐細(xì)胞：亮視覺(jué)視桿細(xì)胞：暗視覺(jué)2中間層：構(gòu)成視覺(jué)信息傳輸?shù)闹苯雍烷g接通道。3神經(jīng)節(jié)細(xì)胞層：視覺(jué)信息在這里形成纖維束,離開(kāi)人眼。光線---------4視覺(jué)通路概述：視覺(jué)傳導(dǎo)通路：光線—角膜—瞳孔視覺(jué)傳導(dǎo)通路：光線—角膜—瞳孔—晶狀體—玻璃體—視網(wǎng)膜色素上皮細(xì)胞層—視錐視桿細(xì)胞層—雙極神經(jīng)原—節(jié)細(xì)胞—視神經(jīng)—視交叉—視束—外側(cè)膝狀體—視輻射—大腦半球枕葉皮質(zhì)。視覺(jué)反射通路：光線—角膜—瞳孔—晶狀體—玻璃體—視網(wǎng)膜色素上皮細(xì)胞層—視錐視桿細(xì)胞層—雙極神經(jīng)原—節(jié)細(xì)胞—視神經(jīng)—視交叉—視束—外側(cè)膝狀體—上丘臂—雙側(cè)上丘—中腦動(dòng)眼神經(jīng)副交感核—?jiǎng)友凵窠?jīng)—睫狀神經(jīng)節(jié)—節(jié)后纖維—瞳孔、睫狀體—調(diào)節(jié)瞳孔對(duì)光反射和視覺(jué)反射外側(cè)膝狀體視皮層視網(wǎng)膜視束交叉：視束神經(jīng)交叉的關(guān)鍵是內(nèi)側(cè)信號(hào)傳輸?shù)綄?duì)面,外側(cè)信號(hào)傳輸方向不變3視覺(jué)通道假說(shuō)模型3視覺(jué)通道假說(shuō)模型大量的動(dòng)物實(shí)驗(yàn)說(shuō)明,靈長(zhǎng)類動(dòng)物視覺(jué)系統(tǒng)將圖像的不同特征(例如,形狀、運(yùn)動(dòng)、顏色、空間位置等)分成不同通路并行處理,各通路為串行的等級(jí)結(jié)構(gòu).在所有并行處理通路中,最重要的兩條通路是背側(cè)通路(DorsalPathway)和腹側(cè)通路(VentralPathway).前者完成“在哪兒(Where)〞功能,后者完成“是什么(What)〞功能.第三講：數(shù)學(xué)根底1線性代數(shù)知識(shí)復(fù)習(xí)：齊次坐標(biāo)系、普通二維坐標(biāo)和二維齊次坐標(biāo)之間進(jìn)行轉(zhuǎn)換、行列式、行列式幾何意義〔二階行列式：平面平行四邊形的有向面積；三階行列式：平行六面體的有向體積；n階行列式：n維平行多面體的有向容積〕、行列式性質(zhì)、兩個(gè)三維向量叉積、矩陣、任意一個(gè)矩陣其本身蘊(yùn)含一個(gè)變換、矩陣與線性變換之間的關(guān)系〔矩陣變換就是線性變換〕、二階矩陣對(duì)應(yīng)線性變換的平面幾何圖形小結(jié)、矩陣的秩〔初等變換不改變矩陣的秩〕、矩陣的K階子式、滿秩矩陣、滿秩矩陣的逆矩陣、反對(duì)稱矩陣、二元/三元線性方程組解的行列式表示、Gramer(克拉姆)法則、三點(diǎn)共線的判定〔三點(diǎn)的齊次坐標(biāo)行列式的值為0〕、***反對(duì)稱矩陣***性質(zhì)(1)對(duì)任意兩個(gè)三維向量x1,x2：(2)(3)***結(jié)束******二階矩陣對(duì)應(yīng)線性變換的平面幾何圖形小結(jié)******結(jié)束******矩陣蘊(yùn)含變換***3*3矩陣A把一個(gè)三維向量d映射到一個(gè)三維向量e；2*3矩陣A把一個(gè)三維向量d映射到一個(gè)二維向量e;1*3矩陣A把一個(gè)三維向量d映射到一個(gè)一維向量e；***結(jié)束******關(guān)于向量叉積***向量的叉積：

假設(shè)存在向量u(ux,uy,uz),v(vx,vy,vz),求同時(shí)垂直于向量u,v的向量w(wx,wy,wz).

因?yàn)閣與u垂直，同時(shí)w與v垂直，所以w.u=0,w.v=0;即

uxwx+uywy+uzwz=0;

vxwx+vywy+vzwz=0;

分別削去方程組的wy和wx變量的系數(shù)，得到如下兩個(gè)等價(jià)方程式：

(uxvy-uyvx)wx=(uyvz-uzvy)wz

(uxvy-uyvx)wy=(uzvx-uxvz)wz

于是向量w的一般解形式為：

w=(wx,wy,wz)=((uyvz-uzvy)wz/(uxvy-uyvx),(uzvx-uxvz)wz/(uxvy-uyvx),wz)

=(wz/(uxvy-uyvx)*(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx))

因?yàn)椋?/p>

ux(uyvz-uzvy)+uy(uzvx-uxvz)+uz(uxvy-uyvx)

=uxuyvz-uxuzvy+uyuzvx-uyuxvz+uzuxvy-uzuyvx

=(uxuyvz-uyuxvz)+(uyuzvx-uzuyvx)+(uzuxvy-uxuzvy)

=0+0+0=0

vx(uyvz-uzvy)+vy(uzvx-uxvz)+vz(uxvy-uyvx)

=vxuyvz-vxuzvy+vyuzvx-vyuxvz+vzuxvy-vzuyvx

=(vxuyvz-vzuyvx)+(vyuzvx-vxuzvy)+(vzuxvy-vyuxvz)

=0+0+0=0

由此可知，向量(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx)是同時(shí)垂直于向量u和v的。

為此，定義向量u=(ux,uy,uz)和向量v=(vx,vy,vz)的叉積運(yùn)算為：uxv=(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx)

上面計(jì)算的結(jié)果可簡(jiǎn)單概括為：向量uxv垂直于向量u和v。

根據(jù)叉積的定義，沿x坐標(biāo)軸的向量i=(1,0,0)和沿y坐標(biāo)軸的向量j=(0,1,0)的叉積為：

ixj=(1,0,0)x(0,1,0)=(0*0-0*1,0*0-1*0,1*1-0*0)=(0,0,1)=k

同理可計(jì)算jxk:

jxk=(0,1,0)x(0,0,1)=(1*1-0*0,0*0-0*1,0*0-0*0)=(1,0,0)=i

以及kxi:

kxi=(0,0,1)x(1,0,0)=(0*0-1*0,1*1-0*0,0*0-0*0)=(0,1,0)=j

由叉積的定義，可知：

vxu=(vyuz-vzuy,vzux-vxuz,vxuy-vyux)=-(uxv)***結(jié)束***2無(wú)窮遠(yuǎn)點(diǎn)：齊次坐標(biāo)：x,y至少有一個(gè)不是0；無(wú)窮遠(yuǎn)點(diǎn)沒(méi)有歐式坐標(biāo)；無(wú)窮遠(yuǎn)點(diǎn)被視為“理想點(diǎn)〞無(wú)窮遠(yuǎn)直線：齊次坐標(biāo)平面上所有無(wú)窮遠(yuǎn)點(diǎn)構(gòu)成的直線通常的直線加一個(gè)無(wú)窮遠(yuǎn)點(diǎn)就是無(wú)窮遠(yuǎn)直線直線平行：通過(guò)同一無(wú)窮遠(yuǎn)點(diǎn)的所有直線平行。一平面內(nèi)兩條平行的直線交于無(wú)窮遠(yuǎn)點(diǎn)。無(wú)窮遠(yuǎn)點(diǎn)和無(wú)窮遠(yuǎn)直線的引入打破了原本只有兩條直線不平行才可求交點(diǎn)的限制。3射影平面〔二維射影空間〕：歐式平面與無(wú)窮遠(yuǎn)直線的并集所形成的擴(kuò)展平面對(duì)偶原理：在射影平面內(nèi)，點(diǎn)和線是一對(duì)互為對(duì)偶元素。在包含“點(diǎn)〞和“線〞元素的命題中如果將兩個(gè)元素的角色互換，則對(duì)應(yīng)的命題也成立，并稱它們是一對(duì)互為對(duì)偶命題。如果p1,p2是射影平面上的兩個(gè)點(diǎn)，則表示通過(guò)這兩點(diǎn)的直線。命題1.1：兩點(diǎn)p1,p2連線的坐標(biāo)是三點(diǎn)共線的充要條件是命題1.2：兩直線p1,p2的交點(diǎn)坐標(biāo)是三線共點(diǎn)的充要條件是4共線點(diǎn)的參數(shù)化：直線上的點(diǎn)只有一個(gè)自由度因此用二維齊次坐標(biāo)來(lái)表示。給定直線l上兩個(gè)不同點(diǎn)的齊次坐標(biāo)p1,p2，則直線上任何一個(gè)點(diǎn)p的坐標(biāo)均可以表示為：直線上所有點(diǎn)都可以用二維向量表示：此二維向量為直線上點(diǎn)的參數(shù)化表示。顯然P1的參數(shù)化為P2的參數(shù)化為這種參數(shù)化過(guò)程實(shí)際上是建立直線坐標(biāo)系的過(guò)程，直線上點(diǎn)的參數(shù)化不唯一，不同的參數(shù)化對(duì)應(yīng)不同的坐標(biāo)系。5共線點(diǎn)的交比：設(shè)為四個(gè)共線點(diǎn)，他們?cè)谀撤N參數(shù)化的其次坐標(biāo)分別為交比定義：共線點(diǎn)的交比不依賴點(diǎn)的參數(shù)化選擇，直線坐標(biāo)系的選擇將p3,p4在平面上的其次坐標(biāo)分別表示為常用的交比計(jì)算公式6共點(diǎn)直線的交比：給定共點(diǎn)直線束的兩條不同直線的齊次坐標(biāo)，則直線束中任一條直線l的坐標(biāo)都可以表示為，這樣利用直線束中的兩條直線，其他的直線都可以用二維向量來(lái)表示：設(shè)為四個(gè)共線點(diǎn)，他們?cè)谀撤N參數(shù)化的其次坐標(biāo)分別為命題1.3:如果四條有窮點(diǎn)直線的斜率分別為，則他們的交比為：命題1.4：如果4條直線被任意直線截于四點(diǎn)則交比是射影變換的不變量7二次曲線：二次曲線方程表示：矩陣形式：令：則C為一個(gè)對(duì)稱陣，二次曲線的矩陣表示：二次曲線的維度：5個(gè)，需要確定的5個(gè)參數(shù)：a/f,b/f,c/f,d/f,e/f非退化二次曲線：就是正常的二次曲線，C是滿秩；P為非退化二次曲線C上一點(diǎn)，則過(guò)該點(diǎn)的直線l為C的切線，l=Cp退化二次曲線：C不滿秩，由兩條直線構(gòu)成或是兩條重合直線構(gòu)成8二維射影變換：射影變換是射影平面上的可逆齊次線性變換，可以由3X3的矩陣來(lái)表示：射影變換：投影中心不在物體平面上的中心投影中心投影將物體平面上的點(diǎn)投影到圖像平面上得到像點(diǎn)，像點(diǎn)是物體平面點(diǎn)和投影中心的連線與像平面的交點(diǎn)。物體平面點(diǎn)到像點(diǎn)之間的變換是一個(gè)射影變換。射影變換：投影中心不在物體平面上的中心投影中心投影將物體平面上的點(diǎn)投影到圖像平面上得到像點(diǎn)，像點(diǎn)是物體平面點(diǎn)和投影中心的連線與像平面的交點(diǎn)。物體平面點(diǎn)到像點(diǎn)之間的變換是一個(gè)射影變換。射影變換：點(diǎn)-點(diǎn)；直線-直線；點(diǎn)共線-點(diǎn)共線；任何射影變換的逆變換〔對(duì)應(yīng)與單應(yīng)矩陣的逆〕都是射影變換，任意兩個(gè)合成〔對(duì)應(yīng)兩個(gè)單應(yīng)矩陣的積〕也都是射影變換，因此射影變換的全體構(gòu)成射影平面上的一個(gè)變換群。9變換群與不變量等距變換：保持距離不變的變換。相當(dāng)于是平移變換和旋轉(zhuǎn)變換的復(fù)合。R={{r11,r12,tx},{r21,r22,ty},{0,0,1}}三個(gè)自由度：旋轉(zhuǎn)、x方向平移、y方向平移不變量：兩點(diǎn)的距離，兩線的夾角，圖形的面積等距變換群：等距變換的逆變換、合成變換都是等距變換，等距變換的全體構(gòu)成一個(gè)等距變換群相似變換：等距變換和均勻伸縮變換的合成變換S={{s*r11,s*r12,tx},{s*r21,s*r22,ty},{0,0,1}}四個(gè)自由度：旋轉(zhuǎn)、x方向平移、y方向平移、縮放因子s不變量：兩線的夾角，長(zhǎng)度的比值，面積的比值相似變換群：相似變換的全體仿射變換：平移變換和非均勻變換的復(fù)合。A={{a11,a12,tx},{a21,a22,ty},*三對(duì)不共線對(duì)應(yīng)點(diǎn)唯一確定仿射變換{0,0,1}}*******對(duì)A作奇異值分解，得到A=UDVT,U,V為正交矩陣，D為對(duì)角為正數(shù)的對(duì)角矩陣。仿射變換是一個(gè)等距變換VT仿射變換是一個(gè)等距變換VT和一個(gè)均勻伸縮變換D以及另一個(gè)等距變換U的合成。與相似變換差異在于非均伸縮*******六個(gè)自由度：旋轉(zhuǎn)4個(gè)，x方向平移、y方向平移不變量：平行性、面積比不變、共線線段和平行線段長(zhǎng)度比不變、矢量線性組合不變、面積被縮放det(A)倍仿射變換群：仿射變換的全體.*是射影變換的特例射影變換:但凡利用中心投影或平行投影把一個(gè)圖形映成另一個(gè)圖形的映射都叫做射影變換討論：k=0：當(dāng)且僅當(dāng)這個(gè)攝影變換把無(wú)窮遠(yuǎn)直線變換為通過(guò)坐標(biāo)原點(diǎn)的直線。k!=0：一般情況，此時(shí)H分解為：其中k為行列式等于1的上三角正數(shù)矩陣，R為正交陣Hp:改變無(wú)窮遠(yuǎn)直線的射影變換Ha:保持面積比不變的仿射變換Hs:相似變換自由度：8個(gè)不變量：變換前后共點(diǎn)，共線，交比，相切，拐點(diǎn)，切線的不連續(xù)性和岐點(diǎn)保持不變。是一個(gè)最為廣義的線性變換第四講空間射影幾何---數(shù)學(xué)根底知識(shí)對(duì)上一講的知識(shí)回憶和補(bǔ)充：1空間點(diǎn)：在三維射影空間中沒(méi)有定義，不能作為三維射影空間中點(diǎn)的齊次坐標(biāo)2空間平面：平面方程：即空間點(diǎn)的齊次坐標(biāo)平面的齊次坐標(biāo)無(wú)窮遠(yuǎn)平面：空間點(diǎn)〔x0,y0,z0〕到直線Ax+By+Cz+D=0的距離：d=|Ax0+By0+Cz0|/sqrt(A^2+B^2+C^2)*平面上的無(wú)窮遠(yuǎn)直線代表了該平面的法向結(jié)論：〔1〕兩平面平行的充要條件是，他們的交線為無(wú)窮遠(yuǎn)直線，或他們有相同的方向?！?〕直線與直線(平面)平行的充要條件是他們相交于無(wú)窮遠(yuǎn)點(diǎn)三點(diǎn)確定一個(gè)平面計(jì)算：三平面確定一點(diǎn)：如果三面不共線，則系數(shù)矩陣的秩為3，否則共線于1，系數(shù)矩陣的秩為2，則不能唯一確定一點(diǎn)，而是在直線上的所有點(diǎn)。*面共線：面的法線共面空間平面點(diǎn)的參數(shù)化：給定平面π上不共線三個(gè)點(diǎn)的齊次坐標(biāo)X1，X2，X3,則平面上任一點(diǎn)可表示為：X=αX1+βX2+γX3=(X1，X2，X3)x=(α,β,γ)為點(diǎn)X的參數(shù)化表示，也是平面點(diǎn)的齊次坐標(biāo)。3空間直線：點(diǎn)表示：將直線作為兩個(gè)點(diǎn)的連線點(diǎn)束：(x1*α+x2*β,y1*α+y2*βz1*α+z2*β,α+β)即各個(gè)分量都是線性組合~~空間中的點(diǎn)和平面是對(duì)偶的，直線是自對(duì)偶的。面表示：將直線作為空間中的點(diǎn)和平面是對(duì)偶的，直線是自對(duì)偶的。三維射影變換是三維空間中可逆的齊次線性變換，用4*4的矩陣H三維射影變換是三維空間中可逆的齊次線性變換，用4*4的矩陣H來(lái)描述H為射影變換，或單應(yīng)矩陣。有15個(gè)自由度?？捎?5個(gè)參數(shù)確定。三維射影變換將空間上的點(diǎn)(線、面)變換到點(diǎn)(線、面)，并保持點(diǎn)的共線共面性，線的共面性。任何三維射影變換的逆變換也是三維射影變換。任意三維射影變換的合成也是三維射影變換。三維射影變換的全體構(gòu)成三維射影空間上的變換群，稱為三維射影變換群。仿射變換群：相似變換群：等距變換群：，是三維相似變換的子群。如果限制U為旋轉(zhuǎn)矩陣，則為歐式變換。歐式變換的全體構(gòu)成等距變換的子群。第五講計(jì)算機(jī)視覺(jué)中的多視幾何1單視幾何主像點(diǎn)在圖像平面中心：空間中某一點(diǎn)的非齊次坐標(biāo)為：(Xc空間中某一點(diǎn)的非齊次坐標(biāo)為：(Xc,Yc,Zc)對(duì)應(yīng)的齊次坐標(biāo)為：(Xc,Yc,Zc,1)射影到圖像平面，對(duì)應(yīng)的非齊次坐標(biāo)和齊次坐標(biāo)如下攝像機(jī)坐標(biāo)系與圖像平面坐標(biāo)系之間的關(guān)系：*P：攝像機(jī)矩陣。表示一個(gè)從空間到平面的齊次線性變換主像點(diǎn)偏離圖像平面中心：設(shè)主點(diǎn)在以圖像平面坐標(biāo)系下的坐標(biāo)為：則空間中的點(diǎn)在圖像平面中的非齊次坐標(biāo)變化為：設(shè)主點(diǎn)在以圖像平面坐標(biāo)系下的坐標(biāo)為：則空間中的點(diǎn)在圖像平面中的非齊次坐標(biāo)變化為：攝像機(jī)坐標(biāo)系與圖像平面坐標(biāo)系之間的關(guān)系：2CCD攝像機(jī)：假設(shè)CCD攝像機(jī)的每個(gè)像素是矩形，長(zhǎng)為dx，寬為dy.則在攝像機(jī)坐標(biāo)系中空間點(diǎn)在圖像平面中的齊次坐標(biāo)離散化后為則其中fx=f/dx;fy=f/dy;一般CCD攝像機(jī)的像素是一個(gè)平行四邊形，如：則在攝像機(jī)坐標(biāo)系中空間點(diǎn)在圖像平面中的齊次坐標(biāo)離散化后為則：*K(I,O)為攝像機(jī)內(nèi)參數(shù)矩陣3攝像機(jī)矩陣的一般形式：世界坐標(biāo)系：令空間點(diǎn)在世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的坐標(biāo)分別為：世界坐標(biāo)系中的點(diǎn)到攝像機(jī)坐標(biāo)系的變換可以用一個(gè)正交變換矩陣R和一個(gè)平移變換矩陣T表示：=Rxyz+T=r11齊次坐標(biāo)表示：其中，T=是世界坐標(biāo)系原點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)，矩陣R是正交旋轉(zhuǎn)矩陣，其矩陣元素滿足：正交旋轉(zhuǎn)矩陣實(shí)際上只含有3個(gè)獨(dú)立變量，再加上tx,ty和tz，總共有六個(gè)參數(shù)決定了攝像機(jī)光軸在世界坐標(biāo)系中空間位置，因此這六個(gè)參數(shù)稱為攝像機(jī)外部參數(shù)其中表示攝像機(jī)中心在世界坐標(biāo)系中的非齊次坐標(biāo)。小結(jié)：攝像機(jī)矩陣的一般形式攝像機(jī)外參數(shù)矩陣：攝像機(jī)內(nèi)參數(shù)矩陣：K(I,O)4世界坐標(biāo)系與圖像坐標(biāo)系變換關(guān)系：z是什么含義？*M1:攝像機(jī)的內(nèi)部參數(shù)矩陣0M2:攝像機(jī)的外部參數(shù)矩陣*上式就是攝影測(cè)量學(xué)中最根本的共線方程。說(shuō)明物點(diǎn)、光心和像點(diǎn)這三點(diǎn)必須在同一條直線上。這是針孔模型或者中心投影的數(shù)學(xué)表達(dá)式。根據(jù)共線方程在攝像機(jī)內(nèi)部參數(shù)確定的條件下，利用假設(shè)干個(gè)的物點(diǎn)和相應(yīng)的像點(diǎn)坐標(biāo)，就可以求出攝像機(jī)的六個(gè)外部參數(shù)。5攝像機(jī)矩陣的元素〔攝像機(jī)矩陣的幾何意義〕攝像機(jī)的中心：攝像機(jī)矩陣的一般形式因?yàn)椋允欠匠蘌C=0的一個(gè)解。故在攝像機(jī)矩陣的情況下，可以通過(guò)求解PX=0得到攝像機(jī)中心在世界坐標(biāo)系下的坐標(biāo)。求解：令,其中H為P的前三列構(gòu)成的3*3矩陣，為第四維向量，從PX=0可以解出攝像機(jī)中心在世界坐標(biāo)系中的齊次方程坐標(biāo)原點(diǎn)與坐標(biāo)軸方向;記攝像機(jī)矩陣為，其中為P的第j列向量。世界坐標(biāo)系的原點(diǎn)坐標(biāo)為,所以它的圖像坐標(biāo)為:即：攝像機(jī)矩陣的第四列向量是世界坐標(biāo)原點(diǎn)圖像的齊次坐標(biāo)三個(gè)坐標(biāo)軸與無(wú)窮遠(yuǎn)平面的交點(diǎn)分別為：所以他們的圖像坐標(biāo)為：*s0,s1,s2,s3都是可相差常數(shù)倍數(shù)因子即：攝像機(jī)矩陣的前三個(gè)列向量分別是世界坐標(biāo)系3個(gè)坐標(biāo)軸方向的圖像點(diǎn)的齊次坐標(biāo)主平面與軸平面:6具體求解攝像機(jī)矩陣：六點(diǎn)法：7平面測(cè)量：8歐式空間與射影空間：一般來(lái)說(shuō)，攝像機(jī)模型可以被看做從三維射影空間到二維射影平面的映射，可用下面的合成矩陣表達(dá)：1〕如果，其中rank(A)=3,表示三維空間的仿射變換，則是世界坐標(biāo)系為仿射坐標(biāo)系的攝像機(jī)矩陣，稱它為放射空間中的攝像機(jī)矩陣。2〕如果其中R是旋轉(zhuǎn)矩陣，s為非零常數(shù)，表示三維空間的相似變換，則是世界坐標(biāo)系為歐式坐標(biāo)系的攝像機(jī)矩陣，稱它為相似空間中的攝像機(jī)矩陣。3〕如果其中R是旋轉(zhuǎn)矩陣，表示三維空間的歐式變換，則是世界坐標(biāo)系為歐式坐標(biāo)系〔量度為絕對(duì)量度〕的攝像機(jī)矩陣，稱它為歐式空間中的攝像機(jī)矩陣。即前面所講的攝像機(jī)矩陣。4〕如果，則是攝像機(jī)坐標(biāo)系為世界坐標(biāo)系的攝像機(jī)矩陣。9兩視幾何外極幾何：研究?jī)煞鶊D像之間存在的幾何，和場(chǎng)景結(jié)構(gòu)無(wú)關(guān)，只依賴于攝像機(jī)的內(nèi)外參數(shù)。研究這種幾何可以用在圖像匹配、三維重建方面。根本概念:基線：連接兩個(gè)攝象機(jī)光心O〔O’〕的直線外極點(diǎn)：基線與像平面的交點(diǎn)外極平面：過(guò)基線的平面外極線：對(duì)極平面與圖像平面的交線根本矩陣F：對(duì)應(yīng)點(diǎn)對(duì)之間的約束根本性質(zhì)：極平面上任意一點(diǎn)X在第一個(gè)攝像機(jī)平面上的投影m必位于極線上lX在第二個(gè)攝像機(jī)平面上的投影m’必位于極線上l’e是第二個(gè)攝像機(jī)光心e’在第一個(gè)攝像機(jī)平面的投影e’是第一個(gè)攝像機(jī)光心e在第二個(gè)攝像機(jī)平面的投影m的反投影線與的反投影線必相交于一個(gè)空間點(diǎn)X，因此反投影線確定一張通過(guò)兩攝像機(jī)光心的平面π極線是反投影線在第二個(gè)攝像機(jī)下的投影，極線是反投影線在第一個(gè)攝像機(jī)下的投影。命題一：令是點(diǎn)對(duì)應(yīng)，則m’位于m對(duì)應(yīng)的極線上，m位于m’對(duì)應(yīng)的極線上，即給定兩攝像機(jī)下的圖像(I,I’),極幾何約束說(shuō)明：*極幾何約束與場(chǎng)景幾何結(jié)構(gòu)無(wú)關(guān)，是兩幅圖像間的固有射影性質(zhì)。極幾何的代數(shù)表示:根本矩陣:描述圖像點(diǎn)與其極線的對(duì)應(yīng)關(guān)系假設(shè)兩個(gè)攝像機(jī)矩陣為P，P’，攝像機(jī)平面為I,I’,則兩幅圖像之間關(guān)系推導(dǎo)：令其中：X(s)是世界坐標(biāo)系下的X坐標(biāo)〔(第一個(gè)攝像機(jī)坐標(biāo)系下X坐標(biāo))標(biāo)準(zhǔn)的，s是畸變因子，一般的，其中是P的廣義逆，即〕C是第一個(gè)攝像機(jī)的光心，即PC=0.于是：----------------(2)記：---------------(3)小結(jié)：根本矩陣描述了點(diǎn)m與其對(duì)應(yīng)極線的對(duì)應(yīng)關(guān)系：=Fm----------------(4)由于圖像點(diǎn)m’在第二幅圖像上的對(duì)應(yīng)點(diǎn)在極線上，所以必有：--------------(5)------(6)F:把第一個(gè)圖像平面上的二維空間點(diǎn)齊次線性映射到第二個(gè)圖像平面的共點(diǎn)線束上。F是齊次變換，3*3矩陣，8個(gè)參數(shù)。對(duì)于每個(gè)圖像點(diǎn)對(duì)應(yīng)，(5)為根本矩陣提供一個(gè)線性約束，，8對(duì)以上的點(diǎn)對(duì)應(yīng)可以線性求解根本矩陣。根本矩陣F的估計(jì)方法：8點(diǎn)算法：一對(duì)對(duì)應(yīng)點(diǎn)：，滿足約束：其中：展開(kāi)得到約束方程：對(duì)于n對(duì)對(duì)應(yīng)的圖像點(diǎn)對(duì)可以得到n個(gè)這樣的方程，構(gòu)造向量：構(gòu)造矩陣：從而：Af=0評(píng)價(jià)：8點(diǎn)算法估計(jì)根本矩陣F的結(jié)果與圖像點(diǎn)的坐標(biāo)系有關(guān)。當(dāng)圖像數(shù)據(jù)有噪聲，即對(duì)應(yīng)點(diǎn)不精確時(shí)，由8點(diǎn)算法給出的根本矩陣F的解精度很低。10三視幾何：三幅圖像之間存在約束:三焦張量T(*四幅或更多圖像之間不存在獨(dú)立的約束，它們可以由F和T生成。)根本概念：三焦張量由三個(gè)33矩陣{T1，T2，T3}組成。一共有27個(gè)元素。三幅圖像之間的約束：其中：l，l’，l’’為在三幅圖像中對(duì)應(yīng)的直線。根本矩陣與三焦張量之間存在的關(guān)系：由三焦張量和外極點(diǎn)可得到一組投影矩陣：第六講：光學(xué)系統(tǒng)的近軸成像1小孔成像：小孔成像的特點(diǎn)：1小孔成像的特點(diǎn)：1小孔成像是由光的直線傳播形成的2小孔成像與小孔形狀無(wú)關(guān)3小孔成像中像就是光斑4像是倒立的實(shí)像2成像：光線分類：物理光線：光從一個(gè)由兩個(gè)光孔限制的細(xì)長(zhǎng)空間〔即光管〕中通過(guò)，假設(shè)光管的截面跟其長(zhǎng)度比可以忽略時(shí)，這樣的光管叫做物理光線。有直徑有體積。幾何光線：無(wú)直徑無(wú)體積的純幾何線波面：光傳播的空間〔波場(chǎng)〕中，振動(dòng)相位相同的點(diǎn)在某一時(shí)刻所構(gòu)成的曲面稱為波面。在各向同性媒質(zhì)中，光沿著波面法線傳播。因此，通常說(shuō)的幾何光線實(shí)際指的就是波面的法線；跟波面對(duì)應(yīng)的法線束就是通常說(shuō)的光束?？梢哉J(rèn)為光束是光能的載體，在同一波面上通過(guò)的光束愈寬，其所攜帶的光能就愈多。單心光束(同心光束)：各光線〔或反向延長(zhǎng)線〕交于同一點(diǎn)的光束。物點(diǎn)&像點(diǎn)：一個(gè)以Q點(diǎn)為中心的同心光束經(jīng)光具組〔可以是透鏡組，也可以是透鏡跟面鏡的組合等等〕折射〔或反射〕后，轉(zhuǎn)化為另一個(gè)以Q′點(diǎn)為中心的同心光束。Q為物點(diǎn)；Q′為像點(diǎn)。實(shí)像&虛像：假設(shè)出射光束是會(huì)聚的，則為實(shí)像；假設(shè)出射同心光束是發(fā)散的，則為虛像。實(shí)物&虛物：虛物常出現(xiàn)在光具組聯(lián)合成像的問(wèn)題中。如一個(gè)光具組出射的是會(huì)聚光束，在會(huì)聚前就遇到了另一個(gè)光具組，那么，原來(lái)的那個(gè)會(huì)聚中心就是后一個(gè)光具組的虛物。物方&像方：物方(物空間)：物得光線所在的空間像方(像空間)：像的光線所在的空間理想成像：對(duì)任何一個(gè)物點(diǎn)成像后仍是一個(gè)點(diǎn)，即同心光束到同心光束理想光線系統(tǒng)〔光具組〕：能到達(dá)理想成像的光學(xué)系統(tǒng),即使任何同心光束保持同心性的光具組，只有平面鏡可做到理想成像，其他系統(tǒng)在一定限制下可接近理想成像像差：如果同心光束的像不成一點(diǎn)，這種情況就稱系統(tǒng)有像差。物象之間的等光程性：根據(jù)費(fèi)馬原理，在均勻介質(zhì)中的兩點(diǎn)間〔直線傳播〕、經(jīng)平面反射的兩點(diǎn)間，以及經(jīng)平面折射的兩點(diǎn)間的實(shí)際光路均是光程取極小值的情形。即成象系統(tǒng)的物點(diǎn)和像點(diǎn)之間各光線的光程相等。*推論：任意兩波面間的光程相等*透鏡在成像過(guò)程中只會(huì)改變波面的形狀；不會(huì)引入附加相位差。3共軸球面組的傍軸(近軸)成像共軸球面光具組：由球心在同一直線上的一系列折射或反射球面組成的光學(xué)系統(tǒng)叫共軸光具組。各球心的連線為光軸傍軸光線：在共軸球面系統(tǒng)中，假設(shè)入射光線和出射光線靠近主光軸，且與主光軸的夾角μ很小，使sinμ≈tgμ≈μ，cosμ≈1近似成立，則相應(yīng)的光線稱為傍軸光線。此條件稱為傍軸條件。在傍軸條件下共軸球面系統(tǒng)可近似看做理想光學(xué)系統(tǒng)。單個(gè)球面成像公式：引入S和，如下列圖：物象成像公式推導(dǎo)：根本關(guān)系式：三角形正弦公式：------------------------------------------------------------------------------(1)用(1)式分別表示出和，帶入根本關(guān)系式，調(diào)整得：---------(2)因?yàn)椋赫归_(kāi),提公因式整理得：-----------------------(3)把(3)帶入(2)得準(zhǔn)確的物象成像公式如下：-----------------------------------------------------------(4)說(shuō)明：一般情況下與有關(guān)。因此Q點(diǎn)發(fā)出不同傾角的光線，折射后不再與光軸交于同一點(diǎn)。未保持同心光束的同心性不能成像傍軸條件下的物距和像距公式：根本關(guān)系式：------------ni=ni傍軸條件下的物距相距公式：-----------------------------------〔5〕〔即〔4〕式右項(xiàng)為0，因?yàn)楹苄　场?〕式整理后得到單個(gè)折射球面的物象距公式：------------------------------------〔6〕*符號(hào)規(guī)定：實(shí)物實(shí)像時(shí)，和取正號(hào)；虛物虛像時(shí)，和取負(fù)號(hào)。凸面球迎著入射光線時(shí)，r取正號(hào)；凹面球迎著入射光線時(shí)，r取符號(hào)。*實(shí)際情況中非傍軸光線所推的結(jié)果與傍軸光線所推的結(jié)果的偏差稱為像差，常作為對(duì)實(shí)際系統(tǒng)質(zhì)量的一種量度。焦點(diǎn)、焦距和光焦度第一焦點(diǎn)：當(dāng)點(diǎn)光源在主光軸上的F1點(diǎn)時(shí)，如果折射光為平行于主光軸的光線(像距為無(wú)限遠(yuǎn)),則F1稱為第一焦點(diǎn)第一焦距：第一焦點(diǎn)到O點(diǎn)的距離稱為第一焦距，用f1表示由公式(6)：，且為無(wú)窮大，故可得：f1=s==-------------------------------------〔7〕第二焦點(diǎn)：當(dāng)平行于主光軸的光〔物距為無(wú)限遠(yuǎn)〕經(jīng)折射而成的像在主光軸上的F2時(shí)，稱F2為第二焦點(diǎn)第二焦距：第二焦點(diǎn)到O點(diǎn)的距離稱為第二焦距，用f2表示同理，由公式〔6〕：，且s為無(wú)窮大，故可得：f2===---------------------------------------〔8〕f1和f2的大小表征著折射面的折射本領(lǐng)。共軸球面系統(tǒng)：幾個(gè)折射球面的曲率中心在同一條直線上，該直線稱為此共軸球面的主光軸共軸球面系統(tǒng)成像求解：透鏡：是具有兩個(gè)折射球面的光學(xué)系統(tǒng)，是最簡(jiǎn)單的共軸球面系統(tǒng)。透鏡厚度：透鏡兩個(gè)曲面在主光軸上的距離薄透鏡：透鏡厚度與其球面半徑比可忽略不計(jì)。薄透鏡種類如下：薄透鏡成像公式：第一次折射：-----------------------------〔1〕第二次折射：---------------------------〔2〕〔1〕+〔2〕，得薄透鏡成像公式：----------------------------------〔3〕當(dāng)透鏡置于空氣中，即=1時(shí)，薄透鏡成像公式為：--------------------------------〔4〕薄透鏡的焦點(diǎn)、焦距和焦度：第一焦點(diǎn)：當(dāng)點(diǎn)光源在主光軸上F1點(diǎn)時(shí)，如果折射光為平行于主光軸的光線(像距為無(wú)窮遠(yuǎn)),則F1稱為第一焦點(diǎn)第一焦距：第一焦點(diǎn)到透鏡中心的距離為第一焦距，用f1表示將u=f1,v=∞帶入〔3〕，得：第一焦距：薄透鏡置于空氣中時(shí)：第二焦點(diǎn)：當(dāng)平行于主光軸的光〔物距為無(wú)限遠(yuǎn)〕經(jīng)折射而成的像在主光軸上的F2時(shí)，F(xiàn)2為第二焦點(diǎn)第二焦距：第二焦點(diǎn)到透鏡中心點(diǎn)的距離，用f2表示將u=∞,v=f2帶入〔3〕，得：第二焦距：薄透鏡置于空氣中時(shí)：*凸透鏡的焦距為正，凹透鏡的焦距為負(fù)即薄透鏡焦距：------------------------------(3)薄透鏡成像：-----------------------------(5)將薄透鏡的焦距公式帶入薄透鏡成像公式得：薄透鏡成像公式的高斯形式：-----------------------------〔6〕其中：稱為焦度薄透鏡組合：復(fù)合透鏡：兩透鏡之間的距離為0，在此條件下，第一透鏡所成的像就是第二透鏡的物。第一個(gè)透鏡：第二個(gè)透鏡：兩式相加：令：則有：f稱為透鏡組的等效焦距。假設(shè)以焦度表示，則有：上式說(shuō)明，實(shí)際情況下需要某一定焦度的透鏡而沒(méi)有時(shí)，就可用兩只適當(dāng)?shù)耐哥R搭配起來(lái)。柱面透鏡：透鏡折射面不是球面的一局部，而是圓柱面的一局部，這種透鏡稱為柱面透鏡凸柱面透鏡凹柱面透鏡柱面透鏡成像：柱面透鏡的橫截面和球面透鏡的截面相同。因此，在同一個(gè)水平面的入射光線將被會(huì)聚〔或發(fā)散〕。但是，柱面透鏡豎直方向的截面〔縱截面〕卻像一個(gè)平板玻璃。因此在同一豎直平面內(nèi)的入射光線通過(guò)柱面透鏡時(shí)，不改變進(jìn)行方向，此方向稱為柱面透鏡的鏡軸方向。例：一個(gè)點(diǎn)光源發(fā)出的光線，經(jīng)凸圓柱透鏡后，所成的像不是一個(gè)清晰的點(diǎn)，而是一條與鏡軸平行的直線。透鏡的像差：像差再次說(shuō)明：光學(xué)系統(tǒng)實(shí)際成的像與理論計(jì)算結(jié)果有差異，這種差異叫做像差球面像差：在主光軸上以單色點(diǎn)光源發(fā)出的光線射到球面上往往不止是近軸光線，而是那些射到透鏡邊緣的光線，這樣就會(huì)受到較大的偏折，以至于不能與近軸光線同交于一點(diǎn)，使得在近軸光線的成像點(diǎn)位置處不是一個(gè)點(diǎn)，而是一個(gè)小圓斑。這種像差是由于透鏡外表呈球面引起的，因此叫球面像差。減小球面像差的方法：*在透鏡前加一個(gè)光闌，以遮斷射到透鏡邊緣的光線，*在透鏡前加一個(gè)光闌，以遮斷射到透鏡邊緣的光線，*配以適當(dāng)?shù)陌l(fā)散透鏡，組成一個(gè)符合透鏡，是射到透鏡邊緣的光線得到適當(dāng)?shù)陌l(fā)散，而與近軸光線會(huì)聚與一個(gè)交點(diǎn)上。色相差：不同顏色的光在不同的介質(zhì)中折射率是不相同的。同一透鏡對(duì)不同波長(zhǎng)的光它們的焦距也不相同。即一束平行于主光軸的復(fù)合光經(jīng)過(guò)透鏡折射后，不能會(huì)聚在同一點(diǎn)上。這樣一束平行于主光軸的白光通過(guò)透鏡就不是形成一個(gè)清晰的點(diǎn)像，而是一個(gè)彩色亮斑，其中紫光的焦距最短，而紅光的焦距最長(zhǎng)。減小色相差方法：配以不同質(zhì)料的，適當(dāng)?shù)陌l(fā)散透鏡，配合成消色差透鏡。人眼屈光*不考，詳見(jiàn)課件《光學(xué)系統(tǒng)的近軸成像》第七講：圖像分割〔1〕1.基于邊緣檢測(cè)的分割常用的一些邊緣檢測(cè)方法：(標(biāo)量場(chǎng)中某一點(diǎn)上的梯度指向標(biāo)量場(chǎng)增長(zhǎng)最快的方向，梯度長(zhǎng)度表示最大的變化率)Roberts:交叉梯度算法Soble:Prewitt:2.基于閾值化分割最大類間方差法〔OTSU〕：具體實(shí)現(xiàn)方法：對(duì)于圖像I(x,y)T:前景〔即目標(biāo)〕和背景的分割閾值ω0:前景像素點(diǎn)數(shù)占μ0:ω1:3基于聚類的分割4.均值漂移MeanShift算法5基于SVM的圖像分割6基于粒子群的分類優(yōu)化方法7聚類：聚類方法：C均值聚類(HCM或K)均值聚類法FCM基于模糊均值聚類法KFCM模糊均值聚類核函數(shù)法第八講：圖像分割〔2〕1復(fù)習(xí)Hough變換2最小二乘直線擬合直線參數(shù)的估計(jì)：設(shè)直線方程為：(相關(guān)系數(shù))r值范圍介于-1與+1之間，即-1≤r≤1。當(dāng)r>0時(shí)直線的斜率為正，稱正相關(guān)；當(dāng)r<0時(shí)直線的斜率為負(fù)，稱負(fù)相關(guān)。當(dāng)|r|＝1時(shí)全部數(shù)據(jù)點(diǎn)(xi,yi)都落在擬合直線上。假設(shè)r＝0則x與y之間完全不相關(guān)。r值愈接近±1則它們之間的線性關(guān)系愈密切。推導(dǎo)：定理〔充分條件〕：設(shè)函數(shù)z=f(x,y)在點(diǎn)(x0,y0)的某領(lǐng)域內(nèi)連續(xù)且有一階及二階連續(xù)偏導(dǎo)數(shù)，又fx(x0,y0)=0，fy(x0,y0)=0，令fxx(x0,y0)=A，fxy(x0,y0)=B，fyy(x0,y0)=C，則f(x,y)在(x0,y0)處是否取得極值的條件如下：

〔1〕AC-B2>0時(shí)具有極值，且當(dāng)A<0時(shí)有極大值，當(dāng)A>0時(shí)有極小值；

〔2〕AC-B2<0時(shí)沒(méi)有極值；

〔3〕AC-B2=0時(shí)可能有極值，也可能沒(méi)有極值，還需另作討論。定理〔必要條件〕：設(shè)函數(shù)z=f(x,y)在點(diǎn)(x0,y0)具有偏導(dǎo)數(shù)，且在點(diǎn)(x0,y0)處有極值，則它在該點(diǎn)的偏導(dǎo)數(shù)必然為零。對(duì)a0,a1分別求偏導(dǎo)：3最小二乘曲線擬合考慮圖1的N個(gè)數(shù)據(jù)點(diǎn)，它們的坐標(biāo)是(X1,Y1)，(X2,Y2)...，(XN,YN)。假設(shè)這些值中的X是嚴(yán)格的精確值，Y的值是測(cè)量值(含有一些誤差)二次擬合函數(shù)：4穩(wěn)健回歸第九講：貝葉斯分類1概率論根本知識(shí)：先驗(yàn)概率：事情還沒(méi)有發(fā)生,求這件事情發(fā)生的可能性的大小是在缺乏某個(gè)事實(shí)的情況下描述一個(gè)變量通常是經(jīng)驗(yàn)豐富的專家的純主觀的估計(jì)后驗(yàn)概率：事情已經(jīng)發(fā)生,求這件事情發(fā)生的原因是由某個(gè)因素引起的可能性的大小是在考慮了一個(gè)事實(shí)之后的條件概率可以根據(jù)通過(guò)貝葉斯公式，用先驗(yàn)概率和似然函數(shù)計(jì)算出來(lái)。貝葉斯公式：離散形式：A,B為離散隨機(jī)變量連續(xù)形式：A為離散隨機(jī)變量，B為連續(xù)隨機(jī)變量2貝葉斯概率分類器：3多類貝葉斯分類器：4最小風(fēng)險(xiǎn)率Bayes分類5正態(tài)分布決策理論：正態(tài)分布判別函數(shù)：?jiǎn)巫兞空龖B(tài)分布：多維正態(tài)分布：正態(tài)分布決策理論：第十講：運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)〔1〕1.圖像特征匹配算法基于低層次視覺(jué)特征的圖像檢索與匹配方法歸納起來(lái)大致如下：基于顏色特征的圖像檢索與匹配；基于紋理特征的圖像檢索與匹配；基于形狀特征的圖像檢索與匹配；基于空間關(guān)系的圖像檢索與匹配。2基于顏色特征的匹配：方法：顏色直方圖法直方圖相交法距離法中心矩法顏色集顏色聚合向量顏色聚合向量法：顏色聚類：在建立顏色直方圖前,為減少直方圖的維數(shù),有必要對(duì)顏色進(jìn)行聚類.聚類的根本思想：是以量化點(diǎn)顏色為軸心,把與該顏色相似的顏色歸并到這一類,在最低平均方差下聚類出最少數(shù)目的顏色.圖像的顏色聚合向量：核心思想是將屬于直方圖每一個(gè)bin的像素分為兩局部：如果該bin內(nèi)的某些像素所占據(jù)的連續(xù)區(qū)域的面積大于給定的閾值，則該區(qū)域內(nèi)的像素作為聚合像素，否則作為非聚合像素，從而將每一個(gè)bin分為顏色聚合向量和顏色非聚合向量。顏色聚合向量的最大特點(diǎn)：克服了顏色直方圖和顏色矩的缺點(diǎn)，將顏色在圖像中的空間信息與顏色直方圖結(jié)合了起來(lái)。這樣既考慮了顏色分布的統(tǒng)計(jì)信息，又考慮了顏色的空間分布信息。假設(shè)，和分別代表直方圖的第i個(gè)bin中聚合像素和非聚合像素的數(shù)量，圖像的顏色聚合向量可以表達(dá)為。而顯然，就是該圖像的顏色直方圖。由于包含了顏色分布的空間信息，顏色聚合向量相比顏色直方圖可以到達(dá)更好的檢索效果。算法性能及評(píng)價(jià)顏色聚合向量很好地解決了直方圖沒(méi)有考慮圖像顏色空間分布信息的缺點(diǎn)，可以有效地減少檢索的誤差。在實(shí)際檢索應(yīng)用中，對(duì)于兩幅圖像算法性能及評(píng)價(jià)顏色聚合向量很好地解決了直方圖沒(méi)有考慮圖像顏色空間分布信息的缺點(diǎn)，可以有效地減少檢索的誤差。在實(shí)際檢索應(yīng)用中，對(duì)于兩幅圖像I和I'它們的顏色聚合向量分別為他們的距離或者說(shuō)不同可以表示為總結(jié)：顏色聚合向量算法在直方圖的根底上增加了劃分連通區(qū)域和判斷聚合性等步驟，大大增加了計(jì)算量。尤其是實(shí)現(xiàn)判斷連通區(qū)域的時(shí)候需要用到迭代與回溯算法，這對(duì)于計(jì)算量是很大的考驗(yàn)。為了減少計(jì)算量，盡量采取均勻量化的方法，并可以適當(dāng)減小量化的階數(shù)，即bin的個(gè)數(shù)。另外，也可以對(duì)于很大的圖像，可以先做一些“模糊化〞的預(yù)處理，把某個(gè)小鄰域內(nèi)的值用平均值代替，這樣也可以很大程度減少計(jì)算量。第十一講:運(yùn)動(dòng)跟蹤〔2〕多項(xiàng)式運(yùn)動(dòng)學(xué)：定義狀態(tài)向量：狀態(tài)方程：其中：〔T為K+1與k之間的時(shí)間間隔〕加速度一般不為常數(shù)，則設(shè)其在第k個(gè)間隔增量為n(k),那么速度的增量為n(k)T,位移的增量為那么三次運(yùn)動(dòng)模型可由方程來(lái)描述為：其中增量n(k)通常被描述為零均值白噪聲方向上加速度的噪聲第十二講：運(yùn)動(dòng)跟蹤〔3〕卡爾曼濾波：離散控制過(guò)程的系統(tǒng)：線性隨機(jī)微分方程描述：X(k)=AX(k-1)+BU(k)+W(k)W(k)：過(guò)程噪聲系統(tǒng)測(cè)量值：Z(k)=HX(k)+V(k)X(k|k-1)=AX(k-1|k-1)+BU(k)………..(1)式(1)中，X(k|k-1)是利用上一狀態(tài)預(yù)測(cè)的結(jié)果，X(k-1|k-1)是上一狀態(tài)最優(yōu)的結(jié)果，U(k)為現(xiàn)在狀態(tài)的控制量，如果沒(méi)有控制量，它可以為0系統(tǒng)結(jié)果已經(jīng)更新了，可是對(duì)應(yīng)于X(k|k-1)的covariance還沒(méi)更新。我們用P表示covariance：P(k|k-1)=AP(k-1|k-1)A’+Q………(2)P(k|k-1)是X(k|k-1)對(duì)應(yīng)的covariance(協(xié)方差)，P(k-1|k-1)是X(k-1|k-1)對(duì)應(yīng)的covariance，A’表示A的轉(zhuǎn)置矩陣，Q是系統(tǒng)過(guò)程的covariance。式子1，2就是卡爾曼濾波器5個(gè)公式當(dāng)中的前兩個(gè)，也就是對(duì)系統(tǒng)的預(yù)測(cè)。X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))(3)其中Kg為卡爾曼增益(KalmanGain)：Kg(k)=P(k|k-1)H’/(HP(k|k-1)H’+R)…(4)觀測(cè)噪聲協(xié)方差R到現(xiàn)在為止，已經(jīng)得到了k狀態(tài)下最優(yōu)的估算值X(k|k)。但是為了要另卡爾曼濾波器不斷的運(yùn)行下去直到系統(tǒng)過(guò)程結(jié)束，我們還要更新k狀態(tài)下X(k|k)的covariance：P(k|k)=〔I-Kg(k)H〕P(k|k-1)………(5)其中I為1的矩陣，對(duì)于單模型單測(cè)量，I=1。當(dāng)系統(tǒng)進(jìn)入k+1狀態(tài)時(shí)，P(k|k)就是式子(2)的P(k-1|k-1)。這樣，算法就可以自回歸的運(yùn)算下去。記憶：X(k|k-1)=AX(k-1|k-1)+BU(k)………..(1)P(k|k-1)=AP(k-1|k-1)A’+Q………(2)X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))(3)Kg(k)=P(k|k-1)H’/(HP(k|k-1)H’+R)…(4)P(k|k)=〔I-Kg(k)H〕P(k|k-1)………(5)X(k|k-1)：利用上一狀態(tài)預(yù)測(cè)的結(jié)果X(k-1|k-1)：上一狀態(tài)最優(yōu)的結(jié)果U(k)：現(xiàn)在狀態(tài)的控制量，如果沒(méi)有控制量，它可以為0A、B：系統(tǒng)參數(shù),對(duì)于多模型系統(tǒng)，他們?yōu)榫仃嘇’：表示A的轉(zhuǎn)置矩陣P(k|k-1)：X(k|k-1)對(duì)應(yīng)的covariance(協(xié)方差)P(k-1|k-1)：X(k-1|k-1)對(duì)應(yīng)的covarianceQ：系統(tǒng)過(guò)程的covariance。Kg：卡爾曼增益Z(k)：k時(shí)刻的測(cè)量值H：測(cè)量系統(tǒng)的參數(shù)，對(duì)于多測(cè)量系統(tǒng)，H為矩陣Z(K)-HX(k):=V(k):測(cè)量噪聲因?yàn)椋合到y(tǒng)測(cè)量值Z(k)=HX(k)+V(k)R：觀測(cè)噪聲協(xié)方差H’：H的轉(zhuǎn)置矩陣I：1的矩陣，對(duì)于單模型單測(cè)量，I=1注：任意給定初值均可，但是P!=0第十三講：視頻目標(biāo)檢測(cè)與跟蹤技術(shù)目標(biāo)跟蹤常用算法：目標(biāo)檢測(cè)主要算法：(1)基于幾何及亮度特征的跟蹤方法(1)幀差法(2)基于光流場(chǎng)的跟蹤方法(2)背景減法(3)基于頻域的跟蹤方法(3)光流法(4)基于區(qū)域匹配的方法(5)基于均值平移的方法背景減法：均值濾波W4模型碼書模型高斯背景模型內(nèi)核密度估計(jì)法均值濾波：(用的最多的背景圖像重構(gòu)方法)根本思想：先建立一個(gè)視頻流滑窗用來(lái)緩存L(L>=1)幀視頻圖像，然后把緩存中所有視頻圖像同位置像素的平均值作為該處像素的背景值，即：特點(diǎn)：需要L幀大小的內(nèi)存，其前提假設(shè)是像素在背景幀中停留的時(shí)間會(huì)超過(guò)緩存中一半以上的視頻幀中停留的時(shí)間，其背景像素的分布是均衡的，即單模態(tài)的。改良：運(yùn)行期均值法〔背景模板更新法〕思想：通過(guò)引入學(xué)習(xí)率λ來(lái)表達(dá)背景圖像對(duì)場(chǎng)景變化的響應(yīng)。λ通常取0.05，而λ越低，則前景的變化越不會(huì)影響背景。背景計(jì)算如下：優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單，速度快，在對(duì)準(zhǔn)確性要求不是特別高的場(chǎng)合得到廣泛的應(yīng)用;缺點(diǎn)：它需要較大的內(nèi)存來(lái)存儲(chǔ)歷史視頻圖像，并且均值濾波法只能用來(lái)檢測(cè)那些面積不大運(yùn)動(dòng)連續(xù)的目標(biāo)，對(duì)于大而慢的運(yùn)動(dòng)目標(biāo)則需要很大的滑窗，即需要很大的內(nèi)存來(lái)存儲(chǔ)很多幀歷史視頻圖像，否則檢測(cè)的目標(biāo)可能出現(xiàn)空洞現(xiàn)象。W4模型：(最簡(jiǎn)單的前景檢測(cè)方法)將背景模型中的每個(gè)像素用三個(gè)值來(lái)描述：最大灰度值：MAXt(x,y)最小灰度值：MINt(x,y)最大鄰間差分值：D