第五講中層視覺正交變換與運(yùn)動(dòng)估計(jì)

第五講中層視覺正交變換與運(yùn)動(dòng)估計(jì)第一頁(yè)，共五十五頁(yè)，2022年，8月28日1.圖象處理中的正交變換圖像的各種變換尤其是正交變換在圖像處理中有著廣泛的應(yīng)用，如圖象的特征提取，圖像的壓縮編碼，圖象的增強(qiáng)和濾波等。它的主要思想就是將原來在空間域上的圖像信號(hào)，通過一系列數(shù)學(xué)變換（如富里葉變換，余弦變換等），變換到變換域（頻率域，正交矢量空間），用變換系數(shù)來描述圖像，這些系數(shù)反映了圖像的某些特征，第二頁(yè)，共五十五頁(yè)，2022年，8月28日時(shí)域和頻域之間的變換可用數(shù)學(xué)公式表示如下：完成這種變換，一般采用的方法是線性正交變換。(7-2)為能同時(shí)表示信號(hào)的振幅和相位，通常采用復(fù)數(shù)表示法，因此上式可用復(fù)數(shù)表示為第三頁(yè)，共五十五頁(yè)，2022年，8月28日1）富里葉變換富里葉變換（FourierTransformation）是線性系統(tǒng)分析一個(gè)有力的工具，它使我們定量分析系統(tǒng)與信號(hào)的一個(gè)手段——頻域分析方法。一維連續(xù)富里葉變換（回顧）第四頁(yè)，共五十五頁(yè)，2022年，8月28日1）離散富里葉變換如果{fi}是一個(gè)長(zhǎng)度為N的序列，比如從對(duì)一個(gè)連續(xù)函數(shù)進(jìn)行等間隔采樣得到的，則離散富里葉變換（DFT）就是序列{Fn}：其中：第五頁(yè)，共五十五頁(yè)，2022年，8月28日由歐拉公式可知并利用cos(－θ)=cos(θ)，可得(7-10)可見，離散序列的傅立葉變換仍是一個(gè)離散的序列，每一個(gè)n對(duì)應(yīng)的傅立葉變換結(jié)果是所有輸入序列fi的加權(quán)和（每一個(gè)fi都乘以不同頻率的正弦和余弦值），n決定了每個(gè)傅立葉變換結(jié)果的頻率。第六頁(yè)，共五十五頁(yè)，2022年，8月28日通常傅立葉變換為復(fù)數(shù)形式，即式中，Rn和In分別是Fn的實(shí)部和虛部。上式也可表示成指數(shù)形式：其中第七頁(yè)，共五十五頁(yè)，2022年，8月28日通常稱|Fn|為f(x)的頻譜或傅立葉幅度譜，φn為f(x)的相位譜。頻譜的平方稱為能量譜或功率譜，它表示為考慮到兩個(gè)變量，就很容易將一維離散傅立葉變換推廣到二維。如果{f(i,k)}是一個(gè)NN的數(shù)組，則它的二維離散傅立葉變換對(duì)定義為二維離散富里葉變換第八頁(yè)，共五十五頁(yè)，2022年，8月28日二維離散富里葉變換的計(jì)算上式的指數(shù)可被分解，從而變換可寫成依次將二維DFT分解為水平和垂直兩部分運(yùn)算，方括號(hào)中項(xiàng)表示在圖象行上計(jì)算的DFT，方括號(hào)外邊的求和則實(shí)現(xiàn)結(jié)果數(shù)組在列上的DFT。這種分解是我們可以用一維FFT來實(shí)現(xiàn)二維DFT。矩陣表示：DFT用矩陣表示可以寫成第九頁(yè)，共五十五頁(yè)，2022年，8月28日二維離散富里葉變換的計(jì)算其中：是一個(gè)NxN的復(fù)酉矩陣，即矩陣的逆是它的復(fù)共軛的轉(zhuǎn)置G-1=(G*)T.要得到一個(gè)酉矩陣的逆，只要簡(jiǎn)單地交換行和列位置，并改變每個(gè)元素虛部的符號(hào)。由于G是對(duì)稱的，所以可以省掉轉(zhuǎn)置。定義|F(m,n)|2=F(m,n)F*(m,n)為圖象{f(i,j)}的功率譜，即F(m,n)的實(shí)部平方加虛部平方。功率譜是圖像的重要特征，反映圖像的灰度分布。例如具有精細(xì)結(jié)構(gòu)的圖像，其高頻分量較為豐富。如果圖像中目標(biāo)形狀排列呈現(xiàn)某種方向性，那么具有較高值的功率譜也呈現(xiàn)出與圖像目標(biāo)方向正交的方向分布。第十頁(yè)，共五十五頁(yè)，2022年，8月28日二維離散富里葉變換的計(jì)算f(x,y)yx|F(u,v)|2uv圖像模式延伸方向與功率譜高值的模式方向互相垂直例如，假設(shè)圖像{f(x,y)}灰度分布模式延y軸伸展,

1/X1/Y第十一頁(yè)，共五十五頁(yè)，2022年，8月28日二維離散富里葉變換的計(jì)算f(x,y)的FT由于功率譜函數(shù)模式延u軸延伸,因此，圖像功率譜模式延伸方向與原圖像灰度分布延伸方向相互正交。一般來說，若f的FT為F,則有：第十二頁(yè)，共五十五頁(yè)，2022年，8月28日二維離散富里葉變換由于富里葉變換的物理意義明確、直觀，加上有快速算法，近年來又出現(xiàn)了大規(guī)模集成電路的專用芯片，因此它是圖像數(shù)字變換中最常用的方法。實(shí)踐中，除了DFT變換之外，還采用許多其他的正交變換。例如：Karhunen_Loeve變換，離散余弦變換、沃爾什-哈達(dá)瑪變換、K-L變換等，下面將對(duì)常用的變換作一簡(jiǎn)要介紹。第十三頁(yè)，共五十五頁(yè)，2022年，8月28日2.離散余弦變換（DCT）

離散余弦變換（DiscreteCosineTransform，DCT）的變換核為余弦函數(shù)。DCT除了具有一般的正交變換性質(zhì)外，它的變換陣的基向量能很好地描述人類語(yǔ)音信號(hào)和圖像信號(hào)的相關(guān)特征。因此，在對(duì)語(yǔ)音信號(hào)、圖像信號(hào)的變換中，DCT變換被認(rèn)為是一種準(zhǔn)最佳變換。近年頒布的一系列視頻壓縮編碼的國(guó)際標(biāo)準(zhǔn)建議中，都把DCT作為其中的一個(gè)基本處理模塊。除此之外，DCT還是一種可分離的變換。第十四頁(yè)，共五十五頁(yè)，2022年，8月28日一維離散余弦變換一維DCT的變換核定義為式中，x,u=0,1,2,…,N－1；式中，u,x=0,1,2,…,N－1。第十五頁(yè)，共五十五頁(yè)，2022年，8月28日將變換式展開整理后，可以寫成矩陣的形式，即F=Gf其中第十六頁(yè)，共五十五頁(yè)，2022年，8月28日一維DCT的逆變換IDCT定義為式中，x,u=0,1,2,…,N－1。一維DCT的逆變換核與正變換核是相同的。第十七頁(yè)，共五十五頁(yè)，2022年，8月28日二維離散余弦變換考慮到兩個(gè)變量，很容易將一維DCT的定義推廣到二維DCT。其正變換核為式中，C(u)和C(v)的定義相同，見上式；x,u=0,1,2,…,M－1；y,v=0,1,2,…,N－1。二維DCT定義如下：設(shè)f(x,y)為M×N的數(shù)字圖像矩陣，則第十八頁(yè)，共五十五頁(yè)，2022年，8月28日離散沃爾什-哈達(dá)瑪變換（WHT）一維離散沃爾什-哈達(dá)瑪變換沃爾什函數(shù)是1923年由美國(guó)數(shù)學(xué)家沃爾什提出的。沃爾什函數(shù)系是一個(gè)完備正交函數(shù)系，其值只能?。?和－1。按照哈達(dá)瑪排列來定義的沃爾什函數(shù)是由2n（n=0，1，2，…）階哈達(dá)瑪矩陣（HadamardMatrix）得到的，而哈達(dá)瑪矩陣的最大優(yōu)點(diǎn)在于它具有簡(jiǎn)單的遞推關(guān)系，即高階矩陣可用兩個(gè)低階矩陣的克羅內(nèi)克積求得。N=2n(n=0,1,2,…)階哈達(dá)瑪矩陣每一行的符號(hào)變化規(guī)律對(duì)應(yīng)于某一個(gè)沃爾什函數(shù)的符號(hào)變化規(guī)律，即N=2n(n=0,1,2,…)階哈達(dá)瑪矩陣的每一行對(duì)應(yīng)于一個(gè)離散沃爾什函數(shù)，2n階哈達(dá)瑪矩陣有如下形式：第十九頁(yè)，共五十五頁(yè)，2022年，8月28日離散沃爾什-哈達(dá)瑪變換（WHT）哈達(dá)瑪矩陣的階數(shù)是按N＝2n(n＝0,1,2,…)規(guī)律排列的，階數(shù)較高的哈達(dá)瑪矩陣，可以利用矩陣的克羅內(nèi)克積運(yùn)算，由低階哈達(dá)瑪矩陣遞推得到，即第二十頁(yè)，共五十五頁(yè)，2022年，8月28日矩陣的克羅內(nèi)克積(KroneckerProduct)運(yùn)算用符號(hào)記作A⊙B，其運(yùn)算規(guī)律如下：設(shè)第二十一頁(yè)，共五十五頁(yè)，2022年，8月28日則第二十二頁(yè)，共五十五頁(yè)，2022年，8月28日則第二十三頁(yè)，共五十五頁(yè)，2022年，8月28日2.離散沃爾什-哈達(dá)瑪變換一維離散沃爾什變換定義為一維離散沃爾什逆變換定義為式中，Walsh(u,x)為沃爾什函數(shù)。若將Walsh(u,x)用哈達(dá)瑪矩陣表示，并將變換表達(dá)式寫成矩陣形式，則上兩式分別為第二十四頁(yè)，共五十五頁(yè)，2022年，8月28日和式中，［HN］為N階哈達(dá)瑪矩陣。第二十五頁(yè)，共五十五頁(yè)，2022年，8月28日由哈達(dá)瑪矩陣的特點(diǎn)可知，沃爾什-哈達(dá)瑪變換的本質(zhì)上是將離散序列f(x)的各項(xiàng)值的符號(hào)按一定規(guī)律改變后，進(jìn)行加減運(yùn)算，因此，它比采用復(fù)數(shù)運(yùn)算的DFT和采用余弦運(yùn)算的DCT要簡(jiǎn)單得多。二維離散沃爾什變換很容易將一維WHT的定義推廣到二維WHT。二維WHT的正變換核和逆變換核分別為和式中：x,u=0,1,2,…,M－1；y,v=0,1,2,…,N－1。第二十六頁(yè)，共五十五頁(yè)，2022年，8月28日二維離散沃爾什變換圖像數(shù)據(jù)為f正變換為：逆變換為：和求下面兩個(gè)信號(hào)的二維WHT。第二十七頁(yè)，共五十五頁(yè)，2022年，8月28日N=4，二維WHT變換核為所以第二十八頁(yè)，共五十五頁(yè)，2022年，8月28日由此可見，二維圖像數(shù)據(jù)經(jīng)過Walsh變換后，僅在七左上部保留了一些元素，而其他的大部分位置上元素取值為0，因此說二維WHT具有能量集中的特性，而且原始數(shù)據(jù)中數(shù)字越是均勻分布，經(jīng)變換后的數(shù)據(jù)越集中于矩陣的邊角上。因此，WHT在圖像壓縮，雷達(dá)、通信、生物醫(yī)學(xué)等得到了廣泛的應(yīng)用。第二十九頁(yè)，共五十五頁(yè)，2022年，8月28日2.二維運(yùn)動(dòng)估計(jì)自然界的一切景物都在運(yùn)動(dòng)著，靜止只是相對(duì)的，利用種種觀測(cè)器取得的二維圖像序列只是記錄了景物的某一側(cè)面、某一局部、某一時(shí)間內(nèi)各時(shí)刻的灰度圖像。從二維圖像序列檢測(cè)景物運(yùn)動(dòng)，提取運(yùn)動(dòng)參數(shù)，分析景物的運(yùn)動(dòng)規(guī)律；或者獲取立體景物的深度、遮蓋和表面主方向等信息是圖像序列分析的主要研究?jī)?nèi)容。例如，從運(yùn)動(dòng)物體的圖像序列提取物體（如飛行器、交叉路口的汽車、傳送帶上的機(jī)器零件等）的平移、旋轉(zhuǎn)等運(yùn)動(dòng)參數(shù)，從衛(wèi)星云圖提取某地區(qū)上空各云團(tuán)中心的運(yùn)動(dòng)規(guī)律。從一個(gè)心動(dòng)周期的超聲波圖像序列，檢測(cè)心內(nèi)膜位置，從而計(jì)算心臟排血量等對(duì)診斷心臟病有重要價(jià)值的參數(shù)。第三十頁(yè)，共五十五頁(yè)，2022年，8月28日二維運(yùn)動(dòng)估計(jì)如果同一個(gè)觀測(cè)器，在相鄰兩時(shí)刻tk-1和tk獲得的同一個(gè)三維景物圖像為f(x,y,tk-1)幀與f(x,y,tk)，而景物中某物體的特征（例如飛行器的前端）在這兩幅圖像上的相對(duì)位置是不同的，我們稱這種位置的差為視差。它是三維景物的運(yùn)動(dòng)反映在二維圖像上的位移向量（包括大小和方向）.視差除以時(shí)間tk，稱為瞬時(shí)位置速度.在圖象序列反映的景物中，各物體或部分的運(yùn)動(dòng)是不同的，形成眾多的瞬時(shí)位置速度向量，這些不同的瞬時(shí)位置速度向量分布在圖像上形成的向量場(chǎng)稱為瞬時(shí)位置速度場(chǎng)，也稱為光流場(chǎng)。根據(jù)視差大小和方向可以推斷立體景物物體表面上各點(diǎn)與觀測(cè)器之間的距離或深度，從而獲得距離版圖；也可以推斷多個(gè)物體相互遮蓋邊界位置和物體表面各點(diǎn)的表面主方向。第三十一頁(yè)，共五十五頁(yè)，2022年，8月28日二維運(yùn)動(dòng)估計(jì)在運(yùn)動(dòng)檢測(cè)、運(yùn)動(dòng)參數(shù)提取、運(yùn)動(dòng)分析、距離版圖獲取、遮蓋物體邊界古跡、物體表面主方向估計(jì)中，視差的估計(jì)是十分重要的。圖像序列分析的應(yīng)用領(lǐng)域包括工業(yè)（生產(chǎn)過程動(dòng)態(tài)監(jiān)視），辦公自動(dòng)化（電視會(huì)議，可視電話的頻帶壓縮）遙感（云的運(yùn)動(dòng)和高度估計(jì)），生物醫(yī)學(xué)，交通管理等第三十二頁(yè)，共五十五頁(yè)，2022年，8月28日攝象機(jī)和場(chǎng)景運(yùn)動(dòng)運(yùn)動(dòng)分析分為四種模式模式：攝象機(jī)靜止/物體靜止：簡(jiǎn)單的靜態(tài)場(chǎng)景分析．?dāng)z像機(jī)靜止/場(chǎng)景運(yùn)動(dòng)：一類非常重要的動(dòng)態(tài)場(chǎng)景分析，包括運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)運(yùn)動(dòng)特性估計(jì)等，主要用于預(yù)警、監(jiān)視、目標(biāo)跟蹤等場(chǎng)合。攝象機(jī)運(yùn)動(dòng)/物體靜止：重要的動(dòng)態(tài)場(chǎng)景分析，包括基于運(yùn)動(dòng)的場(chǎng)景分析、理解，三維運(yùn)動(dòng)分析等，主要用于視覺導(dǎo)航、目標(biāo)自動(dòng)鎖定與識(shí)別等．?dāng)z象機(jī)運(yùn)動(dòng)/物體運(yùn)動(dòng)：最一般的情況，也是最難的問題，目前對(duì)該問題研究的還很少．第三十三頁(yè)，共五十五頁(yè)，2022年，8月28日?qǐng)D象序列，視差，瞬時(shí)位置速度場(chǎng)和光流場(chǎng)

圖象序列又稱動(dòng)態(tài)圖象，它由一系列圖象組成，它們具有給定的或假設(shè)的相對(duì)次序，并給出相鄰兩圖象獲取的時(shí)間間隔關(guān)系。它的一般表示可以寫成

i,j=0,1,…….,n-1

所謂相對(duì)次序一般是指時(shí)刻在之后（k=1,2,…n-1）。相鄰兩圖象獲取的時(shí)間間隔定義為

=-k=1,2,…….,n-1(k=1,2,…..,n-1)可以不等也可以相等，一般取為相等也就是說所有的圖象的獲取時(shí)間間隔均相等。圖象序列的每一幅，引用電視機(jī)技術(shù)術(shù)語(yǔ)也稱為一禎。

第三十四頁(yè)，共五十五頁(yè)，2022年，8月28日在動(dòng)態(tài)景物中，組成景物的各個(gè)運(yùn)動(dòng)物體在不同的時(shí)刻其空間位置是不同的。假設(shè)oxyz是空間物體P點(diǎn)的空間位置坐標(biāo)系，它構(gòu)成物體空間。OXY是圖象空間，它是一個(gè)平面，也就是觀測(cè)器對(duì)物體點(diǎn)P進(jìn)行觀測(cè)獲取的圖象形成的位置。O與O相距F（觀測(cè)器的焦距），oyz與OYZ位于同一平面（見下圖。P點(diǎn)在時(shí)刻物體空間的坐標(biāo)為，時(shí)刻的坐標(biāo)為。它們?cè)趫D象空間的坐標(biāo)分別為和，記

第三十五頁(yè)，共五十五頁(yè)，2022年，8月28日第三十六頁(yè)，共五十五頁(yè)，2022年，8月28日空間物體點(diǎn)P從運(yùn)動(dòng)到

，反映在圖象平面上，從位置運(yùn)動(dòng)到。這是我們通過觀測(cè)器觀測(cè)三維景物運(yùn)動(dòng)記錄下來并得到的信息。移位到，其位移量為我們稱物體表面的點(diǎn)在相鄰兩時(shí)刻圖象上相應(yīng)的位置的移位為視差，視差的估計(jì)稱為視差問題。物體點(diǎn)P從運(yùn)動(dòng)到的時(shí)間間隔為。把圖象平面上物體圖象相應(yīng)位置的速度記為，那么的大小和方向分別為從第三十七頁(yè)，共五十五頁(yè)，2022年，8月28日1）運(yùn)動(dòng)檢測(cè)和估計(jì)的傅立葉方法用傅立葉變換，可以檢測(cè)和估計(jì)運(yùn)動(dòng)物體的二維平移，旋轉(zhuǎn)和尺度變化1。物體圖象平移的檢測(cè)和估計(jì)

假設(shè)在時(shí)刻運(yùn)動(dòng)物體點(diǎn)在圖象空間的位置為（x,y），到時(shí)刻，它的位置移到，如下圖所示。我們要對(duì)和作出估計(jì)。第三十八頁(yè)，共五十五頁(yè)，2022年，8月28日一般我們可以假設(shè)從時(shí)刻到物體點(diǎn)的灰度保持不變，也就是說的傅立葉變換為的傅立葉變換為

=

=

上式表示：時(shí)刻和兩幀圖象的傅立葉變換相位角之差為

=而第三十九頁(yè)，共五十五頁(yè)，2022年，8月28日由變量的可分離性，與分別表示為和在X軸的投影，亦即==和分別為和的傅立葉變換，那么它們的相位角之差為=在頻率域，關(guān)于u，求得從而可解得第四十頁(yè)，共五十五頁(yè)，2022年，8月28日同理，求與在y軸投影，并求得它們的傅立葉變換的相位角之差而我們可以得到就是從時(shí)刻到運(yùn)動(dòng)物體點(diǎn)P在圖象上的位移量。第四十一頁(yè)，共五十五頁(yè)，2022年，8月28日2）物體圖象旋轉(zhuǎn)和尺度變化的檢測(cè)和估計(jì)用傅立葉變換檢測(cè)運(yùn)動(dòng)物體可以分別處理平移，旋轉(zhuǎn)和尺度變化。由紋理分析數(shù)字變換技術(shù)中的傅立葉方法可知，對(duì)于圖象空間的線形模式（例如直的邊緣），經(jīng)傅立葉變換以后，它的功率譜也呈線性分布，且通過（u,v）平面的原點(diǎn)；它的方向與圖象空間域上的線形模式方向正交。物體圖象的尺度變化，反映在傅立葉頻率域則是頻率高低的變化。在圖象空間域上物體區(qū)域尺寸變大，在頻率域上功率譜的低頻分量增大，反之若物體區(qū)域尺寸變小，那么頻率域上功率譜的高頻分量增大。物體圖象在空間域上的平移并不改變頻域的功率譜。估計(jì)物體圖象的旋轉(zhuǎn)和尺度變化的具體方法可如下進(jìn)行

第四十二頁(yè)，共五十五頁(yè)，2022年，8月28日物體圖象旋轉(zhuǎn)的估計(jì)取不同時(shí)刻（例如相鄰兩時(shí)刻）的兩禎圖象與，分別對(duì)它們施行FFT，并求它們的功率譜在頻率域，功率譜時(shí)間序列和尋找具有明顯相似結(jié)構(gòu)的直線模式（都通過原點(diǎn)）（見下圖）和。在上的投影記為與的夾角就是我們所求的運(yùn)動(dòng)物體二維旋轉(zhuǎn)的角度。中第四十三頁(yè)，共五十五頁(yè)，2022年，8月28日第四十四頁(yè)，共五十五頁(yè)，2022年，8月28日物體圖象尺度變化的估計(jì)在和中，尋找方向相同的一對(duì)線性結(jié)構(gòu)和，在平面上的投影記為和的最長(zhǎng)直徑，和（見下圖），計(jì)算如果R＜1，即＜，那么從時(shí)刻到運(yùn)動(dòng)物體圖象的尺寸增大了，增大倍數(shù)為1/R。如果R＞1，即＞，那么從時(shí)刻到運(yùn)動(dòng)物體圖象的尺寸變小了，其減小倍數(shù)為R。測(cè)量分別得到第四十五頁(yè)，共五十五頁(yè)，2022年，8月28日第四十六頁(yè)，共五十五頁(yè)，2022年，8月28日差分圖像f(x,y,j)幀與f(x,y,k)幀之間的變化可用一個(gè)二值差分圖像表示：式中T是閾值目標(biāo)運(yùn)動(dòng)差分圖象物