一種多傳感器時間空間配準的計算框架

一種多傳感器時間空間配準的計算框架

1f03gj/3gs1c圖像的映射是計算機視覺和模式識別領(lǐng)域中的一個重要課題。在遙感、醫(yī)學成像和多傳感器融合的目標識別方面具有重要的應(yīng)用價值。當前的研究主要集中在單幅圖像的配準方面。有關(guān)單幅圖像配準方法見文獻、。單幅圖像配準需要解決的問題是兩幅圖像在空間域上的對應(yīng)關(guān)系。然而在實際應(yīng)用中,有時需要同時考慮兩幅圖像在時間域上的對應(yīng)關(guān)系,這反映在對兩個圖像序列進行配準的問題上。例如,多傳感器目標識別中,利用可見光和紅外傳感器對運動目標進行圖像采集而分別得到兩個圖像序列。在進行融合目標識別之前,首先需要對這兩個圖像序列進行配準。與單幅圖像的配準相比,序列圖像的配準不但需要求解兩個圖像序列之間的空間變換關(guān)系,而且還要求解不同序列的兩幀圖像在時間上的對應(yīng)關(guān)系。也就是說,序列圖像之間的配準不僅需要解決空間上的配準問題,而且還需要解決時間上的配準問題。與用于單幅圖像配準的方法相比,用于序列圖像的配準方法要少得多。比較典型的幾種方法如下:(1)Sharma等人的方法首先配準來自兩個圖像序列(記為S1和S2)的第1幀圖像(記為f1和g1)。然后,采用圖像序列幀與幀之間的圖像配準方法(例如文獻中的方法)完成單個序列圖像幀與幀之間的圖像配準。對于不同序列的對應(yīng)圖像之間的配準問題,例如,對S1的第i幀圖像fi和S2的第j幀圖像gj進行配準時,則可利用fi和f1之間以及gj和g1之間的空間變換關(guān)系來解決。此方法的前提是f1和g1在時間域上的對應(yīng)關(guān)系為已知。(2)Stein的方法用兩臺計算機分別處理兩個靜止相機輸出的序列圖像。對于每個圖像序列,采用自適應(yīng)跟蹤方法提取目標的質(zhì)心(x,y),并根據(jù)計算機時鐘為每個目標質(zhì)心加一個時間標志t。這樣,生成兩個列表T和T′。T和T′的每個元素分別是一個3元組Ti(x,y,t)和T′j(x′,y′,t′)。由于計算機時鐘是已知量,所以t和t′也是已知量。將T和T′中所有滿足|t-t′|<t0(t0是一個小閾值)條件的元素進行組合,假設(shè)共有M對組合。利用LMS(最小均方差)算法從這M對組合中經(jīng)過一定次數(shù)的篩選,挑選出匹配最好的一部分組合計算兩個圖像序列的空間變換關(guān)系,作為粗配準結(jié)果,然后,采用基于區(qū)域的方法再對粗配準結(jié)果進行精配準。(3)Caspi等人基于特征的方法該方法分為以下幾個步驟:① 對圖像序列中運動目標的特征進行提取和跟蹤,生成運動軌跡(trajectory);② 將運動目標的軌跡與靜止的背景區(qū)分開來;③ 建立兩個圖像序列運動軌跡之間的初始對應(yīng)關(guān)系,對運動軌跡進行配對(pairing),這可以結(jié)合運動軌跡的形狀等信息來進行;④ 隨機選取一對對應(yīng)的運動軌跡,通過迭代的方法同時計算兩個圖像序列在時間和空間上的對應(yīng)關(guān)系P=(Pspatial,Ptemporal);⑤ 用P配準所有對應(yīng)的運動軌跡。統(tǒng)計經(jīng)過配準后二者之間的距離小于給定閾值的運動軌跡的對數(shù)(為簡便起見,稱滿足此條件的一對運動軌跡與P關(guān)聯(lián)),并以此作為P的評價標準,與P關(guān)聯(lián)的運動軌跡的對數(shù)越多,P就越好;⑥ 重復(fù)第4步和第5步N次;⑦ 選擇最好的P;⑧ 利用所有與P關(guān)聯(lián)的成對運動軌跡對P進行細化。在第4步和第8步中所求的P滿足:Ρ=argminΡspatial,Ρtemporal∑Τ(∑t∈Τ‖p′(Ρtemporal(t))-Ρspatial(p(t))‖2)(1)式中,p(t)表示t時刻某條運動軌跡T在圖像中的坐標點,Ptemporal(t)表示對t用Ptemporal進行時間變換后的結(jié)果,p′(t′)表示與T對應(yīng)的另一條運動軌跡t′時刻(t′=Ptemporal(t))在圖像中所在位置的坐標,Pspatial(p(t))表示對點p(t)用Pspatial進行空間變換后的結(jié)果。在計算P時,首先固定Ptemporal計算Pspatial,然后固定Pspatial計算Ptemporal,如此幾次,得到P。該方法的優(yōu)點是將Ptemporal和Pspatial作為一個整體同時計算,空間配準精度可到達亞像素級,時間配準精度在1幀以內(nèi)(亞幀級精度)。第3步是該方法的關(guān)鍵。如果運動軌跡的初始配對錯誤,必然影響計算結(jié)果。Ptemporal的數(shù)學模型可表示為Ρtemporal(t)=st+Δt(2)式中,s為兩個圖像序列的幀頻之比,是一個常數(shù)。其中的未知量是Δt。在計算P時,首先固定Ptemporal,也就是固定Δt。給出一個時間段,在這個時間段里取整數(shù)值賦給Δt(用窮舉法)?？墒?在沒有先驗知識的情況下選取一個合適的時間段并非易事。在文獻中沒有提及如何選取這個時間段,然而,這個問題卻十分關(guān)鍵:如果時間段過窄,有可能根本找不到正確的Δt;而如果時間段過寬,那么Δt的可能取值就有很多,又會影響算法的效率。(4)Caspi等人基于區(qū)域的方法這種方法將用于兩個單幅圖像配準的基于區(qū)域的(area-based)方法推廣到了序列圖像上。將高斯圖像金字塔(Gaussianimagepyramid)推廣到高斯圖像序列金字塔(Gaussiansequencepyramid):輸入的序列圖像作為金字塔的底層,對于金字塔的每層而言,在空間域和時間域進行低通濾波并下采樣(sub-sampling)生成金字塔的上一層,采樣因子為2。如果將兩個序列分別標記為S(x,y,t)(參考圖像序列)和S′(x,y,t)(待配準圖像序列),那么算法準則是用最小化SSD(sumofsquaredbrightnessdifferences)來計算偏移量u:ERR(Ρ)=∑x=(x,y,t)(S(x)-S′(x+u(x;Ρ)))2(3)利用Gauss-Newton法求解P:矩陣,其形式與P有關(guān)。該方法的優(yōu)點是可以得到很高的配準精度(亞像素級和亞幀級)。與基于區(qū)域的2維圖像配準方法一樣,該方法不能處理兩個圖像序列之間存在較大的未對準的情況,特別是在時間域上有較大偏差(例如幾百幀)的情況。此外,在式(4)中沒有結(jié)合在單幅圖像配準方法中使用的“outlierrejection”技術(shù),因此,無法處理多傳感器的情況。(5)Caspi等人的相機視場互不重疊的序列圖像配準方法該方法利用單個圖像序列幀與幀之間的空間變換Ti和T′i來求解兩個序列的空間和時間對應(yīng)關(guān)系。其優(yōu)點是可以解決相機視場互不重疊時的圖像序列配準問題。然而,該方法的應(yīng)用背景是兩個相機要(同時)移動。對于相機靜止的情況,該方法則無法處理。因為這時Ti和T′i都相等,且為常數(shù)。2圖像配準及結(jié)果分析在描述具體方法之前,首先請看問題的描述:(1) 兩個傳感器(同種或不同種)的空間位置相對固定,在采像過程中靜止不動,兩個傳感器的視場有部分相重合,這是比較常見的監(jiān)視(surveillance)場景,有很廣泛的應(yīng)用背景;(2) 兩個傳感器的啟動時間可以不同,即一個傳感器可以先啟動,另一個傳感器可以后啟動;(3) 兩個傳感器的幀頻率可以不同,例如一個傳感器可以是PAL制式(25fps),另一個傳感器可以是NTSC制式(30fps);(4) 場景中有運動目標存在,但在開始階段有一段靜止背景。經(jīng)過圖像采集過程后得到兩個圖像序列S1和S2,記兩個序列的幀頻率分別為f1和f2?？紤]問題的普遍性,這里設(shè)f1≠f2且有f1>f2;S1中的第i幀記為S1,i,S2中的第j幀記為S2,j;S1的長度為l1,S2的長度為l2。算法的具體過程如下:(1)分別在S1和S2的開始部分(靜止背景)取一定長度的連續(xù)幀圖像,得到長度為n1的圖像序列{S1,i;i=1～n1}和長度為n2的圖像序列{S2,j;j=1～n2}。對S1,i(i=1～n1)取平均值得到圖像I1,對S2,j(j=1～n2)取平均值得到圖像I2。需要指出的是,即使在沒有目標出現(xiàn)的情況下,背景也并不是絕對靜止的。例如,光照條件可能出現(xiàn)變化;此外,在風的作用下,背景中的樹木還會發(fā)生輕微的移動等等。鑒于這些情況,對一定數(shù)量的背景圖像取平均值。(2)對I1和I2進行配準,具體的配準算法需要考慮實際的空間變換模型(例如仿射變換模型、投影變換模型等等)。這里考慮仿射變換模型。采用一種基于仿射變換模型的圖像配準方法對I1和I2進行配準,得到S1和S2之間的空間變換t。因為在圖像的采像過程中傳感器的位置靜止不動,所以,這里求得的t可以大致描述分別屬于S1和S2的任意兩幀圖像之間的空間變換關(guān)系。(3)求絕對值差圖像序列S′1和S′2。S′1中的第i幀圖像是S′1,i=|S1,i-I1|,S′2中的第j幀圖像是S′2,j=|S2,j-I2|。利用S′1,i的前n1幀圖像求得一個閾值圖像Ith-1,其像素(m,n)的值為Ιth-1(m,n)=maxi=1~n1S′1,i(m,n)。同理可以求得閾值圖像Ith-2。(4)利用Ith-1和Ith-2對S′1和S′2中剩余的圖像進行分割,分別得到兩個圖像序列S″1和S″2:S″1,i(m,n)(i>n1)={1S1,i(m,n)>Ιth-1(m,n)+th-10其他(5)S″2,j(m,n)(j>n2)={1S2,j(m,n)>Ιth-2(m,n)+th-20其他(6)式(5)和(6)中的th-1和th-2為兩個預(yù)先設(shè)定的閾值。S″1和S″2的長度分別為l1-n1和l2-n2。(5)建立兩個列數(shù)均為3的空數(shù)組s1和s2。對S″1中的第i幀圖像(i=n1+1～l1),剔除面積小于閾值sth-1的連通區(qū)域。如果經(jīng)過此處理后該圖像中仍然存在連通區(qū)域(可能的運動目標),則對結(jié)果圖像進行一次數(shù)學形態(tài)學膨脹和腐蝕操作(先膨脹再腐蝕)。膨脹和腐蝕的目的是改善分割后連通區(qū)域的形狀。計算圖像中剩余的連通區(qū)域的質(zhì)心(x,y),并按照[i,x,y]的形式將幀序號i和質(zhì)心坐標(x,y)添加到數(shù)組s1中。顯然,如果存在多個連通區(qū)域,在s1中就會出現(xiàn)多個i相同而(x,y)不同的情況。此外,為了降低問題的復(fù)雜性,還要求目標距離圖像的邊界不能太近,也即目標上的任意一點距離圖像4個邊界的距離不能小于給定的閾值d1。在實際計算時,先計算包圍每一連通區(qū)域的最小矩形,然后計算這個最小矩形的4個頂點與圖像邊界的距離,以此作為判斷依據(jù)。只有滿足這個距離約束條件的連通區(qū)域的質(zhì)心才會被記入s1中。同理對S″2中的每幀圖像進行類似的處理,面積閾值設(shè)為sth-2,得到數(shù)組s2。(6)利用連續(xù)性約束條件對s1和s2進行后處理。以s1為例,要求其中的任意一項[i,x,y]處于一個長度不小于dth-1的連續(xù)序列中:{…,[i-1,x′,y′],[i,x,y],[i+1,x″,y″],…}。在這個序列中,相鄰項之間的幀序號相差為1,質(zhì)心之間的距離不超過d2,d2為一個小閾值,即(√(x-x′)2+(y-y′)2≤d2,√(x-x″)2+(y-y″)2≤d2)。連續(xù)性約束條件的依據(jù)是,運動目標會在一定長度的幀中連續(xù)出現(xiàn),并且在相鄰幀中同一目標的位移不會太大。將s1中滿足連續(xù)性約束條件的[i,x,y]的集合記為s′1,s′1?s1。同理,給定閾值dth-2可以得到s′2。設(shè)s′1和s′2的長度分別為l′1和l′2,于是s′1的大小為l′1×3,s′2的大小為l′2×3。(7)建立一個與S1中的圖像大小相同的圖像I,假設(shè)I有R行C列,其所有元素的初始值設(shè)為0。進行以下操作:fork=1tol′1i(?s′1(k,2),s′1(k,3)?)=1(7)式中,「·┐表示取整運算,例如坐標(4.5,3.2)經(jīng)過取整運算后的結(jié)果是(5,3)。計算I的距離變換矩陣D和最近鄰變換矩陣N。距離變換矩陣D中的元素D(m,n)表示點(m,n)到I中與之最近的特征點(即I中元素值為1的點)的距離。最近鄰變換矩陣N中的元素N(m,n)表示I中與點(m,n)最接近的特征點(在圖像的行數(shù)和列數(shù)確定的情況下,其中的像素(m,n)可以利用一個1維索引來表示,例如可以表示為(m-1)C+(n-1)。N(m,n)中存放的數(shù)值就是1維索引值)。(8)建立一個空數(shù)組s′1,2,其列數(shù)為2,進行以下操作:fork′=1tol′2ifD(t(s′2(k′,2),s′2(k′,3)))≤d3根據(jù)N(t(s′2(k′,2),s′2(k′,3)))的值查找s′1中與k′對應(yīng)的k。將[s′1(k,1),s′2(k′,1)]加入s′1,2中;其中,t(s′2(k′,2),s′2(k′,3))表示用t對點(s′2(k′,2),s′2(k′,3))進行空間變換的結(jié)果。這個過程如圖1所示。其中,d3為一個小閾值。需要指出的是,同一個k′可能會對應(yīng)多個k。如果這多個k的值彼此比較接近,即max(k)-min(k)≤d4,d4為一個小閾值,則取它們的中間值與k′對應(yīng);否則,無法判斷對應(yīng)k′的k,于是放棄k′。(9)記向量Y為s′1,2的第1列,向量X為s′1,2的第2列。不難看出,Y中存放的是圖像序列S1中的一部分圖像幀的幀序號,而X中存放的是圖像序列S2中的一部分圖像幀的幀序號。在圖像序列幀頻為確定值的情況下,可以認為在不同序列的對應(yīng)幀之間存在線性關(guān)系。因此,X和Y之間的關(guān)系可以利用一個線性函數(shù)來描述:Y=bX+a(8)式中,b和a為兩個常數(shù)。需要求解這兩個常數(shù),并且驗證這種線性關(guān)系是否成立。為此,采用數(shù)理統(tǒng)計中的一元線性回歸模型來進行。假設(shè)s′1,2的長度為l3,X=[x1,x2,…,xl3],Y=[y1,y2,…,yl3]。變量xi和yi(i=1～l3)之間可以通過下式描述:yi=bxi+a+εi(9)式中,εi(i=1～l3)服從均值為0,方差為σ2的正態(tài)分布,且ε1～εl3相互獨立,則可以求得式中,ˉx=1l3l3∑i=1xi,ˉy=1l3l3∑i=1yi;接下來,要驗證線性回歸是否顯著。只有在線性回歸是顯著的條件下,計算的b和a才有意義。為此,計算Τ=b√l3∑i=1(xi-ˉx)2σ*(11)式中,σ*=σ√l3l3-2。如果|Τ|≥tα2(l3-2),則認為線性回歸顯著。其中,α為顯著性水平,t(l3-2)表示自由度為(l3-2)的t分布。(10)對參數(shù)進行調(diào)整。不難看出,在第9步中求得的b和a是根據(jù)數(shù)組s′1,2中的元素求得的,而s′1,2又是從兩個圖像序列的運動目標質(zhì)心之間的對應(yīng)關(guān)系而得到的。而在通常情況下,受圖像分割結(jié)果以及噪聲等因素的影響,提取的質(zhì)心并非十分精確可靠。此外,在第2步求得的S1和S2之間的空間變換t是以靜止背景圖像I1和I2為基準的。正如前面所分析的,I1和I2本身也是多幅背景圖像取平均值并合成后的結(jié)果;然而,兩幅背景圖像之間也有可能存在小的位移。這會影響所求得的t的準確性。有鑒于此,必須對參數(shù)進行調(diào)整。這里需要對參數(shù)b、a和t都進行調(diào)整。設(shè)經(jīng)過調(diào)整后的參數(shù)分別為b′、a′和t′。其中,參數(shù)b′的值為固定值f1/f2。b與b′越接近越好。在實際應(yīng)用中,S1為長波紅外圖像序列,S2為可見光圖像序列,f1=30,f2=25,b′=30/25=1.2。下面推導(dǎo)一下當b≠b′時在時間域上的誤差。假設(shè)兩條直線y=bx+a與y=b′x+a′相交于點(x0,y0)(圖2)。不失一般性,設(shè)b<b′。由圖2所描繪的關(guān)系,很容易證明Δy=(b′-b)Δx(12)從上式可見,當b與b′很接近時,即使Δx的值很大,Δy的值也會很小。也就是說,即使在遠離(x0,y0)處選擇一點(x,y),通過y=bx+a計算得到的y與它的真實值(利用公式y(tǒng)=b′x+a′)的誤差Δy并不大。在實際應(yīng)用中,無從知道(x0,y0)的實際位置,而是規(guī)定一個誤差范圍Δy≤Δl。Δl的確定視b與b′的接近程度而定,即兩者越接近,Δl的取值越小。一般地,取Δl=3～5。此外,還有一個問題需要考慮:假設(shè)在某時刻t0時,S1中的第m幀恰好對應(yīng)于S2中的第n幀。那么,經(jīng)過時間Δt后,也即在t0+Δt時刻,S1中的當前圖像是第m+f1Δt幀,而S2中的當前圖像是第n+f2Δt幀。這便存在兩個問題:一是,因為幀數(shù)都是整數(shù)值,所以希望f1Δt和f2Δt都是整數(shù)才有意義,如果f1Δt或f2Δt不是整數(shù),那么嚴格地說,在考察t0+Δt時刻的兩幅對應(yīng)圖像時,首先要通過序列圖像幀間插值的辦法分別內(nèi)插出每一圖像序列中對應(yīng)t0+Δt時刻的圖像,然后在此基礎(chǔ)上進行配準;二是,如果f1=f2,當f1Δt是整數(shù)時,f2Δt也是整數(shù),在t0+Δt時刻對應(yīng)的圖像都是整數(shù)幀,這種情形相對容易處理。但是,當f1≠f2時,例如,所用的可見光/長波紅外傳感器幀頻比為25/30,f1Δt是整數(shù)時f2Δt不一定是整數(shù),反之亦然。嚴格地講,這時也要進行圖像的插值處理。為了避免引入插值運算從而增加計算負擔,采取以下策略:①抽取向量X中的一部分樣本(X中存放的是圖像序列S2中的一部分圖像幀的幀序號,見第9步)組成向量X′。設(shè)X′中的第1個樣本是S2中的第j幀S2,j,第2個樣本是S2中的第j+5p幀S2,j+5p,第3個樣本是S2中的第j+10p幀S2,j+10p,…,依此類推。其中,p為不小于1的整數(shù);②利用式(8)求得S1中與X′中的第1個樣本對應(yīng)的圖像幀,不妨假設(shè)該幀是S1中的第i幀S1,i。構(gòu)造與向量X′長度相等的向量Y′,Y′中的第1個樣本是S1,i,第2個樣本是S1,i+6p,第3個樣本是S1,i+12p,…,依此類推。不難看出,如果X′中的第1個樣本與Y′中的第1個樣本相對應(yīng)(也即幀S2,j與幀S1,i在時間域上相對應(yīng)),那么顯然幀S2,j+5p與幀S1,i+6p相對應(yīng),S2,j+10p與幀S1,i+12p相對應(yīng),…。顯然地,在構(gòu)造X′和Y′時,已經(jīng)將b′的值固定為1.2了。前面已經(jīng)提到,利用式(8)所求得的幀與幀之間的對應(yīng)關(guān)系存在一定的誤差,而且誤差范圍在Δl之內(nèi)。據(jù)此通過一個變量Δj對X′中的內(nèi)容進行調(diào)整如下(假設(shè)X′(Y′)的長度為l′3):S1,i→S2,j+ΔjS1,i+6p→S2,j+Δj+5pS1,i+12p→S2,j+Δj+10p?S1,i+(l′3-1)6p→S2,j+Δj+(l′3-1)5pΔj=-Δl,-Δl+1,?,-1,0,1,?,Δl-1,Δl在求解t′時,以t作為它的初始值。于是,可以采用文獻中的基于區(qū)域的圖像配準算法。為了處理多幅圖像之間的配準問題,需要對原算法進行一定程度的修改。為簡單起見,設(shè)X′中的圖像為X′={g1,g2,…,gl′3},Y′中的圖像為Y′={f1,f2,…,fl′3},對文獻中的S(x,y)i(u,v)進行修改:S(x,y)(u,v)=l′3∑q=1fq(x,y)oΝgq(x+u,y+v)(13)式中,“oN”代表歸一化相關(guān)(normalizedcorrelation)。配準的具體過程請參考文獻。不同的Δj對應(yīng)不同的t′,接下來需要確定哪一個t′是最佳的。為此,用共同信息作為判據(jù)。給定兩個隨機變量集A和B,兩者之間的共同信息I(A,B)定義為ΜΙ(A,B)=∑a∈A,b∈BpAB(a,b)log2pAB(a,b)pA(a)pB(b)(14)式中,pAB(a,b)為A和B的聯(lián)合概率分布,pA(a)和pB(b)分別為A和B的邊緣概率分布。共同信息的計算量與圖像的大小有關(guān)。一般來說,圖像越大,共同信息的計算量也相應(yīng)越大。為了減小計算量,采取不在整個圖像上計算共同信息,而是只計算目標所占的部分區(qū)域(即感興趣的區(qū)域,regionofinterest-ROI)的共同信息。在s′1中查找Y′={f1,f2,…,fl′3}中圖像fi(i=1～l′3)所對應(yīng)的目標的質(zhì)心坐標(xi,yi),為簡單起見,這里假設(shè)每幅圖像中只有一個目標,但事實上,本方法也適合多目標的情況。在fi中劃定一個以(xi,yi)為中心,大小為w×h的區(qū)域Ai。對于Y′中的圖像fi,X′中與之對應(yīng)的圖像是gi,用所求得的t′對gi進行空間變換,得到圖像g′i。在g′i中找到與Ai對應(yīng)的區(qū)域,然后對這兩個區(qū)域計算共同信息MIi。由于MIi與t′有關(guān),記為MIi(t′)。使得所有這些MIi的總和最大的t′*即為所求:t′*=argmaxt′l′3∑i=1ΜΙi(t′)(15)第1步和第2步的目的是對靜止背景進行對準。第3～6步的目的是提取連續(xù)的運動目標的質(zhì)心;第7步和第8步的目的是通過靜止背景的空間配準參數(shù)來找到不同圖像序列中運動目標質(zhì)心的對應(yīng)關(guān)系,這兩步避開了Caspi等人基于特征的方法中的“建立運動質(zhì)心軌跡對應(yīng)關(guān)系”這個比較復(fù)雜的問題;第9步利用數(shù)理統(tǒng)計的方法給出了兩個圖像序列之間在時間域上的初步對應(yīng)關(guān)系,不難看出,即使沒有先驗知識(即,知道兩個傳感器啟動的大概時間間隔)也無妨;第10步則結(jié)合共同信息來解決多傳感器之間成像性質(zhì)不一致的問題。這里還要指出,為了進一步提高速度,在第10步中可以考慮引入并行處理的方法。一個簡單的想法是為不同的t′分配一個處理器來計算l′3∑i=1ΜΙi(t′)。3本文算法th-1可見光和長波紅外兩個序列圖像的配準。實驗中的長波紅外圖像序列由PalmIR250型7～14微米長波紅外熱像儀(視頻信號幀頻30fps)輸出,長度為715幀;可見光圖像序列由Panasonic手持式攝像機(視頻信號幀頻25fps)輸出,長度為440幀。在第1步中,對長波紅外圖像序列前250幀取平均值后得到背景圖像I1,可見光圖像序列前80幀取平均值得到背景圖像I2。I1和I2分別如圖3的(a)和(b)所示;在第2步中,對I1和I2進行配準,得到空間變換t=(1.1388,0.1139,-0.0085,0.9421,-48.1908,-7.9703);在第3步中求得的閾值圖像Ith-1和Ith-2分別如圖3的(c)和(d)所示;在第4步中th-1和th-2均取為10;在第5步中面積閾值sth-1和sth-2均取為20,d1取為10;在第6步中dth-1和dth-2均取為20,d2取為5;用t將s′2中的質(zhì)心坐標向s′1的質(zhì)心坐標所在的圖像平面進行空間變換,得到兩者之間的空間位置關(guān)系,如圖3(e)所示;在第8步中d3和d4均取為3;在第9步中求得的向量Y和X的內(nèi)容繪制在圖3(f)中,它們的長度均為164幀,b=1.175,a=157.64,T=555.53,顯著性水平α=0.01時,經(jīng)查t分布上側(cè)分位數(shù)表,可得tα2(162)≈2.58,線性回歸顯著;在第10步中,在構(gòu)造向量X′和Y′時,p=2;X′的初始內(nèi)容為X′={201,21