創(chuàng)新實踐項目《協(xié)作監(jiān)控參考》

多目視覺數(shù)據(jù)融合問題，即研究如何利用多個相關(guān)攝像機(jī)所獲得的視覺信息得到更廣范圍和更高層次的監(jiān)控場景感知能力。融合多個攝像機(jī)的數(shù)據(jù)信息比單一的攝像機(jī)能夠?qū)崿F(xiàn)更多更強(qiáng)的功能。多目視覺數(shù)據(jù)融合主要的研究問題包括：多攝像機(jī)之間目標(biāo)一致性匹配、跟蹤優(yōu)化與最佳攝像機(jī)選擇、遮擋處理、多攝像機(jī)安裝以及標(biāo)定等?？偟膩砜?，現(xiàn)有的攝像機(jī)定標(biāo)技術(shù)大體可以歸結(jié)為兩類：傳統(tǒng)的攝像機(jī)定標(biāo)方法和攝像機(jī)自定標(biāo)方法：傳統(tǒng)定標(biāo)方法(TraditionalCalibrationMethod)，根據(jù)標(biāo)定時所使用的標(biāo)定物分成三類：點標(biāo)定，一維標(biāo)定和二維標(biāo)定。點標(biāo)定，即標(biāo)定物只是一個點狀物體或是一個球形物體。多攝像機(jī)自動標(biāo)定工具箱【1】是瑞士聯(lián)合技術(shù)研究所實驗室研發(fā)，標(biāo)定物簡單，標(biāo)定過程的自動化程度高并且標(biāo)定結(jié)果較為精確是這套方法的優(yōu)點，它的不足之處在于需要一個相對較暗的標(biāo)定環(huán)境，只有這樣標(biāo)定物才容易與背景區(qū)分開來，便于跟蹤。一維標(biāo)定是指標(biāo)定物由兩個或是更多球形物體串接在一根棍棒上制成。這種方法最早是由張正友在2004年針對多攝像機(jī)標(biāo)定提出的一種新的標(biāo)定方法【2】。由于利用的是一維的標(biāo)定物，對于多攝像機(jī)系統(tǒng)不存在正面和背面遮蓋的問題，所以這種方法對于分布式攝像機(jī)系統(tǒng)的標(biāo)定非常實用【3】?；谝痪S物體標(biāo)定方法簡單易行，對標(biāo)定環(huán)境沒有特殊的要求，但是沒有解決外參數(shù)的標(biāo)定問題，屬于不完全的標(biāo)定。標(biāo)定結(jié)果的準(zhǔn)確度有待提高，通過增加共線小球的個數(shù)的方法可以有效的提高精度。二維標(biāo)定是指使用棋盤狀的平面標(biāo)定物，通常是黑白相間的小方格。二維標(biāo)定方法通常選取其中一個攝像機(jī)的光心位置作為世界坐標(biāo)系的原點，其它攝像機(jī)的外參數(shù)矩陣都轉(zhuǎn)化到這個攝像機(jī)上。為了使標(biāo)定結(jié)果的精度有保證，需要有一個整體優(yōu)化的步驟，或是直接建立多攝像機(jī)的標(biāo)定模型。袁杰等【4】用了一種以激光點作為標(biāo)定物的標(biāo)定方法，將分布式環(huán)境下各攝像機(jī)下觀測的點聯(lián)立起來，利用極線幾何的約束，對其進(jìn)行4階的因式分解。從而求解出攝像機(jī)矩陣。由于激光點具有易檢測、特征點提取誤差小等特點，因此可以取得很好的實驗效果。當(dāng)前，對傳統(tǒng)攝像機(jī)定標(biāo)技術(shù)的研究集中在如何有效地、合理地確定非線性畸變校正模型的參數(shù)。自定標(biāo)方法(Self-calibrationMethod)，并不需要知道確切的三維度量信息，試圖利用從圖像序列中得到的約束關(guān)系來計算攝像機(jī)模型的參數(shù)。在許多研究文獻(xiàn)中已經(jīng)設(shè)計出了許多種自定標(biāo)方法，目前自標(biāo)定方法可分為四類：利用絕對二次曲線極線變換性質(zhì)解 Kruppa方程的方法。基于Kruppa方程的方法不需對圖像序列進(jìn)行射影重建，只對兩幅圖像之間建立方程，當(dāng)圖像序列較長時，該方法出現(xiàn)不穩(wěn)定。Faugeras等人利用射影幾何證明了每兩幅圖像間存在兩個形如Kruppa方程的二次非線性約束，并利用Kruppa方程來求得多幅圖像上的所有像點到對應(yīng)極線的距離之和，采用LM（Levenberg—Marquardt）算法求出距離最小值，得到內(nèi)參數(shù)（2）分層逐步標(biāo)定法。由于求解Kruppa方程有一定的困難，有學(xué)者通過對圖像序列做射影重建，并利用絕對二次曲線 （面）添加約束條件進(jìn)行攝像機(jī)參數(shù)的求解，這就是分層逐步標(biāo)定方法。該方法在實際應(yīng)用中逐漸取代了直接求解Kruppa方程的方法。其中最具代表性的方法是由Hartley提出的一種對攝像機(jī)投影矩陣進(jìn)行QR分解的自標(biāo)定方法。（3）基于二次曲面法。絕對二次曲面最早由Tfiggs引入自標(biāo)定研究中，雖然其本質(zhì)同Kruppa方程一樣運用了絕對二次曲線在歐式變換下的不變性，但當(dāng)多幅圖像輸入并且能得到一致射影重建的情況下，該方法將更具優(yōu)勢。（4）基于主動視覺標(biāo)定法。此方法最經(jīng)典的是馬頌德教授提出的基于兩組三正交運動的線性法，后李華、楊長江等提出了基于四組和五組平面正交運動的方法，利用圖像中的極點信息線性標(biāo)定。此外，胡占義教授提出的基于平面單應(yīng)矩陣的正交運動方法和基于外極點的正交運動方法更容易實現(xiàn)。自定標(biāo)方法的一個相當(dāng)棘手的問題是，有些攝像機(jī)自定標(biāo)所得到的解既不是唯一的，也不是穩(wěn)定的，因此，如何在噪聲的情況下提高解的穩(wěn)定性，一直是自定標(biāo)領(lǐng)域的研究人員試圖解決的問題。在多攝像機(jī)監(jiān)控環(huán)境中，當(dāng)目標(biāo)移出當(dāng)前監(jiān)視攝像機(jī)的視域FOV或當(dāng)前監(jiān)視攝像機(jī)不能達(dá)到較好的視角效果進(jìn)行跟蹤時，監(jiān)控系統(tǒng)需要動態(tài)切換到其他有較好監(jiān)視效果的攝像機(jī)進(jìn)行監(jiān)視跟蹤，使系統(tǒng)獲得更好的跟蹤效果，這就是多攝像機(jī)跟蹤優(yōu)化與最佳視角選擇需要解決的問題，尋找最佳監(jiān)視位置的攝像機(jī)以及最小化攝像機(jī)切換次數(shù)是其關(guān)鍵。Snidaro等【5】通過比較各個攝像機(jī)的外形比(AR)，選擇最合適的攝像機(jī)執(zhí)行特定的監(jiān)控任務(wù)。Nummiaro等【6】描述了一種根據(jù)Bhattacharyya系數(shù)大小從校正過的攝像機(jī)中自動選擇最佳視角的方法。Henriksson等【7】提出了一種基于多攝像機(jī)的反饋控制動態(tài)資源分配方法，通過對位置估計誤差的協(xié)方差最小化來選擇一個合適的攝像機(jī)子集。Nguyen等【8】提出了一種分布式監(jiān)控系統(tǒng)中的多攝像機(jī)協(xié)同算法，該算法根據(jù)目標(biāo)與校正過的攝像機(jī)之間的距離以及目標(biāo)的遮擋狀態(tài)來給目標(biāo)分配最佳攝像機(jī)進(jìn)行跟蹤?！?】YouluWang等提出了一種在非重疊攝像視圖中的實時分布跟蹤系統(tǒng)，每一個攝像頭完成多目標(biāo)的跟蹤，攝像頭間采用點對點式通信達(dá)到一致跟蹤的目的。采用多種特性包括目標(biāo)顏色直方圖、高度和目標(biāo)的持續(xù)時間、速度等。首先在訓(xùn)練階段標(biāo)定攝像機(jī)和學(xué)習(xí)不同特征的參考值。然后計算一個總的相似值來融合加權(quán)多特征的置信度?？偟南嗨浦凳遣煌卣鞯南嗨浦档募訖?quán)和。在監(jiān)控環(huán)境中，運動目標(biāo)的自我遮擋、運動目標(biāo)之間的相互遮擋以及運動目標(biāo)與背景物體之間的遮擋是不可避免的。遮擋問題在目標(biāo)跟蹤、目標(biāo)分類等許多智能視頻監(jiān)控任務(wù)中都是干擾因素，通過融合不同觀測角度的攝像機(jī)圖像信息，在一定程度上能夠較好地解決此類問題，提高目標(biāo)跟蹤的穩(wěn)定性和目標(biāo)分類的正確率?；诙鄶z像機(jī)協(xié)作的監(jiān)控系統(tǒng)能有效地對目標(biāo)遮擋進(jìn)行處理，DockStader等【10】設(shè)計了能跟蹤處于部分遮擋狀態(tài)的人的多攝像機(jī)視頻監(jiān)控系統(tǒng)。Tsutsui等【11】應(yīng)用多攝像機(jī)監(jiān)控系統(tǒng)實現(xiàn)了基于光流的人體跟蹤，當(dāng)一個靜止物體遮擋住了一個目標(biāo)，監(jiān)控系統(tǒng)根據(jù)來自其他攝像機(jī)的信息預(yù)測被遮擋目標(biāo)的3D坐標(biāo)位置和運動速度。Mittal等【12】利用多攝像機(jī)解決了復(fù)雜場景中人體跟蹤問題，首先使用Bayesian分類法則，根據(jù)人體模型和預(yù)測位置進(jìn)行圖像分割，然后融合來自多個攝像機(jī)的數(shù)據(jù)對地平面上人體的位置進(jìn)行評估，最后利用Kalman濾波器進(jìn)行跟蹤。Khan,S.M等【13】提出了根據(jù)planarhomographicoccupancyconstraint融合多視角中的前景似然信息，達(dá)到解決遮擋問題，為了提高魯棒性，利用多個平行于參考平面的平面單應(yīng)信息。Munoz-Salinas等【14】在粒子濾波框架中對每一個相機(jī)的建立可靠模型和觀測模型。用粒子的似然值對相機(jī)的可靠性建模。在可靠模型中建立遮擋圖(occlusionmap)解決遮擋問題。提高了跟蹤的精度。在每一個相機(jī)中對粒子獨立估計，并利用可靠性對數(shù)據(jù)進(jìn)行融合。4多攝像機(jī)之間目標(biāo)一致性匹配多攝像機(jī)之間目標(biāo)一致性匹配是指在不同攝像機(jī)拍攝的圖像序列中建立目標(biāo)之間的對應(yīng)性，通過多攝像機(jī)之間目標(biāo)的一致性匹配，可以實現(xiàn)廣域場景中運動目標(biāo)的連續(xù)跟蹤。多攝像機(jī)之間具有不同的觀測角度、觀測距離以及焦距等，目標(biāo)匹配需要克服這些不同攝像機(jī)的FOV差異。鄧穎娜，朱虹【15】提出在有重疊區(qū)域情況下，通過構(gòu)造多相機(jī)視野的全景視頻監(jiān)視視圖進(jìn)行目標(biāo)跟蹤的方法，將目標(biāo)一致性判別問題轉(zhuǎn)換為全景視圖構(gòu)造問題。申明軍【16】利用目標(biāo)離開視野域的時間和空間作為約束條件，結(jié)合模板匹配的方法，對沒有視野重疊域的多攝像機(jī)監(jiān)控下的目標(biāo)進(jìn)行連續(xù)跟蹤。歐陽寧【17】提出一種投影不變量和直方圖匹配相結(jié)合的改進(jìn)算法，較好解決了多個目標(biāo)相距較近的情況下，投影過程中產(chǎn)生的誤差會造成目標(biāo)對應(yīng)錯誤的問題。李志華等【18】針對分布式廣域視頻監(jiān)控系統(tǒng),提出了一種基于多攝像頭融合的跟蹤優(yōu)化方法.該跟蹤優(yōu)化算法根據(jù)目標(biāo)優(yōu)先級和目標(biāo)在各個攝像頭中的遮擋狀態(tài)及其分割圖像大小進(jìn)行數(shù)據(jù)加權(quán)融合 ,優(yōu)先分配高優(yōu)先級目標(biāo)給具有最佳權(quán)值的攝像頭進(jìn)行跟蹤,并動態(tài)平衡各個攝像頭的跟蹤負(fù)載,將跟蹤負(fù)載過重的攝像頭中的低優(yōu)先級目標(biāo)分配給其他攝像頭進(jìn)行跟蹤。為了有效地建立重疊攝像頭之間目標(biāo)的對應(yīng)關(guān)系，對于攝像頭遠(yuǎn)離監(jiān)控地平面和目標(biāo)的場景，通過攝像頭監(jiān)視背景圖像之間的sift特征匹配自動生成對應(yīng)點，利用這些對應(yīng)的關(guān)鍵點確定重疊攝像頭之間的單應(yīng)性變換矩陣參數(shù)，再根據(jù)目標(biāo)質(zhì)心坐標(biāo)之間的單應(yīng)性變換進(jìn)行一致性匹配；對于攝像頭近鄰監(jiān)控地平面和目標(biāo)的場景，通過目標(biāo)分割圖像之間的SIFT特征進(jìn)行一致性匹配。Ra‘ulMohedano和NarcisoGarc'?[19】提出一種多攝像頭的3D跟蹤方法，在各個攝像頭中獨立進(jìn)行2D目標(biāo)檢測，根據(jù)幾何和顏色信息將這些結(jié)果用貝葉斯關(guān)聯(lián)均值方法融合。用粒子濾波對場景中的目標(biāo)進(jìn)行3D跟蹤。將圖割技術(shù)應(yīng)用到視頻跟蹤中具有實現(xiàn)全局最優(yōu)，保證能量函數(shù)的解收斂到全局最小和具有數(shù)字魯棒性， 高效性，以及融合多種先驗知識的能力和實現(xiàn)多維空間模型的優(yōu)越性。近年來，圖割理論有了快速地發(fā)展，其中取得了很好的成果的有美國康奈爾大學(xué)的AshishRaj、EvaTardos、RaminZabih。同時，加拿大西安大略大學(xué)的YuriBoykov、OlgaVeksle和英國倫敦大學(xué)的VladimirKolmogorov等都對圖割技術(shù)的研究做出了貢獻(xiàn)。YuriBoykov在新澤西州普林斯頓西門子做研究時發(fā)現(xiàn)了強(qiáng)大的圖割方法用于提取背景；VladimirKolmogorov在美國康奈爾大學(xué)讀博士期間在把圖割方法應(yīng)用到典型的計算機(jī)視覺問題———多攝像機(jī)三維重建中就做出過貢獻(xiàn)，這對圖割理論研究有很重要的參考價值。因為沒有一種統(tǒng)一的方法使得解法唯一，每一個能量函數(shù)建立之后都有一個與之對應(yīng)的網(wǎng)絡(luò)圖。如果是一幅較大的圖像，它轉(zhuǎn)化為的網(wǎng)絡(luò)圖節(jié)點會有成千上萬個，它的網(wǎng)絡(luò)邊也會很多。而能量函數(shù)極小化主要困難在于大量的邊的價值計算，計算量加大是一個須重點考慮的問題。另外，能量函數(shù)不同，網(wǎng)絡(luò)圖所賦的邊的權(quán)值也不同。那么，根據(jù)一個怎樣的原則去構(gòu)造合適的能量函數(shù)，即在構(gòu)造能量函數(shù)時，如何定義兩類邊的權(quán)重 ,當(dāng)能量函數(shù)確定之后，如何對其進(jìn)行最小化，這些問題是我們應(yīng)考慮的重點。參考文獻(xiàn)：【1】TomasSvoboda．AConvenientMulti．CameraSelf-CalibrationforVirtualEnviroments[J]．TeleoperatorsandVirtualEnvironments，August2005，14(4)：407,-422．【2】Z．YZhang．CameraCalibrationWithOne-DimensionalObjects[J]．IEEETransactionsonPatternAnalysisandMachineIntelligence，2004，26(7):892?899.【3】陳小天，沈振康.攝像機(jī)標(biāo)定技術(shù)研究【 D】長沙：國防科技大學(xué)，2003.【4】袁杰,朱勁,王曉年,分布式環(huán)境下的多攝像機(jī)標(biāo)定《電腦知識與技術(shù)》2010年2期【5】SnidaroL，NiuR，VarshneyPK，eta1.Automaticcameraselectionandfusionforoutdoorsurveillanceunderchangingweatherconditions[C].InProceedingsofIEEEConferenceonAdvancedVideoandSignalBasedSurveillance，2003：364-369.6】NummiaroK，Koller-meierE，SvobodaT，eta1．Color-basedobjecttrackinginmulti—Cameraenvironments[C]．InProceedingsofthe25thPatternRecognitionSymposium，2003：591-599．【7】HenrikssonD，OlssonT．Maximizingtheuseofcomputerresourcesinmulti-camerafeedbackcontrol[C]．InProceedingsofthe10thIEEEReal—TuneandEmbeddedTechnologyandApplicationsSymposium(RTAS)，2004：360-367．【8】NguyenN.VenkateshS，WestGeta1．Multiplecameracoordinationinasurveillancesystem[J]．ActaAutomaticaSinica，2003，29(3)：408-422．【9】YouluWang,LiHe,SenemVelipasalar.Real-timeDistributedTrackingwithNon-overlappingCameras.ICIP,2010:697-700【10】S．L．DockstaderandA．M．Tekalp．Multiplecameratrackingofinteractingandoccludedhumanmotion[C]．InProceedingsofIEEE，2001，89：1441-1455．【11】H.Tsutsui,J.Miura,andY.Shirai.Opticalflow-basedpersontrackingbymultiplecameras[c].InProceedingofIEEEConferenceonMultisensorFusionandIntegrationinIntelligentSystems,2001:91-96.【12】A．MittalandL．S．Davis．M2tracker：amulti-viewapproachtosegmentingandtrackingpeopleinaclutteredscene[C]．InProceedingsofEuropeanConferenceo