目標檢測、目標跟蹤報告課件

視頻監(jiān)控小組工作報告報告人：蔣老師09.11.17視頻監(jiān)控小組工作報告報告人：蔣老師運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建2運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估動態(tài)場景的運動檢測視頻圖像中的目標檢測與跟蹤，是計算機視覺的基礎課題，同時具有廣泛的應用價值。依照目標與攝像頭之間的關系：靜態(tài)場景目標檢測相對簡單，研究漸趨成熟動態(tài)場景相對復雜，成為當前研究領域的熱點靜態(tài)場景幀差的一個例子3動態(tài)場景的運動檢測視頻圖像中的目標檢測與跟蹤，是計算機視覺的視頻序列運動檢測對于動態(tài)場景，由于目標與攝像頭之間存在復雜的相對運動，運動檢測富有挑戰(zhàn)性。傳統(tǒng)的幀差方法已經(jīng)不再適用，如何能對全局的運動進行估計和補償，成為問題的關鍵。第一幀幀差圖像4視頻序列運動檢測對于動態(tài)場景，由于目標與攝像頭之間存在復雜的解決思路要檢測動態(tài)場景中的運動目標，關鍵在于對場景的運動進行估計，通過估計出的運動參數(shù)補償其運動，最后使用幀差法得到運動目標。提取特征點特征點匹配最小二乘求運動參數(shù)提取特征點前一幀圖像后一幀圖像運動補償幀差法運動目標5解決思路要檢測動態(tài)場景中的運動目標，關鍵在于對場景的運動進行求解全局運動參數(shù)前一幀后一幀求特征點并匹配運動補償補償后的幀差圖像6求解全局運動前一幀后一幀求特征點并匹配運動補償補償后的幀差圖實驗結果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征匹配的方法原序列7實驗結果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征基于圖像金字塔分解的全局運動估計

采用了3層金字塔進行多分辨率計算,而且在每層迭代計算中,將基于塊的外點去除算法與特征點提取算法相結合,這樣既加快了算法的速度,又提高了計算結果的準確性。8基于圖像金字塔分解的全局運動估計采用了3層金字塔進行多分辨基本步驟如下：用高斯圖像構造法構造圖像金字塔；對金字塔頂層圖像進行全局運動估計，求得運動參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對該層進行全局運動估計，求得相應的運動參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層,對該層進行全局運動估計，求得該層的運動參數(shù)集,即最終求得的參數(shù)集。利用求得的最終參數(shù)集，對圖像進行運動補償，將運動補償后的圖像與前一幀圖像進行差值。9基本步驟如下：9下圖給出了運動補償與直接幀差的結果比較圖1

Coastguard序列圖像圖2直接幀差和運動補償后的差值圖比較10下圖給出了運動補償與直接幀差的結果比較10運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建11運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估目標分割的意義與現(xiàn)狀運動目標的準確分割，對于獲取目標的特征信息非常重要，直接影響到進一步的運動目標跟蹤的處理，傳統(tǒng)的運動目標分割的算法主要有背景差分，相鄰幀間差分，光流場的方法，這些方法都有各自的缺點和不足，不能滿足準確分割運動目標的要求。12目標分割的意義與現(xiàn)狀運動目標的準確分割，對于獲取目標Ohlander等提出了一種多維直方圖閾值化分割方法，該方法直方圖閾值法不需要先驗信息，計算量較小,但缺點是單獨基于顏色分割得到的區(qū)域可能是不完整的，而且沒有利用局部空間信息，分割不準確。13Ohlander等提出了一種多維直方圖閾值化分割方法，該方法馬爾可夫隨機場分割目前基于馬爾可夫隨機場隨機場（MRF）運動目標分割的方法在圖像分割領域影響越來越大，該方法與傳統(tǒng)方法和閾值法相比，由于基于MRF的運動目標分割方法同時考慮了圖像顏色信息和空間關聯(lián)信息，因此分割效果較好。14馬爾可夫隨機場分割目前基于馬爾可夫隨機場隨機場（MR另外，MRF參數(shù)選取的好壞會直接影響到分割結果，Smits等研究雷達圖像分割時表明，馬爾可夫參數(shù)如果較大容易形成較長的邊緣，較小容易形成微邊緣，而固定的馬爾可夫參數(shù)則使目標的輪廓模糊，對分割出的目標準確判斷產(chǎn)生不利影響。15另外，MRF參數(shù)選取的好壞會直接影響到分割結果因此，我們提出一種基于自適應權值的區(qū)域馬爾可夫隨機場的分割方法，結合分水嶺預分割算法，并利用形態(tài)濾波對分割結果進行修正，較好地解決了分割不準確，目標信息丟失的問題。16因此，我們提出一種基于自適應權值的區(qū)域馬爾可夫隨機場的分割方基于MRF的運動目標分割

馬爾可夫隨機場是把一維因果馬爾可夫鏈擴展成二維的結果，Hammersley-Clifford定理指出了MRF和Gibbs分布之間的等價性，每個MRF都可以用一個Gibbs分布來描述，這樣就解決了MRF概率難求的問題。17基于MRF的運動目標分割馬爾可夫隨機場是把一維因果馬爾可夫

Gibbs分布可定義成如下公式：圖像上每一點的概率分布18Gibbs分布可定義成如下公式：圖像上每一點的概率分布18對于一幀CIF圖像，存在一系列的像素點，對于這些點存在一標記場和事先觀察場，這樣馬爾可夫隨機場的運動目標分割的問題可以歸結為在事先觀察場和其它一系列約束條件下，確定運動目標區(qū)域和背景區(qū)域的二值標記問題。19對于一幀CIF圖像，存在一系列的像素點，對于這些點存在一標MRF運動目標分割結果一

（a）實驗序列1（b）固定閾值二值化（c）高斯模型分割（d）自適應值MRF分割20MRF運動目標分割結果一20MRF運動目標分割結果二

（a）實驗序列2（b）固定閾值二值化（c）高斯模型分割（d）自適應值MRF分割21MRF運動目標分割結果二21運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建22運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估分片跟蹤為什么引入分片跟蹤：在目標跟蹤領域，一個重要的難題就是目標的遮擋問題，因為遮擋發(fā)生時目標可能部分或全部不可見。模擬人眼跟蹤目標的方式，發(fā)生遮擋時，人眼會關注目標的可見部分來繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標分成多個小片，目標被遮擋時，利用“可見片”來跟蹤。

23分片跟蹤為什么引入分片跟蹤：23分片跟蹤主要思想：

將目標分片，建立目標分片表現(xiàn)模型（模板）。在目標上一幀的位置周圍遍歷搜索，找到與目標模板相似度最高的候選目標作為跟蹤結果。

當前幀上一幀目標位置候選目標位置搜索窗口目標分片24分片跟蹤主要思想：當前幀上一幀目標位置候選目標位置搜索窗口分片跟蹤其中相似度的度量是通過各片的空間直方圖匹配來實現(xiàn)的。確定目標位置后，判斷目標中各片的有效性，我們僅利用有效片進行下一幀的跟蹤。被遮擋的區(qū)域片基本丟失25分片跟蹤其中相似度的度量是通過各片的空間直方圖匹配來模板更新由上可見這種分片方法已經(jīng)可以很好的解決遮擋問題。但是在跟蹤過程中，目標的外觀模型可能發(fā)生變化（例如目標轉身、尺寸變化等等）。那么剛開始為目標建立的模板就不能很好的表示目標，這將影響跟蹤效果。

26模板更新26目標外觀變化時片匹配的情況外觀緩慢變化時，丟失的片很少27目標外觀變化時片匹配的情況外觀緩慢變化時，丟失的片很少27利用有效片的概念，我們?yōu)槊總€目標建立兩種模板，臨時模板和參考模板。

臨時模板—實時更新的模板，在無遮擋情況下跟蹤，可以解決目標外觀緩慢變化的問題。參考模板—能夠很好的表示目標的模板，用于遮擋情況下的跟蹤。28利用有效片的概念，我們?yōu)槊總€目標建立兩種模板，臨時模板和參考分片跟蹤多組實驗結果：

1.可以有效的解決目標遮擋

2.在目標表現(xiàn)模型緩慢變化的情況下，實時更新模板

3.在背景較為簡單的情況下實現(xiàn)目標尺度的更新29分片跟蹤多組實驗結果：29分片跟蹤遮擋下的跟蹤30分片跟蹤遮擋下的跟蹤30分片跟蹤目標表現(xiàn)模型的變化時的跟蹤31分片跟蹤目標表現(xiàn)模型的變化時的跟蹤31目標尺度發(fā)生變化32目標尺度發(fā)生變化32運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建33運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估車輛檢測與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法34車輛檢測與跟蹤包括以下兩方面內(nèi)容：34車輛檢測與跟蹤概述智能交通系統(tǒng)：(IntelligentTransportSystems,ITS)35車輛檢測與跟蹤概述智能交通系統(tǒng)：35車輛檢測與跟蹤概述影響車輛檢測和跟蹤的主要因素：（1）車輛自身陰影；（2）車輛間相互遮擋或車輛被背景中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對（1）、（2）兩種情況開展研究36車輛檢測與跟蹤概述影響車輛檢測和跟蹤的主要因素：36車輛檢測與跟蹤概述車輛檢測：改進的碼本算法解決車輛檢測中的陰影問題;車輛跟蹤:Kalman預測的方法解決車輛跟蹤中的遮擋問題;37車輛檢測與跟蹤概述37基于改進碼本的車輛檢測方法運動檢測方法：

幀間差分方法光流場方法背景減法

構建較為理想的背景模型

38基于改進碼本的車輛檢測方法運動檢測方法：38常用背景建模和更新算法

混合高斯模型(MixtureofGaussians,MOG)：

能處理復雜、非靜止的多模態(tài)背景，但它不能適應快速的背景變化,對噪聲變化比較敏感；基于內(nèi)核密度估計(kerneldensityestimation,KDE)的非參數(shù)背景模型：需要大量內(nèi)存來存儲先前的數(shù)據(jù)，需要很高的計算開銷；基于Bayes決策的方法：在場景比較復雜或前景與背景顏色比較接近時，提取的前景目標很不完整39常用背景建模和更新算法混合高斯模型(Mixtureof基于碼本模型的運動目標檢測方法

KimK，ProceedingsofIEEEInternationalConferenceonImageProcessing；2004

算法是利用量化和聚類技術來構建背景模型；針對彩色監(jiān)控視頻,對背景中的每一個像素點進行一段時間的采樣，采樣值聚類成碼本的形式，碼本就代表了背景模型。運動檢測時，對新輸入的像素值與其對應碼本做比較,如果能找到與其匹配的碼字，則認為該像素點為背景點，否則為前景點。40基于碼本模型的運動目標檢測方法KimK，Proce基于碼本模型的運動目標檢測方法

碼本方法：計算聚類均值和樣本與它的距離,不涉及概率運算,運算速度較快；碼本方法能處理高亮和陰影問題，而且訓練時允許有前景運動目標。該算法具有較強的魯棒性，能實現(xiàn)對運動目標較好的檢測。41基于碼本模型的運動目標檢測方法碼本方法：41基于碼本模型的運動目標檢測方法

原碼本算法對RGB空間的視頻序列，已具有較好的檢測效果，有一些不足之處：視頻采集設備，如網(wǎng)絡攝像機、DV和圖像采集卡等采集的視頻序列大多是YUV格式的，如果要在RGB空間做運動檢測，則需要進行從YUV空間到RGB空間的轉換，而該轉換運算為浮點型運算，運算量大；原算法在RGB空間進行陰影處理時，需要做浮點型運算，進一步加大了運算量。42基于碼本模型的運動目標檢測方法原碼本算法對RGB基于改進碼本的車輛檢測實現(xiàn)

對原算法進行改進，直接在YUV空間做運動檢測及陰影處理，省去了大量的浮點型運算，提高了算法的效率。檢測步驟：（1）初始碼本的建立（2）前景運動目標檢測（3）陰影和高亮問題的解決（4）目標檢測過程的碼本實時更新43基于改進碼本的車輛檢測實現(xiàn)對原算法進行改進，直接在YUV空車輛跟蹤方法的實現(xiàn)

基于Kalman濾波的車輛跟蹤通過運動估計和目標匹配兩個模塊實現(xiàn)對車輛的跟蹤。利用前一幀獲得的參數(shù)作為Kalman濾波的狀態(tài)變量，當前幀獲得的參數(shù)作為觀測值，通過Kalman濾波推導獲得估計值。以估計值為中心進行目標匹配，如果能匹配上則認為是當前運動目標，如果匹配不上則認為出現(xiàn)了遮擋，使用Kalman對其位置進行預測。

44車輛跟蹤方法的實現(xiàn)基于Kalman濾波的車輛跟蹤44算法步驟

Step1背景模型訓練，得到表示初始背景模型的碼本。Step2輸入像素點和碼本做比較判斷，得到可能的前景像素點，同時更新碼本。Step3去除可能前景像素點中陰影和高亮區(qū)域，得到真實的前景點，同時更新碼本。Step4去噪，連通區(qū)域分析，根據(jù)檢測出的運動目標的長寬消除非車輛目標，將運動車輛分割出來。

Step5使用卡爾曼濾波器預測車輛在下一幀中的可能位置。Step6在預測區(qū)域周圍對各個車輛進行匹配跟蹤。轉Step2，進行下一輪跟蹤。45算法步驟Step1背景模型訓練，得到表示初始背景模型的碼夜晚車輛檢測結果

46夜晚車輛檢測結果46普通路面檢測結果

（a）序列某一幀

（b）混合高斯模型檢測結果（c）Bayes決策檢測結果（d）本方法檢測結果47普通路面檢測結果47高速公路檢測結果

（a）序列某一幀（b）混合高斯模型檢測結果

（c）Bayes決策檢測結果（d）本方法檢測結果48高速公路檢測結果48跟蹤結果

（a）序列第168幀跟蹤結果（b）序列第182幀跟蹤結果

（c）目標質(zhì)心在x方向的坐標（d）目標質(zhì)心在y方向的坐標

49跟蹤結果49跟蹤結果與粒子濾波方法比較

（a）粒子濾波第40幀（b）粒子濾波第60幀

（c）粒子濾波第88幀（d）粒子濾波第100幀50跟蹤結果與粒子濾波方法比較50跟蹤結果與經(jīng)典CamShift方法比較

（a）CamShift第40幀（b）CamShift第60幀（c）CamShift第88幀（d）CamShift第100幀

51跟蹤結果與經(jīng)典CamShift方法比較51跟蹤結果比較

（a）本文方法第40幀（b）本文方法第60幀（c）本文方法第88幀（d）本文方法第100幀52跟蹤結果比較52車輛檢測與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法53車輛檢測與跟蹤包括以下兩方面內(nèi)容：53背景傳統(tǒng)視頻檢測車流量統(tǒng)計主要采用車輛檢測和跟蹤技術相結合的方法，算法復雜且容易受到外界干擾影響，本文建立若干車輛遮擋模型，利用分層輪廓匹配法將運動目標與車輛遮擋模型進行輪廓匹配識別出遮擋車輛。為了提取運動目標完整外部輪廓，提出一種基于連通域的兩輪掃描法來標記各個運動車輛，并利用YUV彩色空間對陰影進行檢測和抑制，提高車流量統(tǒng)計精度。54背景傳統(tǒng)視頻檢測車流量統(tǒng)計主要采用車輛檢測一、基于連通域的兩輪掃描法

通過背景減法得到運動區(qū)域后，各個運動目標可以認為是一個獨立的連通域，本文采用基于連通域的兩輪掃描法標記這些連通域，從而實現(xiàn)目標分割。

55一、基于連通域的兩輪掃描法 55基于連通域的兩輪掃描法一、第一輪掃描初步標記各個連通域。針對背景減法所得到的二值化圖，按照從上向下，從左至右的順序掃描各像素點，判斷當前掃描點像素值是否為255,如果像素值為255，說明該點是運動像素點，接著判斷該點鄰近像素點是否已被標記以決定當前像素點標記值，當遇到第一個已被標記的鄰近像素點，就將該像素點的標記值作為當前掃描像素點的標記值，若鄰近像素點都未標記，說明該像素點可能屬于一個新的目標塊，賦予該像素點新的標記值。56基于連通域的兩輪掃描法一、第一輪掃描56基于連通域的兩輪掃描法二、第二輪掃描第一輪掃描后可能存在同一連通域的像素點被標記成不同目標的情況，第二輪掃描將同一連通域內(nèi)不同標記值的目標合并為一個目標。判斷每個像素點標記值是否為0，如果為0，說明當前掃描點為背景像素點，則不予處理。反之進一步查詢當前掃描點鄰近像素點是否已被標記，按照從上到下，從左至右的順序?qū)︵徑袼攸c進行掃描，當遇到第一個已被標記且標記值與當前像素點標記值不同的鄰近像素點時，將進行合并。57基于連通域的兩輪掃描法二、第二輪掃描57基于連通域的兩輪掃描法

(a)一輪掃描后(b)二輪掃描后58基于連通域的兩輪掃描法58對比情況（a）原始圖像

（b）分割后（c）逐行掃描法（d）本文掃描方法上圖是實際的目標分割結果比較。圖（a）為原始圖像，圖（b）為運動檢測結果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運動目標分割成好幾塊不同的區(qū)域，如圖（c）所示，而本文兩輪掃描法成功將該運動目標分割成一個獨立的區(qū)域，如圖（d）所示。59對比情況59二、通過輪廓匹配來解決遮擋問題處于遮擋狀態(tài)的運動目標與未處于遮擋狀態(tài)的運動目標分割得到的輪廓有很大的差異，本文分析目標的外部輪廓來判斷該運動目標是否處于遮擋狀態(tài)。先建立若干車輛遮擋模型，代表一些常見的車輛遮擋情況，再提取運動目標的輪廓分別與各個車輛遮擋模型的外部輪廓進行匹配，根據(jù)匹配值判斷該運動目標是否處于遮擋狀態(tài)。60二、通過輪廓匹配來解決遮擋問題處于遮擋狀態(tài)的運遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛遮擋情況。

m1m261遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰分層輪廓匹配方法本文采用一種分層輪廓匹配方法來比較運動目標與車輛遮擋模型的外部輪廓，該方法在匹配過程中利用輪廓的整體和局部信息進行計算。首先提取運動目標輪廓，并進行采樣并以二叉樹形式存儲，如右圖。62分層輪廓匹配方法本文采用一種分層輪廓匹配方法來分層輪廓匹配方法我們主要依靠該二叉樹的獨特分層結構逐層進行匹配比較，最終計算出匹配值。具體的匹配計算可以利用下面這個遞歸等式來表示：

63分層輪廓匹配方法我們主要依靠該二叉樹的獨特分層結構逐層進行匹試驗結果（a）遮擋模型（b）原始遮擋圖像（c）分割處理后（d）遮擋模型與運動目標匹配64試驗結果64試驗結果

（a）（b）（c）（d）（e）（f）（g）

表1上圖各個車輛與車輛遮擋模型輪廓匹配結果65試驗結果65三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運動目標，并對運動目標進行形態(tài)學處理，填補內(nèi)部空洞，去掉一些孤立的噪聲點。（2）基于YUV彩色空間檢測并去除出運動目標的陰影像素。由于YUV的色差分量U、V和HSV空間的色度以及飽和度分量存在一定的聯(lián)系，色度可以近視表示為,而可以認為是飽和度的值，陰影像素與背景像素比較，亮度有很大的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)檢測并去除出陰影像素。66三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運動目標，主要算法步驟（3）通過本文提出的兩輪掃描法，分割各個運動目標，采集各個運動目標的大小，位置，矩特征，以及輪廓信息等，并修補外部輪廓中不連續(xù)的部分，得到完整的目標輪廓，供后續(xù)處理。（4）根據(jù)分層輪廓匹配方法，對每一個運動目標，提取輪廓信息與車輛遮擋模型輪廓匹配比較，如果該運動目標與某一遮擋模型的輪廓匹配值小于某一閾值，則認為是匹配的，判定該目標處于對應遮擋狀態(tài)。67主要算法步驟（3）通過本文提出的兩輪掃描法，分割各個運動目主要算法步驟（5）判斷車輛是否通過。本文采用類似開辟檢測帶的方法進行判斷，首先設置一條檢測線，橫貫馬路，分析位于檢測線上的各個運動車輛，對于每一幀圖像中位于檢測線上的所有運動車輛，我們都要查詢對應位置在上一幀附近是否存在運動車輛，如果存在，則它們可能是同一輛車，進一步查詢這兩個運動車輛的大小、方差與均值（矩特征）差值是否保持在一個范圍內(nèi)，若小于某一閾值，則認為它們是同一輛車，反之認為當前車輛是剛進入檢測線的新車輛，進一步查詢它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車輛計數(shù)值，達到統(tǒng)計出車流量的目的。68主要算法步驟（5）判斷車輛是否通過。本文采用類似開辟檢測帶的運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建69運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估超分辨率重建的概念

超分辨率重建(super-resolutionreconstruction)是指：從單幀或一序列低分辨率圖像(LR)復原出一幅或一序列高分辨率圖像(HR)，HR圖像有著更高的細節(jié)信息和更好的主觀質(zhì)量。LR序列HR圖像70超分辨率重建的概念LR序列HR圖像70

圖像超分辨率重建的必要性攝像機在空間上的分辨率能力是有限的。圖像分辨率受攝像機感光陣列的空間密度及其本身引入的模糊誤差、運動模糊、下采樣、噪聲等因素，導致實際拍攝圖像的質(zhì)量較差、分辨率低。因此有必要提高一定的重建算法來提高圖像的分辨率，改善圖像質(zhì)量。物體鏡頭感光陣列

物體成像過程：71圖像超分辨率重建的必要性物體鏡頭感光陣列物圖像超分辨率重建的理論基礎

傅立葉光學理論中把成像系統(tǒng)看成是一個低通濾波器，在成像過程中會丟失高頻細節(jié)：對于一個線性空間不變成像系統(tǒng)，成像過程可表示為：

g(x)表示像，f(x)表示物，h(x)表示點擴展函數(shù)。

在截止頻率之外H(u)=0，因此就把成像系統(tǒng)看成了一個傅立葉濾波器，對F(u)的解進行了限制。SR技術的目的就在于恢復截至頻率之外的高頻信息，以使圖像獲得更多的細節(jié)和信息。它的理論基礎是：解析延拓理論，信息疊加理論和非線性操作。y(x)=h(x)*f(x)Y(u)=H(u)F(u)F(u)=Y(u)/H(u)72圖像超分辨率重建的理論基礎y(x)=h(x)*f(x)Y超分辨率重建的觀察模型

給出超分辨率問題的完整的數(shù)學描述：給定p幀LR觀測圖像k=1,……p；每幀大小為L1×L2，它們是來自同一場景，也可以看成是來自HR圖像f的不同位置，f的大小為H1×H2。每個是x經(jīng)任意的偏移、模糊以及下采樣而形成。

建立觀察模型如下：Warp1M1WarpkMkWarppMpPSFBlur1B1PSFBlurkBkPSFBlurpBpSamplc1DSamplckDSamplcpD+++n1nknpy1ykypx73超分辨率重建的觀察模型Warp1Sa配準

在序列圖像超分辨率重建過程中，必須從欲重建圖像的前后幀圖像中提取相關的信息作為本幀圖像信息的補充，因此必須找到當前幀圖像中各象素點在前后序列圖像中所處的位置。所以圖像超分辨率重建中一個關鍵性要素就是對序列圖像中每個象素點進行圖像間精確的亞象素級運動估計。為什么要進行圖像配準？1stframe2ndframenotcorrect74配準

在序列圖像超分辨率重建過程中，必須從欲重建圖像1stframe2ndframecorrectresultregistrated2ndframe+751stframe2ndframecorrectresu為什么需要子像素的配準精度？(mx,my)(mx/2,my/2)DownsamplingDownsamplingxH(x)y76為什么需要子像素的配準精度？(mx,my)(mx/2,m超分辨率重建中圖像配準常用算法

塊匹配算法、光流場算法、基于互信息和互相關函數(shù)的算法、基于泰勒級數(shù)展開的算法。我們需要的算法：

對圖像全局運動和局部變形均有效，并且對噪聲魯棒的精確亞像素精度的配準算法。77超分辨率重建中圖像配準常用算法

塊匹配算法、光流場算主要重建算法

1)

迭代后向映射(IBP)

：反向映射算子78主要重建算法

1)迭代后向映射(IBP)

2)凸集投影(pocs)

凸集是定義在希爾伯特空間H上滿足一定條件的集合。

Cxz凸集C外的一點x到凸集投影y的定義為C上與x距離最近的點z，相應的投影算子為P。792)凸集投影(pocs)Cxz凸集C外的一點x到凸集投影y

未知的HR圖像—x，看成H空間中的一個元素。根據(jù)實際情況和相應理論可以定義出一些先驗約束條件，這些約束條件描述成一個個凸集：將初始估計的高分辨率圖像通過迭代的方式逐步向這些約束凸集投影，最終會收斂于交集之中，而交集之中的元素即可接受為最終估計出的高分辨率圖像。80未知的HR圖像—x，看成H空間中的一個元素3)極大后驗概率(MAP)

根據(jù)Bayesian估計理論，

由Bayesian公式->

813)極大后驗概率(MAP)

根據(jù)Bayesian估計理論

圖像

隨機場(RandomField)。

常見的隨機場：Markov，Gauss，Gauss-Markov，Gibbs

推導出：上述目標方程可以通過一些迭代算法求解，如最速下降法、共軛梯度法等。82圖像隨機場(Ran4)近來一些新的超分辨率重建算法

matanprotter提出了一種基于非局部均值濾波演變而來的新算法，該算法的顯著特點是：不依賴于精確的運動估計（即配準），重建圖像某像素點的灰度值由與其所在區(qū)域相似的多個區(qū)域像素點確定，這種相似程度被量化為權值去影響重建的結果。相關文章：“Generalizing

the

Nonlocal-Meansto

Super-

Resolution

Reconstruction”.“SuperResolutionWithProbabilisticMotion

Estimation”.

834)近來一些新的超分辨率重建算法

mata部分實驗結果MSESNR樣條插值383.45114.8083

POCS234.08916.9516LR圖像樣條插值POCSPOCSMAP樣條插值LR圖像84部分實驗結果MSESNR樣條插值383.45114.80謝謝大家！謝謝大家！謝謝大家！謝謝大家！謝謝大家！謝謝大家！視頻監(jiān)控小組工作報告報告人：蔣老師09.11.17視頻監(jiān)控小組工作報告報告人：蔣老師運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建87運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估動態(tài)場景的運動檢測視頻圖像中的目標檢測與跟蹤，是計算機視覺的基礎課題，同時具有廣泛的應用價值。依照目標與攝像頭之間的關系：靜態(tài)場景目標檢測相對簡單，研究漸趨成熟動態(tài)場景相對復雜，成為當前研究領域的熱點靜態(tài)場景幀差的一個例子88動態(tài)場景的運動檢測視頻圖像中的目標檢測與跟蹤，是計算機視覺的視頻序列運動檢測對于動態(tài)場景，由于目標與攝像頭之間存在復雜的相對運動，運動檢測富有挑戰(zhàn)性。傳統(tǒng)的幀差方法已經(jīng)不再適用，如何能對全局的運動進行估計和補償，成為問題的關鍵。第一幀幀差圖像89視頻序列運動檢測對于動態(tài)場景，由于目標與攝像頭之間存在復雜的解決思路要檢測動態(tài)場景中的運動目標，關鍵在于對場景的運動進行估計，通過估計出的運動參數(shù)補償其運動，最后使用幀差法得到運動目標。提取特征點特征點匹配最小二乘求運動參數(shù)提取特征點前一幀圖像后一幀圖像運動補償幀差法運動目標90解決思路要檢測動態(tài)場景中的運動目標，關鍵在于對場景的運動進行求解全局運動參數(shù)前一幀后一幀求特征點并匹配運動補償補償后的幀差圖像91求解全局運動前一幀后一幀求特征點并匹配運動補償補償后的幀差圖實驗結果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征匹配的方法原序列92實驗結果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征基于圖像金字塔分解的全局運動估計

采用了3層金字塔進行多分辨率計算,而且在每層迭代計算中,將基于塊的外點去除算法與特征點提取算法相結合,這樣既加快了算法的速度,又提高了計算結果的準確性。93基于圖像金字塔分解的全局運動估計采用了3層金字塔進行多分辨基本步驟如下：用高斯圖像構造法構造圖像金字塔；對金字塔頂層圖像進行全局運動估計，求得運動參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對該層進行全局運動估計，求得相應的運動參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層,對該層進行全局運動估計，求得該層的運動參數(shù)集,即最終求得的參數(shù)集。利用求得的最終參數(shù)集，對圖像進行運動補償，將運動補償后的圖像與前一幀圖像進行差值。94基本步驟如下：9下圖給出了運動補償與直接幀差的結果比較圖1

Coastguard序列圖像圖2直接幀差和運動補償后的差值圖比較95下圖給出了運動補償與直接幀差的結果比較10運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建96運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估目標分割的意義與現(xiàn)狀運動目標的準確分割，對于獲取目標的特征信息非常重要，直接影響到進一步的運動目標跟蹤的處理，傳統(tǒng)的運動目標分割的算法主要有背景差分，相鄰幀間差分，光流場的方法，這些方法都有各自的缺點和不足，不能滿足準確分割運動目標的要求。97目標分割的意義與現(xiàn)狀運動目標的準確分割，對于獲取目標Ohlander等提出了一種多維直方圖閾值化分割方法，該方法直方圖閾值法不需要先驗信息，計算量較小,但缺點是單獨基于顏色分割得到的區(qū)域可能是不完整的，而且沒有利用局部空間信息，分割不準確。98Ohlander等提出了一種多維直方圖閾值化分割方法，該方法馬爾可夫隨機場分割目前基于馬爾可夫隨機場隨機場（MRF）運動目標分割的方法在圖像分割領域影響越來越大，該方法與傳統(tǒng)方法和閾值法相比，由于基于MRF的運動目標分割方法同時考慮了圖像顏色信息和空間關聯(lián)信息，因此分割效果較好。99馬爾可夫隨機場分割目前基于馬爾可夫隨機場隨機場（MR另外，MRF參數(shù)選取的好壞會直接影響到分割結果，Smits等研究雷達圖像分割時表明，馬爾可夫參數(shù)如果較大容易形成較長的邊緣，較小容易形成微邊緣，而固定的馬爾可夫參數(shù)則使目標的輪廓模糊，對分割出的目標準確判斷產(chǎn)生不利影響。100另外，MRF參數(shù)選取的好壞會直接影響到分割結果因此，我們提出一種基于自適應權值的區(qū)域馬爾可夫隨機場的分割方法，結合分水嶺預分割算法，并利用形態(tài)濾波對分割結果進行修正，較好地解決了分割不準確，目標信息丟失的問題。101因此，我們提出一種基于自適應權值的區(qū)域馬爾可夫隨機場的分割方基于MRF的運動目標分割

馬爾可夫隨機場是把一維因果馬爾可夫鏈擴展成二維的結果，Hammersley-Clifford定理指出了MRF和Gibbs分布之間的等價性，每個MRF都可以用一個Gibbs分布來描述，這樣就解決了MRF概率難求的問題。102基于MRF的運動目標分割馬爾可夫隨機場是把一維因果馬爾可夫

Gibbs分布可定義成如下公式：圖像上每一點的概率分布103Gibbs分布可定義成如下公式：圖像上每一點的概率分布18對于一幀CIF圖像，存在一系列的像素點，對于這些點存在一標記場和事先觀察場，這樣馬爾可夫隨機場的運動目標分割的問題可以歸結為在事先觀察場和其它一系列約束條件下，確定運動目標區(qū)域和背景區(qū)域的二值標記問題。104對于一幀CIF圖像，存在一系列的像素點，對于這些點存在一標MRF運動目標分割結果一

（a）實驗序列1（b）固定閾值二值化（c）高斯模型分割（d）自適應值MRF分割105MRF運動目標分割結果一20MRF運動目標分割結果二

（a）實驗序列2（b）固定閾值二值化（c）高斯模型分割（d）自適應值MRF分割106MRF運動目標分割結果二21運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建107運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估分片跟蹤為什么引入分片跟蹤：在目標跟蹤領域，一個重要的難題就是目標的遮擋問題，因為遮擋發(fā)生時目標可能部分或全部不可見。模擬人眼跟蹤目標的方式，發(fā)生遮擋時，人眼會關注目標的可見部分來繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標分成多個小片，目標被遮擋時，利用“可見片”來跟蹤。

108分片跟蹤為什么引入分片跟蹤：23分片跟蹤主要思想：

將目標分片，建立目標分片表現(xiàn)模型（模板）。在目標上一幀的位置周圍遍歷搜索，找到與目標模板相似度最高的候選目標作為跟蹤結果。

當前幀上一幀目標位置候選目標位置搜索窗口目標分片109分片跟蹤主要思想：當前幀上一幀目標位置候選目標位置搜索窗口分片跟蹤其中相似度的度量是通過各片的空間直方圖匹配來實現(xiàn)的。確定目標位置后，判斷目標中各片的有效性，我們僅利用有效片進行下一幀的跟蹤。被遮擋的區(qū)域片基本丟失110分片跟蹤其中相似度的度量是通過各片的空間直方圖匹配來模板更新由上可見這種分片方法已經(jīng)可以很好的解決遮擋問題。但是在跟蹤過程中，目標的外觀模型可能發(fā)生變化（例如目標轉身、尺寸變化等等）。那么剛開始為目標建立的模板就不能很好的表示目標，這將影響跟蹤效果。

111模板更新26目標外觀變化時片匹配的情況外觀緩慢變化時，丟失的片很少112目標外觀變化時片匹配的情況外觀緩慢變化時，丟失的片很少27利用有效片的概念，我們?yōu)槊總€目標建立兩種模板，臨時模板和參考模板。

臨時模板—實時更新的模板，在無遮擋情況下跟蹤，可以解決目標外觀緩慢變化的問題。參考模板—能夠很好的表示目標的模板，用于遮擋情況下的跟蹤。113利用有效片的概念，我們?yōu)槊總€目標建立兩種模板，臨時模板和參考分片跟蹤多組實驗結果：

1.可以有效的解決目標遮擋

2.在目標表現(xiàn)模型緩慢變化的情況下，實時更新模板

3.在背景較為簡單的情況下實現(xiàn)目標尺度的更新114分片跟蹤多組實驗結果：29分片跟蹤遮擋下的跟蹤115分片跟蹤遮擋下的跟蹤30分片跟蹤目標表現(xiàn)模型的變化時的跟蹤116分片跟蹤目標表現(xiàn)模型的變化時的跟蹤31目標尺度發(fā)生變化117目標尺度發(fā)生變化32運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建118運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估車輛檢測與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法119車輛檢測與跟蹤包括以下兩方面內(nèi)容：34車輛檢測與跟蹤概述智能交通系統(tǒng)：(IntelligentTransportSystems,ITS)120車輛檢測與跟蹤概述智能交通系統(tǒng)：35車輛檢測與跟蹤概述影響車輛檢測和跟蹤的主要因素：（1）車輛自身陰影；（2）車輛間相互遮擋或車輛被背景中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對（1）、（2）兩種情況開展研究121車輛檢測與跟蹤概述影響車輛檢測和跟蹤的主要因素：36車輛檢測與跟蹤概述車輛檢測：改進的碼本算法解決車輛檢測中的陰影問題;車輛跟蹤:Kalman預測的方法解決車輛跟蹤中的遮擋問題;122車輛檢測與跟蹤概述37基于改進碼本的車輛檢測方法運動檢測方法：

幀間差分方法光流場方法背景減法

構建較為理想的背景模型

123基于改進碼本的車輛檢測方法運動檢測方法：38常用背景建模和更新算法

混合高斯模型(MixtureofGaussians,MOG)：

能處理復雜、非靜止的多模態(tài)背景，但它不能適應快速的背景變化,對噪聲變化比較敏感；基于內(nèi)核密度估計(kerneldensityestimation,KDE)的非參數(shù)背景模型：需要大量內(nèi)存來存儲先前的數(shù)據(jù)，需要很高的計算開銷；基于Bayes決策的方法：在場景比較復雜或前景與背景顏色比較接近時，提取的前景目標很不完整124常用背景建模和更新算法混合高斯模型(Mixtureof基于碼本模型的運動目標檢測方法

KimK，ProceedingsofIEEEInternationalConferenceonImageProcessing；2004

算法是利用量化和聚類技術來構建背景模型；針對彩色監(jiān)控視頻,對背景中的每一個像素點進行一段時間的采樣，采樣值聚類成碼本的形式，碼本就代表了背景模型。運動檢測時，對新輸入的像素值與其對應碼本做比較,如果能找到與其匹配的碼字，則認為該像素點為背景點，否則為前景點。125基于碼本模型的運動目標檢測方法KimK，Proce基于碼本模型的運動目標檢測方法

碼本方法：計算聚類均值和樣本與它的距離,不涉及概率運算,運算速度較快；碼本方法能處理高亮和陰影問題，而且訓練時允許有前景運動目標。該算法具有較強的魯棒性，能實現(xiàn)對運動目標較好的檢測。126基于碼本模型的運動目標檢測方法碼本方法：41基于碼本模型的運動目標檢測方法

原碼本算法對RGB空間的視頻序列，已具有較好的檢測效果，有一些不足之處：視頻采集設備，如網(wǎng)絡攝像機、DV和圖像采集卡等采集的視頻序列大多是YUV格式的，如果要在RGB空間做運動檢測，則需要進行從YUV空間到RGB空間的轉換，而該轉換運算為浮點型運算，運算量大；原算法在RGB空間進行陰影處理時，需要做浮點型運算，進一步加大了運算量。127基于碼本模型的運動目標檢測方法原碼本算法對RGB基于改進碼本的車輛檢測實現(xiàn)

對原算法進行改進，直接在YUV空間做運動檢測及陰影處理，省去了大量的浮點型運算，提高了算法的效率。檢測步驟：（1）初始碼本的建立（2）前景運動目標檢測（3）陰影和高亮問題的解決（4）目標檢測過程的碼本實時更新128基于改進碼本的車輛檢測實現(xiàn)對原算法進行改進，直接在YUV空車輛跟蹤方法的實現(xiàn)

基于Kalman濾波的車輛跟蹤通過運動估計和目標匹配兩個模塊實現(xiàn)對車輛的跟蹤。利用前一幀獲得的參數(shù)作為Kalman濾波的狀態(tài)變量，當前幀獲得的參數(shù)作為觀測值，通過Kalman濾波推導獲得估計值。以估計值為中心進行目標匹配，如果能匹配上則認為是當前運動目標，如果匹配不上則認為出現(xiàn)了遮擋，使用Kalman對其位置進行預測。

129車輛跟蹤方法的實現(xiàn)基于Kalman濾波的車輛跟蹤44算法步驟

Step1背景模型訓練，得到表示初始背景模型的碼本。Step2輸入像素點和碼本做比較判斷，得到可能的前景像素點，同時更新碼本。Step3去除可能前景像素點中陰影和高亮區(qū)域，得到真實的前景點，同時更新碼本。Step4去噪，連通區(qū)域分析，根據(jù)檢測出的運動目標的長寬消除非車輛目標，將運動車輛分割出來。

Step5使用卡爾曼濾波器預測車輛在下一幀中的可能位置。Step6在預測區(qū)域周圍對各個車輛進行匹配跟蹤。轉Step2，進行下一輪跟蹤。130算法步驟Step1背景模型訓練，得到表示初始背景模型的碼夜晚車輛檢測結果

131夜晚車輛檢測結果46普通路面檢測結果

（a）序列某一幀

（b）混合高斯模型檢測結果（c）Bayes決策檢測結果（d）本方法檢測結果132普通路面檢測結果47高速公路檢測結果

（a）序列某一幀（b）混合高斯模型檢測結果

（c）Bayes決策檢測結果（d）本方法檢測結果133高速公路檢測結果48跟蹤結果

（a）序列第168幀跟蹤結果（b）序列第182幀跟蹤結果

（c）目標質(zhì)心在x方向的坐標（d）目標質(zhì)心在y方向的坐標

134跟蹤結果49跟蹤結果與粒子濾波方法比較

（a）粒子濾波第40幀（b）粒子濾波第60幀

（c）粒子濾波第88幀（d）粒子濾波第100幀135跟蹤結果與粒子濾波方法比較50跟蹤結果與經(jīng)典CamShift方法比較

（a）CamShift第40幀（b）CamShift第60幀（c）CamShift第88幀（d）CamShift第100幀

136跟蹤結果與經(jīng)典CamShift方法比較51跟蹤結果比較

（a）本文方法第40幀（b）本文方法第60幀（c）本文方法第88幀（d）本文方法第100幀137跟蹤結果比較52車輛檢測與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法138車輛檢測與跟蹤包括以下兩方面內(nèi)容：53背景傳統(tǒng)視頻檢測車流量統(tǒng)計主要采用車輛檢測和跟蹤技術相結合的方法，算法復雜且容易受到外界干擾影響，本文建立若干車輛遮擋模型，利用分層輪廓匹配法將運動目標與車輛遮擋模型進行輪廓匹配識別出遮擋車輛。為了提取運動目標完整外部輪廓，提出一種基于連通域的兩輪掃描法來標記各個運動車輛，并利用YUV彩色空間對陰影進行檢測和抑制，提高車流量統(tǒng)計精度。139背景傳統(tǒng)視頻檢測車流量統(tǒng)計主要采用車輛檢測一、基于連通域的兩輪掃描法

通過背景減法得到運動區(qū)域后，各個運動目標可以認為是一個獨立的連通域，本文采用基于連通域的兩輪掃描法標記這些連通域，從而實現(xiàn)目標分割。

140一、基于連通域的兩輪掃描法 55基于連通域的兩輪掃描法一、第一輪掃描初步標記各個連通域。針對背景減法所得到的二值化圖，按照從上向下，從左至右的順序掃描各像素點，判斷當前掃描點像素值是否為255,如果像素值為255，說明該點是運動像素點，接著判斷該點鄰近像素點是否已被標記以決定當前像素點標記值，當遇到第一個已被標記的鄰近像素點，就將該像素點的標記值作為當前掃描像素點的標記值，若鄰近像素點都未標記，說明該像素點可能屬于一個新的目標塊，賦予該像素點新的標記值。141基于連通域的兩輪掃描法一、第一輪掃描56基于連通域的兩輪掃描法二、第二輪掃描第一輪掃描后可能存在同一連通域的像素點被標記成不同目標的情況，第二輪掃描將同一連通域內(nèi)不同標記值的目標合并為一個目標。判斷每個像素點標記值是否為0，如果為0，說明當前掃描點為背景像素點，則不予處理。反之進一步查詢當前掃描點鄰近像素點是否已被標記，按照從上到下，從左至右的順序?qū)︵徑袼攸c進行掃描，當遇到第一個已被標記且標記值與當前像素點標記值不同的鄰近像素點時，將進行合并。142基于連通域的兩輪掃描法二、第二輪掃描57基于連通域的兩輪掃描法

(a)一輪掃描后(b)二輪掃描后143基于連通域的兩輪掃描法58對比情況（a）原始圖像

（b）分割后（c）逐行掃描法（d）本文掃描方法上圖是實際的目標分割結果比較。圖（a）為原始圖像，圖（b）為運動檢測結果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運動目標分割成好幾塊不同的區(qū)域，如圖（c）所示，而本文兩輪掃描法成功將該運動目標分割成一個獨立的區(qū)域，如圖（d）所示。144對比情況59二、通過輪廓匹配來解決遮擋問題處于遮擋狀態(tài)的運動目標與未處于遮擋狀態(tài)的運動目標分割得到的輪廓有很大的差異，本文分析目標的外部輪廓來判斷該運動目標是否處于遮擋狀態(tài)。先建立若干車輛遮擋模型，代表一些常見的車輛遮擋情況，再提取運動目標的輪廓分別與各個車輛遮擋模型的外部輪廓進行匹配，根據(jù)匹配值判斷該運動目標是否處于遮擋狀態(tài)。145二、通過輪廓匹配來解決遮擋問題處于遮擋狀態(tài)的運遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛遮擋情況。

m1m2146遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰分層輪廓匹配方法本文采用一種分層輪廓匹配方法來比較運動目標與車輛遮擋模型的外部輪廓，該方法在匹配過程中利用輪廓的整體和局部信息進行計算。首先提取運動目標輪廓，并進行采樣并以二叉樹形式存儲，如右圖。147分層輪廓匹配方法本文采用一種分層輪廓匹配方法來分層輪廓匹配方法我們主要依靠該二叉樹的獨特分層結構逐層進行匹配比較，最終計算出匹配值。具體的匹配計算可以利用下面這個遞歸等式來表示：

148分層輪廓匹配方法我們主要依靠該二叉樹的獨特分層結構逐層進行匹試驗結果（a）遮擋模型（b）原始遮擋圖像（c）分割處理后（d）遮擋模型與運動目標匹配149試驗結果64試驗結果

（a）（b）（c）（d）（e）（f）（g）

表1上圖各個車輛與車輛遮擋模型輪廓匹配結果150試驗結果65三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運動目標，并對運動目標進行形態(tài)學處理，填補內(nèi)部空洞，去掉一些孤立的噪聲點。（2）基于YUV彩色空間檢測并去除出運動目標的陰影像素。由于YUV的色差分量U、V和HSV空間的色度以及飽和度分量存在一定的聯(lián)系，色度可以近視表示為,而可以認為是飽和度的值，陰影像素與背景像素比較，亮度有很大的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)檢測并去除出陰影像素。151三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運動目標，主要算法步驟（3）通過本文提出的兩輪掃描法，分割各個運動目標，采集各個運動目標的大小，位置，矩特征，以及輪廓信息等，并修補外部輪廓中不連續(xù)的部分，得到完整的目標輪廓，供后續(xù)處理。（4）根據(jù)分層輪廓匹配方法，對每一個運動目標，提取輪廓信息與車輛遮擋模型輪廓匹配比較，如果該運動目標與某一遮擋模型的輪廓匹配值小于某一閾值，則認為是匹配的，判定該目標處于對應遮擋狀態(tài)。152主要算法步驟（3）通過本文提出的兩輪掃描法，分割各個運動目主要算法步驟（5）判斷車輛是否通過。本文采用類似開辟檢測帶的方法進行判斷，首先設置一條檢測線，橫貫馬路，分析位于檢測線上的各個運動車輛，對于每一幀圖像中位于檢測線上的所有運動車輛，我們都要查詢對應位置在上一幀附近是否存在運動車輛，如果存在，則它們可能是同一輛車，進一步查詢這兩個運動車輛的大小、方差與均值（矩特征）差值是否保持在一個范圍內(nèi)，若小于某一閾值，則認為它們是同一輛車，反之認為當前車輛是剛進入檢測線的新車輛，進一步查詢它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車輛計數(shù)值，達到統(tǒng)計出車流量的目的。153主要算法步驟（5）判斷車輛是否通過。本文采用類似開辟檢測帶的運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估計車輛檢測與跟蹤5圖像超分辨率重建154運動目標分片跟蹤報告內(nèi)容1234馬爾可夫隨機場分割全局運動估超分辨率重建的概念

超分辨率重建(super-resolutionreconstruction)是指：從單幀或一序列低分辨率圖像(LR)復原出一幅或一序列高分辨率圖像(HR)，HR圖像有著更高的細節(jié)信息和更好的主觀質(zhì)量。LR序列HR圖像155超分辨率重建的概念LR序列HR圖像70

圖像超分辨率重建的必要性攝像機在空間上的分辨率能力是有限的。圖像分辨率受攝像機感光陣列的空間密度及其本身引入的模糊誤差、運動模糊、下采樣、噪聲等因素，導致實際拍攝圖像的質(zhì)量較差、分辨率低。因此有必要提高一定的重建算法來提高圖像的分辨率，改善圖像質(zhì)量。物體鏡頭感光陣列

物體成像過程：156圖像超分辨率重建的必要性物體鏡頭感光陣列物圖像超分辨率重建的理論基礎

傅立葉光學理論中把成像系統(tǒng)看成是一個低