Python圖像處理與機(jī)器視覺入門 課件 第23章 視頻處理

圖像處理應(yīng)用技術(shù)李欽深圳信息職業(yè)技術(shù)學(xué)院軟件學(xué)院科技樓1703D室1295254769@視頻處理我們迄今為止學(xué)習(xí)到的任務(wù)都是基于數(shù)字圖像完成的。而在現(xiàn)實生活中，視覺數(shù)據(jù)不單單是以圖像的形式出現(xiàn)，同樣還有大量的視頻數(shù)據(jù)例如影視，攝像數(shù)據(jù)。盡管視頻數(shù)據(jù)是由圖像數(shù)據(jù)以及一些可能的音頻和字幕組合起來的，但是在計算機(jī)視覺中，我們重點關(guān)注圖像這部分內(nèi)容。這意味著在很多情況下我們需要將視頻視為一些數(shù)字圖像組合的載體來處理，在運用之前學(xué)到的圖像處理方法的基礎(chǔ)上，繼續(xù)學(xué)習(xí)與視頻相關(guān)的知識。目標(biāo)跟蹤視頻處理中的一個基礎(chǔ)任務(wù)就是追蹤目標(biāo)物體，對標(biāo)定的物體進(jìn)行連續(xù)的跟蹤。盡管現(xiàn)在有很多復(fù)雜的神經(jīng)網(wǎng)絡(luò)來完成目標(biāo)檢測以及追蹤，但是傳統(tǒng)的追蹤方法只用到了一些簡單的直方圖分布特征就可以完成類似任務(wù)的雛形，本節(jié)我們將通過一個簡單的汽車跟蹤的例子了解如何使用均值漂移來簡單地進(jìn)行視頻追蹤。目標(biāo)跟蹤步驟1讀取視頻 首先我們讀取視頻并查看視頻的一些基本信息。目標(biāo)跟蹤步驟2標(biāo)定目標(biāo) 我們先讀取第一幀，查看我們需要的目標(biāo)汽車大概的位置，并記錄。為了確保目標(biāo)不要包含過多的背景，我們在這里將目標(biāo)范圍相對縮小一點。目標(biāo)跟蹤步驟3計算特征直方圖 針對我們記錄的目標(biāo)區(qū)域，我們需要用之前學(xué)習(xí)到的方法calcHist計算特征直方圖，并展示出來。目標(biāo)跟蹤步驟4反向投影 為了完成追蹤的任務(wù)，我們需要找到目標(biāo)特征匹配的區(qū)域，這里我們將用到反向投影技術(shù)，即根據(jù)目標(biāo)的色相直方圖特征，對下一幀的色相進(jìn)行反向匹配，匹配度越高的區(qū)域亮度越大，可以看到中心的汽車區(qū)域亮度較高。使用OpenCV中的calcBackProject函數(shù)，輸入hsv模型，色相對應(yīng)的通道序數(shù)0，目標(biāo)區(qū)域直方圖，取值范圍?？梢缘玫椒聪蛲队暗幕叶葓D像。目標(biāo)跟蹤步驟5目標(biāo)追蹤 輸入視頻，目標(biāo)特征，以及初始特征框，基于初始的目標(biāo)區(qū)域框以及反向投影圖，使用meanShift,指定一些停止條件來完成均值漂移的任務(wù)，并生成下一幀的目標(biāo)框，循環(huán)對視頻進(jìn)行追蹤。練習(xí)1實現(xiàn)目標(biāo)跟蹤。作答正常使用主觀題需2.0以上版本雨課堂主觀題10分視頻分割我們前面介紹過圖像的分割。視頻也有分割的需求。視頻分割可以轉(zhuǎn)化為一張張圖像的分割，也可以根據(jù)視頻本身的特性，通過分析前景與背景的更新來把前景和背景分割開來。本節(jié)將介紹一種基于K近鄰的背景去除方法，來實現(xiàn)視頻的分割。視頻分割基于K近鄰的背景去除任務(wù)實現(xiàn)步驟如下。（1）讀取視頻。首先我們讀取視頻并查看視頻的一些基本信息。（2）讀取視頻當(dāng)前幀。（3）使用opencv中的createBackgroundSubtractorKNN()函數(shù)實現(xiàn)背景去除。（4）使用形態(tài)學(xué)去噪。（5）循環(huán)迭代