數(shù)字視頻智能編輯算法研究

數(shù)字視頻智能編輯算法研究

1傳統(tǒng)視頻制作成本高據(jù)統(tǒng)計，人們收到約60%的信息來自視覺，20%來自聽覺，20%來自其他方法，這表明視覺信息的重要性。其中,視頻是視覺信息傳播的主要媒體,然而在視頻制作過程中,常常有一些特殊要求,如場景中的字符或人臉留下一些影響視覺效果的斑點需要去除等。如果按傳統(tǒng)的方法,就必須重新拍攝該視頻片段,或者用現(xiàn)有的一些PS工具一幀一幀地手動處理該視頻片段,制作慢,成本高。為此,筆者創(chuàng)新性地設(shè)計了一種數(shù)字視頻智能編輯系統(tǒng),旨在智能地處理視頻中的小瑕疵,文章首先利用圖像跟蹤技術(shù)實現(xiàn)對連續(xù)幀中的小瑕疵跟蹤,再利用圖像修復(fù)技術(shù),去除這些瑕疵的影響,從而達到了視頻制作的低成本、高效率、高質(zhì)量目標。2基于塊匹配算法的圖像特征點窗口對比圖像跟蹤技術(shù)不同的算法各有其優(yōu)缺點,適用的場合也不同,因此一種算法的優(yōu)劣取決于其處理的目標對象的特點。本文的處理對象是視頻中的小目標,由于目標區(qū)域小,紋理信息少,特征點難以提取,因此基于區(qū)域的跟蹤算法是一種較為適合的算法。由于基于區(qū)域跟蹤算法幾乎沒有抗形變、伸縮的能力,該算法的應(yīng)用場合非常受限;另一方面,由于跟蹤目標的背景占有較大區(qū)域,往往含有豐富的信息,這些信息有助于實現(xiàn)目標的精確跟蹤。綜合考慮這兩點,提出了一種結(jié)合Kanade-Lucas-Tomasi(KLT)算法和塊匹配算法的跟蹤算法,其中KLT算法利用背景領(lǐng)域的紋理特征,得到形變仿射信息,完成初步處理,再利用塊匹配算法精確跟蹤目標。KLT算法對灰度圖像的特征點窗口W,KLT算法假定圖像在t+τ時刻的像素I(x,y,t+τ)和t時刻像素I(x,y,t)滿足關(guān)系對于特征點窗口內(nèi)的各個像素,其唯一近似表示為令A(yù)=I+D,I和J分別表示待匹配的兩幀圖像的特征點窗口,則由上述分析,I和JKLT算法就是要尋找A和d,使得特征點窗口的灰度差平方和SSD最小式中:w(X)為權(quán)重函數(shù),通常可以取1,或為了強調(diào)中心紋理,取高斯分布函數(shù)。當式(4)取得最小值時有式中:當u=DX+d為小量時,可對J(AX+d)進行泰勒展開,并將待求運動參數(shù)D和d提取出來,問題可表示為因此,KLT的迭代步驟為:1)假設(shè)i=0時,D2)計算式(4),若ε≤min(ε),停止迭代,所得D3)判斷迭代次數(shù),若i>N,停止迭代;5)根據(jù)式(6),計算D6)由5)的結(jié)果,計算J在KLT跟蹤算法中,并不是所有包含紋理信息的特征窗口都是適合跟蹤的,只有對那些特征窗口,滿足矩陣T的子矩陣Z的兩個特征值λ塊匹配如圖1為跟蹤算法的實驗結(jié)果,其中圖1b,1c分別為單純使用塊匹配法跟蹤的結(jié)果,顯然它不能處理形變伸縮的序列,而圖1d,1e是結(jié)合KLT算法的塊匹配跟蹤結(jié)果,從結(jié)果可見,目標得到了精確的跟蹤。3tables-tod算法描述完成了對目標的正確跟蹤后,下一步就是要對跟蹤到的目標進行修復(fù),得到期望的圖像。圖像修復(fù)技術(shù)主要分為圖像細紋修復(fù)技術(shù)和圖像紋理合成修復(fù)技術(shù)。與傳統(tǒng)的需要迭代的修復(fù)方法不同,Telea提出了一種快速的非迭代的修復(fù)算法。該方法根據(jù)像素與結(jié)構(gòu)信息計算區(qū)域內(nèi)已知像素所應(yīng)有的權(quán)重,采取與缺失區(qū)域幾何信息相關(guān)的修復(fù)順序,根據(jù)鄰域內(nèi)像素加權(quán)來確定未知像素的值。圖2為Telea算法的示意圖,假設(shè)待修復(fù)點集為S={x即距離修復(fù)點x式中:w這樣的權(quán)重估計,保證了距離待修復(fù)點較近的已知點具有較大的權(quán)重,靠近修復(fù)方向的已知點具有較大的權(quán)重,符合了Telea的信息傳遞的方向。由于Telea圖像修復(fù)法只根據(jù)圖像破損區(qū)域的幾何特征確定向內(nèi)修復(fù)的方向,可能導(dǎo)致信息向內(nèi)的錯誤傳遞,并且有不連續(xù)的現(xiàn)象。但在本系統(tǒng)中,由于考慮的是視頻中小目標破損區(qū)域,還不會出現(xiàn)Telea算法本身缺陷導(dǎo)致的問題。同時由于Telea算法不需要迭代計算修復(fù)權(quán)重,還是一種快速的修復(fù)算法。總之,針對該視頻圖像智能編輯系統(tǒng),Telea算法可以在不影響視頻修復(fù)質(zhì)量的基礎(chǔ)上,達到快速修復(fù)的目的,因此是本系統(tǒng)一個較佳的選擇。4預(yù)測設(shè)備的智能修正根據(jù)前面的分析,本文設(shè)計的智能編輯系統(tǒng)的數(shù)據(jù)處理流程為:首先用KLT算法計算圖像幀的形變仿射系數(shù)矩陣,根據(jù)該系數(shù)矩陣,計算待匹配區(qū)域仿射后的模板,之后,利用塊匹配算法,在后續(xù)幀中找到此模板的匹配區(qū)域,最后利用Telea細紋修復(fù)算法完成對匹配區(qū)域的修復(fù)。如圖3所示,為該智能編輯系統(tǒng)的試驗結(jié)果,該圖片序列為電影中截取的片段,其中圖3a為截取片段的第一幀,該試驗的目標是:用戶先在圖像上圈出待修復(fù)的區(qū)域,即臉頰上的痣;然后該系統(tǒng)自動在后續(xù)幀中定位該痣在圖像中的位置,并將其去除。為了說明問題,該系統(tǒng)隨機地選取了智能修復(fù)過程中兩幀圖像的跟蹤和修復(fù)結(jié)果,如圖3b,3c分別為圖像序列第13幀和第76幀的跟蹤結(jié)果,圖3d,3e分別為圖像序列第13幀和第76幀的跟蹤并修復(fù)的結(jié)果。從圖3可以看出,本文設(shè)計的數(shù)字視頻編輯系統(tǒng)可以很好地對圖像中的小目標進行跟蹤并修復(fù),從而實現(xiàn)了視頻的智能編輯的目的。5數(shù)字視頻智能編輯系統(tǒng)文章以視頻制作應(yīng)用作為切入點,針對視頻拍攝中不可