配準(zhǔn)參數(shù)對圖像重建結(jié)果的影響

配準(zhǔn)參數(shù)對圖像重建結(jié)果的影響

1幾種方法的比較重建后的分辨率（sr）圖像從一系列低分析率圖像中獲得高分辨率圖像。超分辨率重建最重要的步驟是圖像配準(zhǔn)和數(shù)據(jù)融合。圖像配準(zhǔn)在過去20年得到高度重視,并有很多算法提出。然而,包含局部區(qū)域運(yùn)動的圖像間的配準(zhǔn)仍然是一項(xiàng)艱巨的工作。為了克服局部運(yùn)動區(qū)域配準(zhǔn)誤差,本文采用3種方法來解決:(1)對不同的配準(zhǔn)誤差使用不同的全局(或局部)權(quán)值,這種方法主要是對具有大配準(zhǔn)誤差的幀(或像素)給予小的權(quán)值或棄用。(2)使用局部運(yùn)動估計(jì)提高在局部移動部分的配準(zhǔn)精度。這種方法的主要思想是盡可能地多加入不同幀的信息。前一種方法在超分辨率重建中用得較多。如上所述,對于不同配準(zhǔn)使用不同的權(quán)值是基于丟棄具有高配準(zhǔn)誤差的像素甚至整個幀?？梢园熏F(xiàn)有的方法分成2類:(1)全局權(quán)值,即根據(jù)整個幀的配準(zhǔn)誤差為每個幀賦予以固定的權(quán)值。(2)局部權(quán)值,即每個像素都有各自的權(quán)值。文獻(xiàn)提出對不同幀使用不同權(quán)值和不同的正則項(xiàng)系數(shù)。這樣,隨著誤差增加,權(quán)值就會減小,正則項(xiàng)系數(shù)增大。這種算法對不同的幀使用不同的正則項(xiàng),然而在存在遮擋或局部運(yùn)動時仍然存在問題。文獻(xiàn)提出局部權(quán)值,然而局部權(quán)值并沒有隨著配準(zhǔn)誤差自適應(yīng)變化,因此,文獻(xiàn)的算法并不能有效解決不精確配準(zhǔn)帶來的錯誤結(jié)果。文獻(xiàn)通過指數(shù)方程為每一個像素選擇權(quán)值,以配準(zhǔn)誤差(參考幀與變換幀的絕對差值)作為指數(shù)。這種算法的主要問題是局部權(quán)值對噪聲的敏感性,因?yàn)闄?quán)值是通過單個像素決定的。此外,圖像分割已經(jīng)用于提升分辨率。文獻(xiàn)提出了基于區(qū)域的超分辨率算法,該算法對于圖像的區(qū)域類型使用不同的濾波器。但是在該算法中,分割信息并沒有被完全利用,僅用于把區(qū)域分為一致或非一致區(qū)域。在文獻(xiàn)中,圖像被分割成背景和不同的物體,并且背景和不同的物體使用傳統(tǒng)算法各自的超分辨率重建,然后將它們?nèi)诤蠘?gòu)建最終的超分辨率圖像。該算法相當(dāng)復(fù)雜,因?yàn)樗枰獧z測運(yùn)動物體且每個物體要分別配準(zhǔn)。本文提出一個魯棒的超分辨率算法,該算法要考慮存在運(yùn)動物體的圖像的不精確配準(zhǔn),把參考幀分割成任意形狀的區(qū)域且每一個區(qū)域使用一個權(quán)值,同時估計(jì)每一個區(qū)域的正則項(xiàng)系數(shù)。對于每一個區(qū)域,其權(quán)值是自適應(yīng)調(diào)整的。這樣,帶有高配準(zhǔn)誤差(由于此區(qū)域的局部運(yùn)動)的區(qū)域賦予一個小的權(quán)值甚至舍棄(由誤差量決定)。每個區(qū)域的正則項(xiàng)系數(shù)隨著配準(zhǔn)誤差的增加而增加,隨著平滑性的增加而減小。與全局權(quán)值方法和局部權(quán)值方法相比,這種方法可以獲得更好的結(jié)果,因?yàn)槠淙诤狭诉@2種算法的優(yōu)點(diǎn),減弱了其權(quán)值對噪聲的敏感性,而且沒有配準(zhǔn)誤差的區(qū)域不會被權(quán)值影響。2問題描述2.1測量分辨率圖像的心理噪聲假設(shè)所觀察的K幀相同場景的低分辨率圖像按詞典順序排列表示為Yk(1≤k≤K),每一個包含M2個像素。它們是由高分辨率圖像X產(chǎn)生的,包含L2個像素,L≥M。所觀測的K幀低分辨率圖像可以用下列降質(zhì)模型表示:其中,Fk、H和D分別代表第K幀運(yùn)動操作、模糊操作和亞采樣操作;X為求得的未知高分辨率圖像;Yk為第K幀觀測的低分辨率圖像;Vk為第K幀的加性噪聲。本文認(rèn)為H和D為已知的、加性噪聲為零均值的高斯噪聲。超分辨率重建的目的就是找到原始圖像X。2.2梯度迭代融合為了避免矩陣的逆變換,超分辨問題通常通過迭代方法來實(shí)現(xiàn)。經(jīng)常使用迭代梯度下降方法最小化下列誤差方程:其中,ρ為數(shù)據(jù)擬合函數(shù);Z為正則函數(shù);λ為正則項(xiàng)系數(shù)。這種優(yōu)化方法是求得沿著負(fù)梯度軌跡的局部最小值。在n次迭代后,高分辨率圖像根據(jù)觀測模型Yk被更新為:其中,Rkn為第k幀在n次迭代的殘差梯度,可以用下式計(jì)算:其中,ψ為數(shù)據(jù)擬合項(xiàng)的梯度;Ф為正則項(xiàng)的梯度。該方程表示了梯度超分辨率方法實(shí)際上是代價(jià)方程的梯度迭代融合。利用這種思想,文獻(xiàn)提出了利用最小均方(LeastMeanSquare,LMS)算法得到每一個像素的自適應(yīng)權(quán)值。3基于權(quán)重值的超分辨率算法3.1承臺權(quán)值和正則化項(xiàng)本文提出2個代價(jià)方程,即自適應(yīng)正則化權(quán)值的L1泛函和正則化權(quán)值的L2泛函。數(shù)據(jù)擬合項(xiàng)和正則化項(xiàng)可以分別表示為:對于大小為M2的向量X,其帶有權(quán)值的L1泛函和權(quán)值L2泛函可分別表示為:其中,Sxl和Sym分別為在x方向移動l和在y方向移動m的移位算子;λk為對于不同區(qū)域的權(quán)值矩陣;β為梯度方向的步長;C為高通算子;α為調(diào)整雙邊濾波的系數(shù)。3.2區(qū)域ri/多誤差矩陣的對應(yīng)關(guān)系本文提出對每個區(qū)域使用指數(shù)方程,不對整個幀進(jìn)行全局加權(quán)。對于每個區(qū)域也自適應(yīng)地算出正則化系數(shù)。假設(shè)每個區(qū)域具有相同的運(yùn)動趨勢,因此,為每個區(qū)域分配相同的權(quán)值是合理的。對于第k幀的區(qū)域Ri的權(quán)值WRk,令每一幀的差值矩陣為:把每個區(qū)域的誤差值定義為:其中,NR是區(qū)域Ri內(nèi)的像素?cái)?shù)。對于第k幀的區(qū)域Ri,權(quán)值WRk為:為了使所有幀中每個區(qū)域的權(quán)值和等于總幀數(shù),對權(quán)值進(jìn)行歸一化處理。3.3基于正演算法的低分辨率幀正則化每個區(qū)域的正則化系數(shù)的自適應(yīng)估計(jì)表示如下:(1)在采用自適應(yīng)正則化權(quán)值L1范數(shù)的情況下其中,。正則化系數(shù)應(yīng)該是非負(fù)的,所以,,本文用所有幀相同區(qū)域Ri的L1范數(shù)的和為。該算法步驟如下:1)對所有低分辨率幀基于一個參考幀進(jìn)行配準(zhǔn),使用Lucas-Kanade仿射運(yùn)動模型。2)使用分水嶺分割算法把參考幀分割成一系列區(qū)域。3)使用式(5)~式(7)確定每個區(qū)域的權(quán)值。4)使用式(8)確定正則化系數(shù)。5)用最速梯度下降法求出高分辨率圖像。(2)在采用自適應(yīng)正則化權(quán)值L2范數(shù)的情況下:其中,Z2=CX,要選擇,避免λRk為負(fù);把γkR為LR區(qū)域Ri的L2范數(shù)的和記為:為了避免在小區(qū)域內(nèi)(對噪聲敏感)正則化系數(shù)的值過高,控制這些正則化系數(shù),使它們不超過0.2。4最速下降法使用CIF格式(240×352像素)的移動視頻序列作為LR序列。為了檢測基于區(qū)域權(quán)值自適應(yīng)正則化算法的有效性,與3個流行算法相比較,分別是L2泛函、L1泛函和基于幀權(quán)值的L2泛函的自適應(yīng)正則化算法。在仿真中對每種算法使用最速下降法進(jìn)行20次迭代,α設(shè)為0.2。圖1~圖7是不同SR算法產(chǎn)生的圖像。圖1和圖2分別是LR圖像的放大部分和相應(yīng)的分割圖像。圖3表明L2泛函對配準(zhǔn)誤差較敏感,小球和火車等局部移動部分明顯受到了影響。圖4是L1泛函的結(jié)果,雖然L1泛函對配準(zhǔn)誤差具有魯棒性,但是仍不能解決具有局部運(yùn)動的問題。L1泛函雖然沒有投影所有LR幀,采用的是對所有LR幀求中值,但這也不能處理局部配準(zhǔn)誤差的問題。圖5是基于幀權(quán)值的L2泛函的自適應(yīng)正則化算法的結(jié)果。它適用于解決全局配準(zhǔn)誤差的問題,當(dāng)圖片的局部配準(zhǔn)誤差很大時,這樣的幀會被舍棄。然而當(dāng)存在小的移動物體時,配準(zhǔn)誤差不是很大,但是會影響重建質(zhì)量,這時該算法就不適用了。由圖6和圖7可以看出,本文算法很好地解決了局部運(yùn)動或遮擋問題。5噪聲級別分配本文提出了一種提升圖片和視頻分辨率的算法。