非局部的變分正則化圖像放大算法

1、非局部的變分正則化圖像放大算法    摘 要:針對(duì)Chambolle圖像放大模型存在分塊效應(yīng),提出一種非局部的變分正則化圖像放大算法。該算法的思想是構(gòu)造一個(gè)適用于圖像放大的變分泛函,該泛函由正則項(xiàng)和數(shù)據(jù)保真項(xiàng)構(gòu)成,其中圖像的正則項(xiàng)是用非局部全變差范數(shù)進(jìn)行估計(jì),進(jìn)而用迭代投影方法求泛函的最小解,即為放大后的圖像。與傳統(tǒng)的圖像插值方法不同,該算法是用變分的思想進(jìn)行圖像放大,非局部全變差的引入更使得該算法不只是利用圖像的單個(gè)像素點(diǎn),或某一鄰域內(nèi)的灰度和梯度信息進(jìn)行放大,而是更大范圍地利用了圖像本身的信息,這將更有效地保留圖像特征,避免了Chambolle方法在

2、圖像放大時(shí)出現(xiàn)的分塊效應(yīng)。實(shí)驗(yàn)結(jié)果表明,該算法能更好地保留邊緣和細(xì)節(jié)信息,放大圖像的清晰度比Chambolle圖像放大方法和樣條插值的效果要好。 關(guān)鍵詞:圖像放大;變分泛函;非局部全變差 中圖分類(lèi)號(hào): TP391.411;TP301.6 文獻(xiàn)標(biāo)志碼:A ? Variational image zooming based on nonlocal total variation ? JIANG Dong?huan?*?, XU Guang?bao, DONGYE Chang?lei ?( College of Information Science and Engineering, Shandon

3、g University of Science and Technology, Qingdao Shandong 266590, China )? Abstract: A regularized image zooming model based on nonlocal total variation was proposed, with regard to that the Chambolle image zooming model has blocky effects. It consisted of regular term and fidelity term. The zoomed i

4、mage was obtained by minimizing the variational function which used the nonlocal total variation norm to measure the regularity of the image. Unlike the traditional image zooming by interpolation, the variational model was incorporated in the new zooming algorithm and the use of nonlocal operator ma

5、de the algorithm not just use a single pixel of the image, or gray and gradient information in a neighborhood to amplify, but use the information of image content itself widely that will avoid blocky effects of Chambolle?s model. The experimental results show that the new algorithm can preserve bett

6、er the border and details. It achieves better effect than Chambolle?s method and the interpolation by using spline. ?Key words: image zooming; variational function; nonlocal total variation ? 0 引言? 圖像放大是一種從一幅低分辨率圖像獲得其高分辨率版本的圖像處理技術(shù)。它在圖像顯示、圖像分析、動(dòng)畫(huà)制作以及電影合成等領(lǐng)域均有廣泛的應(yīng)用,已經(jīng)成為圖像處理、計(jì)算機(jī)視覺(jué)和計(jì)算調(diào)和分析等多個(gè)學(xué)科領(lǐng)域上眾多研究者關(guān)注

7、的熱點(diǎn)問(wèn)題。? 傳統(tǒng)的空域圖像放大方法有平移重復(fù)插值、雙線(xiàn)性插值和樣條插值等,這些方法簡(jiǎn)單并且易于實(shí)現(xiàn),用于圖像插值也取得了較好的效果,但這些方法都是根據(jù)一定的光滑性要求用一些已知的光滑函數(shù)逼近源圖像。然而這種固定方式有很大的局限性,在圖像放大倍數(shù)較高時(shí)會(huì)形成斑點(diǎn)以及在明暗區(qū)域出現(xiàn)偏移現(xiàn)象,而且放大倍數(shù)越大,這種現(xiàn)象越明顯。由于這些固有缺陷,一些新的圖像放大算法相繼被提了出來(lái),主要有小波插值放大、分形放大、偏微分方程放大以及基于全變差的圖像放大算法。2005年,朱寧等?1?利用偏微分方程理論中的熱傳導(dǎo)數(shù)學(xué)模型提出一種熱傳導(dǎo)方程初邊值問(wèn)題的圖像放大法,該方法首次將偏微分方程用于圖像放大問(wèn)題；同年

8、,謝美華等?2?提出先把原圖像進(jìn)行簡(jiǎn)單初始放大,然后再進(jìn)行邊緣增強(qiáng)銳化處理來(lái)得到高分辨率的放大圖像；Guichard等?3?用變分思想對(duì)圖像放大問(wèn)題進(jìn)行建模,提出了一種基于全變差的圖像插值方法,得到比較理想的放大效果；2004年Chambolle?4?給出了基于全變差的圖像放大的迭代投影算法,但是該算法運(yùn)行速度慢。 ? 近年來(lái),大多數(shù)研究者傾向于把各種方法綜合起來(lái)放大圖像。2005年,石澄賢等?5?提出先把圖像的像素值作為尺度下的小波低頻部分,置高頻部分為零,重構(gòu)后的初始放大圖像用非線(xiàn)性擴(kuò)散方程處理;2007年,郝彬彬等?6?把小波變換和擴(kuò)散方程結(jié)合起來(lái)用于圖像放大。這些方法能較好地對(duì)圖像進(jìn)行

9、放大,但是擴(kuò)散方程的使用使得圖像細(xì)節(jié)邊緣比較模糊。2008年,馮象初等?7?提出一種結(jié)合小波變換和變分思想的圖像放大方法,該算法用變分方法對(duì)圖像放大問(wèn)題建模并提出一種在小波域中求泛函極值的迭代算法。在此基礎(chǔ)上,2011年本文作者在文獻(xiàn)8中提出了將圖像分解為卡通和紋理后再分別用變分方法放大的算法,該算法把圖像分解作為圖像放大問(wèn)題的一個(gè)預(yù)處理過(guò)程,獲得了比較好的圖像放大效果。? Buades等?9-10?于2005年提出了一種非局部平均(Non?Local Means, NLM)濾波算法,非局部平均濾波是受鄰域?yàn)V波的方法啟發(fā)得到的。 它不是依靠局部信息,而是利用圖像的自相似性質(zhì),計(jì)算所有相似像素的

10、平均灰度來(lái)實(shí)現(xiàn)抑制噪聲。非局部平均濾波算法自被提出以來(lái),就受到很多學(xué)者的關(guān)注。研究者在算法的理論解釋、性能的改進(jìn)和拓展方面做了一些研究，Singer等?11?從擴(kuò)散的角度對(duì)非局部濾波算法進(jìn)行了解釋;Gilboa等?12-13?給出了非局部平均濾波算法的變分形式和相應(yīng)的非局部偏微分方程,并在變分的框架下對(duì)其進(jìn)行迭代求解。孫偉峰等?14?在引入鄰域模式的對(duì)稱(chēng)變換的基礎(chǔ)上提出了一種自適應(yīng)的濾波參數(shù)選取方法;徐大宏等?15?針對(duì)非局部處理方法中的權(quán)值計(jì)算作了改進(jìn)處理,在此基礎(chǔ)上提出一種改進(jìn)的基于非局部的正則化圖像去噪算法。有些學(xué)者拓展了非局部濾波算法的應(yīng)用:王衛(wèi)衛(wèi)等?16?利用空間非局部梯度設(shè)計(jì)了圖像

11、的非局部擴(kuò)散張量,并建立了基于非局部擴(kuò)散張量的各向異性擴(kuò)散模型;吳曉明等?17?把非局部濾波算法用于序列圖像超分辨重構(gòu)。?      1 基礎(chǔ)知識(shí)? 1.1 非局部平均濾波? 非局部平均濾波去噪?9-10?是空域?yàn)V波的一個(gè)重大突破,它利用自然圖像的冗余將當(dāng)前像素點(diǎn)的灰度值與圖像中所有與其結(jié)構(gòu)相似的像素點(diǎn)的灰度值加權(quán)平均得到去噪后的像素灰度值。對(duì)于每一個(gè)像素點(diǎn)的權(quán)值,采用以該像素點(diǎn)為中心的圖像子塊與當(dāng)前像素點(diǎn)為中心的子塊之間的高斯加權(quán)歐氏距離來(lái)衡量結(jié)構(gòu)相似的像素點(diǎn)。非局部濾波算法具有以下優(yōu)點(diǎn):1)該算法是基于圖像的全局信息,在對(duì)每個(gè)像素的加權(quán)平滑中考慮了局

12、部結(jié)構(gòu)的相似性,有較高的去噪效果;2)與局部處理工具相比,非局部濾波算法能更好地保持圖像中的邊緣、紋理等細(xì)節(jié)特征。? 5 結(jié)語(yǔ)? 與傳統(tǒng)的圖像放大方法不同的是,本文從能量變分的角度研究圖像放大問(wèn)題,提出一種將能量最小化問(wèn)題和非局部濾波相結(jié)合的圖像放大算法。該算法用非局部總變差刻畫(huà)圖像的正則性構(gòu)造了一個(gè)變分泛函,然后通過(guò)最小化該變分泛函得到放大圖像。Chambolle圖像放大算法等已有的放大算法只是利用圖像單個(gè)像素點(diǎn),或某一鄰域內(nèi)的灰度和梯度信息放大圖像,因而存在分塊效應(yīng)。本文算法中非局部濾波算子的引入使得它能夠更大范圍地利用圖像本身的自相似的信息進(jìn)行放大,因而能夠保留更多的細(xì)節(jié)特征,避免一定的

13、分塊效應(yīng);變分模型的引入對(duì)放大后的圖像強(qiáng)加了幾何正則性的要求,這就保證了用本文算法放大的圖像邊緣的光滑性,因而能夠重構(gòu)出高質(zhì)量的圖像。由實(shí)驗(yàn)結(jié)果可知,本文算法適合處理自然圖像及含豐富細(xì)節(jié)的圖像,并且在視覺(jué)上可以達(dá)到比樣條插值更好的放大效果。但是，由于本文算法考慮了圖像的全局信息,所以算法復(fù)雜度比較高,提高算法速度將是今后需要研究的主要內(nèi)容。 ?參考文獻(xiàn):? 1 朱寧,吳靜, 王忠謙.圖像放大的偏微分方程方法J.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2005,17(9):1941-1945. ?2 謝美華,王正明.基于邊緣定向擴(kuò)散的圖像增強(qiáng)方法J.光子學(xué)報(bào),2005,34(9):1420-1424. ?3

14、 GUICHARD F, MALGOUYRES F. Edge direction preserving image zooming: a mathematical and numerical analysisJ. SIAM Journal of Numerical Analysis, 2001, 39(1): 1-37. ?4 CHAMBOLLE A. An algorithm for total variation minimization and applicationsJ. Journal of Mathematical Imaging and Vision, 2004, 20(1/2

15、): 89-97. ?5 石澄賢,吳建成,夏德深.各向異性擴(kuò)散方程和一種圖像放大方法J.南京大學(xué)學(xué)報(bào):數(shù)學(xué)半年刊,2005, 22(1): 153-160. ?6 郝彬彬,馮象初. 一種基于小波和矩陣型擴(kuò)散的圖像放大J. 光子學(xué)報(bào), 2008,37(11):2365-2368. ?7 馮象初,姜東煥,徐光寶.基于變分和小波變換的圖像放大算法J.計(jì)算機(jī)學(xué)報(bào),2008,31(2):340-345. ?8 JIANG DONG?HUAN, XU GUANG?BAO. Image zooming based on cartoon and texture decomposition C/ Interna

16、tional Conference on Information Systems and Computational Intelligence. Washington, DC: IEEE Computer Society, 2011:119-122. ?9 BAUDES A, COLL B, MOREL J M. A non?local algorithm for image denoising C/ IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE

17、 Computer Society, 2005: 60-65. ?10 BAUDES A, COLL B, MOREL J M. On image denoising methodJ. SIAM Multiscale Modeling and Simulation, 2005,4(2):490-530. ?11 SINGER A, SHKOLNISKY Y, NADLER B. Diffusion interpretation of non?local neighborhood filters for signal denoisingJ. SIAM Journal on Imaging Sci

18、ences, 2009, 2(1):118-139. ?12 GILBOA G, OSHER S. Nonlocal linear image regularization and supervised segmentationJ. SIAM Multiscale Modeling and Simulation, 2007,6(2): 595-630. ?13 GILBOA G, OSHER S. Nonlocal operators with applications to image processingJ. SIAM Multiscale Modeling and Simulation, 2008, 7(3):1005-1028. ?14 孫偉峰,彭玉華.一種改進(jìn)的非局部平均去噪方法J.電子學(xué)報(bào), 2010, 38(4):923-928. ?15 徐大宏,王潤(rùn)生. 基于非局部正則化的圖像去噪J.計(jì)算機(jī)應(yīng)用研究, 2009, 26(12): 4830-4832. ?16 王衛(wèi)衛(wèi),韓雨,馮象初. 基于非局部擴(kuò)散的圖像去噪J. 光學(xué)學(xué)報(bào), 2010,30(2):373-375. ?17 吳曉明, 陳斌, 阮波, 等. 基于非局部算法的序列圖像超分辨率重構(gòu)J.計(jì)算機(jī)應(yīng)用,20