基于Criminisi算法的圖像修復(fù)順序的研究

1、第3期 2016年2月 No.3February, 2016無線互聯(lián)科技Wireless Internet Technology數(shù)字圖像修復(fù)技術(shù)對信息和網(wǎng)絡(luò)安全有著非常重要的意 義:隨著互聯(lián)網(wǎng)的高速發(fā)展, 信息在網(wǎng)絡(luò)中的傳輸尤其是圖 像信息和視頻信息在網(wǎng)絡(luò)中的傳輸越來越頻繁, 然而在有限 帶寬的情況下 , 壓縮的圖像信息和視頻信息受到信道干擾等 影響, 經(jīng)常會出現(xiàn)丟包、 數(shù)據(jù)塊損失等現(xiàn)象, 然而常規(guī)的重 傳機制很難滿足實時性要求, 圖像和視頻的修復(fù)技術(shù)就可以 在接收端對傳輸過程中發(fā)生的錯誤進行處理。 出于政治和軍 事目的, 有時會在圖像信息的安全顯示和圖像信息的網(wǎng)絡(luò)安 全傳輸時把圖像中的某個對

2、象或者文字進行移除, 這正是圖 像修復(fù)技術(shù)所擅長的。 另外, 圖像修復(fù)技術(shù)在保護文物、 制 作影視特效、 修補陳舊照片 、 摳出圖像中的文字和物體等領(lǐng) 域也都有著十分重要的理論價值和應(yīng)用意義。數(shù)字圖像修復(fù)技術(shù)是利用圖像中的已知信息對圖像中的 受損區(qū)域進行信息的填充或是移除圖像中的多余物體, 從而 使觀察者覺察不出圖像曾經(jīng)破損或是感覺不到有多余物體 存在的一種技術(shù)。 圖像修復(fù)的目的并非是要 “恢復(fù)” 圖像的 原來信息, 而是最大限度地使得修復(fù)后的圖像看不出破損的 痕跡。 數(shù)字圖像修復(fù)的算法主要分為2類:基于偏微分方程的 數(shù)字圖像修復(fù)和基于紋理合成的數(shù)字圖像修復(fù)。 前者主要用 于修復(fù)圖像中的小尺度

3、破損問題, 后者主要用于圖像中的較 大面積破損區(qū)域的修復(fù)。 而基于紋理合成的圖像修復(fù)算法主 要分為2類:基于圖像分解的修復(fù)算法和基于樣本塊的圖像 修復(fù)算法, 前者的修復(fù)過程是基于分解的思想, 首先將待修 復(fù)圖像的紋理和結(jié)構(gòu)分離, 然后以單個像素點為對象分別對 紋理和結(jié)構(gòu)進行修復(fù), 最后再把修復(fù)結(jié)果進行合并; 后者的 修復(fù)原理是首先人為地確定待修復(fù)區(qū)域的邊緣, 以邊緣上 優(yōu)先權(quán)最高的像素點為中心構(gòu)成的9×9的像素塊為對象, 在 完好區(qū)域進行匹配, 然后用匹配得到的誤差最小的像素塊填 充模板塊的待修復(fù)部分 , 最后更新已修復(fù)像素點的優(yōu)先權(quán)并 開始下一次迭代修復(fù)。 基于樣本塊的圖像修復(fù)算法

4、最初是由Criminisi 1等人于2003年提出的, 是迄今為止最為經(jīng)典的 基于紋理合成的圖像修復(fù)算法。 由于該算法優(yōu)先權(quán)中的置信 度會隨著圖像的不斷修復(fù)迅速變?yōu)榱? 并且數(shù)據(jù)項也有為零的可能, 這些都會導(dǎo)致優(yōu)先權(quán)的計算出現(xiàn)錯誤, 從而導(dǎo)致修復(fù)順序出現(xiàn)錯誤, 引起修復(fù)誤差的累積, 最終影響修復(fù)的效 果。 后來國內(nèi)外的很多學(xué)者都在該算法上進行不同程度的改 進。 李愛菊 2、 吳亞東 3通過直接增大數(shù)據(jù)項在優(yōu)先權(quán)公式 計算中的權(quán)重, 使得紋理較為豐富的區(qū)域優(yōu)先修復(fù), 在一定 程度上增強了 修復(fù)后的視覺效果; 韓明珠 4則通過減小置信 度對優(yōu)先權(quán)的影響, 間接增大數(shù)據(jù)項對優(yōu)先權(quán)的作用; 劉業(yè) 妃

5、5引入了自然指數(shù), 平緩了置信度的急劇變化; 李尊 6-7則通過引入正規(guī)化函數(shù), 通過減小噪聲的影響, 以達(dá)到較好 的修復(fù)效果。 1 Criminisi算法 1. 1 算法基本原理Criminisi算法通過在待修復(fù)區(qū)域邊緣上選取優(yōu)先權(quán)最 高的像素點p, 然后以p為中心構(gòu)造一個n×n大小的像素塊, 然后在完好區(qū)域?qū)ふ遗c該模板塊最相似的樣本塊, 并用找 到的樣本塊更新模板塊中的待修復(fù)信息, 最后更新已修復(fù)塊 塊中像素點的置信度, 并開始下一次迭代修復(fù), 直至修復(fù)完 成。圖1是Criminisi算法的修復(fù)原理, 其中 是完好區(qū)域, 是待修復(fù)區(qū)域, 是待修復(fù)區(qū)域的邊界, 是以像素點 p為中心

6、構(gòu)造的像素塊, 是邊緣上像素點p的法線方向,是邊緣上點p的等照度方向。圖1 Criminisi算法修復(fù)原理基金項目:中國地質(zhì)調(diào)查局地質(zhì)調(diào)查基金項目; 項目名稱:適用于礦產(chǎn)和能源探測應(yīng)用的遙感傳感器優(yōu)化設(shè)計技術(shù); 項目編號:科 201201-049-004。 作者簡介:亓卓亞 (1984- , 男 , 河南開封, 碩士研究生; 研究方向:數(shù)字圖像處理。基于Criminisi算法的圖像修復(fù)順序的研究亓卓亞, 蘇紅旗(中國礦業(yè)大學(xué) (北京 機電與信息工程學(xué)院, 北京 100083摘 要:Criminisi算法是用于修復(fù)大尺度破損圖像的經(jīng)典算法。 由于該算法中像素塊的置信度會隨著修復(fù)的進行迅速降為零,

7、 并且也存在數(shù)據(jù)項為零的可能, 而置信度項和數(shù)據(jù)項中任一項為零都會導(dǎo)致錯誤的修復(fù)順序, 造成錯誤信息的累積, 最 終影響圖像的修復(fù)效果。 因此, 文章改進了 優(yōu)先權(quán)的計算公式, 并用實驗驗證了 改進后優(yōu)先權(quán)計算公式的優(yōu)越性, 從而在一 定程度上提高了 圖像修復(fù)后的視覺效果。 關(guān)鍵詞:數(shù)字圖像修復(fù); Criminisi; 優(yōu)先權(quán); 置信度; 數(shù)據(jù)項第3期 2016年2月No.3February, 20161. 2 算法的運行步驟Criminisi算法的運行步驟如圖2所示。 圖2 Criminisi算法修復(fù)步驟1. 3 算法中的優(yōu)先權(quán)Criminisi算法中計算優(yōu)先權(quán)的公式如 (1 所示:(1 在

8、公式 (1 中, C (p 為置信度項, 表示的含義是樣本塊 中包含的已知像素點的多少 。 C (p 越大, 說明 中包含 的已知信息所占有的比例越大, 即置信度越大, 應(yīng)優(yōu)先修復(fù) 。 D (p 是數(shù)據(jù)項, 表示結(jié)構(gòu)信息量。 D (p 越大, 說明表面線 性結(jié)構(gòu)越復(fù)雜, 應(yīng)優(yōu)先修復(fù) 。 其中, C (p 和D (p 的計算公式 如 (2 (3 所示:(2(3 其中, |表示樣本塊 的面積或者說是樣本塊 中像素點數(shù), 初始時C (p 的計算公式如公式 (4 所示。是修復(fù)邊緣 上p點的法向量; 為點p的等照度線方向, 表 示p點梯度方向的垂直方向。 對于灰度圖像, 歸一化因子 =225。 (4 2

9、 優(yōu)先權(quán)的改進2. 1 Criminisi算法存在的問題問題1:在Criminisi算法中, 優(yōu)先權(quán)的計算公式是像素 塊的置信度和像素點的數(shù)據(jù)項的乘積的形式。 然而在修復(fù)的 過程中, 置信度值C (p 會隨著迭代的進行迅速下降為零, 導(dǎo) 致P (p 為零, 從而即使線性結(jié)構(gòu)復(fù)制的區(qū)域也不能被優(yōu)先 修復(fù); 當(dāng)?shù)日斩鹊姆较蚝拖袼攸cp的法線方向垂直時 , 會出現(xiàn) D (p 為零的情況, 并且就某塊單一顏色的區(qū)域而言D (p 的 值總是零, 導(dǎo)致P (p 為零, 從而置信度很高的區(qū)域不能被優(yōu) 先修復(fù)。 這些都會使優(yōu)先權(quán)的計算變得不可靠, 進而導(dǎo)致錯誤的修復(fù)順序, 最終影響修復(fù)的效果。問題2:在Crim

10、inisi算法中, 使用的是固定大小的9×9的像素塊。 然而無法預(yù)料到圖像待修復(fù)區(qū)域中紋理和結(jié)構(gòu)的 情況, 針對待修復(fù)區(qū)域是紋理比較單一的, 使用的像素塊的 大小有可能使用大于9×9的像素塊, 使用9×9的像素塊有可 能就會造成過長的修復(fù)時間, 增加算法的時間復(fù)雜度; 而對 于結(jié)構(gòu)性比較復(fù)雜的待修復(fù)區(qū)域, 使用9×9的像素塊可能顯 得過大, 而像素塊太大會導(dǎo)致檢索到的不是最佳匹配塊, 從 而導(dǎo)致錯誤信息的累積, 最終影響修復(fù)效果。問題3:Criminisi算法采用的是基于像素差值的平方和 SSD (Sum of Squared Difference 的全

11、局搜索, 對于較大 的待修復(fù)圖像, 使用全局搜索就會導(dǎo)致搜索匹配占用更多的 時間, 增加算法的時間復(fù)雜度。 2. 2 算法的改進方向基于Criminisi算法, 現(xiàn)有的很多改進算法主要從3個方 面進行某種程度的改進:第1個方面是待修復(fù)邊緣上像素點 優(yōu)先權(quán)的確定, 因為優(yōu)先權(quán)的計算直接影響到修復(fù)順序的確 定, 而不好的修復(fù)順序?qū)?dǎo)致修復(fù)錯誤的累積, 最終影響修 復(fù)效果; 第2個方面是像素塊的大小的選擇, 針對結(jié)構(gòu)復(fù)雜性 差異較大的像素塊, 應(yīng)該考慮使用不同大小的像素塊進行修復(fù), 孟春芝等 8-11在此方面進行了研究;第3個方面是搜索時 所用的匹配算法和搜索范圍的改進, 戚曹等 12-16在此方面

12、進 行了相關(guān)的探索研究。 2. 3 本文的改進思路本文主要研究待修復(fù)像素塊優(yōu)先權(quán)的確定。 由于在修復(fù) 的過程中, 置信度值C (p 會隨著迭代的進行迅速下降為零, 導(dǎo)致P (p 為零, 從而即使線性結(jié)構(gòu)復(fù)制的區(qū)域也不能被優(yōu) 先修復(fù); 當(dāng)?shù)日斩鹊姆较蚝拖袼攸cp的法線方向垂直時 , 會出 現(xiàn)D (p 為零的情況, 并且就某塊單一顏色的區(qū)域而言D (p 的值總是零, 導(dǎo)致P (p 為零, 從而置信度很高的區(qū)域不能被 優(yōu)先修復(fù)。 這些都會引起優(yōu)先權(quán)的計算變得不可靠, 進而導(dǎo) 致錯誤的修復(fù)順序, 最終影響修復(fù)的效果。本文提出的優(yōu)先權(quán)的改進公式為:(5其中,(6其中, C (p D(p與公式 (1 中的相

13、同; 由于隨著修復(fù)的 不斷迭代, 置信度會驟降, 使用指數(shù)形式使置信度的變化更 加平緩; 由于圖像在一個像素點梯度值較大時, 該點附近圖 像的紋理較為豐富, 通過優(yōu)先修復(fù)紋理較為豐富的像素點, 使得圖像的邊緣結(jié)構(gòu)更加平滑, 故結(jié)構(gòu)性較為復(fù)雜的邊界點 應(yīng)該優(yōu)先修復(fù); 是非負(fù)常數(shù), 分別決定著優(yōu)先權(quán)中占 已知區(qū)域的比例、 結(jié)構(gòu)信息量的權(quán)重, 。 當(dāng)圖像平滑, 紋理簡單時, 使 增大, 減小;當(dāng)圖像紋理結(jié)構(gòu)比較 復(fù)雜, 邊緣信息比較突出時, 使 增大, 減小。 對于 (6 式, 引入正規(guī)化函數(shù), 平滑數(shù)據(jù)項D (p , 從而增強圖像邊緣 修復(fù)的魯棒性, 其中, 取0. 7。 同時將P (p 的表達(dá)式

14、由乘改 為相加, 避免了 由于C (p 和D (p 突然減小為零所引起的優(yōu) 先權(quán)的不可靠所導(dǎo)致的錯誤修復(fù)順序 。無線互聯(lián)科技 ·實驗研究第3期 2016年2月No.3February, 20163 實驗結(jié)果分析比較 本文在Intel Core (TM 2Duo CPU T6400, RAM 4GB, Windows7的測試機上, 采用Matlab7. 10編程測試改進后算法 的修復(fù)效果, 并和標(biāo)準(zhǔn)的Criminisi算法進行對比, 測試圖 像分別為:bungee1. png, seaside. png。 實驗結(jié)果如圖3-4所 示。 圖中 (a 表示待修復(fù)圖像, (b 表示Crimin

15、isi修復(fù)后的 圖像, (c 表示文獻5的修復(fù)結(jié)果, (d 表示文獻6的修復(fù) 結(jié)果, (e表示本文算法修復(fù)后的圖像。 圖3 bungeer1圖像修復(fù)結(jié)果由圖3可以看出, 仿真實驗是為 了移除背景中跳水的人和跳板, 得到所需的前景圖像。 經(jīng)過對比可以看出:(b 圖中 Criminisi算法的修復(fù)結(jié)果效果不夠好, 水泥墻壁的裂縫太 大; (c 圖是文獻 5的修復(fù)結(jié)果, 邊緣平滑性不夠好; (d 圖是文獻 6的修復(fù)結(jié)果, 由于置信度的驟減引起的修復(fù)順序不當(dāng), 導(dǎo)致水泥墻的修復(fù)后中間出現(xiàn)裂縫; (e 圖是優(yōu)先權(quán)改進后的修復(fù)結(jié)果, 可以看出不會出現(xiàn)置信度驟減的情況, 線 性結(jié)構(gòu)的平滑性較好,基本滿足人眼

16、的視覺效果。圖4 seaside圖像修復(fù)結(jié)果圖4是seaside圖像的修復(fù)結(jié)果, 其中, 圖 (a 是待修復(fù)圖像; 圖 (b 是算法Criminisi的圖像修復(fù)結(jié)果, 修復(fù)結(jié)果中 有黑色小點存在; 圖 (c 是文獻5的修復(fù)結(jié)果, 可以明顯看 出圖像修復(fù)結(jié)果不夠好; 圖 (d 是文獻6的修復(fù)結(jié)果, 圖 (e 是優(yōu)先權(quán)改進后圖像的修復(fù)結(jié)果, 可以看出, 即使對于結(jié)構(gòu) 性比較單一的待修復(fù)區(qū)域, 圖 (e 也能具有相對較好的修復(fù) 效果。 4 結(jié)語針對Criminisi算法中優(yōu)先權(quán)計算公式中存在的缺陷, 提出 了新的優(yōu)先權(quán)計算公式, 并通過仿真實驗和現(xiàn)有典型的 改進算法的修復(fù)結(jié)果進行對比。 仿真實驗表明

17、, 改進的優(yōu)先 權(quán)計算公式具有較好的修復(fù)結(jié)果, 在一定程度上提高了 人眼 的視覺效果。參考文獻1CRIMINISI A, PEREZ P, TOYAMA K.Region Filling and Object Removal by Exemplar-Based Image InpaintingJ.IEEE Trans.Image Process, 2004(9 :1200-1212. 2李愛菊, 鈕文良.基于改進Criminisi算法的圖像修復(fù)J.計算機工程與應(yīng)用, 2014(18 :167-170. 3吳亞東, 張紅英, 吳斌. 數(shù)字圖像修復(fù)技術(shù)M.北京:科學(xué)出版社, 2010. 4韓明珠,

18、 郭樹旭, 臧玲玲, 等 .基于樣本塊的圖像修復(fù)改進算法J.計算機工程與應(yīng)用, 2015(16 :192-194. 5劉業(yè)妃, 王福龍, 奚祥艷, 等 . 改進的Criminisi圖像修復(fù)算法J.小型微型計算機系統(tǒng), 2014(12 :2754-2758. 6李尊, 吳謹(jǐn), 劉勁.基于邊緣結(jié)構(gòu)的Criminisi圖像修復(fù)J.液晶與顯示, 2014(5 :756-760. 7李尊, 吳謹(jǐn), 劉勁, 等 .FA-Criminisi快速圖像修復(fù)J.液晶與顯示, 201(2 :353-358. 8孟春芝, 何凱, 焦青蘭. 自適應(yīng)樣本塊大小的圖像修復(fù)方法J.中國圖象圖形學(xué)報, 2012(3 :337-

19、341.無線互聯(lián)科技 ·實驗研究第3期 2016年2月No.3February, 2016Intelligent Technology of Electrical Engineering and AutomationZhang Lei(Hohhot Power Supply Section, Baotou Railway Bureau, Baotou 014000, ChinaAbstract: With the development of modern society, science and technology, intelligent technology used mor

20、e and more widely, mainly is because intelligent technology can effectively improve the working environment, reduce the working intensity of workers and improve the work efficiency of the industrial. Therefore, intelligent in some important construction using widely. Intelligent technology, because

21、of its automation and intelligent performance, can reduce the maintenance cost of equipment, improve the level of fault diagnosis. The construction of electrical engineering plays a decisive role in the quality of power system operation in a certain extent. The article briefly analyzes and discusses

22、 the practical application of intelligent technology in electrical engineering automation.Key words: electrical engineering; automation; intelligent technology參考文獻1閆書暢.基于電氣工程自動化的智能化技術(shù)應(yīng)用探討J.科技創(chuàng)新導(dǎo)報, 2013(27 :96.2莫家寧 . 智能化技術(shù)在電氣工程自動化控制中的應(yīng)用探討J.機電信息, 2013(6 :102-103. 3谷頌. 智能化技術(shù)在電氣工程自動化中的應(yīng)用價值研究J.硅谷, 2014(1

23、4 :75, 81. 4梁小全. 智能化技術(shù)在企業(yè)電氣工程自動化中的發(fā)展與應(yīng)用 J.中國高新技術(shù)企業(yè) (中 旬刊 , 2014(6 :39-40, 20. 5李鳴. 芻議 電氣工程自動化中智能化技術(shù)的應(yīng)用 J.科技展望, 2015(28 :93. 6萬志成. 探究電氣工程自動化中智能化技術(shù)的運用 J.通訊世界, 2014(20 :144-145. 7魏亞東. 智能化技術(shù)在電氣工程自動化控制中的應(yīng)用研究J.電子制作, 2014(9 :128-129. 8劉璐.基于電氣工程自動化的智能化技術(shù)應(yīng)用分析J.科技資訊, 2013(21 :119. 9李曉東.基于智能化技術(shù)在電氣工程自動化的運用 J.科技

24、展望, 2014(14 :26-26.無線互聯(lián)科技 ·技術(shù)應(yīng)用Research on Image Inpainting Order Based on Criminisi AlgorithmQi Zhuoya, Su Hongqi(School of Mechanical Electronic & Information Engineering,China University of Mining and Technoligy,Beijing, Beijing 100083, ChinaAbstract: The Criminisi algorithm is used to r

25、epair the large scale damage image, it is a classic algorithm.However, the confidence term of the algorithm will be reduced to zero with being repaired, and the data item may be zero. The confidence level and data items in any one of zero will result in an error of repair order, causing cumulative error messages, and ultimately affecting the repair e