《圖像修復(fù)中的深度學(xué)習(xí)特征提取與應(yīng)用（論文）14000字》

緒論選題背景及研究意義計(jì)算機(jī)技術(shù)廣泛的應(yīng)用極大方便了人們的日常生活。在計(jì)算機(jī)圖像技術(shù)方面，計(jì)算機(jī)視覺(jué)、數(shù)字圖像處理等得到鼎力發(fā)展，成功運(yùn)用于生物工程、醫(yī)學(xué)醫(yī)療、工業(yè)生產(chǎn)、衛(wèi)星遙感、地理測(cè)繪等領(lǐng)域(黃煒杰,趙雪琪,2022)[1]。通過(guò)這點(diǎn)可以看出但是在圖像攝制和收集過(guò)程中，由于諸多不確定因素，會(huì)帶給圖像質(zhì)量傷害性的信息丟失問(wèn)題。為此，以提高圖像的質(zhì)量為目的，推動(dòng)圖像處理技術(shù)發(fā)展成為熱點(diǎn)(魏睿琪,劉曉宇,2023)?，F(xiàn)今，研究者們致力于探究如何運(yùn)用圖像修復(fù)技術(shù)高效高質(zhì)的完成圖像修復(fù)。傳統(tǒng)的數(shù)字圖像復(fù)原技術(shù)主要有兩個(gè)研究方向:基于紋理的復(fù)原和偏微分復(fù)原[2,3]。而隨著圖像處理技術(shù)的不斷提升，以大數(shù)據(jù)應(yīng)用為背景的萬(wàn)物互聯(lián)、云端計(jì)算等技術(shù)融入并改造升級(jí)了傳統(tǒng)產(chǎn)業(yè)。通過(guò)這些細(xì)節(jié)可以看出在圖像處理領(lǐng)域中的深度學(xué)習(xí)應(yīng)用不同于傳統(tǒng)數(shù)字圖像處理，其在圖像分類識(shí)別中有著超高的準(zhǔn)確率，已經(jīng)成為圖像處理技術(shù)發(fā)展的熱點(diǎn)(韓磊陽(yáng),王悅晨,2021)。因此我們?cè)谀壳半A段的圖像修復(fù)算法研究中，急需把傳統(tǒng)算法與深度學(xué)習(xí)的圖像修復(fù)的核心思維的修復(fù)算法相結(jié)合。用傳統(tǒng)圖像修復(fù)技術(shù)與深度學(xué)習(xí)進(jìn)行結(jié)合來(lái)實(shí)現(xiàn)傳統(tǒng)圖像技術(shù)向深度學(xué)習(xí)圖像處理技術(shù)的過(guò)渡，在傳統(tǒng)算法優(yōu)勢(shì)中引進(jìn)VGG模型針對(duì)修復(fù)難點(diǎn)的為古畫、壁畫、老照片、特殊照片等提出新的有效的修復(fù)方案意義非凡。課題研究現(xiàn)狀我們可以這樣說(shuō)：人類的科學(xué)技術(shù)是隨著時(shí)代的發(fā)展而相輔相成蓬勃起來(lái)的，就數(shù)字圖像處理本身的發(fā)展而言，其也是隨著其他學(xué)科的進(jìn)步而發(fā)展。其中，計(jì)算機(jī)作為數(shù)字圖像處理最重要的計(jì)算機(jī)器，在此狀態(tài)下在上個(gè)世紀(jì)取得了長(zhǎng)足的進(jìn)步，使得依賴于強(qiáng)大計(jì)算能力和大存儲(chǔ)容量的數(shù)字圖像處理得到了發(fā)展。隨著科技的發(fā)展和人們生活物質(zhì)的完備，數(shù)字化的圖像融入人們生活成為主流(李文博,張欣悅,2021)[4]。圖像修復(fù)的技術(shù)越來(lái)越成為人們所關(guān)注的重點(diǎn)之一，越發(fā)的成為人們深入研究的熱門話題(王浩然,劉雅婷,2020)。傳統(tǒng)的圖像修復(fù)方法有兩大類：其中一類為基于結(jié)構(gòu)模型的修復(fù)方法。BSCB模型是傳統(tǒng)數(shù)字圖像處理方面中基于結(jié)構(gòu)模型的圖像修復(fù)算法的代表(陳俊熙,李芝和,2019)[5]。另一類就是利用紋理合成的方法進(jìn)行圖像修復(fù)。于這種情景里最為經(jīng)典的關(guān)于樣本塊的修復(fù)算法是2003年Criminisi等人提出的(趙宇辰,孫雨萱,2022)[6]。該算法最具有特點(diǎn)的就是最佳匹配塊選取，通過(guò)全局搜索的方式來(lái)確定與破損區(qū)域匹配度最大的目標(biāo)塊來(lái)作為最佳匹配項(xiàng)。近年來(lái)，深度學(xué)習(xí)在圖像處理領(lǐng)域引起了轟動(dòng)，大部分的深度學(xué)習(xí)結(jié)構(gòu)都附帶圖像處理功能。在這一局勢(shì)下圖像處理儼然成為深度學(xué)習(xí)的一個(gè)重要研究領(lǐng)域，深受研究者熱議(周澤楷,吳佳怡,2023)[7,8]。在過(guò)去的十年里,深度機(jī)器學(xué)習(xí)技術(shù)發(fā)展速度最快的十年里。主要有兩個(gè)促進(jìn)因素：一是計(jì)算機(jī)硬件的改朝換代，在硬件性能的提升的加持下，大規(guī)模神經(jīng)網(wǎng)絡(luò)的開(kāi)發(fā)時(shí)間大大縮短(鄭博文,馮曉萱,2020)。二是神經(jīng)網(wǎng)絡(luò)的流程化設(shè)計(jì)和訓(xùn)練門徑的改進(jìn)化。在深度學(xué)習(xí)圖像處理方面，鑒于這種情況的存在依靠著行之有效的特征可視化能力和從圖片基礎(chǔ)數(shù)據(jù)中一層一層的提取信息的能力，促進(jìn)深度學(xué)習(xí)在圖像的特征提取等應(yīng)用中加快發(fā)展。圖像處理中深度學(xué)習(xí)的發(fā)展日新月異，未來(lái)空間巨大[9]。一方面，深度學(xué)習(xí)積極促進(jìn)圖像處理的研究進(jìn)展(黃睿哲,曹夢(mèng)琪,2021)；從理論角度出發(fā)，只要方案接收的輸入信息與預(yù)期相符，其輸出就有望滿足設(shè)計(jì)目標(biāo)。具體來(lái)說(shuō)，若起始條件與參數(shù)配置準(zhǔn)確無(wú)誤，且所采用的模型或方法論構(gòu)建合理，則其成果將具有高度的信賴度和實(shí)用性。這既取決于輸入數(shù)據(jù)的精確性，也取決于分析框架的合理性、技術(shù)手段的前沿性以及研究途徑的恰當(dāng)性。同時(shí)，還需考慮外部因素的干擾，以保證研究過(guò)程的可控性和可重復(fù)性，為結(jié)論的廣泛應(yīng)用提供可靠支撐。另一方面，按照這種局勢(shì)發(fā)展各種與圖像處理相關(guān)的應(yīng)用更是助長(zhǎng)深度學(xué)習(xí)的快速發(fā)展。深度學(xué)習(xí)相關(guān)的方法在圖像恢復(fù)領(lǐng)域得到了廣泛的應(yīng)用，并在圖像修復(fù)方面取得了較好的成果[10]。根據(jù)近年來(lái)圖像復(fù)原的研究趨勢(shì)，隨著人們需求的增加，深度學(xué)習(xí)圖像處理與傳統(tǒng)圖像處理的結(jié)合必將優(yōu)缺互補(bǔ)帶給人們更好地圖像修復(fù)效果(楊子淳,許婉婷,2019)。本文中將利用該算法優(yōu)先權(quán)的算法結(jié)合深度學(xué)習(xí)對(duì)Criminisi算法進(jìn)行研究改進(jìn)，用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取信息來(lái)替代傳統(tǒng)算法中的評(píng)判準(zhǔn)則，對(duì)破損圖像進(jìn)行修復(fù)處理。在此情境的作用下我們盼望在不久的未來(lái)，更多的學(xué)者能夠研究如何利用深度學(xué)習(xí)獲得的圖像特征來(lái)促進(jìn)各方各面的快速進(jìn)步，實(shí)現(xiàn)工業(yè)發(fā)展提高生活質(zhì)量。論文主要研究?jī)?nèi)容及組織安排論文主要研究?jī)?nèi)容本文的算法基于傳統(tǒng)Criminisi算法發(fā)進(jìn)行改進(jìn)，針對(duì)其匹配準(zhǔn)則進(jìn)行改進(jìn)，對(duì)其中各改進(jìn)重點(diǎn)展開(kāi)分析研究，其主要研究?jī)?nèi)容如下：（1）在Criminisi算法中加入VGG19卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖片特征提取問(wèn)題。在深度學(xué)習(xí)圖像處理中進(jìn)行圖像分類涉及很多步驟，最為重要的就是提取圖像特征，其決定了最終結(jié)果的好壞[11]。按照這狀況來(lái)進(jìn)行調(diào)用VGG19提取圖像特征可獲得大量特征數(shù)據(jù)，通過(guò)圖像特征可視化我們可以直觀了解到圖像的特征之間的不同，并且我們利用這些數(shù)據(jù)就可以選取出最佳匹配塊(徐銘杰,郭靜宜,2022)。（2）匹配塊大小與VGG19卷積神經(jīng)網(wǎng)絡(luò)輸入大小相符問(wèn)題。當(dāng)待修復(fù)塊確定之后，與之相同大小的待匹配塊都僅為9×9。但輸入VGG19卷積網(wǎng)絡(luò)的圖片大小要求為224×224。故我們需要把待修復(fù)塊和匹配塊的大小均調(diào)節(jié)到合適大小且圖片色彩質(zhì)量不能下降，以保證VGG19卷積神經(jīng)網(wǎng)絡(luò)能夠正確完整的提取出圖片特征。這樣就能讓修復(fù)效果有保障(宋豪,蔣欣妍,2023)。對(duì)于上述方案的調(diào)試，本文從理論闡釋與實(shí)踐檢驗(yàn)兩個(gè)角度進(jìn)行。理論闡釋階段，詳細(xì)闡述了方案設(shè)計(jì)的核心原理與預(yù)期效果，通過(guò)理論模型的搭建與推理過(guò)程的展開(kāi)，為后續(xù)的實(shí)驗(yàn)提供了強(qiáng)有力的理論支撐。隨后，在實(shí)踐檢驗(yàn)階段，本文精心組織了一系列測(cè)試，以驗(yàn)證方案的有效性和穩(wěn)健性。測(cè)試過(guò)程中，采用了嚴(yán)格的數(shù)據(jù)收集與分析方法，確保結(jié)果的準(zhǔn)確無(wú)誤。此外，為了全面考察方案在多種條件下的適用性，本文還涵蓋了若干典型應(yīng)用場(chǎng)景，并針對(duì)每種場(chǎng)景對(duì)系統(tǒng)參數(shù)進(jìn)行了優(yōu)化。這一過(guò)程不僅證實(shí)了方案的正確性和實(shí)用性，也為未來(lái)的研究提供了重要的參考。（3）VGG19網(wǎng)絡(luò)選取卷積層或池化層問(wèn)題。在VGG19卷積神經(jīng)網(wǎng)絡(luò)中，底層的卷積層擁有大量卷積核，根據(jù)現(xiàn)有的結(jié)果分析可以得出如下結(jié)論通過(guò)大量且不同的卷積核我們可以提取到更多圖像特征(胡景云,秦雪晴,2020)[12]。而高層的池化層則把經(jīng)過(guò)卷積層的數(shù)據(jù)進(jìn)行激活得到更具有識(shí)別性的特征。兩個(gè)不同網(wǎng)絡(luò)層的數(shù)據(jù)是不同的，我們通過(guò)對(duì)比比較可以為以后圖像修復(fù)選取更合適的網(wǎng)絡(luò)層，提高圖像修圖性能。（4）最佳匹配塊選取中特征差的計(jì)算問(wèn)題。對(duì)于Criminisi算法來(lái)說(shuō)，匹配準(zhǔn)則是誤差平方和算法。但針對(duì)于VGG19提取出來(lái)的特征要進(jìn)行特征差計(jì)算，需要合適的算法更準(zhǔn)確的計(jì)算特征差。論文的組織安排第一章主要介紹圖像修復(fù)的研究背景和意義，并梳理傳統(tǒng)圖像修復(fù)算法發(fā)展歷史，分析深度學(xué)習(xí)方面圖像修復(fù)處理技術(shù)發(fā)展現(xiàn)狀。第二章簡(jiǎn)述圖像修復(fù)的概念、圖像修復(fù)的視覺(jué)效果、評(píng)價(jià)指標(biāo)、深度學(xué)習(xí)相關(guān)概念。并分析VGG19網(wǎng)絡(luò)結(jié)構(gòu)，在此類條件下不難推斷出總結(jié)卷積神經(jīng)網(wǎng)絡(luò)圖片特征提取優(yōu)勢(shì)的原因。第三章內(nèi)容為基于Criminisi算法進(jìn)行改進(jìn)的研究。梳理傳統(tǒng)Criminisi算法流程，針?biāo)惴ù嬖诘囊恍┴酱鉀Q的問(wèn)題，提出了一種解決方案，提供改進(jìn)思路及實(shí)現(xiàn)理論依據(jù)。第四章安排為實(shí)際運(yùn)用中的改進(jìn)算法圖像修復(fù)效果及分析。選取三組待修復(fù)區(qū)域紋理程度不一的破損圖進(jìn)行修復(fù)實(shí)驗(yàn)，通過(guò)這點(diǎn)可以看出分析改進(jìn)算法的修復(fù)效果，給出實(shí)驗(yàn)效果對(duì)比數(shù)據(jù)。第五章總結(jié)了本文改進(jìn)算法研究工作，并指出改進(jìn)的圖像修復(fù)算法存在的問(wèn)題并對(duì)該領(lǐng)域未來(lái)的發(fā)展方向提出了展望。圖像修復(fù)的理論知識(shí)及修復(fù)技術(shù)介紹圖像修復(fù)的相關(guān)理論圖像修復(fù)問(wèn)題概述我們可以通過(guò)相應(yīng)的數(shù)學(xué)語(yǔ)言來(lái)對(duì)某一事物進(jìn)行數(shù)學(xué)描述，以提供嚴(yán)謹(jǐn)、合理的表達(dá)形式。針對(duì)于圖像修復(fù)問(wèn)題，其數(shù)學(xué)描述如下圖2.1所示，圖中I表示目標(biāo)圖像整體，通過(guò)這些細(xì)節(jié)可以看出其包含了U所表示的破損區(qū)域和S表示未受損的區(qū)域。用實(shí)際不存在的箭頭表示修復(fù)方向（修復(fù)方向不唯一）(羅嘉誠(chéng),程思琪,2021)。需要注意的是，傳統(tǒng)圖像恢復(fù)中修復(fù)受損區(qū)域所需的信息僅來(lái)自原始圖像，并且其修復(fù)方向大體由破損邊界向破損中心延伸(朱啟瑞,梁依諾,2019)。在此狀態(tài)下然而圖像復(fù)原方法中存在諸多不確定性因素，復(fù)原過(guò)程中數(shù)據(jù)微小的變化都可能造成整個(gè)整體修復(fù)效果的不確定性，因此圖像修復(fù)結(jié)果不是唯一的。圖2.1圖像修復(fù)數(shù)學(xué)模型圖像修復(fù)與視覺(jué)效果視覺(jué)效果指的是某一事物給人帶來(lái)直觀的視覺(jué)感受。一份未受損的圖像帶來(lái)的視覺(jué)效果往往總是令人滿意的，我們可以直觀了解到圖像所包含的信息。但不完整的圖像則會(huì)帶來(lái)一種不好的視覺(jué)效果，人們看不全圖像甚至無(wú)法理解圖像。并且在視覺(jué)心理上，于這種情景里人們會(huì)因破損部分信息的缺失而不斷去猜測(cè)以至于部分人會(huì)產(chǎn)生煩惱情緒(謝秉澤,潘美琳,2022)。上述結(jié)果也考慮到理論設(shè)計(jì)與實(shí)踐中存在的差異性，因此本文進(jìn)行了細(xì)致的分析與調(diào)整。為了確保理論模型能夠更貼近實(shí)際操作環(huán)境不僅對(duì)理論框架進(jìn)行了嚴(yán)謹(jǐn)?shù)耐茖?dǎo)和驗(yàn)證，還深入實(shí)踐領(lǐng)域通過(guò)更加多元化的研究方法等等方式收集了大量的同行內(nèi)的其他第一手資料。這些實(shí)踐數(shù)據(jù)使研究能夠識(shí)別并理解理論模型在應(yīng)用于實(shí)際情況時(shí)可能遇到的挑戰(zhàn)和偏差。并在此基礎(chǔ)上引入修正迭代優(yōu)化來(lái)構(gòu)建適應(yīng)性更強(qiáng)的研究過(guò)程，并被應(yīng)用于修正和完善現(xiàn)階段的成果，以提高其預(yù)測(cè)準(zhǔn)確性和實(shí)用性，確保了研究結(jié)果的可信度和泛化能力。通過(guò)這些綜合考量本文不僅深化了對(duì)研究主題的理解也為相關(guān)領(lǐng)域的研究者和從業(yè)者提供了更具操作性和指導(dǎo)意義的理論工具。著名的格式塔理論就指出了人會(huì)利用已知信息去推斷未知信息。因此圖像復(fù)原跟視覺(jué)心理效果是密切相關(guān)。在做圖像修復(fù)時(shí)，一定要從視覺(jué)心理和視覺(jué)效果出發(fā)。做出符合人類視覺(jué)心理和具有視覺(jué)效果的修復(fù)圖(韓旭東,牛紫悅,2023)。圖像修復(fù)的評(píng)價(jià)方法從主觀和客觀來(lái)區(qū)分圖像復(fù)原的評(píng)價(jià)方法。主觀評(píng)價(jià)法，指通過(guò)人類觀察，用視覺(jué)效果來(lái)評(píng)價(jià)圖像復(fù)原的效果(董明軒,葉芷昕,2020)[13]。在這一局勢(shì)下客觀評(píng)價(jià)法，以計(jì)算機(jī)為評(píng)價(jià)工具，用其進(jìn)行相應(yīng)數(shù)學(xué)計(jì)算并得出一個(gè)處理數(shù)據(jù)并視之為評(píng)分，評(píng)分越高則說(shuō)明經(jīng)過(guò)修復(fù)的圖像還原度就越高越合理，修復(fù)效果越好(傅晨皓,康若曦,2021)。主觀評(píng)價(jià)法：人們通過(guò)自己的直觀感受直接判斷圖像修復(fù)的是否合理[14]。僅憑人們的主觀判斷，不同的人對(duì)事物有不同的理解，故評(píng)價(jià)結(jié)果往往存在存在很高的不確定性其有違科學(xué)的嚴(yán)謹(jǐn)性。鑒于這種情況的存在當(dāng)然主觀評(píng)價(jià)也有其突出優(yōu)點(diǎn)，首先是可肉眼觀察圖像整體上是否符合人的視覺(jué)效果的(鐘翰林,苗心語(yǔ),2019)；其次是細(xì)節(jié)觀察，人眼觀察修復(fù)完成圖中破損邊界的恢復(fù)情況、紋理走向等細(xì)節(jié)問(wèn)題更能評(píng)價(jià)修復(fù)結(jié)果的好壞?？陀^評(píng)價(jià)法：用修復(fù)后圖像與原圖像之間的相似程度來(lái)確定修復(fù)結(jié)果的好壞?？陀^評(píng)價(jià)的方法有均方誤差評(píng)價(jià)法（MSE）、峰值信噪比評(píng)價(jià)法（PSNR）、信噪比評(píng)價(jià)法（SNR）這三種[15]。各評(píng)價(jià)法的數(shù)學(xué)表達(dá)式如下(姜柏成,盧可昕,2022)：按照這種局勢(shì)發(fā)展設(shè)圖像的大小尺寸為M*N，函數(shù)f0(x,y)代表修復(fù)前的圖像，f1(x,y)代表原圖經(jīng)過(guò)修復(fù)的結(jié)果，其中(x,y)表示圖像中像素點(diǎn)坐標(biāo)[16]。均方誤差評(píng)價(jià)法（MSE）數(shù)學(xué)表達(dá)式(呂致遠(yuǎn),鄧雅芝,2023)：MSE=1M?N信噪比評(píng)價(jià)法（SNR）數(shù)學(xué)表達(dá)式：SNR=10?lgx=1峰值信噪比評(píng)價(jià)法（PSNR）數(shù)學(xué)表達(dá)式：PSNR=10?lg255客觀評(píng)價(jià)法通過(guò)科學(xué)算法對(duì)修復(fù)完成的圖像進(jìn)行評(píng)價(jià)，一方面可以從提供客觀的評(píng)價(jià)，在此情境的作用下另一方面可以大幅度降低人工評(píng)價(jià)工作量。對(duì)上面三種評(píng)價(jià)方法來(lái)說(shuō)，均方誤差的值越低說(shuō)明修復(fù)完成結(jié)果越好，而信噪比和PSNR值越大，恢復(fù)效果越好(崔錦程,譚小雅,2020)?；诩y理的圖像修復(fù)技術(shù)紋理修復(fù)的概念在計(jì)算機(jī)圖形學(xué)中，紋理不僅指的是我們所認(rèn)為的東西表面的花紋，即物體表面呈現(xiàn)不均勻的溝槽，包含物體光滑表面上的顏色及顏色分布規(guī)律信息。而基于本體的復(fù)原方法就是基于紋理合成原理。按照這狀況來(lái)進(jìn)行通過(guò)分析圖像中的紋理信息，用已知區(qū)域的紋理信息填充圖像中的破損區(qū)域紋理信息(唐君浩,彭楚嫣,2021)[17]。此結(jié)果與文獻(xiàn)中的先前結(jié)論相契合，為前期研究中的理論構(gòu)思提供了有力的實(shí)證背書。這一發(fā)現(xiàn)不僅增強(qiáng)了本文對(duì)該領(lǐng)域知識(shí)體系的信心，還為跨學(xué)科合作提供了共識(shí)基礎(chǔ)。它鼓勵(lì)不同背景的學(xué)者從各自的專業(yè)視角出發(fā)，共同探索該領(lǐng)域的邊界，推動(dòng)理論創(chuàng)新與實(shí)踐應(yīng)用的融合?；诩y理的圖像修復(fù)及特點(diǎn)一般來(lái)說(shuō)，圖像中往往包含著大量的紋理信息，對(duì)于紋理復(fù)雜的圖僅用基于結(jié)構(gòu)的算法難以達(dá)到理想的效果。因此在理論上，把圖像的重要特征——紋理作為圖像修復(fù)的重點(diǎn)，優(yōu)先考慮利用紋理信息來(lái)修復(fù)圖像可以取得較好的修復(fù)結(jié)果。并且在無(wú)數(shù)次的實(shí)驗(yàn)中，我們驗(yàn)證了針對(duì)于紋理特征明顯的圖像，利用其紋理信息進(jìn)行修復(fù)可以增強(qiáng)圖像的整體視覺(jué)性，得到更符合人的視覺(jué)感官的理想修復(fù)結(jié)果(雷振邦,褚伊凡,2019)[18,19]。Criminisi算法是最為經(jīng)典的紋理圖像修復(fù)算法。根據(jù)現(xiàn)有的結(jié)果分析可以得出如下結(jié)論其工作原理簡(jiǎn)述為：找到破損邊緣，確定待修復(fù)塊優(yōu)先級(jí)，從一個(gè)受損圖像未修復(fù)受損的圖像區(qū)域中,找到一個(gè)與正在待重新修復(fù)的圖像區(qū)域最大值相匹配的受損像素塊,將其受損信息直接填補(bǔ)到已經(jīng)修復(fù)受損的圖像區(qū)域中，更新迭代，最終實(shí)現(xiàn)圖像修復(fù)(顧澤昊,董婉清,2022)[20-22]。通過(guò)這些細(xì)節(jié)可以看出其主要優(yōu)點(diǎn)是適合破損區(qū)域較大圖像，且修復(fù)紋理清晰?；谏疃葘W(xué)習(xí)的圖像處理相關(guān)概念深度學(xué)習(xí)的概念人為命令計(jì)算機(jī)進(jìn)行執(zhí)行某些任務(wù)并讓其自主在任務(wù)中學(xué)習(xí)，且利用層次化的概念讓計(jì)算機(jī)通過(guò)構(gòu)建簡(jiǎn)單的概念來(lái)學(xué)習(xí)復(fù)雜的概念。這種“自我學(xué)習(xí)”的學(xué)習(xí)模型被我們統(tǒng)統(tǒng)為深度學(xué)習(xí)(魏羽佳,江紫悅,2023)(deeplearning)[23,24]。簡(jiǎn)單的說(shuō)，神經(jīng)網(wǎng)絡(luò)屬于深度學(xué)習(xí)的一個(gè)模塊，于這種情景里深度學(xué)習(xí)的涉及領(lǐng)域廣泛，研究層次深。研究人員的目標(biāo)是讓機(jī)器能夠像人類識(shí)別文字、圖像、聲音等一樣進(jìn)行分析和學(xué)習(xí)[25,26]。圖2.2人工智能不同學(xué)科間的關(guān)系卷積神經(jīng)網(wǎng)絡(luò)傳統(tǒng)模仿生物結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)并沒(méi)有在人工智能的潮流中成為主流的神經(jīng)網(wǎng)絡(luò)，反而是其中一種比較特殊的深層前饋網(wǎng)絡(luò)在很多領(lǐng)域取得了成功，這種必將在未來(lái)得到長(zhǎng)足發(fā)展的網(wǎng)絡(luò)就是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。與人工神經(jīng)網(wǎng)絡(luò)相比，訓(xùn)練中參數(shù)計(jì)算量過(guò)大，訓(xùn)練麻煩等缺點(diǎn)，在這一局勢(shì)下卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練已經(jīng)得以規(guī)范流程化并且其訓(xùn)練模式更加簡(jiǎn)單。卷積式神經(jīng)網(wǎng)絡(luò)現(xiàn)已成為當(dāng)代應(yīng)用較多的訓(xùn)練網(wǎng)絡(luò)模型之一(陶文博,章雅楠,2020)。它已被廣泛地應(yīng)用到了計(jì)算機(jī)和視覺(jué)技術(shù)領(lǐng)域的圖像劃分、物件檢測(cè)、人臉識(shí)別、圖像超分辨率、人體運(yùn)動(dòng)和圖像檢查等方面(陸承言,高詩(shī)雅,2021)。圖2.4卷積神經(jīng)網(wǎng)絡(luò)示意圖VGG19卷積神經(jīng)網(wǎng)絡(luò)特征提取的優(yōu)勢(shì)最著名的一種深度卷積視覺(jué)神經(jīng)網(wǎng)絡(luò)之一是也就是VGGnet,它于2014年由來(lái)自牛津大學(xué)的一個(gè)計(jì)算機(jī)科學(xué)視覺(jué)研究小組和來(lái)自谷歌大腦研究所的人員共同合作開(kāi)發(fā)(嚴(yán)澤坤,方慧玲,2019)。我們也或許可以這么好地理解,按照這種局勢(shì)發(fā)展卷積法和神經(jīng)網(wǎng)絡(luò)的技術(shù)深入應(yīng)用程度是否會(huì)直接大大影響它們的工作性能,即網(wǎng)絡(luò)深度越深性能越差。VGGnet是目前能夠處理網(wǎng)絡(luò)深度與性能關(guān)系的最好的卷積神經(jīng)網(wǎng)絡(luò)。以重復(fù)疊加3*3個(gè)小卷積核和2*2個(gè)最大池化層的方法，在此情境的作用下最終實(shí)現(xiàn)了16-19層的深度卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建(施銘揚(yáng),蘇雅雯,2022)[28,29]。在后續(xù)的研究中，本文將建立長(zhǎng)期跟蹤機(jī)制，對(duì)研究對(duì)象進(jìn)行持續(xù)的觀察和記錄，以捕捉其動(dòng)態(tài)變化的過(guò)程和規(guī)律。同時(shí)，也會(huì)根據(jù)研究進(jìn)展和實(shí)際情況，對(duì)研究方法和研究設(shè)計(jì)進(jìn)行適時(shí)的調(diào)整和優(yōu)化，以確保研究的科學(xué)性和有效性，會(huì)積極拓展國(guó)際視野，加強(qiáng)與國(guó)際同行的交流與合作。通過(guò)參與國(guó)際會(huì)議、發(fā)表國(guó)際論文等方式借鑒國(guó)際先進(jìn)的研究方法和經(jīng)驗(yàn)，為提升我國(guó)在該領(lǐng)域的研究水平和國(guó)際影響力做出貢獻(xiàn)。與之前的網(wǎng)絡(luò)結(jié)構(gòu)相比，不但正確率大幅度提升，并且VGG對(duì)新鮮數(shù)據(jù)的適應(yīng)能力更好。故我們常常用VGG網(wǎng)絡(luò)來(lái)提取目標(biāo)圖像的特征。圖2.5VGG19網(wǎng)絡(luò)模型結(jié)構(gòu)不同的VGG模型并沒(méi)有本質(zhì)上的區(qū)別，只是網(wǎng)絡(luò)深度不一樣[30]。在網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)優(yōu)化策略中，為保證網(wǎng)絡(luò)深度且保證泛化能力，我們經(jīng)常采用堆疊小卷積核的方法進(jìn)行優(yōu)化(夏子淳,馬欣妍,2023)。按照這狀況來(lái)進(jìn)行這是因?yàn)槎询B起來(lái)的小卷積內(nèi)核比大卷積內(nèi)核更好。此策略所需參數(shù)更少但卻能顯著提升網(wǎng)絡(luò)的深度，并且小的卷積核有利于更好地保持圖像性質(zhì)。根據(jù)現(xiàn)有的結(jié)果分析可以得出如下結(jié)論本文中所介紹使用的VGG19包含16個(gè)卷積數(shù)據(jù)層和3個(gè)完整的數(shù)據(jù)連接層，是目前VGG網(wǎng)絡(luò)模型中網(wǎng)絡(luò)深度最大的網(wǎng)絡(luò)(駱家輝,溫婉瑩,2020)。一般來(lái)說(shuō)深度越來(lái)越大，準(zhǔn)確度越高，所以我們可以說(shuō)VGG19用來(lái)提取圖片特征是最佳選擇。表2.1不同網(wǎng)絡(luò)深度的網(wǎng)絡(luò)結(jié)構(gòu)ConvNetConfigurationAA-LRNBCDE11weightlayers11weightlayers13weightlayers16weightlayers16weightlayers19weightlayersInput(224*224RGPimage)conv3-64conv3-64LRNconv3-64Conv3-64conv3-64conv3-64conv3-64conv3-64conv3-64conv3-64maxpoolconv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128maxpoolconv3-256conv3-256conv3-256conv3-256conv3-256conv3-256conv3-256conv3-256conv1-256conv3-256conv3-256conv3-256conv3-256conv3-256conv3-256conv3-256maxpoolconv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv1-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512maxpoolconv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv1-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512maxpoolFC-4096FC-4096FC-1000soft-max本章小結(jié)本章節(jié)主要介紹了圖像修復(fù)的相關(guān)概念，簡(jiǎn)述深度學(xué)習(xí)在圖像修復(fù)領(lǐng)域的相關(guān)現(xiàn)狀。開(kāi)始為圖像修復(fù)的數(shù)學(xué)描述和圖像修復(fù)中的評(píng)價(jià)指標(biāo)。然后介紹了深度學(xué)習(xí)的概念?？偨Y(jié)卷積神經(jīng)網(wǎng)絡(luò)圖片特征提取優(yōu)勢(shì)的原因。基于Criminisi圖像修復(fù)算法的改進(jìn)研究Criminisi算法概述Criminisi算法原理Criminisi算法的基本原理和定義如下,Ω表示一個(gè)圖像要被修復(fù)的區(qū)域，I是待修復(fù)圖像，?Ω被修復(fù)和未受損兩個(gè)區(qū)域的目標(biāo)邊界，點(diǎn)p為目標(biāo)像素點(diǎn)，Φ表示樣本區(qū)域[31]，?I_p等照度線的切線方向，n_p是受損邊界切線的法向量，φ_p是以p中心的目標(biāo)塊(龔啟元,柳舒暢,2021)。算法核心原理分四步走：1.待修復(fù)塊的優(yōu)先權(quán)計(jì)算。2.尋找最佳匹配塊。3.填充破損區(qū)域。4.置信項(xiàng)更新。圖3.1Criminisi原理圖Criminisi算法流程（1）待修復(fù)塊的優(yōu)先權(quán)計(jì)算。在此類條件下不難推斷出設(shè)p是待修復(fù)區(qū)與為破損區(qū)的邊界?Ω上的某一個(gè)點(diǎn)，其優(yōu)先權(quán)P(p)的計(jì)算公式如下:P(p)=C(p)·D(p)（3-1）其中:C(p)為置信項(xiàng);D(p)為數(shù)據(jù)項(xiàng)，計(jì)算公式分別如下(管世杰,鄒雅琪,2019):Cp=q?ΨpΦCDp=|?Ι1（2）尋找一個(gè)最優(yōu)的匹配塊。優(yōu)先級(jí)計(jì)算結(jié)果后,確定所有需要修復(fù)的模塊,此后便需以SSD作為匹配準(zhǔn)則在完好區(qū)域進(jìn)行搜索尋找合適的匹配塊。SSD匹配準(zhǔn)則定義如下(孟子凡,唐韻竹,2022)：SSD(p,q)=argmindΨp,式中dΨdΨp,式中R、G、B代表著p、q兩個(gè)像素點(diǎn)顏色的分量值。 填充破損區(qū)域。通過(guò)這點(diǎn)可以看出用最佳匹配的信息填充要修復(fù)的區(qū)域，完成對(duì)像素點(diǎn)p所處待修復(fù)塊的修復(fù)。并對(duì)破損邊界?Ω進(jìn)行更新(費(fèi)明達(dá),辛子凡,2023)。 置信項(xiàng)的更新。搜索到最佳匹配塊后，隨著圖像的修復(fù)，目標(biāo)塊已被修復(fù)，所以需要更新置信項(xiàng)，其更新公式如下所示[32]:Cp'=Cp?如此循環(huán)以上四個(gè)步驟，會(huì)使得邊緣范圍的縮小，如此迭代直至修復(fù)邊緣上的像素點(diǎn)全部被修復(fù)，則表明修復(fù)完成，然后輸出修復(fù)完成的圖片。Criminisi算法流程圖如下圖3.2中所示(榮澤凱,沈雅菲,2020)：圖3.2Criminisi算法流程圖改進(jìn)Criminisi算法的內(nèi)容研究VGG19卷積神經(jīng)網(wǎng)絡(luò)提取圖片特征及特征可視化特征提取的概念是計(jì)算機(jī)視覺(jué)和圖像處理中提取圖像的數(shù)字信息，并判斷和歸類圖像中的每一個(gè)點(diǎn)(姚瀚墨,郝欣怡,2021)。在深度學(xué)習(xí)研究中我們可以通過(guò)VGG網(wǎng)絡(luò)模型提取到圖片的特征并通過(guò)可視化特征圖的方法，通過(guò)這些細(xì)節(jié)可以看出以圖片的形式將網(wǎng)絡(luò)結(jié)構(gòu)中某一層特征圖顯示出來(lái)，直觀的展現(xiàn)的我們面前。在此狀態(tài)下我們可用MATLAB平臺(tái)中的activations函數(shù)來(lái)提取特征。從上可以可以看出該方案相比于其他方案具有更好的性價(jià)比，同時(shí)在靈活性和可擴(kuò)展性方面也表現(xiàn)出色。這意味著它可以輕松適應(yīng)不斷變化的市場(chǎng)需求和技術(shù)進(jìn)步，為企業(yè)提供持續(xù)的競(jìng)爭(zhēng)優(yōu)勢(shì)。A為輸出輸出，net為調(diào)用網(wǎng)絡(luò)，IM為輸入圖像，Layer則為要提取特征的網(wǎng)絡(luò)層。然后通過(guò)矩陣變化即可實(shí)現(xiàn)特征的可視化(譚景堯,趙雅琪,2019)。函數(shù)：activations。功能：提取圖片特征。用法：A=activations(net,IM,'Layer')。其中A為輸出輸出，net為調(diào)用網(wǎng)絡(luò)，IM為輸入圖像，Layer則為要提取特征的網(wǎng)絡(luò)層。然后通過(guò)矩陣變化即可實(shí)現(xiàn)特征的可視化(薛志勇,宋子璇,2022)。圖3.3VGG19實(shí)驗(yàn)中可視化的特征圖待匹配塊的大小調(diào)節(jié)為什么VGG網(wǎng)絡(luò)要指定輸入圖片大小?因?yàn)闄?quán)重文件的參數(shù)數(shù)量是提前預(yù)設(shè)好了的,改變輸入尺寸會(huì)使得后面結(jié)果發(fā)生變化從而改變結(jié)果。在這一局勢(shì)下而在本次實(shí)驗(yàn)中依照傳統(tǒng)Criminisi算法實(shí)現(xiàn)的目標(biāo)塊與待匹配快尺寸均不符合VGG網(wǎng)絡(luò)輸入要求尺寸(白書豪,范伊人,2023)。為使得能夠調(diào)用VGG提取特征，我們需修改尺寸且尺寸修改方法需要合理有效而不是簡(jiǎn)單的放大或縮小。函數(shù)：Padarray。功能：填充圖像或填充數(shù)組。用法：B=padarray(A,padsize,padval,direction)。其中A為輸入圖像，B為填充后的圖像(金宇航,苗雅琴,2020)。圖3.4匹配塊大小調(diào)節(jié)示意圖卷積層與池化層概念在卷積過(guò)程中，使用了卷積核(Filter)，根據(jù)步長(zhǎng)大小連續(xù)掃描每一層的像素矩陣(石澤愷,龔詩(shī)雅,2021)。掃描值乘以卷積核中對(duì)應(yīng)位置的個(gè)數(shù)，然后相加求和生成新的矩陣。卷積核相當(dāng)于卷積操作中的一個(gè)過(guò)濾器，鑒于這種情況的存在用于提取我們圖像的特征。卷積核里每個(gè)值就是我們需要訓(xùn)練模型過(guò)程中的神經(jīng)元參數(shù)（權(quán)重）(溫子淳,麻雅琪,2019)。權(quán)重為卷積神經(jīng)網(wǎng)絡(luò)（CNN）中獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)，按照這種局勢(shì)發(fā)展作用是以卷積核的局部感知機(jī)制來(lái)進(jìn)行圖像特征的提取，權(quán)值共享卷積核深度與輸入特征矩陣深度保持一致，輸出的特征矩陣channel（深度）與卷積核個(gè)數(shù)相同在卷積操作過(guò)程中，矩陣經(jīng)過(guò)卷積操作后的尺寸計(jì)算方法如下：N=（W?F+2P）/S+1（3.6）其中輸入圖片大小為WW；卷積核（filter）大小為F*F，步長(zhǎng)（Stride）為S，padding的像素?cái)?shù)為P。圖3.5卷積過(guò)程示意圖池化的降維操作即為卷積降維運(yùn)算,因?yàn)榫矸e進(jìn)行運(yùn)算之后我們?cè)谄渲兄苯犹崛〕鰜?lái)得到的信息是一些特征運(yùn)算信息,在其之間相鄰的每個(gè)區(qū)域我們都會(huì)發(fā)現(xiàn)存有相似的一些特征運(yùn)算信息,在此情境的作用下并且它們之間信息是完全一樣可以用卷積運(yùn)算信息相互進(jìn)行替換的,若全部都需要保留那些具有特征值的信息將來(lái)就會(huì)導(dǎo)致存在較大的特征信息冗余,按照這狀況來(lái)進(jìn)行增加了降維計(jì)算的復(fù)雜難度(霍明軒,樓婉婷,2022)。當(dāng)我們通過(guò)數(shù)據(jù)池化層次的時(shí)候數(shù)據(jù)會(huì)不斷地增大減小每當(dāng)數(shù)據(jù)的池化空間值和尺寸及其大小時(shí),參數(shù)的空間計(jì)算和變量和我們測(cè)試到的數(shù)據(jù)就可能會(huì)不斷發(fā)生交互相應(yīng)的空間減少和效率下降,在一定的很大程度上直接控制了整個(gè)過(guò)程模擬的耦合(浦景天,龔雅萱,2023)。經(jīng)過(guò)深入研究現(xiàn)狀，并結(jié)合現(xiàn)有資源與技術(shù)，這一優(yōu)化設(shè)計(jì)得以完成。相比舊有模式，此模式在幾個(gè)關(guān)鍵點(diǎn)上體現(xiàn)出巨大優(yōu)勢(shì)。首要的是，借助更新穎的設(shè)計(jì)概念，它不僅提升了工作效率，而且減少了錯(cuò)誤發(fā)生，極大地增強(qiáng)了項(xiàng)目實(shí)施的可能性。其次，考慮到成本效果，新的規(guī)劃削減了執(zhí)行與維護(hù)開(kāi)支，防止了資源的浪費(fèi)，促進(jìn)了經(jīng)濟(jì)效益的增長(zhǎng)。與此同時(shí)，這種改進(jìn)也強(qiáng)化了系統(tǒng)的整合力和擴(kuò)展?jié)摿?，便于?yīng)對(duì)未來(lái)的變革與發(fā)展需求。主要池化類型分別有:maxpooling(最大最小池化)和:maveragepooling(平均最小池化)。maxpooling:從窗口中抉擇選取最大的,我們已經(jīng)重新定義了一個(gè)最大的修正空間鄰域(就是例如,2*2的窗口),根據(jù)現(xiàn)有的結(jié)果分析可以得出如下結(jié)論并且從窗口內(nèi)的兩個(gè)修正元素特征圖中選擇一個(gè)得到最大的空間元素,最大的元素池化被普遍認(rèn)為修正效果較佳。averagepooling:平均的,我們已經(jīng)精確定義了一個(gè)二維空間的鄰域(就是例如,2*2的窗口),并且從窗口內(nèi)的另一個(gè)鄰域修正后的特征圖中可以計(jì)算出所得到的鄰域平均值(秦淳,陶婉瑩,2020)[33,34]。特征差的計(jì)算與SSD算法結(jié)合我們提取到目標(biāo)塊與待匹配塊的特征數(shù)據(jù)時(shí)，需要進(jìn)行特征差計(jì)算。但我們提取到的數(shù)據(jù)為多維數(shù)組，目前還沒(méi)有特定計(jì)算多維數(shù)組相似性的函數(shù)。為此我們?cè)贛ATLAB中調(diào)用reshape函數(shù)來(lái)將指定的矩陣變換成特定維數(shù)矩陣，在此類條件下不難推斷出該函數(shù)可以把高維矩陣轉(zhuǎn)化為低緯矩陣且矩陣中元素個(gè)數(shù)不變(袁澤昊,蔣雅琪,2021)。函數(shù)：reshape功能：矩陣維度轉(zhuǎn)換用法：B=reshape(A,size)其中，返回與元素A相同的n維數(shù)組，但重建數(shù)組的大小由向量的大小決定。當(dāng)我們有了維度合適大小的特征矩陣數(shù)據(jù)時(shí)，我們便可以使用corr2函數(shù)返回兩個(gè)數(shù)組之間的二維相關(guān)系數(shù)R，從而計(jì)算出特征差。使用以下公式計(jì)算相關(guān)系數(shù)。corr2使用一下公式計(jì)算相關(guān)系數(shù)：r=mnA其中A=mean2(A)，且`B=mean2(B)計(jì)算出特征差后我們還可以與傳統(tǒng)算法中的SSD算法相結(jié)合，采用不同的權(quán)值會(huì)產(chǎn)生不同的修復(fù)效果，需要不斷嘗試研究實(shí)驗(yàn)以求達(dá)到理想的修復(fù)效果。本章小結(jié)本章中主要將本文所研究的內(nèi)容進(jìn)行詳細(xì)的敘述。對(duì)傳統(tǒng)Criminisi算法的原理、流程進(jìn)行了詳細(xì)的介紹，之后對(duì)于改進(jìn)算法相關(guān)的關(guān)于深度學(xué)習(xí)特征提取、特征差計(jì)算等的重點(diǎn)理論知識(shí)及實(shí)驗(yàn)原理進(jìn)行了詳細(xì)分析研究。改進(jìn)的Criminisi算法修復(fù)實(shí)驗(yàn)結(jié)論實(shí)驗(yàn)仿真本論文實(shí)驗(yàn)平臺(tái)的配置如表4.1：計(jì)算機(jī)操作系統(tǒng)：MicrosoftWindows10教育版(64位)硬件配置：RAM12GB,(英特爾)Intel(R)Core(TM)i5-6300HQCPU@2.30GHz(2301MHz)，NVIDIAGeForceGTX960M實(shí)驗(yàn)軟件平臺(tái)：MATLAB2018b（裝有DeepNetworkDesigner工具箱）MATLAB在深度學(xué)習(xí)方面是具有其獨(dú)特優(yōu)勢(shì)的。其支持的卷積神經(jīng)網(wǎng)絡(luò)模型非常多，包括GoogLeNet、VGG-16、VGG-19、AlexNet等模型。通過(guò)這點(diǎn)可以看出針對(duì)深度學(xué)習(xí)龐大數(shù)據(jù)集，其支持NVIDIA?GPU加速并且其早有完備的算法，無(wú)需開(kāi)發(fā)者自行編程，直接調(diào)用即可(趙宇昊,李佳琳,2021)。本設(shè)計(jì)在優(yōu)化時(shí)特別注重了財(cái)務(wù)可行性和方案的可擴(kuò)展性，從而相較于最初的構(gòu)思，在幾個(gè)關(guān)鍵點(diǎn)上做出了調(diào)整。首要的是，通過(guò)削減不必要的操作環(huán)節(jié)、采用性價(jià)比更高的選項(xiàng)，有效地控制了總成本，讓方案變得更加經(jīng)濟(jì)。另外，為了加強(qiáng)其廣泛應(yīng)用的可能性，在設(shè)計(jì)中充分考慮了跨地區(qū)的適應(yīng)性，保證此方案能夠在不同條件下順利執(zhí)行，易于其他組織或個(gè)人采納。而MATLAB在應(yīng)用深度機(jī)器學(xué)習(xí)中最大的技術(shù)優(yōu)勢(shì)就是充分利用了基于MATLAB的所有應(yīng)用程序與所有可視化分析工具(黃煒杰,趙雪琪,2022)。，通過(guò)這些細(xì)節(jié)可以看出可視化工具極大方便了我們創(chuàng)建、修改、分析復(fù)雜網(wǎng)絡(luò)架構(gòu)。還有一點(diǎn)就MATLAB的聯(lián)通性，我們可以在平臺(tái)上使用Caffe和TensorFlow-Keras的結(jié)構(gòu)模型[35]。圖4.1MATLAB與其他框架連接示意圖實(shí)驗(yàn)結(jié)果分析為保證實(shí)驗(yàn)結(jié)果數(shù)據(jù)多樣性并驗(yàn)證改進(jìn)算法在紋理修復(fù)的方面的改進(jìn)性，我們選取三組紋理特點(diǎn)不同的圖片為實(shí)驗(yàn)對(duì)象。其修復(fù)圖像結(jié)果分別如下所示：(b)(c)(d)(e)(f)圖4.2如圖4.2所示，該實(shí)驗(yàn)對(duì)象為破損區(qū)域紋理特征復(fù)雜的圖像。其中(a)為采集到的原圖，（b）有手動(dòng)注釋的圖像(魏睿琪,劉曉宇,2023)，(c)為改進(jìn)算法的修復(fù)中圖像，(d)傳統(tǒng)Criminisi修復(fù)圖像，(e)為改進(jìn)算法中VGG19卷積神經(jīng)網(wǎng)絡(luò)中卷積層結(jié)合傳統(tǒng)算法的修復(fù)效果圖，(f)為改進(jìn)算法中VGG19卷積神經(jīng)網(wǎng)絡(luò)中池化層結(jié)合傳統(tǒng)算法的修復(fù)效果圖。在此狀態(tài)下由實(shí)驗(yàn)結(jié)果我們可以看到待修復(fù)區(qū)域中的車身和陰影是被修復(fù)的。傳統(tǒng)算法存在修復(fù)不好，有匹配信息不準(zhǔn)確等問(wèn)題，而改進(jìn)的算法修復(fù)結(jié)果更好，能直觀的感受到改進(jìn)算法所帶來(lái)的修復(fù)效果的提升(韓磊陽(yáng),王悅晨,2021)。(a)(b)(c)(d)(f)(e)圖4.3如圖4.3所示，該實(shí)驗(yàn)對(duì)象為破損區(qū)域紋理特征一般的圖像。其中(a)為采集到的原圖，（b）有手動(dòng)注釋的圖像，(c)為改進(jìn)算法的修復(fù)中圖像，(d)傳統(tǒng)Criminisi修復(fù)圖像，(e)為改進(jìn)算法中VGG19卷積神經(jīng)網(wǎng)絡(luò)中卷積層結(jié)合傳統(tǒng)算法的修復(fù)效果圖，(f)為改進(jìn)算法中VGG19卷積神經(jīng)網(wǎng)絡(luò)中池化層結(jié)合傳統(tǒng)算法的修復(fù)效果圖(李文博,張欣悅,2021)。文中引用了一些現(xiàn)有的理論基礎(chǔ)來(lái)構(gòu)造計(jì)算模式，并做出相應(yīng)調(diào)整以增加其實(shí)用性和易用性。經(jīng)過(guò)對(duì)現(xiàn)有計(jì)劃的全面審查和分析，清除了其中過(guò)于復(fù)雜且非必要的步驟，改進(jìn)了流程結(jié)構(gòu)，產(chǎn)生了一個(gè)更加簡(jiǎn)明有效的計(jì)算模型。這不僅節(jié)省了資源使用，也減少了處理時(shí)間，使得該方案既保持了原有的效率，又方便實(shí)施和傳播，設(shè)立了多種驗(yàn)證和品質(zhì)監(jiān)控手段。根據(jù)實(shí)驗(yàn)圖，在這一局勢(shì)下我們直觀看到傳統(tǒng)算法在修復(fù)邊緣時(shí)，過(guò)于單調(diào)，以至于修復(fù)完成圖邊緣缺乏紋理，圖像修復(fù)邊緣過(guò)于平滑缺乏真實(shí)性。但改進(jìn)的算法也存在修復(fù)局部模糊等問(wèn)題，按照這種局勢(shì)發(fā)展最終通過(guò)客觀評(píng)價(jià)法的Psnr數(shù)據(jù)可以對(duì)修復(fù)效果評(píng)價(jià)(王浩然,劉雅婷,2020)。(b)(c)(d)(f)(e)圖4.4如圖4.4所示，該實(shí)驗(yàn)對(duì)象為破損區(qū)域紋理特征難以辨別的圖像。其中(a)為采集到的原圖，（b）有手動(dòng)注釋的圖像，(c)為改進(jìn)算法的修復(fù)中圖像，(d)傳統(tǒng)Criminisi修復(fù)圖像，(e)為改進(jìn)算法中VGG19卷積神經(jīng)網(wǎng)絡(luò)中卷積層結(jié)合傳統(tǒng)算法的修復(fù)效果圖，(f)為改進(jìn)算法中VGG19卷積神經(jīng)網(wǎng)絡(luò)中池化層結(jié)合傳統(tǒng)算法的修復(fù)效果圖(陳俊熙,李芝和,2019)。表4.2各修復(fù)算法PSNR數(shù)據(jù)實(shí)驗(yàn)對(duì)象傳統(tǒng)Criminisi修復(fù)結(jié)果conv_1結(jié)合Criminisi修復(fù)結(jié)果Pool4結(jié)合Criminisi算法修復(fù)結(jié)果紋理復(fù)雜的汽車35.933743.337543.3375紋理一般的紅葉30.665631.109831.1098紋理簡(jiǎn)單的綠葉37.701338.233738.2337結(jié)合以上三個(gè)部分實(shí)驗(yàn)結(jié)果圖和PSNR圖可以發(fā)現(xiàn)：（1）改進(jìn)的Criminisi算法相較于傳統(tǒng)算法，按照這狀況來(lái)進(jìn)行在視覺(jué)效果和客觀評(píng)價(jià)數(shù)據(jù)都體現(xiàn)了圖像修復(fù)性能的提升。（2）針對(duì)于傳統(tǒng)Criminisi算法來(lái)說(shuō)，如果待修復(fù)區(qū)域以顏色特征為主特征的話即待修復(fù)區(qū)域顏色紋理特征明顯更突出其性能。而改進(jìn)的算法除了顏色還有其他諸多的紋理特征是可以用來(lái)進(jìn)行數(shù)據(jù)對(duì)比，以達(dá)到合理修復(fù)特征的。（3）根據(jù)PSNR圖，基于VGG19卷積層結(jié)合傳統(tǒng)算法的改進(jìn)算法在一定程度上優(yōu)于基于VGG19池化層結(jié)合傳統(tǒng)算法的算法。根據(jù)現(xiàn)有的結(jié)果分析可以得出如下結(jié)論其原因在于底層的卷積層能提供更多的圖片特征。但高層的池化層能夠減少一定的計(jì)算量，且對(duì)于某些特有特征能有更高的選取正確率?？偨Y(jié)與展望工作總結(jié)數(shù)字圖像復(fù)原的概念提出至今已近20年，研究者們不斷引入各種數(shù)學(xué)修復(fù)模型并總是超前的提出各種理論，極大的推動(dòng)了圖像恢復(fù)技術(shù)的不斷發(fā)展。在深度學(xué)習(xí)領(lǐng)域，基于深度學(xué)習(xí)的圖像復(fù)原方法研究備受追捧。但不論是傳統(tǒng)數(shù)字圖像修復(fù)還是深度學(xué)習(xí)在圖像修復(fù)領(lǐng)域的應(yīng)用，始終各有優(yōu)缺。本文針對(duì)于傳統(tǒng)數(shù)字圖像修復(fù)算法任務(wù)中，修復(fù)后區(qū)域模糊混亂、修復(fù)區(qū)域邊緣結(jié)構(gòu)不合理等問(wèn)題，研究基于深度提取圖像特征結(jié)合傳統(tǒng)算法的改進(jìn)型圖像修復(fù)方法，主要研究?jī)?nèi)容包括以下三個(gè)方面：1.概述圖像修復(fù)中的紋理修復(fù)概念及經(jīng)典算法修復(fù)原理。梳理圖像修復(fù)發(fā)展史，在辯證思維下思考了圖像修復(fù)存在的意義及亟待解決的問(wèn)題。對(duì)經(jīng)典紋理修復(fù)算法中的Criminisi算法的算法優(yōu)缺點(diǎn)進(jìn)行分析評(píng)價(jià)。從客觀立場(chǎng)上看待圖像修復(fù)技術(shù)發(fā)展趨勢(shì)并順應(yīng)發(fā)展潮流在經(jīng)典Criminisi算法分析中提出傳統(tǒng)算法與深度學(xué)習(xí)優(yōu)缺互補(bǔ)理念。2.基于傳統(tǒng)Criminisi算法進(jìn)行改進(jìn)，對(duì)改進(jìn)算法提供可行性理論支持。解析傳統(tǒng)Criminisi算法的流程，簡(jiǎn)述深度學(xué)習(xí)的概念和相關(guān)算法原理。針對(duì)改進(jìn)算法中的如輸入圖片尺寸調(diào)節(jié)、特征提取函數(shù)調(diào)用、特征可視化研究、匹配準(zhǔn)則等問(wèn)題逐一分析并提出解決方案。3.基于改進(jìn)進(jìn)行破損圖像修復(fù)實(shí)驗(yàn)。搭建實(shí)驗(yàn)環(huán)境，選取實(shí)驗(yàn)平臺(tái)編寫實(shí)驗(yàn)代碼并選取合適圖片組進(jìn)行實(shí)驗(yàn)驗(yàn)證。分析對(duì)比實(shí)驗(yàn)結(jié)果并根據(jù)實(shí)驗(yàn)結(jié)果來(lái)不斷優(yōu)化算法流程改進(jìn)實(shí)驗(yàn)代碼。以實(shí)際實(shí)驗(yàn)結(jié)果來(lái)檢驗(yàn)改進(jìn)的Criminisi算法修復(fù)效果，實(shí)驗(yàn)結(jié)果證明改進(jìn)算法相較于傳統(tǒng)算法具有一定的改良性，傳統(tǒng)算法與深度學(xué)習(xí)優(yōu)缺互補(bǔ)理念是可行的是具有意義的。未來(lái)展望雖然本文提出的改進(jìn)算法在實(shí)驗(yàn)中證實(shí)了修復(fù)效果的提升性，但該領(lǐng)域的改進(jìn)算法研究還需要深入。并且由于個(gè)人能力、研究環(huán)境和實(shí)驗(yàn)設(shè)備有限等，本文僅為初步探討研究，本文算法仍然存在一些值得改進(jìn)和研究的地方，比如：（1）圖像修復(fù)算法中的程序編寫語(yǔ)言選取問(wèn)題。本文基于傳統(tǒng)Criminisi算法進(jìn)行改進(jìn)采用MATLAB編程實(shí)現(xiàn)，但目前針對(duì)深度學(xué)習(xí)的研究學(xué)習(xí)大部分是選用Python語(yǔ)言。并且傳統(tǒng)圖像修復(fù)算法也大都選用C++，這就說(shuō)明了圖像修復(fù)算法的編程語(yǔ)言是豐富但難以選取的。故我們需要平臺(tái)之間的互通構(gòu)建，也需要編程語(yǔ)言能夠有互聯(lián)的接口，以程序調(diào)用方便來(lái)實(shí)現(xiàn)算法的更新與發(fā)展。（2）適合于圖像修復(fù)的卷積神經(jīng)網(wǎng)絡(luò)模型的選取問(wèn)題。深度學(xué)習(xí)快速發(fā)展，各種卷積神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)深度或深或淺，針對(duì)應(yīng)用領(lǐng)域進(jìn)行了優(yōu)化了調(diào)節(jié)。但對(duì)于圖像修復(fù)領(lǐng)域來(lái)說(shuō)，目前比較著名的模型都存在一個(gè)問(wèn)題，那就是網(wǎng)絡(luò)模型的網(wǎng)絡(luò)