超分辨率圖像恢復(fù)算法綜述

【摘要】圖像超分辨率是指從一序列低分辨率觀測(cè)圖像中恢復(fù)高分辨率圖像，廣泛用于視頻監(jiān)控、模式識(shí)別、軍事偵察、遙感檢測(cè)和醫(yī)學(xué)診斷等領(lǐng)域，已成為圖像處理領(lǐng)域最為活躍的研究方向之一。介紹了超分辨率圖像恢復(fù)的經(jīng)典算法，對(duì)比分析了各方法的優(yōu)缺點(diǎn)，提出了超分辨率圖像恢復(fù)的研究方向與展望，為其進(jìn)一步發(fā)展提供了一定的理論基礎(chǔ)?！炯怄I詞】超分辨率高分辨率圖像低分辨率圖像恢復(fù)自harris和goodman提出sr重建概念以來，該技術(shù)就受到廣泛矢注，主要經(jīng)歷了靜態(tài)圖像、單視頻和多視頻sr重建三個(gè)階段，主要算法有基于頻域插值的方法、非均勻采樣內(nèi)插法、迭代反投影法、凸集投影法、正則化重建法、最大后驗(yàn)概率/凸集投影混合法和基于學(xué)習(xí)的方法。sr圖像恢復(fù)應(yīng)用廣泛，已成為圖像處理領(lǐng)域最為活躍的研究方向之一。通過sr圖像恢復(fù)能有效提高現(xiàn)有監(jiān)控設(shè)備的分辨率水平和監(jiān)控能力，對(duì)推進(jìn)智能視頻監(jiān)控的發(fā)展⑴，對(duì)“數(shù)字城市”、“平安城市”建設(shè)等，都具有重要意義。1超分辨率圖像恢復(fù)算法1.1基于頻域插值的方法先使用傅里葉變換將圖像變換到頻域，再利用位移特性觀測(cè)模型解決圖像的內(nèi)插問題。在處理過程中，假設(shè)lr圖像序列無噪聲，且原始模擬圖像的頻率帶限，利用多幅圖像間離散和連續(xù)傅里葉變換間的平移特性以及混疊尖系來獲得hr圖像。此方法理論簡(jiǎn)單，運(yùn)算復(fù)雜度低，但忽略了觀測(cè)模型中光學(xué)系統(tǒng)的諸多因素的影響，僅局限于全局平移運(yùn)動(dòng)模型下應(yīng)用。很多學(xué)者對(duì)此進(jìn)行改進(jìn)，tekalp等［2］考慮了線性空不變點(diǎn)擴(kuò)散函數(shù)和觀測(cè)噪聲的影響，采用最小二乘法計(jì)算系統(tǒng)方程的解；kim等［3］也考慮了噪聲的情況，用加權(quán)最小二乘法進(jìn)行計(jì)算；rhee和kang［4］提出采用離散余弦變換代替傅里葉變換，減少存儲(chǔ)資源的需求，提升了計(jì)算效率。但始終無法突破tsai中整體平移相似的假設(shè)，僅含有限的空域先驗(yàn)知識(shí)，因此只能在全局平移運(yùn)動(dòng)和線性空間不變模糊模型中使用。因此，實(shí)際工程應(yīng)用中難以實(shí)用。1.2非均勻采樣內(nèi)插法屬于空域插值放大法，包括運(yùn)動(dòng)估計(jì)、非均勻內(nèi)插、圖像去模糊和去噪三個(gè)方面［5］。在運(yùn)動(dòng)估計(jì)中，選擇一幅參考圖像，根據(jù)某一運(yùn)動(dòng)模型，求出其他圖像與參考圖像之間的運(yùn)動(dòng)參數(shù)，并根據(jù)此參數(shù)將所有l(wèi)r觀測(cè)圖像投影到參考圖像對(duì)應(yīng)的高分辨率網(wǎng)格上，得到非均勻分布的空間采樣圖，然后用非均勻內(nèi)插法內(nèi)插出所有整數(shù)格網(wǎng)的像素值，接著進(jìn)行去模糊和去噪處理，得到hr的圖像，如圖1所示。此方法計(jì)算量小、模型簡(jiǎn)單，但需要假定所有的lr圖像的噪聲和模糊特征一致，不使用先驗(yàn)約束「灰復(fù)效果不佳，不能保證最優(yōu)性。迭代反投影法(ibp:iterativeback-projection)首先，利用待求hr圖像的一個(gè)初步估計(jì)作為當(dāng)前結(jié)果，通過觀測(cè)模型投影到lr觀測(cè)圖像上，從而獲得lr模擬圖像，然后計(jì)算lr模擬圖像與實(shí)際觀測(cè)圖像之間的差值，并由此差值更新當(dāng)前估計(jì)，如此循環(huán)，得到最終結(jié)果(6)^s.mann等［7］對(duì)圖像的配準(zhǔn)作了改進(jìn)；irani等［8］使用該方法實(shí)現(xiàn)了包含多運(yùn)動(dòng)目標(biāo)的視頻圖像的 sr恢復(fù)。ibp法容易理解和實(shí)現(xiàn)，但由于問題的不適定性導(dǎo)致它的其解不唯一，嚴(yán)重依賴于反投影矩陣，難以引入先驗(yàn)約束，收斂速度慢。凸集投影法(pocs:projectionontoconvexsets )最早由h.stark和p.oskoui［9］提出，把hr圖像的每一個(gè)約束條件都定義為向量空間中的一個(gè)凸集合，所求的hr圖像包含于這些凸集合中，取其交集，即可得到hr圖像的解。約束條件包括觀測(cè)數(shù)據(jù)一致性、能量有界性、正定性、光滑性等，但 h.stark和p.oskoui在對(duì)數(shù)據(jù)一致性約束定義的投影算子中忽略了觀測(cè)模型中噪聲的影響； tekalp等［10］進(jìn)行了擴(kuò)展，考慮了噪聲的影響；patti等［11］考慮了任意采樣網(wǎng)和運(yùn)動(dòng)模糊；隨后，又通過修改約束集合減少邊緣噪聲［12］。pocs法原理直觀、實(shí)現(xiàn)算法簡(jiǎn)單，容易加入先驗(yàn)知識(shí)；但它的解依賴于初始估計(jì)，且不唯一，收斂速度慢且穩(wěn)定性不高，運(yùn)算量大。 1.5正則化重建法1.5.1確定性正則化sr重建問題是一個(gè)不適定問題，確定性正則化通過加入先驗(yàn)知識(shí)約束把不適定問題適定化，是解決病態(tài)問題的經(jīng)典方法。最終迭代結(jié)果主要受限于迭代過程中所加入的正則項(xiàng)，其一般形式可表示為：其中，拉格朗日乘子是正則化參數(shù)項(xiàng)，為數(shù)據(jù)一致性約束，通過觀察模型描述了所求 hr圖像與lr觀測(cè)圖像相一致的程度，是正則化項(xiàng)，算子 c是高通濾波器［6］o上述問題可轉(zhuǎn)化為求最小值問題，通過求導(dǎo)變換可得的迭代公式為：m.c.hong等［13］提出一種多通道正則化sr算法，在每次迭代過程中無需先驗(yàn)知識(shí)計(jì)算正則化系數(shù)；m.g.kang［14］構(gòu)造了一種通用多通道反卷積方法，也包含了多通道正則化 sr算法；r.c.hardie［15］提出最小化正則化代價(jià)函數(shù)方法，采用迭代梯度正則化和共覘梯度下降法優(yōu)化處理最小化代價(jià)函數(shù)；p.c.hansen等［16］使用I曲線求解最優(yōu)正則化參數(shù)。1.5.2隨機(jī)正則化r.r.schulz和r.l. stevenson［17］最早提出利用最大后驗(yàn)概率方法 map進(jìn)行hr重建，把hr圖像和觀察得到的lr圖像當(dāng)作兩個(gè)不同的隨機(jī)過程， 利用隱馬爾可夫隨機(jī)場(chǎng)先驗(yàn)?zāi)Ｐ停瑢r問題變?yōu)橐粋€(gè)具有唯一解的條件最優(yōu)問題。由于 map提供了先驗(yàn)約束，為sr重建提供了有效的正則化估計(jì)。map具有確定性正則化的一切優(yōu)點(diǎn)，還具備選擇噪聲模型和圖像先驗(yàn)?zāi)Ｐ偷姆€(wěn)健性和靈活性，使其成為研究的熱點(diǎn)。tom等［18］提出了最大似然估計(jì)來同時(shí)估計(jì)亞像素位移、觀測(cè)圖像噪聲及hr圖像，采用最大期望來求解；tom和hardie等［19］提出了運(yùn)動(dòng)參數(shù)與hr圖像的聯(lián)合求解；rudin等［20］首先提出了一種有效的全變分正則化方法；farsiu等［21］提出了sr圖像重構(gòu)雙邊全變差正則化，更好地保護(hù)了圖像的邊緣。1.6map/pocs混合法map法推導(dǎo)嚴(yán)謹(jǐn)，pocs法更容易加入先驗(yàn)約束，將兩者結(jié)合起來將是一個(gè)不錯(cuò)的途徑。keightley等：22］提出了一個(gè)map和pocs相結(jié)合的方法，在最大后驗(yàn)概率方法的迭代優(yōu)化過程中加入先驗(yàn)約束，以便對(duì)圖像像素值的范圍進(jìn)行約束。elad等［23］提出了一種通用的最大似然估計(jì)凸集投影sr方法。1.7基于學(xué)習(xí)的方法該方法是空域法的一種，前提是認(rèn)為lr圖像完全擁有用于推理預(yù)測(cè)其所對(duì)應(yīng)的高分辨率部分的信息。具體重建過程如下：準(zhǔn)備匹配所需的由高低分辨率圖像塊組成的訓(xùn)練集，對(duì)觀測(cè)到的lr圖像塊進(jìn)行匹配，從而得出最匹配的高/低圖像塊組，利用塊組中的hr圖像塊重建出hr圖像。目前，常用的學(xué)習(xí)算法有chang等［24］提出的基于鄰域嵌入的方法；karl等［25］提出的基于支持向量回歸的方法；yang等［26］提出的使用圖形塊的稀疏表示的方法。2方法比較縱觀sr圖像恢復(fù)技術(shù)的國(guó)內(nèi)外研究進(jìn)展，各種算法均有優(yōu)劣，目前難以有一個(gè)很好的統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn)，如表1所示。在具體應(yīng)用中，需根據(jù)特定的圖像或者視頻特點(diǎn)，選擇針對(duì)性的研究算法，使系統(tǒng)設(shè)計(jì)最優(yōu)。3研究方向和展望本文對(duì)sr圖像恢復(fù)算法進(jìn)行了全面綜述，對(duì)比分析了各算法的優(yōu)劣。雖然 sr恢復(fù)取得了不少研究成果，但在特定應(yīng)用場(chǎng)合中，特別是在視頻監(jiān)控系統(tǒng)中還有很多熱點(diǎn)問題需要探究。(1)減少運(yùn)算量并提升算法效率。雖然已經(jīng)研究出很多恢復(fù)算法，但大部分算法的計(jì)算量都很大，如mappocs、基于學(xué)習(xí)的方法等，需要做更多的研究。2)視頻序列間的運(yùn)動(dòng)參數(shù)估計(jì)。當(dāng)前，針對(duì)視頻序列間的運(yùn)動(dòng)估計(jì)還沒有得到有效的討論與研究，需要尋找快速、準(zhǔn)確、可靠地獲得多幀離散圖像和多組視頻序列間的運(yùn)動(dòng)估計(jì)參數(shù)的算法。這也是sr圖像恢復(fù)中需要解決的矢鍵問題。(3)根據(jù)監(jiān)控視頻畫面內(nèi)容的特點(diǎn)尋找適合監(jiān)控視頻畫面的表述方法。在視頻監(jiān)控中，各種復(fù)雜時(shí)空因素對(duì)成像質(zhì)量清晰度影響很大，需研究監(jiān)控視頻中被加性噪聲污染后的監(jiān)控視頻圖像的退化模型以及監(jiān)控視頻畫面的特點(diǎn)。(4)實(shí)時(shí)性電路結(jié)構(gòu)的實(shí)現(xiàn)。在監(jiān)控視頻中