圖像超分辨率重建文獻(xiàn)綜述

圖像超分辨率重建文獻(xiàn)綜述2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室2報(bào)告內(nèi)容超分辨重建（SRR）的概念研究背景和意義超分辨重建的分類超分辨重建的方法人臉超分辨率重建下一步的研究計(jì)劃2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室3超分辨率重建由一幅低分辨率圖像或圖像序列得到高分辨率圖像2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室4研究背景和意義圖像獲取的過程中受到幾種典型因素的制約:①相機(jī)和攝影機(jī)的空間分辨率受成像光學(xué)系統(tǒng)和傳感器制造工藝及成本的限制；②圖像成像過程受到大氣模糊、光學(xué)模糊、運(yùn)動模糊、傳感器模糊、干擾噪聲、光學(xué)透鏡扭曲變形、不滿足奈奎斯特采樣條件引起的頻譜混疊等因素的影響；③圖像在進(jìn)行A/D轉(zhuǎn)換和D/A轉(zhuǎn)換時，不可避免地會帶來失真和不同程度的退化。這些限制條件和影響因素導(dǎo)致獲取的圖像質(zhì)量較差、分辨率不高。通過改造成像系統(tǒng)來提高系統(tǒng)的信息獲取能力，受到工藝水平和硬件成本因素的限制，在實(shí)際應(yīng)用中受到制約。圖像超分辨率重建方法在保留現(xiàn)有硬件設(shè)備的基礎(chǔ)上通過軟件的方法達(dá)到提高圖像分辨率的目的，是一種經(jīng)濟(jì)實(shí)用并且切實(shí)可行的方案，具有重要的應(yīng)用價值和廣闊的應(yīng)用前景。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室5SRR分類Generic

SingleFramesImageClassImageNumberMethodDomainSpecificInterpolationbasedLearningbasedMultiFrameReconstructionbasedSpatialdomainFrequencyDomainFaceSRR2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室6超分辨重建（SRR）的方法觀測模型SRR方法基于重建的方法基于學(xué)習(xí)的方法2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室7圖像失真模型2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室8圖像失真的數(shù)學(xué)描述移動模糊降采樣觀測模型（退化模型）2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室9超分辨率重建的方法超分辨率的概念，最早于上個世紀(jì)60年代由Harris提出用于單張影像的復(fù)原，并奠定了超分辨率的數(shù)學(xué)基礎(chǔ)。1984年，Tsai和Huang首次提出了利用多幀低分辨率退化圖像進(jìn)行超分辨率重建的問題，隨后許多學(xué)者對圖像超分辨率重建進(jìn)行了研究，不僅在理論上說明了超分辨率重建的可能性，而且還提出和發(fā)展了很多具有實(shí)用價值的方法。從目前的研究和應(yīng)用成果來看，超分辨率重建算法主要分為頻域方法、傳統(tǒng)空域重建方法、基于學(xué)習(xí)（leaning-Based）的方法。早期的研究工作主要集中在頻域中進(jìn)行，但考慮到更一般的退化模型，后期的研究工作幾乎都集中在空域中進(jìn)行?；趯W(xué)習(xí)的超分辨率重建方法是最近十年發(fā)展起來的，不僅克服了基于重建的方法在分辨率提高倍數(shù)方面的局限性，而且可以實(shí)現(xiàn)單幅圖像的超分辨率重建。基于重建的方法基于學(xué)習(xí)的方法2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室10基于重建的方法頻域方法非均勻插值法迭代方向投影(IBP)凸集投影(POCS)法基于概率的方法正則化方法自適應(yīng)濾波方法盲超分辨率重建2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室11頻域法1984年，Tsai和Huang首次提出了序列圖像的超分辨率重建問題，并給出了基于頻域逼近的圖像重建的方法，其觀測模型是基于傅立葉變換的移位特性。該類方法主要是通過頻域消混疊重建來恢復(fù)圖像的高頻分量。頻域法的優(yōu)點(diǎn)是理論簡單，可并行處理。然而運(yùn)動模型只考慮到全局運(yùn)動，局限性大，并且很難引入圖像的先驗(yàn)知識來進(jìn)行高分辨率圖像的重建。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室12非均勻插值法2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室13處理流程圖像運(yùn)動估計(jì)圖像合并像素映射到高分辨率格點(diǎn)進(jìn)一步的去噪、抗糊化處理非均勻插值方法的計(jì)算負(fù)荷較小，需要假定所有低分辨率圖像的噪聲和模糊特征都是相同的，而且在圖像復(fù)原階段忽略了插值階段的誤差，因此重建效果不佳2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室14迭代方向投影法（IBP）迭代反向投影算法由Irani和Peleg于1991年提出，其基本思想是：將退化模型生成的低分辨率圖像與輸入的低分辨率圖像之間的差值反向投影到高分辨率圖像上,隨著誤差收斂,可以得到相應(yīng)的超分辨率重建圖像。IBP算法可以用如下公式來表示：該方法的特點(diǎn)是：直觀、簡單、收斂快；但沒有惟一的解，難以利用先驗(yàn)知識，而且選擇投影算子HBP是困難的2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室15凸集投影算法(POCS)

凸集投影法是解決超分辨率問題的一類典型算法。Stark和Oskoui首次（1989）將POCS應(yīng)用于超分辨率重建，但其采用的運(yùn)動模型卻假定圖像獲取時僅存在整體平移，且沒有考慮運(yùn)動模糊的效果。Patti等人（1997）提出了同時考慮混疊、傳感器模糊、運(yùn)動模糊和加性噪聲的POCS方法。POCS方法中，超分辨率解空間中可行解的每一個限制條件（如非負(fù)性、能量有界性、觀測數(shù)據(jù)一致性、局部光滑性等），都被定義為一個約束凸集，通過對代表高分辨率圖像性質(zhì)的約束集求交，即可迭代解得解空間。POCS的優(yōu)點(diǎn)是可以方便地加入先驗(yàn)信息，可以很好地保持高分辨率圖像上的邊緣和細(xì)節(jié)。缺點(diǎn)是解依賴于初始估計(jì)、收斂慢、運(yùn)算量大和收斂穩(wěn)定性不高等。為了提高POCS算法收斂的穩(wěn)定性，可以采用松弛投影算子，但松弛投影算子不利于保持圖像的邊緣和細(xì)節(jié)。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室16凸集映射符合條件2所有可能重構(gòu)結(jié)果集合重構(gòu)結(jié)果落在符合各個條件的集合交集符合條件1所有可能重構(gòu)結(jié)果集合符合條件3所有可能重構(gòu)結(jié)果集合凸集凸集對應(yīng)的映射算子2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室17基于概率的方法包括最大后驗(yàn)概率估計(jì)法(MAP)和最大似然估計(jì)法(ML)Schultz和Stevenson（1994）提出的MAP方法是典型的概率論方法，他們把高分辨率圖像和觀察得到的低分辨率圖像當(dāng)作兩個不同的隨機(jī)過程。根據(jù)MAP準(zhǔn)則：使用條件概率對上式進(jìn)行變形、取負(fù)對數(shù)并舍棄常數(shù)項(xiàng)，可得其中，高分辨率圖像的先驗(yàn)?zāi)Ｐ涂梢杂蓤D像的先驗(yàn)知識確定，通常采用的MRF模型使圖像的局部在光滑性和邊緣保持上同時獲得了比較好的效果，條件概率密度則由系統(tǒng)的噪聲統(tǒng)計(jì)量確定MAP方法的優(yōu)點(diǎn)在于有惟一解，如果有合理的先驗(yàn)假設(shè)可以獲得非常好的圖像邊緣效果。但是其顯著的缺點(diǎn)就在于計(jì)算量相對比較大。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室18基于概率的方法Schulz和Stevenson（1994）使用了具有邊緣保持能力的Huber-Markov先驗(yàn)來完成超分辨率的MAP估計(jì)。而Hardie等人（1997）首先考慮了圖像配準(zhǔn)參數(shù)和HR圖像的聯(lián)合MAP估計(jì)問題。ML方法可以看作沒有先驗(yàn)知識的特殊MAP估計(jì)，但由于SR問題本身是病態(tài)的，通常應(yīng)優(yōu)先選擇MAP估計(jì)。Tom和Katsaggelos（1995）提出了同時估計(jì)LR圖像的亞像素位移、噪聲方差和HR圖像的ML方法，并通過EM算法求解。Schultz和Stevenson（1995）最早將MAP優(yōu)化與投影約束相結(jié)合。Elad和Feuer（1997）提出了一種通用的最大似然估計(jì)／凸集投影（ML/POCS）超分辨率方法等?；旌戏椒ńY(jié)合了各自的優(yōu)點(diǎn)，能夠充分利用先驗(yàn)知識，并且收斂的穩(wěn)定性也有改善。

2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室19正則化方法

超分辨率重建本質(zhì)上是一個病態(tài)的反問題，正則化方法利用先驗(yàn)信息對其進(jìn)行約束，使超分辨率病態(tài)問題變成良態(tài)問題。確定性正則化方法最常見的是約束最小二乘法,它的基本思路就是尋找一個X來最小化拉格朗日算子,并且使得這個X盡可能接近原始高分辨率圖像。其表達(dá)式如下：正則化算法的優(yōu)點(diǎn)是在解中可以直接加入先驗(yàn)約束、能確保解的存在和唯一、降噪能力強(qiáng)和收斂穩(wěn)定性高等。缺點(diǎn)是收斂慢和運(yùn)算量大。另外，該算法的邊緣保持能力不如凸集投影方法，由這類方法獲得的高分辨率圖像的細(xì)節(jié)容易被平滑掉。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室20正則化方法

代表性的正則化超分辨率方法包括Hong等（1997）最早提出的基于Tikhonov正則化的超分辨率重建方法。Nguyen等人（2001）運(yùn)用廣義交叉有效算法更新正則化參數(shù)。Park等人（2004）把正則化方法用于基于DCT變換的壓縮圖像的超分辨率的重建。He等人（2007）同步進(jìn)行圖像配準(zhǔn)和圖像的超分辨率重建，引入基于總變分的正則化方法來解決高分辨率圖像重建問題。

Capel等（2000）提出基于連續(xù)全變差模型(TotalVariation；TV)的文本序列圖像SRR算法。Farsiu等人（2004）提出了一種結(jié)合Bilateral濾波和TV正則化的改進(jìn)BTV正則化算子。此外，Kim等（2003）提出一種基于擴(kuò)散張量的邊緣增強(qiáng)和各向異性擴(kuò)散變分SRR算法。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室21Elad等（1999）首先提出了基于遞歸最陡下降法（R-SD）和遞歸最小均方法（R-LMS）的空域自適應(yīng)濾波法的方法實(shí)現(xiàn)超分辨率重建。Alam等（2000）針對維納濾波進(jìn)行改進(jìn)，采用了一種加權(quán)最近鄰域結(jié)合維納濾波的超分辨率方法。Hardie（2007）提出了基于自適應(yīng)維納濾波的方法,使用相鄰的低分辨率圖像像素的加權(quán)和來獲得高分辨率圖像。Callico等（2005）則實(shí)現(xiàn)了一種基于Philips多格式編解碼平臺的實(shí)時超分辨率重建方案，對內(nèi)存要求很低。自適應(yīng)濾波方法

自適應(yīng)濾波方法的缺點(diǎn)是最優(yōu)濾波方法不能包含先驗(yàn)知識,而且該方法不能包含非線性先驗(yàn)知識。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室22盲超分辨率重建

目前大部分超分辨率算法是假設(shè)已知模糊過程，然而在很多情況下，模糊過程至少是部分未知的。一個實(shí)用的超分辨率系統(tǒng)應(yīng)該把模糊辨識融入到重建過程中，即盲超分辨率重建。Harikumar和Bresler（1999）在不考慮噪聲的情況下,引入基于子空間和似然估計(jì)的方法求得模糊方程及其大小,最后通過盲去卷積方法重建原始高分辨率圖像。Nguyen等人（2001）提出了基于GCV（GeneralizedCross-validation）和高斯積分的參數(shù)化模糊辨識和規(guī)整化方法。但是，將模糊函數(shù)假定為單參數(shù)的高斯函數(shù)不符合應(yīng)用中的實(shí)際情況。喬建萍（2008）對盲超分辨率圖像復(fù)原分別提出了基于矢量量化的模糊參數(shù)辨識方法以及基于支持向量機(jī)的方法。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室23基于學(xué)習(xí)的方法NN算法K-NN算法（Example-based方法）流形學(xué)習(xí)方法基于稀疏表示的方法幻想臉方法圖像類推方法其他方法2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室24基于學(xué)習(xí)的超分辨率模型基于學(xué)習(xí)的超分辨重建方法的主旨思想是通過一定數(shù)量的訓(xùn)練樣本圖像，研究低分辨率圖像和高分辨率圖像之間的統(tǒng)計(jì)關(guān)系，并把它運(yùn)用到從低分辨率圖像到高分辨率圖像的重建過程中。典型的基于學(xué)習(xí)的超分辨率模型可定義為：從高低分辨率樣本圖像中提取圖像塊作為訓(xùn)練樣本庫，其中是圖像塊的向量表示。超分辨率重建過程中，從輸入低分辨率圖像提取圖像塊，根據(jù)訓(xùn)練樣本庫，估計(jì)其高分辨率圖像塊。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室25NN算法最近鄰（NearestNeighboring，簡稱NN）搜索是最簡單的算法，其基本思路是從樣本庫中窮舉找出與輸入低分辨率圖像塊最相似的圖像塊，并將其對應(yīng)的作為的高頻分量，這種方法相當(dāng)于最大似然估計(jì)（Maximum-Likelihood，簡稱ML）問題，假設(shè)圖像塊滿足正態(tài)分布，，則從低分辨率輸入圖像中提取的圖像塊，其最大似然估計(jì)可表示為下列目標(biāo)函數(shù)的最小化問題：（1）這種方法簡單、直接，但只考慮到樣本圖像塊本身的局部特征信息，穩(wěn)定性很差。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室26K-NN算法（Example-based方法）

為提高NN算法的魯棒性，F(xiàn)reeman等(2002)提出一種馬爾可夫網(wǎng)絡(luò)（MarkovNetwork）模型，采用馬爾可夫網(wǎng)絡(luò)學(xué)習(xí)樣本庫中低分辨率圖像塊與高分辨圖像塊的對應(yīng)關(guān)系，再利用學(xué)習(xí)到的關(guān)系估計(jì)圖像的細(xì)節(jié)信息，該方法開創(chuàng)了基于學(xué)習(xí)的超分辨率重建研究的先河。該算法將圖像塊作為馬爾可夫網(wǎng)絡(luò)上的一個節(jié)點(diǎn)，并假定節(jié)點(diǎn)間在統(tǒng)計(jì)量上相互獨(dú)立，生成訓(xùn)練庫，最終應(yīng)用傳播算法求解馬爾可夫網(wǎng)絡(luò)問題，這種模型相當(dāng)于最大后驗(yàn)概率問題，在公式(1)基礎(chǔ)上加入先驗(yàn)約束，加強(qiáng)相鄰圖像塊間匹配約束，其目標(biāo)函數(shù)為：（2）其中表示圖像塊與其相鄰快的重疊區(qū)域2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室27K-NN算法（Example-based方法）Example-based方法是較早提出使用學(xué)習(xí)的方法實(shí)現(xiàn)超分辨率，相對于之前的基于插值和基于重建的方法，這種方法可以獲取豐富的高頻信息，在放大4倍時，仍能獲得較高的圖像質(zhì)量。但缺點(diǎn)也比較明顯，訓(xùn)練樣本的選擇要求比較高，并且對于圖像中的噪聲極為敏感。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室28流形學(xué)習(xí)（鄰域嵌入）方法相對NN算法，K-NN提高了最終估計(jì)值的魯棒性，但它只是從K個樣本中選取一個作為最終估計(jì)值。Chang等人(2004)對此進(jìn)行了改進(jìn)，將K個優(yōu)選結(jié)果進(jìn)行加權(quán)組合：并采用局部線性嵌入（LocalLinearEmbedding，簡稱LLE）的流形學(xué)習(xí)（ManifoldLearning）算法對加權(quán)系數(shù)進(jìn)行估計(jì)，假設(shè)圖像中頻分量m和高頻分量h有相同的局部相關(guān)性，高頻圖像塊的估計(jì)可以從低分辨率圖像塊估計(jì)的加權(quán)系數(shù)進(jìn)行計(jì)算：加權(quán)系數(shù)的優(yōu)化問題可表示為：（3）當(dāng)考慮重建誤差時，公式(3)的估計(jì)結(jié)果并不是最優(yōu)的；同時LLE算法性能受K個優(yōu)選樣本質(zhì)量的影響，并且沒有充分利用其它樣本中所包含的先驗(yàn)信息。相對于K-NN的方法，鄰域嵌入的方法需要較少的訓(xùn)練樣本，并且對于噪聲的敏感度不是非常強(qiáng)，重建結(jié)果具有塊效應(yīng)。2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室29基于稀疏表示的方法根據(jù)稀疏信號表示理論，設(shè)是一個包含K個原子的過完備字典，信號可表示為基于字典D的稀疏線性組合，記作，其中，矢量是一個列向量，僅含有少數(shù)（）非零元素。這種方法克服了鄰域嵌入方法中對于鄰域大小的選擇問題，即在求解稀疏表示的時候，無需指定重構(gòu)所需要基的個數(shù)，其表示系數(shù)和基的個數(shù)將同時通過線性規(guī)劃求解得到。然而，目前該方法的缺陷就在于過完備詞典的選擇，隨機(jī)的選擇只能實(shí)現(xiàn)特定領(lǐng)域的圖像的超分辨率，對于通用圖像的超分辨率效果較差。outputhigh-reslutionpatchhigh-resolutiondictionaryforsomewithTheinputlow-resolutionpatchsatisfies2012-12-19武漢大學(xué)圖像處理與智能系統(tǒng)實(shí)驗(yàn)室30幻想臉方法在人臉超分辨率重建方面，知名學(xué)者Baker和Kanade(1999)第一次提出幻想臉（FaceHallucination）的思想，通過利用以金字塔形式組織的正面人臉圖像的梯度分布先驗(yàn)，在最