圖像超分辨率重建和插值算法研究

圖像超分辨率重建和插值算法研究

超分辨率重建的背景和意義

圖像的高分辨率是指著圖像含有的像素密度高，能提供豐富的細節(jié)信息，對客觀場景的描述更準確細致。

高分辨率圖像在信息時代的需求非常廣泛，諸如衛(wèi)星遙感圖像、視頻安全監(jiān)控、軍事偵查航拍領域、醫(yī)學數(shù)字影像和視頻標準轉換等領域都具有十分重要的應用。

上世紀70年代，CMOS和電荷耦合元件CCD（Charge-coupleddevice）做為圖像傳感器已廣泛用于獲取數(shù)字圖像。通常情況，圖像傳感器均能獲得較好的質量，但在特殊場合，受到諸多因素影響，導致圖像質量下降。如圖像采集獲取過程中：成像環(huán)境、成像距離、傳感器形狀和大小、光學系統(tǒng)的誤差、空氣擾動、物體運動、鏡頭散焦的影響。

圖像數(shù)字化處理過程中：成像、轉換、編碼、壓縮、存儲都會影響到圖像的分辨率。另外，還有成像噪聲、電氣噪聲、系統(tǒng)噪聲的疊加。所以實際應用中，無法按照理想狀況實現(xiàn)，存在的這些因素，必然影響圖像的質量，獲得較高質量的圖像分辨率也是相當困難的。理論上，獲得高分辨率只要增加成像系統(tǒng)的個數(shù)，最直接的方法是，通過傳感器制造技術減小像素尺寸，增加單位面積的成像點陣就可以解決問題。

綜上，由于技術水平和經濟條件的限制，使得成像傳感器和光學器件的性能指標可能無法滿足應用的需要，因此，需要采用信號處理方法提高圖像分辨率。經典圖像插值算法可以提高圖像分辨率，包括最近鄰插值、線性插值、雙三次插值、樣條插值，但只是可以增加圖像的像素尺寸，改變圖像的視覺效果，不能突破原有的信息量。因此，需要有一種新的方法來克服信息量不足的問題。

近年來，根據所觀測到的多幅低分辨率的圖像，運用軟件技術手段，通過信號處理方法，提高圖像分辨率的技術已成為圖像研究領域的熱點之一，顯示出極大的現(xiàn)實意義和應用價值。這個信號處理過程通常包括兩個步驟：首先圖像配準，即估計低分辨率圖像之間亞像素級別的相對位移；其次圖像融合，將多幅低分辨率圖像融合成一幅高分辨率圖像。這種解決圖像分辨率提高問題的有效辦法被稱為圖像超分辨率重建（Super-resolutionReconstruction,SRR）。

超分辨率重建過程中，由于低分辨率圖像序列往往受光學模糊、運動模糊、噪聲以及混疊因素的影響，所以超分辨率重建技術涵蓋圖像復原技術。二者的區(qū)別是圖像復原技術是在不改變圖像尺寸的情況下恢復一幅圖像，所以圖像復原技術和圖像超分辨率重建具有相當緊密的聯(lián)系，可認為圖像超分辨率重建是在理論上的第二代圖像復原問題。研究圖像超分辨率重建技術一方面理具有重要的理論意義，推動圖像復原技術的進一步發(fā)展；另一方面具有重要的實踐意義，克服光學成像系統(tǒng)硬件方面的局限性，某些場合下仍然可以繼續(xù)使用原有的低分辨率成像系統(tǒng)，在較小數(shù)據量傳輸?shù)那闆r下，獲得滿足特定分辨率要求的圖像。超分辨率重建的綜述和現(xiàn)狀

國外，近20多年來，在眾多科研工作者的不斷探索與研究下,形成了幾種較為成熟的圖像SRR算法理論，研究主要是在降質過程模型、運動估計、算法性能等方面，圖像SRR也在實際中得到應用。

歐洲航天局的“火星快車”探測器攜帶的立體照相機拍攝到了高清晰的火星峽谷圖片。

美國宇航局的火星勘測軌道器攜帶的高分辨率成像科學實驗攝像儀拍攝了數(shù)千張火星表面奇特、迷人而又壯觀景象的照片，以供科學研究。下一代火星探測機器人“好奇者”將于2011年發(fā)射升空，總部設在圣地亞哥的馬林空間科學系統(tǒng)（MalinSpaceScienceSystems）正在研制的3D攝影機，預計將掛載在機器人頭頂上。

另外，TopazLabs已經將圖像和影像的增強技術軟件商業(yè)化應用。LCAV（AudiovisualCommunicationsLaboratory）開發(fā)了在MAC和XP操作系統(tǒng)下的SRR程序。其他一些視頻網站已公開出售增強視頻流分辨率的軟件插件等。

國內，中科院自動化研究所、武漢大學、哈爾濱工業(yè)大學、香港中文大學等在SRR領域的研究上比較活躍，為圖像重建相關領域的研究和發(fā)展做出了巨大貢獻，其中一部分是關于圖像頻譜外推、混疊效應消除的研究；另一部分是關于SRR算法的改進，例如MAP算法和POCS算法的改進，對小波域隱馬爾可夫樹

（HMT）模型SRR方法的改進，對SRR插值方法的改進，以及對SRR重構方法的改進。超分辨率的概念最早出現(xiàn)在光學領域，是指復原衍射極限以外數(shù)據的過程。第一次超分辨率概念的提出是在1955年ToraldodiFrancia關于光學成像的雷達文獻中。

圖像SRR的研究要始于上世紀80年代，Tsai和Huang[4]首先提出了基于序列或多幀圖像的SRR問題，他們分析并證明了：彼此間互相有平移的圖像序列中獲取分辨率增強的靜態(tài)圖像的可能性，而且給出了在頻域里解決問題的方法。

1982年，H.Webb和D.C.C.Youla在總結前人的基礎上，提出了凸集投影圖像復原（POCS）方法。

1986年，S.E.Meinel提出了服從泊松分布的最大似然（Possion-ML）復原方法。

1991年，B.R.Hunt在貝葉斯理論的基礎上，提出

了泊松最大后驗概率（Possion-MAP）復原方法，并且在1993年對超分辨率的定義和特性做了分析，提出物體的空間限制、噪聲和采樣間隔決定圖像超分辨率的能力。

2006年，P.Vandewalle與S.Süsstrunk提出了圖像間存在旋轉的解決方法，將空域的旋轉參數(shù)估計通過頻域積分方法轉換到頻域的平移估計。頻域方法進行去混疊處理雖然直觀簡單，但是只能處理具有全局位移的情況，因為它們的前提條件是線性空間不變模型為基礎的全局位移。頻域中難以考慮先驗知識，缺乏數(shù)據間的相關性。頻域方法對模型誤差極為敏感，圖像序列配準步驟處理稍有偏差便會導致重建圖像質量極大的降低，應用范圍因此受到很大限制。在空域內實現(xiàn)分辨率增強是另一種提高圖像分辨率的方法。Ur和Gross利用改進的多通道采樣理論，

對具有相互位移的低分辨率圖像序列進行非均勻插值處理，然后對插值的重建圖像進行去模糊處理。隨后凸集投影法出現(xiàn)了。最早是由Stark和Oskoui提出將解的先驗知識融入到重建過程中迭代求解，從多個約束集合的交集中求解高分辨率圖像。針對SRR中依賴配準精度的問題，出現(xiàn)了基于卡爾曼（Kalman）濾波的自適應濾波SRR算法，該算法的優(yōu)化目標是最小化均方誤差，具有較強的對配準誤差的魯棒。Elad和Feure對包含任意圖像運動的超分辨率恢復進行了研究，但是基于動態(tài)低分辨率圖像序列的該算法的缺點是容易造成迭代過程中積累誤差效應。通常，SRR算法中需要求解一個維數(shù)很大的方程組，計算量大，解空間的維數(shù)也不小，非常復雜。于是正則化方法在SRR中得以廣泛的發(fā)展和應用，利用不適定性問題的逆問題求解SRR方程組。確定性正則化方法主要有：基于L1范數(shù)加雙邊濾波估計（L1+BTV）、約束最小二乘法估計（CLS）。

隨機性正則化方法主要有：最大似然估計（ML）、最大后驗概率估計（MAP）等。MAP方法的優(yōu)點是結合空域先驗信息的能力強，結合有效的最優(yōu)化方法進行求解利于擴展和改進，因此得到廣泛應用。MAP方法可以加入不同的圖像先驗模型，在解中加入先驗約束，能夠保證解的唯一存在性。雖然空域方法的缺點是計算量大，代價高。為減少計算復雜度，又產生了針對空間模糊不變和平移運動情形的快速SRR算法。

美國加州大學Milanfar等提出了的大量實用超分辨率圖像復原算法，Chan等從總變差正則方面，Nagy等從數(shù)學方法、多幀圖像的去卷積和彩色圖像的超分辨率增強方面，對超分辨率圖像恢復進行了研究。此外，Rajan和Wood等分別從物理學和成像透鏡散射的角度提出了新的超分辨率圖像恢復方法；韓國Pohang理工大學對各向異性擴散用于超分辨率。圖像超分辨率重建技術的研究如火如荼，帶動了視頻超分辨率重建的研究，但是仍然還有許多實際問題需要有待解決。

三.超分辨率重建中的插值插值技術概述

工程實踐和科學實驗等實際問題的解決過程中，通常需要研究某些變量之間的函數(shù)關系，這些函數(shù)關系常常隱含在觀測數(shù)據中，能否找到變量之間相對準確的函數(shù)關系就成為解決問題的關鍵。如對實踐中的某個物理量進行觀測，在若干個不同的地方得到相應的觀測值，需要從觀測數(shù)據(xi,yi),i=1,....,n中找出自變量與因變量間的函數(shù)關系，用近似函數(shù)y=f(x)來表示。近似函數(shù)的產生辦法多種多

樣，通常可采用數(shù)據擬合與函數(shù)插值兩種辦法實現(xiàn)。數(shù)據擬合主要考慮受隨機觀測誤差的影響，尋求整體誤差最小能反映觀測數(shù)據的近似函數(shù)，并不要求所得到近似函數(shù)滿足yi=f(xi),i=1,...,n。函數(shù)插值要求相反，近似函數(shù)必須滿足yi=f(xi),i=1,...,n。這就要求觀測數(shù)據相對準確，不考慮觀測誤差的影響。拉格朗日（Lagrange）插值法是以十八世紀法國數(shù)學家約瑟夫·路易斯·拉格朗日命名的一種多項式插值方法。Lagrange插值法可以找到一個多項式，其恰好在各個觀測的點取到觀測到的值。

這樣的多項式稱為Lagrange插值多項式。數(shù)學上，Lagrange插值法可以給出一個恰好穿過二維平面上若干個已知點的多項式函數(shù)。圖像插值方法多種多樣，應用較多的是基于多項式函數(shù)的內插，如Lagrange內插和樣條內插等。這些方法均假設圖像的各局部區(qū)域能用多項式函數(shù)表征，用已知各像素點擬合出連續(xù)函數(shù)并對其進行重采樣以獲得高分辨率圖像。優(yōu)點是速度快，缺點是不精細，有較嚴重的邊緣鋸齒和細節(jié)模糊現(xiàn)象。不少學者從不同方面對插值方法進行了比較，提出了多種解決方案，如多分辨率小波插值方法，基

于圖像統(tǒng)計特征自學習的插值方法，以及基于最佳重建的插值方法等。雖然這些方法一定程度上提高了插值圖像的質量，但是所需的計算量較大，復雜度高。Farsiu等從線性插值方法出發(fā)，提出了平移相加（ShiftandAdd）法，該方法僅僅需要將核函數(shù)進行最佳平移，就能使圖像的清晰度大大提高，但是同時強化了邊緣鋸齒現(xiàn)象，限制了該算法的應用范圍。經典插值算法最近鄰插值

最近鄰插值，又叫零階插值（NearestNeighborInterpolation），是最簡單的插值方法。它是用原始圖像中的特定像素點的像素值去填充縮放后的圖像，容易實現(xiàn)，對于灰度圖像，即將原始圖像進行逐點處理，把每一個像素點的灰度值進行插值倍數(shù)次復制。它采用的插值函數(shù)是一個常量函數(shù)，是矩形函數(shù)如下：

最近鄰插值的優(yōu)點是簡單易實現(xiàn)計算量很小，使得這種方法在很多場合得以應用。它的缺點是插值后的圖像質量不高，常常出現(xiàn)方塊效應和鋸齒效應。線性插值

線性插值，又叫雙線性插值（BilinearInterpolation），也是一種簡單的插值方法，廣泛在圖像重建領域中使用，主要是由于線性插值較低的計算量和優(yōu)于鄰域插值的圖像質量，因為它是二階代數(shù)擬合。它被稱為雙線性插值是因為在對圖像的插值是分兩次對行、列像素分別線性插值處理得到的。

線性插值的基本思想是：在原始離散信號的兩點A、B間插入若干個點，這些點的灰度值使A、B之間的灰度值呈線性過渡。其基本思想就是把目標點附近的原始點的灰度值按一定的權值相加，其權值一般取為目標點和原始點之間的距離。其所采用的采樣函數(shù)是一個三角函數(shù)：

線性插值放大產生的圖像比最近鄰域插值產生的圖像平滑，不會出現(xiàn)灰度值不連續(xù)的的情況。由于線性插值具有低通濾波器的性質，使高頻分量受損，當放大倍數(shù)增大時，放大后的圖像也會出現(xiàn)明顯的塊狀現(xiàn)象，使圖像輪廓一定程度上變得模糊。具體，對于一個插值像素點，假設通過反變換得到的浮點坐標為(i+u,j+v)，其中i、j均為非負整數(shù)，u、v為[0,1)區(qū)間的浮點數(shù)，則該像素點的像素值f(i+u,j+v)可由原始圖像中坐標為(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所對應的周圍四個像素點值決定，即：

f(i+u,j+v)=(1-u)*(1-v)*f(i,j)+(1-u)*v*f(i,j+1)+u*(1-v)*f(i+1,j)+u*v*f(i+1,j+1)三次插值

三次插值（CubicInterpolation），又叫雙三次卷積值，它是在線性插值基礎上的改進，基本思想是增加鄰域像素點獲得更佳的插值函數(shù)，利用卷積算子表達插值方法，卷積過程可以用下式表達：

其中,h(x)是對sin(πx)/x的逼近，參數(shù)α的值可以取值：-1,0.25,或0.75。

具體，對于像素點(i+u,j+v)周圍鄰域16個點，與雙線性內插類似，先在某個方向上內插，對每個像素點依次處理。如先在i方向上求出f(i,j+1)、f(i,j)、f(i,j+1)、f(i,j+2)，再依據該4個像素點的計算結果在j方向上內插，得到f(i+u,j+v)。每一組4個像素點組成一個連續(xù)內插函數(shù)，這種三次多項式內插過程實際上就是一種卷積操作，故稱為三次卷積插值。

雙三次插值的優(yōu)點是圖像插值質量好。它的缺點是計算量大，并且對選取的像素點(x,y)的均勻性要求高。樣條插值

上述三種插值屬于傳統(tǒng)的多項式插值，為了處理更多數(shù)據點，更好的逼近，必須增加了多項式階數(shù)，則應用上受到很多限制。多項式插值的問題：第一、多項式插值受數(shù)據點位置的影響大。若出現(xiàn)杠桿點則影響更大。第二、多項式插值受輸入點變動的影響大。多項式插值沒有局部性，它的形式由所有的數(shù)據點決定的。一點變動，整個多項式都要變動。

多項式插值在數(shù)據點間震蕩被稱為龍格現(xiàn)象，可以通過樣條插值（SplineInterpolation）來解決問題。樣條是特殊函數(shù)，多項式分段定義。樣條插值比多項式插值好用，低階樣條插值能達到高階多項式插值效果，還能避免龍格現(xiàn)象，且樣條插值具有保凸特性。樣條插值在插值點一階連續(xù)可導，與期望函數(shù)的均方誤差最小。

只有B樣條可以寫出閉合表達式。B樣條曲面是B樣條曲線的二維拓廣。B樣條曲線由控制多邊形定義，而一張B樣條曲面則需要一組控制多邊形定義,被稱為多邊形網格或控制網格。 給定參數(shù)軸u和v的節(jié)點矢量u=[u0,u1,...,um+p]和v=[v0,v1,...,vn+q],p×q階B樣條曲面的數(shù)學表達式為：

Cij(i=1,2,...,m;j=0,1,...,n)是給定的空間(m+1)(n+1)個點列，構成一張控制網格。Bik(u)和Bjl(v)是B樣條基，分別由節(jié)點