視頻增強技術(shù)綜述20講解

視頻增強技術(shù)綜述概述圖像超分辨率(superresoulution,SR)指利用一幅或者多幅低分辨率(lowresoulution,LR)圖像通過相應(yīng)的算法來獲得一幅淸晰的高分辨率(highresoulution,HR)圖像?HR意味著圖像具有髙象素密度，可以提供更多的細肖,這些細肖往往在應(yīng)用中起到關(guān)鍵作用.要獲得高分辨率圖像，最直接的辦法是采用髙分辨率圖像傳感器，但由于傳感器和光學(xué)器件制造工藝和成本的限制，在很多場合和大規(guī)模部署中很難實現(xiàn)。低分辨率的圖像包含的細節(jié)信息較少，但我們可以得到一系列低分辨率的圖像，這些圖像包含的部分細肖信息各有不同，能夠相互補充。通過這一系列低分辨的圖像，經(jīng)過一左的處理，可以得到一幅分辨率較高、包含信息較多的圖像。這個處理過程就是超分辨率重建。超分辨率重建的核心思想就是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率，實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換。因此，利用現(xiàn)有的設(shè)備，通過超分辨率技術(shù)獲取髙分辨率圖像具有重要的現(xiàn)實意義。視頻的超分辨率增強是指融合來自相同動態(tài)場景的多個低分辨率視頻序列的信息，去重構(gòu)一個髙時空分辨率的視頻序列?？上攵?，視頻超分辨率包括時間超分辨率和空間超分辨率。視頻中某些事件發(fā)生變化比較快，這樣就需要用所謂高速(高幀率)的攝像機來采樣，如果使用普通幀率的攝像機，那么在時間上就會有一些細節(jié)信息的丟失。視頻的時間超分辨率就是要恢復(fù)這些丟失的時間上的細肖信息，而視頻空間超分辨率就是通常人們提到的圖像超分辨率復(fù)原。攝像機在時間和空間上的分辨率能力是有限的?？臻g分辨率取決于攝像機光學(xué)傳感器的空間密度及其本身引入的模糊誤差，這些因素限制了圖像中被觀察到的物體或特征的最小空間尺寸；時間分辨率取決于攝像機的幀率和曝光時間，這就限制了視頻序列中能被觀察到的動態(tài)事件的最大變化速度。比攝像機幀率發(fā)生更快的動態(tài)事件在記錄下來的視頻序列中是不可見或者不正確的，如在網(wǎng)球比賽的視頻中是不可能觀察到高速運動的網(wǎng)球的全部運動和狀態(tài)的。有兩類菲常典型的由髙速運動引起的可視化效果：①運動模糊，它是攝像機的曝光時間引起的，如髙速運動的網(wǎng)球所帶有的尾跡；②運動混淆，它是由于幀率限制的時間采樣引起的，如一個小球以正弦波形向前運動，攝像機的幀率如果與小球正弦運動周期可比或相等，記錄下的視頻上就將觀察到小球以很長的周期正弦運動或直線運動，這類似于一維信號的欠采樣。這兩種視頻效果都不能依靠視頻的慢速播放而消除，甚至使用復(fù)雜的時間插值算法來增加幀率也收效甚微，這是因為包含在單個視頻序列中的信息是不足以恢復(fù)高速動態(tài)事件中丟失的信息。多個視頻序列提供了附加的動態(tài)時空場景采樣，這樣就可融合這些信息去彌補丟失的信息，產(chǎn)生一個髙時空分辨率的視頻序列。超分辨率的縱向綜述歷史演變圖像超分辨率的概念和方法最早由Harris和Goodman^于20世紀60年代提出；隨后有許多人對其進行了研究，并相繼提出了各種方法,如長橢球波函數(shù)法、線性外推法、疊加正弦模板法。以上這些方法雖然能給出令人印象深刻的仿真結(jié)果，但在實際應(yīng)用中并沒有獲得理想的結(jié)果。80年代末之后，人們在超分辨率圖像復(fù)原方法研究上取得了突破性的進展。Hunt等人不僅在理論上說明了超分辨率存在的可能性⑶，而且提出和發(fā)展了許多有實用價值的方法，如能量連續(xù)降減法⑷、Bayesian分析法卜上）和凸集投影法〔兒超分辨率圖像增強逐漸成為人們硏究的熱點，人們從多個角度對英進行了深入的硏究。20世紀90年代初Irani和Pelcgi"將經(jīng)過相似性變換和仿射變換的圖像進行超分辨率強,Mann和Picard問又硏究了經(jīng)過投影變換的圖像，其他的硏究者還硏究了非參數(shù)運動模型和區(qū)域追蹤1川。在成像建模方而，不同的圖像污染模型被人們使用°Irani和Pclcg的圖像污染模型包括光學(xué)模糊和空間量化誤差，Bascle等⑴I將運動模糊也包含進來，Cheesenian等I（7）從Vidicon相機的基準調(diào)平中建立成像模型。人們在統(tǒng)il?先驗知識或調(diào)整規(guī)則的使用上也采取了不同的方法。Cheesenian等使用了基于高斯平滑先驗知識的MAP估計器來增強衛(wèi)星遙感圖像:Schultz和Stevenson改進了Bayesian方法”通過在邊緣響應(yīng)上使用帶Huber懲罰函數(shù)的MRF先驗知識來比較單幅和多幅圖像的增強方法；Capel和Zisserman也比較了ML和MPA估計器對視頻馬賽克效果的超分辨率增強〔⑶：Zomet和Pclcg應(yīng)用Irani和Pclcg的誤差反向投影方法來增強他們使用管逍投影方法獲得的視頻馬賽克效果1同：Rudin等應(yīng)用了重采樣和去模糊方法，在去模糊算法中使用了總變差規(guī)則I⑸。利用序列和多幅圖像進行超分辨率圖像的增強也成為人們研究的熱點，因為它充分利用了不同幅圖像之間類似而又不同的信息，所以其超分辨率增強能力好于利用單幅圖像進行增強所獲得的超分辨率能力。除以上所提到的，還有很多增加圖像空間分辨率的方法被提出，這些方法多是融合子像素替換得到的多個低分辨率圖像的信息。然而，這些方法通常是假設(shè)靜態(tài)場景，而沒有關(guān)注在動態(tài)場景中有限的時間分辨率。隨著視頻應(yīng)用需求的發(fā)展，視頻分辨率增強逐漸被人們關(guān)注。視頻區(qū)別于靜態(tài)圖像的最重要的特征，就在于其時間特性以及時空聯(lián)合特性。通常視頻攝像機采集幀率是50Hz?60Hz,電影被錄制和播放在24H乙25Hz或30Hz，而PC的顯示器的圖像刷新頻率在60Hz?120Hz之間。這樣，如果普通廣播電視視頻要在PC顯示器上顯示的話，必須在時間上進行插值處理。一個好的運動補償插值算法能夠沿著運動軌跡將運動物體插值到當時正確的位置上，從而獲得髙質(zhì)量的視頻效果?？臻g維和時間維是非常不同的，但又是相關(guān)的，這導(dǎo)致了視頻在空間和時間上的折中。時間分辨率的大幅度提高，通常是以空間分辨率的降低為代價的，反之亦然。而這在傳統(tǒng)的基于圖像的空間超分辨率應(yīng)用中是不存在的，這也帶來了一些新的視頻應(yīng)用。比如，靠增加時間分辨率來處理一些對空間分辨率的人為影響（如運動模糊），融合不同時空分辨率的輸入序列（如ntsv.PAL以及高質(zhì)量的靜態(tài)圖像）去產(chǎn)生一段高質(zhì)量的視頻序列，等等。所以應(yīng)該考慮一個統(tǒng)一的框架，融合來自時空未對準而獲得的動態(tài)場景的多個視頻序列信息，來增加視頻的時空分辨率，這將提高動態(tài)事件的可視化能力，尤其是髙速動態(tài)事件的表示能力。這些已經(jīng)開始成為視頻超分辨率的研究熱點。目前狀況近年來，伴隨著數(shù)字視頻采集設(shè)備的普及，人們對超分辨率重建技術(shù)的研究不再局限于靜態(tài)圖像，而是向視頻領(lǐng)域發(fā)展，提岀了視頻超分辨率。單個視頻的超分辨率重建是靜態(tài)圖像序列超分辨率重建的延伸和發(fā)展，其結(jié)合了滑動窗口模型和連續(xù)幀間的業(yè)像素級互補信息I⑹對每個視頻幀進行超分辨率重建，從而重建出一個高空間分辨率的視頻。不少研究者已對單視頻超分辨率展開了研究，并取得了不少的成果，包括得到了較好的視頻幀間配準算法以及各種有效的空間超分辨率重建方法。Borman等提出了一種多幀同步超分辨率視頻重構(gòu)方法，該方法利用了時空平滑約束，獲得了較好的重建效果。Tom等〔闔提出了一種迭代算法來增強視頻的分辨率，這種算法的效果依賴于視頻運動估計算法的效果。JIANG/'采用了一種光流場方法來準確估計視頻幀之間圖像信息的運動變化，同時提供了一個穩(wěn)左有效的機制去檢測和剔除會影響超分辨率重建效果的錯誤圖像匹配。就單視頻超分辨率重建而言，相鄰幀間亞像素級的冗余信息是有限的，因此限制了空間分辨率的重建倍數(shù)，同時單視頻超分辨率重建不能解決因視頻采集幀率低而引起的混疊現(xiàn)象。因此一些研究者開始引入多視頻超分辨率重建的思路，并對由此帶來的各種復(fù)雜科學(xué)問題進行研究120.2譏stein等（221人利用2臺計算機時鐘分別標左目標質(zhì)心，實現(xiàn)了多視頻時間上的配準，但配準精度需要進一步提高。Sharma等人在已實現(xiàn)多視頻時間配準的前提下，實現(xiàn)了首幀圖像的配準和序列內(nèi)幀間圖像的配準°DanielHazen等同人提出了一種多視頻超分辨率重建方法，該方法可應(yīng)用于多視頻監(jiān)控和多視頻壓縮方面oShechtman.Caspi和Irani125-2?共同提出了基于特征的多視頻時空配準算法，將時空信息作為一個整體同時計算。他們還提出了基于區(qū)域的方法，將髙斯金字塔模型推廣到視頻序列圖像上。目前，國內(nèi)外對多視頻的超分辨率重建技術(shù)研究還處于初級階段，從能夠查閱到的參考文獻來看，研究者較少。因此，還需要各國研究者們對其進行不斷的探索。未來趨向視頻超分辨率重建是近年來訃算機視覺和圖像處理等領(lǐng)域的一個研究熱點，不僅在理論上具有重要意義，而且在實際應(yīng)用中也有迫切需求。例如在視頻監(jiān)控方而，銀行、車站、機場、居民小區(qū)等都會設(shè)有多個監(jiān)控攝像頭，通過視頻超分辨率技術(shù)，可以提髙視頻質(zhì)量，方便觀察可疑人物及可疑物品的細節(jié)信息：在交通管理方而，由于攝像頭觀測的場景較大，無法獲取高速行駛的車輛及過往行人的細節(jié)信息，利用多視頻超分辨率重建技術(shù)，可以對車輛違法或舉事過程進行更詳細的重現(xiàn)，并有利于對大場景中的車牌或某個人物而部進行辨識等：在刑偵工作方而，對于案發(fā)現(xiàn)場獲得的低分辨率視頻（例如銀行、街道等場合中攝像頭舶攝到的視頻），利用視頻超分辨率技術(shù)，則能提高視頻質(zhì)量，獲得犯罪人員的更多的體態(tài)信息和而部信息，幫助案件的偵破：在體育運動方而，常常會有許多高速運動的物體需要捕捉（例如髙速運動的網(wǎng)球、乒乓球等），視頻超分辨率重建可以幫助我們更淸晰地觀察這些動態(tài)事件的細節(jié)。隨著視頻超分辨率相關(guān)理論和技術(shù)的發(fā)展，必將促進其在各個領(lǐng)域的深入應(yīng)用，同時這又會進一步給研究工作提出更髙的要求。視頻超分辨率增強在近年來已經(jīng)成為國際上最為活躍的研究領(lǐng)域之一。隨著多媒體應(yīng)用需求帶來的進一步的視頻應(yīng)用，視頻超分辨率增強技術(shù)將具有十分重要的應(yīng)用價值和廣闊的應(yīng)用前景超分辨率的橫向發(fā)展總體分類對超分辨率問題的求解，通常是構(gòu)造一個前向關(guān)系模型，低分辨率圖像和高分辨率圖像之間的關(guān)系可以表述為=DBjMkjXj+卩,1vj,kvp, （1）英中，p為圖像序列幀數(shù)，Xj、和〃丿分別為待求的第j幀髙分辨率圖像、第k幀觀察到的低分辨率圖像和圖像獲取時的噪聲，矩陣D、和M陽分別為下采樣矩陣、模糊矩陣和第丿幀和第k幀之間運動矢量所構(gòu)成的運動矩陣。關(guān)于模糊矩陣和運動矩陣的先后關(guān)系，WANGZZ等指出，如果更換兩者的位苣會引起系統(tǒng)誤差。設(shè)H=DBM，則式（1）即可簡化為y—Hx—-n（2）求解式（2）需要確左也就是求解或者確認式（1）中的D、B、m和噪聲〃，這包括以下幾個問題：（1）運動估計，需要從觀察到的低分辨率圖像得到精確的運動矢疑，并使用插值等方法去近似髙分辨率圖像的運動矢量：（2）圖像模糊的估計，通常需要對點擴散函數(shù)進行計算或假設(shè)；（3）噪聲估計，噪聲會極大地影響系統(tǒng)的求解，對于噪聲的估計是非常重要的一步。SR技術(shù)在早期硏究中僅指基于多幅圖像的還原方法，將基于單幅圖像的增強稱為插值，而目前多數(shù)文獻中將這2種情況均稱為超分辨率。超分辨率技術(shù)自Tsai和Huang提出利用多幀圖像序列來恢復(fù)髙分辨率圖像以來，至今已有二十余年，英間大量算法被提出。目前，圖像超分辨率研究可分為3個主要范疇：基于插值、基于重建和基于學(xué)習(xí)的方法。基于插值。該方法是目前超分辨率研究中最直觀的方法。通過對該圖像的多幀進行比較估計，得到它們之間的相對關(guān)系信息，以此獲得高分辨率圖像在非均勻間距采樣點上的像素值。然后通過非均勻插值的方法，經(jīng)過一左的插值，就可以得到一幅高分辨率的圖像。當然，這樣得到的圖像會存在噪音、模糊等問題，因此可以通過圖像恢復(fù)技術(shù)進行一泄的修復(fù)?；谥亟?。該方法主要有配準和重建兩個關(guān)鍵步驟。在配準時，利用多幀低分辨的圖像作為數(shù)據(jù)一致性的約束,這樣可以獲得英他低分辨率的圖像和參考低分辨圖像之間的亞像素精度的相對運動。重建時，可以利用圖像的先驗知識對目標圖像進行優(yōu)化。該方法常見的算法有迭代方向投影、最大后驗概率、凸集投影等?；趯W(xué)習(xí)。該方法的前提是認為低分辨率的圖像完全擁有用于推理預(yù)測其所對應(yīng)的高分辨率部分的信息。這樣就可以對一個低分辨率圖像集進行訓(xùn)練，產(chǎn)生一個學(xué)習(xí)模型，這個模型可以計算出圖像髙頻細廿信息。目前，常用的學(xué)習(xí)算法有Freeman等人提岀的Example-based方法、Chang等人提出的基于鄰域嵌入的方法等等。各種方法及成果基于插值的超分辨率技術(shù)基于多幀圖像插值技術(shù)的方法是超分辨率研究中最宜觀的方法。這類方法首先估計各幀圖像之間的相對運動信息，獲得HR圖像在非均勻間距采樣點上的象素值，接著通過非均勻插值得到HR柵格上的象素值，最后采用圖像恢復(fù)技術(shù)來去除模糊和降低噪聲.典型的方法包括Rajan和Chaudhuri旳通過分解、插值和融合3個步驟實現(xiàn)的通用插值方法：陶洪久等畫提出的小波域的雙線性插值：Lcrtrattanapanich和Bose刪提出的使用基于光滑性約朿的Delaunay三角化插值算法等.這類方法的優(yōu)點是算法快速易行，適合并行計算，基本可以滿足實時要求：但因為不能引入額外有用的髙頻信息，因而很難在SR圖像中得到銳化的效果al;同時，也沒有考慮到LR圖像的象素值并不是HR圖像的理想采樣值，而是對HR圖像象素值的空間平均和卷積效應(yīng)這一事實。為了獲得高質(zhì)量的視頻效果，高級的運動補償插值技術(shù)是必要的。目前，很多不同的算法用來在TV環(huán)境下進行視頻格式的轉(zhuǎn)換，而幀重復(fù)是一種常用的提高視頻幀率的方法，被用在PC環(huán)境下的視頻播放。幀重復(fù)沒有考慮場景的運動，所以在視頻運動區(qū)域不可避免地出現(xiàn)短暫停頓以及視覺模糊現(xiàn)象。一般說來如果輸入輸出視頻幀率相差低于30Hz,幀重復(fù)技術(shù)將導(dǎo)致運動停頓，而高于30Hz的話就會產(chǎn)生運動模糊。一個好的運動補償算法能夠沿著運動軌跡將運動物體插值到當時正確的位置上，從而克服了幀重復(fù)技術(shù)遇到的問題，增加視頻的時間分辨率，提高對高速動態(tài)事件的表示能力。超分辨率問題可以在時域和空域上同時來做⑶）。Tom等I闔提出了一種迭代算法來增強視頻圖像的分辨率，這種算法的效果依賴于視頻的運動估計算法的效果。由于視頻圖像超分辨率的效果很大程度上依賴于連續(xù)幀之間的圖像調(diào)整的修正，ZhongdingJiang（⑼米用了一種光流場方法來準確估計圖像對之間的運動變化，同時提供了一個穩(wěn)定有效的機制去檢測和剔除會影響超分辨率效果的錯誤圖像匹配，通過對復(fù)雜動態(tài)視頻序列的應(yīng)用，表明該方法的有效性。LertrattanapanichS.厲1通過汁算一個投影模型的參數(shù)來估計相機的運動，進一步將相機運動考慮到超分辨率算法中來重構(gòu)髙分辨率圖像。BormanS等（⑺提出了一個多幀同步超分辨率視頻重構(gòu)方法，該方法利用了時空平滑約束，并給出了運動估計置信參數(shù)，抑制了運動估計誤差，獲得了較好的重構(gòu)效果。通過融合相同動態(tài)場景的多個低分辨率視頻序列信息，ShechtmanE.等⑶】提出了一種重構(gòu)髙時空分辨率視頻序列的方法,該方法同時在空域和時域進行，通過一立的折中獲得了較好的效果。基于插值運動補償?shù)姆椒ㄡ槍σ曨l的時間超分辨率,通過運動補償算法將運動物體插值到當時正確的位置上，從而彌補視頻米樣設(shè)備米樣幀率的限制，生成高質(zhì)量的視頻?？臻g維和時間維是非常不同的，但又是相關(guān)的，這導(dǎo)致了視頻在空間和時間上的折中。時間分辨率的大幅度提髙通常以空間分辨率的降低為代價，反之亦然。基于重建的超分辨率技術(shù)1頻域方法通過在頻率域消除頻譜而改善圖像的空間分辨率。頻域方法實際上是在頻域內(nèi)解決圖像內(nèi)插問題，其觀察模型是基于傅里葉變換的移位特性。雖然頻域方法理論簡單，運算復(fù)雜度低,很容易實現(xiàn)并行處理，具有直觀的去變形超分辨率機制，主要方法列舉如下：⑴基于傅里葉變換的移位特性：仃saiandHuang）（2）考慮光學(xué)系統(tǒng)的點擴展函數(shù)和噪聲的影響：（Tckalp）(3)估計幀間整體平移參數(shù)的解算方法：(KaltenbackerandHardie)⑷用遞歸最小二乘對對Tsai公式中的混疊矩陣進行求解。由于頻率域方法只能應(yīng)用于全局平移和線性空間不變降質(zhì)模型，并且它對空間域先驗的能力不足，缺少靈活性，所以目前這類方法已經(jīng)不再是研究的熱點。2空域方法⑴迭代反投影方法(IterativeBackProjection,IBP);Irani和Pelegi〃i提出的迭代反向投影法是超分辨率圖像復(fù)原中具有代表性的一種方法。迭代反投影方法(IBP)首先用輸出圖像的一個初始估計作為當前結(jié)果，再將英投影到低分辨率觀測圖像上以獲得低分辨率模擬圖像。通過低分辨率模擬圖像與實際觀測圖像的差值不斷更新當前估計IBP通過觀測方程使超分辨率復(fù)原與觀測數(shù)拯匹配，但其超分辨率重建結(jié)果不唯一，而且難以引入先驗約朿°Irani和Pclcg證明了算法是收斂的。算法簡單、直觀。但是沒有能夠利用到先驗知識，解不穩(wěn)定、不惟一。凸影投影法(ProjectionontoConvexSet.POCS);Stark和Oskoi川珂最早提出的凸集投影方法(POCS河以簡單而有效地求解超分辨率問題，通過把高分辨率圖像的解空間上與一系列的代表髙分辨率圖像性質(zhì)的約束集(如非負性、能量有界性、觀測數(shù)據(jù)一致性、局部光滑性等)相交，可以得到一個更小的解空間。從高分辨率圖像空間的一點出發(fā)，不斷利用迭代投影的方法尋找滿足所有約束凸集的下一點，最終獲得高分辨率圖像的估訃?，F(xiàn)在凸集投影方法是一類解決超分辨率圖像復(fù)原問題的流行算法。為了降低噪聲和減少奇異性解,POCS應(yīng)用約束條件將先驗知識整合到計算中。超分辨率圖像解空間與一組凸形約束集合相交叉，而這組凸形約朿集合代表了期望的超分辨率圖像的一些特性，如正泄、能量有界、數(shù)據(jù)可靠、平滑等，通過這些約束集合就可以得到簡化的解空間。POCS是指一種迭代過程，在給立超分辨率圖像空間中任意一個點的前提下，可以立位一個能滿足所有凸形約朿集合條件的收斂解。凸集投影法的特點是方法簡單，能夠充分利用先驗知識，可利用任何成像模型方便地加入先驗信息，也可以很好地保持髙分辨率圖像上的邊緣和細節(jié)；但苴缺點是解不唯一，收斂速度慢且穩(wěn)泄性不好，解依賴于初始估計，訃算量大。最大后驗概率估計(MaximumaPosteriori,MAP);Schultz和Stevenson?351提出的MAP方法是典型的概率論方法，他們把高分辨率圖像和觀察得到的低分辨率圖像當作兩個不同的隨機過程。最大后驗槪率估計方法將超分辨率圖像視為一個復(fù)雜最優(yōu)化問題的MAP解，使用先驗平滑假設(shè)來減少不連續(xù)測量的影響。最大后驗概率(MAP)的含義就是在已知低分辨率視頻序列的前提下，使出現(xiàn)髙分辨率圖像的后驗概率達到最大。最大后驗概率估汁方法的收斂穩(wěn)左性取決于先驗概率，先驗概率模型應(yīng)該是一個具有邊緣保持能力的局部平滑的凸函數(shù)。最大似然增強方法可以認為是最大后驗概率增強方法在等概率先驗?zāi)Ｐ拖碌奶乩?。最大后驗概率估計方法的?yōu)點是在解中可以直接加入先驗約束，適用于非線性和線性成像模型，能確保解的存在和唯一，降噪能力強、收斂穩(wěn)泄性高，可同時實現(xiàn)運動估計和增強：缺點是收斂慢和運算量大。另外，最大后驗概率估計算法的邊緣保持能力不如凸集投影方法，由這類方法獲得的髙分辨率圖像的細肖容易被平滑掉。英他還有基于髙斯先驗假設(shè)1呦和動態(tài)樹推理算法卩"等.MAP方法的優(yōu)點在于有惟一解，如果有合理的先驗假設(shè)可以獲得非常好的圖像邊緣效果。但是其顯著的缺點就在于計算量相對比較大。(4)混合MAP/POCS方法：通過最小化有特泄集合約束的最大后驗概率/最大似然估計(MAP/ML)的損失函數(shù)，得到高分辨率圖像的估計就是最大后驗概率/最大似然估計/凸集投影(MAP/N1L/P0CS)混合方法.Schultz和Stevenson低均最早將MAP優(yōu)化與投影約束相結(jié)合。MAP/P0CS綜合法綜合利用了這兩種算法各自的優(yōu)點，在最大后驗概率方法的迭代優(yōu)化過程中加入了一些先驗約朿。已有的理論證實，只有采用梯度下降最優(yōu)化方法才能保證這種MAP/P0CS方法收斂到全局最優(yōu)解?；旌戏椒ńY(jié)合了MAP和P0CS各自的優(yōu)點，充分利用了先驗知識并且收斂的穩(wěn)定性也比較好，是目前為I上基于重建的算法中最好的。這里只是介紹了常用的4種基于重建的超分辨率的方法。基于重建的方法比較成熟，主要針對圖像空間信息的增強和復(fù)原，但是仍存在很多問題。為了增強超分辨率算法的魯棒性,人們又提岀了許多改進方法。文獻使用運動分割方法來處理運動物體，英依賴于運動分割的精確性。一種魯棒的中值估計器被應(yīng)用到一個迭代的超分辨率算法中(別，由于它使用待放大的輸入圖像的中值作為初始值，只有背景圖像的分辨率被增強，而不是整個圖像都被增強。在很多算法中，強加的平滑約束條件削弱了髙頻成分，使結(jié)果變得模糊。當場景嚴格不變時，如一副二值文本圖像，可使用規(guī)則化調(diào)整算法?？偟膩碚f，基于重建的方法發(fā)展比較成熟，主要針對圖像空間信息的增強和復(fù)原，在一些情況下取得了不錯的效果。但是還需要進一步提髙超分辨率圖像增強的能力,減小計算量,加快運算的收斂速度，適用于不同的圖像和應(yīng)用場合。基于學(xué)習(xí)的超分辨率技術(shù)基于學(xué)習(xí)的概念首次由Freeman提出，基本思想是先學(xué)習(xí)低分辨率圖像與髙分辨率圖像之間的關(guān)系，利用這種關(guān)系來指導(dǎo)對圖像進行超分辨率。馬爾可夫網(wǎng)絡(luò)建模低分辨率和髙分辨率圖像塊間的關(guān)系，學(xué)習(xí)因降質(zhì)丟失的高頻分量，然后與插值得到的初始估計相加恢復(fù)岀高分辨率圖像。通過算法去學(xué)習(xí)識別指左類別，如對象、場景、圖像，將得到的識別先驗知識用于超分辨率，通過對人臉和文字圖像的實驗，獲得了比傳統(tǒng)使用標準平滑先驗知識的基于重構(gòu)的超分辨率方法更好的結(jié)果，這就是基于學(xué)習(xí)的超分辨率方法?；趯W(xué)習(xí)的超分辨率算法使用一個圖像訓(xùn)練集來產(chǎn)生一個學(xué)習(xí)模型，并運用這個模型創(chuàng)建圖像的髙頻細節(jié)。基于學(xué)習(xí)的方法是近年來超分辨率算法研究的熱點方向。英基本思路是通過給定的訓(xùn)練圖像集，計算測試樣本的patch與訓(xùn)練圖像集patchesZ間的鄰域關(guān)系，并構(gòu)造最優(yōu)權(quán)值約朿，來獲得先驗知識并逼近測試樣本的高分辨率圖像。當?shù)头直媛蕯?shù)據(jù)提供的信息不滿足高分辨率需求時，基于學(xué)習(xí)的方法可以獲得更多的圖像髙層信息，因而具有很大優(yōu)勢，在圖像超分辨率應(yīng)用中可能得到比較理想的結(jié)果，為在大抽取率情況下恢復(fù)必要的高頻信息給出了新的思路?；趯W(xué)習(xí)的方法認為，低分辨率的圖像已經(jīng)擁有充分的用于推理預(yù)測英所對應(yīng)的高分辨率部分(例如邊緣等)的信息，通過對一組同時包括高分辨率圖像和低分辨率圖像的訓(xùn)練集合的訓(xùn)練，學(xué)習(xí)到一個聯(lián)合的系統(tǒng)模型。這個模型的表現(xiàn)形式可以是:一組學(xué)習(xí)到的插值核、一個低分辨率patch的査找表、低分辨率patch與高分辨率patch之間的映射系數(shù)等?；趯W(xué)習(xí)的方法是在基于重建的方法遇到困難的情況下發(fā)展起來的，雖然起步較晚，但目前看來，能夠彌補基于重建方法的很多不足。結(jié)合智能技術(shù)的發(fā)展，這種方法應(yīng)該能極大地提髙視頻空間分辨率，是值得進一步研究的方向。Example-based方法；Freeman等剛小首次使用Markov網(wǎng)絡(luò)對圖像的空間關(guān)系進行建模，他把圖像分成一些5x5或7x7的小塊，成為patch,通過學(xué)習(xí)，獲得表示高分辨率patch之間的轉(zhuǎn)移概率矩陣屮和表示髙分辨率patch和低分辨率patch之間的轉(zhuǎn)移概率矩陣①。對于一個給泄的測試圖像y,同樣把它分割成patch之后？對于每一個patch在尋找它在Markov網(wǎng)絡(luò)中的位置？同時獲得它與一些高分辨率patch之間的關(guān)系，再根據(jù)訓(xùn)練得到的轉(zhuǎn)移概率把髙頻分量添進去。Example-based方法是較早提出使用學(xué)習(xí)的方法實現(xiàn)超分辨率，相對于之前的基于插值和基于重建的方法，這種方法可以獲取豐富的髙頻信息，在放大4倍時，仍能獲得較髙的圖像質(zhì)量。但缺點也比較明顯，訓(xùn)練樣本的選擇要求比較高，并且對于圖像中的噪聲極為敏感。領(lǐng)域嵌入方法(neighborembedding):Chang等冋首次提出了基于鄰域嵌入的圖像超分辨率方法”其假泄了髙分辨率和對應(yīng)的低分辨率圖像塊在特征空間可以形成具有相同局部幾何結(jié)構(gòu)的流形。首先通過訓(xùn)練得到髙分辨率patch和低分辨率patch的流形，妾著對于測試樣本中的每一個patch,尋找英在低維流形中的k近鄰表示，最后使用這些系數(shù)加權(quán)得到其在髙維流形中patch的估計，即髙分辨率patch。但是，高低分辨率塊在鄰域嵌入時并不是總具有鄰域保持，要提髙鄰域保持，有2個可能的途徑：一個是選擇更合理的描述圖像塊的特征，以便能更好地保持鄰域關(guān)系，一個是給左髙分辨率鄰域塊，選擇更好的重建函數(shù)14兒因此，為了改進鄰域嵌入方法的不足，張軍平田I提出了基于直方圖匹配的訓(xùn)練樣本選擇算法，基于殘差局部嵌入的方法和基于邊緣檢測和特征選擇的方法。相對于Example-based的方法，鄰域嵌入的方法需要較少的訓(xùn)練樣本，并且對于噪聲的敏感度不是非常強。⑶支持向量回歸方法(SVR);Karl和Nguyen等宙呦在近些年提出了使用支持向量回歸實現(xiàn)圖像的超分辨率，他們通過加入一些額外的約束條件把kernel學(xué)習(xí)由半正立規(guī)劃問題轉(zhuǎn)化為二次規(guī)劃問題求解。對于測試數(shù)拯，則先對圖像patch進行內(nèi)容分類，再在其所屬的類中做支持向量回歸，得到高分辨率patchoSVR方法實現(xiàn)了對樣本的自動選擇，訓(xùn)練集較小，并且該算法在頻域中同樣適用。但是從實驗結(jié)果來看，圖像的對比度有所下降。⑷虛幻臉(HallucinationFace);Baker和Kanadc的最早提出僅對人臉做超分辨率，也們的復(fù)原算法采用從訓(xùn)練patch數(shù)據(jù)庫中查詢與測試低分辨率patch最相近的作為輸出，并且取得了8倍的放大效果。劉策等I祖刪通過主成分分析(pea)估計一個全局的臉而后采用非參數(shù)的局部模型進行擬合。同樣采用特征臉表示的還有文獻|5。-52,。另外，還要一些工作是針對人臉視頻做超分辨率，其中Dedeoglu等(切的算法在特定的人臉庫中甚至取得了16倍的放大效果。相對于其他的超分辨率技術(shù)，虛幻臉由于增加了人臉這個非常重要的先驗條件，使得超分辨率的質(zhì)量大幅提髙，但是如果針對通用人臉(更多的表情、更多的人種和更廣的年齡分布)，目前的算法就只能獲得4倍左右的放大效果。⑸稀疏表示法(SparsePresentation)；最近，Yang等軻提出了使用圖形patch的稀疏表示來實現(xiàn)超分辨率?他們從一些高分辨率圖像中隨機選取一些patch組成一個過完備的詞典(overcompletedictionary),接著對丁每一個測試patch,通過線性規(guī)劃的方法求得該測試patch在這個過完備的詞典下的稀疏表示，最后以這組系數(shù)加權(quán)重構(gòu)出高分辨率的圖像。這種方法克服了鄰域嵌入方法中對于鄰域大小的選擇問題，即在求解稀疏表示的時候，無需指泄重構(gòu)所需要基的個數(shù)，英表示系數(shù)和基的個數(shù)將同時通過線性規(guī)劃求解得到。然而，目前該方法的缺陷就在于過完備詞典的選擇，隨機的選擇只能實現(xiàn)特定領(lǐng)域的圖像的超分辨率，對于通用圖像的超分辨率效果較差。比較分析基于插值、基于重建和基于學(xué)習(xí)的三大類超分辨率方法各有優(yōu)缺點：基于插值的方法算法簡單、快速，但容易產(chǎn)生模糊或者鋸齒邊緣，是現(xiàn)今得到最廣泛商業(yè)應(yīng)用的技術(shù)：基于重建的方法可以取得較好的平滑和邊緣效果，但算法較為復(fù)雜，通常情況下需要迭代求解：基于學(xué)習(xí)的方法與前兩者的一個最大的不同就是它更多的是基于某一個領(lǐng)域（如上文中提到的虛幻臉），因為加上了某一領(lǐng)域的先驗信息，它的效果是最好的，一般都可以達到4倍以上的放大效果，但訓(xùn)練樣本的選擇非常重要，另外可能還需要相當長的一段訓(xùn)練時間。不足之處和當前工作目標目前的很多超分辨率增強算法在一立程度上解決了實際應(yīng)用中存在的問題，但這些方法仍然存在著較大缺陷和不足。有些方法，如POCS,IBP,MAP等，雖然其適用范圍較廣,但其大運算量嚴重限制了這些方法的使用，尤其在一些運算速度要求較髙的場合;有些方法,如非均勻空間樣本內(nèi)插方法、IBP等，苴結(jié)合先驗信息的能力很弱，在改善超分辨率增強效果方而受到了極大限制：還有些方法，如IBP和POCS等，其算法穩(wěn)定性不高，嚴重依賴于超分辨率增強的初始估計，收斂解不唯一?？傊诔直媛试鰪娝惴ǚ蕉?，還需要進一步提高超分辨率圖像增強的能力，減小計算量，加快運算的收斂速度，適用于不同的圖像要求。完善現(xiàn)有算法，不斷發(fā)展新的算法。在超分辨率圖像恢復(fù)方法的研究中，還需要進一步在應(yīng)用范羽、算法及算法有效性評價指標3方面開展研究。在應(yīng)用范用上將不局限于單色和單張髙分辨率圖像的恢復(fù)，還要擴展到多通道和彩色圖像、三維立體成像、動態(tài)多媒體序列、壓縮圖像、CCD陣列成像和核磁共振成像的超分辨率恢復(fù)與增強。在圖像運動估計、圖像模糊估il?和髙分辨率圖像恢復(fù)的算法方而需要進一步硏究。在運動估il?方而，需進一步硏究運動估計誤差對超分辨率圖像恢復(fù)效果的影響、圖像模糊對圖像運動估計的影響、利用圖像序列間時間域上的變化信息提高運動估計精度、準確估il哆目標運動和不連續(xù)運動以及更有效地同時估計圖像運動和高分辨率圖像等。在模糊估計方而，需進一步研究能模擬位移變化的有參和無參圖像模糊算法。在高分辨率圖像恢復(fù)方而，需建立能有效處理分片光滑和包含紋理細節(jié)的圖像模型。此外，需進一步將機器學(xué)習(xí)和模式識別等研究成果應(yīng)用到超分辨率圖像恢復(fù)中，使其跨出完全盲算,更趨向于智能化。在算法有效性評價方面，還需建立統(tǒng)一的算法有效性評價方法和標準，以便對各種超分辨率圖像恢復(fù)算法的性能和實用范偉|進行合理評價。超分辨率增強技術(shù)的應(yīng)用十分廣泛，為了獲得髙質(zhì)呈:的高分辨率圖像，滿足不同情況的實際應(yīng)用要求，目前超分辨率圖像增強的研究和未來的發(fā)展主要集中在以下三個方而：(1)精確有效的運動估汁算法。圖像的運動變形、模糊和噪聲等降質(zhì)因素具有密切的關(guān)系，在圖像超分辨率增強中，需要對視頻序列進行亞像素精度的運動估訃。由于運動估計只能利用低分辨率序列上的信息，所以很難達到比較精確的運動估訃。雖然目前已經(jīng)有許多比較成熟的運動估計方法，但在實際應(yīng)用場合仍然無法獲得令人滿意的運動補償效果，同時這些方法的適用場合非常有限，需要發(fā)展和尋求新的運動模型，對運動進行精確估訃。(2)發(fā)展和尋求新的退化成像模型，使成像模型更加精確和全面，實現(xiàn)對點擴散函數(shù)和噪聲的精確估訃。圖像超分辨率增強的成功依賴于準確的、符合實際成像系統(tǒng)特性和成像條件的降質(zhì)模型，而要獲得符合實際成像過程的降質(zhì)模型是十分困難的，通常采用簡單、確左的降質(zhì)模型進行近似，這樣的近似模型與實際成像過程差距較大。針對視頻壓縮格式和編解碼技術(shù)，在超分辨率增強算法中綜合考慮成像模型和壓縮算法帶來的圖像污染效果，以及運動補償和編碼傳輸機制，提高壓縮視頻的超分辨率能力。目前此類研究已開展起來。視頻超分辨率增強在近年來已經(jīng)成為國際上最為活躍的研究領(lǐng)域之一。隨著多媒體應(yīng)用需求帶來的進一步的視頻應(yīng)用，視頻超分辨率增強技術(shù)將具有十分重要的應(yīng)用價值和廣闊的應(yīng)用前景參考文獻HarrisJ.Diffractionandresolvingpower.JOSA.1964;54(7):931-3.GoodmanJW.GustafsonSC.ImroducliontoFourieroptics?OpticalEngineering?1996：35(5):I513-.HuntBR.Super-resolutionofimages:Algorithms,principles,performance.InternationalJournalofImagingSystemsandTechnology.1995;6(4):297-304.StarkH.Imagerecovery:theoryandapplication.Orlando,FL,AcademicPress,Inc,1987,562pNoindividualitemsareabstractedinthisvolume.1987;1?GunturkBK、AltunbasakY,McrsereauR?Bayesianresolution-enhancementframeworkfortransform-codedvideo.ImageProcessing,2001Proceedings2001InternationalConferenceon;2001:IEEE;2001.p.41-4?SchultzRR.StevensonRL.Extractionofhigh-resolutionframesfromvideosequences?ImageProcessing,IEEETransactionson.1996;5(6):996-1011?PattiAJ,SezanMI,MuratTekalpA.Superresolutionvideoreconstructionwitharbitrarysamplinglatticesandnonzeroaperturetime.ImageProcessing.IEEETransactionson.1997;6(8):1064-76.IraniM.PclegS.Improvingresolutionbyimageregistration.CVGIP:Graphicalmodelsandimageprocessing.1991;53(3):231-9.IraniM,PelegS.Motionanalysisforimageenhancement:Resolution,occlusion,andtransparency?JournalofVisualCommunicationandImageRepresentation.1993;4(4):1993-12.MannS,PicardRW.Virtualbellows:Constnictinghighqualitystillsfromvideo.ImageProcessing,1994ProceedingsICIP-94.IEEEInternationalConference;1994:IEEE;1994.p.363-7.11?BasclcB.BlakeA,ZisscrmanA.Motiondeblurringandsuper-resolutionfromanimagesequence.ComputerVision—ECCV'96?1996:571-82.CheesemanRKanefskyB.KraftR.StutzJ.HansonR.Super-resolvedsurfacereconstructionfrommultipleimages?NASAAmesResearchCenter,MoffettField,CA.TechRepHA-94-12.1994?CapelD,ZisscrmanA.Automatedmosaicingwithsuper-resolutionzoom?ComputerVisionandPatternRecognition.1998Proceedings1998IEEEComputerSocietyConferenceon;1998:IEEE;1998.p.885-91?ZomctA,PclegS.Applyingsuper-resolutiontopanoramicmosaics.ApplicationsofComputerVision,1998WACV'98Proceedings,FourthIEEEWorkshopon;1998:IEEE;1998.p.286-7.RudinL,GuichardEYuP.Videosuper-resolutionviacontrast-invariantmotionsegmentationandframefusion(withapplicationstoforensicvideoevidence)?ProcIEEEInternationalConferenceonImageProcessing,pagc27PSl;1999;1999.NarayananB,HardieRC.BarnerKE,ShaoM?Acomputationallyefficientsuper-resolutionalgorithmforvideoprocessingusingpartitionfilters?CircuitsandSystemsforVideoTechnology,IEEETransactionson.2007;17(5):621-34.BormanS、StevensonRL.Simultaneousnnilti-framcMAPsuper-resolutionvideoenhancementusingspatio-temporalpriors?ImageProcessing,1999ICIP99Proceedings1999InternationalConferenceon;1999:IEEE;1999.p.469-73.TomBC、KatsaggelosAK.Resolutionenhancementofmonochromeandcolorvideousingmotioncompensation.ImageProcessing,IEEETransactionson.2001;10(2):278-87.Jiang乙WongTT.BaoH?Practicalsuper-resolutionfromdynamicvideosequences?ComputerVisionandPatternRecognition,2003Proceedings2003IEEEComputerSocietyConferenceon;2003:IEEE;2003.p.11-549-11-54vol.2.OmerOA,TanakaT.Region-basedweighted-normapproachtovideosuper-resolutionwithadaptiveregularization.Acoustics,SpeechandSignalProcessing,2009ICASSP2009IEEEInternationalConferenceon;2009:IEEE;2009.p.8336AgrawalA,GuptaM.VeeraraghavanA.NarasimhanSGOptimalcodedsamplingfortemporalsuper-resolution.ComputerVisionandPatternRecognition(CVPR),2010IEEEConferenceon;2010:IEEE;2010.p.599-606?SteinGP.Trackingfrommultipleviewpoints:Self-calibrationofspaceandtime.ComputerVisionandPatternRecognition,1999IEEEComputerSocietyConferenceon;1999:IEEE;1999.ShannaR.PavelM?Registrationofvideosequencesfrommultiplesensors?NASACONFERENCEPUBLICATION;1998:Citeseer;1998.p.361-6.HazenD.PuriR.RamchandranK?Multi-cameravideoresolutionenhancementbyfusionofspatialdisparityandtemporalmotionfields.ComputerVisionSystems,2006ICVS06IEEEInternationalConferenceon;2006:IEEE;2006.p.38.25?CaspiY.IraniM.Spatio-temporalalignmentofsequences.PatternAnalysisandMachineIntelligence,IEEETransactionson.2002;24(11):1409-24?CaspiYIraniMAligningnon-overlappingsequences?InternationalJournalofComputerVision.2002;48(1):39-51.RajanD.ChaudhuriS.Generalizedinterpolationanditsapplicationinsuper-resolutionimaging.ImageandVisionComputing.2001;19(13):957-69?TaoH,TangX,LiuJ,TianJ.Superresolutionremotesensingimageprocessingalgorithmbasedonwavelettransformandinterpolation.ProceedingsofSPIE;2002;2002?p.259-63?LcrtrattanapanichS.BoseN?HighresolutionimageformationfromlowresolutionframesusingDelaunaytriangulation.ImageProcessing,IEEETransactionson.2002:11(12):142741.BishopCM,BlakeA,MarthiB.Super-resolutionenhancementofvideo.ProcArtificialIntelligenceandStatistics;2003:KeyWest,FL,USA;2003.ShechtmanE,CaspiYIraniM?Increasingspace-timeresolutioninvideo.ComputerVision—ECCV2002.2002:753-68.LcrtrattanapanichS,BoseN?Latestresultsonhigh-resolutionreconstructionfromvideosequences.IEICETech.1999:59-65.IraniM,PclegS?Superresolutionfromimagesequences?PatternRecognition,1990Proceedings,10thInternationalConferenceon;1990:IEEE;1990.p.115-20.StarkH,OskouiP.High-rcsolutionimagerecoveryfromimage-planearrays,usingconvexprojections.JOSAA.1989;6(11):1715-26.35?SchultzRR.StevensonRL.Improveddefinitionvideoframeenhancement.Acoustics,Speech,andSignalProcessing,1995ICASSP-95,1995InternationalConferenceon;1995:IEEE;1995.p.2169-72.TippingME,BishopCM.Bayesianimagesuper-resolution.AdvancesinNeuralInformationProcessingSystems.2002:15:1279-86.StorkeyAJ.Dynamicstructuresuper-resolution.AdvancesinNeuralInformationProcessingSystems.2003:1319-26.ErenPE,SezanMLTekalpAM.Robust,object-basedhigh-resolutionimagereconstructionfromlow-resolutionvideo.ImageProcessing,IEEETransactionson.1997;6(10):1446-51?ZomctA,Rav-AchaA,PelegS.Robustsuper-resolution?ComputerVisionandPatternRecognition,2001CVPR2001Proceedingsofthe2001IEEEComputerSocietyConferenceon;2001:IEEE;2001.p.I-645-I-50vol.1.FreemanWT,JonesTR.PasztorEC.Example-basedsuper-resolution.ComputerGraphicsandApplications,IEEE.2002;22(2):56-65.FreemanWT、PasztorEC,CarmichaelOT.Learninglow-levelvision?IMcmationnlJournalofComputerVision.2000;40(1):25-47?ChangH,YeungDYXiongY.Super-resolutionthroughneighborembedding?ComputerVisionandPatternRecognition,2004CVPR2004Proceedingsofthe2004IEEEComputerSocietyConferenceon;2004:IEEE;2004.p.I-275-I-82Vol.1.SuK.TianQ.XueQ,SebeN,MaJ.Neighborhoodissueinsingle-frameimagesupcr-resolution.MultimediaandE