文獻(xiàn)綜述國(guó)內(nèi)外現(xiàn)狀初版

1、混合分辨率+超分辨率+（depth+SR）DIBR+虛擬視點(diǎn)+（depth）（為什么從以下兩個(gè)部分綜述的原因沒有寫）從家庭設(shè)備到專業(yè)制作的安全和監(jiān)視場(chǎng)景，多視點(diǎn)機(jī)設(shè)備變得越來越重要，身臨其境的體驗(yàn)需求日益增加，現(xiàn)代應(yīng)用比如自動(dòng)顯示或視點(diǎn)電視等越來越受到人們的歡迎。通常情況下，多視點(diǎn)圖像的靈活性和可利用性方法隨著給定相機(jī)角度的增加而增加，然而，大量的機(jī)設(shè)備會(huì)導(dǎo)致數(shù)據(jù)傳輸和成本的增加和復(fù)雜性的提高。為此，眾多科研學(xué)者都投入到多視點(diǎn)圖像和處理相關(guān)技術(shù)的研究當(dāng)中。當(dāng)前關(guān)于多視點(diǎn)圖像和處理技術(shù)的研究主要有三個(gè)方面：多視點(diǎn)編碼前處理；多視角的壓縮編碼方法；以及接收端的高分辨率本文擬展開基于深度學(xué)習(xí)的多視點(diǎn)

2、重建。編碼前處理與重建的研究，將重點(diǎn)介紹多視角混合分辨率框架下的超分辨技術(shù)以及利用 DIBR 技術(shù)兩個(gè)方面虛擬視圖模型的多視角混合分辨率框架下的超分辨技術(shù)的發(fā)展及研究現(xiàn)狀1.1為獲得高質(zhì)量往往需要大量的數(shù)據(jù)，其需要的計(jì)算復(fù)雜度和傳輸帶寬遠(yuǎn)遠(yuǎn)超過，由于數(shù)據(jù)傳輸和容量的限制，如何才能將高質(zhì)量的超分辨率視圖傳輸給2D終端用戶是目前相關(guān)領(lǐng)域研究的一個(gè)巨大01因此，提出一種多視角混合分辨率框架下的超分辨技術(shù)2-6。該技術(shù)主要是利用在給定相鄰機(jī)角度的不同空間分辨率，在接收端以低分辨視角圖像為基礎(chǔ)，其中高分辨率圖中的高頻部分可用于增加相鄰低分辨率視角的圖像質(zhì)量，構(gòu)建出超分辨率圖像，進(jìn)一步降低傳輸過程中的數(shù)據(jù)

3、量。該技術(shù)一提出，迅速引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注和重視。為此，多視角混合分辨率年來的研究熱點(diǎn)。框架下的超分辨技術(shù)的發(fā)展及應(yīng)用成為近幾在7中利用 SR 技術(shù)旨在對(duì)于一個(gè)給定的低分辨率輸入圖像或序列建立合理的高頻內(nèi)容, 從而在重建端得出更精確的超分辨圖像。在8、9提出了截取利用低分辨率和全分辨率視圖的混合分辨率方案，即從兩個(gè)視點(diǎn)看到的相鄰圖像中，一個(gè)處理為全分辨率視圖，另一個(gè)處理成低分辨率視圖，并在兩者中提取出相關(guān)的序列和像素點(diǎn)，再利用圖像分析和 IBR 等技術(shù)，最終得出了全部是高分辨視圖的方法。對(duì)比傳統(tǒng)方法，混合分辨率技術(shù)在生成超分辨率圖像的同時(shí)有效的提高了時(shí)間效率。在利用混合分辨率技術(shù)的研

4、究過程中，考慮到鄰域高分辨率圖像的投影圖會(huì)不可避免的產(chǎn)生裂紋、空洞等一系列問題，盡管提高了圖像的分辨率，但圖像質(zhì)量會(huì)受到了較大影響。針對(duì)研究過程中的裂紋、空洞等問題，傳統(tǒng)的解決方法是利用傳統(tǒng)的插值上采樣圖像以及基于 DCT 的上采樣圖像對(duì)其進(jìn)行修復(fù)處理,在傳統(tǒng)解決方法的基礎(chǔ)上，文獻(xiàn)10使用了非均勻采樣復(fù)原理論對(duì)空洞進(jìn)行了修復(fù)，投影圖中的其它空洞則由原始低分辨圖像幀的上采樣圖像進(jìn)行了填充，提高了最終圖像質(zhì)量。而文獻(xiàn)11對(duì)紋理進(jìn)行處理，提出了一種基于多幅圖像表面三維幾何模型的超分辨紋理估計(jì)的變分框架，在此框架下，進(jìn)行推導(dǎo)算法的迭代并優(yōu)化一個(gè)高質(zhì)量的紋理，表面位移圖，和機(jī)標(biāo)定參數(shù)以提高單個(gè)圖像表面的

5、配準(zhǔn)，以此來修復(fù)裂紋。文獻(xiàn)12從深度圖入手，利用匹配與深度圖融合的方式，充分利用深度信息對(duì)視圖的補(bǔ)償，進(jìn)行閉環(huán)處理，最終獲得減少了空洞數(shù)量的高質(zhì)量的深度圖和超分辨率圖像。文獻(xiàn)13主要針對(duì)重建過程的超分辨率視圖，提出了一種在混合分辨率場(chǎng)景中改進(jìn)的深度編碼模式?jīng)Q策，對(duì)基于深度編碼的上采樣視圖進(jìn)行失真計(jì)算的改進(jìn)和優(yōu)化，進(jìn)而減少了空洞和裂紋的產(chǎn)生，提高了圖像質(zhì)量。在利用多視點(diǎn)混合分辨率技術(shù)的研究過程中，除了在重建端對(duì)圖像的修復(fù)可以提高質(zhì)量之外，改進(jìn)算法技術(shù)和采樣方法等也能達(dá)到重建出質(zhì)量好的超分辨率圖像的目的。比如文獻(xiàn)14提出一種以位移補(bǔ)償高頻為基礎(chǔ)，以校正投影誤差為目標(biāo)的算法，能提高過程中高分辨率圖的

6、像素?zé)o差錯(cuò)深度數(shù)據(jù)，進(jìn)而提高了圖質(zhì)量。而文獻(xiàn)15為了減少數(shù)據(jù)傳端的質(zhì)量，在上下采樣算法的基礎(chǔ)上，在編碼端對(duì)相鄰的圖像采用遵循輸和增強(qiáng)交錯(cuò)和互補(bǔ)的下采樣方式，在端丟棄的像素由像素的虛擬視圖定向插值像素采樣融合互補(bǔ)的觀點(diǎn)恢復(fù)，其圖像質(zhì)量?jī)?yōu)于傳統(tǒng)采樣方法所得的圖像質(zhì)量。Zhi Jin, Tammam Tillo 等人提出虛擬視點(diǎn)輔助超分辨率算法，利用視圖間的相似度確定超分辨率幀中缺失的像素是否需要由虛擬視點(diǎn)像素或空間插值像素填充，從而恢復(fù)圖像細(xì)節(jié)和保持高質(zhì)量16。針對(duì)端視圖質(zhì)量，Michal Joachimiak 等人采用視圖上采樣優(yōu)化算法，實(shí)施一種新的基于深度超分辨率的深度失真度量方法17。利用經(jīng)

7、過改良的變換域 SR 法，即基于目標(biāo) LR 視圖與輔助 HR 視圖相關(guān)性的最優(yōu)權(quán)重分配算法，它不僅借用了相鄰全分辨率幀的高頻內(nèi)容，而且利用了所有高分辨率圖像，對(duì)低分辨率提供更準(zhǔn)確的細(xì)節(jié)信息，保持了圖像的高質(zhì)量和高分辨率18。綜上所述，利用多視點(diǎn)混合分辨率技術(shù)可以有效的生成超分辨率圖像，在研究過程中，不斷改進(jìn)的優(yōu)化算法和圖像修復(fù)技術(shù)能夠大大的減少時(shí)間上的花費(fèi)，增加效益值。2017 年18算法相比過往的方法，得出的超分辨率圖像質(zhì)量最佳。DIBR 技術(shù)隨著 3D虛擬視圖模型的發(fā)展及研究現(xiàn)狀1.2和 3D的需求日益增加，三 D的制作與通信增長(zhǎng)迅速。作為一個(gè)用戶可以選擇的觀點(diǎn)，視點(diǎn)（FVV）也引起了越來

8、越多的關(guān)注，然而，捕獲和傳輸任意視點(diǎn)需要各種的相機(jī)、復(fù)雜的編碼和昂貴的帶寬，如何傳輸這些頻是不現(xiàn)實(shí)的，并且為了傳輸多視點(diǎn)信息是一個(gè)巨大的。用大量的相機(jī)從不同的視角捕獲視去占用太多的帶寬是不合理的，一種有效的解決方案是虛擬視點(diǎn)。即通過兩個(gè)或多個(gè)機(jī)拍攝的同一場(chǎng)景的圖像，來生成此場(chǎng)景其他各個(gè)視點(diǎn)或視線方向上的圖像?；趫D像的繪制 (image-based rendering, IBR)是圖像的插值或像素投影來產(chǎn)生新的虛擬視點(diǎn)圖像 , 能夠?qū)崟r(shí)虛擬視點(diǎn)的有效方法，其主要是通過對(duì)參考高質(zhì)量的中間視圖，其繪制過程避免了復(fù)雜的幾何建模工作與計(jì)算工作，因此具有快速、簡(jiǎn)單、 真的優(yōu)點(diǎn)。因此 , 在虛擬現(xiàn)實(shí) 、軍

9、事指揮 、影視特效 、圖像處理等方面有著廣泛的應(yīng)用 前景 。基于深度圖的圖像繪制 (Depth image-basedrendering, DIBR)是對(duì) IBR 的一種改進(jìn) , 它將場(chǎng)景的深度信息引入到 IBR 中 ,通過 3D-War技術(shù)利用 彩像及其深度圖像生成任意位置的虛擬視點(diǎn)圖像。與傳統(tǒng)的 IBR 方法相比 , DIBR 大大減少了參考圖像的數(shù)目 , 為實(shí)時(shí)生成高質(zhì)量的虛擬視點(diǎn)圖像提供了有效的技術(shù)支持。DIBR 技術(shù)主要包括以下幾個(gè)環(huán)節(jié)： 3D-War（三維轉(zhuǎn)換）19、像素插值和空洞填補(bǔ)。其中，像素插值是影響虛擬視點(diǎn)繪制質(zhì)量的主要環(huán)節(jié)，深度圖的準(zhǔn)確程度和遮擋、問題是影響插值準(zhǔn)確度的兩

10、個(gè)確性，這將會(huì)導(dǎo)致在 3D-最為重要的客觀。一方面，由于 DIBR 技術(shù)所采用的深度圖一般都具有War過程中投影像素點(diǎn)發(fā)生錯(cuò)誤的。如果在像素插值環(huán)節(jié)未能考慮到這種錯(cuò)誤，將會(huì)使投影像素點(diǎn)偏離實(shí)際位置而產(chǎn)生失真。另一方面，遮擋、問題將導(dǎo)致虛擬視點(diǎn)空間中某個(gè)待插值像素點(diǎn)附近分布著多個(gè)投影像點(diǎn)，能否從多個(gè)投影像素點(diǎn)中選擇合適的像素點(diǎn)來進(jìn)行像素插值是影響繪制質(zhì)量的關(guān)鍵。在像素插值以后，虛擬視點(diǎn)圖像中還會(huì)存在一些空洞區(qū)域，為了得到完整的虛擬視點(diǎn)圖像，需要對(duì)空洞進(jìn)行填補(bǔ)。目前，解決空洞有兩類方法，（1） 對(duì)深度圖進(jìn)行預(yù)處理. 使用濾波器對(duì)深度信號(hào)作平滑處理, 以減小深度的不連續(xù)性。由濾波器2021、非對(duì)稱低

11、通濾波器22等對(duì)整幅深度圖進(jìn)行平滑處理，出現(xiàn)空洞的水平邊緣區(qū)域會(huì)被平滑，但是其他未產(chǎn)生空洞的區(qū)域經(jīng)過濾波后，會(huì)出現(xiàn)幾何上的失真，降低了圖的質(zhì)量。為了解決這個(gè)問題，一種基于邊緣深度圖的濾波器23和另一種自適應(yīng)邊緣平滑濾波器24相繼被提出，在對(duì)深度圖預(yù)處理過程中，只對(duì)空洞區(qū)域的水平邊緣進(jìn)行平滑操作，達(dá)到最優(yōu)效果。（2） 對(duì)已產(chǎn)生的空洞進(jìn)行填補(bǔ)。利用周圍像素間的相關(guān)性，在時(shí)間或空間域填補(bǔ)非遮擋區(qū)域而不是對(duì)深度圖進(jìn)行預(yù)處理。有兩類填補(bǔ)空洞的方法：1）在空間域，利用圖像的空間聯(lián)系填補(bǔ)丟失的像素。文獻(xiàn)25 利用鄰域插值法，提出利用空洞周圍 8 個(gè)方向的非空洞背景像素點(diǎn)的距離來填補(bǔ)空洞的方法。由于兩個(gè)相鄰的

12、機(jī)可以覆蓋相對(duì)較寬的視角，為了減少空洞數(shù)量，在26中提出了利用圖像融合的方法，是相鄰的視圖結(jié)單一的圖像從而減少空洞。然而在帶寬的限制下，只有一小部分的視圖能夠被傳輸，所以生成的視圖仍然會(huì)缺少一些像素信息。因此在不引入明顯的模糊偽影的情況下恢復(fù)丟失的像素，圖像修復(fù)的方法越來越受到歡迎。在27和28文獻(xiàn)中，圖像修復(fù)方法的應(yīng)用表明，在計(jì)算空洞邊界的像素的優(yōu)先級(jí)后，與空洞最相關(guān)的補(bǔ)丁是從源補(bǔ)丁 而來的。但是，在較低的空間域關(guān)聯(lián)情況下，圖像修復(fù)無法有效的區(qū)別出前景和背景的像素，因此會(huì)對(duì)圖的質(zhì)量產(chǎn)生損害。在29中，為了減少圖像修復(fù)的難度，對(duì)缺失像素塊進(jìn)行了排序。在重構(gòu)過程中，對(duì)最復(fù)雜的像素塊的輔助信息（A

13、I）進(jìn)行傳輸，從而引導(dǎo)填補(bǔ)空洞。器在模板匹配算法下獨(dú)立的2）在時(shí)間域上，利用時(shí)間上的相關(guān)性對(duì)視圖填補(bǔ)丟失的像素。當(dāng)前景物體移動(dòng)時(shí)，由前景對(duì)象遮擋的背景（BG）在新視圖中，會(huì)在視圖中產(chǎn)生一些空洞，基于此，研究提出了背景更新技術(shù)。在30和31中采用背景更新技術(shù)，在基于時(shí)間的相關(guān)性上生成靜態(tài)背景框架，然后根據(jù)深度圖使用傳統(tǒng)的圖像修復(fù)和聚類技術(shù)去除任何前景物體。但是由于依賴于圖像修復(fù)、背景圖像的和聚類方法，這些步驟的任何一個(gè)錯(cuò)誤都會(huì)降低視圖的質(zhì)量。針對(duì)傳統(tǒng)的空洞填充方帶來一些模糊的效果或偽影，提出一種新的空洞填充的前景去除方法。通過在 3d 變形之前，前景對(duì)象從 2d及其對(duì)應(yīng)的深度圖中被移除，并且構(gòu)建

14、出背景深度圖和背景，從而結(jié)合 DIBR 模塊得出優(yōu)化效果32。另外，如果利用按重量比和標(biāo)準(zhǔn)差排序的混合模型模型生成背景框架，背景框架并不展現(xiàn)像素最近的變化，這會(huì)導(dǎo)致視圖合成中的背景框架較差33。但在 34中，用大量的混合模型將前景像素和背景像素分開，并相應(yīng)地修改像素強(qiáng)度。該文獻(xiàn)使用自適應(yīng)平均生成像素強(qiáng)度，從而在變形圖和模型中恢復(fù)背景圖丟失的像素，用來糾正在圖像變形過程中的錯(cuò)誤，同時(shí)使用自適應(yīng)重置機(jī)制保持案能有效的提高視圖質(zhì)量?；旌夏Ｐ拖到y(tǒng)的相關(guān)性，最終該方綜上所述，對(duì)在利用 DIBR虛擬視點(diǎn)的過程中產(chǎn)生的空洞問題，通過對(duì)深度圖的預(yù)處理濾波操作以及空洞填補(bǔ)均能在一定程度上解決問題，在34的方案中

15、，采用自適應(yīng)算法和混合模型相結(jié)合的方式，能進(jìn)一步解決在動(dòng)態(tài)場(chǎng)景下的視圖，極大提高視圖的質(zhì)量。1J. Xiao, M. M. Hannuksela, T. Tillo, M. Gabbouj, C. Zhu, and Y. Zhao,“Scalabit allocation betn texture and depthviews for 3-D139152, Jan. 2015.streaminer heterogeneous networks,” IEEE Trans. Circuits Syst.Technol., vol. 25, no. 1, pp.2 Diogo C. Gar ;Cam

16、ilo Dorea;Ricardo L. de Queiroz. Super Resolution for Multiview Images Using DepthInformationJIEEE Tranions on Circuits and Systems forTechnology, 2012.D.C.Gar ;C.Dorea;R.L.De Queiroz. Super resolution for multiview images using depth informationCProceedings of IEEEernational Conference on Image Pro

17、sing, 2010.T.Richter;J.Seiler;W.Schnurrer,et al. Robust super-resolution in a multiview setup based on refined high-frequency synthesisMMSP 2012Proceedings, 2012.T.Richter;A.Kaup. Multiview super-resolution using high-frequency synthesis in case of low-framerate depthinformation2012 IEEE Visual Comm

18、unications and Image Prosing, 2012.6 E.M.orea;D.C.Gar ,et al. Transform-super-resolution for multiview iamges using depthinformationCEUSIPCO, 2011.7S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: A technical overview,” IEEE Signal Pros. Mag, vol. 20, no. 3, pp. 2136,

19、May 2003.8 H. S. Sawhney, Y. Guo, K. Hanna, R. Kumar, S. Adkins, and S. Zhou,“Hybrid stereo camera: An IBR approach forsynthesis of very high resolution stereoscopic image sequen,” in Proc. 28nnu. Conf. SIGGRAPH, 2001, pp. 451460.9 P. Aflaki, M. M. Hannuksela, J. Hakkinen, P. Lindroos, and M. Gabbou

20、j, “Subjective study on compressed asymmetricstereoscopic,” in Proc. 17th IEEE. Conf. Image Pros. (ICIP), Sep. 2010, pp. 40214024.10 DING Lan， FU Zhizhong， LI Xiaofeng， ZENG Lei ,“Image Super Resolution for Multi-view Mixture ResolutionBased on-uniform Sling Restoration”, in Opto-Electronic Engineer

21、ing, 10.3969/j.i.1003-501X.2013.11.01311 Bastian Goldlcke Mathieu Aubry Kalin Kolev Daniel Cremers, “A Super-Resolution Framework for High-AccuracyMultiview Reconstruction”,J Comput Vis (2014) 106:17219112 Jing Zhang Cao Zhigang Zheng Changwen Chen Zengfu Wang, “A new closed loop method of super-res

22、olution for multi-view images”, Machine Viand Applications (2014) 25:1685169513 Michal Joachimiak , Mis. Hannuksela , Payman Aflaki , Moncef Gabbouj, “UPSLED-VIEW DISTORTIONOPTIMIZATION FOR MIXED RESOLUTION 3DCODING”, 978-1-4799-8339-1/15/$31.00 ICIP 2015 IEEE14 Thomas Richter, Jrgen Seiler, Wolfgan

23、g Schnurrer, and Andr Kaup, “Robust Super-Resolution for Mixed-ResolutionMultiview Image Plus Depth Data”, IEEE TRAN NO 5, MAY 201615 Zhi J in, Tammam Tillo, Jimin Xiao and Yao Zhao, “MultiviewIONS ON CIRCUITS AND SYSTEMS FORTECHNOLOGY, VOL 26,plus depth transmisvia v irtual-view-assisted complement

24、ary down/upsProsing (2016) 2016:19ling”, Jin et al. EURASIP Journal on Image and16 Zhi Jin, Tammam Tillo, Chao Yao,Jimin Xiao and Yao Zhao, “Virtual-View-AssistedSuper-ResolutionTECHNOLOGY, VOL. 26,and Enhancement”, IEEE TRANNO. 3, MARCH 2016IONS ON CIRCUITS AND SYSTEMS FOR17 Michal Joachimiak ,Misk

25、a M. Hannuksela,Moncef Gabbouj, “View upsling optimization for mixed resolution3Dcoding”, Multidim Syst Sign Pros ( 2016) 27:76378318 Zhi zhong Fu, Yuan Li, Jin Xu, Honggang Wu,Yongwen Lai, “Super resolution for multiview mixed resolution imagesransform-with optimal weight”, Multimed Tools Appl (201

26、7) 76:3031304519 Ahn I， Kim C.A novel depth-based virtual view synthesis method for free viewpoBroadcasting，2013，59（4）：614-626.J.IEEE Tranions on20 C. Fehn, “Depth-image-based rendering (DIBR), compresSPIE, vol. 5291,pp. 93104, May 2004., and transmisfor a new approach on 3D-TV,” Proc.21 W. J. Tam,

27、G. Alain, L. Zhang, T. Martin, and R. Renaud, “Smoothing depth maps for improved steroscopic imagequality,” Proc. SPIE, vol. 5599, pp. 162172, Oct. 2004.22 Y.-R. Horng, Y.-C.g, and T.-S. Chang, “Stereoscopic images generation with directional Gaussian filter,” in Proc.IEEE . Symp. Circuits Syst., Ma

28、y/Jun. 2010, pp. 26502653.23 W.-Y. Chen, Y.-L. Chang, S.-F. Lin, L.-F. Ding, and L.-G. Chen, “Efficient depth image based rendering with edge dependent depth filter and olation,” in Proc. IEEE . Conf. Multimedia Expo, Amsterdam, The Netherlands, Jul. 2005, pp. 13141317.24 P. J. Lee and Effendi, “geo

29、metric distortion smoothing approach for depth map preprosing,” IEEE Trans.Multimedia, vol. 13, no. 2, pp. 246254, Apr. 2011.25 DO L, ZINGER S. Quality improving techniques for free-viewpoDIBR C/IS & T/SPIE Electronic Imaging. SPIE Press, 2010: 75240I-75240I-10.ton:26 D. M. M. Rahaman and M. Paul, “

30、Free view-posynthesis using Gaussian mixture mling,” in Proc. IEEEConf. Image Vis. Comput. New Zealand, Nov. 2015, pp. 16A. Oliveira, G. Fickel, M. Walter, and C. Jung, “Selective hole-filling for depth-image based rendering,” in Proc. IEEE. Conf. Acoust., Speech Signal Pros., Apr. 2015, pp. 11861190.A. Criminisi, P. Prez, and K. Toyama, “Region filling and object removal by exemplar-based image inpa ing,” IEEE Trans. Image Pros., vol. 13, no. 9, pp. 12001212, Sep. 2004.29 Y.compres, G. Cheung, T. Maugey, P. Frossard, and J. Liang, “En