基于深度學(xué)習(xí)的圖像壓縮感知算法綜述

1、 基于深度學(xué)習(xí)的圖像壓縮感知算法綜述 聶冠雄，周亞建作者簡介：聶冠雄（1996-），男，主要研究方向：大數(shù)據(jù)與智能信息處理通信聯(lián)系人：周亞建（1971-），男，副教授，主要研究方向：移動通信和網(wǎng)絡(luò)安全. E-mail: （北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京，100876）2.02.02.02.02.0School of Cyberspace Security,Beijing University of Posts and Telecommunications,Beijing,100876；School of Cyberspace Security,Beijing University of P

2、osts and Telecommunications,Beijing,100876北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京，100876;北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京，100876100876;100876;北京市海淀區(qū)西土城路10號 北京郵電大學(xué);北京市海淀區(qū)西土城路10號 北京郵電大學(xué); 聶冠雄（1996-），男，主要研究方向：大數(shù)據(jù)與智能信息處理;周亞建（1971-），男，副教授，主要研究方向：移動通信和網(wǎng)絡(luò)安全聶冠雄;周亞建Nie Guanxiong;Zhou Yajian周亞建2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.01*|*期刊*|

3、*D.L. Donoho, Compressed sensingJ. IEEE Transactions on Information Theory,2006,52(4):1289-1306.<CR>2*|*期刊*|*Y. Tsaig and D.L. Donoho, Extensions of compressed sensingJ. Signal Processing.2006,86(3):553-548.<CR>3*|*期刊*|*Candes E. Compressive samplingC/Proc of the Int Congress of Mathemat

4、icians. Madrid,2006,3:1433-1452.<CR>4*|*期刊*|*E. J. Candes, M. B. Wakin. An introduction to compressive samplingJ. IEEE Signal Processing Magazine, 2008,25(2): 21-30<CR>5*|*期刊*|*Chen S, Donoho D. Basis pursuitC/Proceedings of 1994 28th Asilomar Conference on Signals, Systems and Computers

5、. IEEE, 1994, 1: 41-44.<CR>6*|*期刊*|*Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basis pursuitJ. SIAM review, 2001, 43(1): 129-159.<CR>7*|*期刊*|*Figueiredo M A T, Nowak R D, Wright S J. Gradient projection for sparse reconstruction: Application to compressed sensing and oth

6、er inverse problemsJ. IEEE Journal of selected topics in signal processing, 2007, 1(4): 586-597.<CR>8*|*期刊*|*Daubechies I, Defrise M, De Mol C. An iterative thresholding algorithm for linear inverse problems with a sparsity constraintJ. Communications on Pure and Applied Mathematics: A Journal

7、 Issued by the Courant Institute of Mathematical Sciences, 2004, 57(11): 1413-1457.<CR>9*|*期刊*|*Do T T, Gan L, Nguyen N, et al. Sparsity adaptive matching pursuit algorithm for practical compressed sensingC/2008 42nd Asilomar Conference on Signals, Systems and Computers. IEEE, 2008: 581-587.&l

8、t;CR>10*|*期刊*|*Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuitJ. IEEE Transactions on information theory, 2007, 53(12): 4655-4666.<CR>11*|*期刊*|*Donoho D L, Tsaig Y, Drori I, et al. Sparse solution of underdetermined systems of linear equation

9、s by stagewise orthogonal matching pursuitJ. IEEE transactions on Information Theory, 2012, 58(2): 1094-1121.<CR>12*|*期刊*|*Mousavi A, Patel A B, Baraniuk R G. A deep learning approach to structured signal recoveryC/2015 53rd annual allerton conference on communication, control, and computing (

10、Allerton). IEEE, 2015: 1336-1343.<CR>13*|*期刊*|*Candes E J. The restricted isometry property and its implications for compressed sensingJ. Comptes rendus mathematique, 2008, 346(9-10): 589-592.<CR>14*|*期刊*|*Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convoluti

11、onal neural networksJ. Communications of the ACM, 2017, 60(6): 84-90.<CR>15*|*期刊*|*He K, Gkioxari G, Dollár P, et al. Mask r-cnnC/Proceedings of the IEEE international conference on computer vision. 2017: 2961-2969.<CR>16*|*期刊*|*Ren S, He K, Girshick R, et al. Faster r-cnn: Towards

12、real-time object detection with region proposal networksJ. IEEE transactions on pattern analysis and machine intelligence, 2016, 39(6): 1137-1149.<CR>17*|*期刊*|*Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognitionJ. arXiv preprint arXiv:1409.1556, 2014.<

13、;CR>18*|*期刊*|*Kulkarni K, Lohit S, Turaga P, et al. Reconnet: Non-iterative reconstruction of images from compressively sensed measurementsC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 449-458.<CR>19*|*期刊*|*Danielyan A, Katkovnik V, Egiazarian K. BM3

14、D frames and variational image deblurringJ. IEEE Transactions on Image Processing, 2011, 21(4): 1715-1728.<CR>20*|*期刊*|*Lyu M, Wang W, Wang H, et al. Deep-learning-based ghost imagingJ. Scientific reports, 2017, 7(1): 1-6.<CR>21*|*期刊*|*Mousavi A, Baraniuk R G. Learning to invert: Signal

15、recovery via deep convolutional networksC/2017 IEEE international conference on acoustics, speech and signal processing (ICASSP). IEEE, 2017: 2272-2276.<CR>22*|*期刊*|*He K, Zhang X, Ren S, et al. Deep residual learning for image recognitionC/Proceedings of the IEEE conference on computer vision

16、 and pattern recognition. 2016: 770-778.<CR>23*|*期刊*|*Yao H, Dai F, Zhang S, et al. Dr2-net: Deep residual reconstruction network for image compressive sensingJ. Neurocomputing, 2019, 359: 483-493.<CR>24*|*期刊*|*Shi W, Jiang F, Liu S, et al. Image compressed sensing using convolutional ne

17、ural networkJ. IEEE Transactions on Image Processing, 2019, 29: 375-388.<CR>25*|*期刊*|*Courbariaux M, Hubara I, Soudry D, et al. Binarized neural networks: Training deep neural networks with weights and activations constrained to+ 1 or-1J. arXiv preprint arXiv:1602.02830, 2016.<CR>26*|*期刊

18、*|*Iliadis M, Spinoulas L, Katsaggelos A K. Deepbinarymask: Learning a binary mask for video compressive sensingJ. arXiv preprint arXiv:1607.03343, 2016.<CR>27*|*期刊*|*Sun B, Feng H, Chen K, et al. A deep learning framework of quantized compressed sensing for wireless neural recordingJ. IEEE Ac

19、cess, 2016, 4: 5169-5178.<CR>28*|*期刊*|*Nguyen D M, Tsiligianni E, Deligiannis N. Deep learning sparse ternary projections for compressed sensing of imagesC/2017 IEEE Global Conference on Signal and Information Processing (GlobalSIP). IEEE, 2017: 1125-1129.基于深度學(xué)習(xí)的圖像壓縮感知算法綜述|Summary of Image Com

20、pressed Sensing Algorithms Based on Deep Learning|1|聶冠雄|Nie Guanxiong|北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京，100876|School of Cyberspace Security,Beijing University of Posts and Telecommunications,Beijing,100876|聶冠雄（1996-），男，主要研究方向：大數(shù)據(jù)與智能信息處理|北京市海淀區(qū)西土城路10號 北京郵電大學(xué)|100876|<CR>*|2|周亞建|Zhou Yajian|北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京，10

21、0876|School of Cyberspace Security,Beijing University of Posts and Telecommunications,Beijing,100876|周亞建（1971-），男，副教授，主要研究方向：移動通信和網(wǎng)絡(luò)安全|北京市海淀區(qū)西土城路10號 北京郵電大學(xué)|100876| |摘要：近年來，壓縮感知理論突破了Nyquist采樣頻率的限制，為信號處理領(lǐng)域帶來了革命性的變化。隨著各領(lǐng)域數(shù)據(jù)的海量增長，壓縮感知理論可以極大程度上緩解大量圖像數(shù)據(jù)的獲取與傳輸帶來的硬件壓力，因此，探索壓縮感知的概念及其在圖像處理領(lǐng)域中的應(yīng)用非常重要且必要。本文討論了壓

22、縮感知的基本概念以及在壓縮感知中結(jié)合深度學(xué)習(xí)方法算法的優(yōu)勢，介紹了典型模型的網(wǎng)絡(luò)結(jié)構(gòu)與特點，并介紹了提高方法硬件適用性的離散化采樣矩陣壓縮感知方法研究進展。最后分析與總結(jié)了基于深度學(xué)的圖像壓縮感知算法領(lǐng)域的研究趨勢。 關(guān)鍵詞：壓縮感知；深度學(xué)習(xí)；采樣矩陣；重建算法； 中圖分類號：G623.58 Summary of Image Compressed Sensing Algorithms Based on Deep Learning Nie Guanxiong, Zhou Yajian(School of Cyberspace Security,Beijing University of Pos

23、ts and Telecommunications,Beijing,100876)Abstract: In recent years, compressed sensing theory has broken through the limitation of Nyquist sampling frequency and brought revolutionary changes to the field of signal processing. With the massive growth of data in various fields, compressed sensing the

24、ory can greatly ease the hardware pressure caused by the acquisition and transmission of large amounts of image data. Therefore, it is very important to explore the concept of compressed sensing and its application in the field of image processing. necessary. This article discusses the basic concept

25、s of compressed sensing and the advantages of combining deep learning algorithms in compressed sensing, introduces the network structure and characteristics of typical models, and introduces the research progress of discrete sampling matrix compressed sensing methods to improve the applicability of

26、the method hardware. Finally, it analyzes and summarizes the research trends in the field of image compression sensing algorithms based on depth science.Key words: compressed sensing; deep learning; sampling matrix; reconstruction algorithm;0 引言隨著數(shù)字媒體時代和社交網(wǎng)絡(luò)時代的到來，以數(shù)字信號為代表的各類信息激增。而從現(xiàn)實世界的模擬信號到數(shù)字信號的轉(zhuǎn)變過

27、程稱之為數(shù)字信號采樣。根據(jù)奈奎斯特采樣定理：為了不失真的恢復(fù)模擬信號，采樣頻率應(yīng)該不低于模擬信號頻譜中最高頻率的兩倍。為解決這種高頻率、高維度數(shù)據(jù)帶來的挑戰(zhàn)，壓縮感知理論應(yīng)運而生。2006年E.J.Candes、J.Romberg、T.Tao和D.L.Donoho等科學(xué)家提出的壓縮感知理論（Compressive Sensing，CS）1-3，該理論可以在信號是稀疏的或在某些變化域是稀疏的，便可以通過一個與稀疏基不相關(guān)的采樣矩陣將信號從高維空間投影到低維空間，進而實現(xiàn)遠(yuǎn)低于奈奎斯特采樣頻率對信號采樣。并且可以高概率完全重建原信號。該技術(shù)改變傳統(tǒng)先采樣再壓縮的方式，在采樣的同時完成對數(shù)據(jù)的“壓縮

28、”，既降低對傳感器的高頻技術(shù)要求、又能節(jié)約數(shù)據(jù)存儲資源和傳輸帶寬，為信號處理領(lǐng)域帶來革命性變化4。近年來，深度學(xué)習(xí)技術(shù)在各個領(lǐng)域都取得了突破性的進展。特別地，許多基于深度學(xué)習(xí)的工作在多種圖像復(fù)原問題上均以較低的計算復(fù)雜度獲得比傳統(tǒng)方法更好的圖像或視頻重建質(zhì)量。同樣的，SDA第一次將深度學(xué)習(xí)也被引入了圖像壓縮感知算法中，并取得了令人振奮的效果，開啟了新的方向。基于深度學(xué)習(xí)的壓縮感知方法，可以通過數(shù)據(jù)驅(qū)動的方式學(xué)習(xí)圖像的深層結(jié)構(gòu)特征，并且放寬了原始圖像或信號的稀疏性先驗假設(shè)。通過梯度下降的方法自適應(yīng)的調(diào)整網(wǎng)絡(luò)權(quán)重，調(diào)高壓縮感知效果，可以在低采樣比（高壓縮率）的條件下，顯著地提升恢復(fù)質(zhì)量。本文在結(jié)合

29、傳統(tǒng)的圖像壓縮感知算法的基礎(chǔ)上，介紹了3種主要的基于深度學(xué)習(xí)的圖像壓縮感知算法得最新研究進展，并對基于深度學(xué)習(xí)的圖像壓縮感知算法在編碼端的硬件友好性與如何在解碼端更好地恢復(fù)圖像的研究進展及趨勢進行了總結(jié)。1 壓縮感知基本理論經(jīng)典壓縮感知理論的基礎(chǔ)是圖像信號是否在某個變化域是稀疏的。如果一個信號在某一變化域中是稀疏的，那么它可以通過線性的方式進行采樣將原始圖像信號投影到某個低維空間，并通過一個非線性的恢復(fù)過程從較少的采樣數(shù)據(jù)中以高概率精確地重建原始圖像信號。其中，線性測量值的獲取過程可以表示為： （1）其中，是原始的輸入信號，是采樣矩陣，其中，是我們得到的觀測向量，因此壓縮率。由于將信號投影到低

30、維空間會損失信息，而損失過多的信息將導(dǎo)致信號無法被重建。因此，采樣矩陣往往需要滿足有限等距性質(zhì)（Restricted Isometry Property, RIP）的約束，使其投影時能包含足夠的信息進行重建。另外，x的物理意義是自然圖像，但是稀疏的自然圖像則代表大部分的值為0，其物理表現(xiàn)為圖像整體是黑色的，因此自然圖像本身一般并不是稀疏的。而自然圖像往往具有大量的冗余信息，因此自然圖像能夠在某個變換域內(nèi)被稀疏表示。為能夠準(zhǔn)確地從測量值y中重建原信號，需首先對圖像信號x投影到某個域內(nèi)使其稀疏，即： （2）其中如果有K個非零系數(shù)，我們稱為K階稀疏的，而為稀疏表示矩陣。而常見的稀疏變化方式有DCT變

31、化、傅里葉變換、小波變化等。對于非線性的恢復(fù)過程，基于原始圖像信號可以被稀疏表示的先驗，其數(shù)學(xué)模型可以表示為： （3）通過觀測值y與兩個已知的矩陣，求解公式（3），我們可以獲得到原始圖像信號的稀疏表示值。最后，通過公式（2）獲取重建的圖像信號x。但是由于且，此方程有無數(shù)個解，0范數(shù)的優(yōu)化又是NP-hard問題，因此求解公式（3）也是個NP-hard的欠定問題。求解這個NP-hard的欠定問題傳統(tǒng)常見的方法通過將NP-hard的范數(shù)最小優(yōu)化問題松弛轉(zhuǎn)化為凸優(yōu)化的范數(shù)最小優(yōu)化問題；或使用貪婪策略通過迭代的方式每次選擇能使結(jié)果最稀疏的貪心迭代方法。2 傳統(tǒng)壓縮感知方法2.1 凸松弛求解方法其中基追蹤

32、算法（basis pursuit, BP）5-6是壓縮感知重建算法中最常用的凸松弛優(yōu)化方法。松弛求解方法是將公式（3）中的范數(shù)最小優(yōu)化問題松弛轉(zhuǎn)化為凸優(yōu)化的范數(shù)最小優(yōu)化問題以獲取一個近似解。其具體是通過將公式（3）轉(zhuǎn)化為： （4）雖然將問題轉(zhuǎn)化為了凸優(yōu)化問題，但是BP算法具有很高的計算復(fù)雜度。為降低其計算復(fù)雜度，也有多種其他比較具有代表性的凸松弛求解方法被提出，如梯度投影稀疏重建法（Gradient Projection for Sparse Reconstruction, GPSR）7以及迭代閾值法（Iterative Soft Thresholding Algorithm, ISTA）8。

33、然而凸松弛求解方法依舊被計算復(fù)雜度高而困擾。為進一步降低計算復(fù)雜度，一些屬于貪婪迭代方式的壓縮感知重建算法也被提出。2.2 匹配追蹤算法貪婪求解的壓縮感知重建算法是以匹配追蹤算法（Matching Pursuit, MP）9為代表的。匹配追蹤算法是使用貪心策略，在每次迭代時通過計算當(dāng)前目標(biāo)與原子的內(nèi)積，選擇能使原子個數(shù)盡可能少，重構(gòu)誤差盡可能小的原子，逐步逼近原始信號。類似的方法還有正交匹配追蹤（Orthogonal Matching Pursuit, OMP）10、分段正交匹配追蹤（Stagewise Orthogonal Matching Pursuit，StOMP）11等。此類算法也都是

34、在匹配追蹤算法基礎(chǔ)上進行改進。正交匹配追蹤算法對原子進行正交化處理，提高收斂速度；分段正交匹配追蹤則每次可以選擇多個原子。這類方法與凸松弛求解方法相比雖然很大程度上降低了算法的復(fù)雜性提高了重建效率，但是卻犧牲了重建質(zhì)量。3 基于深度學(xué)習(xí)的壓縮感知方法近年來，深度學(xué)習(xí)在學(xué)術(shù)界與工業(yè)界都取得了令人矚目的成果。隨著計算能力和其處理復(fù)雜任務(wù)能力的提高，深度學(xué)習(xí)的方法也被應(yīng)用于壓縮感知之中。深度學(xué)習(xí)采用數(shù)據(jù)驅(qū)動的方法，通過自適應(yīng)調(diào)整網(wǎng)絡(luò)權(quán)重來學(xué)習(xí)信號的特征和實際信號的具體結(jié)構(gòu)。在GPU硬件的并行計算技術(shù)支持下，基于深度學(xué)習(xí)的壓縮感知重建算法可以僅通過正向傳播的方式減少了傳統(tǒng)算法的多次迭代過程，可以實現(xiàn)圖

35、像壓縮感知的實時處理。3.1 基于全連接的壓縮感知方法在2015年，Mousavi等人首次將深度學(xué)習(xí)與壓縮感知相結(jié)合，提出了一種基于自編碼器的堆疊去噪自編碼器（Stacked Denoising Autoencoder, SDA)12用于捕獲特定信號不同元素之間的統(tǒng)計相關(guān)性，從而提高重建信號的質(zhì)量。該框架包含兩種模型，以是否支持線性采樣相區(qū)別。在圖1 a中，首先對原始的輸入信號x采用滿足有限等距性質(zhì)（Restricted Isometry Property, RIP）13的傳統(tǒng)采樣矩陣進行采樣，再將采樣后的結(jié)果輸入到由三層降噪自編碼器堆疊組成的解碼端進行重建。采用非線性采樣SDA的網(wǎng)絡(luò)結(jié)構(gòu)如圖

36、1 b，非線性采樣的方式采用了端到端的方式構(gòu)建了4層的SDA網(wǎng)絡(luò)。與線性測量不同的是，該網(wǎng)絡(luò)沒有將壓縮采樣后的信號作為輸入，而是直接將原始圖像信號作為輸入，采用一個全連接的隱藏層完成信號采樣。在解碼端采用了與圖1 a相同的結(jié)構(gòu)。圖1 線性與非線性采樣SDAFig. 1 Linear and non-linear sampling SDA使用SDA進行壓縮感知重建不僅重建效果已經(jīng)能達(dá)到傳統(tǒng)優(yōu)秀壓縮感知算法的水平，而且在重建所需消耗的時間上也顯示出非常明顯的優(yōu)勢。但是其仍然存在一些問題，由于網(wǎng)絡(luò)采用全連接層作為基本模塊，帶來了過多的冗余連接。這導(dǎo)致了網(wǎng)絡(luò)非常容易過擬合，并且當(dāng)輸入的圖像信號維度較高

37、時，采樣模塊將占用大量的內(nèi)存空間，不利于采樣矩陣的硬件實現(xiàn)。3.2 基于卷積與殘差連接的壓縮感知方法相對于全連接網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）14通過參數(shù)共享機制與局部特征融合等機制，在降低了參數(shù)數(shù)量的同時又增強了模型的表達(dá)能力。因此CNN在過去幾年在圖像分割15、目標(biāo)檢測16和目標(biāo)分類17等領(lǐng)域獲得了廣泛的研究與應(yīng)用。Kuldeep Kulkarni等人首次將壓縮感知與CNN結(jié)合，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的非迭代分塊壓縮感知重建網(wǎng)絡(luò)ReconNet 18，并在文中提出ReconNet的目標(biāo)在于實現(xiàn)一個非迭代的、快速的壓縮感知重建算法，因

38、此ReconNet本身并不包含采樣模塊，而是先采用隨機高斯矩陣對圖像信號進行分塊壓縮采樣；然后將測量值輸入到一個由全連接層構(gòu)成的上采樣模塊將輸入升維到，最后通過由多個卷積層堆疊構(gòu)成的圖像增強模塊。以此獲得每個圖像塊的重建，然后將各個圖像塊拼接，得到重建結(jié)果。由于分塊壓縮與重建，重建圖像會出現(xiàn)很強的塊效應(yīng)，即塊與塊之間有明顯的邊緣效應(yīng)。為降低塊效應(yīng)，ReconNet會對重建圖像額外使用一個去噪器降低塊效應(yīng)，原文中使用的是BM3D19算法。借此實現(xiàn)重建圖像質(zhì)量的進一步提升。自ReconNet被提出以來，吸引了大量學(xué)者的目光。為進一步優(yōu)化網(wǎng)絡(luò)的結(jié)構(gòu)，提升壓縮感知的重建質(zhì)量。Lyu Meng等人在20

39、17年將深度學(xué)習(xí)和鬼成像重建算法結(jié)合，構(gòu)建了深度神經(jīng)網(wǎng)絡(luò)模型，有效的提高重建圖像的質(zhì)量20。同在2017年，Mousavi等人提出了Deeplnverse21網(wǎng)絡(luò)，旨在解決數(shù)據(jù)在固定的變化基下不完全稀疏和傳統(tǒng)重建精度高的算法收斂慢的問題。Yao等人為進一步提升ReconNet，將ReconNet與ResNet22的殘差思想相結(jié)合，提出了Dr2-Net23。Shi W等人提出CSNet24，CSNet采用深度殘差卷積神經(jīng)網(wǎng)絡(luò)對圖像進行采樣與重建，構(gòu)建了具有壓縮采樣、初始重建、深度重建的三段式網(wǎng)絡(luò)結(jié)構(gòu)。如圖2所示CSNet提供了端到端（end-to-end）的網(wǎng)絡(luò)結(jié)構(gòu)，可以將采樣網(wǎng)絡(luò)與重建網(wǎng)絡(luò)聯(lián)合

40、的優(yōu)化。CSNet的壓縮采樣模塊可以自適應(yīng)的從圖像信號的訓(xùn)練集中學(xué)習(xí)到采樣矩陣，自適應(yīng)的學(xué)習(xí)可以使通過該采樣矩陣獲得的測量值保留更多的圖像結(jié)構(gòu)化信息，進而更好地完成圖像信號的重建工作。與SDA不同的是，使用了卷積層作為采樣模塊而不是全連接層，并為能夠兼容傳統(tǒng)壓縮感知的線性采樣，沒有添加偏置單元（Bias Unit）與激活函數(shù)。圖2 CSNet網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 2 CSNet network structure diagramCSNet的解碼端由初始重建模塊與深度重建模塊聯(lián)合組成。初始重建模塊負(fù)責(zé)將由分塊采樣獲得的測量值初始恢復(fù)為圖像塊并重新拼接為初始恢復(fù)。深度重建模塊將初始恢復(fù)作為輸入，

41、由多個基于殘差連接與卷積層的基本塊堆疊構(gòu)成。通過此CSNet提供了領(lǐng)先的圖像重建質(zhì)量，同時能夠?qū)崿F(xiàn)快速運行。3.3 采樣矩陣離散化的壓縮感知方法壓縮感知的一個重要應(yīng)用是壓縮成像，其需要在硬件上實現(xiàn)利用采樣矩陣進行壓縮采樣。而壓縮感知系統(tǒng)可以抽象為編碼端與解碼端兩個部分。編碼端常應(yīng)用在計算資源與存儲資源甚至電力資源都受限的傳感器中；解碼端一般處于硬件資源與能源豐富的數(shù)據(jù)中心。因此，這就要求采樣矩陣是一個易于硬件實現(xiàn)和存儲的可以降低運算壓力的硬件友好型矩陣。為了實現(xiàn)采樣矩陣的高效存儲與快速編碼，M. Iliadis等人將模型壓縮領(lǐng)域的二值化神經(jīng)網(wǎng)絡(luò)（Binary Neural Network, B

42、NN）25與壓縮感知相結(jié)合，提出DeepBinary-Mask26。DeepBInary-Mask將需32bit存儲的浮點數(shù)轉(zhuǎn)化為僅需符號位與數(shù)值位的2bit二值化數(shù)大大降低了矩陣的物理大小，另外由于+1與-1的特殊性，也將浮點數(shù)乘法轉(zhuǎn)化為了加法與減法，降低了計算難度。Sun B等人提出BW-NQ-DNN27，BW-NQ-DNN由一個二進制測量矩陣、一個非均勻量化器和一個非迭代恢復(fù)解算器組成。CSNet24也提出在訓(xùn)練過程中將權(quán)值二值化，提出分別由0,1與-1, +1組成的兩種二值化矩陣，其中由0,1組成的矩陣可以僅用1bit進行存儲，進一步降低了存儲壓力。其中，將由0,1組成的二值化函數(shù)定義

43、為： （5）由-1,+1組成的二值化函數(shù)定義為： （6）同時二值化帶來的精度損失是巨大的，為在精度與硬件適用性間取得平衡，Nguyen D M等人28提出由-1,0,+1組成的三值化網(wǎng)絡(luò)，即在二值化網(wǎng)絡(luò)的基礎(chǔ)上，對網(wǎng)絡(luò)權(quán)重進行稀疏化。0的加入可以進一步將乘法消除，在不顯著影響矩陣存儲大小的基礎(chǔ)上進一步降低了計算復(fù)雜度，并提升了表達(dá)能力。4 總結(jié)與展望本文主要介紹了壓縮感知的概念、傳統(tǒng)基于迭代的重建方法與基于深度學(xué)習(xí)的壓縮感知方法。傳統(tǒng)壓縮感知方法采樣矩陣往往需要人工設(shè)計，而重建方法時間復(fù)雜度高，不能適用于實時性較強的應(yīng)用。基于深度學(xué)習(xí)的壓縮感知方法，由數(shù)據(jù)驅(qū)動，在編碼端可以自適應(yīng)的獲取采樣矩陣

44、，在解碼端具有準(zhǔn)實時性，重建效果好的優(yōu)點，已經(jīng)成為了壓縮感知領(lǐng)域火熱的研究方向。本文認(rèn)為基于深度學(xué)習(xí)的壓縮感知方法的研究趨勢主要有以下幾個方面：1） 采樣矩陣的硬件適用性。針對編碼端往往是存儲空間、計算資源與電力能源受限的硬件設(shè)備。應(yīng)降低采樣矩陣的存儲大小與采樣復(fù)雜度的基礎(chǔ)上，獲取與全精度采樣矩陣有競爭力的重建結(jié)果。2） 塊壓縮感知重建后的塊效應(yīng)。塊壓縮感知方法雖然提高編碼端的了采樣效率，但是分塊采樣會給重建結(jié)果帶來明顯的邊緣效應(yīng)，進而給解碼端帶來壓力，解碼端需降低塊效應(yīng)，進一步提高重建質(zhì)量。3） 基于深度學(xué)習(xí)的壓縮感知模型泛化性問題。深度學(xué)習(xí)的模型往往存在某種程度的過擬合問題。因此往往在自然

45、圖像領(lǐng)域重建效果較好的模型，在卡通圖像數(shù)據(jù)集上的重建效果會大打折扣，如何提高深度壓縮感知模型的泛化性是趨于解決的問題。參考文獻(xiàn) (References)1 D.L. Donoho, Compressed sensingJ. IEEE Transactions on Information Theory,2006,52(4):1289-1306.2 Y. Tsaig and D.L. Donoho, Extensions of compressed sensingJ. Signal Processing.2006,86(3):553-548.3 Candes E. Compressive sam

46、plingC/Proc of the Int Congress of Mathematicians. Madrid,2006,3:1433-1452.4 E. J. Candes, M. B. Wakin. An introduction to compressive samplingJ. IEEE Signal Processing Magazine, 2008,25(2): 21-305 Chen S, Donoho D. Basis pursuitC/Proceedings of 1994 28th Asilomar Conference on Signals, Systems and

47、Computers. IEEE, 1994, 1: 41-44.6 Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basis pursuitJ. SIAM review, 2001, 43(1): 129-159.7 Figueiredo M A T, Nowak R D, Wright S J. Gradient projection for sparse reconstruction: Application to compressed sensing and other inverse problemsJ. IEE

48、E Journal of selected topics in signal processing, 2007, 1(4): 586-597.8 Daubechies I, Defrise M, De Mol C. An iterative thresholding algorithm for linear inverse problems with a sparsity constraintJ. Communications on Pure and Applied Mathematics: A Journal Issued by the Courant Institute of Mathem

49、atical Sciences, 2004, 57(11): 1413-1457.9 Do T T, Gan L, Nguyen N, et al. Sparsity adaptive matching pursuit algorithm for practical compressed sensingC/2008 42nd Asilomar Conference on Signals, Systems and Computers. IEEE, 2008: 581-587.10 Tropp J A, Gilbert A C. Signal recovery from random measur

50、ements via orthogonal matching pursuitJ. IEEE Transactions on information theory, 2007, 53(12): 4655-4666.11 Donoho D L, Tsaig Y, Drori I, et al. Sparse solution of underdetermined systems of linear equations by stagewise orthogonal matching pursuitJ. IEEE transactions on Information Theory, 2012, 5

51、8(2): 1094-1121.12 Mousavi A, Patel A B, Baraniuk R G. A deep learning approach to structured signal recoveryC/2015 53rd annual allerton conference on communication, control, and computing (Allerton). IEEE, 2015: 1336-1343.13 Candes E J. The restricted isometry property and its implications for comp

52、ressed sensingJ. Comptes rendus mathematique, 2008, 346(9-10): 589-592.14 Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networksJ. Communications of the ACM, 2017, 60(6): 84-90.15 He K, Gkioxari G, Dollár P, et al. Mask r-cnnC/Proceedings of the I

53、EEE international conference on computer vision. 2017: 2961-2969.16 Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networksJ. IEEE transactions on pattern analysis and machine intelligence, 2016, 39(6): 1137-1149.17 Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognitionJ. arXiv preprint arXiv:1409.1556, 2014.18 Kulkarni K, Lohit S, Turaga P, et al. Reconnet: Non-iterative reconstruction of images