圖像去噪及增強

1、1 圖像處理中所用到的圖像往往含有噪聲， 需要用圖像濾波的方法去除噪聲。 噪聲圖像濾除噪聲圖像 直方圖是一個二維坐標系，橫軸表示整幅圖像上灰度值的 變化范圍，縱軸表示每個灰度值的統(tǒng)計個數(shù)。 直方圖能夠反映灰度圖像的灰度分布特征。 原始圖像 直方圖 r s r s 灰度直方圖反映圖像的灰度分布特征 直方圖均衡算法可以有效地提高圖像視覺的對比度 直方圖均衡算法不增加圖像的灰度分辨率 直方圖均衡算法可能丟失圖像細節(jié) 直方圖均衡算法用于圖像處理流程的顯示環(huán)節(jié) 自動處理/分析過程中不使用直方圖均衡算法 原始圖像 平滑圖像 原始圖像平滑圖像 線性平滑濾波鄰域平均 鄰域平均 每個像素點用它鄰域像素的平均值作

2、為平滑結(jié)果 33模板： 鄰域平均，平滑濾波確實會將噪聲點減弱，但是同時也是整個圖像的 跟為模糊，可視的細節(jié)逐漸減少，而且運算量也非常大。 有關(guān)模板與圖像的運算涉及到圖像卷積，接下來介紹一下圖像卷積的 原理。 111 111 111 圖像卷積 圖像平滑中，有關(guān)模板的運算都用到了圖像卷積的概 念。 卷積模板中的各個位置對應(yīng)的是權(quán)重系數(shù)，例如： a1a9可以根據(jù)具體需要來確定數(shù)值。 卷積就是將模板的中心a5對應(yīng)好所處理的當前像素點 ，系數(shù)與圖像上的灰度值一一對應(yīng)相乘，得到的數(shù)值 作為所處理像素點的新的灰度值。 a1a2a3 a4a5a6 a7a8a9 噪聲圖像 2 x 2 3 x 3 4 x 4 3

3、3 55 單幀8幀迭加16幀迭加 64幀迭加128幀迭加 加權(quán)平均 同一尺寸的模板，不同位置的系數(shù)不同； 距離模板中心越近的像素點的權(quán)重越大，同理越遠的 越小； 為了減少計算量，將模板系數(shù)最小值設(shè)為1，其他的按 等比數(shù)列遞增，中心系數(shù)最大； 121 242 121 根據(jù)高斯分布確定模板系數(shù) 高斯函數(shù)： 代表鄰域像素點距離中心像素點的距離， 可以用歐幾里德距離來表示。 可以通過調(diào)整 ，來控制平滑效果的程度。 高斯系數(shù)跟距離成反比。 22 1 ( )exp(/ 2) 2 f ii i 噪聲圖像2 x 2 3 x 34 x 4 非線性濾波 線性濾波平滑噪聲的同時，也損壞了非噪 聲區(qū)域的信號；采用非線

4、性濾波可以保留 信號的同時，濾除噪聲。 非線性濾波的典型方法是：中值濾波。 中值濾波 一維中值濾波 模板尺寸為 ， 1 ,.,., jj rj rjj r gmedianffff M21Mr 原始數(shù)據(jù) 中值濾波 均值濾波 二維中值濾波 公式： 二維中值濾波更加廣泛的應(yīng)用于圖像濾波 當中 ( , )( , ) ( , )( , ) median s tN x y gx ymedianf s t 排序取中值 二維中值濾波 中值濾波的步驟 將模板在圖中漫游，并將模板中心與圖中某個像素位置重 合； 讀取模板下各對應(yīng)像素的灰度值； 將這些灰度值從小到大排成一列； 找出這些值的中間值； 將這個值賦給對應(yīng)模

5、板中心位置的像素。 噪聲圖像 中值濾波3x3 平均濾波與中值濾波比較 噪聲圖像 均值濾波中值濾波 均值濾波和中值濾波都采用的是2x2 的模板 紅外圖像的特點 場景溫度動態(tài)范圍大 局部溫度分布較平滑 相鄰位置的溫度相關(guān) 性較高，溫差較小， 對比度較差。 有效場景信息集中于少 量灰度級 紅外圖像細節(jié)增強技術(shù)已經(jīng)成為非均勻性校正技術(shù)后紅外圖像細節(jié)增強技術(shù)已經(jīng)成為非均勻性校正技術(shù)后 提高熱成像系統(tǒng)性能的又一研究熱點問題提高熱成像系統(tǒng)性能的又一研究熱點問題 數(shù)字細節(jié)增強技術(shù)（DDE，Digital Detail Enhancement） 研究背景、應(yīng)用需求及意義 數(shù)字細節(jié)增強技術(shù)（DDE，Digital

6、 Detail Enhancement） FLIR B系列 FLIR P系列 FLIR S系列 FLIR M系列 FLIR HM系列 FLIR RANGE系列 紅外圖像細節(jié)增強處理在成像過程中的兩個切入點： 對紅外系統(tǒng)終端的輸出 結(jié)果進行增強處理。 優(yōu)點：優(yōu)點： 處理速度快，存儲空間 小 缺點：缺點： 關(guān)鍵細節(jié)信息損失嚴重 第一類切入點第一類切入點 對探測器前端高精度 A/D信號進行增強處理 優(yōu)點優(yōu)點 明顯提升圖像的細節(jié)表 現(xiàn) 缺點：缺點： 數(shù)據(jù)處理量大，硬件處 理平臺的要求較高 第二類切入點第二類切入點 傳統(tǒng)的空域和頻域圖像增強處理 空域處理典型方法：高頻增強和非銳化掩膜（Unsharp M

7、asking） 低通濾波（LP, LowPass Filtering）；高通濾波（HP, HighPass Filtering） 應(yīng)用特點及適用圖像應(yīng)用特點及適用圖像 高頻增強：場景中包含大量的邊沿、輪廓和線條信息。 非銳化掩膜：場景包含的細節(jié)信息以低對比度、小區(qū)域灰度值聚集的形式為主 ),(HP),(),( out yxfyxfyxf ),(LP),(),(),( out yxfyxfyxfyxf 高頻增強高頻增強 非銳化掩膜非銳化掩膜 傳統(tǒng)的空域和頻域圖像增強處理 頻域處理：將圖像轉(zhuǎn)換到傅里葉頻域，利用高通濾波濾 波器實現(xiàn)對高頻成分的增強處理。 傳統(tǒng)空域和頻域圖像增強處理特點：直觀、易理解

8、，運 行效率高，方便實現(xiàn)硬件的實時處理。 缺點：圖像噪聲會被放大，信噪比和視覺感受降低，出 現(xiàn)“光暈”現(xiàn)象 傳統(tǒng)紅外圖像細節(jié)增強原理及方法傳統(tǒng)紅外圖像細節(jié)增強原理及方法 基于圖像直方圖的增強處理 直方圖均衡化（HE, Histogram Equalization） 算法目的：概率密度分布函數(shù)（PDF, Probability Density Function）均勻分布，熵值最大化（理論值） 優(yōu)點缺點 GHE 處理速度快；對PDF較大的灰度級能實現(xiàn) 有效地對比度增強；易實現(xiàn)硬件的實時處 理 部分細節(jié)信息（小PDF灰度級）會損失； 結(jié)果有明顯的“刷白”顯示效果； LHE 對不同程度的細節(jié)信息都能實

9、現(xiàn)有效地增 強 運算量大，計算復(fù)雜，不易硬件化實時處 理 GHEGHE處理結(jié)果處理結(jié)果 AHEAHE處理結(jié)果處理結(jié)果 ）局域直方圖均衡化（ ）全局直方圖均衡化（ ）直方圖均衡化（ LHE/AHE GHE HE 傳統(tǒng)紅外圖像細節(jié)增強原理及方法傳統(tǒng)紅外圖像細節(jié)增強原理及方法 基于圖像直方圖的增強處理 直方圖投影（HP, Histogram Projection） 算法原由：灰度級范圍內(nèi)存在PDF為零的灰度級，灰度級范圍內(nèi)會出現(xiàn)冗余現(xiàn) 象 HP改進算法： 1. 閾值處理：設(shè)定PDF閾值，進一步有效提高圖像對比度。 2. 非均勻性拉伸：給不同灰度范圍指定不同的權(quán)重，實現(xiàn)不同程度的灰度拉 伸。 優(yōu)點：H

10、P處理能充分利用有限的灰度級來實現(xiàn)對比度增強；閾值的加入，能 有效降低處理結(jié)果中的噪聲影響。 缺點：對細節(jié)的增強效果有限；閾值和非線性拉伸難以實現(xiàn)有效的自適應(yīng)選 取。 原始圖像及其直方圖HE處理及其直方圖HP處理及其直方圖 HP處理圖像可見光原圖像 紅外原圖像HP處理圖像 傳統(tǒng)紅外圖像細節(jié)增強原理及方法傳統(tǒng)紅外圖像細節(jié)增強原理及方法 基于圖像直方圖的增強處理 平臺直方圖均衡化（PE, Plateau Equalization) 算法原由：HE處理會使高PDF灰度級對低PDF灰度級造成“推擠”效應(yīng)。 PE可以視作HE與HP的有機組合（高于閾值的部分，按照HP處理；低于閾 值的部分，按照HE處理）

11、 優(yōu)點：可以有效調(diào)節(jié)高PDF輸出占用較大的灰度級范圍，提高低PDF細節(jié) 的對比度。 缺點：平臺閾值無法根據(jù)圖像特征自適應(yīng)的選取，合適的閾值要靠人工 判讀和先驗經(jīng)驗來確定。 原始圖像及 其直方圖 HE處理及其 直方圖 P=100時PE 處理及其直 方圖 P=3000時 PE處理及其 直方圖 傳統(tǒng)紅外圖像細節(jié)增強原理及方法傳統(tǒng)紅外圖像細節(jié)增強原理及方法 基于圖像直方圖的增強處理 對比度受限自適應(yīng)直方圖均衡化（CLAHE, Contrast Limited Adaptive Histogram Equalization) 算法原由：HE處理會使高PDF灰度級對低PDF灰度級造成“推擠”效應(yīng)。 優(yōu)點：

12、可以在降低高PDF的同時，提高低PDF的數(shù)值，從而使高PDF輸出 灰度級范圍受到限制，低PDF輸出灰度級范圍得到增加，最終實現(xiàn)對比度 增強。 缺點：平臺閾值無法根據(jù)圖像特征自適應(yīng)的選取，合適的閾值要靠人工 判讀和先驗經(jīng)驗來確定。 紅外原圖像HE處理圖像CLAHE處理圖像 傳統(tǒng)紅外圖像細節(jié)增強原理及方法傳統(tǒng)紅外圖像細節(jié)增強原理及方法 基于圖像直方圖的增強處理 局域交疊子塊直方圖均衡化（POSHE，Partially Overlapped Sub-block Histogram Equalization） 算法原由：在算法復(fù)雜度（GHE）和處理效果（AHE）之間實現(xiàn)折中的 選擇。 特點：圖像分割成

13、有限子塊，對每個子塊都進行HE處理，并通過添加權(quán)重 來減小邊界分割效應(yīng) 原始圖像HE處理圖像AHE處理圖像POSHE處理圖像原始圖像HE處理圖像AHE處理圖像POSHE處理圖像 可見光原圖像POSHE處理圖像 ab cd m n N M nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n

14、-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 2n m nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 nn-1n-2n-3.321 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 012.n-4n-3n-2n-1 nnnnnnnn n-1n-1n-1n-1n-1n-1n

15、-1n-1 . 22222222 11111111 nnnnnnnn n-1n-1n-1n-1n-1n-1n-1n-1 22222222 11111111 2m n 00000000 11111111 n-2n-2n-2n-2n-2n-2n-2n-2 n-1n-1n-1n-1n-1n-1n-1n-1 00000000 11111111 n-2n-2n-2n-2n-2n-2n-2n-2 n-1n-1n-1n-1n-1n-1n-1n-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 新型圖像對比度和細節(jié)增強方法新型圖像對比度和細節(jié)增強方法 Retinex圖像增強方法 算法原由：模擬人眼對信息的獲取過程，將圖像模型化為光照 分布和場景反射兩個過程。圖像的大動態(tài)背景信息通常位于光 照分布中，而細節(jié)信息則位于場景反射中。 圖像方程： 處理方程： 優(yōu)點：處理結(jié)果包含的細節(jié)信息豐富，運算量較小。 缺點：空間的光照分布決定細節(jié)的表現(xiàn)程度，準確估計空間光 照有難度。 ),

17、(),(),(yxryxoyxg ),(log),(log),(logyxryxoyxg 紅外原圖像Retinex增強處理圖像 新型圖像對比度和細節(jié)增強方法新型圖像對比度和細節(jié)增強方法 基于小波的圖像增強方法 算法原由：傅里葉變換是一種整體信息的變換，因此無法針對 特殊的獨立目標進行進行獨立的增強處理。 特點：能夠?qū)λP(guān)心區(qū)域的圖像細節(jié)進行增強，且對細節(jié)信息 的挖掘程度完全由小波的分解程度決定?？梢詫Σ煌瑓^(qū)域、不 同目標實現(xiàn)有針對性且有效地增強處理。 紅外原圖像HE處理圖像 UM處理圖像小波處理圖像 新型圖像對比度和細節(jié)增強方法新型圖像對比度和細節(jié)增強方法 紅外圖像的彩色化處理 算法原由：人眼

18、對灰度的敏感度遠不及對彩色的敏感度。 偽彩色處理 缺點：不利于長時間觀察，人眼對場景的正常理解和感知存在較大的差異。 彩色融合 特點：在紅外場景信息的基礎(chǔ)上，添加進微光場景信息，從而增加融合圖像的信 息量并以彩色的方式顯示出來。 基于自然場景的圖像彩色化處理 特點：經(jīng)過處理的圖像場景與人眼對正常真實場景的感知具有相似性。 微光圖像 紅外圖像融合圖像 熱圖像可見光圖像自然感彩色融合圖像 (c) AGC (a) 原始HDR紅外圖像 (d) 新型算法的處理效果 (b) HE處理圖像 典型紅外場景細節(jié)典型紅外場景細節(jié) 增強處理增強處理 大動態(tài)紅外場景細節(jié)大動態(tài)紅外場景細節(jié) 增強處理增強處理 紅外圖像細

19、節(jié)增強技術(shù)發(fā)展趨勢紅外圖像細節(jié)增強技術(shù)發(fā)展趨勢 提高探測器空間分辨率和AD的量化精度 增強算法的通用性研究 細節(jié)評價客觀標準的建立 1 2 3 8bit圖像處理效果 4 2 3 1 14bit圖像壓縮及細節(jié)增強處理效果 圖像超分辨率是指由一幅低分辨率圖像或圖像序列恢復(fù) 出高分辨率圖像 圖像超分辨率技術(shù)分為超分辨率復(fù)原和超分辨率重建 單幀圖像超分辨 基于插值的方法 基于重建的方法 基于先驗的方法 基于正則化的方法 基于學習的方法 Belief Propagation的方法 流形學習 稀疏編碼 多幀圖像超分辨 Satellite imaging 應(yīng)用應(yīng)用 Aerial Imaging 應(yīng)用應(yīng)用 8

20、 images*, ratio 1:4 Data Transmission 應(yīng)用應(yīng)用 Plate Reading 應(yīng)用應(yīng)用 Surveillance cameras 應(yīng)用應(yīng)用 應(yīng)用應(yīng)用 Super-Resolution Vision System (SRVS) 大氣擾動效應(yīng)是影響近地成像系統(tǒng)分辨率大氣擾動效應(yīng)是影響近地成像系統(tǒng)分辨率 的關(guān)鍵因素的關(guān)鍵因素 利用由擾動產(chǎn)生的微引力透鏡現(xiàn)象，可以利用由擾動產(chǎn)生的微引力透鏡現(xiàn)象，可以 捕獲高分辨率的圖像信息捕獲高分辨率的圖像信息 圖像中鮮有高分辨率區(qū)域，但是在所有幀圖像中鮮有高分辨率區(qū)域，但是在所有幀 中總有一些高分辨區(qū)域中總有一些高分辨區(qū)域 應(yīng)用應(yīng)

21、用 平均100幀短曝光時間的圖像 利用100幀中的高分辨區(qū)域的超分辨圖像 圖像變形圖像變形 Image filtering: change range of image g(x) = h(f(x) f x h g x f x h g x Image warping: change domain of image g(x) = h(f(x) Image filtering: change range of image g(x) = h(f(x) h h Image warping: change domain of image g(x) = h(f(x) fg f g 圖像變形圖像變形 參數(shù)(全

22、局)變形 Examples of image warps: translationrotation aspect affineperspective cylindrical 圖像變形圖像變形 Transformation T is a coordinate-changing machine: p = T(p) What does it mean that T is global? Is the same for any point p can be described by just a few numbers (parameters) Represent T as a matrix: p =

23、 W*p T p = (x,y) p = (x,y) 圖像變形圖像變形 Scaling a coordinate means multiplying each of its components by a scalar Uniform scaling means this scalar is the same for all components: 2 圖像比例變化圖像比例變化 Non-uniform scaling: different scalars per component: X 2, Y 0.5 圖像比例變化圖像比例變化 Scaling operation: Or, in matri

24、x form: scaling matrix S 圖像比例變化圖像比例變化 This is easy to capture in matrix form: Even though sin(q) and cos(q) are nonlinear to q, x is a linear combination of x and y y is a linear combination of x and y R 圖像旋轉(zhuǎn)圖像旋轉(zhuǎn) What types of transformations can be represented with a 2x2 matrix? 2D Identity? 2D Sca

25、le around (0,0)? ysy xsx y x * * y x s s y x y x 0 0 圖像變換的矩陣表示圖像變換的矩陣表示 What types of transformations can be represented with a 2x2 matrix? 2D Rotate around (0,0)? 2D Shear? 圖像變換的矩陣表示圖像變換的矩陣表示 What types of transformations can be represented with a 2x2 matrix? 2D Mirror about Y axis? 2D Mirror over

26、(0,0)? yy xx 圖像變換的矩陣表示圖像變換的矩陣表示 Linear transformations are combinations of Scale, Rotation, Shear, and Mirror Properties of linear transformations: Origin maps to origin Lines map to lines Parallel lines remain parallel Ratios are preserved 圖像線性變換圖像線性變換 Example of translation tx = 2 ty = 1 Homogeneo

27、us Coordinates 圖像變換的矩陣表示圖像變換的矩陣表示 Affine transformations are combinations of Linear transformations, and Translations Properties of affine transformations: Origin does not necessarily map to origin Lines map to lines Parallel lines remain parallel Ratios are preserved 圖像變換的矩陣表示圖像變換的矩陣表示 Projective t

28、ransformations Affine transformations, and Projective warps Properties of projective transformations: Origin does not necessarily map to origin Lines map to lines Parallel lines do not necessarily remain parallel Ratios are not preserved 圖像變換的矩陣表示圖像變換的矩陣表示 Simple mappings: - Similarity - Affine mapp

29、ing - Projective mapping More complex mappings: - Linear and nonlinear mapping - Parametric and non-parametric mapping 圖像變形的類型圖像變形的類型 A combination of 2-D scale, rotation, and translation transformations. Allows a square to be transformed into any rotated rectangle. Angle between lines is preserved

30、5 degrees of freedom (sx,sy,tx,ty) Inverse is of same form (is also similarity). Given by inverse of 3X3 matrix above Have the form:In matrix notation: 圖像相似性變換圖像相似性變換 A combination of 2-D scale, rotation, shear, and translation transformations. Allows a square to be distorted into any parallelogram.

31、 6 degrees of freedom (a,b,c,d,e,f) Inverse is of same form (is also affine). Given by inverse of 3X3 matrix above Good when controlling a warp with triangles, since 3 points in 2D determined the 6 degrees of freedom Have the form:In matrix notation: 圖像仿射變換圖像仿射變換 Linear numerator v = g(x,y) copy pix

32、el at source S(x,y) to T(u,v) Forward warping algorithm: (Optional Exercise) - How can we speed up the forward warping? 圖像變形圖像變形 Decompose 2D transform into two 1D transforms u = f(x,y) v = g(x,y) u = f(x,y) y = y u = u v = g(x,y) 1 2 u y u v x y 可分變換可分變換 Catmull-Smith Algorithm First pass - map S(x

33、,y) to an intermediate image I(u,y) Second pass - map the I(u,y) to the final image T(u,v) I(u,y) = S(f(x,y),y) T(u,v) = I(u,g(Hu(y),y) Where Hu(y) is the solution to u = f(x,y) for x Two Pass Perspective f g f(x,y) g(x,y) T(u,v) I(u,y)S(x,y) u y u v x y u v x y - Works cleanly for affine and projec

34、tive warps -1D filtering and resampling f g f(x,y) g(x,y) T(u,v) I(u,y)S(x,y) u y Two Pass Perspective Forward Warpingx y u v S(x,y)T(u,v) for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) - How can we speed up the forward warping? - Any problems

35、for forward warping? Forward warping algorithm: x y u v S(x,y) T(u,v) Q: What if the transformed pixel located between pixels? A: Distribute color among neighboring pixels - known as “splatting” Forward Warping Iterate over source, sending pixels to destination Some source pixel map to multiple dest

36、. pixels Some dest. pixels may have no corresponding source Holes in reconstruction! for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) x y u v Forward Warping Iterate over source, sending pixels to destination Some source pixel map to multiple des

37、t. pixels Some dest. pixels may have no corresponding source Holes in reconstruction! x y u v for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) - How to remove the holes? Forward Warping x y u v S(x,y)T(u,v) for v = vmin to vmax for u = umin to um

38、ax x = F(u,v); y = G(u,v) copy pixel at source S(x,y) to T(u,v) Inverse warping algorithm: Inverse Warping x y u v S(x,y)T(u,v) Q: What if pixel comes from “between” two pixels? A: Interpolate color values from neighboring pixels Inverse Warping Specify a more detailed warp function Splines, meshes,

39、 optical flow (per-pixel motion) 非參數(shù)圖像變形非參數(shù)圖像變形 How do we align two images automatically? Two broad approaches: Feature-based alignment Find a few matching features in both images compute alignment Direct (pixel-based) alignment Search for alignment where most pixels agree 圖像配準圖像配準 ) 1( tI ),( i ptI

40、 1 p 2 p 3 p 4 p 1 v 2 v 3 v 4 v i v Optical flow is the relation of the motion field the 2D projection of the physical movement of points relative to the observer to 2D displacement of pixel patches on the image plane. 圖像配準圖像配準 Motion estimation: Optical flow Will start by estimating motion of each

41、 pixel separately Then will consider motion of entire image 圖像配準圖像配準 Problem definition: optical flow How to estimate pixel motion from image H to image I? Solve pixel correspondence problem given a pixel in H, look for nearby pixels of the same color in I Key assumptions color constancy: a point in

42、 H looks the same in I For grayscale images, this is brightness constancy small motion: points do not move very far This is called the optical flow problem Optical flow constraints (grayscale images) Lets look at these constraints more closely brightness constancy: Q: whats the equation? small motio

43、n: (u and v are less than 1 pixel) suppose we take the Taylor series expansion of I: H(x,y)=I(x+u, y+v) Optical flow equation Combining these two equations In the limit as u and v go to zero, this becomes exact Q: how many unknowns and equations per pixel? 2 unknowns, one equation Optical flow equat

44、ion 點擴散函數(shù)點擴散函數(shù) Use camera manufacture information which is usually hard to get. Analysis a picture of a known object Blind estimation of the point spread function from the images . . 98 模糊模型模糊模型 Noise in the Imaging Model The noise in the imaging model of the reconstruction- based super-resolution a

45、lgorithms is usually considered to be an additive i.i.d Gaussian noise 噪聲模型噪聲模型 YIQ (luminance and chrominance) Bayer Pattern 100 彩色模型彩色模型 增加芯片的大小 所需代價昂貴 電容的增加 大的電容導(dǎo)致電荷轉(zhuǎn)換速率降低 減小像素大小 降低CCD或者CMOS單元（像素）可接受的光或 者能量 造成散彈噪聲 圖像質(zhì)量降低 因此，像素的大小存在下界。目前的技術(shù)幾乎 達到了該下界 101 硬件改進手段硬件改進手段 超分辨方法 重構(gòu)基的超分辨 基于插值的方法（matlab: i

46、mresize） 最近鄰插值 用最近鄰點的灰度值代替 雙線性插值 用二維度的相鄰點的線性插值代替 雙立方插值 用相鄰已知點的B-Spline插值實現(xiàn)，可以簡化為卷積運算 基于回歸的插值 基于自適應(yīng)2-d回歸模型 （IEEE TIP） （目前最好的基于差值的圖像超分辨率算法） 算法程序下載地址：算法程序下載地址：http:/www.ece.mcmaster.ca/xwu/http:/www.ece.mcmaster.ca/xwu/ 結(jié)果比較 雙立方插值回歸模型Ground-truth Registrations, lighting and blur. High-resolution image,

47、 x. y1y2y3y4 Low-resolution images A4A3A2A1 重構(gòu)基的超分辨 重構(gòu)基的超分辨 重構(gòu)基的超分辨 Registrations, lighting and blur. High-resolution image, X. y1y2y3y4 Low-resolution images A4A3A2A1 重構(gòu)基的超分辨 重構(gòu)基的超分辨 Definition of A: Different steps of Reconstruction-based Super-Resolution Algorithms: Warping Registration to some R

48、eference Image Bluring De-Bluring Down-Sampling Up-Sampling 重構(gòu)基的超分辨 基于重建的方法 基本假設(shè): 高/低分辨率圖像之間的關(guān)系 h I l I )*( hl IGI ：高分辨率圖像 ：低分辨率圖像 G：高斯核函數(shù) ：下采樣算子 )(|)*(|)( 2hhlh IRIGIIE 正則化模型： )(minarg h I h IEI h 高分辨率圖像的正 則化約束 通過梯度下降法或共軛梯度法進行優(yōu)化通過梯度下降法或共軛梯度法進行優(yōu)化 基于重建的方法 正則化項：基于圖像邊緣的光滑性或者統(tǒng)計性特征 Edge statistics Fattal

49、, Siggraph 2007 )(IVx：描述沿著圖像邊緣相鄰像素點之間的顏色差相對于其所滿足的 高斯統(tǒng)計分布的似然值 光滑測度： 由自然圖像學習所滿足 的高斯分布 正則化項： 項目網(wǎng)址：項目網(wǎng)址： http:/www.cs.huji.ac.il/raananf/projects/upsampling/resulthttp:/www.cs.huji.ac.il/raananf/projects/upsampling/result s.htmls.html Gradient profile prior Sun et.al., CVPR 2008 圖像重建約束 圖像邊緣 梯度輪廓的參數(shù)化表達：

50、低分辨率梯度場高分辨率梯度場 高低分辨率梯度輪廓參數(shù)關(guān)系 正則化約束項： 結(jié)果比較 Edge statisticsGradient profile prior 基于學習的方法 基本想法：基本想法：給定觀測到的低分辨率圖像塊，通過匹配 低分辨率圖像塊，在訓(xùn)練集合中找到最匹配的高/低圖像 塊組，應(yīng)用其相應(yīng)的高分辨圖像塊得到高分辨率圖像。 訓(xùn)練集：由高低分辨率圖像塊組成的集合。實際應(yīng)用 中，低分辨率圖像塊需要正規(guī)化，高分辨率圖像塊為 middle frequency信息。 訓(xùn)練集 匹配 推理 ？ Markov network方法Freeman, IJCV, 2000 訓(xùn)練集 輸入低分辨率圖像 候選高

51、分辨率圖像塊集 i y j y i y j y y為隨機變量，對應(yīng)于已知一低分辨率圖像塊；x為 所求隨機變量，可取候選高分辨率圖像塊集中任意 一圖像塊 Markov隨機網(wǎng)聯(lián)合概率： 測度相鄰高分辨率圖像塊重合部分顏色相似性 測度觀測低分辨率圖像塊與所選高分辨率圖 像塊相應(yīng)低分辨率圖像塊的相似性 (Belief Propagation): /pff/bp/ (Graph Cut): http:/www.cs.ucl.ac.uk/staff/V.Kolmogorov/software.html 稀疏表達方法Yang et al., IEEE

52、TIP, 2010 訓(xùn)練集 : , hl DD訓(xùn)練集，即低/高分辨率基元集合 低分辨率集上的稀疏表達： 則高分辨率圖像塊為： h D , hl DD學習方法： 挑戰(zhàn)？紋理超分辨率紋理超分辨率 邊緣與紋理分別超分辨率邊緣與紋理分別超分辨率Tai et al., CVPR 2010Tai et al., CVPR 2010 基本思想：采用梯度輪廓先驗方法實現(xiàn)邊緣的超分辨率基本思想：采用梯度輪廓先驗方法實現(xiàn)邊緣的超分辨率 + + 采用基于例子的方法實現(xiàn)紋理采用基于例子的方法實現(xiàn)紋理 的超分辨率（人工給定例子紋理）的超分辨率（人工給定例子紋理） 基于紋理內(nèi)容搜索的超分辨率基于紋理內(nèi)容搜索的超分辨率Su

53、n et al. CVPR 2010; Fattal, ICCP, 2010 2010Sun et al. CVPR 2010; Fattal, ICCP, 2010 2010 能量模型：能量模型： 多幀圖像超分辨多幀圖像超分辨 輸入是低分辨率圖像序列 LR幀之間存在移位幀之間存在移位 有公共區(qū)域 superresolution algorithm LR frames high resolution image 多幀圖像超分辨多幀圖像超分辨 time time time Super-resolution in space and in time. time High-resolution ou

54、tput sequence: time Low-resolution input sequences 空間超分辨空間超分辨 Multiple low-resolution input images: High-resolution output image: Recover small details 什么是時間超分辨？ Recover dynamic events that are “faster” than frame-rate (Generate a “high-speed” camera) Application areas: sports events, scientific imaging, etc. Effects of “fast” events imaged by “slow cameras”: (1) Motion aliasing