室4上午1機(jī)器學(xué)習(xí)

基于GA優(yōu)化自適應(yīng)NSCT_PCNN圖像融合匯報(bào)人:中國礦業(yè)大學(xué)朱強(qiáng)波

2015/08/18提綱一、引言二、相關(guān)理論三、算法過程四、實(shí)驗(yàn)探究與驗(yàn)證五、實(shí)驗(yàn)結(jié)果評價(jià)引言圖像融合：是指將幾幅含有同一空間多種信息特征的圖像，根據(jù)融合算法的綜合處理，最終得到一幅包含該空間更為全面的圖像信息的圖像。目前圖像融合技術(shù)已廣泛應(yīng)用于軍事遙感圖像處理、醫(yī)學(xué)病變圖像識別分析、機(jī)器視覺等領(lǐng)域。傳統(tǒng)圖像融合算法具有良好的空域和頻域，適用于表示具有各向同奇異性的對象，但是不能精確表達(dá)圖像邊緣的方向信息Contourlet變換除了具有多尺度、時(shí)頻局部特性外，還具有方向特性，但該變換不具備平移不變性，在融合過程中會產(chǎn)生吉布斯現(xiàn)象，導(dǎo)致圖像失真非下采樣Contourlet變換，具有平移不變性，多分辨，多方向的圖像表達(dá)能力，可提取圖像的輪廓特征，能有效的表示圖像的邊緣信息引言概述本文結(jié)合非下采樣Contourlet變換(NSCT)及脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)的優(yōu)點(diǎn)來對圖像進(jìn)行融合處理，主要是通過由遺傳算法優(yōu)化的PCNN來確定圖像經(jīng)過NSCT變換分解后的各帶通子帶的融合系數(shù)相關(guān)理論NSCT由兩部分組成:1)NSP,它類似于拉普拉斯塔形分解,使得NSCT具備了多尺度性;2)采用à

Trous算法實(shí)現(xiàn)的NSDFB,它使得NSCT具備了多方向性。1.非下采樣Contourlet變換（NSCT）結(jié)構(gòu)示意圖相關(guān)理論非下采樣Contourlet變換（NSCT）非下采樣Contourlet變換是Contourlet變換平移不變性的版本，是利用一個(gè)雙濾波器組結(jié)構(gòu)，即非采樣塔形濾波器組(Nonsubsampled

PyramidFilter

Bank,NSPFP)和非采樣方向?yàn)V波器組(Nonsubsampled

DirectionalFilter

Bank,

NSDFB)將圖像多尺度分解和方向分解結(jié)合到一起。由于沒有對圖像進(jìn)行下采樣和上采樣操作，所有分解子帶的大小都與源圖像相同，消除了Contourlet變換的頻率混疊現(xiàn)象，使NSCT獲得了平移不變性。相關(guān)理論2.脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）Fij

[n]

=

SijLij

[n]

=

WijklYkl

[n

-1]klUij

[n]

=

Fij

[n]{1

+bLij

[n]}{ijY

[n

]

=ijq

qa

dq

[n]

=

eqij

[n-1]

+

Vq

Yij

[n-1]1

U

ij

[n

]>

q

ij

[

n]0

其他

當(dāng)向一個(gè)PCNN神經(jīng)網(wǎng)絡(luò)輸入一幅圖像時(shí)，某個(gè)神經(jīng)元被點(diǎn)火，激發(fā)興奮，它會通過鄰域神經(jīng)元的耦合連接子系統(tǒng)對鄰域神經(jīng)元產(chǎn)生作用,當(dāng)鄰域像素的灰度值相近時(shí),又會引起鄰域像素的點(diǎn)火，激勵(lì)并促使它們發(fā)生脈沖點(diǎn)火。相關(guān)理論相關(guān)理論P(yáng)CNN引入圖像融合中的原因：PCNN被用在圖像融合中的核心原因就是全局耦合神經(jīng)元的脈沖同步特性，這些生物學(xué)特性充分利用了本地圖像的信息，而不像大多數(shù)基于多尺度分解圖像融合算法那樣簡單使用圖像系數(shù)信息。相關(guān)理論3.遺傳算法（GA）相關(guān)理論遺傳算法（GA）利用遺傳算法的解空間最優(yōu)隨機(jī)搜索與PCNN的生物視覺特征，將遺傳算法巧妙運(yùn)用到PCNN模型數(shù)學(xué)公式的閾值求解中，減

少了PCNN中需要憑借人工經(jīng)驗(yàn)來設(shè)置參數(shù)的個(gè)數(shù)，能夠在每

一次的迭代中找到最佳閾值。算法過程流程圖算法過程Step1：圖像多尺度分解，對原始輸入的圖像A和B進(jìn)行NSCT分解，得到不同尺度和方向的子帶系數(shù)Step2：融合，對低頻子帶系數(shù)和各帶通子帶系數(shù)分別采用不同的融合規(guī)則得到融合圖像的NSCT系數(shù)。1)低頻子帶系數(shù)融合規(guī)則傳統(tǒng)方法采用平均法，（圖像A的系數(shù)+圖像B的系數(shù)）/22)帶通子帶系數(shù)融合規(guī)則與傳統(tǒng)的PCNN模型不同，本文的PCNN模型神經(jīng)元的鏈接強(qiáng)度并沒有取相同的固定常數(shù)值，而是由對應(yīng)的像素特征所決定。本文將采取像素的拉普拉斯能量及可見度作為神經(jīng)元的鏈接強(qiáng)度Step3：逆變換，對得到的NSCT系數(shù)進(jìn)行非下采樣Contourlet逆變換，得到融合后的圖像。算法過程遺傳算法優(yōu)化實(shí)驗(yàn)驗(yàn)證從紅外與可見光圖像融合以及醫(yī)學(xué)圖像融合（圖像來源于標(biāo)準(zhǔn)圖像庫）進(jìn)行實(shí)驗(yàn)研究，并將本文算法圖像融合的結(jié)果與常見的融合算法作對比紅外圖像可見光圖像CT圖像MRI圖像實(shí)驗(yàn)驗(yàn)證Laplace融合方法小波融合方法PCNN_NSCT融合方法本文方法實(shí)驗(yàn)結(jié)果評價(jià)邊緣強(qiáng)度，清晰度（平均梯度），圖像熵等客觀評價(jià)指標(biāo)對融合效果進(jìn)行評估。圖像熵的大小反映了融合圖像包含的信息量的多少；清晰度(平均梯度)可以敏感地