MATLAB與語音視頻技術(shù)課程.docx

1、圖像拼接是一個日益流行的研究領(lǐng)域，他已經(jīng)成為照相繪圖學(xué)、計算機(jī)視覺、圖像處理和計算機(jī)圖形學(xué)研究中的熱點。圖像拼接解決的問題一般式，通過對齊一系列空間重疊的圖像，構(gòu)成一個無縫的、高清晰的圖像，它具有比單個圖像更高的分辨率和更大的視野。在虛擬現(xiàn)實領(lǐng)域中，人們可以利用圖像拼接技術(shù)來得到寬視角的圖像或360 度全景圖像，用來虛擬實際場景。這種基于全景圖的虛擬現(xiàn)實系統(tǒng)，通過全景圖的深度信息抽取，恢復(fù)場景的三維信息，進(jìn)而建立三維模型。這個系統(tǒng)允許用戶在虛擬環(huán)境中的一點作水平環(huán)視以及一定范圍內(nèi)的俯視和仰視，同時允許在環(huán)視的過程中動態(tài)地改變焦距。在醫(yī)學(xué)圖像處理方面，顯微鏡或超聲波的視野較小，醫(yī)師無法通過一幅圖

2、像進(jìn)行診視，同時對于大目標(biāo)圖像的數(shù)據(jù)測量也需要把不完整的圖像拼接為一個整體。所以把相鄰的各幅圖像拼接起來是實現(xiàn)遠(yuǎn)程數(shù)據(jù)測量和遠(yuǎn)程會診的關(guān)鍵環(huán)節(jié)圓。在遙感技術(shù)領(lǐng)域中，利用圖像拼接技術(shù)中的圖像匹配技術(shù)可以對來自同一區(qū)域的兩幅或多幅圖像進(jìn)行比較，也可以利用圖像拼接技術(shù)將遙感衛(wèi)星拍攝到的有失真地面圖像拼接成比較準(zhǔn)確的完整圖像，作為進(jìn)一步研究的依據(jù)。從以上方面可以看出，圖像拼接技術(shù)的應(yīng)用前景十分廣闊，深入研究圖像拼接技術(shù)有著很重要的意義。一、圖像匹配二、圖像融合圖像匹配是指依據(jù)一些相似性度量來決定圖像間的變換參數(shù)，使從不同傳感器、不同視角、不同時間獲取的同一場景的兩幅或多幅圖像，變換到同一坐標(biāo)系下，在像

3、素層上得到最佳匹配的過程。圖像匹配不但是圖像拼接技術(shù)中的難點，而且還是進(jìn)行圖像拼接時最為關(guān)鍵的一步，它直接影響到整個圖像拼接過程中的拼接效果和拼接速度?；趫D像灰度的匹配基于模板的匹配基于變換域的匹配基于特征的匹配基于灰度的匹配方法直接利用圖像的灰度值來確定圖像的空間變換，充分利用圖像中所包含的信息，因此該方法也被稱為基于圖像整體內(nèi)容的匹配方法?；诨叶鹊娜詣悠ヅ浞椒ǖ幕舅枷胧牵菏紫葘Υヅ涞膱D像做幾何變換，然后根據(jù)灰度信息的統(tǒng)計特性定義一個目標(biāo)函數(shù)（如互信息、最小均方差等）作為參考圖像與變換圖像之間的相似性度量，配準(zhǔn)參數(shù)在目標(biāo)函數(shù)的極值處取得，并以此作為配準(zhǔn)的判決準(zhǔn)則和配準(zhǔn)參數(shù)最優(yōu)化的目

4、標(biāo)函數(shù)，從而將配準(zhǔn)問題轉(zhuǎn)化為多元函數(shù)的極值問題，最后通過一定的最優(yōu)化方法求得正確的幾何變換參數(shù)。基于圖像灰度的方法不需要對圖像進(jìn)行分割和特征提取，所以精度高，魯棒性好。但這種匹配方法對灰度變換非常敏感，沒有充分利用灰度統(tǒng)計特性，對每一點的灰度信息依賴較大?；谀０宓钠ヅ浼词窃趫D像的已知重疊區(qū)域中裁剪一塊矩形區(qū)域作為模板，和被搜索圖像中同樣大小的一塊區(qū)域進(jìn)行對比，根據(jù)相似程度來確定最佳的匹配位置。模板匹配包括4個方面：模板特征選?。换鶞?zhǔn)模板的選取，確定基準(zhǔn)模板的大小和坐標(biāo)定位；模板匹配的相似性度量；匹配模板的搜索策略?；谧儞Q域的匹配方法有：基于傅里葉變換、基于Gabor變換和基于小波變換的匹配

5、。其中最經(jīng)典的方法是由Kuglin和Hines在1975年提出的基于傅里葉變換的相位相關(guān)法。該方法對待匹配圖像進(jìn)行快速傅里葉變換，將兩幅圖變換到頻域，然后通過它們的互功率譜計算出兩幅圖像間的平移量。對于存在旋轉(zhuǎn)變換的圖像，可以將圖像坐標(biāo)變換到極坐標(biāo)下，將旋轉(zhuǎn)量轉(zhuǎn)換為平移量來計算?；趫D像特征的匹配方法，首先要對待匹配的兩幅圖像進(jìn)行處理，提取滿足特定應(yīng)用要求的特征集，然后將這兩組特征集進(jìn)行匹配對應(yīng)，生成一組對應(yīng)特征對集，最后利用這組特征對之間的相應(yīng)關(guān)系估計出全局變換參數(shù)。基于特征的圖像匹配主要包括四個步驟。特征提?。焊鶕?jù)待匹配圖像的灰度性質(zhì)決定使用何種特征進(jìn)行匹配。一般要求選取的特征應(yīng)該明顯，易

6、于提取，并且在參考圖像的待匹配圖像上有足夠多的分布。常用的特征有邊緣特征、區(qū)域特征、點特征和高層模型等；提取特征點特征匹配：在提取出的特征集之間建立一個對應(yīng)關(guān)系，通常利用特征自身的屬性描述結(jié)合特征所在的區(qū)域的灰度以及特征之間的幾何拓?fù)潢P(guān)系來確定特征間的對應(yīng)。常用的特征匹配的方法有空間相關(guān)、描述符方法、松弛方法和金字塔算法等；模型參數(shù)估計：在參考圖像和待拼接圖像重疊區(qū)域中找到匹配特征集之后，就需要構(gòu)造變換模型，即通過圖像之間部分元素的匹配關(guān)系確定兩幅圖像的變換關(guān)系。根據(jù)變換模型就可以將待拼接圖像變換到參考圖像的坐標(biāo)系下；圖像變換和灰度插值：將待拼接圖像變換到參考圖像坐標(biāo)系下。待拼接的源圖像，由于

7、拍攝時光照、視野、地點的差異等不定因素的影響，重疊區(qū)域可能在兩幅圖像中有較大的差別。如果直接對這樣的圖像進(jìn)行簡單的疊加拼合，得到的拼接圖在拼接位置上會存在明顯的拼接縫和重疊區(qū)域模糊失真的現(xiàn)象。 如果不能很好地處理圖像拼接時的拼接縫問題，就無法得到真正意義的全景圖。圖像融合技術(shù)就是要消除拼接圖像的拼接縫問題，即消除拼接圖像中的“鬼影”和“曝光差異”，獲得真正意義上的無縫拼接圖像。 利用多個傳感器提供的冗余信息可提高融合圖像的精確性及可靠性。融合圖像具有較強(qiáng)的魯棒性，即使個別傳感器故障也不會對融合圖像產(chǎn)生嚴(yán)重影響。利用多個傳感器提供的互補(bǔ)信息，融合后的圖像包含了更為全面、豐富的信息，其更符合人或機(jī)

8、器的視覺特性、更有利于對圖像的進(jìn)一步分析處理以及自動目標(biāo)識別。在不利的環(huán)境條件下（例如煙、塵、云、霧、雨等），通過多傳感器圖像 融合可以改善檢測性能。例如，在煙、塵、云、霧環(huán)境下，TV（可見光）圖像質(zhì)量差（甚至無法看清目標(biāo)） ，而毫米波雷達(dá)獲得的圖像對于煙、云、塵、霧卻 有較強(qiáng)的穿透能力，盡管信號會有些衰減，但仍然可獲得較清晰的圖像。目前，圖像融合技術(shù)在許多領(lǐng)域都得到了廣泛的應(yīng)用，包括遙感圖像的分析 和處理、自動識別、計算機(jī)視覺、醫(yī)學(xué)圖像處理。圖像融合的步驟一般分為兩大步：預(yù)處理階段和融合階段。，像素級圖像融合是指在嚴(yán)格配準(zhǔn)條件下對各傳感器輸出的信號直接進(jìn)行信息綜合處理的過程。像素級圖像融合是

9、直接在原始數(shù)據(jù)層上進(jìn)行融合，該層次的融合準(zhǔn)確性最高，相比其他層次上的圖像融合該層次上的圖像融合具有的更精確、更豐富、更可靠的細(xì)節(jié)信息，有利于圖像更進(jìn)一步的理解與分析。像素級圖像融合是特征級和決策級圖像融合的基礎(chǔ)，也是目前應(yīng)用最廣泛圖像融合方式。但像素級圖像融合也是有缺點的，缺點是預(yù)處理的信息量最大，處理時間較長，對通信帶寬的要求高，因此在此層析上進(jìn)行圖像融合之前必須先對參加融合的圖像進(jìn)行精確的配準(zhǔn)，加大了工作量。像素級數(shù)據(jù)融合原理示意圖1.對圖像的RGB空間中的R、G、B變換，得到I、H、S三個分量2.再將亮度分量I按規(guī)則融合，得到新的亮度分量3.再將newI、H、S反變換回RGB空間，完成融

10、合過程特征級圖像融合是指對不同傳感器的多源信息進(jìn)行特征提?。òㄐ螤?、邊緣、區(qū)域、輪廓、紋理、角等），然后再對從多個傳感器獲得的多個特征信息進(jìn)行綜合的分析和處理的過程。特征級圖像融合屬于中間層次，為決策級圖像融合做準(zhǔn)備，它既保留了重要信息，有對信息進(jìn)行了壓縮，便于實時處理。但相對于像素級圖像融合，特征級融合信息丟失最多。特征級數(shù)據(jù)融合原理示意圖決策級圖像融合是指對每個圖像的特征信息進(jìn)行分類、識別等處理，形成相應(yīng)的結(jié)果，進(jìn)行進(jìn)一步的融合過程，最終的決策結(jié)果是全局最優(yōu)決策。決策級圖像融合是一種更高層次的信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。決策級圖像融合的方法主要是基于認(rèn)知模型的方法，需要大型數(shù)據(jù)庫和專家決策系統(tǒng)，進(jìn)行分析、推理、識別和判決。此種融合實時性好，并且有一定的容錯能力，但其預(yù)處理代價較高，圖像中的原始信息的損失最多。決策級數(shù)據(jù)融合原理示意圖本文主要是對圖像拼接技術(shù)所做的一個研究，圖像拼接技術(shù)作為數(shù)字圖像處理領(lǐng)域的一個重要分支，在虛擬現(xiàn)實領(lǐng)域、醫(yī)學(xué)圖像處理領(lǐng)域、遙感技術(shù)領(lǐng)域和軍事領(lǐng)域中均有廣泛