一種改進(jìn)的SIFT算法及其在醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用

1、第49卷第3期2010年5月廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版)JournalofXiamenUniversity(NaturalScience)Vol.49No.3May2010一種改進(jìn)的SIFT算法及其在醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用柯杉,王博亮()摘要:,.目前在實(shí)際應(yīng)用中常使用手工提取特征點(diǎn)的方法,.、旋轉(zhuǎn)、光照等不變特性,被廣泛應(yīng)用于圖像配準(zhǔn)中.由于SIFT,特征點(diǎn)的數(shù)量常常無(wú)法滿(mǎn)足醫(yī)學(xué)圖像配準(zhǔn)的實(shí)際需要,并且存在一定的誤匹配.,提高匹配準(zhǔn)確率,采用SIFT算法自動(dòng)提取特征點(diǎn),并使用特征點(diǎn)之間的Euclid距離作為相似性判定度量,以實(shí)現(xiàn)醫(yī)學(xué)圖像的配準(zhǔn).實(shí)驗(yàn)結(jié)果表明該方法是有效的.關(guān)鍵詞:醫(yī)學(xué)圖像配準(zhǔn);特

2、征點(diǎn);SIFT算法中圖分類(lèi)號(hào):TP391.41文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):043820479(2010)0320354205隨著醫(yī)學(xué)、計(jì)算機(jī)技術(shù)及生物工程技術(shù)的發(fā)展,醫(yī)學(xué)影像學(xué)為臨床診斷提供了多種模態(tài)的醫(yī)學(xué)圖像.不同成像技術(shù)對(duì)人體同一組織所得到的形態(tài)和功能信息是互為差異、互為補(bǔ)充的,對(duì)同一病人有來(lái)自不同拍攝時(shí)期的圖像,因此臨床上需要將這些多模態(tài)的圖像結(jié)合起來(lái)分析,得到更多的病變組織或器官信息,從而做出準(zhǔn)確的診斷并制定合理的治療方案.其中,圖像配準(zhǔn)就是醫(yī)學(xué)圖像融合中的關(guān)鍵問(wèn)題.醫(yī)學(xué)圖像配準(zhǔn)通過(guò)尋找一種空間變換,使兩幅圖像中關(guān)鍵的解剖點(diǎn)或感興趣的關(guān)鍵點(diǎn)達(dá)到空間和解剖結(jié)構(gòu)上的一致,配準(zhǔn)的好壞將直接影響到

3、圖像融合的質(zhì)量.醫(yī)學(xué)圖像配準(zhǔn)按配準(zhǔn)過(guò)程可分為基于特征點(diǎn)的圖像配準(zhǔn)和基于灰度的圖像配準(zhǔn)1.基于特征點(diǎn)的方法提取圖像的特征信息,然后對(duì)圖像的顯著特征進(jìn)行配準(zhǔn);基于灰度的方法直接用圖像的像素灰度統(tǒng)計(jì)信息作為配準(zhǔn)的相似性測(cè)度.基于特征點(diǎn)的方法對(duì)圖像因平移、縮放、旋轉(zhuǎn)帶來(lái)的配準(zhǔn)難題能夠得到比較好的解決,但配準(zhǔn)結(jié)果的準(zhǔn)確率取決于特征點(diǎn)提取的精確性,特征點(diǎn)選擇的精確性越高,配準(zhǔn)的準(zhǔn)確率就越高.基于特征點(diǎn)的匹配方法一般需要3個(gè)步驟:1)特征提取;2)利用一組參數(shù)對(duì)特征作描述;3)利用特征的參數(shù)進(jìn)行收稿日期:2009211204基金項(xiàng)目:國(guó)家自然科學(xué)基金(60701022,30770561);衛(wèi)生部科學(xué)研究基金

4、2福建省衛(wèi)生教育聯(lián)合攻關(guān)計(jì)劃資助項(xiàng)目(WKJ2008222041)特征匹配2,其中特征提取和特征匹配是兩個(gè)重要步驟.在實(shí)際應(yīng)用過(guò)程中,常常使用手工提取特征點(diǎn)的方式,這對(duì)操作者有較高的技術(shù)和經(jīng)驗(yàn)要求,對(duì)圖像的邊緣和拐角處需要提取多個(gè)特征點(diǎn),該過(guò)程容易產(chǎn)生誤差.本文采用自動(dòng)提取特征點(diǎn)的方法實(shí)現(xiàn)醫(yī)學(xué)圖像的配準(zhǔn).1SIFT算法簡(jiǎn)介1980年Moravec等首次提出采用角點(diǎn)檢測(cè)算子來(lái)實(shí)現(xiàn)立體視覺(jué)匹配3,在此基礎(chǔ)上Harris等對(duì)Moravec算子進(jìn)行改進(jìn)4,Harris角點(diǎn)檢測(cè)算子具有旋轉(zhuǎn)不變以及縮放不變等許多優(yōu)良性能,因此廣泛應(yīng)用在各種圖像匹配算法中,但它對(duì)尺度、視角、照明變化比較敏感,而且抗噪聲能力

5、差5.2004年,哥倫比亞大學(xué)的Lowe提出了一種新的點(diǎn)特征提取算法SIFT(Scaleinvariantfeaturetransform)7算法,可以對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性,對(duì)視角變化、仿射變換、噪聲保持一定程度的穩(wěn)定性,被成功應(yīng)用于圖像匹配領(lǐng)域.SIFT算法的本質(zhì)就是從圖像中提取SIFT關(guān)鍵點(diǎn)的過(guò)程.基于圖像特征尺度選擇的思想,建立圖像的尺度空間,在不同尺度下檢測(cè)到同一個(gè)特征點(diǎn),確定特征點(diǎn)的位置的同時(shí)確定其所在的尺度,剔除一些低對(duì)比度的點(diǎn)以及邊緣響應(yīng)點(diǎn),并提取旋轉(zhuǎn)不變特征描述符,以達(dá)到抗仿射變換的目的.SIFT算法主要包括4個(gè)步驟:3通訊作者:blwang第3期柯杉等:一種改

6、進(jìn)的SIFT算法及其在醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用3551)建立尺度空間,進(jìn)行尺度空間的極值檢測(cè).尺每個(gè)關(guān)鍵點(diǎn)可以用4×4共16個(gè)種子點(diǎn)來(lái)描述,形成一個(gè)128維的特征向量.然后將特征向量的長(zhǎng)度歸一化,就可以去除光照變化的影響.度空間由圖像與高斯核函數(shù)7卷積構(gòu)成,一幅圖像的多尺度空間定義為)=G(x,y,)3I(x,y),L(x,y,為尺度空間因子.然后將相其中I(x,y)為輸入圖像,鄰兩個(gè)尺度的圖像相減建立圖像的DOG(Difference2of2Gaussian)金字塔.如果一個(gè)點(diǎn)在DOG金字塔本層2SIFT算法改進(jìn)SIF以及上下兩層的26個(gè)近鄰像素的值中是最大或最小值,就認(rèn)為該點(diǎn)是圖像在

7、該尺度下的一個(gè)特征點(diǎn)(1所示).1,并找出其與圖像2中距離最近的前兩個(gè)關(guān)鍵點(diǎn),如果最近的距離除以次近的距離小于某個(gè)閾值,就接受這一匹配點(diǎn)。對(duì)醫(yī)學(xué)圖像配準(zhǔn)而言,希望能確定盡量多的、比較精確的且具有一定解剖意義的特征點(diǎn),對(duì)特征點(diǎn)進(jìn)行匹配,而SIFT匹配算法對(duì)特征點(diǎn)匹配的要求較為嚴(yán)格,提取到特征點(diǎn)的數(shù)量較少,常常無(wú)法滿(mǎn)足醫(yī)學(xué)圖像配準(zhǔn)的需求;某些醫(yī)學(xué)圖像(如CT圖像)中的軟組織部分對(duì)比度較低,如果按照SIFT特征點(diǎn)檢測(cè)算法的第二步剔除低對(duì)比度點(diǎn),會(huì)造成檢測(cè)得到的特征點(diǎn)過(guò)少,無(wú)法滿(mǎn)足匹配的需求.當(dāng)特征點(diǎn)對(duì)數(shù)量較少時(shí),參數(shù)擬合誤差較大.此外,僅僅用Euclid距離作為匹配度量仍然不能保證精確的匹配點(diǎn)對(duì),誤

8、匹配點(diǎn)對(duì)仍然存在;存在一個(gè)特征點(diǎn)對(duì)應(yīng)多個(gè)特征點(diǎn)的情況.這些問(wèn)圖1尺度空間極值點(diǎn)的確定DetermineextremapointsinscalespaceFig.12)確定關(guān)鍵點(diǎn),這里要剔除低對(duì)比度點(diǎn)和邊緣題都直接影響圖像配準(zhǔn)的結(jié)果.針對(duì)上述問(wèn)題,本文根據(jù)醫(yī)學(xué)圖像配準(zhǔn)的實(shí)際需求,對(duì)SIFT算法的計(jì)算過(guò)程進(jìn)行了分析,在特征提取和特征匹配兩個(gè)步驟對(duì)配準(zhǔn)算法進(jìn)行了改進(jìn).1)醫(yī)學(xué)圖像中軟組織部分對(duì)比度比較低,而這一部分通常是醫(yī)生診斷關(guān)注的焦點(diǎn).因此在進(jìn)行特征點(diǎn)檢測(cè)時(shí),根據(jù)實(shí)際需要修改判斷低對(duì)比度的閾值,在不引入噪聲的前提下保留低對(duì)比度點(diǎn),以提取更多的特征點(diǎn),提高圖像配準(zhǔn)的精度.隨著閾值的減小,提取的特征

9、點(diǎn)逐漸增加,但閾值太小時(shí)會(huì)引入噪聲,如何選擇合適的閾值是算法的一個(gè)關(guān)鍵步驟.采用人工方式通過(guò)反復(fù)實(shí)驗(yàn)進(jìn)行對(duì)比并選擇閾值,不是一個(gè)可取的方法.我們使用512×512像素的腹部CT圖,對(duì)不同的對(duì)比度閾值參數(shù)的檢測(cè)結(jié)果進(jìn)行了對(duì)比,實(shí)驗(yàn)結(jié)果如圖2所示,隨著閾值的降低,得到的匹配點(diǎn)數(shù)逐漸增加.當(dāng)閾值降到某一數(shù)值后,匹配點(diǎn)數(shù)增加的速度會(huì)明顯加快.將閾值與匹配點(diǎn)數(shù)的關(guān)系曲線(xiàn)從某一閾值處分成兩段,分別用兩條直線(xiàn)進(jìn)行擬合(圖3),并計(jì)算擬合的相關(guān)系數(shù).然后不斷調(diào)整這兩條直線(xiàn),直到使兩個(gè)相關(guān)系數(shù)之和達(dá)到最大,取此時(shí)兩直線(xiàn)的交點(diǎn)橫坐標(biāo)作為算法所需的對(duì)比度閾值,這樣既保留了較多的特點(diǎn).3)確定關(guān)鍵點(diǎn)的大小和

10、方向.利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定一個(gè)或多個(gè)方向.關(guān)鍵點(diǎn)的模值和方向公式分別為:m(x,y)=(L(x+1,y)-L(x-1,y)+(L(x,y+1)-L(x,y-1)2)1/2,(x,y)=tan2,L(x+1,y)-L(x-1,y)其中L為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度.在關(guān)鍵點(diǎn)為中心的領(lǐng)域窗口內(nèi)采樣,用直方圖統(tǒng)計(jì)鄰域像素的梯度方向.直方圖的峰值代表該特征點(diǎn)處鄰域梯度的主方向,作為該關(guān)鍵點(diǎn)的方向.如果存在一個(gè)相當(dāng)于主峰值80%能量的峰值,就把這個(gè)方向作為該關(guān)鍵點(diǎn)的輔方向.4)提取特征描述符.將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向,以關(guān)鍵點(diǎn)為中心取16×16的窗口。分成16個(gè)

11、4×4的子塊,在每個(gè)4×4的子塊上計(jì)算8個(gè)方向的梯度直方圖,可以得到一個(gè)具有8個(gè)方向的種子點(diǎn).這樣356廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版)2010年圖2Fig.2Theinfluence圖4距離閾值對(duì)匹配結(jié)果的影響Fig.4Theinfluenceofdistancethreshold圖3通過(guò)調(diào)整擬合直線(xiàn)自動(dòng)選擇對(duì)比度閾值Fig.3Selectcontrastthresholdbyadjustingfittingcurve圖5通過(guò)調(diào)整擬合直線(xiàn)自動(dòng)選擇距離閾值Fig.5Selectdistancethresholdbyadjustingfittingcurve表1距離閾值對(duì)匹配結(jié)果的

12、影響Tab.1Theinfluenceofdistancethreshold征點(diǎn),又避免引入噪聲.對(duì)本實(shí)驗(yàn)而言,選取對(duì)比度閾值為0.0133能取得較好的結(jié)果,這種方法可以有效解決自動(dòng)設(shè)置閾值的問(wèn)題.2)在使用SIFT算法配準(zhǔn)之前先經(jīng)過(guò)剛性配準(zhǔn),使待配準(zhǔn)的兩幅圖像之間尺度一致,主要存在的是位置上的差異,然后以特征點(diǎn)之間的Euclid距離作為相似性判定度量.對(duì)于兩幅圖的特征點(diǎn)集,求第1個(gè)特征點(diǎn)集中的每個(gè)關(guān)鍵點(diǎn)在第2個(gè)特征點(diǎn)集中的最近距離的關(guān)鍵點(diǎn),如果該距離小于一定的閾值,就接受這一匹配點(diǎn)(圖4).如果圖像1中的某個(gè)關(guān)鍵點(diǎn)與圖像2中的某個(gè)關(guān)鍵點(diǎn)之間的Euclid距離在一定的閾值范圍之內(nèi),就接受這一匹

13、配點(diǎn).因此閾值的選擇非常重要.為了選擇合適的距離閾值參數(shù),我們使用512×512像素大小的腹部CT圖,設(shè)置對(duì)比度閾值參數(shù)為0.01,步長(zhǎng)為2像素,實(shí)驗(yàn)結(jié)果數(shù)據(jù)如表1所示.同樣使用調(diào)整擬合直線(xiàn)(圖5)的方法自動(dòng)選擇閾值.實(shí)驗(yàn)結(jié)果得到閾值合適取值為10像素(即圖像寬度的1.95%).距離閾配點(diǎn)數(shù)11215479646736774788801距離閾值1719212325272931匹配點(diǎn)數(shù)803805805806806806806806此外,SIFT算法進(jìn)行特征點(diǎn)檢測(cè)時(shí),每個(gè)特征點(diǎn)可能被指定多個(gè)方向(一個(gè)主方向和一個(gè)以上輔方向),這樣一個(gè)特征點(diǎn)可能被記錄多次.因此

14、在使用改進(jìn)算法進(jìn)行匹配時(shí),應(yīng)首先去除這些重復(fù)記錄的特征點(diǎn),以使得匹配點(diǎn)對(duì)一一對(duì)應(yīng).實(shí)現(xiàn)時(shí),若發(fā)現(xiàn)某個(gè)特第3期柯杉等:一種改進(jìn)的SIFT算法及其在醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用357征點(diǎn)被記錄多次,則刪除多余記錄,僅保留該特征點(diǎn)的一個(gè)記錄.配,配準(zhǔn)對(duì)多分布在胸腔等處,在肝臟等軟組織部分沒(méi)有配準(zhǔn)對(duì)出現(xiàn),這主要是由于軟組織內(nèi)對(duì)比度低,在檢測(cè)特征點(diǎn)時(shí)被剔除了.采用改進(jìn)算法進(jìn)行匹配后,而采用改進(jìn)算法保留了低對(duì)比度點(diǎn),并且以位置距離作為相似性度量之后,多,算法多,且解決了特征,.3實(shí)驗(yàn)結(jié)果本文實(shí)驗(yàn)基于OpenCV用C+語(yǔ)言實(shí)現(xiàn)了基于SIFT的圖像匹配,所用數(shù)據(jù)為腹部的CT圖(圖6,左圖為肝動(dòng)脈期圖像,右圖為門(mén)靜脈期

15、圖像),大小為512×512像素,配準(zhǔn)參數(shù)設(shè)置對(duì)比度閾值取0.01離閾值取為23像素,增加軟組織內(nèi)部的匹配對(duì).圖6肝臟CT掃描圖像Fig.6CTimagesofliver圖7顯示了采用SIFT算法和改進(jìn)算法的配準(zhǔn)結(jié)果,圖8顯示了采用SIFT算法和改進(jìn)算法檢測(cè)得到的用于配準(zhǔn)的角點(diǎn).表2對(duì)采用兩種算法的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了對(duì)比.圖8(a)(b)SIFT檢測(cè)結(jié)果配準(zhǔn)角點(diǎn),(c)(d)改進(jìn)檢測(cè)結(jié)果配準(zhǔn)角點(diǎn)Fig.8Thefeaturepointsinexperiment表2實(shí)驗(yàn)結(jié)果對(duì)比Tab.2Comparisonofexperimentresults算法SIFT算法配準(zhǔn)對(duì)102819誤配對(duì)70誤

16、配率/%(誤配對(duì)/配準(zhǔn)對(duì))6.860改進(jìn)算法4結(jié)論本文根據(jù)醫(yī)學(xué)圖像配準(zhǔn)的實(shí)際需要對(duì)SIFT算法進(jìn)行了改進(jìn),保留部分低對(duì)比度點(diǎn),并采用特征點(diǎn)之間的Euclid距離作為相似性判定度量.實(shí)驗(yàn)結(jié)果表明改圖7SIFT算法(左)及改進(jìn)算法(右)的匹配結(jié)果Fig.7ExperimentresultsofSIFTandimprovedalgorithm從配準(zhǔn)結(jié)果(圖7左,圖8(a)(b)可以看到,SIFT匹配算法提取的特征點(diǎn)數(shù)較少,且存在一定的誤進(jìn)后的自動(dòng)提取特征點(diǎn)算法增加了CT圖中軟組織部分的匹配對(duì),且提高了匹配的準(zhǔn)確率,減少了人工交互過(guò)程,更適用于醫(yī)學(xué)圖像配準(zhǔn)過(guò)程.由于本文使用的是特征點(diǎn)自動(dòng)提取的方式,提

17、取精度高且無(wú)需人工干預(yù),但其所提取的特征點(diǎn)并非完全是醫(yī)學(xué)意義上的解剖特358廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版)2010年4HarrisC,StephensM.Acombinedcornerandedgedetec2torC/FourthAlveyVisionConference.UK:Manches2ter,1988:1472151.5LoweDG.Objectrecognitionfromlocalscale2invariantfeaturesC/InternationalConferenceonComputerVi2sion.WashingtonDC:ComputerSociety,1999:11

18、50LoweG.fromscalek2invari2JJournalofComputerVi2,60(2):912110.T.Scalespacetheory:abasictoolforanalyzingstructuresatdifferentscalesJ.JournalofAppliedSta2tistics,1994,21:2242270.征點(diǎn).如何結(jié)合醫(yī)學(xué)圖像解剖特征提取圖像中具有醫(yī)學(xué)意義上的解剖特征點(diǎn),將是下一步的工作中值得繼續(xù)研究的問(wèn)題.參考文獻(xiàn):1ZitovaB,FlusserJ.Imageregistrationmethods:asurveyJ.ImageandVisionC

19、omputing,2003,21(11):97721000.2戚世貴,戚素娟.一種基于圖像特征點(diǎn)的圖像匹配算法J.理論與方法,2008(1):324.3MoravecH.Rovervisualobstacle/tionalJointSanFranciscoPublishersInc,1981:7852790.AnImprovedSIFTAlgorithmandItsApplicationinMedicalImageRegistrationKEShan,WANGBo2liang3,HUANGXiao2yang(SchoolofInformationScienceandTechnology,XiamenUniversity,Xiamen361005,China)Abstract:Featureextractionisthebasisofmedicalimageregistration.Theaccuracyoffeaturepointsdirectlyaffectsmatchingre2sult.Itoftenusemanpowertodofeatureextractionatpresent,buttheaccuracyispoorandtheworkloadishe