博士開(kāi)題報(bào)告課件-2

2024/11/25

非完備幾何特征的測(cè)量建模

與醫(yī)學(xué)應(yīng)用研究

RE/RPLab

博士生:導(dǎo)師：習(xí)俊通教授開(kāi)題報(bào)告2024/11/25一、研究背景與意義二、文獻(xiàn)綜述三、課題研究?jī)?nèi)容四、擬采取的研究方法、技術(shù)路線五、已經(jīng)完成的工作六、研究的創(chuàng)新點(diǎn)七、計(jì)劃進(jìn)度匯報(bào)提綱2024/11/25一.研究背景與意義模型重建完備特征顏面模型

非完備特征顏面數(shù)據(jù)

由于疾病或其他原因造成的人體顏面缺損是屬于具有非完備幾何特征的數(shù)據(jù)。如何通過(guò)模型重建的技術(shù)得到具有完備幾何特征的顏面數(shù)據(jù)，從而實(shí)現(xiàn)人體顏面贗復(fù)體的制作？2024/11/25一.研究背景與意義非完備幾何特征的測(cè)量建模在顏面缺損修復(fù)中的應(yīng)用對(duì)稱特征顏面

1)單側(cè)眼眶部缺損

2)單側(cè)顳窩缺損

3)單側(cè)顱面部缺損

4)單側(cè)上下頜面缺損

5)單側(cè)耳部缺損

6)單側(cè)鼻缺損

頜面贗復(fù)體的設(shè)計(jì)人眼贗復(fù)體的設(shè)計(jì)1問(wèn)題1:在數(shù)據(jù)預(yù)處理時(shí),如何實(shí)現(xiàn)多視角的數(shù)據(jù)的坐標(biāo)歸一化?問(wèn)題2:如何實(shí)現(xiàn)具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模?人眼贗復(fù)體的設(shè)計(jì)2組織有變形2024/11/25一.研究背景與意義非完備幾何特征的測(cè)量建模在顏面缺損修復(fù)中的應(yīng)用非對(duì)稱特征顏面

1)全鼻缺損

2)全唇缺損

3)雙眼缺損問(wèn)題3:如何基于特征相似性來(lái)實(shí)現(xiàn)非完備數(shù)據(jù)的幾何建模?問(wèn)題4:如何保證贗復(fù)體與周圍組織區(qū)域的貼合性及美觀性?2024/11/25二.文獻(xiàn)綜述2024/11/252.1網(wǎng)格多視對(duì)齊技術(shù)(1)多視對(duì)齊給定:N個(gè)已實(shí)現(xiàn)粗拼合的視圖目標(biāo):對(duì)其進(jìn)行全局拼合,實(shí)現(xiàn)精拼合要解決的問(wèn)題:1)誤差逐步累積,如何分散;2)大的計(jì)算量,如何減少計(jì)算;3)大的存儲(chǔ)需求,如何減少存儲(chǔ);4)局部最小化,如何能達(dá)到全局最小化(2)多視對(duì)齊算法綜述順序?qū)R首尾視圖出現(xiàn)間隙斯坦福大學(xué)BROWNB(2007);Pulli（1999）:基于主視圖的思想,不同之處在于在進(jìn)行多視對(duì)齊之前僅考慮所有的視圖間潛在的對(duì)齊。評(píng)價(jià):提取出視圖間的兩兩拼合的約束，避免將所有視圖都加入內(nèi)存；另外該方法僅考慮有重疊區(qū)域的信息，并允許已經(jīng)對(duì)齊的區(qū)域可以再次調(diào)整。德國(guó)自主智能系統(tǒng)研究所Nüchter（2004）:提出了“simultaneousmatching”，它與Pulli的方法的不同之處在于它不需要兩兩對(duì)齊的迭代過(guò)程評(píng)價(jià):這種方法依賴于要有的好的初始對(duì)齊結(jié)果。

3同步對(duì)齊法:Masuda（2002）:基于符號(hào)距離場(chǎng)同步對(duì)齊和融合所有視圖,在迭代過(guò)程中去除外點(diǎn)。工作原理是:第一步執(zhí)行一個(gè)粗對(duì)齊將所有的視圖都變換到同一個(gè)坐標(biāo)系下；第二步執(zhí)行一個(gè)迭代過(guò)程使得數(shù)據(jù)形狀對(duì)齊融合至收斂。評(píng)價(jià):好處是:所有視圖能夠同步對(duì)齊，誤差也不會(huì)產(chǎn)生累積。另外外點(diǎn)也能自動(dòng)去除。缺點(diǎn)是:由于多幅視圖同時(shí)對(duì)齊,不僅計(jì)算的復(fù)雜度會(huì)很大,而且占用的存貯空間也很大。

1順序?qū)R直接使用兩兩對(duì)齊的算法對(duì)N個(gè)視圖進(jìn)行順序拼合。評(píng)價(jià):兩兩拼合中會(huì)產(chǎn)生不均勻分配的錯(cuò)誤,因此會(huì)出現(xiàn)一對(duì)視圖有很高的拼合精度,而整個(gè)拼合系統(tǒng)達(dá)不到高的拼合精度的情況。2主視圖法ChenandMedioni(1991):對(duì)齊兩個(gè)視圖,將它們?nèi)诤铣梢粋€(gè)主視圖,然后新的視圖又順序的對(duì)齊并融合為新的主視圖。評(píng)價(jià):好處是融合后的主視圖所含的所有信息都能夠在新的對(duì)齊過(guò)程中被使用。缺點(diǎn)是已經(jīng)融合到主視圖中的視圖，它是沒(méi)法再調(diào)整的。2024/11/252.1網(wǎng)格多視對(duì)齊技術(shù)Silva（2003）:提出用遺傳算法替代基于ICP的方法思想:引入一個(gè)新的健壯的度量surfaceinterpenetrationmeasure(SIM)（用于度量可視的對(duì)齊誤差來(lái)決定兩個(gè)視圖間的重疊面積），他們使用SIM和一個(gè)健壯的估計(jì)來(lái)實(shí)現(xiàn)遺傳算法。染色體是由三個(gè)平移矢量和三個(gè)旋轉(zhuǎn)矢量組成，每個(gè)染色體的SIM結(jié)果在每一代中被用來(lái)選擇能夠能夠生成更精確變換。評(píng)價(jià):該方法能夠取得精確的結(jié)果，該方法最重要的缺點(diǎn)就是要收斂到一個(gè)好的結(jié)果，所需計(jì)算的時(shí)間太長(zhǎng)。法國(guó)克萊蒙第二大學(xué)E.Mouragnon（2007）:基于bundleadjustment方法實(shí)現(xiàn)實(shí)時(shí)的對(duì)齊和融合,同時(shí)最小化角度誤差。bundleadjustment通常用于求解視圖參數(shù)(如相機(jī)的位置和標(biāo)定估計(jì))它是一個(gè)非線性的最小化問(wèn)題，對(duì)于它的求解通常需要非線性最小二乘法求解.評(píng)價(jià):bundleadjustment技術(shù)在出現(xiàn)外點(diǎn)時(shí)能提供好的結(jié)果，但需要好的初始估計(jì)，很少用于大的場(chǎng)景4圖分析法其主要思想是利用視圖之間的關(guān)系。例如一些方法想法找到視圖間的最優(yōu)路徑來(lái)獲得一個(gè)精確的對(duì)齊；另外一些方法利用物體的部分被重新訪問(wèn)來(lái)探測(cè)循環(huán)并在循環(huán)的視圖中分散誤差。Bergevin（1996）:被認(rèn)為是這種方法的先驅(qū)圖的創(chuàng)建方法如下:視圖與結(jié)點(diǎn)相聯(lián)系。邊代表變換兩個(gè)結(jié)點(diǎn)之間的路徑代表一系列變換。Bergevin的方法是獲取一個(gè)很好平衡的網(wǎng)在網(wǎng)中1）視圖間的變換都有相似的誤差2）不同視圖之間有唯一的變換矩陣，不考慮他們之間的路徑。當(dāng)兩個(gè)非中心視圖的變換矩陣趨于相同時(shí)，算法收斂。P.J.Neugebauer（1997）:提出了星形的拓?fù)?，它與前面方法的主要不同之處在于使用Levenberg–Marquardt方法來(lái)最小化對(duì)應(yīng)點(diǎn)之間的距離來(lái)調(diào)整變換矩陣。另一個(gè)重要的不同在于通過(guò)等級(jí)化的方法來(lái)降低計(jì)算量。Huber（2002）:算法分為兩步1）局部對(duì)齊2）全局對(duì)齊局部對(duì)齊的主要目標(biāo)是創(chuàng)建一個(gè)“modelgraph”,基于”spinimage”計(jì)算所有可能的兩兩對(duì)齊;僅使用正確的兩兩對(duì)齊來(lái)進(jìn)行全局對(duì)齊,最后用Neugebauer的方法來(lái)進(jìn)行優(yōu)化.評(píng)價(jià):該方法既不需要視圖位置以及視圖順序的知識(shí),但是一旦一個(gè)不正確的匹配加到最終的圖上，全局模型就會(huì)不連續(xù)，導(dǎo)致重新開(kāi)始全過(guò)程。2024/11/252.1網(wǎng)格多視對(duì)齊技術(shù)Sharp(2004):對(duì)大場(chǎng)景且未知視圖方向的多視對(duì)齊進(jìn)行了研究，為了降低計(jì)算負(fù)擔(dān)，將圖分解成一組環(huán)。要點(diǎn)在于:1）環(huán)的判別方法環(huán)探測(cè)的復(fù)雜程度取決于視圖是無(wú)組織的還是順序的；2）不合格兩兩對(duì)齊的判別方法；3）環(huán)內(nèi)及環(huán)間的誤差分散方法。HouFei(2009):為了剔除錯(cuò)誤的兩兩對(duì)齊，在判斷環(huán)的問(wèn)題上提出一致性環(huán)的概念。所謂一致性環(huán)即環(huán)中所有的變換都是近似單位陣變換，這樣的一致性環(huán)中沒(méi)有錯(cuò)誤的兩兩對(duì)齊。評(píng)價(jià):這種方法的缺點(diǎn)在于要求過(guò)于嚴(yán)格，可能會(huì)將合格的兩兩對(duì)齊排除在外，僅適合于粗對(duì)齊有很好的結(jié)果的場(chǎng)合。Matabosch(2008):探測(cè)環(huán)的方法:如果視圖是順序拍攝的,如手持?jǐn)z像儀,如果前后兩個(gè)視圖間的平移矢量(或旋轉(zhuǎn)矢量)小于一定的閾值,同時(shí)這兩個(gè)視圖又不是相鄰的那就可以判定是一個(gè)環(huán).簡(jiǎn)化的方法:利用兩個(gè)視圖的包圍盒在XY,YZ,XZ方向上的投影來(lái)確定重疊區(qū)域,如果三個(gè)重疊區(qū)域都超過(guò)了給定的閾值,且兩包圍盒中心足夠小,那就可以判定是一個(gè)環(huán)。（3）文獻(xiàn)總結(jié)現(xiàn)有的多視對(duì)齊技術(shù)存在的主要問(wèn)題:(1)主視圖法:兩兩拼合如果誤拼合，會(huì)影響全局拼合的效果。(2)同步對(duì)齊法:無(wú)法降低大的計(jì)算量。(3)圖方法:瓶頸在于如何有效的探測(cè)環(huán)。2024/11/252.2具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù)2.2.1非完備幾何特征的定義及分類(1)非完備幾何特征的定義(4)非完備幾何特征的分類

在測(cè)量操作前因外力作用或在測(cè)量過(guò)程中因掃描設(shè)備場(chǎng)景的限制或被測(cè)物體的遮擋等原因引起的構(gòu)成產(chǎn)品模型的低層幾何體素及其構(gòu)造特征,如點(diǎn),線,面出現(xiàn)缺失或變形等偏離物體原貌的情況,稱為非完備幾何特征。(2)非完備幾何特征的測(cè)量建模過(guò)程

非完備幾何特征的測(cè)量建模過(guò)程就是試圖通過(guò)軟件或硬件的手段恢復(fù)物體原貌的過(guò)程。1測(cè)量前階段（即用來(lái)測(cè)量的物體就是非完備的）如缺齒的齒輪；做了器官摘除手術(shù)的病人；受到擠壓變形的古化石2測(cè)量階段（由于測(cè)量手段或物體的復(fù)雜性（如內(nèi)凹）引起的）(3)非完備幾何特征的產(chǎn)生階段1按照非完備類型分:1）缺損2）變形2按照產(chǎn)生階段分:1）原始非完備2）測(cè)量非完備3按照非完備的范圍分:1）小區(qū)域2）大范圍4非完備幾何特征的性質(zhì)分:1）平面2）二次曲面3）自由曲面如機(jī)械產(chǎn)品很多是規(guī)則曲面；而人臉等是自由曲面(5)非完備幾何特征的測(cè)量建模的應(yīng)用1受到擠壓變形的古化石,恢復(fù)其原貌;2做了器官摘除手術(shù)的病人需要做贗復(fù);3動(dòng)畫設(shè)計(jì)4利用已有的數(shù)據(jù)進(jìn)行創(chuàng)造性設(shè)計(jì)2024/11/252.2具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù)2.2.2對(duì)稱面或近似對(duì)稱面的求解方法1)輪廓線法

金濤(2003):

評(píng)價(jià):該方法采用的對(duì)稱特征是二維空間折線,需在測(cè)量階段對(duì)特征線作標(biāo)記,增加了數(shù)據(jù)測(cè)量的難度和工作量；另外,特征線上所含數(shù)據(jù)點(diǎn)的數(shù)量有限,難以通過(guò)統(tǒng)計(jì)方法減小誤差。2024/11/252.2具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù)

2)局部形狀匹配法紐約州立大學(xué)的JianningWang(2002):利用3DHough變換將點(diǎn)云分為平坦區(qū)域和特征區(qū)域,對(duì)于特征區(qū)域進(jìn)行聚類,然后對(duì)特征點(diǎn)對(duì)進(jìn)行取中心點(diǎn),多個(gè)中心點(diǎn)擬合成中心對(duì)稱面。評(píng)價(jià):優(yōu)點(diǎn):局部形狀匹配法是將三維空間域的問(wèn)題轉(zhuǎn)化為二維平面域的圖像問(wèn)題,是一種降維的處理方法。缺點(diǎn):存儲(chǔ)需求量大，因?yàn)樾枰D(zhuǎn)換；求取對(duì)稱面的精度不高，適用于復(fù)雜物體的多個(gè)對(duì)稱面的求取。斯坦福大學(xué)的NiloyJ.Mitra(2006):匹配”localshapesignature”局部形狀簽名對(duì),使用這些匹配來(lái)累積得到近似的對(duì)稱面。第一階段:我們計(jì)算一個(gè)簡(jiǎn)單的局部形狀描述器第二階段:我們使用隨機(jī)聚類算法meanshiftclustering對(duì)每個(gè)點(diǎn),計(jì)算一個(gè)局部形狀簽名,如果簽名值相似,則這兩點(diǎn)為一對(duì)點(diǎn),點(diǎn)對(duì)之間可以計(jì)算一個(gè)中心點(diǎn),

眾多中心點(diǎn)累積得到近似的對(duì)稱面。2024/11/252.2具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù)3)ICP方法南京航空航天大學(xué)的張麗艷(2006):提出用ICP迭代方法來(lái)獲取健康人臉的對(duì)稱面利用去掉裙邊的數(shù)據(jù)求取人臉最優(yōu)鏡面1首先使用PCA(主軸分析)來(lái)確定鏡面的最近似的位置,獲取初始鏡面;2通過(guò)初始鏡面的鏡像獲取它的初始鏡面;3對(duì)原始數(shù)據(jù)和初始鏡像面去除掉裙邊的數(shù)據(jù)進(jìn)行基本ICP精對(duì)齊。除掉裙邊的目的是保證初始鏡像數(shù)據(jù)是原始數(shù)據(jù)的子集,從而滿足基本ICP收斂的要求;4將對(duì)齊后的對(duì)應(yīng)點(diǎn)連線的中點(diǎn)擬合成最小二乘平面,這就是所要求的最佳鏡面。優(yōu)點(diǎn):該方法是采用的基于優(yōu)化理論的ICP算法，它通過(guò)迭代的方法找求最佳對(duì)稱平面特征,能達(dá)到較高的精度。缺點(diǎn):1初始對(duì)齊的位置對(duì)算法的收斂精度有影響；2如何有效地去除假的對(duì)應(yīng)關(guān)系是保證算法健壯性的瓶頸所在。

原始數(shù)據(jù)初始鏡像粗對(duì)齊去掉裙邊的初始鏡像去掉裙邊的原始數(shù)據(jù)文獻(xiàn)總結(jié):對(duì)于健康人臉的對(duì)稱面獲取,利用張麗艷的去掉裙邊,然后使用基本ICP對(duì)齊方法是能夠得到較好精度的對(duì)稱面,但對(duì)于需要贗復(fù)的病人,他的數(shù)據(jù)是帶有缺損信息的,不滿足基本ICP收斂的要求,其結(jié)果是不理想的。因此我們需要著力解決的是如何有效地去除ICP對(duì)齊中假的對(duì)應(yīng)關(guān)系,從而保證該方法在臨床使用的穩(wěn)定性.病人原始數(shù)據(jù)初始鏡像病人臉面最優(yōu)鏡面2024/11/252.3基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù)

(1)問(wèn)題求解的思路利用外部的信息來(lái)輔助獲取非完備區(qū)與完備區(qū)拓?fù)潢P(guān)系(2)研究現(xiàn)狀1構(gòu)建人體特征模板2利用模板實(shí)現(xiàn)頭部缺損區(qū)的填充1)利用設(shè)備投射光線的信息Davis,Marschner,Garr,Levoy(2002):測(cè)量殘缺是因凹陷的幾何形狀致使測(cè)量手段難以到達(dá)所致，故通過(guò)光滑插值于殘缺邊界的等值面修復(fù)殘缺區(qū)域幾何形狀，并在修復(fù)過(guò)程中考慮到殘缺鄰域幾何的遮擋。算法由模糊與組合交替進(jìn)行。2)基于模板的方法Allen,Curless,Popovic(2003)Kraevoy，Sheffer(2005):第一步:根據(jù)人體的數(shù)據(jù)構(gòu)建參數(shù)化的模板,然后利用模板進(jìn)行參數(shù)設(shè)置,第二步:與缺損數(shù)據(jù)進(jìn)行對(duì)齊來(lái)進(jìn)行缺損區(qū)的填充。

評(píng)價(jià):優(yōu)點(diǎn):能夠利用設(shè)備投射光線的信息，實(shí)現(xiàn)殘缺區(qū)域的光順填充；缺點(diǎn):需要已知設(shè)備的信息。評(píng)價(jià):優(yōu)點(diǎn):能夠基于特征參數(shù)構(gòu)造臉部輪廓曲線，可以整體G‘連續(xù)的B樣條曲面表示人體模型；缺點(diǎn):需進(jìn)行參數(shù)化定義，適用基本相似特征的數(shù)據(jù)。無(wú)光線約束有光線約束無(wú)光線約束有光線約束初始化迭代在對(duì)齊過(guò)程中考慮:1對(duì)應(yīng)點(diǎn)對(duì)距離誤差2平滑誤差3標(biāo)記點(diǎn)誤差2024/11/252.3基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù)

基于例子的缺損區(qū)構(gòu)建的技術(shù)路線3)基于例子的方法斯坦福大學(xué)的MarkPauly,NiloyJ.Mitra(2005):從數(shù)據(jù)庫(kù)中檢索合適的上下文模型,扭曲上下文模型來(lái)符合輸入數(shù)據(jù),兩者貼合設(shè)計(jì)來(lái)達(dá)到最終完整的數(shù)據(jù)。1模型搜索利用紋理搜索和形狀搜索融合的搜索方法從數(shù)據(jù)庫(kù)中提取一個(gè)模型(上下文模型),該模型能夠提供所需的缺損區(qū)域的信息；

2模板模型非剛性對(duì)齊基于變形和形狀誤差的懲罰函數(shù)計(jì)算和評(píng)估原有模型與上下文模型的對(duì)齊后的局部形狀變形；評(píng)價(jià)優(yōu)點(diǎn):利用原有的數(shù)據(jù)庫(kù)模型的信息，經(jīng)過(guò)非剛性變換，使得一個(gè)不完備的數(shù)據(jù)構(gòu)建成一個(gè)完整的幾何模型，降低了模型處理的復(fù)雜度。缺點(diǎn):需要有合適的數(shù)據(jù)庫(kù)模型。3模板模型與現(xiàn)有模型融合基于重疊區(qū)的處理算法將原有模型與從上下文模型得到的幾何信息融合為一個(gè)完整和一致的模型。變形度量幾何誤差綜合誤差文獻(xiàn)總結(jié):

未考慮模板模型的非剛性部分對(duì)模型搜索的影響；未考慮模板模型非剛性匹配存在約束的情況；存在問(wèn)題:2024/11/252.4贗復(fù)體與周圍組織的幾何及紋理的光順技術(shù)2.4.1過(guò)渡曲面光順技術(shù)(1)問(wèn)題的提出:贗復(fù)體與缺損區(qū)組織面需要進(jìn)行貼合,需要構(gòu)造三角網(wǎng)格的過(guò)渡曲面,實(shí)現(xiàn)光順過(guò)渡。(2)過(guò)渡曲面的定義:過(guò)渡曲面(blendingsurface)就是光滑地把兩個(gè)或多個(gè)曲面連接起來(lái)的中間曲面,被連接的曲面稱之為基曲面。(3)曲面光順準(zhǔn)則(馬利莊,石教英,1996)1）關(guān)鍵曲線（如飛機(jī)的骨架線）光順；

2）網(wǎng)格線無(wú)多余的拐點(diǎn)（或平點(diǎn)）及變撓點(diǎn)；

3）主曲率在節(jié)點(diǎn)處的躍度和足夠??；

4）高斯曲率變化均勻。(4)研究現(xiàn)狀1)神經(jīng)網(wǎng)絡(luò)方法(徐立亞,1999;熊邦書,2003;蔣剛,2009)原理:通過(guò)空間映射獲得3個(gè)方向的二維坐標(biāo),利用神經(jīng)網(wǎng)絡(luò)方法獲得過(guò)渡區(qū)域的三維坐標(biāo)。評(píng)價(jià):優(yōu)點(diǎn):不需要表面知識(shí)和確切的數(shù)學(xué)函數(shù)描述，只需要測(cè)得表面的有限點(diǎn)數(shù)；缺點(diǎn):1)需要大數(shù)據(jù)量；2)速度不快。2)能量法；Terzopoulo(2004):把在基曲面上過(guò)渡切觸線及其在基曲面上的法矢和其他邊界線作為約束，采用基于物理的曲面造型技術(shù)，來(lái)生成過(guò)渡曲面。

3)基于周邊信息;陳志楊(2005):通過(guò)引入平均誤差及平均曲率影響因子,自動(dòng)計(jì)算出過(guò)渡曲面影響區(qū)域,進(jìn)而利用影響區(qū)域內(nèi)的數(shù)據(jù)構(gòu)造連續(xù)曲面并計(jì)算出過(guò)渡區(qū)域數(shù)據(jù)點(diǎn)。評(píng)價(jià):優(yōu)點(diǎn):能夠與周邊區(qū)域光順過(guò)渡；缺點(diǎn):需要確定影響區(qū)域的位置。4）傘形操作子的迭代HongboFu（2007）:建立兩個(gè)網(wǎng)格邊界之間的對(duì)應(yīng)關(guān)系，建立初始三角化，然后用傘形操作子進(jìn)行新建三角網(wǎng)格及周邊的平滑處理。評(píng)價(jià):優(yōu)點(diǎn):能保證過(guò)渡曲面在拼接處與原曲面具有二階幾何連續(xù)性。缺點(diǎn):應(yīng)用范圍受限制，一般適合管狀之間的過(guò)渡。

贗復(fù)體與缺損區(qū)組織面之間形成的空隙需要光順填充2024/11/252.4贗復(fù)體與周圍組織的幾何及紋理的光順技術(shù)2.4.2紋理光順技術(shù)(2)研究現(xiàn)狀1)基于特征點(diǎn)的映射方法R.Kurazum(2008):從自動(dòng)抽取模型表面的三維邊緣特征入手，進(jìn)行特征對(duì)應(yīng)尋找。將紋理圖像映射到三維點(diǎn)上。評(píng)價(jià):該方法僅需將紋理圖像與三維點(diǎn)云的特征點(diǎn)對(duì)應(yīng)起來(lái)即可實(shí)現(xiàn)紋理映射；但缺點(diǎn)在于特征點(diǎn)的準(zhǔn)確性直接影響紋理映射變形程度。2)基于分塊組合的方法趙向陽(yáng)(2004):選擇三幅正交的人臉圖像,根據(jù)每張人臉圖像只能提供一部分清晰無(wú)冗余的紋理,保留清晰有用的紋理和剔除冗余紋理；最后再對(duì)各模型塊交接處進(jìn)行顏色平滑過(guò)渡。評(píng)價(jià):該方法僅需對(duì)需要過(guò)渡部分進(jìn)行處理；但缺點(diǎn)在于1）它要求有三幅正交的人臉圖像，這樣的條件并不總是能夠滿足；2）過(guò)渡區(qū)域大小選擇,以及合成權(quán)值的設(shè)定都會(huì)影響最終融合圖像的質(zhì)量。(1)紋理光順的目標(biāo)

1)不會(huì)出現(xiàn)明顯的接縫現(xiàn)象

2)盡量降低生成圖像與原始圖像的失真度3)搜索最優(yōu)縫合路徑的方法李笑嵐(2006):通過(guò)小波分解技術(shù)將原始圖像集合分為2類:邊緣圖和平滑圖,對(duì)邊緣圖像采用圖像縫合法進(jìn)行拼接,提出了在部分紋理圖表面搜索最優(yōu)縫合路徑的方法。對(duì)平滑圖像采用多尺度融合法拼接。評(píng)價(jià):優(yōu)點(diǎn)在于在消除接縫的同時(shí)能夠最大限度地保存圖像原有的細(xì)節(jié)信息；缺點(diǎn)是文中使用的柱面展開(kāi)法只適合于形狀較為簡(jiǎn)單的模型。4)重疊區(qū)設(shè)置權(quán)重的方法丁雅斌,(2008):設(shè)計(jì)的三維光學(xué)數(shù)字成像系統(tǒng)可以同時(shí)采集物體在同一個(gè)方向的深度圖像和與它精確對(duì)應(yīng)的紋理圖像。對(duì)于重疊區(qū)的紋理采用權(quán)函數(shù)的設(shè)定方法。評(píng)價(jià):優(yōu)點(diǎn)是在深度圖像合成的同時(shí)進(jìn)行紋理圖像的融合；缺點(diǎn)是權(quán)值是人為設(shè)定，無(wú)法保證紋理的平滑過(guò)渡。5)用顏色梯度場(chǎng)的方法MingChuang(2009);SuMS(2004);LevinA(2004)原理:首先通過(guò)在每個(gè)視圖上添加顏色梯度獲取一個(gè)描寫紋理細(xì)節(jié)變化的顏色梯度場(chǎng)，然后求解梯度場(chǎng)的泊松方程,得到能夠最佳擬合梯度變化的顏色場(chǎng),將顏色場(chǎng)映射到幾何模型上。評(píng)價(jià):可以得到一個(gè)無(wú)縫的紋理表面；保證紋理的平滑過(guò)渡。缺點(diǎn)是需要增加顏色梯度場(chǎng)的計(jì)算。2024/11/25文獻(xiàn)綜述結(jié)論2024/11/25三.研究?jī)?nèi)容1.網(wǎng)格多視對(duì)齊技術(shù)研究（1） 基于柵格結(jié)構(gòu)探測(cè)環(huán)（2） 環(huán)內(nèi)及環(huán)間的誤差分散處理（3） 補(bǔ)測(cè)數(shù)據(jù)的誤差分散處理2.具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù)研究（1） 測(cè)量數(shù)據(jù)幾何特征非完備性的定義及分類（2） 基于M估計(jì)的健壯性ICP算法的對(duì)稱特征模型構(gòu)建方法（3） 基于糾正局部變形的對(duì)稱特征模型構(gòu)建方法3.基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù)研究（1） 基于健壯區(qū)域的特征相似性的數(shù)據(jù)搜索技術(shù)（2） 基于約束的非剛性的模板模型映射技術(shù)4.贗復(fù)體與周圍組織的幾何及紋理光順技術(shù)研究（1） 面結(jié)構(gòu)光點(diǎn)云的數(shù)據(jù)特點(diǎn)（2） 基于雙傘形運(yùn)算的過(guò)渡曲面光順技術(shù)（3） 基于顏色梯度場(chǎng)最佳擬合的紋理光順技術(shù)5.支持顏面缺損修復(fù)的軟件架構(gòu)及其應(yīng)用流程（1） 軟件開(kāi)發(fā)平臺(tái)及關(guān)系結(jié)構(gòu)（2） 空間拓?fù)浣Y(jié)構(gòu)（3） 軟件數(shù)據(jù)結(jié)構(gòu)的UML描述（4） 系統(tǒng)應(yīng)用流程3.1研究?jī)?nèi)容2024/11/25三.研究?jī)?nèi)容在對(duì)非完備幾何數(shù)據(jù)的特點(diǎn)分析的基礎(chǔ)上,研究利用已有信息的特點(diǎn)來(lái)恢復(fù)缺損區(qū)數(shù)據(jù)信息的方法。以顏面整形和缺損修復(fù)為應(yīng)用背景,針對(duì)醫(yī)學(xué)上對(duì)快速非接觸無(wú)損測(cè)量和逼真建模新技術(shù)的需求,開(kāi)發(fā)相應(yīng)的模型構(gòu)建和處理的軟件工具,最終形成一套高度集成的具有臨床應(yīng)用價(jià)值的顏面缺損修復(fù)的CAD系統(tǒng),同時(shí)開(kāi)展臨床應(yīng)用。3.2研究目標(biāo)3.3預(yù)期成果形成國(guó)內(nèi)第一套具有自主知識(shí)產(chǎn)權(quán)的人體顏面數(shù)據(jù)快速獲取與逼真建模系統(tǒng)(逼真建模部分)編制一套人體顏面數(shù)據(jù)快速獲取與逼真建模CAD系統(tǒng)軟件2024/11/25四.技術(shù)路線總體技術(shù)路線2024/11/25四.技術(shù)路線2024/11/251.網(wǎng)格多視對(duì)齊技術(shù)1.1融合圖分析及主視圖法的多視對(duì)齊算法

1)基于柵格結(jié)構(gòu)探測(cè)環(huán)通過(guò)Hash數(shù)據(jù)結(jié)構(gòu)基于柵格來(lái)尋找重疊視圖,重疊程度與所設(shè)定的閾值比較來(lái)確定是否是合格的兩兩對(duì)齊,從而實(shí)現(xiàn)環(huán)的有效探測(cè)。2)環(huán)內(nèi)及環(huán)間的誤差分散處理

A環(huán)內(nèi)誤差分散算法

B環(huán)間誤差分散視圖重疊程度偏差顯示圖兩個(gè)視圖在法線方向的距離:綠色:-0.3—0.3mm;藍(lán)色:-0.3—-1.2mm;黃色:0.3—1.2mm;灰色表示為單一視圖.由圖可見(jiàn),綠色占絕大部分.少部分藍(lán)色和黃色是因?yàn)檫吘墧?shù)據(jù)不準(zhǔn)確.對(duì)齊效果滿足使用要求.融合圖及主視圖法的多視對(duì)齊流程圖最終效果圖3)補(bǔ)測(cè)數(shù)據(jù)的誤差分散處理補(bǔ)拍多幅視圖來(lái)補(bǔ)償細(xì)節(jié)部分的孔洞

1)一個(gè)結(jié)點(diǎn)上增加多個(gè)結(jié)點(diǎn)。2)兩個(gè)結(jié)點(diǎn)之間出現(xiàn)一個(gè)結(jié)點(diǎn),形成一個(gè)環(huán),出現(xiàn)了嵌套環(huán)的情況。解決方案:1)以為主視圖,按照主視圖法進(jìn)行誤差分散;2)以

為主視圖,

按照主視圖法進(jìn)行誤差分散?；卮饐?wèn)題1:在數(shù)據(jù)預(yù)處理時(shí),如何實(shí)現(xiàn)多視角的數(shù)據(jù)的坐標(biāo)歸一化?2024/11/252.具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù)2.1基于M估計(jì)的健壯ICP的對(duì)稱特征模型構(gòu)建方法

求對(duì)稱面的問(wèn)題就轉(zhuǎn)化為如何健壯地獲取ICP迭代的問(wèn)題。

帶有缺損信息的數(shù)據(jù)的健壯ICP算法由于相對(duì)于缺損區(qū)的完好區(qū)數(shù)據(jù)在迭代過(guò)程中是找不到正確的對(duì)應(yīng)點(diǎn)的,因此必須采取方法,對(duì)迭代過(guò)程中建立的臨時(shí)對(duì)應(yīng)點(diǎn)對(duì)的真?zhèn)芜M(jìn)行判斷.去掉可信度低的對(duì)應(yīng)點(diǎn)對(duì),以保證收斂的連續(xù)性和準(zhǔn)確性。對(duì)應(yīng)論文:ACADCAMSystemforFabricationofFacialProsthesis,RapidPrototypingJournal,(2011-Jun-17,vol17issue4)SCI檢索在精度和速度上都優(yōu)于其他方法!使用洛倫茲函數(shù)作為M估計(jì),

重新定義對(duì)齊問(wèn)題如下:給定一組對(duì)應(yīng)點(diǎn)對(duì),共軛梯度搜索實(shí)現(xiàn)下式最小化試驗(yàn):不同算法獲取的鏡像面與標(biāo)準(zhǔn)鏡像面偏差

回答問(wèn)題2:如何實(shí)現(xiàn)具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模?

2024/11/252.具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù)2.2基于糾正局部變形的對(duì)稱特征贗復(fù)體模型構(gòu)建方法對(duì)應(yīng)論文:基于糾正局部變形的對(duì)稱特征贗復(fù)體模型的構(gòu)建（待投）問(wèn)題的解決方案(要解決變形的方向/變形的程度/變形的方法)如右圖所示,一個(gè)需要進(jìn)行頜面贗復(fù)的患者,由于頜面摘除手術(shù)與頜面贗復(fù)手術(shù)的時(shí)間相隔較長(zhǎng),受缺損部位收縮的牽引,口腔部軟組織已出現(xiàn)了明顯的偏移現(xiàn)象,因此要對(duì)該患者進(jìn)行頜面贗復(fù)體制作時(shí),需要先將口腔部的局部變形先糾正過(guò)來(lái),然后再按照2.1的方法進(jìn)行贗復(fù)建模,否則就會(huì)出現(xiàn)歪嘴之類的不美的顏面外觀。第一步探求額頭及眼區(qū)的對(duì)稱面H（帶有法向n);第二步交互地選取鼻根,人中以及嘴角;第三步將鼻根,人中形成的平面與額頭及眼區(qū)的對(duì)稱面重疊;并得到新的嘴角位置,在移動(dòng)過(guò)程中保證AB.BC的長(zhǎng)度不變，且AB垂直于對(duì)稱面。<-變形的方向/變形的程度第四步嘴區(qū)的其余點(diǎn)數(shù)據(jù)按照基于彈性化的棱柱剛體的方法進(jìn)行變換;<-變形的方法第五步在糾正了局部變形后的臉面上按照2.1的方法進(jìn)行頜面贗復(fù)體的設(shè)計(jì)?；卮饐?wèn)題2:如何實(shí)現(xiàn)具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模(有局部變形)?

2024/11/253.基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù)3.1基于模板模型非剛性匹配的模型構(gòu)建方法

(1)基于健壯區(qū)域的特征相似的數(shù)據(jù)搜索(2)基于約束的非剛性的模板模型映射基于模板模型非剛性匹配的模型構(gòu)建流程圖1）首先進(jìn)行數(shù)據(jù)分割

A基于平均曲率圖的方法提取出鼻區(qū)

B排除掉臉部的非剛性區(qū)域?qū)?yīng)論文:ModelRetrievalandTemplateGuidedConstructionofNosalProsthesis（待投）回答問(wèn)題3:如何基于特征相似性來(lái)實(shí)現(xiàn)非完備數(shù)據(jù)的幾何建模?2）構(gòu)建數(shù)據(jù)庫(kù)3）相似性度量1）剛性對(duì)齊來(lái)確定配體鼻在患者數(shù)據(jù)上的位置2）基于約束的非剛性對(duì)齊實(shí)現(xiàn)鼻形態(tài)調(diào)整

A滿足約束

A1第一步剛性變換所帶來(lái)的約束

A2對(duì)稱面兩邊的數(shù)據(jù)變化應(yīng)該是相同的,不過(guò)方向相反

A3與人臉垂直方向縮放的基準(zhǔn)面是配體鼻的底面

B誤差表達(dá)

B1位置誤差

B2變形誤差

C最優(yōu)化方程截面線光順性的檢驗(yàn)

間隙檢驗(yàn)

截面線/切向偏差/曲率2024/11/254.贗復(fù)體與周圍組織的幾何及紋理光順技術(shù)4.1融合雙傘形運(yùn)算和顏色梯度場(chǎng)最佳擬合的幾何及紋理光順技術(shù)基于最佳擬合的顏色梯度場(chǎng)的紋理融合流程圖對(duì)應(yīng)論文:SmoothandTexturingBlendingSurfacesforMarginalAreaofFacialProsthesisadjoinedtoSurroundingTissue回答問(wèn)題4:如何保證贗復(fù)體與周圍組織區(qū)域的貼合性及美觀性?1面結(jié)構(gòu)光點(diǎn)云的數(shù)據(jù)特點(diǎn)2幾何光順首先對(duì)產(chǎn)生的間隙進(jìn)行三角化填充,然后運(yùn)用雙傘形運(yùn)算進(jìn)行網(wǎng)格平滑。3紋理光順點(diǎn)云與像素的一一對(duì)應(yīng)的關(guān)系

網(wǎng)格點(diǎn)P的傘形運(yùn)算示意

2024/11/25五、已經(jīng)完成的工作5.1已完成的研究點(diǎn)1融合圖及主視圖法的多視對(duì)齊算法2基于M估計(jì)的健壯ICP的模型構(gòu)建方法

3基于糾正局部變形的對(duì)稱特征贗復(fù)體模型構(gòu)建方法

4基于模板模型非剛性匹配的模型構(gòu)建方法

5融合雙傘形運(yùn)算和顏色梯度場(chǎng)最佳擬合的幾何及紋理光順技術(shù)5.2參加的科研項(xiàng)目

1上海市信息化專項(xiàng)資金項(xiàng)目基于三維視覺(jué)測(cè)量的顏面缺損修復(fù)CAD系統(tǒng)的開(kāi)發(fā)及其應(yīng)用推廣（2006-13）

2上海市科委科技攻關(guān)項(xiàng)目人體顏面數(shù)據(jù)快速獲取與逼真建模技術(shù)及其醫(yī)學(xué)應(yīng)用研究)

3上海市科委制造業(yè)信息化專項(xiàng)基于點(diǎn)云數(shù)據(jù)的復(fù)雜型面產(chǎn)品制造幾何精度評(píng)定方法與系統(tǒng)開(kāi)發(fā)(08DZ1121200)

2024/11/25五、已經(jīng)完成的工作5.3取得的知識(shí)產(chǎn)權(quán)（1）專利[1]習(xí)俊通，孫進(jìn)，熊耀陽(yáng)，陳曉波等，基于三維視覺(jué)測(cè)量的對(duì)稱特征顏面贗復(fù)體制備方法，中國(guó)，發(fā)明專利，（授權(quán)號(hào)ZL2.1,授權(quán)公告日2010.08.18）[2]習(xí)俊通、孫進(jìn)、熊耀陽(yáng)、陳曉波等,基于三維視覺(jué)測(cè)量的非對(duì)稱特征顏面贗復(fù)體制備方法,中國(guó)，發(fā)明專利,(申請(qǐng)?zhí)朲L2.6,公開(kāi)公告日2008.10.29)（2）發(fā)表論文[1]JinSun,XiaoboChen,JuntongXi,YaoyangXiong,ACADCAMSystemforFabricationofFacialProsthesis,RapidPrototypingJournal,(2011-Jun-17,vol17issue4)SCI檢索[2][2]JinSun,XiaoboChen,JuntongXi,IntegrationofPreciseMid-facialPlaneModelwithRealisticVisualizationTechniquesforDevelopingOcularProstheses,GESTSInternational