基于手繪識(shí)別與幾何約束推理的智能化建模體系

基于手繪識(shí)別與幾何約束推理的智能化建模體系

隨著計(jì)算機(jī)在工業(yè)設(shè)計(jì)和制造領(lǐng)域的廣泛應(yīng)用以及交互技術(shù)的快速發(fā)展，人們更加關(guān)注如何使用簡(jiǎn)單、快速和友好的模型。傳統(tǒng)的CAD系統(tǒng)采用基于WIMP(窗口、圖標(biāo)、菜單、指向設(shè)備)的交互界面,限制了用戶創(chuàng)造性能力的發(fā)揮.近年來,電子筆輸入界面以其自然、直觀的特性被引入到圖形建模系統(tǒng)中,從而使基于手繪輸入的三維建模系統(tǒng)得到了有力的發(fā)展.較早的基于筆交互的建模系統(tǒng)SKETCH是一個(gè)基于鼠標(biāo)的手勢(shì)理解的幾何建模體系,然而它所創(chuàng)建的幾何模型僅局限于簡(jiǎn)單的圖形,而且使用者必須嚴(yán)格遵循煩瑣的操作順序.在交互式建模研究上,最有意義的一個(gè)突破是Teddy,它開發(fā)了一個(gè)通過簡(jiǎn)單的輪廓繪制、填充、擠壓變形等操作獲得充分自由的三維圖形的“人性化”工具,但其局限于具有橢圓輪廓模型的創(chuàng)建.與之相似的研究還有文獻(xiàn),它們基于隱式曲面容易表示的優(yōu)勢(shì)進(jìn)行自然手繪輸入的建模和修改操作,但是,因?yàn)樗鼈儾辉试S局部的修改,更不容易控制不同曲面的連續(xù)性,所以作為結(jié)果的模型往往不能令人滿意.文獻(xiàn)中將用戶直接輸入和重復(fù)繪制的二維草圖轉(zhuǎn)化為實(shí)際的幾何元素,但卻只能生成比較規(guī)則的機(jī)械形狀,而非任意形狀物體.文獻(xiàn)雖然描述了通過自由曲線的輸入作為邊界和內(nèi)部特性約束來構(gòu)建自由曲面技術(shù),卻仍受制于三邊或四邊的封閉曲面.近年來,圍繞進(jìn)一步提高手繪輸入的理解,文獻(xiàn)提出了有效的基于正規(guī)化重徑特征和神經(jīng)無網(wǎng)絡(luò)方法的手繪工程圖的識(shí)別方法;文獻(xiàn)通過提供一系列的反饋來避免理解的二義性,但是它無法支持自由曲面的創(chuàng)建;文獻(xiàn)綜述了手勢(shì)建模的約束建立和求解范式;文獻(xiàn)定義了一系列常用手勢(shì)集;文獻(xiàn)開發(fā)了一個(gè)更為簡(jiǎn)單的手繪曲面創(chuàng)建系統(tǒng),并基于條件的約束自動(dòng)演繹具體操作,然而它無法實(shí)現(xiàn)后期的編輯和修改.本文提出一個(gè)智能化的手繪幾何建模系統(tǒng)模型,提供了一個(gè)更加自由的操作平臺(tái),支持二維和三維任意幾何實(shí)體的創(chuàng)建以及自由曲面的生成;并提出了高效的約束推理方法,通過對(duì)手繪輸入的時(shí)間、速度、像素位置以及空間結(jié)構(gòu)參數(shù)(平行、相交、疊加、垂直和角度等)、時(shí)間次序等的分析,結(jié)合及時(shí)的用戶反饋措施,有效地避免了手繪理解的不確定性.同時(shí),本文強(qiáng)調(diào)了智能建模系統(tǒng)的同步修改特性,給出了若干重要的修改手勢(shì)識(shí)別操作和插入特性的分類、重組技術(shù).1幾何結(jié)構(gòu)的顯示本文系統(tǒng)由手繪輸入界面、手繪識(shí)別、約束推理模塊、可視化輸出4大部分組成,其中識(shí)別模塊包含了與模型庫、基于知識(shí)表示及推理幾個(gè)模塊的交互,如圖1所示.1)手繪識(shí)別.基于對(duì)繪制的速度、曲率的分析可以識(shí)別出基本形狀,并抽取出一系列簡(jiǎn)單的幾何結(jié)構(gòu)、拓?fù)浣Y(jié)構(gòu)信息.2)圖形數(shù)據(jù)的表示和推理.數(shù)據(jù)的表示包括低級(jí)的幾何基本元素及具有一定意義的語義描述.系統(tǒng)自動(dòng)存儲(chǔ)多次筆畫輸入,根據(jù)邏輯框架自動(dòng)匹配,生成復(fù)雜的三維實(shí)體.3)模型庫.提供了信息的多次存取,它與推理系統(tǒng)是統(tǒng)一的、相互作用,并無嚴(yán)格的界限.4)可視化的輸出.系統(tǒng)提供了豐富的輸出反饋,同時(shí)提供了方便的交互性控制器操作.1.1黨建識(shí)別模塊手繪輸入信息的最大特點(diǎn)是不確定性.對(duì)于每一筆輸入,我們通過設(shè)置鼠標(biāo)的按下(SoButtonEvent∷State∷DOWN)和抬起(SoButtonEvent∷State∷UP)作為消息函數(shù)來獲取樣點(diǎn)和時(shí)間兩大基本參數(shù),系統(tǒng)自動(dòng)對(duì)其做進(jìn)一步細(xì)節(jié)參數(shù)統(tǒng)計(jì),包括曲率(Curvature())、速度(speed())、包圍盒(BoundingBox())、最大外三角(LargestTriangle())以及其凸多邊形(ConvexHull())等數(shù)值的運(yùn)算.根據(jù)已定義的模糊函數(shù)(FuzzySet())進(jìn)行匹配(Evaluate()),從而按照所獲得的可能性值形成列表(ShapeList()),最終確定具有最大可能性的識(shí)別圖形,如線、圓、橢圓、三角形、四邊形等.考慮到輸入動(dòng)作的模糊性以及判斷結(jié)果的精確性,我們提供了如圖2所示的用戶反饋面板.本文的手繪識(shí)別模塊建立在已開發(fā)的三維場(chǎng)景庫虛擬平臺(tái)上,它提供了支持鼠標(biāo)二維輸入以及空間手勢(shì)跟蹤(通過位置跟蹤儀器polhemus)的自由輸入界面.用戶的每一筆畫信息投影到三維空間的一個(gè)或若干個(gè)平面上,自動(dòng)轉(zhuǎn)換為如圖3所示的三維齊次坐標(biāo)數(shù)據(jù);同時(shí)開發(fā)了三維拖動(dòng)器來實(shí)現(xiàn)投影平面在三維空間的交互控制.通過計(jì)算各個(gè)筆畫的包圍盒BoundingBox()以及所在平面的角度信息來判斷筆畫之間的空間關(guān)系(相交、平行、垂直等).然而,一個(gè)三維概念模型的構(gòu)建通?；诙喙P的反復(fù)勾畫.對(duì)于多筆的輸入,必須考慮信息的多次存儲(chǔ)、條件的逐步匹配和推理——幾何約束求解.1.2正常0.條件約束生成三維模型我們?cè)谕评韼熘性O(shè)計(jì)了一系列的特性分類,每一種特性劃分都是由條件約束和圖形參數(shù)組成的樹形結(jié)構(gòu).我們采用先進(jìn)的推理技術(shù),匹配不同的約束進(jìn)行特性選擇,從而獲得具體的操作特性,如圖4所示.其中,幾何元素指基本的幾何圖元,如點(diǎn)、線、弧、曲線等,基本的幾何物體指矩形、圓、曲面、柱體、球體等基本的二維和三維幾何實(shí)體.低水平的條件約束包括幾何結(jié)構(gòu)信息、拓?fù)浣Y(jié)構(gòu)信息、紋理、顏色等,根據(jù)低水平的條件約束可以具體理解三維幾何圖形的創(chuàng)建,而基本的特性對(duì)應(yīng)一系列基本操作的理解,如分割、邊界的修改、凸包、融合等;高水平的特性描述即語義描述,由一系列基本的特征描述組成,并賦予一定的意義.決策樹中高水平的特性描述用于創(chuàng)建更為復(fù)雜的幾何模型,即一個(gè)三維場(chǎng)景的建立將不僅僅是幾何實(shí)體的收集,更是一個(gè)由基于語義標(biāo)識(shí)的不同實(shí)體的組合(如樹、房子、云等).對(duì)于多筆畫輸入,我們引入四元組G(Li,Si,Pi,Vi)來存儲(chǔ)每次的筆畫輸入信息,其中的每個(gè)元素都以類庫的形式存在:L表示當(dāng)前筆畫識(shí)別后的幾何形狀,S為空間位置信息,P是筆畫的拓?fù)湫畔?V為筆畫的特性信息(如紋理、顏色等);同時(shí),我們借用Ti表示獲得的幾何實(shí)體,Ci為必須滿足的條件約束.筆畫的空間結(jié)構(gòu)信息S和拓?fù)浣Y(jié)構(gòu)信息P來源于手勢(shì)識(shí)別過程.我們通過P→Pre_Gesture與P→Current_Gesture來存儲(chǔ)用戶順序輸入的筆畫數(shù)據(jù),同時(shí)計(jì)算各個(gè)筆畫所在平面的角度信息,以判斷筆畫之間的空間關(guān)系S.算法1.手繪建模算法Step1.初始化輸入信息G(Li,Si,Pi,Vi).Step2.筆畫識(shí)別G(Li,Si,Pi,Vi)→Ti(Cj).Step3.If(單筆畫)then轉(zhuǎn)入用戶對(duì)產(chǎn)生的預(yù)測(cè)結(jié)果進(jìn)行確定和可視化.Else執(zhí)行下一步.Step4.組合條件約束推理:Cm(Ti∧Ti-1∧…∧T1)→Tm(Tj(Ck),…,Tn(Cl),Cm).Step5.檢測(cè)Tm是否存在于已知的模型庫中If(!存在)then插入(Tm)于模型庫Elseif(繼續(xù))then轉(zhuǎn)Step1Else用戶對(duì)產(chǎn)生的預(yù)測(cè)結(jié)果進(jìn)行確定和可視化.算法1中,Step2為單筆畫輸入識(shí)別,它將產(chǎn)生基本的圖形信息Ti(見第1.1所述);Step3的實(shí)現(xiàn)是通過用戶的交互來確定建模為單筆輸入建模還是多筆輸入的連續(xù)過程,若為單筆,則直接顯示結(jié)果即可,若為多筆連續(xù)輸入建模則轉(zhuǎn)Step4,約束求解過程將回溯以往的歷史信息(基本圖元G→L、空間關(guān)系G→S、拓?fù)潢P(guān)系G→P等)進(jìn)行組合約束的匹配;最終,Tm為創(chuàng)建的三維模型.圖5所示為三維模型T13的推理和生成過程,其中,數(shù)字1～10表示必須滿足的條件約束,C1～C5為基本二維圖形Ti生成的條件約束;C6～C15為低水平條件約束(包括空間、時(shí)間和拓?fù)潢P(guān)系等的匹配),約束生成三維幾何圖形Ti,其約束過程如下:C1(L1,S1,P1,V1)→T1(圓,C1);C2(L2,S2,P2,V2)→T2(三角形,C2);C3(L3,S3,P3,V3)→T3(直線,C3);C4(L4,S4,P4,V4)→T4(正方形,C4);C5(L5,S5,P5,V5)→T5(矩形,C5);C6(L6,S6,P6,V6)→T6(菱形,C6);C7(X,Y)=(X相交于Y)∧(X為Y的前趨筆畫)∧(X∈T;Y∈T);C8(X,Y)=(X平行于Y)∧(X為Y的前趨筆畫)∧(X∈T;Y∈T);C9(X,Y)=(X垂直于Y)∧(X為Y的前趨筆畫)∧(X∈T;Y∈T);C10(X,Y)=(X相鄰Y)∧(X為Y的前趨筆畫)∧(X∈T;Y∈T);C11(C8,C9)=(C8→Tm)∧(C9→Tn)∧(Tm內(nèi)含于Tn).如圖5a所示,匹配樹的第一層節(jié)點(diǎn)表示基本的幾何圖形(單筆輸入的識(shí)別的結(jié)果),每個(gè)分支是產(chǎn)生的可能模型(根據(jù)約束的滿足情況).例如,圖5b中的T9(第二層左側(cè)),前一筆輸入為三角形,若與當(dāng)前的筆輸入的圓相鄰接,即條件約束C1,C2,C10依次匹配,系統(tǒng)自動(dòng)生成T9,它可表示成為T9(T2(C2),T1(C1),C10).同理,我們可以得到復(fù)雜的三維模型Ti(Tp(Cj),Tq(Ck),Cn):i,p,q,jk,n,∈integer.為了進(jìn)一步優(yōu)化整個(gè)推理過程,我們定義了如表1所示的筆畫節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu),通過鏈表的形式存儲(chǔ)連續(xù)的輸入信息;同時(shí)很容易追溯三維模型生成過程中所順序使用的筆畫和具體的條件約束,這將為以后的圖形分析和處理提供了很大的方便.例如,我們生成的三維模型為T10,根據(jù)表中的信息,可知其前驅(qū)筆畫為T9,當(dāng)前的筆畫為T1;而從T9字段可知,創(chuàng)建T9必須要順序繪制T2和T1.圖6所示為自由繪制生成的一系列三維模型.其中,圖6a中順序輸入的線和三角形滿足已定義的幾何約束(相交,見綠色圓區(qū)域),進(jìn)而生成三棱柱模型;圖6b所示為基于三筆連續(xù)輸入的模型生成過程,其中線、四邊形和三角形依次滿足幾何和空間約束;圖6c中,第一筆作為邊界曲線,第二筆表示曲面進(jìn)行拉皮生成的軌跡,從而構(gòu)成掃掠式曲面;圖6d描述了6筆連續(xù)繪制輪廓曲線,并自動(dòng)約束生成旋轉(zhuǎn)式曲面模型的過程;最終,圖6e中通過再次輸入的筆畫進(jìn)行輪廓修改,實(shí)現(xiàn)曲面的局部調(diào)控.1.3維實(shí)體表達(dá)動(dòng)作在概念設(shè)計(jì)階段,設(shè)計(jì)者的最初想法往往是不準(zhǔn)確的,需要不斷地進(jìn)行提煉、調(diào)整,因此簡(jiǎn)單、方便、快捷的修改技術(shù)將進(jìn)一步促進(jìn)整個(gè)創(chuàng)造性任務(wù)的實(shí)現(xiàn).本文系統(tǒng)開發(fā)了直觀的筆輸入進(jìn)行局部切割、復(fù)制、刪除等基本的手勢(shì)識(shí)別操作(如圖7,8所示).其中,無論是目標(biāo)的選擇還是手勢(shì)的繪制都通過鼠標(biāo)的交互動(dòng)作投影到三維空間實(shí)現(xiàn).其具體步驟如下:Step1.選擇三維實(shí)體SoPath*selPath=(SoSelection*)selection→getPath(selection→getNumSelected())Step2.判斷是否為編輯對(duì)象(SoNode*)selNode=selPath→getTail();selNode→isOfType(SoCube∷getClassTypeId())Step3.手繪輸入編輯信息并判斷識(shí)別,同時(shí)確定筆畫所在平面與三維實(shí)體的空間關(guān)系S,并實(shí)現(xiàn)具體編輯操作.同時(shí),我們開發(fā)了自由曲面模型的繪制、邊緣修改,以及內(nèi)部的局部和整體調(diào)控的可靠算法.1.4基于三維場(chǎng)景的三維建模及結(jié)果實(shí)現(xiàn)“人性化的”輸出是目前圖形顯示系統(tǒng)的主要方向,通過易于交互的控制器來調(diào)整幾何模型,編輯、修改其一系列的特性,如紋理、顏色、光及圖形尺寸的縮放等,進(jìn)一步豐富模型的語義描述,并調(diào)整了模型庫中圖形的特性信息.我們結(jié)合先進(jìn)的虛擬現(xiàn)實(shí)技術(shù)建立了高性能的顯示系統(tǒng),并已經(jīng)運(yùn)用OpenInventor和VC語言系統(tǒng)開發(fā)了三維場(chǎng)景虛擬建模平臺(tái),圖形信息以語義描述的節(jié)點(diǎn)表示,并以基于場(chǎng)景的圖結(jié)構(gòu)來組織相應(yīng)的特性信息及節(jié)點(diǎn)信息,而且方便的交互性控制器便于后期的修改和處理.2基于繪畫輸入的建模技術(shù)本文基于在概念設(shè)計(jì)階段的不斷提純的特