人臉關(guān)鍵幀動(dòng)畫研究

UniversityofScienceandTechnologyofAdissertationforbachelor’sKeyFrameAnimationofHumanAuthor:XiaojieXuSpeciality:AutomationSupervisor:Prof.LigangLiuFinishedtime:May2018算中文內(nèi)容·····················································英文內(nèi)容····················································· 緒論····················································2第一節(jié)背景介紹···············································2第二節(jié)本文內(nèi)容···············································3第三節(jié)數(shù)學(xué)基礎(chǔ)···············································4一、Delaunay三角剖分·········································4二、仿射變換與正交投影·······································5三、四元數(shù)與球面線性插值·····································7··································8特征檢測···············································8網(wǎng)格生成···············································9區(qū)域變形···············································顏色融合···············································小結(jié)···················································基于姿態(tài)估計(jì)的算法··································人臉重建···············································參數(shù)估計(jì)···············································坐標(biāo)插值···············································小結(jié)·················································································································································總結(jié)···················································展望···················································參考文獻(xiàn)·························································第一章緒論第一節(jié)鍵幀中填補(bǔ)中間幀。一般來說，如果所看畫面之幀率高于每秒約10至12幀的時(shí)置關(guān)鍵幀的參數(shù)和幀數(shù)，而由自動(dòng)插值生成中間幀。圖 關(guān)鍵幀動(dòng)畫（來源根據(jù)以上對(duì)關(guān)鍵幀動(dòng)畫的介紹，可以了解到這樣的事實(shí)：為了描述圖像于目前的并不會(huì)面向某些特定的圖像進(jìn)行算法上的修改，故，對(duì)于想? 的兩幅人臉圖像，目前暫時(shí)沒有較好的解決方案。本文的后續(xù)部分安排如下：下一節(jié)將會(huì)介紹本文所算法中涉及的一ly三角剖分算法，仿射變換與正交投影以及基本的四元數(shù)和相對(duì)應(yīng)的球面線性插值（ERP（平面算法與算法的工作流程，以及實(shí)現(xiàn)它們第三節(jié)一、Delaunay在計(jì)算機(jī)圖形學(xué)以及有限元分析等學(xué)科中，點(diǎn)集的(Triangulation)整個(gè)渲染、計(jì)算過程，其中最為常見的是Delaunay三角剖分。以下，給出1.1三角剖分：假設(shè)V是二維實(shí)數(shù)域上的有限點(diǎn)集，邊e是由點(diǎn)集中的點(diǎn)作為端點(diǎn)構(gòu)成的封閉線段EeV的一個(gè)三角剖分T=(V,E)是一個(gè)平面圖G，該平面圖滿足條件：平面圖中所有的面都是三角面，且所有三角面的合集是散點(diǎn)集V1.2DelaunayE中的一條邊e的兩個(gè)端點(diǎn)VeDelaunay邊。1.3DelaunayV的一個(gè)三角剖分TDelau-nay邊，那么該三角剖分稱為Delaunay三角剖分。圖 Delaunay三角剖分（來源二、仿射變換與正交投(Affinetransformation)，是指在幾何中，一個(gè)向量空間進(jìn)行一次線與旋轉(zhuǎn)(Rotation)。? = 0,..., （賦予了內(nèi)積的向量空間）中，有正交投影(Orthogonalprojections)的概念。例將三中的向量(x,y,z)到到向量(x,y,0)的正交投影，可以用矩陣表 P 01 (a)仿射變 (b)正交投圖 ??三、四元數(shù)與球面線性插繞轉(zhuǎn)軸n=(nx,ny,nz)旋轉(zhuǎn)θ角度這一過程，等價(jià)于四元數(shù)：p=[w,=[cos(θ/2),=[cos(θ/2),(sin(θ/2)nx,sin(θ/2)ny,性插值(sphericallinearinterpolation,SLERP)[2]Slerp(p0,p1;t)

sin[(1?sin p0

sin?p1.在上式中，p0p1為兩個(gè)四元數(shù)，cos?=p0p1=w1w2v1v2；t為參數(shù)，滿足0?t?1.圖 球面線性插值（來源?第二章基于平面網(wǎng)格插值的算法第一節(jié)SIFT特征的算法。對(duì)于人臉圖像，同樣希望能夠提取人臉特征，從而獲得逐像素的對(duì)應(yīng)關(guān)系（理想情況。然而，實(shí)際上沒有必要這樣做，因此這會(huì)征對(duì)應(yīng)點(diǎn)。為了解決這個(gè)問題，可以使用人臉檢測工具獲取圖像中的人臉sh_predictor_68_face_landmarks.dat獲取人臉特征點(diǎn)。(a)原始人臉圖像 (b)原始人臉圖像圖 dlib人臉特征點(diǎn)檢（紅色矩形部分）與人臉 ，5967樣的效果，僅僅找到人臉部分的關(guān)鍵特息，以此作為對(duì)應(yīng)信息是不夠的，因此，在圖像邊緣加上8個(gè)特征點(diǎn)，共計(jì)76個(gè)特征點(diǎn)（下標(biāo)從0開始，故記為常量Np=75，下同，即點(diǎn)集：P1={p0,p1,...,pNp P2={p0,p1,...,pNp 的每一個(gè)元素記錄了位置(x,y)的值，即特征點(diǎn)在對(duì)應(yīng)原始輸入人臉圖像中的坐第二節(jié)經(jīng)過以上步驟，已經(jīng)得到兩張?jiān)驾斎肴四槇D像的特征點(diǎn)集P1,P2，各Np+1個(gè)特征點(diǎn)，代表著原始輸入人臉圖像中主要人臉部分以及部分背景Pa={p0,p1,...,pNp pk=(pk+pk)/ k=0, ,Delaunay三角剖分良好的幾何性質(zhì)與拓?fù)潢P(guān)系，在此公共特征點(diǎn)集Pa上完全相同的，且包含了圖像中的人臉這一語義信息。在此，使用OpenCV中自帶Subdiv2D類的getTriangleList方法進(jìn)行網(wǎng)格的生成。包含有Nt個(gè)元素，相應(yīng)的每個(gè)元素作為一個(gè)列表，代表一個(gè)三角形的三個(gè)頂點(diǎn)，包含有3個(gè)元素，記錄了構(gòu)成三角形區(qū)域的特征點(diǎn)在集合Pa中的下標(biāo)，即：D(Pa)=={t1,t2, ={(k1,k2,k3),(k1,k2,k3),...,(k1,k2,k3 N在上式中，對(duì)平均特征點(diǎn)集進(jìn)行Delaunay三角剖分后，所得到集合中的元素個(gè)數(shù)，完全由平均特征點(diǎn)的信息所決定，即Nt=Nt(Pa)i[0,Np]kj=0,1,,Npi例如，下標(biāo)（從0開始計(jì)數(shù)）為(18,37,36)與(37,18,19)的特征點(diǎn)在角剖分實(shí)現(xiàn)的結(jié)果如下圖所示(為了方便顯示整個(gè)網(wǎng)格的結(jié)構(gòu)，以其中一張圖 平均三角剖分網(wǎng)從圖中可以注意到，由于的公共三角剖分基于兩張?jiān)紙D像的“公共特應(yīng)關(guān)系。而通過這一節(jié)的操作，利用平均特征點(diǎn)作為過渡，找到了原始圖像第三節(jié)區(qū)域變形來進(jìn)行中間幀特征點(diǎn)集Pm的生成，首先給出以下公式：pk(t)=(1?t)pk+ k=0, ,xk(t)=(1?t)xk+ yk(t)=(1?t)yk+ k=0, ,在上式中，(xk,yk),(xk,yk),(xk,yk)分別代表兩張?jiān)驾斎肴四槇D像的第 個(gè)特征點(diǎn)坐標(biāo)以及某個(gè)中間幀的第k個(gè)特征點(diǎn)坐標(biāo)；t∈[01]t=01 通過以上位置坐標(biāo)計(jì)算公式，對(duì)于任意的插值參數(shù)t∈[0,1]，可以計(jì)算出Np+1組二維坐標(biāo)(xk(t),yk(t))；同時(shí)，由于之前已經(jīng)得到了網(wǎng)格的 致三角剖分關(guān)系T，故對(duì)原始圖像的任意三角區(qū)域，都可以找到中間幀的Titi=(k1k2k3) Ai((

Ai((

i=1,2,...,AiAi 在此，為了計(jì)算三角區(qū)域之間的仿射變換，選擇調(diào)用OpenCV中 getAffineTransform函數(shù)進(jìn)行計(jì)算。對(duì)于每一個(gè)ti∈T，該函數(shù)可以計(jì)算出符合條件的仿射變換Ai,A 1記t1=( 1 p1ip1ip1i)ti=(p2ip2ip2i)titi據(jù)以上求出的仿射變換，計(jì)算其在中間幀相應(yīng)三角形tm=( k3)中的 pi,pi 置。這樣便完成了逐像素的位置插值。注意，此處使用OpenCV中的warpAffine函數(shù)進(jìn)行計(jì)算，但是這個(gè)函數(shù)處理的是矩形區(qū)域，故對(duì)每一個(gè)三角區(qū)同時(shí)，由于對(duì)原始圖像中像素位置進(jìn)行，不一定能夠完全填充中間幀的相應(yīng)區(qū)域，故需要進(jìn)行“填補(bǔ)縫隙”操作。在此，同樣使用OpenCV，將上述函數(shù)的融合模式參數(shù)設(shè)置為BORDER_REFLECT_101即可由系統(tǒng)自動(dòng)完成該第四節(jié)域的仿射變換的求解，已經(jīng)得到了從原圖像到中間幀圖像的逐像素位置插值像素點(diǎn)的顏色信息，故使用以下公式進(jìn)行顏色融合：I(xk,yk)=(1?t)I(xk,yk)+tI(xk, IRGBk與之前的區(qū)別，在上一節(jié)中，有k=0,1,...,Np，而在此處，由于已經(jīng)求出(a)原始人臉圖像 (b)融合人臉圖 (c)原始人臉圖像圖 顏色融合此處選取t=0.5，則可以認(rèn)為，這是一張由兩張來源不同的原始輸入第五節(jié)Delaunay三角剖分算法生成公共區(qū)域的三角網(wǎng)格；隨后，圖 平面算法流程 第三章基于姿態(tài)估計(jì)的算第一節(jié)xk(t)=(1?t)xk+ yk(t)=(1?t)yk+ k=0, ,（PCA絡(luò)[4]復(fù)原出其三維人臉模型。此處，令圖像平面為XOY；三維模型多出的維度，即Z軸方向（即人臉平面的近似法向）的偏移量為0。 (a)原始人臉圖像 (b)原始人臉圖像 (c)重建三維模圖 單張圖像重建人臉三維模a使用3D造型Rhino進(jìn)行標(biāo)記，得出各自的68個(gè)特征點(diǎn)，并取平均，得出公共特征點(diǎn)集P′，集合中的每一個(gè)元素記錄了位置(x,y,z)的值。a圖 使用Rhino對(duì)三維模型進(jìn)行標(biāo)第二節(jié)參數(shù)估計(jì)以上，得到了兩張?jiān)驾斎肴四槇D像的二維特征點(diǎn)集P1,P2（使用上a弱投影機(jī)模型

10 V= +Vy 在上式中，s為標(biāo)量，代表尺度因子；R3X3矩陣，代表旋轉(zhuǎn)因子；T這個(gè)模型的建立基于這樣的假設(shè)[6]：在拍攝時(shí)，假設(shè)從世界坐標(biāo)系z軸上的偏置相對(duì)于人臉平均到相機(jī)的距離可以忽略不計(jì)解從P′到P,P 由三元組(s,R,T)描述 在上式中，s1個(gè)未知參數(shù)，R3個(gè)未知參數(shù)（歐拉角），T包含2個(gè)未知參數(shù)。由于所選定的特征點(diǎn)對(duì)應(yīng)關(guān)系有68組（如果加上一些人臉上的其他信息，如頭發(fā)，則有可能，但一般來說，生成的三維模型只會(huì)帶有圖 模型正交投組對(duì)應(yīng)關(guān)系對(duì)模型參數(shù)提出了很高的要求，因此需要精確估計(jì)，以此降低誤對(duì)于包含三個(gè)歐拉角信息的旋轉(zhuǎn)矩陣R，使用[7]集成回歸模型X,Y,Zθx,θy,θz，其正弦、余弦值分別為sx,cx,sy,cy,sz,cz，那么相應(yīng)的旋轉(zhuǎn)矩陣為：c czsxsy— sxsz+y R(θx,θy,θz) cxcz+ 將R作用在平均人臉模型P′a10

Y軸上，即水平方向上的偏轉(zhuǎn)，以此作計(jì)足夠精確，最小二乘求解與直接求解差別并不大。以直接求解為例，取原始圖像中的特征點(diǎn)對(duì)(pi,pj)與降維后的人臉模型中的對(duì)應(yīng)特征點(diǎn)對(duì)(p′i,令s=∥pi?pj∥/∥p′?p′∥即可；同理，選取合適的pk與p′ 平移因子T a以上，便求出了描述從P′到P1,P2的三元組(s1,R1,T1)與(s2,R2,T2)，本節(jié)中的矩陣運(yùn)算，均可通過數(shù)值計(jì)算進(jìn)行計(jì)算。a第三節(jié)人臉模型進(jìn)行操作，即：對(duì)于同樣的平均三維人臉模型，通過一個(gè)參數(shù)t控=

+T 會(huì)產(chǎn)生圖像的，這也是最常見的做法，可以寫作：s(t)=(1?t)s1+ts2T(t)=(1?t)T1+tT2而對(duì)于旋轉(zhuǎn)因子，線性插值不再使用[8]中采用矩陣極分解的方法，人為地Slerp(p0,p1;t)

sin[(1?sin p0

sin?p1.件中自帶的dcm2quat與quat2dcm函數(shù)來完成。(a)原始人臉圖像 (b)融合人臉圖 (c)原始人臉圖像圖 顏色融合相同的方法（Delaunay網(wǎng)格，三角區(qū)域仿射變換等）進(jìn)行區(qū)域變形第四節(jié)圖 算法流程第四章兩章中，本文只展示了中間幀生成時(shí)的中間差值結(jié)果，即參量t=0.5而為了生成所希望的“關(guān)鍵幀動(dòng)畫”，還需要對(duì)t從0到1進(jìn)行不斷地賦值。之前在緒論中提到，當(dāng)每秒鐘的幀數(shù)（FPS）達(dá)到10-12時(shí)，人眼就會(huì)對(duì)在此，使用對(duì)t分別賦值，生成一系列的中間幀(t=0,1時(shí)為原始輸入的人臉圖像，即關(guān)鍵幀)，隨后使用OpenCV提供的Writer函數(shù)將轉(zhuǎn)化為一段，于是便完成了關(guān)鍵幀動(dòng)畫。圖 平面算法產(chǎn)生的結(jié)了比較平面和這兩種算法的效果，在此選取完全相同的兩組輸入圖像，：第一組（姿態(tài)差異較小第二組（姿態(tài)差異較大圖 兩種算法生成中間幀的對(duì)如上圖所示，由于在算法中較為精確地估計(jì)出了頭部姿態(tài)以及投第五章總結(jié)與展望第一節(jié)本文以人臉關(guān)鍵幀動(dòng)畫作為背景，將給定原始輸入人臉圖像的圖像變形問面網(wǎng)格插值的算法與基于姿態(tài)估計(jì)的算法。第二節(jié)辦法用類似dlib檢測人臉圖像中的特征點(diǎn)的方式來使用機(jī)器自動(dòng)完成。對(duì)于不同來源且姿態(tài)差異較大的人臉圖像，兩種算法的效果都并不“自（由于這種情況本身屬于虛擬的情況，故其生成的中間幀看上去不夠自然是情有可原的）統(tǒng)方法所的的瓶頸問題都將得到解決。Berg,Markde,etal.“ComputationalGeometry:AlgorithmsandApplications.”TheMathe-maticalGazette,vol.85,no.502,1997,p.175.Shoemake,Ken.“AnimatingRotationwithQuaternionCurves.”Proceedingsofthe12thAn-nualConferenceonComputerGraphicsandInteractiveTechniques,vol.19,no.3,1985,pp.King,DavisE.“Dlib-Ml:AMachineLearningToolkit.”JournalofMachineLe