圖像拼接維維

圖像拼接維維第一頁，共九十二頁，2022年，8月28日1基礎知識1圖形學的研究內容23Ddatatypes32?-DData4Reconstruction5RangeAcquisitionMethods第二頁，共九十二頁，2022年，8月28日2第三頁，共九十二頁，2022年，8月28日3MainThemesImagingRepresenting2DimagesModelingRepresenting3DobjectsRenderingConstructing2Dimagesfrom3DmodelsAnimationSimulatingchangesovertime第四頁，共九十二頁，2022年，8月28日4Modeling--DesignGraphicsforEngineeringandArchitecturalSystemAutoCAD2002InteriorDesign第五頁，共九十二頁，2022年，8月28日5Modeling--Reconstruction第六頁，共九十二頁，2022年，8月28日63DDataTypesPointData“Pointclouds”Advantage:simplestdatatypeDisadvantage:noinformationonadjacency/connectivityVolumetricDataRegularly-spacedgridin(x,y,z):“voxels”Foreachgridcell,storeOccupancy(binary:occupied/empty)DensityOtherpropertiesPopularinmedicalimagingCATscansMRI第七頁，共九十二頁，2022年，8月28日73DDataTypesAdvantages:Can“seeinside”anobjectUniformsampling:simpleralgorithmsDisadvantages:LotsofdataWastesspaceifonlystoringasurfaceMost“vision”sensors/algorithmsreturn

pointorsurfacedata第八頁，共九十二頁，2022年，8月28日83DDataTypesSurfaceDataPolyhedralPiecewiseplanarPolygonsconnectedtogetherMostpopular:“trianglemeshes”SmoothHigher-order(quadratic,cubic,etc.)curvesBézierpatches,splines,NURBS,subdivisionsurfaces,etc.第九頁，共九十二頁，2022年，8月28日93DDataTypesAdvantages:UsuallycorrespondstowhatweseeUsuallyreturnedbyvisionsensors/algorithmsDisadvantages:Howtofind“surface”fortranslucentobjects?Parameterizationoftennon-uniformNon-topology-preservingalgorithmsdifficultImplicitsurfaces(cf.parametric)Zerosetofa3DfunctionUsuallyregularlysampled(voxelgrid)Advantage:easytowritealgorithmsthatchangetopologyDisadvantage:wastedspace,time第十頁，共九十二頁，2022年，8月28日102?-DDataImagestoresanintensity/coloralong

eachofasetofregularly-spacedraysinspaceRangeimagestoresadepthalongeachofasetofregularly-spacedraysinspaceNotacomplete3Ddescriptiondoesnotstoreobjectsoccluded(fromsomeviewpoint)View-dependentscenedescription第十一頁，共九十二頁，2022年，8月28日112?-DDataThisiswhatmostsensors/algorithms

reallyreturnAdvantagesUniformparameterizationAdjacency/connectivityinformationDisadvantagesDoesnotrepresententireobjectViewdependent第十二頁，共九十二頁，2022年，8月28日122?-DDataRangeimagesRangesurfacesDepthimagesDepthmapsHeightfields2?-DimagesSurfaceprofilesxyzmaps…第十三頁，共九十二頁，2022年，8月28日13RelatedFieldsComputerVisionPassiverangesensingRarelyconstructcomplete,accuratemodelsApplication:recognitionMetrologyMaingoal:absoluteaccuracyHighprecision,provableerrorsmoreimportantthanscanningspeed,completecoverageApplications:industrialinspection,qualitycontrol,modeling第十四頁，共九十二頁，2022年，8月28日14RelatedFieldsComputerGraphicsOftenwantcompletemodelLownoise,geometricallyconsistentmodelmoreimportantthanabsoluteaccuracyApplication:animatedCGcharacters第十五頁，共九十二頁，2022年，8月28日15TerminologyRangeacquisition,shapeacquisition,rangefinding,rangescanning,3DscanningAlignment,registrationSurfacereconstruction,3Dscanmerging,scanintegration,surfaceextraction3Dmodelacquisition第十六頁，共九十二頁，2022年，8月28日16RangeAcquisitionTaxonomyRange

acquisitionContactTransmissiveReflectiveNon-opticalOpticalIndustrialCTMechanical(CMM,jointedarm)RadarSonarUltrasoundMRIUltrasonictrackersMagnetictrackersInertial(gyroscope,accelerometer)第十七頁，共九十二頁，2022年，8月28日17RangeAcquisitionTaxonomyOptical

methodsPassiveActiveShapefromX: stereo motion shading texture focus defocusActivevariantsofpassivemethods Sjectedtexture Activedepthfromdefocus PhotometricstereoTimeofflightTriangulation第十八頁，共九十二頁，2022年，8月28日18TouchProbesJointedarmswithangularencodersReturnposition,orientationoftipFaroArm–FaroTechnologies,Inc.第十九頁，共九十二頁，2022年，8月28日19OpticalRangeAcquisitionMethodsAdvantages:Non-contactSafeUsuallyinexpensiveUsuallyfastDisadvantages:SensitivetotransparencyConfusedbyspecularityandinterreflectionTexture(helpssomemethods,hurtsothers)第二十頁，共九十二頁，2022年，8月28日20StereoFindfeatureinoneimage,searchalongepipolarlineinotherimageforcorrespondence第二十一頁，共九十二頁，2022年，8月28日21StereoAdvantages:PassiveCheaphardware(2cameras)EasytoaccommodatemotionIntuitiveanaloguetohumanvisionDisadvantages:Onlyacquiregooddataat“features”Sparse,relativelynoisydata(correspondenceishard)BadaroundsilhouettesConfusedbynon-diffusesurfacesVariant:multibaselinestereotoreduceambiguity第二十二頁，共九十二頁，2022年，8月28日22ActiveOpticalMethodsAdvantages:UsuallycangetdensedataUsuallymuchmorerobustandaccuratethanpassivetechniquesDisadvantages:Introduceslightintoscene(distracting,etc.)Notmotivatedbyhumanvision第二十三頁，共九十二頁，2022年，8月28日23PulsedTimeofFlightBasicidea:sendoutpulseoflight(usuallylaser),timehowlongittakestoreturn第二十四頁，共九十二頁，2022年，8月28日24PulsedTimeofFlightAdvantages:Largeworkingvolume(upto100m.)Disadvantages:Not-so-greataccuracy(atbest~5mm.)Requiresgettingtimingto~30picosecondsDoesnotscalewithworkingvolumeOftenusedforscanningbuildings,rooms,archeologicalsites,etc.第二十五頁，共九十二頁，2022年，8月28日25AMModulationTimeofFlightModulatealaseratfrequencym,

itreturnswithaphaseshiftNotetheambiguityinthemeasuredphase!

Rangeambiguityof1/2mn第二十六頁，共九十二頁，2022年，8月28日26AMModulationTimeofFlightAccuracy/workingvolumetradeoff

(e.g.,noise~1/500workingvolume)Inpractice,oftenusedforroom-sizedenvironments(cheaper,moreaccuratethanpulsedtimeofflight)第二十七頁，共九十二頁，2022年，8月28日27TriangulationMostscannersmountcameraandlightsourcerigidly,movethemasaunitMovingtheCameraandIllumination第二十八頁，共九十二頁，2022年，8月28日28Triangulation:Extendingto3DPossibility#1:addanothermirror(flyingspot)Possibility#2:projectastripe,notadotObjectLaserCamera第二十九頁，共九十二頁，2022年，8月28日29TriangulationScannerIssuesAccuracyproportionaltoworkingvolumeScalesdowntosmallworkingvolume

(e.g.5cm.workingvolume,50m.accuracy)Two-line-of-sightproblem(shadowingfromeithercameraorlaser)Triangulationangle:non-uniformresolutioniftoosmall,shadowingiftoobig(usefulrange:15-30)第三十頁，共九十二頁，2022年，8月28日30TriangulationScannerIssuesMaterialproperties(dark,specular)SubsurfacescatteringLaserspeckleEdgecurlTextureembossing第三十一頁，共九十二頁，2022年，8月28日31Multi-StripeTriangulationTogofaster,projectmultiplestripesButwhichstripeiswhich?Answer#1:assumesurfacecontinuityAnswer#2:coloredstripes(ordots)第三十二頁，共九十二頁，2022年，8月28日32Multi-StripeTriangulationAnswer#3:time-codedstripes第三十三頁，共九十二頁，2022年，8月28日33Time-CodedLightPatternsAssigneachstripeauniqueilluminationcode

overtime[Posdamer82]SpaceTime第三十四頁，共九十二頁，2022年，8月28日34InSpeck3D-DF

第三十五頁，共九十二頁，2022年，8月28日35內容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉型曲面碎片旋轉軸和母曲線的估計5旋轉型曲面碎片的拼接6總結與展望第三十六頁，共九十二頁，2022年，8月28日36文物文物是人類在歷史發(fā)展過程中遺留下來的具有歷史、藝術、科學價值的遺物和遺跡。珍貴的文物經受了不同程度的破壞和損害。每一次考古發(fā)現(xiàn)都會帶來大量殘缺、破碎的文物。第三十七頁，共九十二頁，2022年，8月28日37文物修復文物修復是指從殘缺、破碎的文物碎片中清理、修復出完整的文物，還原其本來面目。修復后的文物可以用于考古研究、博物館展覽、商業(yè)文化交流等活動中文物修復一般經過清理、拼接、粘合、補缺、全色幾道工序。第三十八頁，共九十二頁，2022年，8月28日38文物修復的困難文物修復技術性強。修復任務十分繁重，全國現(xiàn)有2000多萬件破損文物。操作不當會造成珍貴文物的進一步磨損和破壞。大型文物的搬運、拼接、粘合都比較困難。第三十九頁，共九十二頁，2022年，8月28日39考古現(xiàn)場的文物碎片第四十頁，共九十二頁，2022年，8月28日40計算機輔助文物復原加快文物復原的速度避免修復過程對文物的損害降低文物修復的難度把復原文物的數(shù)字模型直接應用于數(shù)字博物館的文物展示和檢索中，實現(xiàn)資源共享。在古生物學、事故分析、醫(yī)學手術、刑事偵查、娛樂游戲、地理分析、自動裝配、計算機輔助設計、化學等領域也有應用背景。第四十一頁，共九十二頁，2022年，8月28日41輔助修復的內容拼接、補缺和全色可以利用計算機輔助進行。數(shù)據(jù)獲取二維圖像:圖像配準三維數(shù)據(jù):多視數(shù)據(jù)配準缺片填補Imageinpainting技術基于樣本的紋理合成幾何數(shù)據(jù)的空洞填充碎片拼接預處理、提取特征局部拼接整體重建第四十二頁，共九十二頁，2022年，8月28日42國內外研究現(xiàn)狀美國stanford大學的FormaUrbisRomae項目美國Brown大學的SHAPE項目英國Brunel大學與歐洲十幾所大學3DMuraleSiggraph2005上MarkPauly的反問題浙江大學潘云鶴院士敦煌壁畫保護與修復西北大學周明全教授兵馬俑復原第四十三頁，共九十二頁，2022年，8月28日43平面碎片拼接的研究現(xiàn)狀自動拼版游戲(jigsawpuzzle)

拼版大小均勻，形狀規(guī)則邊界拼版完全匹配AndrewGlassner彩色照片碎片利用了顏色信息曲線匹配計算碎片間連續(xù)匹配的子曲線碎片之間是完全匹配嗎？

第四十四頁，共九十二頁，2022年，8月28日44曲面碎片拼接的研究現(xiàn)狀多視數(shù)據(jù)配準（multiviewregistration）依據(jù)視圖的重疊部分空間曲線曲面匹配曲線的曲率和撓率曲面的特殊性質如何提取碎片的邊界線？如何計算邊界線的曲率？第四十五頁，共九十二頁，2022年，8月28日45邊界檢測的研究現(xiàn)狀沒有被三角形鏈包圍的點基于采樣點的Voronoi圖遞歸最小二乘法Pearson卡方檢驗和遺傳算法最小生成樹法精確、整體最優(yōu)的邊界？

第四十六頁，共九十二頁，2022年，8月28日46旋轉型曲面碎片旋轉型曲面碎片出土最多，使用最廣泛最容易破碎可靠的記時器形制和裝飾的變化反映了文化的分布和傳播考古學家認為陶器是歷史的脊柱第四十七頁，共九十二頁，2022年，8月28日47旋轉型曲面碎片的研究現(xiàn)狀三維Hough變換估計旋轉軸M-estimator方法估計旋轉軸向量枚舉法估計旋轉軸分兩步求解兩個自由參數(shù)的最小化問題，實現(xiàn)拼接陶器表面的小裝飾物？

重疊檢測？最優(yōu)拼接？第四十八頁，共九十二頁，2022年，8月28日48本文的工作基礎山東大學考古數(shù)字博物館1萬余件文物藏品的數(shù)字化100多件文物精品三維數(shù)據(jù)文物信息管理系統(tǒng)網(wǎng)站內容采編系統(tǒng)虛擬展館及交互漫游系統(tǒng)基于Web的多媒體展示系統(tǒng)計算機輔助文物建模系統(tǒng)第四十九頁，共九十二頁，2022年，8月28日49計算機輔助文物建模系統(tǒng)第五十頁，共九十二頁，2022年，8月28日50本文的研究內容平面碎片的特征提取邊界線的特征點邊界線的曲率平面碎片的拼接曲面碎片的特征提取邊界線的提取邊界線的曲率旋轉型曲面碎片的旋轉軸和母曲線旋轉型曲面碎片的拼接第五十一頁，共九十二頁，2022年，8月28日51內容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉型曲面碎片旋轉軸和母曲線的估計5旋轉型曲面碎片的拼接6總結與展望第五十二頁，共九十二頁，2022年，8月28日52平面碎片的拼接非常薄的平面文物碎片一般采用二維圖像表示重點考慮碎片之間一般是不完全匹配的特點第五十三頁，共九十二頁，2022年，8月28日53拼接流程碎片的接合一般有Y和T兩種類型接合點至少是其中一條曲線的特征點

第五十四頁，共九十二頁，2022年，8月28日54基于移動向量的數(shù)字曲線曲率計算利用曲線的Taylar展開第五十五頁，共九十二頁，2022年，8月28日55第五十六頁，共九十二頁，2022年，8月28日56數(shù)字曲線特征點的提取構造尺度－特征曲線用雙曲線擬合尺度－特征曲線雙曲線頂點對應的尺度作為自適應尺度值，計算特征點第五十七頁，共九十二頁，2022年，8月28日57所有最長公共子序列的檢測最長公共子序列問題是最長公共子串問題的一般形式，在匹配字符串時允許插入、刪除字符，可以用來估計兩個字符串的相似程度，相當于允許對曲線進行拉伸、縮短操作，符合物體碎片的拼接情況。但是一般的LCS算法，只能求出其長度和一個LCS。為了避免丟失正確的拼接情況，需要找出碎片之間所有可能的合理拼接情況，需要檢測所有的最長公共子序列(ALCS)。基于單位四元數(shù)的絕對定位方法，根據(jù)找出的LCS，計算剛體變換矩陣。第五十八頁，共九十二頁，2022年，8月28日58重疊檢測第五十九頁，共九十二頁，2022年，8月28日59度量標準距離度量：變換后的匹配點之間的剩余距離之和越小越好。長度度量：輪廓曲線的匹配部分越長越好。變化度量：曲率變化比較大的同樣的兩條子輪廓曲線，更可能是正確的匹配。第六十頁，共九十二頁，2022年，8月28日60實驗結果第六十一頁，共九十二頁，2022年，8月28日61第六十二頁，共九十二頁，2022年，8月28日62內容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉型曲面碎片旋轉軸和母曲線的估計5旋轉型曲面碎片的拼接6總結與展望第六十三頁，共九十二頁，2022年，8月28日63曲面碎片用三維掃描儀對碎片表面采樣，可以得到稠密均勻的采樣點集，稱為點云點集開曲面表示的碎片是指外表面為曲面、厚度非常薄的空心文物的碎片。點云表示三維碎片比網(wǎng)格表示具有很多優(yōu)勢第六十四頁，共九十二頁，2022年，8月28日64主要步驟根據(jù)一個點周圍的k個最鄰近點，計算每個點的邊界概率。為了找到真正的邊界點，根據(jù)點的邊界概率和局部鄰近關系構造一個賦權無向圖。利用最大圈算法尋找邊界線，保證提取的邊界線是封閉的，且是整體最優(yōu)的。第六十五頁，共九十二頁，2022年，8月28日65度量標準最大角度量半圓盤度量形狀度量綜合標準第六十六頁，共九十二頁，2022年，8月28日66典型數(shù)據(jù)的邊界概率值第六十七頁，共九十二頁，2022年，8月28日67封閉邊界線的提取對鄰近點在最小二乘平面上的投影進行Delaunay三角化，如果兩個點屬于同一個三角形，則定義為相鄰。點云作為無向圖的頂點集合點的局部鄰接關系作為無向圖的邊集合邊的權值提取封閉邊界曲線就轉換為在賦權無向圖中尋找最大圈問題第六十八頁，共九十二頁，2022年，8月28日68最大圈算法構造另外一個賦權無向圖

第六十九頁，共九十二頁，2022年，8月28日69第七十頁，共九十二頁，2022年，8月28日70實驗結果第七十一頁，共九十二頁，2022年，8月28日71第七十二頁，共九十二頁，2022年，8月28日72最小生成樹方法vs最大圈方法第七十三頁，共九十二頁，2022年，8月28日73內容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉型曲面碎片旋轉軸和母曲線的估計5旋轉型曲面碎片的拼接6總結與展望第七十四頁，共九十二頁，2022年，8月28日74旋轉體通過旋轉軸、母曲線可以完全描述旋轉體的幾何結構避免陶器表面小裝飾物的影響第七十五頁，共九十二頁，2022年，8月28日75主要步驟計算碎片上各個點的法線，并用Plucker坐標表示采用RANSAC方法估計旋轉軸的自由參數(shù)把三維點及其法向量變換到一個通過旋轉軸的二維平面上，采用多項式曲線擬合母曲線。第七十六頁，共九十二頁，2022年，8月28日76法向量的計算基于Delaunay或Voronoi性質的組合方法采用最優(yōu)化的數(shù)值計算方法二次曲面片法完全最小二乘法奇異值分解，其最小的奇異值對應的單位向量就是要估計的單位法向量第七十七頁，共九十二頁，2022年，8月28日77直線的Plucker坐標三維歐氏空間中的一條直線可以由直線上的一個點和單位方向向量確定。直線的矩向量與直線上點的選擇無關。單位方向向量和矩向量組成的拼六小組稱為直線的標準Plucker坐標。

第七十八頁，共九十二頁，2022年，8月28日78RANSAC算法RANSAC(RANdomSAmplingConsensus)是一種健壯的估計方法?；舅枷耄横槍栴}設計一個目標函數(shù)隨機取樣估計該函數(shù)的參數(shù)值把所有的數(shù)據(jù)劃分為所謂的“內點”和“外點”尋找最大內點數(shù)對應的參數(shù)值。用所有的“內點”重新計算和估計函數(shù)的參數(shù)值。第七十九頁，共九十二頁，2022年，8月28日79母曲線的擬合把每個點及其法向量繞著旋轉軸旋轉到平面坐標中

平面次隱式多項式的一般形式線性最小二乘問題第八十頁，共九十二頁，2022年，8月28日80實驗結果

第八十一頁，共九十二頁，2022年，8月28日81

第八十二頁，共九十二頁，2022年，8月28日82內容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉型曲面碎片旋轉軸和母曲線的估計5旋轉型曲面碎片的拼接6總結與展望第八十三頁，共九十二頁，2022年，8月28日83旋轉型曲面碎片的拼接流程檢測碎片的邊界線估計旋轉軸和母曲線把兩塊碎片的旋轉軸對齊在兩個自由度的搜索空間中，利用邊界線、母曲線匹配實現(xiàn)拼接。第