國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目

國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目目錄項(xiàng)目總報(bào)告石教英課題組總結(jié)項(xiàng)目總報(bào)告一、項(xiàng)目概況二、項(xiàng)目研究背景、目標(biāo)與內(nèi)容三、項(xiàng)目成果統(tǒng)計(jì)四、四年來研究工作主要成果概述石教英課題組總結(jié)一、基于圖像的建模（IBM）技術(shù)二、基于圖像的繪制（IBR）技術(shù)三、基于預(yù)計(jì)算及采樣的實(shí)時(shí)高真實(shí)感圖 像的繪制技術(shù)四、統(tǒng)一數(shù)字幾何處理框架研究一、項(xiàng)目概況項(xiàng)目名稱：

虛擬現(xiàn)實(shí)中基于圖像的建模和繪制項(xiàng)目負(fù)責(zé)人：

石教英，浙江大學(xué)項(xiàng)目承擔(dān)單位和學(xué)術(shù)領(lǐng)導(dǎo)人：浙江大學(xué)石教英教授和彭群生教授，中科院自動(dòng)化所胡占義研究員，軟件研究所吳恩華研究員起止年月：2001年1月至2004年12月資助金額：110.00萬元四年已到款金額：110.00萬元經(jīng)費(fèi)結(jié)余金額：4萬元二、研究背景，目標(biāo)與內(nèi)容(1)項(xiàng)目的研究背景虛擬現(xiàn)實(shí)(VR)技術(shù)是信息領(lǐng)域的前沿，對(duì)視覺建模和繪制的真實(shí)感和實(shí)時(shí)性有很高的要求計(jì)算機(jī)圖形學(xué)面臨的兩大挑戰(zhàn)：高度真實(shí)感，實(shí)時(shí)性IBMR（基于圖像的建模和繪制）是1990年代初提出的新興研究方向，鮮明特點(diǎn)：具有高度真實(shí)感和較好的實(shí)時(shí)性缺乏幾何信息二、研究背景，目標(biāo)與內(nèi)容(2)TraditionalComputerGraphicsInput:Geometry,MaterialProperties(Color,Reflectance,…etc.),Lighting.TransformationandRasterization.ComputerVisionmethodstorecovermodels.Transform(&Lighting)Rasterization二、研究背景，目標(biāo)與內(nèi)容(3)TopLevelSurvey3DGraphicsImage-BasedRendering&ModelingGeometryorSurfaceBasedRendering&ModelingSle-BasedGraphicsVolumeRendering二、研究背景，目標(biāo)與內(nèi)容(4)二、研究背景，目標(biāo)與內(nèi)容(5)WhyIBR?Problemsoftriangle-basedgraphics:Alwaysstartsfromscratch.Millionsofsub-pixeltriangles.GeometryIBRModelingDifficultEasyComplexity#triangles#pixelsFidelitySyntheticAcquired二、研究背景，目標(biāo)與內(nèi)容(6)項(xiàng)目的研究目標(biāo)采用基于圖像的建模技術(shù)來替代傳統(tǒng)的建模，以及采用圖像空間變換操作來替代傳統(tǒng)的圖形繪制過程，試圖解決VR建模復(fù)雜度，繪制速度及繪制質(zhì)量等相互制約的矛盾研究IBMR的基礎(chǔ)理論和算法二、研究背景，目標(biāo)與內(nèi)容(7)項(xiàng)目的研究?jī)?nèi)容基于圖像的三維場(chǎng)景表示及漫游基于像素采樣點(diǎn)的光照屬性和表面幾何重建虛擬景物與現(xiàn)實(shí)場(chǎng)景畫面的無縫合成IBMR采樣圖像的實(shí)時(shí)、高效壓縮和存取IBMR場(chǎng)景圖像采樣方法和技術(shù)優(yōu)化實(shí)現(xiàn)一個(gè)在CAVE環(huán)境下的IBMR實(shí)時(shí)漫游系統(tǒng)三、項(xiàng)目成果統(tǒng)計(jì)(1)四年來已發(fā)表論文統(tǒng)計(jì)說明：論文數(shù)量較多，質(zhì)量較高；國(guó)際著名期刊論文達(dá)13篇（未包括已錄用論文數(shù)）論文的年平均數(shù)也可看出四位學(xué)術(shù)帶頭人的平均產(chǎn)出，達(dá)31篇年度國(guó)際期刊國(guó)際會(huì)議國(guó)內(nèi)一級(jí)學(xué)報(bào)小計(jì)SCIEIISTP20010515201134200231222374172200369153071592004492538792總計(jì)133577125195417年平均3.258.7519.25314.7513.54.75三、項(xiàng)目成果統(tǒng)計(jì)(2)2.人才培養(yǎng)統(tǒng)計(jì) 畢業(yè)博士生23名年均培養(yǎng)畢業(yè)博士生5.75名 畢業(yè)碩士生14名年均培養(yǎng)畢業(yè)碩士生3.5名 博士生平均發(fā)表論文125篇/23名=5篇四、四年來研究工作主要成果概述(1)1、杰出成果簡(jiǎn)介 本項(xiàng)目推動(dòng)了我國(guó)計(jì)算機(jī)圖形學(xué)與計(jì)算機(jī)視覺兩個(gè)學(xué)科的交叉研究，取得了一批矚目的成果。四、四年來研究工作主要成果概述(2)1、杰出成果簡(jiǎn)介（1）在攝像機(jī)外參數(shù)標(biāo)定的PnP問題上糾正了前人一直認(rèn)為的基于距離的PnP問題和基于變換PnP問題相互等價(jià)的錯(cuò)誤結(jié)論；深入研究了PnP多解的幾何分布問題。在攝像機(jī)自標(biāo)定這一國(guó)際研究熱點(diǎn)問題上，證明了對(duì)變參數(shù)攝像機(jī)僅僅知道平移運(yùn)動(dòng)不足以達(dá)到仿射重建，糾正了存在于學(xué)術(shù)界長(zhǎng)達(dá)十余年的錯(cuò)誤結(jié)論；提出多種基于主動(dòng)視覺的攝像機(jī)自標(biāo)定理論和算法，包括新的線性攝像機(jī)自標(biāo)定方法和基于射影重建的攝像機(jī)自標(biāo)定方法等。有多篇論文發(fā)表在IEEETrans.PAMI，PatternRecognitionLetters,ImageandVisionComputing及國(guó)內(nèi)一級(jí)學(xué)報(bào)上。四、四年來研究工作主要成果概述(3)1、杰出成果簡(jiǎn)介（2）國(guó)際上首次解決了基于（深度）圖像自動(dòng)重建基于點(diǎn)與平面混合表示模型的復(fù)雜虛擬場(chǎng)景的技術(shù)難題，提出一系列創(chuàng)新算法有：能自動(dòng)地將龐雜輸入數(shù)據(jù)劃分為點(diǎn)與平面模型的像素分類算法；基于Jacobi矩陣的采樣密度比較算法；重建平面的空洞分析和預(yù)填補(bǔ)算法；針對(duì)基于點(diǎn)表達(dá)的物體的局部重建和重采樣算法以及針對(duì)點(diǎn)面混合表達(dá)的實(shí)時(shí)漫游算法等。該項(xiàng)工作作為KluwerAcademic出版社于2004年1月出版的“IntegratedImageandGraphicsTechnologies”專著的一章發(fā)表，是一項(xiàng)國(guó)際領(lǐng)先水平的成果。四、四年來研究工作主要成果概述(4)1、杰出成果簡(jiǎn)介（3）提出了一個(gè)統(tǒng)一的數(shù)字幾何處理框架，解決了將網(wǎng)格模型參數(shù)化到球面（或平面）的全局參數(shù)化的方法。在該框架下，所有成熟的數(shù)字圖象處理技術(shù)都可以運(yùn)用于3D幾何數(shù)據(jù)處理上。論文也為后續(xù)應(yīng)用研究奠定了理論基礎(chǔ)。該項(xiàng)工作進(jìn)一步促進(jìn)了計(jì)算機(jī)圖形學(xué)和圖像處理兩個(gè)學(xué)科在表示和處理層次上的交叉和融合。應(yīng)用統(tǒng)一的數(shù)字幾何處理框架，提出了曲面濾波處理方法，我們的主要貢獻(xiàn)在于提出了兩步法球面參數(shù)化方法。有關(guān)論文發(fā)表在國(guó)際著名期刊ComputerAidedDesign以及國(guó)內(nèi)計(jì)算機(jī)學(xué)報(bào)英文版等期刊上。四、四年來研究工作主要成果概述(5)1、杰出成果簡(jiǎn)介（4）基于預(yù)計(jì)算及采樣的實(shí)時(shí)高真實(shí)感圖像的繪制技術(shù)提出了一種球面光輻射傳輸映射的新繪制方法。已有的預(yù)計(jì)算光輻射傳輸函數(shù)方法局限于單個(gè)物體或靜態(tài)場(chǎng)景的繪制。我們提出一種處理包含動(dòng)態(tài)場(chǎng)景的預(yù)計(jì)算方法,可以高效地繪制環(huán)境光源下動(dòng)態(tài)場(chǎng)景中的軟陰影和相互反射。另外還提出了一種稱為光照相關(guān)紋理的新繪制方法——光照相關(guān)紋理技術(shù)。這是一種基于采樣的實(shí)時(shí)高真實(shí)感圖像繪制技術(shù)，是基于圖像繪制技術(shù)的新發(fā)展。相關(guān)論文發(fā)表在ComputerGraphicsForum和Computers&Graphics等國(guó)際著名期刊上。四、四年來研究工作主要成果概述(6)1、杰出成果簡(jiǎn)介（5）提出了基于相關(guān)系數(shù)的多源圖像最優(yōu)融合方法和線性最優(yōu)融合方法，并證明了兩者的等價(jià)性，改進(jìn)了計(jì)算的時(shí)空復(fù)雜性?？紤]人類視覺對(duì)圖像局部區(qū)域的敏感程度，提出了一種新的基于人類視覺系統(tǒng)（HVS）的小波圖像融合新算法，大大改善了圖像融合的結(jié)果。有關(guān)論文發(fā)表在國(guó)內(nèi)一級(jí)學(xué)報(bào)上。四、四年來研究工作主要成果概述(7)1、杰出成果簡(jiǎn)介（6）開發(fā)了多個(gè)具有較高應(yīng)用前景的基于圖像建模和繪制的原型系統(tǒng)，如基于序列圖像的建筑場(chǎng)景建模原型系統(tǒng)（SIBM），基于圖像繪制的胡雪巖故居及靈隱寺景觀漫游原型系統(tǒng)等。四、四年來研究工作主要成果概述(8)2、完成情況概述1）計(jì)劃任務(wù)書上所列6項(xiàng)研究?jī)?nèi)容都作了相關(guān)研究，并取得相應(yīng)的結(jié)果（參見歷年年度進(jìn)展報(bào)告），但是各項(xiàng)內(nèi)容完成質(zhì)量是不平衡的。作為本項(xiàng)目的基礎(chǔ)，即第1，2兩項(xiàng)內(nèi)容取得了較多和較高水平的成果。這部分成果可以看作為本項(xiàng)目的代表性成果。2）完成多個(gè)具有重要應(yīng)用前景的IBMR原型系統(tǒng)。3）本項(xiàng)目在完成原定研究計(jì)劃外，還新增了幾項(xiàng)與圖象、視頻以及真實(shí)感圖形實(shí)時(shí)繪制等方面相關(guān)的研究?jī)?nèi)容，也取得較高水平的結(jié)果。3、四位學(xué)術(shù)帶頭人總結(jié)報(bào)告四、四年來研究工作主要成果概述(9)

石教英課題組總結(jié)報(bào)告1、基于圖像的建模（IBM）技術(shù)2、基于圖像的繪制（IBR）技術(shù)3、基于預(yù)計(jì)算及采樣的實(shí)時(shí)高真實(shí)感圖像的繪制技術(shù)4、統(tǒng)一數(shù)字幾何處理框架研究1、基于圖像的建模（IBM）技術(shù)主要貢獻(xiàn)論文[文1]提出了一種強(qiáng)壯的特征點(diǎn)匹配算法。論文提出了基于硬幾何約束的“匹配強(qiáng)度”概念，可減少匹配歧義性，同時(shí)提出了一種擴(kuò)展指派算法用于全局優(yōu)化，可達(dá)到最終消除匹配歧義問題。論文還改進(jìn)了Harris特征點(diǎn)提取算法，增強(qiáng)對(duì)噪聲的扼制能力。特征點(diǎn)匹配是計(jì)算機(jī)視覺的一項(xiàng)重要研究?jī)?nèi)容，具有重要應(yīng)用價(jià)值，特別在基于圖象建模方向上更是一個(gè)基礎(chǔ)性工作，本文算法為下步基于圖象建模工作打下了扎實(shí)基礎(chǔ)。四、四年來研究工作主要成果概述(10)

石教英課題組總結(jié)報(bào)告四、四年來研究工作主要成果概述(11)

石教英課題組總結(jié)報(bào)告四、四年來研究工作主要成果概述(12)

石教英課題組總結(jié)報(bào)告四、四年來研究工作主要成果概述(13)

石教英課題組總結(jié)報(bào)告1、基于圖像的建模（IBM）技術(shù)主要貢獻(xiàn)論文[文72，73，74]針對(duì)建筑物模型的規(guī)則性，提出一種基于平面的建筑物模型重建算法，包括相機(jī)定標(biāo)，基平面提取，平面位置和方向計(jì)算等子過程，最后通過交互操作指明場(chǎng)景中各平面之間的相互關(guān)系，遞歸求解各平面位置和法向，達(dá)到根據(jù)圖像重建建筑物場(chǎng)景表面模型的目的。四、四年來研究工作主要成果概述(14)

石教英課題組總結(jié)報(bào)告基于序列圖像建筑場(chǎng)景建模軟件原型系統(tǒng)（SIBM）SIBM系統(tǒng)功能模塊

采樣圖像重建模型

四、四年來研究工作主要成果概述(15)

石教英課題組總結(jié)報(bào)告2、基于圖像的繪制（IBR）技術(shù)主要貢獻(xiàn)提出了一種新的基于圖像的場(chǎng)景表示方法：平面狹縫圖像場(chǎng)，以及一種稱為深度狹縫圖像全景拼圖的新方法，形成一種新的基于圖像的繪制方法，可實(shí)時(shí)生成具有高真實(shí)感的漫游場(chǎng)景。四、四年來研究工作主要成果概述(16)

石教英課題組總結(jié)報(bào)告2、基于圖像的繪制（IBR）技術(shù)主要貢獻(xiàn)論文[會(huì)28,29]是對(duì)著名的“畫中游”(Tourintopicture-TIP)技術(shù)的一種改進(jìn)，提出了TIP建模中相對(duì)深度的新概念，應(yīng)用相對(duì)深度概念可以方便地定義參考圖象的位置，從而可以方便地構(gòu)建TIP的模型。論文給出了單滅點(diǎn)TIP和雙滅點(diǎn)TIP相對(duì)深度的計(jì)算方法。實(shí)驗(yàn)證明本文方法的可行性和正確性。四、四年來研究工作主要成果概述(17)

石教英課題組總結(jié)報(bào)告

胡雪巖故居及靈隱景區(qū)漫游系統(tǒng)界面（點(diǎn)擊左圖進(jìn)入視頻演示）四、四年來研究工作主要成果概述(18)

石教英課題組總結(jié)報(bào)告3、基于預(yù)計(jì)算及采樣的實(shí)時(shí)高真實(shí)感圖像的繪制技術(shù)主要貢獻(xiàn)論文[文8]提出了一種球面光輻射傳輸映射的新繪制方法。球面光輻射傳輸映射是一種預(yù)計(jì)算的光輻射傳輸函數(shù)技術(shù)，該技術(shù)用于實(shí)時(shí)的全局光照繪制。已有的預(yù)計(jì)算的光輻射傳輸函數(shù)方法局限于單個(gè)物體或靜態(tài)場(chǎng)景的繪制。我們提出一種處理包含動(dòng)態(tài)場(chǎng)景的預(yù)計(jì)算方法。球面光輻射傳輸映射技術(shù)可以高效地繪制環(huán)境光源下動(dòng)態(tài)場(chǎng)景中地軟陰影和相互反射。

DEMO1

DEMO2四、四年來研究工作主要成果概述(19)

石教英課題組總結(jié)報(bào)告3、基于預(yù)計(jì)算及采樣的實(shí)時(shí)高真實(shí)感圖像的繪制技術(shù)主要貢獻(xiàn)論文[文9]提出了一種稱為光照相關(guān)紋理的新繪制方法——光照相關(guān)紋理技術(shù)。利用這一技術(shù)，可以將真實(shí)材料表面的三維紋理移植到虛擬模型上，在環(huán)境光的照射下，進(jìn)行實(shí)時(shí)繪制。這是一種基于采樣的實(shí)時(shí)高真實(shí)感圖像繪制技術(shù)，是基于圖像繪制技術(shù)的新發(fā)展。

DEMO四、四年來研究工作主要成果概述(20)

石教英課題組總結(jié)報(bào)告4、統(tǒng)一數(shù)字幾何處理框架研究主要貢獻(xiàn)論文[文33]提出了一個(gè)統(tǒng)一的數(shù)字幾何處理框架，即提出了將網(wǎng)格模型參數(shù)化到球面（或平面）的全局參數(shù)化方法。在論文的框架下，所有成熟的數(shù)字圖象處理技術(shù)都可以運(yùn)用于3D幾何數(shù)據(jù)處理上。論文也為后續(xù)應(yīng)用研究奠定了理論基礎(chǔ)。四、四年來研究工作主要成果