虛擬現(xiàn)實(shí)技術(shù)的厲害翻譯

1、基于圖像的視覺(jué)船體(文章開(kāi)始下一個(gè)頁(yè)面)哈佛社區(qū)使得本文公開(kāi)可用。請(qǐng)分享你如何訪(fǎng)問(wèn)的好處。你的故事很重要。引用Matusik Wojciech,克里斯·比勒拉梅什拉斯卡爾,Steven j . Gortler和倫納德麥克米蘭。2000年。基于圖像視覺(jué)船體。在27日的年度會(huì)議上舉行(2000)計(jì)算機(jī)圖形學(xué)和互動(dòng)技術(shù),23-28 7月,2000年,新奧爾良,路易斯安那州舉行。和庫(kù)爾特Akeley,369 - 374。計(jì)算機(jī)圖形學(xué)年會(huì)系列。紐約,紐約:協(xié)會(huì)計(jì)算機(jī)器。發(fā)布版本doi:10.1145/344779.3449512014年1月9日通過(guò)1:40:56是美國(guó)東部時(shí)間可引用的鏈接htt

2、p://urn-3 HUL.InstRepos:/urn-3本文使用條款是從哈佛大學(xué)的緩沖存儲(chǔ)庫(kù)下載和使用條款和條件適用于其他材料,如前所述在/urn-3:# LAA HUL.InstRepos:dash.current.terms-of -使用基于圖像的視覺(jué)船體Wojciech Matusik *為麻省理工學(xué)院計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室克里斯·比勒*為麻省理工學(xué)院計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室拉梅什拉斯卡爾計(jì)算機(jī)科學(xué)系北卡羅萊納大學(xué)教堂山Steven j . Gortler部門(mén)哈佛大學(xué)工程與應(yīng)

3、用科學(xué)學(xué)院倫納德·麥克米蘭*為麻省理工學(xué)院計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室摘要這篇文章中,我們描述一個(gè)有效的基于圖像的方法計(jì)算和陰影視覺(jué)船體從輪廓圖像數(shù)據(jù)。我們的算法利用對(duì)極幾何和incre心理計(jì)算來(lái)實(shí)現(xiàn)一個(gè)常數(shù)呈現(xiàn)每像素呈現(xiàn)成本。它不受計(jì)算復(fù)雜,有限的決議,或量化工件的體積的方法。我們將演示使用該算法在實(shí)時(shí)虛擬現(xiàn)實(shí)應(yīng)用程序運(yùn)行少量的視頻流。關(guān)鍵詞:計(jì)算機(jī)視覺(jué)、基于圖像的渲染,Con -有益立體幾何混雜。渲染算法。1介紹可視化和導(dǎo)航在虛擬環(huán)境組成的真實(shí)和合成對(duì)象一直是計(jì)算機(jī)圖形學(xué)的一個(gè)長(zhǎng)期目標(biāo)。術(shù)語(yǔ)“虛擬現(xiàn)實(shí)”受歡迎由拜23,描述了一個(gè)設(shè)置在一個(gè)真實(shí)的場(chǎng)景是“捕獲”的相機(jī),然后通過(guò)一個(gè)虛擬攝像頭,好

4、像現(xiàn)場(chǎng)是一個(gè)綜合計(jì)算機(jī)圖形學(xué)環(huán)境。在實(shí)踐中,這一目標(biāo)難以實(shí)現(xiàn)。先前的嘗試使用廣泛的計(jì)算機(jī)視覺(jué)算法來(lái)提取一個(gè)顯式的幾何模型所需的場(chǎng)景。不幸的是,許多計(jì)算機(jī)視覺(jué)算法(如立體視覺(jué),光流,從材質(zhì)和形狀)實(shí)時(shí)使用過(guò)于緩慢。因此,大多數(shù)虛擬現(xiàn)實(shí)系統(tǒng)em -策略離線(xiàn)后處理獲得視頻序列。此外,許多計(jì)算機(jī)視覺(jué)算法做出不切實(shí)際的簡(jiǎn)化的假設(shè)(如所有表面擴(kuò)散)或強(qiáng)加的限制(例如,對(duì)象必須有足夠的非周期性紋理)的健壯的操作。我們提出一種新的算法rithm綜合實(shí)時(shí)虛擬現(xiàn)實(shí)場(chǎng)景的渲染。不僅是我們的技術(shù)快,這也使得一些sim - plifying假設(shè)和幾乎沒(méi)有限制。*(wojciech | cbuehler | mcmill

5、an)圖1 -輪廓的交集錐定義了一個(gè)approxi交配對(duì)象稱(chēng)為視覺(jué)船體的幾何表示。視覺(jué)船體有一些可取的屬性:它包含實(shí)際的對(duì)象,和一致的輪廓。我們的算法是基于一個(gè)近似幾何representation描繪的場(chǎng)景被稱(chēng)為視覺(jué)船體(參見(jiàn)圖1)。視覺(jué)船體由使用可見(jiàn)silhou -表示“小”信息從一系列的參考圖片來(lái)確定一個(gè)保守的殼,逐步包含實(shí)際的對(duì)象?；诘脑瓌tcalculatus eliminatus28,視覺(jué)船體在某種意義上雕刻了地區(qū)的空間對(duì)象的“不是”。視覺(jué)船體表示可以由一系列的3 d建設(shè)性的立體

6、幾何(CSG)十字路口。先前的健壯的實(shí)現(xiàn)該算法充分利用枚舉體積或八叉樹(shù)表示的。這些方法通常有大內(nèi)存的需求,因此,往往是局限于低分辨率表示。在本文中,我們表明,一個(gè)人可以有效地渲染前行為視覺(jué)船體沒(méi)有構(gòu)造一個(gè)輔助幾何或體積表示。我們描述的算法是基于圖像的渲染過(guò)程的所有步驟都計(jì)算在“圖像空間坐標(biāo)的參考圖像。我們也使用參考圖像時(shí)紋理陰影視覺(jué)船體。確定參考圖像,可以使用,我們計(jì)算,從而參考相機(jī)有一個(gè)視覺(jué)上的每個(gè)點(diǎn)的船體。我們提出一個(gè)基于圖像的可見(jiàn)性算法基于對(duì)極幾何和麥克米倫的閉塞兼容訂購(gòu)18,允許我們陰影的視覺(jué)船體在每個(gè)輸出像素大約持續(xù)時(shí)間。使用我們的基于圖像視覺(jué)船體(IBVH)算法,我們已經(jīng)創(chuàng)建了一個(gè)

7、系統(tǒng),各級(jí)流程視頻直播流和任正非,觀(guān)察到的場(chǎng)景實(shí)時(shí)虛擬相機(jī)的觀(guān)點(diǎn)。結(jié)果表示也可以結(jié)合傳統(tǒng)計(jì)算機(jī)圖形對(duì)象。©ACM,2000年。這是作者的版本的工作。這里發(fā)布許可的ACM供你個(gè)人使用。再分配。明確的版本發(fā)表在27日年會(huì)在計(jì)算機(jī)圖形學(xué)和互動(dòng)技術(shù),369 - 374。/ 10.1145/344779.3449512背景和以前的工作拜的虛擬現(xiàn)實(shí)系統(tǒng)202313可能是秘密地- est在精神的渲染系統(tǒng)我們想象。他們最初的實(shí)現(xiàn)使用一組攝像機(jī)結(jié)合multi-baseline立體聲技術(shù)提取模型dy -運(yùn)動(dòng)的場(chǎng)景。這些方法需要大量脫機(jī)處理,但他們正在探索專(zhuān)用硬件這一任務(wù)

8、。最近,他們已經(jīng)開(kāi)始探索volume-carving方法更接近,我們使用的方法2630。波拉德和海耶斯的21身臨其境的視頻對(duì)象允許呈現(xiàn)變形實(shí)時(shí)視頻流的實(shí)時(shí)場(chǎng)景模擬三維相機(jī)運(yùn)動(dòng)。他們表示也使用輪廓,但在一個(gè)不同的方式。他們比賽sil - houette邊跨雙視圖,并使用這些通訊計(jì)算變成小說(shuō)的觀(guān)點(diǎn)。這美聯(lián)社友善一些限制,因?yàn)檩喞吘壷g一般不一致的觀(guān)點(diǎn)。視覺(jué)船體。許多研究人員已經(jīng)使用輪廓有限公司美信區(qū)分地區(qū)三維空間對(duì)象在哪里,不存在22819。這個(gè)雕刻的最終結(jié)果是一個(gè)形狀稱(chēng)為對(duì)象的視覺(jué)船體14。一個(gè)視覺(jué)船體總是包含對(duì)象。此外,這是一個(gè)平等或更嚴(yán)格的適應(yīng)對(duì)象的凸包。我們的算法計(jì)算一個(gè)視點(diǎn)相關(guān),采樣對(duì)

9、象的版本的視覺(jué)船體每個(gè)渲染幀。假設(shè)一些原創(chuàng)3 d對(duì)象從一組引用視圖r .每個(gè)引用視圖r與內(nèi)部像素輪廓sr覆蓋的對(duì)象。體視圖r一個(gè)創(chuàng)建卷vhr定義為所有的光線(xiàn)從圖像的角度對(duì)其形象的公關(guān)和通過(guò)這些內(nèi)部點(diǎn)的飛機(jī)。它是保證實(shí)際的對(duì)象必須在vhr con -保存的。這句話(huà)適用于所有r;因此,對(duì)象必須是包含在體積vhR = rRvhr。R去無(wú)限的大小,包括所有可能的觀(guān)點(diǎn),vhR收斂的形狀稱(chēng)為視覺(jué)船體vh的原始幾何。視覺(jué)船體是不能保證原來(lái)的對(duì)象因?yàn)榘济鎱^(qū)域不能區(qū)分單獨(dú)使用silhou表示“小”信息。在實(shí)踐中,一個(gè)人必須構(gòu)造近似可視外殼我們荷蘭國(guó)際集團(tuán)(ing)只有有限數(shù)量的觀(guān)點(diǎn)。給定的一組視圖R,近似vhR

10、是最好的保守的幾何描述,可以實(shí)現(xiàn)基于輪廓信息(參見(jiàn)圖1)。如果不需要一個(gè)保守的估計(jì),然后alterna,表示通過(guò)擬合實(shí)現(xiàn)高階表面近似實(shí)測(cè)資料2。卷雕刻。計(jì)算高分辨率視覺(jué)船體可以棘手的問(wèn)題。十字路口的卷vhr需要某種形式的CSG。如果輪廓描述polygonal網(wǎng),然后使用多面體CSG CSG可以做,但這是很難在一個(gè)健壯的方式。更常見(jiàn)的方法用于剪影輪廓轉(zhuǎn)換成視覺(jué)船體卷雕刻2282919527。這種方法將空置的地區(qū)從一個(gè)顯式volu指標(biāo)表示。以外的所有體素下降一個(gè)給定的視圖的投影輪廓錐被淘汰的體積。這個(gè)過(guò)程被重復(fù)每個(gè)引用的形象。由此產(chǎn)生的體積是一個(gè)視覺(jué)的量化表示船體根據(jù)給定的體積網(wǎng)格。我們的觀(guān)點(diǎn)依賴(lài)

11、方法的一個(gè)主要優(yōu)勢(shì)是,它最小化工件造成這種量子化。CSG呈現(xiàn)。許多算法被de - veloped快速呈現(xiàn)的CSG模型,但大多數(shù)都不太適合我們的任務(wù)。描述的算法摘得24,123圖2 -計(jì)算IBVH涉及三個(gè)步驟。首先,所需的射線(xiàn)投影到圖像的引用。接下來(lái),預(yù)計(jì)的時(shí)間間隔確定射線(xiàn)穿過(guò)剪影。最后,這些間隔了回所需的射線(xiàn),他們可以從其他參考與間隔分割的圖像。要求首先分解到每一個(gè)堅(jiān)實(shí)的結(jié)合凸原語(yǔ)。這種分解可以證明昂貴的合并剪影上。同樣,11中描述的算法需要渲染通過(guò)每一層的深度復(fù)雜性。我們的方法不需要預(yù)處理輪廓錐。事實(shí)上,沒(méi)有明確的數(shù)據(jù)結(jié)構(gòu)用來(lái)表示sil - houette卷以外的參考圖像。使用射線(xiàn)追蹤,可以

12、使一個(gè)對(duì)象定義的CSG樹(shù)操作沒(méi)有明確計(jì)算產(chǎn)生的固體25。這是通過(guò)獨(dú)立地考慮每一個(gè)雷和計(jì)算每個(gè)對(duì)象所占據(jù)的間隔沿射線(xiàn)。CSG操作可以應(yīng)用在1 d組間隔。這種方法需要計(jì)算一個(gè)3 d ray-solid國(guó)米部分。在我們的系統(tǒng)中,問(wèn)題是一個(gè)特殊的類(lèi)的固體體形狀與一個(gè)常數(shù)截面投影。這種特殊的形式讓我們計(jì)算相當(dāng)于3 d雷國(guó)際米蘭部分在2 d使用參考圖像?；趫D像的渲染。提出了許多不同的基于圖像的渲染技術(shù)近年來(lái)3415612?；趫D像的渲染技術(shù)的一個(gè)優(yōu)點(diǎn)是其驚人的現(xiàn)實(shí)主義,這在很大程度上是源自于他們使用獲得圖像。然而,一個(gè)常見(jiàn)的這些方法的限制是無(wú)法動(dòng)態(tài)場(chǎng)景模型。這主要是由于數(shù)據(jù)采集和預(yù)處理re - quir

13、ements困難。我們的系統(tǒng)在實(shí)時(shí)生成基于圖像的模型,使用相同的圖像構(gòu)建IBHV和陰影最終渲染。3 Visual-Hull計(jì)算我們的方法來(lái)計(jì)算視覺(jué)船體有兩個(gè)不同的字符-節(jié)電高:它是在圖像空間中計(jì)算參考圖像和結(jié)果表示觀(guān)點(diǎn)的依賴(lài)。進(jìn)行幾何計(jì)算在圖像空間的優(yōu)勢(shì)是,它可以消除瘟疫的重采樣和量化工件體積的方法。我們限制我們的抽樣所需的圖像的像素,導(dǎo)致一個(gè)視點(diǎn)相關(guān)的視覺(jué)赫爾表示。事實(shí)上,我們相當(dāng)于IBVH表示計(jì)算精確的3 d輪廓錐十字路口和呈現(xiàn)結(jié)果與傳統(tǒng)的渲染方法。我們的技術(shù)計(jì)算視覺(jué)船體使用投影方法類(lèi)似于發(fā)現(xiàn)CSG路口25。鑒于所需的視圖,我們計(jì)算每個(gè)觀(guān)看雷與視覺(jué)船體的十字路口。由于計(jì)算機(jī)視覺(jué)船體只涉及交

14、叉操作,我們可以按照任何順序執(zhí)行CSG計(jì)算。此外,在船體的視覺(jué)環(huán)境,每個(gè)CSG原始是廣義錐(射影擠壓的2 d圖像輪廓)。因?yàn)殄F固定(擴(kuò)展)截面,可以減少到3 d線(xiàn)十字路口便宜2 d線(xiàn)的交叉點(diǎn)上。如圖2所示,我們執(zhí)行以下步驟:1)我們項(xiàng)目的一個(gè)3 d查看射線(xiàn)參考圖像。2)我們執(zhí)行的交集與2 d sil - houette投影射線(xiàn)。這些十字路口導(dǎo)致一系列時(shí)間間隔以及室內(nèi)的光錐的橫截面。3)每個(gè)間隔就抬回3 d使用一個(gè)簡(jiǎn)單的投影映射,然后分割的結(jié)果ray-cone路口從其他參考圖像。天真的算法來(lái)計(jì)算這些IBVH射線(xiàn)十字路口:IBVHisect(intervalImage研發(fā),refImList R)

15、每referenceImage R R computeSilhouetteEdges(R)為每個(gè)像素desiredImage d p做ervals = 0 . .inf 每referenceImage r r為每個(gè)掃描線(xiàn)在每個(gè)像素p d年代ray3D ry3 = compute3Dray(p,d.camInfo)lineSegment2D l2 = project3Dray(ry3 r.camInfo)間隔int2D = calcIntervals(l2,r.silEdges)間隔int3D = liftIntervals(int2D、r.camInfo ry3)erval

16、s = ervals ISECT int3D 來(lái)分析該算法的效率,讓n像素在一個(gè)掃描線(xiàn)的數(shù)量。圖像中像素的數(shù)量d O(n2)。讓k參考圖像的數(shù)量。然后,上面的算法運(yùn)行時(shí)間的漸近O(ikn2),在我的時(shí)間復(fù)雜度calcIntervals例行公事。如果我們測(cè)試每個(gè)投影射線(xiàn)的十字路口的e的邊緣輪廓,calcIntervals的運(yùn)行時(shí)間是O(e)。鑒于l的平均次數(shù),silhouette1投影射線(xiàn)相交,輪廓邊緣的數(shù)量將O(ln)。因此,IBVHisect的運(yùn)行時(shí)間計(jì)算的所有2 d路口所需的觀(guān)點(diǎn)是O(lkn3)。這種天真的算法的性能可以提高利用增量計(jì)算有關(guān)的對(duì)極幾何參考所提供的和期望的圖像。這些

17、改進(jìn)將使我們能夠減少1 d線(xiàn)十字路口的攤余成本每所需的像素O(左),導(dǎo)致一個(gè)im -實(shí)現(xiàn)的IBVHisect O(lkn2)。鑒于兩個(gè)相機(jī)視圖,視圖r和d所需的視圖的引用,我們考慮的飛機(jī)集共享線(xiàn)路連接- - -荷蘭國(guó)際集團(tuán)(ing)相機(jī)的中心。這些飛機(jī)被稱(chēng)為核線(xiàn)的飛機(jī)。每個(gè)核面項(xiàng)目在每一行的兩個(gè)圖像,稱(chēng)為核線(xiàn)。在每一個(gè)圖像,所有這些線(xiàn)相交在一個(gè)公共點(diǎn),稱(chēng)為核點(diǎn),這是相機(jī)的中心投影到另一個(gè)相機(jī)的視圖平面9。掃描線(xiàn)的所需的視圖遍歷,每個(gè)像素項(xiàng)目的核線(xiàn)線(xiàn)段r。這些線(xiàn)部分來(lái)自于核點(diǎn)功能,產(chǎn)品的形象d r的圖像投影到平面的中心(見(jiàn)圖3),和跟蹤的“鉛筆”核線(xiàn)行r。這些核線(xiàn)的斜坡線(xiàn)段要么會(huì)根據(jù)direc單

18、調(diào)增加或減少的,遍歷(綠色弧線(xiàn)圖3),我們利用這種單調(diào)性為整個(gè)掃描線(xiàn)增量計(jì)算輪廓十字路口。1我們假設(shè)參考圖像也有O(n2)像素。r1,r2R3r4R5R6rpr1 rpr2 rpr3 rpr4 rpr5 rpr6理想的形象參考圖片圖3所需的像素填充掃描線(xiàn)的圖像跟蹤的鉛筆線(xiàn)部分的參考圖像。有序交易,整個(gè)的掃描線(xiàn)將清除這些片段,這樣對(duì)核點(diǎn)的斜率變化單調(diào)遞增的。每個(gè)引用視圖的剪影輪廓被表示為一個(gè)列表的邊緣封閉輪廓的邊界像素。這些邊緣使用2 d的變體行進(jìn)的多維數(shù)據(jù)集生成方法16。接下來(lái),我們把O(nl)輪廓頂點(diǎn)壓痕順序的斜坡線(xiàn)連接每個(gè)頂點(diǎn)到核點(diǎn)。這些排序頂點(diǎn)斜坡將參考圖像域劃分為O(nl)垃圾箱。本B

19、i之間某種程度上跨越i和我的斜坡+ 1日頂點(diǎn)的排序列表。在每一本Bi我們把所有邊緣核線(xiàn)交叉的線(xiàn)與邊坡在本的extent2下降。在IBVHisect當(dāng)我們遍歷像素沿掃描線(xiàn)在所需的視圖中,支持國(guó)民住宅相應(yīng)視圖射線(xiàn)風(fēng)扇在核線(xiàn)鉛筆在引用視圖與增加或減少邊坡。同時(shí),我們進(jìn)入垃圾箱的列表。找到適當(dāng)?shù)臑槊總€(gè)核線(xiàn)本線(xiàn)是交叉的邊緣,本。這個(gè)過(guò)程類(lèi)似于合并兩個(gè)排序的列表,可以在一個(gè)時(shí)間列表的長(zhǎng)度成正比(O(nl)在我們的例子中)。為每個(gè)掃描線(xiàn)在所需的圖像我們?cè)u(píng)估n查看射線(xiàn)。為每個(gè)觀(guān)看射線(xiàn)計(jì)算其交叉邊緣在一個(gè)垃圾箱。平均每個(gè)本包含O(l)的輪廓邊緣。因此,這一步需要O(l)時(shí)間線(xiàn)。同時(shí)我們遍歷分類(lèi)組O(nl)垃圾箱

20、,我們遍歷掃描線(xiàn)。因此,一個(gè)掃描線(xiàn)在O(nl)時(shí)間計(jì)算。在n scanlines所需的圖像,和k參考圖像,這使O(lkn2)的運(yùn)行時(shí)間。改進(jìn)算法的偽代碼。IBVHisect(intervalImage研發(fā),refImList R)每referenceImage R R computeSilhouetteEdges(R)為每個(gè)像素desiredImage d p做ervals = 0 . .inf 每referenceImage r r垃圾箱b = constructBins(r。caminfo,r。silEdges d.caminfo)為每個(gè)掃描線(xiàn)s d incDec順序= trav

21、ersalOrder(r.caminfo d.caminfo,s)resetBinPositon(b)為每個(gè)像素p s根據(jù)順序ray3D ry3 = compute3Dray(p,d.caminfo)lineSegment2D l2 = project3Dray(ry3 r.caminfo)坡m = ComputeSlope(l2,r.caminfo d.caminfo)updateBinPosition(b、m)間隔int2D = calcIntervals(l2,b.currentbin)間隔int3D = liftIntervals(int2D、r.caminfo ry3)er

22、vals = ervals ISECT int3D 2排序輪廓頂點(diǎn)需要O(nl日志(nl)和裝箱需要O(nl2)。排序和裝箱在k引用視圖需要O(knl日志(nl)和O(knl2)相應(yīng)。在我們的設(shè)置中,l < < n,所以我們認(rèn)為這個(gè)preproc - es階段可以忽略不計(jì)。人們很容易進(jìn)一步優(yōu)化適用于更大的利用核線(xiàn)約束。特別是,人們可能會(huì)反對(duì),支持者整流的每個(gè)引用圖像所需的圖像ray-silhouette十字路口前。這將消除需要排的序,本和遍歷輪廓邊緣列表。然而,調(diào)用liftInterval仍將每個(gè)像素所需,給予相同的漸近性能算法。改正的缺點(diǎn)是兩個(gè)重采樣階段引入的工件,它需

23、要。第一重采樣是應(yīng)用于參考輪廓映射解決框架。第二個(gè)是unrectify計(jì)算所需時(shí)間間隔的de -生產(chǎn)的觀(guān)點(diǎn)在典型的立體情況下,工件的精餾最小,因?yàn)橛H密的相機(jī)和相似的姿勢(shì)。但是,當(dāng)計(jì)算視覺(jué)船體參考相機(jī)定位更自由。事實(shí)上,它不是不合理的核點(diǎn)參考相機(jī)的視野所期望的相機(jī)。在這樣的配置中,精餾是簡(jiǎn)并的。4 Visual-Hull陰影IBVH使用參考圖像紋理陰影。為了捕捉盡可能多的視點(diǎn)相關(guān)影響視點(diǎn)相關(guān)變形策略。在每個(gè)像素,裁判erence-image紋理排名從“最佳”到“壞”之間的角度所需的參考圖像的查看射線(xiàn),射線(xiàn)從船體最接近視覺(jué)角度以及所需的射線(xiàn)。我們更喜歡那些參考意見(jiàn)最小的角度7。然而,我們必須避免與

24、圖像紋理表面點(diǎn)的視線(xiàn)是被其他視覺(jué)船體上的點(diǎn),無(wú)論如何對(duì)齊這一觀(guān)點(diǎn)可能是所需的視線(xiàn)。因此,能見(jiàn)度必須consid,在著色過(guò)程中。當(dāng)一個(gè)對(duì)象的可見(jiàn)性是決定使用其視覺(jué)船體,而不是它的實(shí)際幾何,結(jié)果測(cè)試來(lái)講,有效錯(cuò)誤的聲明可能可見(jiàn)點(diǎn)的時(shí)候。我們計(jì)算能見(jiàn)度使用視覺(jué)船體,VHR,由IBVHisect決定。這種視覺(jué)船體被表示為國(guó)際米蘭vals沿射線(xiàn)d所需的形象。為我們的陰影算法偽代碼如下。IBVHshade(intervalImage研發(fā),refImList R)為每個(gè)像素p在d p 。最好的為每個(gè)referenceImage r = BIGNUM r的每個(gè)像素p d做ray3D ry3 = compute

25、3Dray(p,d.camInfo)point3 pt3 =前(ervals,ry3)雙s = angleSimilarity(pt3,ry3 r.camInfo)如果isVisible(pt3、r d)如果(s < p.best)point2 pt2 =項(xiàng)目(pt3 r.camInfo)p。顏色= sample_color(pt2右)p。最好=年代前面過(guò)程發(fā)現(xiàn)前面的大多數(shù)的幾何點(diǎn)IBVH沿射線(xiàn)。IBVHshade算法時(shí)間復(fù)雜度O(vkn2),其中v是成本計(jì)算像素的可見(jiàn)性。再次我們可以利用對(duì)極幾何為了逐步確定點(diǎn)的可見(jiàn)性視覺(jué)船體。這減少了計(jì)算的攤余成本visibil - O(l)

26、所需的像素密度,從而實(shí)現(xiàn)的IBVHshade O(lkn2)。考慮在平地的可見(jiàn)性問(wèn)題,如圖4所示。像素p,我們希望確定front-most點(diǎn)視覺(jué)船體是閉塞的關(guān)于一個(gè)特定的參考圖像中的任何其他像素間隔d。圖4為了計(jì)算IBVH樣品的可見(jiàn)性對(duì)于一個(gè)給定的參考圖像,一系列IBVH間隔預(yù)計(jì)到參考圖像在一個(gè)阻塞-兼容的秩序。的front-most點(diǎn)間隔是可見(jiàn)的,如果它是所有之前的工會(huì)以外的間隔。高效的計(jì)算可以進(jìn)行如下。為每個(gè)引用視圖r本質(zhì),我們遍歷像素期望視圖從前端到后端的順序?qū)(圖4中從左到右)。在遍歷,我們積累覆蓋間隔IBVH像素間隔投射到引用視圖,并形成他們的聯(lián)盟。pt3每個(gè)最前面點(diǎn),我們看看它的

27、投影在引用視圖已經(jīng)覆蓋的范圍區(qū)間com -迄今為止。如果是,那么IBVH pt3錮囚于r。否則,pt3不是阻擋從r IBVH或?qū)嶋H幾何(未知)。visibility2D(intervalFlatlandImage研發(fā),referenceImage r)間隔覆蓋每個(gè)像素p d = <空> 面前做回r ray2D ry2 = compute2Dray(p,d.camInfo)point2 pt2 =前(ervals ry2);point1D p1 =項(xiàng)目(pt2 r.camInfo)如果包含(p1,覆蓋率)p。可見(jiàn)其他pr= false?？梢?jiàn)r= true間隔tmp = pr

28、jctIntrvls(ervals、ry2 r.camInfo)覆蓋率=報(bào)道聯(lián)合tmp 這個(gè)算法運(yùn)行在O(nl),因?yàn)槊總€(gè)像素是訪(fǎng)問(wèn)一次,和控制測(cè)試和工會(huì)可以計(jì)算在O(l)的時(shí)間。圖5,理想情況下,在3 d的可見(jiàn)性可以通過(guò)應(yīng)用2 d算法計(jì)算沿核線(xiàn)的飛機(jī)。在持續(xù)的情況下,三維可視化可以重新計(jì)算簡(jiǎn)化為一組二維計(jì)算核線(xiàn)內(nèi)飛機(jī)(圖5),因?yàn)樗械目梢?jiàn)性交互發(fā)生在這樣的飛機(jī)。怎么,離散二維算法的擴(kuò)展到一個(gè)完整的離散三維解決方案不是微不足道的,因?yàn)榇蠖鄶?shù)離散像素的圖像不完全分享核線(xiàn)的飛機(jī)。因此,一個(gè)人必須小心在實(shí)施保守的3 d的可見(jiàn)性。首先,我們考慮每個(gè)間隔存儲(chǔ)在d固體與方形截面截。確定可見(jiàn)性(

29、廣場(chǎng))的像素p正確我們認(rèn)為Sp,所有可能的核線(xiàn)飛機(jī)碰p。至少有兩種可能的定義是否p可見(jiàn):(1)p是可見(jiàn)的所有飛機(jī)Sp,(2)p是顯然可見(jiàn)的任何飛機(jī)Sp。第一個(gè)挑戰(zhàn)顯要的結(jié)果更多的像素標(biāo)記為不可見(jiàn),因此,適合當(dāng)使用大量的參考圖像。與少量的參考圖像,第二個(gè)定義者優(yōu)先。實(shí)現(xiàn)高效準(zhǔn)確的算法對(duì)這些visi性定義是困難的,因此,我們使用保守算法;如果像素確實(shí)是無(wú)形的,我們從來(lái)沒(méi)有標(biāo)簽visi心靈。然而,該算法可以標(biāo)簽一些像素作為無(wú)形的但它實(shí)際上是可見(jiàn)的。一個(gè)算法,保守計(jì)算能見(jiàn)度ac -連接到第一個(gè)定義執(zhí)行如下。我們定義一個(gè)核線(xiàn)楔從核點(diǎn)erd所需的視圖擴(kuò)展到一個(gè)圖像上的像素寬度間隔約束-氬。根據(jù)相對(duì)相機(jī)的觀(guān)

30、點(diǎn),我們遍歷楔朝向或遠(yuǎn)離核點(diǎn)17。對(duì)于每個(gè)像素在這個(gè)楔子,我們計(jì)算能見(jiàn)度對(duì)像素遍歷楔早些時(shí)候使用2 d可視化算法。如果一個(gè)像素內(nèi)可見(jiàn)然后沒(méi)有計(jì)算幾何楔可以阻擋它的引用視圖。我們使用一組塊的聯(lián)盟覆蓋整個(gè)圖像。像素可能感動(dòng)不止一個(gè)楔子,在這些情況下最終的可見(jiàn)性計(jì)算的,結(jié)果從每個(gè)角裝飾。第二個(gè)能見(jiàn)度定義的算法如下工作。我們不考慮所有可能的核線(xiàn)行,觸摸像素p但只有一些子集,這樣至少一行觸動(dòng)每個(gè)像素。這樣的一個(gè)子集的核線(xiàn)行,通過(guò)圖像邊界像素的中心。這par -單獨(dú)完全覆蓋所需的圖像中的所有像素子集,密度也可以選擇子集。com的算法把visibility2D所有核線(xiàn)行子集?？梢?jiàn)性對(duì)于一個(gè)像素可能不止一次(

31、如計(jì)算。經(jīng)常,核點(diǎn)附近的像素是遍歷)。我們或所有ob -保存的可見(jiàn)性的結(jié)果。因?yàn)槲覀冇?jì)算visibility2D長(zhǎng)達(dá)4 n核線(xiàn)行k參考圖像的總時(shí)間的復(fù)雜,該算法是O(lkn2)。在我們的實(shí)時(shí)系統(tǒng)使用少量的參考圖像(通常是四個(gè))。因此,我們使用的算法的第二定義可見(jiàn)性?？偽覀兊腎BVH算法時(shí)間復(fù)雜度是O(lkn2),這使得IBVH對(duì)象的有效呈現(xiàn)。這些算法rithms非常適合于分布式和并行實(shí)現(xiàn)。我們演示了這與系統(tǒng)效率計(jì)算IBVHs實(shí)時(shí)地從視頻序列。圖6 - 4個(gè)分段參考圖像從我們的系統(tǒng)。5系統(tǒng)實(shí)現(xiàn)我們的系統(tǒng)使用四個(gè)校準(zhǔn)索尼DFW500火線(xiàn)攝像機(jī)。我們計(jì)算分布在五個(gè)電腦,四個(gè)過(guò)程視頻和一個(gè)組裝IBVH

32、(參見(jiàn)圖6)。每個(gè)相機(jī)附加到600 MHz桌面PC,捕獲視頻幀并執(zhí)行以下處理步驟。首先,它使用一個(gè)查找表為徑向透鏡畸變糾正。然后這段使用ground-subtraction前景對(duì)象110。最后,輪廓和紋理信息壓縮,通過(guò)網(wǎng)絡(luò)發(fā)送一個(gè)100 mb / s為IBVH中央服務(wù)器處理。我們的服務(wù)器是一個(gè)四核處理器550 MHz的電腦。我們之間交錯(cuò)傳入的幀信息4處理器增加吞吐量。服務(wù)器運(yùn)行IBVH路口和陰影算法。結(jié)果IBVH深度緩沖區(qū)對(duì)象可以合成一個(gè)OpenGL背景產(chǎn)生一個(gè)完整的場(chǎng)景。所示的例子中,一個(gè)模型的圖形實(shí)驗(yàn)室用Canoma建模系統(tǒng)被作為背景。圖7 -一塊IBVH渲染算法的執(zhí)行時(shí)間為每個(gè)步驟在一個(gè)

33、CPU。典型IBVH可能覆蓋大約8000在640×480像素圖像,exe -可愛(ài)大于8幀每秒4個(gè)CPU的機(jī)器。在圖7中,在不同階段的表現(xiàn)IBVH算法。這些測(cè)試,4輸入圖像分辨率為256×256。的平均次數(shù),投影射線(xiàn)穿過(guò)一個(gè)輪廓是6.5。前景賽格心理狀態(tài)(客戶(hù)機(jī))上完成大約需要85女士我們調(diào)整所需的相機(jī)的視野,改變像素的對(duì)象的數(shù)量。這個(gè)圖展示了我們的算法的線(xiàn)性增長(zhǎng)對(duì)輸出像素的數(shù)量。6結(jié)論和未來(lái)的工作我們已經(jīng)描述了一個(gè)新的基于圖像visual-hull渲染算法rithm和一個(gè)實(shí)時(shí)系統(tǒng),使用它。該算法有效的從理論和實(shí)踐觀(guān)點(diǎn),和由此產(chǎn)生的系統(tǒng)提供了不錯(cuò)的效果。視覺(jué)船體為代表的場(chǎng)景元

34、素的選擇有一些局限性。在一般情況下,對(duì)象的視覺(jué)船體不匹配對(duì)象的精確幾何。特別是,它不能代表凹面區(qū)域。這個(gè)缺點(diǎn)通常是欺詐,幫派成員致命的一個(gè)精確的幾何模型是終極目標(biāo)。在我們的應(yīng)用程序中,使用視覺(jué)船體主要作為im -海報(bào)上表面紋理映射。因此,視覺(jué)船體提供了一個(gè)有用的模型組合的準(zhǔn)確sil - houettes和紋理提供了驚人的有效的渲染,很難區(qū)分一個(gè)更精確的模型。我們的系統(tǒng)也需要準(zhǔn)確的利用每個(gè)圖像的前景和背景元素。方法來(lái)完成這樣的利用包括chromakeying和圖像differenc荷蘭國(guó)際集團(tuán)(ing)。這些技術(shù)都受到變化相機(jī)、照明、和背景材料。我們計(jì)劃調(diào)查技術(shù)混合特克斯-溫度產(chǎn)生平滑過(guò)渡。雖然

35、我們得到令人印象深刻的結(jié)果只使用4個(gè)攝像頭,我們計(jì)劃規(guī)模系統(tǒng)大量的相機(jī)。大部分的算法以一個(gè)簡(jiǎn)單的方式截然不同。與k電腦,我們期望達(dá)到O(n2 l日志k)基于時(shí)間使用二叉樹(shù)的結(jié)構(gòu)。7中確認(rèn)我們要感謝卡利安妮Kjølaas,安妮崔,湯姆比勒,Ramy Sadek在這個(gè)項(xiàng)目的幫助。我們也感謝DARPA和英特爾支持這項(xiàng)研究工作。NSF基礎(chǔ)設(shè)施和NSF事業(yè)撥款提供進(jìn)一步援助。8引用1Bichsel,m .“分段單連通移動(dòng)對(duì)象在靜態(tài)場(chǎng)景?！癐EEE PAMI 16歲(1994年11月11日),1138 - 1142。2波伊爾,E。,m·伯杰。“三維表面重建使用Oc -“輪廓?！癐JCV

36、 22日3(1997),頁(yè)219 - 233。3,大腸和l·威廉姆斯。“視圖插值圖像Synthe - sis。舉行“93年,279 - 288。大腸”4Chen Quicktime VR -一個(gè)基于圖像的虛擬環(huán)境導(dǎo)航方法。舉行“95年第29 。5Curless,B。Levoy,m?！皹?gòu)建復(fù)雜模型的體積法范圍圖像。舉行“96年,303 - 312。6埃蒙斯,P。、c·泰勒和j·馬利克從照片“建模和渲染架構(gòu)。“96年舉行,11-20。7埃蒙斯,體育、y . Yu和g . d . Borshukov“有效視圖-依賴(lài)的基于圖像的渲染與投影紋理映射平?！癙roc. EGRW

37、 1998(1998年6月)。8埃蒙斯,p .建模和渲染架構(gòu)圖-圖。加州大學(xué)伯克利分校博士論文,計(jì)算機(jī)科學(xué)部門(mén),伯克利,CA,1996。9Faugeras,o .三維計(jì)算機(jī)視覺(jué):幾何的觀(guān)點(diǎn)。麻省理工學(xué)院出版社,1993年。10弗里德曼,n和s·拉塞爾。”在Se - quences視頻圖像分割?！癙roc 13日會(huì)議上的不確定性人工智能(1997)。11Goldfeather,J。,j . Hultquist和h·?？怂埂！翱焖俳ㄔO(shè)性的立體幾何在Pixel-Powers圖形顯示系統(tǒng)?！癝IG -圖86,107 - 116。12Gortler,s . J。r . Grzeszczuk r Szeliski和m·f·科恩。“Lumigraph?！?6年舉行,43-54。13,拜。p·w·蘭