虛擬演播室技術(shù)課件

1、 虛擬演播室技術(shù)一、虛擬演播室概述二、虛擬演播室系統(tǒng)構(gòu)成三、虛擬演播室關(guān)鍵技術(shù)四、虛擬演播室運行流程五、虛擬演播室使用注意第1頁，共47頁。一、虛擬演播室概述虛擬演播室系統(tǒng)（The Virtual Studio System，簡稱VSS）是傳統(tǒng)演播室色鍵摳像技術(shù)與計算機虛擬現(xiàn)實相結(jié)合的一種新的電視節(jié)目制作系統(tǒng)，主要由計算機硬件、軟件、現(xiàn)場攝像機、攝像機跟蹤器、圖形圖像發(fā)生器、色鍵器以及視/音頻切換臺等組成。 1、虛擬演播室第2頁，共47頁。傳統(tǒng)色鍵摳像過程：演員位于藍(lán)色背景前，攝像機拍下前景信號(演員)并饋入色鍵器，然后與從錄像機或者計算機輸出的視頻信號(背景)進(jìn)行混合。特點：當(dāng)攝像機位置移動

2、或鏡頭推拉使前景變化時，背景不能隨之變化，前景和背景互不關(guān)聯(lián)，因此前景人物好象飄浮在背景上，合成畫面生硬。 2、與傳統(tǒng)色鍵摳像區(qū)別第3頁，共47頁。虛擬演播室技術(shù)：背景畫面的變化與前景的變化同步，甚至前景人物能穿插于背景物體之中，兩者緊密聯(lián)系形成有機的融合，即背景圖像隨攝像機鏡頭的運動而隨之相應(yīng)變化。因此系統(tǒng)中需圖形計算機與攝像機的追蹤系統(tǒng)相連，以實時得到攝像機的瞬時位置信息。有無攝像機追蹤系統(tǒng)和圖形計算機，是傳統(tǒng)摳像和虛擬演播室的主要區(qū)別。 第4頁，共47頁。虛擬演播室技術(shù)的關(guān)鍵：用攝像機的位置和鏡頭等變化來控制計算機中的“虛擬攝像機”，使它的位置和鏡頭變化與“實際”同步，這樣它所拍攝的虛擬

3、場景的鏡頭變化和實際攝像機拍攝的主持人的鏡頭變化一致，將他們進(jìn)行色鍵效果處理之后，得到的畫面才真實自然。 第5頁，共47頁。3、虛擬演播室功能制景費用低廉、更換布景方便。虛擬演播室技術(shù)的應(yīng)用使真實演播室可以變得非常簡單，演播室面積無需太大，只要鋪滿蘭幕就行，省去了復(fù)雜的搭景和燈光照明，而且換景便利、快捷，可大大縮短節(jié)目制作周期。第6頁，共47頁。3、虛擬演播室功能便于發(fā)揮主創(chuàng)人員的創(chuàng)意。虛擬演播室的背景畫面可以是真實拍攝的場景，也可以是用計算機創(chuàng)作出的圖像。節(jié)目人員可以充分發(fā)揮藝術(shù)想象力來構(gòu)思場景而不受外景或搭景條件的限制，在有限的空間里實現(xiàn)無限的創(chuàng)意。第7頁，共47頁。實現(xiàn)其他技術(shù)難以完成的

4、特技。例如物體可以不顧重力原理而懸浮在空間、一個物體可以從另一物體中往上升、視頻圖像可以在任一平面上顯示出來、場景可由動態(tài)物質(zhì)構(gòu)成、分子大小的物體能立即變成巨大的物體、以數(shù)據(jù)為基礎(chǔ)的所有信息可作為一層視頻信號實時地進(jìn)入演播室等。 第8頁，共47頁。應(yīng)用舉例英國EPO公司制作二戰(zhàn)中被毀的一座大型教堂的建筑結(jié)構(gòu)的錄像。教堂尚未重建，但用超級計算機制作出教堂的立體畫面，用一臺虛擬的攝像機從各個角度做推拉、旋轉(zhuǎn)等動作拍攝。30分鐘畫面用了68周時間，一座宏偉的教堂便“出現(xiàn)”了。 第9頁，共47頁。應(yīng)用舉例虛擬采訪。利用從外地傳來的被采訪者在藍(lán)色幕布前的信號，先經(jīng)過一次摳像再進(jìn)入虛擬演播系統(tǒng)。通過插入的

5、視頻可將被采訪者與演播室中的播音員實時結(jié)合在一個虛擬背景中，兩個人物可以面對面的交談和表演，對觀眾來講就好象真的把被采訪者請到了演播室中一樣。第10頁，共47頁。虛擬人物表演。在真人身上各重要關(guān)節(jié)處裝傳感器，傳感器的各組數(shù)據(jù)傳到工作站中用于控制已制成的虛擬動畫人物的關(guān)節(jié)活動，使它完全實時地模仿表演者的動作。第11頁，共47頁。虛擬動畫人物與真人同時出現(xiàn)在同一個虛擬背景中，并相互配合，互換位置和交談。這在已往的演播室制作過程中是無法想象的，也會給節(jié)目帶來新奇感和神秘感，從而最大程度地娛樂觀眾。 第12頁，共47頁。二、虛擬演播室系統(tǒng)構(gòu)成虛擬演播室與傳統(tǒng)演播室大不相同，它是以計算機三維動畫“虛擬”

6、出的場景取代道具實景為主要特征。攝像機所拍攝的現(xiàn)場已不是一般意義上的主持人或演員活動的地方，而是虛擬畫面應(yīng)用空間的組成部分，它的實際意義僅僅是其空間場地尺寸的大小。、藍(lán)場實景現(xiàn)場第13頁，共47頁?，F(xiàn)場所有布景全部由單一的藍(lán)色所取代，以作為將來摳像的基準(zhǔn)色。圖像的前景是不同機位的攝像機拍攝到的主持人的畫面素材。主持人所在的實景現(xiàn)場的全部藍(lán)色區(qū)域?qū)⒈缓铣傻接嬎銠C三維動畫生成的虛擬場景中。 第14頁，共47頁。與傳統(tǒng)的人工搭建的舞臺或演播場地相比，虛擬三維場景應(yīng)用于演播室可以說是演播室技術(shù)的一次革命。不僅制作成本大大降低，制作周期縮短，虛擬場景的可隨意更改的特性，極大地滿足了導(dǎo)演的創(chuàng)作需要。第15

7、頁，共47頁。虛擬演播室用的實景現(xiàn)場雖然簡化成了單一的藍(lán)色，但決不是任何東西都不需要了。如果節(jié)目中要表現(xiàn)主持人從樓梯上走下來，那么現(xiàn)場也必須設(shè)置一些涂成藍(lán)色的幾何塊狀物體作為“樓梯”,以便與電腦中生成的樓梯相配合。 第16頁，共47頁。、攝像機及跟蹤系統(tǒng)虛擬演播室專用攝像機數(shù)量通常為二到三個。專用攝像機區(qū)別于傳統(tǒng)攝像機，除了鏡頭和云臺以外，均配有運動檢測和識別系統(tǒng)，即攝像機跟蹤器。第17頁，共47頁。虛擬演播室能否正確判斷攝像機、主持人及虛擬背景之間的相對位置關(guān)系，是實現(xiàn)前、背景圖像完全同步聯(lián)動、再現(xiàn)起初的透視關(guān)系的關(guān)鍵。攝像機跟蹤系統(tǒng)就是用來檢測和提供攝像機運動參數(shù)和演員位置參數(shù)的系統(tǒng)。第1

8、8頁，共47頁。攝像機的運動參數(shù)包括鏡頭運動參數(shù)(變焦、聚焦、光圈)、機頭運動參數(shù)(搖移、俯仰)以及空間位置參數(shù)(地面位置X、Y和高度Z)等。這些參數(shù)的獲取對虛擬演播室系統(tǒng)來說是至關(guān)重要的，它會直接影響到合成圖像的效果。在二維虛擬演播室中，一般只需要跟蹤攝像機的鏡頭運動參數(shù)(變焦、聚焦)和鏡頭運動參數(shù)(搖移、俯仰)，而在三維虛擬演播室中，還需跟蹤攝像機的空間位置參數(shù)(X、Y、Z)。目前常用的攝像機跟蹤系統(tǒng)主要有機械傳感器和圖形識別方式。第19頁，共47頁。虛擬演播室系統(tǒng)配備的計算機既有基于Windows NT系統(tǒng)平臺的PC機，也有基于Unix系統(tǒng)的圖形工作站。它除了調(diào)用和調(diào)整事先做好的三維虛擬

9、場景外，還負(fù)責(zé)向圖形發(fā)生器傳輸圖像數(shù)據(jù)及處理由攝像機跟蹤器傳來的攝像機運動數(shù)據(jù)。、計算機部分第20頁，共47頁。圖形發(fā)生器根據(jù)主機傳來的攝像機運動數(shù)據(jù)實時地計算出虛擬的三維電腦場景的運動，以保證其輸出的虛擬背景與真實的前景同步。有的圖形發(fā)生器的運算需要數(shù)幀左右的時間，因此，攝像機拍攝的畫面也必須有一個同樣幀數(shù)的延時，這樣才能確保真實場景與虛擬場景的吻合。 第21頁，共47頁。三、虛擬演播室關(guān)鍵技術(shù)、攝像機跟蹤技術(shù)要使真實前景和虛擬背景之間天衣無縫地結(jié)合，攝像機追蹤系統(tǒng)的精確度和穩(wěn)定性至關(guān)重要。如果傳送給圖形工作站的信息沒有正確地反映攝像機位置和拍攝方向等參數(shù)，前景物體看起來就像漂浮在背景上。常

10、見的攝像機跟蹤方式可分為機械傳感器、圖形識別、位置探測三種，代表分別是Thoma Filmtechnik的Walkfinder、Xync的X-pecto和Orad的InfraTrack。 第22頁，共47頁。（）機械傳感器該方式是通過安裝在攝像機的云臺和鏡頭上的傳感器獲取攝像機的動作參數(shù)。從液壓搖擺頭上的編碼器得到上下左右位置參數(shù)。編碼器測量攝像機上下左右運動的角度得到其位置參數(shù)，并將數(shù)據(jù)輸入計算機。位置參數(shù)的確定是將攝像機安裝在三角架、云臺或升降臂上，由三腳架、云臺或升降臂的參數(shù)決定攝像機的位置和高度。Radamec EPO公司生產(chǎn)專用攝像頭，Orad等公司則在攝像機上安裝傳感器。第23頁，

11、共47頁。利用編碼器方式檢測攝像機運動參數(shù)，具有處理速度快、精確度高(旋轉(zhuǎn)角度可精確到0.001，移動距離可精確到0.01mm)、工作穩(wěn)定等優(yōu)點。缺點是每臺攝像機都需配備1套跟蹤系統(tǒng)，成本高，攝像機的種類及數(shù)量受到限制，另外攝像機在拍攝前的定位和校正繁瑣。 第24頁，共47頁。（）圖形識別圖形識別方式是對通過攝像機拍攝的圖像的形態(tài)識別和分析來確定攝像機的各種運動參數(shù)。要求在演播室的背景幕布上用不同色度(例如深藍(lán)和淺藍(lán))繪制出特定的圖案。當(dāng)攝像機的運動參數(shù)發(fā)生變化時，它所拍攝到的背景圖案的特征也將發(fā)生相應(yīng)的變化。通過對此圖案的識別、分析和運算，從而可檢測出攝像機的各種運動參數(shù)，包括水平轉(zhuǎn)動參數(shù)、

12、垂直轉(zhuǎn)動參數(shù)、變焦參數(shù)以及位置參數(shù)(X、Y、Z)。 第25頁，共47頁。目前使用較多的是網(wǎng)格圖案（即在深藍(lán)色的幕布上用淺藍(lán)色繪制出特定的格子圖），并且正面傾斜放置。在實際拍攝中，人物、景物連同網(wǎng)格圖案一并被攝像機攝入，系統(tǒng)的數(shù)字視頻處理器可以利用電平差技術(shù)分離出淺藍(lán)色網(wǎng)格圖案，經(jīng)過識別分析，并與計算機跟蹤軟件及硬件預(yù)先確定好的模型進(jìn)行比較，從而獲取攝像機的各項運動參數(shù)，然后用這些參數(shù)去控制虛擬背景生成系統(tǒng)，產(chǎn)生與前景匹配的背景。 第26頁，共47頁。圖形識別方式最主要的優(yōu)點是免除了編碼器方式繁瑣的安裝和調(diào)校，在拍攝過程中可以隨意移動攝像機，增加了攝像師的創(chuàng)作自由度。另外這種方式可直接使用演播室

13、原有的攝像機，甚至是便攜式攝像機，降低了演播室系統(tǒng)改造的費用。不足：（1）由于該方式要對圖案進(jìn)行分析、計算，數(shù)據(jù)處理時間長，加大了視頻延時量(517幀左右)；（2）獲得的攝像機運動參數(shù)精度比編碼器方式低；（3）當(dāng)攝像機散焦或攝取畫面中圖案信息量較少時(至少要求含有4個網(wǎng)格點)，系統(tǒng)便無法正常工作，對攝像機的景深以及演員的活動范圍造成一定限制。 第27頁，共47頁。在位置探測跟蹤中，用一些固定的探測器對特定的物體進(jìn)行跟蹤，或通過安裝在攝像機上的儀器進(jìn)行定位，推拉和變焦參數(shù)也要通過傳感器來跟蹤。這種技術(shù)從運動捕捉系統(tǒng)衍生而來，工作原理與網(wǎng)格識別相反，但兩者的精確度相近。 （）位置探測第28頁，共4

14、7頁。藍(lán)背景：制作虛擬演播室的藍(lán)背景要求背景平滑，還要有空間感，一般是兩面或三面藍(lán)色墻再加上地面。為保證全景鏡頭的使用，照射在藍(lán)背景上面的光線要均勻。為了保證色鍵效果最好，要使用純正的色鍵藍(lán)色。藍(lán)背景的空間大小，應(yīng)該能保證可容納全部道具并且可以使主持人有足夠的活動區(qū)域。 2、藍(lán)背景和背景的建立 第29頁，共47頁。背景：虛擬演播室的背景圖像可以是來自錄像機或攝像機的視頻圖像，也可以是靜止圖像，但使用最多的是計算機創(chuàng)作的二維或三維圖形CG (Computer Graphics)，即虛擬場景。虛擬場景可分為二維虛擬場景和三維虛擬場景。二維虛擬場景是指景物沒有厚度，只提供一個平面背景。在三維虛擬場景

15、中景物是立體的，具有Z方向的厚度，在具有虛擬后景的同時，也提供虛擬前景。人物可在前景與后景之間穿插運動，從而增強了視覺效果的縱深感和真實感。 第30頁，共47頁。三維虛擬場景的制作可分為幾個步驟：首先要對虛擬場景中出現(xiàn)的所有物體按自然尺寸比例建成三維模型，然后在模型上添加材質(zhì)，描繪紋理：其次是將模型在虛擬場景中定位，制作燈光效果以及陰影：最后是制作在實際拍攝過程中虛擬場景出現(xiàn)的事件序列和特技效果，目前用于虛擬場景制作的主要軟件有Softimage ，Alias/wavefront,3Dmax等，它們一般都具有建模、描繪和特技等功能。 第31頁，共47頁。實時背景生成：是指在攝像機運動參數(shù)控制下

16、，背景生成系統(tǒng)對預(yù)先制作好的虛擬場景信號進(jìn)行處理，實時生成與前景有正確透視關(guān)系的背景圖像。這就意味著背景生成系統(tǒng)必須要以25幀/秒的速度實時處理數(shù)據(jù)流。如果生成三維虛擬場景，其計算量是非常大的。在不降低圖形照明度、陰影，紋理和建模結(jié)構(gòu)的前提下，提高圖形工作站圖形刷新速率成為實時生成虛擬背景的關(guān)鍵。目前一般采用的是美國SGI公司推出的工作站以及E&S公司推出的運用在Windows NT平臺上具有動態(tài)Z提示功能的圖形工作站。 第32頁，共47頁。、鍵信號處理與圖像合成 色鍵合成器用于完成前景與后背景的混合，色鍵制作的質(zhì)量除了與藍(lán)背景、制作環(huán)境燈光和攝像機有一定關(guān)系之外，色鍵器本身的質(zhì)量也會影響節(jié)目

17、質(zhì)量。使用清晰、亮度平坦的顏色，才能使前景和背景分離，然后把演算后的信號用于另一個不同的背景，使用線性鍵可以把前景的陰影取出來并疊加到背景上。所以為保證合成準(zhǔn)確，拍攝視野中的藍(lán)色幕布照明必須均勻。 第33頁，共47頁。一般來說虛擬攝像機和實際攝像機的數(shù)量是相同的，但虛擬背景信號源的數(shù)量與實際攝像機數(shù)量并不一定相同。用兩個背景生成器，兩個色鍵器就可以完成任何兩個攝像機之間疊化效果制作，硬切只需要一個虛擬背景信號源。為了完成疊化效果制作，計算機通過編輯接口監(jiān)視切換器的狀態(tài)或從預(yù)演母線上了解下一個切換的攝像機，并對其進(jìn)行切換。當(dāng)虛擬攝像機切換之后，切換器就做好了疊化的準(zhǔn)備。 第34頁，共47頁。虛擬

18、演播室系統(tǒng)一般包括兩套計算機系統(tǒng)，一套處理攝像機跟蹤的數(shù)據(jù)，一般采用高配置的微機、小型計算機工作站；另一套是進(jìn)行虛擬演播室的場景制作，具備以下功能：具有足夠的計算能力，包括處理多重任務(wù)的能力；可以支持實時操作系統(tǒng)；具有極強的繪畫能力，甚至達(dá)到高標(biāo)準(zhǔn)三維動畫制作水平；能夠處理音頻信號，并具有控制其他視頻和音頻設(shè)備的能力。 、計算機技術(shù)參與節(jié)目制作 第35頁，共47頁。四、虛擬演播室運行流程創(chuàng)意人員擬出節(jié)目制作方案導(dǎo)演及創(chuàng)意人員為虛擬演播室電腦虛擬三維場景的操作者“說戲”； 動畫師或模型師在電腦中創(chuàng)建模型及貼圖； 導(dǎo)演與虛擬演播室操作者合作直播或錄像； 視頻輸出、錄制及后期制作。 第36頁，共47

19、頁。、導(dǎo)演或美術(shù)設(shè)計師提出制作方案 由美術(shù)設(shè)計師將導(dǎo)演思路制作成詳細(xì)的“劇本” ，具體到每個畫面要素怎么動，主持人的位置怎么變化，是否有虛擬場景中的特寫鏡頭等。因為鏡頭推進(jìn)，意味著電腦生成的圖像放大。這就必須要求事先生成的圖像尺寸大到足夠鏡頭推進(jìn)也不至于產(chǎn)生像素變大的現(xiàn)象。虛擬演播室運作的這種特殊性，要求導(dǎo)演必須就每個鏡頭細(xì)節(jié)與電腦動畫場景的制作者事先溝通，使負(fù)責(zé)實施劇本方案的制作人員能充分理解導(dǎo)演的意圖，將三維場景提前做好。 第37頁，共47頁。、動畫制作人員創(chuàng)建虛擬三維演播室 動畫制作直接影響著節(jié)目制作的質(zhì)量。虛擬演播室就是一個計算機圖像產(chǎn)生與合成系統(tǒng)，是用計算機將演播室的觀念物化，在制作

20、手段上突破了傳統(tǒng)制作手段的一些束縛，使演播室不再受時間和空間的局限。具體的虛擬演播室軟件操作者稱為“動畫師”(animator)或“模型師”(modeler)。他們在整個虛擬演播室節(jié)目制作中對演播室的最終效果起著舉足輕重的作用，他可以是導(dǎo)演或美工本人，也可以是專業(yè)的動畫制作者。 第38頁，共47頁。目前，幾乎所有的虛擬演播室軟件本身并不帶有建模及繪畫的軟件包，多數(shù)是利用已有的三維或二維動畫、圖形圖像制作軟件來創(chuàng)建模型及模型中需要的貼圖，如3D Studio MAX、 Softimage 3D、Lightscape和Photoshop等。這些軟件中做好的模型和貼圖有的需經(jīng)過圖像格式的轉(zhuǎn)換，再存入

21、虛擬演播室系統(tǒng)的專用目錄下，然后才能從虛擬演播室軟件環(huán)境中讀出。大量的矢量數(shù)據(jù)經(jīng)過生成后產(chǎn)生的標(biāo)準(zhǔn)倍數(shù)位圖，作為虛擬環(huán)境要么直接存入圖形發(fā)生器中使用，要么貼在簡單的幾何矢量模型上。第39頁，共47頁。、動畫師與導(dǎo)演的配合 制作人員從傳統(tǒng)的單一的執(zhí)行導(dǎo)演意圖的技術(shù)員轉(zhuǎn)變成參與節(jié)目前期總體方案設(shè)計的創(chuàng)作者之一。這種變化無疑提高了現(xiàn)代電視節(jié)目制作人的業(yè)務(wù)要求，同時也擴大了導(dǎo)演的工作職能和范圍。動畫師與導(dǎo)演應(yīng)密切配合，例如，導(dǎo)演希望虛擬場景中的某個部分動起來，如標(biāo)志從墻上飛起來，主持人前的主持臺自己移走，地面某個部分騰空而起等，就必須將這些帶有“動作”的物體提前與電腦模型師講明，由模型師將這些有動作的

22、物體用電腦創(chuàng)建時就將它們分別作為單個文件單獨儲存。這與導(dǎo)演看著監(jiān)視器指揮調(diào)整現(xiàn)場鏡頭中的畫面的傳統(tǒng)方法是不同的，這也正是虛擬演播室制作電視節(jié)目的主要特點。 第40頁，共47頁。、虛擬演播室控制員 與傳統(tǒng)演播室相比，主持人或演員所處的現(xiàn)場已不再是五顏六色的舞臺，取而代之的是一個全部涂成藍(lán)色的房間。攝像師的拍攝對象主體只剩下了主持人或演員。機位的運動取決于電腦中建立的虛擬場景。攝像師通過監(jiān)視器看到畫面的效果，導(dǎo)演則坐在電腦終端前與虛擬演播室軟件的具體操作者來共同控制整個節(jié)目。如果畫面“穿邦”，即現(xiàn)場攝像機搖到藍(lán)色背景以外，虛擬演播室軟件能根據(jù)需要自制出虛擬藍(lán)色背景。第41頁，共47頁。虛擬演播室電

23、腦機位上的操作者（暫且稱之為“虛擬控制”）已不再是一般意義上的電腦操作人員。虛擬演播室系統(tǒng)是一個計算機圖像合成系統(tǒng)，其控制中心是虛擬演播室的系統(tǒng)軟件，它也是虛擬演播室節(jié)目制作的“導(dǎo)演臺”。具體實施操作的系統(tǒng)控制員無疑成了實施導(dǎo)演意圖的最直接執(zhí)行者，他需要既能熟練運用虛擬演播室軟件及其相關(guān)的三維動畫制作軟件，同時又要具有一定的鏡頭意識和感覺。這樣才能更好地與導(dǎo)演配合，做出理想的節(jié)目。 第42頁，共47頁。、視頻、音頻及燈光的運用 虛擬演播室主要是針對電腦中的圖像，它仍舊離不開傳統(tǒng)的視頻切換臺和調(diào)音臺等設(shè)備。通過視頻切換臺，導(dǎo)演可根據(jù)需要在任何時候切入或疊加進(jìn)前期拍攝的畫面素材。有的虛擬演播室系統(tǒng)與傳統(tǒng)視頻在節(jié)目制作中略有不同，藍(lán)色實景現(xiàn)場攝像機所拍攝到的畫面需要經(jīng)過圖像發(fā)生器的運算生成后再與電腦中的虛擬場景合成，大約需要四幀左右的延長時間，所以現(xiàn)場同期聲也需要相應(yīng)的延時（大約160ms），以消除聲音與口型差時的現(xiàn)象。有的虛擬演播室很好地解決了這一問題，畫面與聲音同步，不需延時。 第43頁，共47頁?，F(xiàn)場燈光的使用已不同于傳統(tǒng)舞臺燈光的調(diào)整方法，所有光色必須保證藍(lán)色空間場地基色以適應(yīng)色鍵器摳像的技術(shù)要求。虛擬演播室軟件系統(tǒng)有其自身的燈光參數(shù)，可根據(jù)需要在軟件環(huán)境里調(diào)整。理想的色鍵器可以很自然地將實景中的投影在虛擬的