并行集群一種新型動畫制作技術(shù)

并行集群一種新型動畫制作技術(shù)

一、并行集群構(gòu)圖與網(wǎng)絡(luò)模型現(xiàn)在，隨著pc工業(yè)的快速發(fā)展，pc系統(tǒng)與高端圖形系統(tǒng)之間的差距日益減少。它過去只在大型圖形工作站點(diǎn)完成，但大多可以通過pc完成。這種情況導(dǎo)致更大規(guī)模的基于PC工作站的動畫制作系統(tǒng)產(chǎn)生。從計(jì)算能力和可靠性來說,PC已經(jīng)趕上甚至超過了圖形工作站。依據(jù)著名的摩爾定律,PC的性能每一年半就會翻番,發(fā)展速度遠(yuǎn)遠(yuǎn)超過了工作站,就性能價(jià)格比來說,PC也占據(jù)絕對優(yōu)勢。在較大規(guī)模的動畫制作項(xiàng)目過程中,特別是三維動畫和電影節(jié)目的制作,由于復(fù)雜的場景和特效,著色渲染需要大量的時(shí)間。如果使用三維或視頻工作站來完成此項(xiàng)工作,則會浪費(fèi)硬件和人力資源。對于大型動畫項(xiàng)目(如電影中的虛擬場景和特效),渲染計(jì)算量非常大,即使大型計(jì)算機(jī)也只能勉強(qiáng)應(yīng)付,但利用多臺PC共同運(yùn)算則可以解決問題。這就是并行集群渲染系統(tǒng),并行集群渲染系統(tǒng)是由若干臺PC構(gòu)成的計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)。之所以稱其為“并行”,是因?yàn)檫@個(gè)系統(tǒng)中所有計(jì)算機(jī)同時(shí)負(fù)擔(dān)同一工作的不同部分。雖然每臺PC都無法與高端工作站抗衡,但是,系統(tǒng)合力卻比一臺高端工作站強(qiáng)許多倍。并行集群運(yùn)算系統(tǒng)(又稱機(jī)群運(yùn)算系統(tǒng))常被應(yīng)用于運(yùn)算量巨大的項(xiàng)目,如材料科學(xué)、聲學(xué)、數(shù)學(xué)計(jì)算、天氣預(yù)報(bào)和工業(yè)設(shè)計(jì)等方面。大規(guī)模渲染的計(jì)算密集性,非常適合由集群運(yùn)算系統(tǒng)(在動畫制作領(lǐng)域,我們稱并行集群渲染系統(tǒng)為RenderFarm)來完成。二、并行集群加工技術(shù)目前全國有數(shù)以千計(jì)的動畫、影視工作機(jī)構(gòu),較大型的有北京廣播學(xué)院、中央電視臺、北京電影制片廠、上海電視臺、上海電影制片廠和北京電視臺等。在未來的一段時(shí)間內(nèi),會有更多更大的動畫制作公司和單位出現(xiàn)。其中除中央電視臺外,其他單位都使用圖形工作站來完成渲染任務(wù)。然而,這種渲染方式的速度很低,而且在渲染時(shí)動畫制作人員無法使用計(jì)算機(jī)進(jìn)行工作,降低了動畫產(chǎn)品的制作效率。此外,隨著視頻技術(shù)的高速發(fā)展,數(shù)字電視、高清電視正在普及,許多電視臺、制作公司將以解析度為1920×1080像素的高清節(jié)目取代目前720×576像素的標(biāo)清節(jié)目。這需要在制作時(shí)依據(jù)高清標(biāo)準(zhǔn),而高清電視節(jié)目制作時(shí)的渲染時(shí)間大約是標(biāo)清節(jié)目的5倍。制作人員在工作中進(jìn)行預(yù)覽操作也會耗費(fèi)時(shí)間,這給他們的制作造成了很大的障礙。顯然,在動畫節(jié)目制作過程中渲染所需要的時(shí)間越來越多,利用PC工作站來進(jìn)行渲染的方式將無法負(fù)擔(dān)龐大的計(jì)算量。因此,我們需要一個(gè)方法來發(fā)揮所有硬件資源及動畫制作人員的效能,提高生產(chǎn)效率。并行集群渲染系統(tǒng)代不失為一種良好的方式。目前很多大型廠商已經(jīng)掌握了成熟的集群運(yùn)算技術(shù),并且擁有大型集群運(yùn)算系統(tǒng)解決方案,如Intel、IBM等廠商的硬件集群系統(tǒng),TurboLinux、Veritas、IBM等公司的集群運(yùn)算管理軟件。圖1是一個(gè)Intel的集群運(yùn)算系統(tǒng),它的各項(xiàng)基本性能指標(biāo)如下:■支持最多1024個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)使用Intel2.4GHz雙至強(qiáng)CPU,最多2048個(gè)CPU;■IntelE7500芯片組,SuperMicro主板,最大支持2.1TB內(nèi)存;■MirycomMyrinet網(wǎng)絡(luò)協(xié)議,千兆傳輸速率;■高性能的LinuxNetworXEvolocityⅡ系統(tǒng)平臺。電影《TheMatrix(黑客帝國)》、《Titanic(泰坦尼克號)》、《MenInBlack(黑衣人)》等都使用了集群渲染系統(tǒng)來完成片中復(fù)雜場景的著色渲染。然而這些國外技術(shù)的價(jià)格昂貴,動輒上百萬美金。從技術(shù)上,集群渲染被國外大公司壟斷,我國幾乎沒有這方面的能力;從市場上,國外的設(shè)備占據(jù)了整個(gè)國內(nèi)市場;從應(yīng)用上,由于國內(nèi)外文化、語言的差異,國內(nèi)用戶使用國外的軟件也有難度,因?yàn)檐浖慕缑妗椭臋n都是英文,國內(nèi)的使用者需要具備很高的英文水平才能較快地掌握系統(tǒng)的使用方法和技巧,而一旦軟件升級,他們又不得不重新學(xué)習(xí)一遍,使用者與軟件之間有一條無法逾越的鴻溝。因此,如果繼續(xù)使用國外設(shè)備,我們花費(fèi)了巨額資金卻只能被牽著鼻子走。據(jù)了解,國內(nèi)目前已經(jīng)有了一些并行集群運(yùn)算的技術(shù)應(yīng)用,但在動畫、電影的制作方面,只有中央電視臺使用了一套由100臺HP主機(jī)組成的并行集群渲染系統(tǒng),它使用TurboLinux操作系統(tǒng),采用PlatformLSF5和EnFuzion集群管理軟件進(jìn)行任務(wù)的管理和調(diào)度。在集群計(jì)算方面,我們和國際先進(jìn)水平的差距很大,所以必須加緊腳步跟上來,只有開發(fā)出自己的集群渲染系統(tǒng),才不至于在將來的競爭中被淘汰。三、并行集群染染系統(tǒng)的構(gòu)建針對上述情況,筆者認(rèn)為,如果給動畫工作室配備專門的渲染系統(tǒng),而不是使用動畫師的工作站來完成渲染工作,生產(chǎn)效率將大大提高。實(shí)際上,渲染計(jì)算工作主要由CPU來完成,因此,可以借助帶有多個(gè)CPU的UNIX主機(jī)或由一定數(shù)量的PC機(jī)組成的網(wǎng)絡(luò)系統(tǒng)來完成運(yùn)算。顯然,多CPU的UNIX主機(jī)價(jià)格昂貴,升級、開發(fā)的剩余空間非常小,性能價(jià)格比低,不適合動畫的渲染著色工作。本著低成本、高效率的原則,我們可以構(gòu)建并行集群渲染硬件系統(tǒng),雖然集群渲染系統(tǒng)技術(shù)在國內(nèi)仍是空白,但國外已經(jīng)出現(xiàn)了基于Renderman、MentalRay等渲染器的集群渲染系統(tǒng)。例如,中央電視臺購買的EnFuzion,價(jià)格就非常昂貴,且并非自主知識產(chǎn)權(quán)。集群渲染的基本思路,就是把渲染任務(wù)分配給多臺PC機(jī)來完成,簡而言之,就是將任務(wù)分而治之。歸納起來,集群渲染系統(tǒng)應(yīng)該具備如下條件:■由多臺PC組成,代替工作站來完成渲染工作,充分利用所有硬件和人力資源;■具備完善的管理系統(tǒng),可以方便地進(jìn)行任務(wù)調(diào)配;■具備有優(yōu)秀的算法,充分發(fā)揮每個(gè)節(jié)點(diǎn)(指系統(tǒng)中每臺PC機(jī))的作用,能夠大幅度地提高渲染速度,縮短渲染時(shí)間;■具備快速的傳輸設(shè)備,以保證動畫制作過程中大量的數(shù)據(jù)傳輸。四、視頻集群式網(wǎng)絡(luò)染整系統(tǒng)并行集群渲染系統(tǒng)由一臺或幾臺服務(wù)器、多臺PC和網(wǎng)絡(luò)連接設(shè)備構(gòu)成,每臺PC都擁有中央處理器、主板、內(nèi)存以及存儲設(shè)備。工作站制作好的三維場景文件提交給集群渲染服務(wù)器,由集群渲染服務(wù)器將任務(wù)發(fā)配給系統(tǒng)中任意個(gè)節(jié)點(diǎn),渲染完成后每個(gè)節(jié)點(diǎn)再將結(jié)果返回渲染服務(wù)器,最后由渲染服務(wù)器把視頻信號輸出到視頻設(shè)備(如BetaCam、DVD制作設(shè)備和打印機(jī)等)或三維/視頻工作站,其結(jié)構(gòu)和過程如圖3所示。這種集群式網(wǎng)絡(luò)渲染工作方式和單機(jī)渲染工作方式的差距就如同后工業(yè)社會同小農(nóng)經(jīng)濟(jì)之間的差距一樣,它們之間生產(chǎn)效率的差距非常明顯。在某些領(lǐng)域,單機(jī)渲染方式將被淘汰。不過,集群渲染需要更多的硬件設(shè)備,它們的作用是:■完成并行計(jì)算,縮短渲染時(shí)間,提高產(chǎn)品輸出效率;■節(jié)省動畫師的時(shí)間,幫助他們把精力更多地用在創(chuàng)造性的工作中。那么用于并行集群渲染的設(shè)備是否是一種“奢侈浪費(fèi)”呢?我們來做個(gè)比較:如表1所示,動畫師一年可以節(jié)約20%的硬件升級費(fèi)用,以及17%的薪水費(fèi)用,同時(shí)也節(jié)約了三維造型/渲染軟件的License費(fèi)用。五、集體渲染系統(tǒng)的問題和解決辦法1.效率低下的原因(1)反比關(guān)系理論從理論上說,CPU數(shù)量越大,渲染時(shí)間就越短,它們成反比關(guān)系,如圖4所示。一個(gè)任務(wù)由N顆CPU來完成,假設(shè)1顆CPU(N=1)完成此任務(wù)所需要的時(shí)間T為1,則N顆CPU的效率是1顆CPU效率的N倍,即T=1/N。(2)監(jiān)控系統(tǒng)的效率t問題事實(shí)上,動畫渲染的時(shí)間和CPU的數(shù)量并非成線性反比,如圖5所示。很明顯,簡單地增加CPU數(shù)量或PC節(jié)點(diǎn)根本無法有效地提高渲染效率,代表系統(tǒng)效率的時(shí)間,實(shí)際上應(yīng)為T=1/N+N。因此,當(dāng)CPU個(gè)數(shù)達(dá)到一定數(shù)量后系統(tǒng)效率不但不增加,還有可能減少。造成這種問題的瓶頸主要在于通信(不止網(wǎng)絡(luò)通信,還包括PC內(nèi)部、CPU與內(nèi)存和硬盤之間的通信)和軟件的算法。另外,系統(tǒng)中使用多少個(gè)節(jié)點(diǎn)的計(jì)算機(jī)(基于CPU的數(shù)量)也是需要考慮的問題,越小越可以使用更多的CPU。這需要一個(gè)擁有優(yōu)秀算法的集群渲染管理軟件進(jìn)行調(diào)度,發(fā)揮每個(gè)CPU的效能,并使用性能優(yōu)異的硬件配置。2.數(shù)據(jù)傳輸算法在并行集群渲染的硬件系統(tǒng)建成后,必須使用穩(wěn)定的軟件進(jìn)行管理調(diào)度。由圖4和圖5可以看出,集群渲染系統(tǒng)中的CPU不能完全發(fā)揮效能,軟件的作用在于盡可能多地利用CPU資源,并優(yōu)化數(shù)據(jù)傳輸算法。一個(gè)好的集群渲染管理軟件,可以發(fā)揮系統(tǒng)80%,甚至90%以上的性能。3.底層渲染程序渲染器能根據(jù)三維場景中的各種物體和燈光信息計(jì)算每個(gè)像素的顏色,其編寫難度很大,開發(fā)渲染器的工作會把集群渲染系統(tǒng)的開發(fā)周期加長,而且短期內(nèi)也會有很多缺陷,性能遠(yuǎn)不如現(xiàn)成的渲染器。因此,我們可以使用現(xiàn)有的渲染器。當(dāng)前市場上有不少成熟的渲染器,如德國MentalImages公司的MentalRay,美國Pixar公司的Renderman,還有FinalRenderer、V-Ray、Brazil等。其中MentalRay(目前版本3.1)和Renderman(目前版本11)都是經(jīng)過10多年的開發(fā)形成的成熟產(chǎn)品,擁有較好的渲染質(zhì)量和較快的渲染速度。MentalRay的分塊渲染特性、光線追蹤算法以及兼容性和網(wǎng)絡(luò)通信性能都很好,我們選用了MentalRay作為底層渲染程序。另外,由于MAYA、Softimage|3D、Softimage|XSI、Lightwave都擁有獨(dú)自的渲染器,因此軟件可以同時(shí)支持這些渲染器。(1)y煉焦軟件三化合成設(shè)計(jì)目前主流三維軟件,AVID公司的Softimage|3D、Softimage|XSI以及SideFX的Houdini都內(nèi)置了MentalRay渲染器,而MentalImages公司也與Alias|wavefront、Discreet共同開發(fā)了MentalRayforMaya和MentalRayfor3DStudioMAX的版本,幾乎涵蓋了90%的三維軟件市場。這些三維造型/動畫軟件的場景文件都可以輸出成單一的.MI文件,由MentalRay或Softimage|XSIBathRender渲染,可見MentalRay的兼容性很好。如圖6所示。(2)高效并行集群染整算法MentalRay比普通渲染器更快。普通渲染器無法分塊對圖像進(jìn)行渲染,因此在進(jìn)行并行渲染時(shí)只能一臺計(jì)算機(jī)渲染一幀圖像,由N臺計(jì)算機(jī)渲染N幀圖像序列,再組成動畫。而MentalRay的算法是由多臺計(jì)算機(jī)渲染每一幀圖像的不同部分,最后組成序列幀。優(yōu)秀的并行集群渲染管理軟件可以向系統(tǒng)中不同配置的節(jié)點(diǎn)計(jì)算機(jī)進(jìn)行任務(wù)的“按需分配”,也就是說,軟件可以把計(jì)算量較大的任務(wù)分給配置較好、性能較強(qiáng)的計(jì)算機(jī)完成,而計(jì)算量較小的任務(wù)則分給配置較低、計(jì)算能力較弱的計(jì)算機(jī)來完成。如圖7、圖8所示。分塊渲染算法的好處是:■動畫師可以更快地看到渲染結(jié)果;■渲染大幅單幀畫面時(shí)效率更高。無論多大的畫面,MentalRay都可以用多個(gè)CPU來計(jì)算完成,而其他渲染器卻只能用1個(gè)CPU來完成。(3)信息傳輸三維軟件可以輸出一個(gè).MI文件,將其打散并通過“管道”發(fā)送到所有渲染節(jié)點(diǎn),減輕網(wǎng)絡(luò)傳輸瓶頸問題,如圖9所示。4.快速的網(wǎng)絡(luò)及存儲設(shè)備視頻動畫的數(shù)據(jù)量非常大,以國內(nèi)標(biāo)清動畫為例,解析度為720×576像素,每秒25幀(PAL制式,25FPS),每幀畫面的數(shù)據(jù)量大約為1.2MB,每秒即為1.2×25=30MB,1分鐘則為30×60=1.8GB。如果以高清標(biāo)準(zhǔn)計(jì)算,那么在這個(gè)標(biāo)準(zhǔn)上還要乘以5,也就是說1分鐘高清節(jié)目有10GB的數(shù)據(jù)量。因此,整個(gè)集群渲染系統(tǒng)需要快速的網(wǎng)絡(luò)連接以及海量存儲設(shè)備。根據(jù)集群運(yùn)算的特性,我們使用MyricomMyrinet網(wǎng)絡(luò)。它是2.5GMb帶寬的網(wǎng)絡(luò),可以滿足動畫制作、渲染中大數(shù)據(jù)量快速存儲的需求。可是,由于Myrinet網(wǎng)絡(luò)交換機(jī)和網(wǎng)卡、光纖等設(shè)備比較昂貴,為了節(jié)省經(jīng)費(fèi),在試驗(yàn)階段也可以使用千兆以太網(wǎng)絡(luò)。對于存儲方面,我們需要使用高速的SCSI或FiberChannel存儲設(shè)備,以及盡可能大的內(nèi)存來消除速度瓶頸,并保證數(shù)據(jù)的安全性。表2是各種存儲設(shè)備的速度參數(shù)。5.linux平臺介紹由于Linux操作系統(tǒng)的開放性和強(qiáng)大網(wǎng)絡(luò)管理功能,Linux是進(jìn)行集群渲染系統(tǒng)開發(fā)的最佳平臺,而Windows使用普遍、操作簡單,我們的軟件應(yīng)該運(yùn)行于Linux和Windows。6.來自國內(nèi)的研究開發(fā)初期,可以選擇較小型的8PC系統(tǒng)來實(shí)現(xiàn)。待開發(fā)完成后,可以擴(kuò)大系統(tǒng)規(guī)模,打造上百甚至上千個(gè)處理器的系統(tǒng)。目前并行集群渲染系統(tǒng)還有很大的升級空間和再開發(fā)的可能。首先,國內(nèi)沒有自主知識產(chǎn)權(quán)的集群渲染系統(tǒng),完成此項(xiàng)目的開發(fā)就填補(bǔ)了國內(nèi)技術(shù)的一項(xiàng)空白;其次,因?yàn)橄到y(tǒng)是基于開放的Linux,因此有很大的再開發(fā)空間;第三,8臺PC的系統(tǒng)只需要增加計(jì)算機(jī)節(jié)點(diǎn)的數(shù)量,并在軟件上做簡單的設(shè)置改動,就可以擴(kuò)大系統(tǒng)的規(guī)模,最大可以達(dá)到1024個(gè)節(jié)點(diǎn);第四,目前的方案基于MentalRay渲染器,MentalRay以光線