NVIDIATeslaP100GPU助力AVS24K超高清視頻編碼

1、NVIDIA Tesla P100 GPU助力 AVS2 4K 超高清視頻編碼案例簡(jiǎn)介? 本案例中，北京大學(xué)數(shù)字視頻編解碼國(guó)家工程實(shí)驗(yàn)室利用NVIDIA GPU助力 AVS2 4K超高清視頻編碼，利用Tesla P100 GPU的計(jì)算極大地加速了幀內(nèi)角度預(yù)測(cè)和幀間運(yùn)動(dòng)估計(jì)，空域頻域變換及系數(shù)量化，對(duì) AVS2 4K超高清視頻編碼實(shí)時(shí)處理起著至關(guān)重要的作用。? 本案例主要應(yīng)用到擁有 NVIDIA Tesla P100 GPU的超級(jí)計(jì)算機(jī)。Case Introduction? In this case, National Engineering Laboratory for VideoTechno

2、logy, Peking University applies the NVIDIA GPU to accelerate the coding of AVS2 4K UHD video. The Tesla P100 dramatically accelerate the speed of intro prediction, inter motion estimation, DCT transformation and quantization of coefficient. And it plays the key point in the real time coding of 4K UH

3、D video.? The major product utilized in the case is supercomputer with 4 NVIDIA Tesla P100 GPU.現(xiàn)狀數(shù)字視頻編解碼技術(shù)國(guó)家工程實(shí)驗(yàn)室，在教育部領(lǐng)導(dǎo)下，依托北京大學(xué)建設(shè)，通過(guò)組織領(lǐng)導(dǎo)視頻編解碼國(guó)家標(biāo)準(zhǔn)制定，積極參與相關(guān)國(guó)際標(biāo)準(zhǔn)制定，建立完善的視頻編碼與系統(tǒng)技術(shù)標(biāo)準(zhǔn)體系；針對(duì)標(biāo)準(zhǔn)需要的關(guān)鍵技術(shù)，開(kāi)展視頻編碼的核心算法研究，成為本領(lǐng)域核心專利的重要產(chǎn)出中心；推進(jìn)視頻編解碼專利池的建立，吸收、集成本領(lǐng)域國(guó)內(nèi)、國(guó)際先進(jìn)專利技術(shù)，實(shí)現(xiàn)標(biāo)準(zhǔn)制定和專利許可的聯(lián)合創(chuàng)新和良性互動(dòng)；建立數(shù)字視頻研究開(kāi)發(fā)的開(kāi)放平臺(tái)，支持國(guó)內(nèi)

4、企業(yè)和科研機(jī)構(gòu)開(kāi)展研究開(kāi)發(fā)工作，配合標(biāo)準(zhǔn)的出臺(tái)與實(shí)施，研制編解碼核心軟件、芯片 IP 核和原型產(chǎn)品，引導(dǎo)和推動(dòng)國(guó)內(nèi)產(chǎn)業(yè)界的規(guī)模化投入；搭建試驗(yàn)、測(cè)試、驗(yàn)證和示范平臺(tái)，成為視頻行業(yè)的實(shí)驗(yàn)開(kāi)發(fā)和測(cè)試驗(yàn)證公共支撐服務(wù)中心和專業(yè)人才的培育中心。數(shù)字視頻編解碼國(guó)家工程實(shí)驗(yàn)室主要面向圖像視頻處理與編碼，人工智能與媒體計(jì)算，計(jì)算機(jī)視覺(jué)等相關(guān)領(lǐng)域，發(fā)展新的視頻編碼標(biāo)準(zhǔn)，針對(duì)數(shù)字視頻編碼與系統(tǒng)技術(shù)，建立研究開(kāi)發(fā)和試驗(yàn)平臺(tái)，開(kāi)展視頻編碼算法、編解碼系統(tǒng)、新媒體應(yīng)用。針對(duì)重點(diǎn)行業(yè)應(yīng)用和產(chǎn)業(yè)發(fā)展需要，建立高性能編碼器與核心產(chǎn)品開(kāi)發(fā)平臺(tái)、數(shù)字視頻處理與測(cè)試評(píng)估平臺(tái)、重大應(yīng)用示范與系統(tǒng)集成平臺(tái)、多媒體通信技術(shù)試驗(yàn)驗(yàn)證平臺(tái)

5、等支撐平臺(tái)，并以支撐平臺(tái)為基礎(chǔ)加強(qiáng)與支持單位以及優(yōu)勢(shì)單位和地區(qū)開(kāi)展合作研究，通過(guò) AVS 工作組的集成創(chuàng)新機(jī)制建立完善的、自主知識(shí)產(chǎn)權(quán)的信源編碼技術(shù)標(biāo)準(zhǔn)體系，實(shí)現(xiàn)技術(shù)輻射，為我國(guó)數(shù)字電視、多媒體通信、消費(fèi)電子、寬帶網(wǎng)絡(luò)等產(chǎn)業(yè)發(fā)展提供基礎(chǔ)支撐。未來(lái)，本實(shí)驗(yàn)室還將基于 NVIDIA Tesla GPU提供的卓越計(jì)算性能，將其應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)（ Content Delivery Network ）中視頻編碼與轉(zhuǎn)碼加速，全面提升網(wǎng)絡(luò)中視頻內(nèi)容的編碼效率和速度。挑戰(zhàn)隨著數(shù)字通信技術(shù)的發(fā)展和互聯(lián)網(wǎng)技術(shù)在全國(guó)的普及，數(shù)字視頻在信息時(shí)代得到了廣泛應(yīng)用，如數(shù)字電視、視頻監(jiān)控和數(shù)字視頻點(diǎn)播等。視頻具有直觀、確切

6、、高效等特點(diǎn)，然而未經(jīng)壓縮的原始視頻數(shù)據(jù)量巨大，極大限制了數(shù)字視頻技術(shù)的實(shí)際應(yīng)用。為了節(jié)約視頻信息存儲(chǔ)空間和傳輸帶寬，視頻壓縮技術(shù)成為工業(yè)界和學(xué)術(shù)界研究的熱點(diǎn)。考慮到視頻編碼標(biāo)準(zhǔn)在多媒體領(lǐng)域的核心基礎(chǔ)地位，我國(guó)也積極制定擁有自主知識(shí)產(chǎn)權(quán)的視頻編碼標(biāo)準(zhǔn) -AVS，2014 年 12 月，面向高清 / 超高清視頻應(yīng)用的新一代 AVS2編碼標(biāo)準(zhǔn)正式定稿，AVS2編碼效率比上一代標(biāo)準(zhǔn)AVS+ 和 H.264/AVC 提升了一倍，綜合編碼性能超越了由國(guó)際標(biāo)準(zhǔn)化組織 ISO/IEC MPEG和 ITU-T VCEG 聯(lián)合制定HEVC/H.265，成為目前國(guó)際上最先進(jìn)的視頻壓縮標(biāo)準(zhǔn)。相比上一代標(biāo)準(zhǔn)，AVS2

7、引入了很多新的編碼工具，大幅提升編碼性能的同時(shí)，編碼復(fù)雜度比上一代標(biāo)準(zhǔn)也進(jìn)一步增加， AVS2 編碼加速技術(shù)需求迫切。編碼的速度也同樣制約著廣播電視，網(wǎng)絡(luò)直播，視頻通話等及時(shí)應(yīng)用，因此在保證視頻編碼質(zhì)量的幀間運(yùn)動(dòng)估計(jì)，采用三層搜索模型，逐步從粗粒度的降采樣搜同時(shí)，進(jìn)一步提升編碼速度成為制約實(shí)際應(yīng)用的關(guān)鍵所在。在索，到原始分辨率的精細(xì)搜索，再到分像素更為精細(xì)的運(yùn)動(dòng)搜視頻編碼中，運(yùn)動(dòng)估計(jì)，變換，量化等耗時(shí)的編碼技術(shù)，有很索，估計(jì)得到當(dāng)前塊的運(yùn)動(dòng)矢量。大的可并行性，因此利用GPU硬件平臺(tái)的多核資源來(lái)加速視頻編碼關(guān)鍵技術(shù)成為可能。編碼算法各模塊時(shí)間占比方案視頻編碼過(guò)程中，幀內(nèi)預(yù)測(cè)編碼、幀間運(yùn)動(dòng)估計(jì)和運(yùn)

8、動(dòng)補(bǔ)償、離散余弦變換是計(jì)算最密集的部分。傳統(tǒng)基于 CPU 的實(shí)現(xiàn)是以塊為單位，對(duì)于幀內(nèi)預(yù)測(cè)部分，分別串行計(jì)算每個(gè)像素點(diǎn)的預(yù)測(cè)值，而對(duì)于幀間運(yùn)動(dòng)估計(jì)部分，則是串行搜索每個(gè)可能的位置，并行效率低。離散余弦變化作為矩陣運(yùn)算同樣非常耗時(shí)。我們利用 NVIDIA 的 TESLA P100 GPU加速了這些部分，并實(shí)現(xiàn)了多 GPU 并行計(jì)算。幀內(nèi)預(yù)測(cè)編碼，對(duì)于一種角度模式，根據(jù)周邊已知像素點(diǎn)，計(jì)算得到當(dāng)前像素點(diǎn)的預(yù)測(cè)值，并與原始像素相減得到殘差，之后進(jìn)行離散余弦變化和系數(shù)量化，最后進(jìn)行熵編碼輸出碼流。基于 NVIDIA Pascal架構(gòu)的 P100 GPU為視頻編碼提供了強(qiáng)大且穩(wěn)定的計(jì)算能力，同時(shí)， NVLink 技術(shù)為多 GPU 提供了高速互連，為多 GPU 并行計(jì)算提供了強(qiáng)有力的支持?；赥ESLA P100GPU的 4K 超高清視頻編碼密集計(jì)算模塊加速，相比于基于 CPU 的計(jì)算有平均大于 100 倍的提升，這給實(shí)時(shí)超高清視頻編碼帶了可能。在未來(lái)的工作中，對(duì)于實(shí)驗(yàn)中發(fā)現(xiàn)的，或是理論計(jì)算過(guò)程中發(fā)現(xiàn)，只需要增加更多的GPU 或者采用計(jì)算能力更強(qiáng)的V100GPU，同時(shí)，將編碼中其他部分同樣采用 GPU 加速，便可以達(dá)到 4K 超高清視頻的實(shí)時(shí)編碼。影響對(duì)基于 AVS2 標(biāo)準(zhǔn)的 4K 超高清視