視頻編解碼的方法、裝置、計算機設(shè)備及計算機可讀存儲介質(zhì)

(19)中華人民共和國國家知識產(chǎn)權(quán)局

(12)發(fā)明專利

(10)授權(quán)公告號CN110719477B

(45)授權(quán)公告日2022.03.25

(21)申請?zhí)?01910605634.2H04N79/732(2014.01)

H04N79/503(2014.01)

(22)申請日2019.07.05

H04N79/776(2014.01)

(65)同一申請的已公布的文獻(xiàn)號

H04N79/774(2014.01)

申請公布號CN110719477A

H04N79/82(2014.01)

(43)申請公布日2020.01.21H04N79/703(2014.01)

H04N79/786(2014.01)

(30)優(yōu)先權(quán)數(shù)據(jù)

H04N79/67(2014.01)

62/696,5302018.07.11US

H04N79/747(2014.01)

16/218,2332018.12.12US

H04N79/705(2014.01)

(73)專利權(quán)人騰訊美國有限責(zé)任公司

地址美國加利福尼亞州帕洛阿爾托公園大(56)對比文件

WO2010116268A1,2010.10.14

道2747號

WO2010051846A1,2010.05.14

(72)發(fā)明人李翔趙欣劉杉徐萌

CN102484701A,2012.05.30

(74)專利代理機構(gòu)北京德琦知識產(chǎn)權(quán)代理有限US2013259128A1,2013.10.03

公司11018CN102165771A,2011.08.24

代理人馬媛媛王琦

審查員呂薇

(51)Int.CI.

H04N79/784(2014.01)權(quán)利要求書2頁說明書27頁附圖14頁

(54)發(fā)明名稱

視頻編解碼的方法、裝置、計算機設(shè)備及計

算機可讀存儲介質(zhì)

(57)摘要府「八S1SO1X-^J500

本申請實施例提供了一種視頻編解碼的方

對四碼單元所關(guān)行解碼sisio

法、裝置、計算機設(shè)備及計算機可讀存儲介質(zhì)，其

中該方法包括:對編碼視頻比特流中的圖像的塊,S152O

??單元是否關(guān)聯(lián)空間變化變-5

相關(guān)聯(lián)的編碼信息進(jìn)行解碼，該編碼信息指示子

區(qū)域在該塊中的位置，并且該子區(qū)域的面積是該

塊面積的1/4；利用第一采樣的殘差數(shù)據(jù)重構(gòu)該

塊位于該子區(qū)域內(nèi)的第一采樣;在不采用該殘差

數(shù)據(jù)的情況下重構(gòu)該塊位于該子區(qū)域外的第二

采樣。

g

箕

寸

6

I

Z

S

I

g

CN110719477B權(quán)利要求書1/2頁

1.一種視頻解碼方法，其特征在于，包括：

對編碼視頻比特流中的圖像的塊所關(guān)聯(lián)的編碼信息進(jìn)行解碼，該編碼信息表示子區(qū)域

在該塊中的位置，該子區(qū)域的面積是該塊面積的1/4；其中，該編碼信息表示該子區(qū)域的寬

度為該塊寬度的1/4,該子區(qū)域的高度等于該塊的高度，且該子區(qū)域僅鄰接于以下其中之

一:該塊的左邊緣、該塊的右邊緣;或者，該子區(qū)域的寬度等于該塊的寬度，該子區(qū)域的高度

為該塊高度的1/4,并且該子區(qū)域僅鄰接于以下其中之一:該塊的上邊緣、該塊的下邊緣;該

編碼信息還通過第一二進(jìn)制化代碼bin和第二bin指示該塊采用的變換模式，該第一bin和

第二bin組成的’10'表示該塊被垂直分割，并編碼對應(yīng)于所述子區(qū)域位于左邊緣、右邊緣的

變換模式其中之一;該第一bin和第二bin組成的’11'表示該塊被水平分割，并編碼對應(yīng)于

所述子區(qū)域位于上邊緣、下邊緣的變換模式其中之一；

利用該塊在該子區(qū)域內(nèi)的第一采樣的殘差數(shù)據(jù)重建該第一采樣;及

在不采用殘差數(shù)據(jù)的情況下重建該塊位于該子區(qū)域外的第二采樣。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，重建所述第一采樣進(jìn)一步包括：

通過對該子區(qū)域內(nèi)的所述第一采樣的變換系數(shù)進(jìn)行反變換以確定該子區(qū)域內(nèi)的所述

第一采樣的所述殘差數(shù)據(jù),其中所述變換系數(shù)接收自所述編碼視頻比特流。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，該子區(qū)域呈矩形。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，該塊利用幀間預(yù)測編碼，且所述第一采樣

和所述第二采樣具有相同的運動預(yù)測信息。

5.根據(jù)權(quán)利要求1?4任一項所述的方法，其特征在于，在該編碼視頻比特流中用信號

表示該子區(qū)域位置的編碼信息。

6.一種視頻解碼裝置，其特征在于，包括：

信息解碼模塊，用于對編碼視頻比特流中的圖像的塊所關(guān)聯(lián)的編碼信息進(jìn)行解碼，該

編碼信息表示子區(qū)域在該塊中的位置，該子區(qū)域的面積是該塊面積的1/4；其中，該編碼信

息表示該子區(qū)域的寬度為該塊寬度的1/4,該子區(qū)域的高度等于該塊的高度,且該子區(qū)域僅

鄰接于以下其中之一：該塊的左邊緣、該塊的右邊緣;或者，該子區(qū)域的寬度等于該塊的寬

度，該子區(qū)域的高度為該塊高度的1/4,并且該子區(qū)域僅鄰接于以下其中之一:該塊的上邊

緣、該塊的下邊緣；該編碼信息還通過第一二進(jìn)制化代碼bin和第二bin指示該塊采用的變

換模式，該第一bin和第二bin組成的10'表示該塊被垂直分割，并編碼對應(yīng)于所述子區(qū)域

位于左邊緣、右邊緣的變換模式其中之一；該第一bin和第二bin組成的11'表示該塊被水

平分割，并編碼對應(yīng)于所述子區(qū)域位于上邊緣、下邊緣的變換模式其中之一；

重建模塊,用于利用該塊在該子區(qū)域內(nèi)的第一采樣的殘差數(shù)據(jù)重建該第一采樣;及

在不采用殘差數(shù)據(jù)的情況下重建該塊位于該子區(qū)域外的第二采樣。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述重建模塊用于：

通過對該子區(qū)域內(nèi)的所述第一采樣的變換系數(shù)進(jìn)行反變換以確定該子區(qū)域內(nèi)的所述

第一采樣的所述殘差數(shù)據(jù),其中所述變換系數(shù)接收自所述編碼視頻比特流。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，該子區(qū)域呈矩形，該塊利用幀間預(yù)測編碼,

且所述第一采樣和所述第二采樣具有相同的運動預(yù)測信息。

9.根據(jù)權(quán)利要求6?8任一項所述的裝置，其特征在于，在該編碼視頻比特流中用信號

表示該子區(qū)域位置的編碼信息。

2

CN110719477B權(quán)利要求書2/2頁

10.一種計算機設(shè)備，包括處理器和存儲器，其特征在于，所述存儲器中存儲有計算機

可讀指令，所述指令可被所述處理器執(zhí)行用于實現(xiàn)根據(jù)權(quán)利要求1-5任一權(quán)利要求所述的

方法。

11.一種非暫時性計算機可讀存儲介質(zhì)，存儲有程序，其特征在于,所述程序可被至少

一個處理器執(zhí)行用于實現(xiàn)根據(jù)權(quán)利要求1-5任一權(quán)利要求所述的方法。

3

CN110719477B說明書1/27頁

視頻編解碼的方法、裝置'計算機設(shè)備及計算機可讀存儲介質(zhì)

[0001]相關(guān)文件

[0002]本公開要求2018年7月11日遞交的美國臨時申請62/696530的優(yōu)先權(quán)，以及2018年

12月12日遞交的美國申請16/218233的優(yōu)先權(quán)，其全部內(nèi)容通過引用結(jié)合在本文中。

技術(shù)領(lǐng)域

[0003]本申請實施例主要涉及視頻編碼技術(shù)，尤其涉及一種視頻編解碼的方法、裝置、計

算機設(shè)備及計算機可讀存儲介質(zhì)。

背景技術(shù)

[0004]本文提供的背景描述是為了呈現(xiàn)本申請的背景。記名的發(fā)明人的工作，在該背景

部分描述的工作以及本說明書各實施例的范圍內(nèi)的內(nèi)容，在遞交時可能并不算作現(xiàn)有技

術(shù)，均未被明示或暗示地承認(rèn)作為不利于本申請的現(xiàn)有技術(shù)。

[0005]視頻編碼和解碼可以使用具有運動補償?shù)膱D像間預(yù)測來進(jìn)行。未壓縮的數(shù)字視頻

可包括一系列圖像，每個圖像具有一定的空間維度，例如1920x1080的亮度采樣和相關(guān)的色

度采樣。圖像序列可具有固定或可變的圖像速率（俗稱幀率），例如，每秒60張圖像或60Hz。

未壓縮的視頻需要較高的比特率。例如，每個采樣為8比特的1080p604：2：0（60Hz幀率下的

1920x1080亮度采樣分辨率）的視頻需要接近1.5G比特/秒的帶寬。長度為一小時的這種視

頻需要600G字節(jié)以上的存儲空間。

[0006]視頻編碼和解碼的一個目的是，通過壓縮來降低輸入視頻信號的冗余。在一些情

況下，壓縮可將帶寬或存儲器的需求減小至少兩個數(shù)量級?？墒褂脽o損壓縮、有損壓縮，或

其組合。無損壓縮指可從經(jīng)過壓縮的原始信號中重建原始信號的準(zhǔn)確副本的技術(shù)。當(dāng)使用

有損壓縮時，重建信號可與原始信號不一致,但原始信號和重建信號之間的失真足夠小，以

使重建信號能夠?qū)崿F(xiàn)所期望的用途。視頻領(lǐng)域中廣泛采用有損壓縮。容許的失真量取決于

應(yīng)用，例如，一些消費型直播應(yīng)用的用戶比電視節(jié)目應(yīng)用的用戶能容忍更大的失真?？蓪崿F(xiàn)

的壓縮比可以反映出：可允許/可容忍的失真越大，可產(chǎn)生的壓縮比越高。

[0007]運動補償可以是有損壓縮技術(shù)，并且可以涉及一些技術(shù)，這些技術(shù)利用來自先前

重建的圖像或其一部分（即參考圖像）的采樣數(shù)據(jù)塊，在對其進(jìn)行運動矢量（后文稱為MV）所

指示的方向上的空間移位之后），用于預(yù)測新重建的圖像或圖像部分。在一些情況下，參考

圖像可以與當(dāng)前正在重建的圖像相同。MV可以有兩個維度X和Y,或三個維度，第三個是所使

用的參考圖像的指示（后者，間接地，可以是一個時間維度）。

[0008]目前，空間可變變換（spatiallyvaryingtransform,SVT）試圖將運動補償殘差

分割為不同區(qū)域，即殘差較小的區(qū)域和殘差較大的區(qū)域。在JVET-K0139中提出的SVT中，僅

定位和編碼殘差較大的一個區(qū)域。其它殘差較小的區(qū)域被丟棄并且其殘差被強制設(shè)為0。然

而,JVET-K0139中提出的區(qū)域分割模式是有限的，這導(dǎo)致實際應(yīng)用中的效率較低。

4

CN110719477B說明書2/27頁

發(fā)明內(nèi)容

[0009]本申請實施例提供了一種視頻解碼的方法、裝置計算機設(shè)備及計算機可讀存儲介

質(zhì)。在一些實施例中，該裝置對編碼視頻比特流中的圖像的塊所關(guān)聯(lián)的編碼信息進(jìn)行解碼。

該編碼信息指示子區(qū)域在該塊中的位置，并且該子區(qū)域的面積是該塊面積的1/4；其中，該

編碼信息表示該子區(qū)域的寬度為該塊寬度的1/4,該子區(qū)域的高度等于該塊的高度,且該子

區(qū)域僅鄰接于以下其中之一：該塊的左邊緣、該塊的右邊緣;或者，該子區(qū)域的寬度等于該

塊的寬度，該子區(qū)域的高度為該塊高度的1/4,并且該子區(qū)域僅鄰接于以下其中之一：該塊

的上邊緣、該塊的下邊緣;該編碼信息還通過第一二進(jìn)制化代碼bin和第二bin指示該塊采

用的變換模式，該第一bin和第二bin組成的'10'表示該塊被垂直分割，并編碼對應(yīng)于所述

子區(qū)域位于左邊緣、右邊緣的變換模式其中之一；該第一bin和第二bin組成的’11'表示該

塊被水平分割，并編碼對應(yīng)于所述子區(qū)域位于上邊緣、下邊緣的變換模式其中之一。該裝置

進(jìn)一步利用該塊在該子區(qū)域內(nèi)的第一采樣的殘差數(shù)據(jù)重構(gòu)所述第一采樣，并且在不采用殘

差數(shù)據(jù)的情況下重構(gòu)該塊中的位于該子區(qū)域外的第二采樣。

[0010]一個實施例中，該裝置進(jìn)一步通過對該子區(qū)域內(nèi)的所述第一采樣的變換系數(shù)進(jìn)行

反變換以確定該子區(qū)域內(nèi)所述第一采樣的殘差數(shù)據(jù)，其中所述變換系數(shù)接收自該編碼視頻

比特流。

[0011]在一些實施例中，該子區(qū)域呈矩形。

[0012]在一些實施例中，利用幀間預(yù)測對該塊進(jìn)行編碼，且所述第一采樣和所述第二采

樣具有相同的運動預(yù)測信息。

[0013]在一些例子中，在該編碼視頻比特流中用信號表示該子區(qū)域位置的編碼信息。

[0014]本申請實施例提供了一種視頻解碼裝置,包括：

[0015]信息解碼模塊，用于對編碼視頻比特流中的圖像的塊所關(guān)聯(lián)的編碼信息進(jìn)行解

碼，該編碼信息表示子區(qū)域在該塊中的位置，該子區(qū)域的面積是該塊面積的1/4；其中，該編

碼信息表示該子區(qū)域的寬度為該塊寬度的1/4,該子區(qū)域的高度等于該塊的高度，且該子區(qū)

域僅鄰接于以下其中之一：該塊的左邊緣、該塊的右邊緣;或者，該子區(qū)域的寬度等于該塊

的寬度，該子區(qū)域的高度為該塊高度的1/4,并且該子區(qū)域僅鄰接于以下其中之一:該塊的

上邊緣、該塊的下邊緣;該編碼信息還通過第一二進(jìn)制化代碼bin和第二bin指示該塊采用

的變換模式，該第一bin和第二bin組成的’10'表示該塊被垂直分割，并編碼對應(yīng)于所述子

區(qū)域位于左邊緣、右邊緣的變換模式其中之一；該第一bin和第二bin組成的’11'表示該塊

被水平分割，并編碼對應(yīng)于所述子區(qū)域位于上邊緣、下邊緣的變換模式其中之一；

[0016]重建模塊，用于利用該塊在該子區(qū)域內(nèi)的第一采樣的殘差數(shù)據(jù)重建該第一采樣；

及

[0017]在不采用殘差數(shù)據(jù)的情況下重建該塊位于該子區(qū)域外的第二采樣。

[0018]本申請實施例還提供了一種計算機設(shè)備，包括處理器和存儲器，存儲器中存儲有

計算機可讀指令，可由所述處理器執(zhí)行，以實現(xiàn)任一實施例的方法。

[0019]本申請實施例還提供了一種非暫存計算機可讀存儲介質(zhì)，存儲有程序，該程序可

由至少一個處理器執(zhí)行，以實現(xiàn)任一實施例的方法。

[0020]本申請實施例中，可以采用各種方式將編碼單元(CU)分割為具有相對較大的殘差

的第一采樣的第一子區(qū)域(即殘差較大的子區(qū)域)以及具有相對較小殘差的第二采樣的第

5

CN110719477B說明書3/27頁

二子區(qū)域（即殘差較小的子區(qū)域），從而提高編解碼的效率。

[0021]附圖簡要說明

[0022]根據(jù)以下詳細(xì)描述和附圖，本申請主題的其它特征、性質(zhì)和各種優(yōu)點將變得更加

明顯，在附圖中：

[0023]圖1是一個例子中的當(dāng)前塊及其周圍的空間合并候選者的示意圖。

[0024]圖2是一個實施例的通信系統(tǒng)的簡化框圖的示意圖。

[0025]圖3是另一個實施例的通信系統(tǒng)的簡化框圖的示意圖。

[0026]圖4是一個實施例的解碼器的簡化框圖的示意圖。

[0027]圖5是一個實施例的編碼器的簡化框圖的示意圖。

[0028]圖6是另一實施例的編碼器的框圖。

[0029]圖7是另一實施例的解碼器的框圖。

[0030]圖8示出一個實施例的吉文斯（Givens）旋轉(zhuǎn)。

[0031]圖9是一個實施例的16個元素NSST的超立方-吉文斯變換（Hypercube-Givens

Transform,HyGT）的流程圖。

[0032]圖10是一個實施例的HyGT的輪次和可選的排列通路。

[0033]圖11是本申請一些實施例的空間可變變換（spatiallyvaryingtransform,SVT）

模式的例子。

[0034]圖12是本申請另一些實施例的SVT模式的例子。

[0035]圖13是本申請又一些實施例的SVT模式的例子。

[0036]圖14是本申請一些實施例的合并子區(qū)域關(guān)聯(lián)的SVT模式的例子。

[0037]圖15是本申請實施例的過程的概要流程圖。

[0038]圖16是本申請實施例的計算機系統(tǒng)的示意圖。

具體實施方式

[0039]在一些視頻壓縮技術(shù)中，用于采樣數(shù)據(jù)的某個區(qū)域的MV可以從其它MV預(yù)測得到，

例如，從與該重建中的區(qū)域在空間上相鄰的另一采樣數(shù)據(jù)區(qū)域相關(guān)的、并且解碼順序在該

MV之前的那些MV。這樣做可以大大減少編碼MV所需的數(shù)據(jù)量，從而消除冗余并加大壓縮。例

如,MV預(yù)測可以有效地工作，因為當(dāng)對從相機導(dǎo)出的輸入視頻信號（稱為自然視頻）進(jìn)行編

碼時,存在一種統(tǒng)計可能性，即比單個MV可適用的區(qū)域更大的區(qū)域在相似的方向上移動，并

因此,在某些情況下，可以使用從相鄰區(qū)域的MV推導(dǎo)出的類似運動矢量進(jìn)行預(yù)測。這導(dǎo)致為

給定區(qū)域找到的MV與從周圍的MV預(yù)測出的MV相似或相同，并且進(jìn)而在燧編碼之后，可以用

比對其直接編碼時使用的比特數(shù)更少的比特來表示。在一些情況下,MV預(yù)測可以是對源自

原始信號（即：采樣流）的信號（即：MV）的無損壓縮的示例。在其它情況下,MV預(yù)測本身可能

是有損的，例如在從一些周圍的MV計算預(yù)測因子時產(chǎn)生的舍入誤差導(dǎo)致的損失。

[0040]在H.265/HEVCQTU-TH.265建議書，高效視頻編碼攝,2016年12月）中描述了各種

MV預(yù)測機制。在H.265提供的許多MV預(yù)測機制中，這里描述的是一種后文稱為空間合并的技

術(shù)。

[0041]請參考圖1,當(dāng)前塊（101）包括在運動搜索過程期間已由編碼器發(fā)現(xiàn)的樣本，根據(jù)

已產(chǎn)生空間偏移的相同大小的先前塊，可預(yù)測所述樣本。另外，可從一個或多個參考圖片相

6

CN110719477B說明書4/27頁

關(guān)聯(lián)的元數(shù)據(jù)中導(dǎo)出所述MV,而非對MV直接編碼。例如，使用AO、A1和BO、B1、B2(分別對應(yīng)

102到106)五個周圍采樣中的任一采樣相關(guān)聯(lián)的MV,(按解碼次序)從最近的參考圖片的元

數(shù)據(jù)中獲得所述MV。在H.265中,MV預(yù)測可使用來自相鄰塊所使用的同一參考圖像的預(yù)測因

子。

[0042]圖2是本申請實施例的通信系統(tǒng)(200)的簡化框圖。通信系統(tǒng)(200)包括多個終端

裝置，所述終端裝置可通過例如網(wǎng)絡(luò)(250)彼此通信。舉例來說，通信系統(tǒng)(200)包括通過網(wǎng)

絡(luò)(250)互連的終端設(shè)備(210)和終端設(shè)備(220)。在圖2的實施例中，終端設(shè)備(210)和終端

設(shè)備(220)執(zhí)行單向數(shù)據(jù)傳輸。舉例來說，終端設(shè)備(210)可對視頻數(shù)據(jù)(例如由終端設(shè)備

(210)采集的視頻圖像流)進(jìn)行編碼以通過網(wǎng)絡(luò)(250)傳輸?shù)搅硪唤K端設(shè)備(220)。已編碼的

視頻數(shù)據(jù)以一個或多個編碼視頻碼流的形式傳輸。終端設(shè)備(220)可從網(wǎng)絡(luò)(250)接收編碼

視頻數(shù)據(jù)，對編碼視頻數(shù)據(jù)進(jìn)行解碼以恢復(fù)視頻數(shù)據(jù)，并根據(jù)恢復(fù)的視頻數(shù)據(jù)顯示視頻圖

像。單向數(shù)據(jù)傳輸常用于媒體服務(wù)應(yīng)用等。

[0043]在另一實施例中，通信系統(tǒng)(200)包括執(zhí)行編碼視頻數(shù)據(jù)的雙向傳輸?shù)慕K端設(shè)備

(230)和(240),所述雙向傳輸可在，例如，視頻會議期間，發(fā)生。對于雙向數(shù)據(jù)傳輸，終端設(shè)

備(230)和終端設(shè)備(240)中的每個終端設(shè)備可對視頻數(shù)據(jù)(例如由終端設(shè)備采集的視頻圖

像流)進(jìn)行編碼以通過網(wǎng)絡(luò)(250)傳輸?shù)浇K端設(shè)備(230)和終端設(shè)備(240)中的另一終端設(shè)

備。終端設(shè)備(230)和終端設(shè)備(240)中的每個終端設(shè)備還可接收由終端設(shè)備(230)和終端

設(shè)備(240)中的另一終端設(shè)備傳輸?shù)囊丫幋a視頻數(shù)據(jù)，且可對所述已編碼視頻數(shù)據(jù)進(jìn)行解

碼以恢復(fù)視頻數(shù)據(jù)，且可根據(jù)恢復(fù)的視頻數(shù)據(jù)在可訪問的顯示裝置上顯示視頻圖像。

[0044]在圖2的實施例中，終端設(shè)備(210)、終端設(shè)備(220)、終端設(shè)備(230)和終端設(shè)備

(240)可為服務(wù)器、個人計算機和智能電話，但本申請公開的原理可不限于此。本申請實施

例適用于筆記本電腦、平板電腦、媒體播放器和/或?qū)Ｓ靡曨l會議設(shè)備。網(wǎng)絡(luò)(250)表示在終

端設(shè)備(210)、終端設(shè)備(220)、終端設(shè)備(230)和終端設(shè)備(240)之間傳送已編碼視頻數(shù)據(jù)

的任何數(shù)目的網(wǎng)絡(luò)，包括例如有線(連線的)和/或無線通信網(wǎng)絡(luò)。通信網(wǎng)絡(luò)(250)可在電路

交換和/或包交換的信道中交換數(shù)據(jù)。該網(wǎng)絡(luò)可包括電信網(wǎng)絡(luò)、局域網(wǎng)、廣域網(wǎng)和/或互聯(lián)

網(wǎng)。為本文討論的目的，除非有明確說明，網(wǎng)絡(luò)(250)的體系結(jié)構(gòu)和拓?fù)渑c本申請的操作無

關(guān)。

[0045]作為實施例，圖3示出視頻編碼器和視頻解碼器在流媒體環(huán)境中的部署方式。本申

請所公開主題可同等地適用于其它支持視頻的應(yīng)用，包括例如視頻會議、數(shù)字TV、在包括

CD、DVD、存儲棒等的數(shù)字介質(zhì)上存儲壓縮視頻等等。

[0046]流媒體系統(tǒng)可包括采集子系統(tǒng)(313)，所述采集子系統(tǒng)可包括數(shù)碼相機等視頻源

(301)，所述視頻源創(chuàng)建未壓縮的視頻圖像流(302)。在實施例中，視頻圖像流(302)包括由

數(shù)碼相機拍攝的采樣。視頻圖像流(302)(用粗線表示，以強調(diào)比已編碼的視頻數(shù)據(jù)(304)

(或已編碼的視頻碼流)的數(shù)據(jù)量大)可由電子設(shè)備(320)處理,所述電子設(shè)備(320)包括耦

接到視頻源(301)的視頻編碼器(303)。視頻編碼器(303)可包括硬件、軟件或軟硬件組合以

實現(xiàn)或?qū)嵤┤缦挛母敿?xì)地描述的本申請主題的各實施例。已編碼的視頻數(shù)據(jù)(304)(或已

編碼的視頻碼流(304))(用細(xì)線表示，以強調(diào)比視頻圖像流(302)的數(shù)據(jù)量小)可存儲在流

媒體服務(wù)器(305)上以供后續(xù)使用。一個或多個流媒體客戶端子系統(tǒng)(例如圖3中的客戶端

子系統(tǒng)(306)和客戶端子系統(tǒng)(308))可訪問流媒體服務(wù)器(305)以獲取已編碼的視頻數(shù)據(jù)

7

CN110719477B說明書5/27頁

(304)的副本(307)和副本(309)?？蛻舳俗酉到y(tǒng)(306)可包括，例如，電子設(shè)備(330)中的視

頻解碼器(310)。視頻解碼器(310)對已編碼的視頻數(shù)據(jù)的傳入副本(307)進(jìn)行解碼,并創(chuàng)建

可在顯示器(312)(例如顯示屏)或其它呈現(xiàn)設(shè)備(未示出)上呈現(xiàn)的傳出視頻圖像流(311)o

在一些流媒體系統(tǒng)中，可根據(jù)一些視頻編碼/壓縮標(biāo)準(zhǔn)對已編碼的視頻數(shù)據(jù)(304)、(307)和

(309)(例如視頻碼流)進(jìn)行編碼。這些標(biāo)準(zhǔn)的例子包括ITU-T建議H.265。一個例子中，一種

正在開發(fā)的視頻編碼標(biāo)準(zhǔn)被俗稱為多功能視頻編碼(VersatileVideoCoding,VVC)。本申

請的主題可以在VVC環(huán)境中使用。

[0047]應(yīng)注意，電子設(shè)備(320)和(330)可包括其它組件(未示出)。例如，電子設(shè)備(320)

可包括視頻解碼器(未示出)，且電子設(shè)備(330)還可包括視頻編碼器(未示出)o

[0048]圖4是本申請實施例的視頻解碼器(410)的框圖。視頻解碼器(410)可設(shè)置在電子

設(shè)備(430)中。電子設(shè)備(430)可包括接收器(431)(例如接收電路)。視頻解碼器(410)可用

于代替圖3實施例中的視頻解碼器(310)。

[0049]接收器(431)可接收要由視頻解碼器(410)解碼的一個或多個編碼視頻序列;在同

一實施例或另一實施例中，一次接收一個編碼視頻序列，其中每個編碼視頻序列的解碼獨

立于其它編碼視頻序列?？蓮男诺?401)接收編碼視頻序列，該信道(412)可以是通向存儲

已編碼視頻數(shù)據(jù)的存儲裝置的硬件/軟件鏈路。接收器(431)可以接收已編碼視頻數(shù)據(jù)和其

它數(shù)據(jù)，其它數(shù)據(jù)例如編碼音頻數(shù)據(jù)和/或輔助數(shù)據(jù)流，它們可以被轉(zhuǎn)發(fā)到它們各自的使用

實體(未示出)。接收器(431)可以將編碼視頻序列與其它數(shù)據(jù)分離。為了防止網(wǎng)絡(luò)抖動，緩

沖存儲器(415)可耦接在接收器(431)與端解碼器/解析器(420)(此后稱為“解析器(420))

之間?！痹谀承?yīng)用中，緩沖存儲器(415)是視頻解碼器(410)的一部分。在其它情況下，所述

緩沖存儲器(415)可設(shè)置在視頻解碼器(410)外部(未示出)。而在其它情況下，可在視頻解

碼器(410)的外部設(shè)置緩沖存儲器(未標(biāo)示)(例如，用于防止網(wǎng)絡(luò)抖動)，并在視頻解碼器

(410)的內(nèi)部配置另一緩沖存儲器(415)(例如，用于處理播出定時)。而當(dāng)接收器(431)從具

有足夠帶寬和可控性的存儲/轉(zhuǎn)發(fā)設(shè)備，或從等時同步網(wǎng)絡(luò)接收數(shù)據(jù)時，也可能不需要使用

緩沖存儲器(415)，或可以使用小型緩沖存儲器。為了在例如互聯(lián)網(wǎng)等盡力而為式的分組網(wǎng)

絡(luò)上使用，可能需要使用緩沖存儲器(415)，緩沖存儲器可相對較大并且最好是具有自適應(yīng)

的大小，且可至少部分地由操作系統(tǒng)或視頻解碼器(410)外部的類似元件(未標(biāo)示)實現(xiàn)。

[0050]視頻解碼器(410)可包括解析器(420)以根據(jù)編碼視頻序列重建符號(421)。這些

符號的類別包括用于管理解碼器(410)操作的信息，還可能包括用于控制諸如顯示器的呈

現(xiàn)設(shè)備(412)的信息，該呈現(xiàn)設(shè)備不是解碼器的組成部分，但是可以耦合到解碼器，如圖4所

示。用于呈現(xiàn)設(shè)備的控制信息可以是補充增強信息(SEI消息)或視頻可用性信息(VUI)參數(shù)

集片段(未示出)的形式。解析器(420)可對接收到的編碼視頻序列進(jìn)行解析/端解碼。編碼

視頻序列的編碼可根據(jù)視頻編碼技術(shù)或標(biāo)準(zhǔn)進(jìn)行，且可遵循各種原理，包括可變長度編碼、

霍夫曼編碼(Huffmancoding)、具有或不具有上下文靈敏度的算術(shù)編碼等。解析器(420)可

基于對應(yīng)于群組的至少一個參數(shù),從編碼視頻序列提取用于視頻解碼器中的像素的子組中

的至少一個子組的子組參數(shù)集。子組可以包括圖像組(G0P)、圖像、圖塊(tile)、分片

(slice)、宏塊(macroblock)、編碼單元(CU)、塊、轉(zhuǎn)換單元(TU)、預(yù)測單元(PU)等。解析器

(420)還可以從編碼視頻序列中提取出如變換系數(shù)、量化器參數(shù)值、運動矢量等信息。

[0051]解析器(420)可對從緩沖存儲器(415)接收的視頻序列執(zhí)行端解碼/解析操作，從

8

CN110719477B說明書6/27頁

而創(chuàng)建符號(421)。

[0052]符號(421)的重構(gòu)可以包括多個不同的單元，這取決于編碼視頻圖像或其部分的

類型(例如:幀間和幀內(nèi)圖像，幀間和幀內(nèi)塊)以及其它因素。涉及哪些單元以及涉及方式可

由解析器(420)從編碼視頻序列解析的子組控制信息控制。為了清楚起見，下面沒有描述解

析器(420)和多個單元之間的這種子組控制信息流。

[0053]除己經(jīng)提及的功能塊以外，視頻解碼器(410)可在概念上細(xì)分成如下文所描述的

數(shù)個功能單元。在商業(yè)受限下操作的實際具體實施中，這些單元中的許多彼此緊密地交互,

并且可以至少部分地彼此集成。然而，為了描述本申請的主題，以下對功能單元從概念上的

劃分是合適的。

[0054]第一單元是定標(biāo)器/逆轉(zhuǎn)換單元(451)。定標(biāo)器/逆變換單元(451)從解析器(420)

接收符號(421)形式的量化變換系數(shù)以及控制信息，包括使用哪種變換方式、塊大小、量化

因子、量化縮放矩陣等?？s放器/逆變換單元(451)可輸出包括樣本值的塊，所述樣本值可輸

入到聚合器(455)中。

[0055]在一些情況下，定標(biāo)器/逆轉(zhuǎn)換單元(451)的輸出采樣可以屬于幀內(nèi)編碼塊；即：不

使用來自先前重建圖像的預(yù)測信息，但是可以使用來自當(dāng)前圖像的先前重建部分的預(yù)測信

息的塊。這種預(yù)測信息可以由幀內(nèi)圖像預(yù)測單元(452)提供。在一些情況下，幀內(nèi)圖片預(yù)測

單元(452)使用從當(dāng)前圖像緩沖器(458)提取的周圍已重建信息生成與正在重建的塊的大

小和形狀相同的塊。舉例來說，當(dāng)前圖片緩沖器(458)緩沖部分重建的當(dāng)前圖像和/或完全

重建的當(dāng)前圖像。在一些情況下，聚合器(455)在每個采樣的基礎(chǔ)上將幀內(nèi)預(yù)測單元(452)

已經(jīng)生成的預(yù)測信息添加到由定標(biāo)器/逆轉(zhuǎn)換單元(451)提供的輸出樣本信息。

[0056]在其它情況下，定標(biāo)器/逆轉(zhuǎn)換單元(451)的輸出采樣可屬于經(jīng)幀間編碼且可能經(jīng)

運動補償?shù)膲K。在此情況下，運動補償預(yù)測單元(453)可訪問參考圖片存儲器(457)以提取

用于預(yù)測的采樣。在根據(jù)符號(421)對提取的樣本進(jìn)行運動補償之后,這些樣本可由聚合器

(455)添加到定標(biāo)器/逆變換單元(451)的輸出(在這種情況下被稱作殘差采樣或殘差信

號)，從而生成輸出采樣信息。運動補償預(yù)測單元(453)獲取的預(yù)測采樣在參考圖像存儲器

(457)內(nèi)的地址可受運動矢量控制，運動補償預(yù)測單元(453)可以得到具有符號(421)形式

的該運動矢量，所述符號(421)可以具有，例如,X、Y和參考圖像分量。當(dāng)使用子采樣的精確

運動矢量時，矢量運動補償還可包括對從參考圖像存儲器(457)獲取的采樣值進(jìn)行插值、運

動矢量預(yù)測機制等。

[0057]聚合器(455)的輸出采樣可以在回路濾波器單元(456)中經(jīng)各種回路濾波技術(shù)處

理。視頻壓縮技術(shù)可包括環(huán)路內(nèi)濾波器技術(shù)，所述環(huán)路內(nèi)濾波器技術(shù)由編碼視頻序列(也稱

作已編碼視頻碼流)中的參數(shù)控制，環(huán)路濾波器單元(456)可得到來自解析器(420)的符號

(421)形式的所述參數(shù)。然而，在其他實施例中，視頻壓縮技術(shù)還可響應(yīng)于在解碼已編碼圖

片或已編碼視頻序列的先前(按解碼次序)部分期間獲得的元信息，以及響應(yīng)于先前重建且

經(jīng)過環(huán)路濾波的采樣值。

[0058]回路濾波器單元(456)的輸出可以是可輸出到呈現(xiàn)設(shè)備(412)也可存儲在參考圖

像存儲器(457)中的采樣流，以用于將來的圖像間預(yù)測。

[0059]一旦被完全重建，一些編碼圖像可在后續(xù)預(yù)測中用作參考圖像。例如，一旦當(dāng)前圖

像對應(yīng)的已編碼圖像被完全重建，且已編碼圖像(通過例如解析器(420))被識別為參考圖

9

CN110719477B說明書7/27頁

片，則當(dāng)前圖像緩沖器(458)可成為參考圖像存儲器(457)的一部分,且可在開始重建后續(xù)

已編碼圖像之前重新分配新的當(dāng)前圖像緩沖器。

[0060]視頻解碼器(410)可根據(jù)例如ITU-TH.265標(biāo)準(zhǔn)中的預(yù)定視頻壓縮技術(shù)執(zhí)行解碼

操作。在已編碼視頻序列遵循視頻壓縮技術(shù)或標(biāo)準(zhǔn)的語法以及視頻壓縮技術(shù)或標(biāo)準(zhǔn)中記錄

的配置文件的意義上，已編碼視頻序列可符合所使用的視頻壓縮技術(shù)或標(biāo)準(zhǔn)指定的語法。

具體地說，配置文件可從視頻壓縮技術(shù)或標(biāo)準(zhǔn)中可用的所有工具中選擇某些工具作為在所

述配置文件下可供使用的僅有工具。并且，為遵循一些視頻壓縮技術(shù)或標(biāo)準(zhǔn)，編碼視頻序列

的復(fù)雜度可在視頻壓縮技術(shù)或標(biāo)準(zhǔn)的等級所限定的界限之內(nèi)。在一些情況下，各等級對最

大圖像尺寸、最大幀率、最大重建采樣率(例如以每秒兆次采樣來衡量)、最大參考圖像尺寸

等進(jìn)行了限制。在一些情況下，等級設(shè)置的限制可進(jìn)一步通過假設(shè)參考解碼器

(HypotheticalReferenceDecoder,HRD)規(guī)范和編碼視頻序列中指示的HRD緩存管理的元

數(shù)據(jù)來限定。

[0061]在一個實施例中，接收器(431)可連同已編碼視頻一起接收附加(冗余)數(shù)據(jù)。附加

數(shù)據(jù)可以是編碼視頻序列的一部分。附加數(shù)據(jù)可由視頻解碼器(410)用以對數(shù)據(jù)進(jìn)行適當(dāng)

解碼和/或較準(zhǔn)確地重建原始視頻數(shù)據(jù)。附加數(shù)據(jù)可呈例如時間、空間或信噪比(signal

noiseratio,SNR)增強層、冗余切片、冗余圖片、前向糾錯碼等形式。

[0062]圖5是根據(jù)本申請公開的實施例的視頻編碼器(503)的框圖。視頻編碼器(503)設(shè)

置于電子設(shè)備(520)中。電子設(shè)備(520)包括傳輸器(540)(例如傳輸電路)。視頻編碼器

(503)可用于代替圖3實施例中的視頻編碼器(303)。

[0063]視頻編碼器(503)可從視頻源(501)(并非圖5實施例中的電子設(shè)備(520)的一部

分)接收視頻樣本，所述視頻源可采集將由視頻編碼器(503)編碼的視頻圖像。在另一實施

例中，視頻源(501)是電子設(shè)備(520)的一部分。

[0064]視頻源(501)可提供將由視頻編碼器(503)編碼的呈數(shù)字視頻采樣流形式的源視

頻序列，所述數(shù)字視頻樣本流可具有任何合適的位深度(例如：8位、10位、12位……)、任何

色彩空間(例如BT.601YCrCB.RGB……)和任何合適的采樣結(jié)構(gòu)(例如YCrCb4:2:0、

YCrCb4:4:4)。在媒體服務(wù)系統(tǒng)中，視頻源(501)可以是存儲先前已準(zhǔn)備好的視頻的存儲設(shè)

備。在視頻會議系統(tǒng)中，視頻源(501)可以是采集本地圖像信息作為視頻序列的相機?？商?/p>

供多個單獨的圖像作為視頻數(shù)據(jù)，當(dāng)按順序觀看時，這些圖像呈現(xiàn)出運動效果。圖像自身可

構(gòu)建為空間像素陣列，其中，根據(jù)所用的采樣結(jié)構(gòu)、色彩空間等，每個像素可包括一個或多

個采樣。本領(lǐng)域技術(shù)人員可以很容易理解像素和采樣之間的關(guān)系。下文側(cè)重于描述采樣。

[0065]根據(jù)實施例，視頻編碼器(503)可實時或在應(yīng)用要求的任何其它時間限制下，對源

視頻序列的圖像進(jìn)行編碼及壓縮以形成編碼視頻序列(543)。控制器(550)的一個功能是施

行適當(dāng)?shù)木幋a速度。在一些實施例中，控制器(550)控制如下文所描述的其它功能單元且在

功能上耦接到這些單元。為清楚起見，圖中未標(biāo)示耦接。由控制器(550)設(shè)置的參數(shù)可包括

速率控制相關(guān)參數(shù)(圖像跳過、量化器、率失真優(yōu)化技術(shù)的入值等)、圖像尺寸、圖像組(G0P)

布局、最大運動矢量搜索范圍等。控制器(550)可具有其它合適的功能，這些功能屬于為某

一系統(tǒng)設(shè)計優(yōu)化的視頻編碼器(503)o

[0066]在一些實施例中，視頻編碼器(503)在編碼環(huán)路中進(jìn)行操作。作為簡單的描述，在

實施例中，編碼環(huán)路可包括源編碼器(530)(例如，負(fù)責(zé)基于待編碼的輸入圖像和參考圖像

10

CN110719477B說明書8/27頁

創(chuàng)建符號，例如符號流)和嵌入視頻編碼器(503)中的(本地)解碼器(533)。解碼器(533)重

建符號以創(chuàng)建(遠(yuǎn)程)解碼器也會創(chuàng)建的采樣數(shù)據(jù)(因為在本申請主題中所考慮的視頻壓縮

技術(shù)中，符號與編碼視頻碼流之間的任何壓縮是無損的)。將重建的采樣流(采樣數(shù)據(jù))輸入

到參考圖片存儲器(534)。由于符號流的解碼產(chǎn)生與解碼器位置(本地或遠(yuǎn)程)無關(guān)的位精

確結(jié)果，因此參考圖片存儲器(534)中的內(nèi)容在本地編碼器與遠(yuǎn)程編碼器之間也是按比特

位精確對應(yīng)的。換句話說,編碼器的預(yù)測部分看到攝的參考圖片采樣與解碼器在解碼期間

使用預(yù)測時所看到攝的采樣值完全相同。這種參考圖片同步性基本原理(以及在例如因信

道誤差而無法維持同步性的情況下產(chǎn)生的漂移)也用于一些相關(guān)技術(shù)。

[0067]“本地”解碼器(533)的操作可以與上面已經(jīng)結(jié)合圖4詳細(xì)描述的“遠(yuǎn)程”解碼器

(410)的操作相同。然而，還是簡要地參考圖4,由于符號可用，并且由端編碼器(545)和解析

器(420)對編碼視頻序列的符號的解碼可以是無損的，所以解碼器(310)的燧解碼部分，包

括信道(412)、接收器(410)、緩沖器(415)和解析器(420)，可能不能完全在本地解碼器

(533)中實現(xiàn)。

[0068]此時可以觀察到，除存在于解碼器中的解析/端解碼之外的任何解碼器技術(shù)，也必

定以基本上相同的功能形式存在于對應(yīng)的編碼器中。因此，本申請的主題側(cè)重于解碼器操

作?？珊喕幋a器技術(shù)的描述，因為編碼器技術(shù)與全面地描述的解碼器技術(shù)互逆。僅在某些

區(qū)域中需要更詳細(xì)的描述，并且在下文提供。僅在一些區(qū)域中需要更詳細(xì)的描述，如下文所

述。

[0069]參考來自視頻序列中被指定為參考圖像的一個或多個先前已編碼圖像，所述運動

補償預(yù)測編碼對輸入圖像進(jìn)行預(yù)測性編碼。以此方式，編碼引擎(532)對輸入圖像的像素塊

與可被選為所述輸入圖像的預(yù)測參考的參考圖像的像素塊之間的差異進(jìn)行編碼。

[0070]本地視頻解碼器(533)可基于源編碼器(530)創(chuàng)建的符號，對可指定為參考圖像的

圖像的已編碼視頻數(shù)據(jù)進(jìn)行解碼。較佳地，編碼引擎(532)的操作可以是有損過程。當(dāng)已編

碼視頻數(shù)據(jù)可在視頻解碼器(圖5中未示)處被解碼時，重建的視頻序列通?？梢允菐в幸?/p>

些誤差的源視頻序列的副本。本地視頻解碼器(533)復(fù)制解碼過程，所述解碼過程可由視頻

解碼器對參考圖像執(zhí)行，且可將重建的參考圖像存儲在參考圖像緩存(534)中。以此方式,

視頻編碼器(503)可在本地存儲重建的參考圖片的副本，所述副本與將由遠(yuǎn)端視頻解碼器

獲得的重建參考圖片具有共同內(nèi)容(不存在傳輸誤差)o

[0071]預(yù)測器(535)可針對編碼引擎(532)執(zhí)行預(yù)測搜索。即，對于將要編碼的新圖像，預(yù)

測器(535)可在參考圖像存儲器(534)中搜索可作為所述新圖像的合適的預(yù)測參考的采樣

數(shù)據(jù)(作為候選參考像素塊)或某些元數(shù)據(jù)，例如參考圖片運動矢量、塊形狀等。預(yù)測器

(535)可對采樣塊逐像素塊進(jìn)行處理，以找到合適的預(yù)測參考。在一些情況下，根據(jù)預(yù)測器

(535)獲得的搜索結(jié)果,輸入圖像可具有從存儲于參考圖像存儲器(534)中存儲的多個參考

圖像取得的預(yù)測參考。

[0072]控制器(550)可管理源編碼器(530)的編碼操作，包括例如設(shè)置用于對視頻數(shù)據(jù)進(jìn)

行編碼的參數(shù)和子組參數(shù)。

[0073]可在燧編碼器(545)中對所有上述功能單元的輸出進(jìn)行熠編碼。端編碼器(545)根

據(jù)例如霍夫曼編碼、可變長度編碼、算術(shù)編碼等技術(shù)對各種功能單元生成的符號進(jìn)行無損

壓縮,從而將所述符號轉(zhuǎn)換成編碼視頻序列。

11

CN110719477B說明書9/27頁

[0074]傳輸器（540）可緩沖由燧編碼器（545）創(chuàng)建的編碼視頻序列，從而為通過通信信道

（560）進(jìn)行傳輸做準(zhǔn)備，所述通信信道可以是通向?qū)⒋鎯σ丫幋a的視頻數(shù)據(jù)的存儲裝置的

硬件/軟件鏈路。傳輸器（540）可將來自視頻編碼器（503）的編碼視頻數(shù)據(jù)與將要傳輸?shù)钠?/p>

它數(shù)據(jù)合并，其它數(shù)據(jù)可以是，例如，編碼音頻數(shù)據(jù)和/或輔助數(shù)據(jù)流（未示出來源）。

[0075]控制器（550）可管理視頻編碼器（503）的操作。在編碼期間，控制器（550）可以為每

個編碼圖像分配編碼圖像類型，該編碼圖像類型能夠影響可應(yīng)用于相應(yīng)圖像的編碼技術(shù)。

例如，通常可以將圖像指定為以下圖像類型之一：

[0076]幀內(nèi)圖像Q圖像）可以是不需要利用序列中其它任何圖像作為預(yù)測源進(jìn)行編碼和

解碼的圖像。一些視頻編解碼器容許不同類型的幀內(nèi)圖像，包括例如獨立解碼器刷新

（IndependentDecoderRefresh,IDR）圖像。本領(lǐng)域技術(shù)人員知曉I圖像的變型及其相應(yīng)應(yīng)

用和特征。

[0077]預(yù)測圖像（P圖像）可以是可以使用幀內(nèi)預(yù)測或幀間預(yù)測來編碼和解碼的圖像，幀

內(nèi)預(yù)測或幀間預(yù)測使用至多一個運動向量和參考索引來預(yù)測每個塊的采樣值。

[0078]雙向預(yù)測圖像（B圖像）可以是可以使用幀內(nèi)預(yù)測或幀間預(yù)測來編碼和解碼的圖

像，幀內(nèi)預(yù)測或幀間預(yù)測使用至多兩個運動向量和參考索引來預(yù)測每個塊的采樣值。類似

地，多個預(yù)測性圖像可使用多于兩個參考圖像和相關(guān)元數(shù)據(jù)以重建單個塊。

[0079]源圖像通?？稍诳臻g上細(xì)分為多個采樣塊（例如,4X4、8X8、4X8或16X16個采

樣的塊）并逐塊進(jìn)行編碼。這些塊可參考其它（已編碼）塊進(jìn)行預(yù)測編碼，其它塊可以根據(jù)應(yīng)

用于塊的相應(yīng)圖像的編碼任務(wù)來確定。。例如，1圖像的塊可進(jìn)行非預(yù)測編碼，或可參考同一

圖像的已編碼的塊來進(jìn)行預(yù)測編碼（空間預(yù)測或幀內(nèi)預(yù)測）。P圖片的像素塊可參考一個先

前編碼的參考圖片通過空間預(yù)測或通過時域預(yù)測進(jìn)行預(yù)測編碼。B圖片的塊可參考一個或

兩個先前編碼的參考圖片通過空間預(yù)測或通過時域預(yù)測進(jìn)行預(yù)測編碼。

[0080]視頻編碼器（503）可根據(jù)例如ITU-TH.265建議書的預(yù)定視頻編碼技術(shù)或標(biāo)準(zhǔn)執(zhí)

行編碼操作。在操作中，視頻編碼器（503）可執(zhí)行各種壓縮操作，包括利用輸入視頻序列中

的時間和空間冗余的預(yù)測編碼操作。因此，編碼視頻數(shù)據(jù)可符合所使用的視頻編碼技術(shù)或

標(biāo)準(zhǔn)指定的語法。

[0081]在實施例中，傳輸器（540）可傳輸附加數(shù)據(jù)和已編碼的視頻。源編碼器（530）可將

此類數(shù)據(jù)作為編碼視頻序列的一部分。附加數(shù)據(jù)可包括時間/空間/SNR增強層、冗余圖像和

切片等其它形式的冗余數(shù)據(jù)、補充增強信息（EnhancementInformation,SEI）消息、可視可

用性信息（VisualUsabi1ityInformation,VUI）參數(shù)集片段等。

[0082]采集到的視頻可作為呈時間序列的多個源圖像（視頻圖像）。幀內(nèi)圖像預(yù)測（常簡

稱為幀內(nèi)預(yù)測）利用給定圖片中的空間相關(guān)性,而幀間圖像預(yù)測則利用圖像之間的（時間或

其它）相關(guān)性。在實施例中，將正在編碼/解碼的特定圖像（稱作當(dāng)前圖像）分割成塊。在當(dāng)前

圖像中的塊類似于視頻中先前已編碼且仍被緩沖的參考圖像中的參考塊時,可利用被稱為

運動矢量的矢量對當(dāng)前圖像中的塊進(jìn)行編碼。所述運動矢量指向參考圖像中的參考塊、且

使用多個參考圖像的情況下，所述運動矢量可具有用于識別參考圖像的第三維度。

[0083]在一些實施例中，雙向預(yù)測技術(shù)可用于幀間圖像預(yù)測。根據(jù)雙向預(yù)測技術(shù)，使用兩

個參考圖像,例如第一參考圖像和第二參考圖像，按解碼次序它們都在視頻中的當(dāng)前圖像

之前（但按顯示次序可能分別是過去和將來）?？赏ㄟ^指向第一參考圖像中的第一參考塊的

12

CN110719477B說明書10/27頁

第一運動矢量和指向第二參考圖像中的第二參考塊的第二運動矢量對當(dāng)前圖像中的塊進(jìn)

行編碼?？赏ㄟ^第一參考塊和第二參考塊的組合來預(yù)測所述塊。

[0084]此外,合并模式技術(shù)可用于幀間圖像預(yù)測中以改善編碼效率。

[0085]根據(jù)本申請的一些實施例，幀間圖像預(yù)測和幀內(nèi)圖像預(yù)測等預(yù)測的執(zhí)行以塊為單

位。舉例來說，根據(jù)HEVC標(biāo)準(zhǔn)，將視頻圖像序列中的圖像分割成編碼樹單元(codingtree

unit,CTU)以用于壓縮，圖片中的CTU具有相同大小,例如64X64像素、32X32像素或16X16

像素。一般來說,CTU包括三個編碼樹塊(codingtreeblock,CTB),所述三個編碼樹塊是一

個亮度CTB和兩個色度CTB。更進(jìn)一步的，還可將每個CTU以四叉樹拆分為一個或多個編碼單

元(codingunit.CU)。例如，可將64X64像素的CTU拆分為一個64X64像素的CU,或4個32X

32像素的CU,或16個16X16像素的CU。在實施例中，分析每個CU以確定用于CU的預(yù)測類型，

例如幀間預(yù)測類型或幀內(nèi)預(yù)測類型。此外，取決于時間和/或空間可預(yù)測性，將CU拆分為一

個或多個預(yù)測單元(predictionunit,PU)。通常，每個PU包括亮度預(yù)測塊(prediction

block.PB)和兩個色度PB。在實施例中，編碼(編碼/解碼)中的預(yù)測操作以預(yù)測塊為單位來

執(zhí)行。以亮度預(yù)測塊作為預(yù)測塊為例，預(yù)測塊包括像素值(例如，亮度值)的矩陣，例如8X8

像素、16X16像素、8X16像素、16X8像素等等。

[0086]圖6是根據(jù)本申請另一實施例的視頻編碼器(603)的示意圖。視頻編碼器(603)用

于接收視頻圖像序列中的當(dāng)前視頻圖像內(nèi)的采樣值的處理塊(例如預(yù)測塊)，且將所述處理

塊編碼到的已編碼圖像中，已編碼圖像是編碼視頻序列的一部分。在本實施例中，視頻編碼

器(603)用于代替圖3實施例中的視頻編碼器(303)。

[0087]在HEVC實施例中，視頻編碼器(603)接收處理塊的采樣值的矩陣，所述處理塊為，

例如,8X8采樣的預(yù)測塊等。視頻編碼器(603)使用，例如,率失真(rate-distortion,RD)優(yōu)

化來確定處理塊的編碼采用幀內(nèi)模式、幀間模式還是雙向預(yù)測模式更好。當(dāng)采用幀內(nèi)模式

對處理塊編碼時，視頻編碼器(603)可使用幀內(nèi)預(yù)測技術(shù)將處理塊編碼到已編碼圖像中；且

當(dāng)采用幀間模式或雙向預(yù)測模式對處理塊進(jìn)行編碼時，視頻編碼器(603)可分別使用幀間

預(yù)測或雙向預(yù)測技術(shù)將處理塊編碼到已編碼圖像中。在某些視頻編碼技術(shù)中，合并模式可

以是幀間圖像預(yù)測子模式，其中，在不借助預(yù)測因子外部的已編碼運動矢量分量的情況下，

從一個或多個運動矢量預(yù)測因子導(dǎo)出運動矢量。在一些其它視頻編碼技術(shù)中，可存在適用

于主題塊的運動矢量分量。在實施例中，視頻編碼器(603)包括其它組件，例如用于確定處

理塊的模式的模式?jīng)Q策模塊(未示出)o

[0088]在圖6的實施例中，視頻編碼器(603)包括如圖6所示的耦接到一起的幀間編碼器

(630)、幀內(nèi)編碼器(622)、殘差計算器(623)、開關(guān)(626)、殘差編碼器(624)、通用控制器

(621)和端編碼器(625)o

[0089]幀間編碼器(630)用于接收當(dāng)前塊(例如處理塊)的采樣、比較所述塊與參考圖像

中的一個或多個參考塊(例如先前圖像和后續(xù)圖像中的塊)、生成幀間預(yù)測信息(例如幀間

編碼技術(shù)的冗余信息的描述、運動矢量、合并模式信息)、以及基于幀間預(yù)測信息使用任何

合適的技術(shù)計算幀間預(yù)測結(jié)果(例如已預(yù)測塊)。在一些實施例中，參考圖片是基于已編碼

的視頻信息解碼的已解碼參考圖片。

[0090]幀內(nèi)編碼器(622)用于接收當(dāng)前塊(例如處理塊)的采樣，在一些情況下將所述塊

與同一圖像中已編碼的塊進(jìn)行比較，在變換之后生成量化系數(shù)，以及在一些情況下還生成

13

CN110719477B說明書11/27頁

幀內(nèi)預(yù)測信息(例如，根據(jù)一個或多個幀內(nèi)編碼技術(shù)生成幀內(nèi)預(yù)測方向信息)。在實施例中，

幀內(nèi)編碼器(622)還基于幀內(nèi)預(yù)測信息和同一圖像中的參考塊計算幀內(nèi)預(yù)測結(jié)果(例如已

預(yù)測塊)。

[0091]通用控制器(621)用于確定通用控制數(shù)據(jù)，并基于所述通用控制數(shù)據(jù)控制視頻編

碼器(603)的其它組件。在實施例中，通用控制器(621)確定塊的模式，并基于所述模式將控

制信號提供給開關(guān)(626)。例如，當(dāng)所述模式是幀內(nèi)模式時，通用控制器(621)控制開關(guān)

(626)以選擇供殘差計算器(623)使用的幀內(nèi)模式結(jié)果，控制燧編碼器(625)選擇幀內(nèi)預(yù)測

信息并將所述幀內(nèi)預(yù)測信息添加在碼流中；以及，當(dāng)所述模式是幀間模式時，通用控制器

(621)控制開關(guān)(626)以選擇供殘差計算器(623)使用的幀間預(yù)測結(jié)果，控制燧編碼器(625)

選擇幀間預(yù)測信息并將所述幀間預(yù)測信息添加在碼流中。

[0092]殘差計算器(623)用于計算所接收的塊與選自幀內(nèi)編碼器(622)或幀間編碼器

(630)的預(yù)測結(jié)果之間的差(殘差數(shù)據(jù))。殘差編碼器(624)用于基于殘差數(shù)據(jù)操作，以對殘

差數(shù)據(jù)進(jìn)行編碼以生成變換系數(shù)。在實施例中，殘差編碼器(624)用于將殘差數(shù)據(jù)從時域轉(zhuǎn)

換到頻域，且生成變換系數(shù)。變換系數(shù)接著經(jīng)量化處理獲得量化的變換系數(shù)。在各實施例

中，視頻編碼器(603)還包括殘差解碼器(628)。殘差解碼器(628)用于執(zhí)行逆變換,并生成

已解碼殘差數(shù)據(jù)。已解碼殘差數(shù)據(jù)適合由幀內(nèi)編碼器(622)和幀間編碼器(630)使用。例如,

幀間編碼器(630)可基于已解碼殘差數(shù)據(jù)和幀間預(yù)測信息生成已解碼塊，且?guī)瑑?nèi)編碼器

(622)可基于已解碼殘差數(shù)據(jù)和幀內(nèi)預(yù)測信息生成已解碼塊。適當(dāng)處理已解碼塊以生成已

解碼圖像，在一些實施例中，所述已解碼圖像可在存儲器電路(未示出)中緩存并用作參考

圖像。

[0093]熠編碼器(625)用于將碼流格式化以產(chǎn)生已編碼的塊。嫡編碼器(625)根據(jù)HEVC標(biāo)

準(zhǔn)等合適的標(biāo)準(zhǔn)產(chǎn)生各種信息。在實施例中，端編碼器(625)用于將通用控制數(shù)據(jù)、所選預(yù)

測信息(例如幀內(nèi)預(yù)測信息或幀間預(yù)測信息)、殘差信息和其它合適的信息加入碼流中。應(yīng)

注意，根據(jù)本申請的主題，當(dāng)在幀間模式或雙向預(yù)測模式的合并子模式中對塊進(jìn)行編碼時,

不存在殘差信息。

[0094]圖7是本申請另一實施例的視頻解碼器(710)的示意圖。視