對焦方法、裝置、計算機可讀存儲介質(zhì)和計算機設(shè)備

(19)中華人民共和國國家知識產(chǎn)權(quán)局

(12)發(fā)明專利申請

(10)申請公布號CN111684812A

(43)申請公布日2020.09.18

(21)申請?zhí)?01880088756.2(72)發(fā)明人伊萬?馬科夫

巴拉日?凱斯特海伊

(22)申請日2018.12.06

斯特爾喬斯?保拉拉基斯

優(yōu)先權(quán)數(shù)據(jù)

(30)米歇爾?桑納羅伯特?埃廷格

17386046.12017.12.06EP

(74)專利代理機構(gòu)北京康信知識產(chǎn)權(quán)代理有限

18386002.22018.02.08EP

責(zé)任公司11240

1812407.32018.07.30GB

代理人劉彬

1815437.72018.09.21GB

(51)lnt.CI.

(85)PCT國際申請進入國家階段日

H04N7"%(2006.01)

2020.08.06

HO4N7￡//7<5(2006.01)

(86)PCT國際申請的申請數(shù)據(jù)

H04N7^779(2006.01)

PCT/GB2018/0535512018.12.06

H04N7^<5(2006.01)

(87)PCT國際申請的公布數(shù)據(jù)HO4N7力729(2006.01)

W02019/111009EN2019.06.13H04N7"746(2006.01)

(71)申請人V-諾瓦國際有限公司H04N7^7<57(2006.01)

地址英國倫敦H04N7H36(2006.01)

權(quán)利要求書2頁說明書27頁附圖19頁

(54)發(fā)明名稱

分級數(shù)據(jù)結(jié)構(gòu)

(57)摘要

一種對經(jīng)編碼數(shù)據(jù)流進行解碼的方法，所述

方法包括在解碼器處:接收包括多個圖塊的經(jīng)編

碼數(shù)據(jù)集;接收數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)指示編

碼多個圖塊所需的數(shù)據(jù)量;通過以下步驟識別經(jīng)

編碼數(shù)據(jù)集的要解碼的一部分:識別與要解碼的

部分相關(guān)聯(lián)的圖塊;基于編碼所述圖塊所需的數(shù)

據(jù)量來確定與所述圖塊有關(guān)的數(shù)據(jù)的位置;從所

述經(jīng)編碼數(shù)據(jù)集中提取所述經(jīng)編碼數(shù)據(jù)集的識

別部分;以及對所述經(jīng)編碼數(shù)據(jù)集的所述識別部

分進行解碼。

V

Z

I

S

C9O

三

g

CN111684812A權(quán)利要求書1/2頁

1.一種解碼經(jīng)編碼數(shù)據(jù)流的方法,所述方法包括在解碼器處：

接收包括多個圖塊的經(jīng)編碼數(shù)據(jù)集；

接收數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)指示編碼多個圖塊所需的數(shù)據(jù)量；

通過以下步驟識別所述經(jīng)編碼數(shù)據(jù)集的要解碼的一部分：

識別與要解碼的所述部分相關(guān)聯(lián)的圖塊；

基于編碼所述圖塊所需的數(shù)據(jù)量來確定與所述圖塊有關(guān)的數(shù)據(jù)的位置；

從所述經(jīng)編碼數(shù)據(jù)集中提取所述經(jīng)編碼數(shù)據(jù)集的識別部分；以及

解碼所述經(jīng)編碼數(shù)據(jù)集的所述識別部分。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述數(shù)據(jù)集是按層組織的，其中，第一層還包括：

指示所述數(shù)據(jù)在所述數(shù)據(jù)集內(nèi)的分布的信息。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述數(shù)據(jù)集的所述第一層包括殘差數(shù)據(jù)。

4.根據(jù)權(quán)利要求2或3中任一項所述的方法，所述方法還包括第二層，所述第二層還包

括與編碼多個圖塊所需的數(shù)據(jù)量有關(guān)的信息。

5.根據(jù)權(quán)利要求4所述的方法,所述方法還包括以下步驟:基于所述第二層中的所述信

息，確定要解碼的圖塊數(shù)據(jù)在經(jīng)編碼流內(nèi)的位置。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述數(shù)據(jù)被順序地編碼，并且所述方法還包括以

下步驟:基于對任一先前的圖塊進行編碼所需的數(shù)據(jù)量的總和，確定圖塊數(shù)據(jù)在所述經(jīng)編

碼流中的位置。

7.根據(jù)權(quán)利要求6所述的方法，所述方法還包括在所述圖塊數(shù)據(jù)的確定的位置處解碼

所述經(jīng)編碼數(shù)據(jù)流。

8.根據(jù)任一前述權(quán)利要求所述的方法，所述方法還包括：識別所述經(jīng)編碼數(shù)據(jù)流的要

解碼的第二部分，以及解碼所述第二部分，其中，所述第一部分被第一解碼器解碼，并且所

述第二部分被不同的第二解碼器解碼。

9.一種對經(jīng)編碼數(shù)據(jù)流進行解碼的方法,所述方法包括在解碼器處：

接收包括多個圖塊的經(jīng)編碼數(shù)據(jù)集；

接收數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)指示大于、小于或等于所述多個圖塊的閾值的數(shù)據(jù)的分

布；

識別所述數(shù)據(jù)結(jié)構(gòu)中要解碼的具有大于或等于所述閾值的數(shù)據(jù)的所述圖塊；

解碼識別的圖塊。

10.根據(jù)權(quán)利要求9所述的方法，其中，所述數(shù)據(jù)集是按層組織的，其中，第一層還包括

指示所述數(shù)據(jù)在所述數(shù)據(jù)集內(nèi)的分布的所述數(shù)據(jù)結(jié)構(gòu),并且第二層包括與編碼多個圖塊所

需的數(shù)據(jù)量有關(guān)的信息。

11.根據(jù)權(quán)利要求10所述的方法，所述方法還包括以下步驟:基于所述第二層中的所述

信息，確定要解碼的圖塊數(shù)據(jù)在經(jīng)編碼流內(nèi)的位置。

12.根據(jù)權(quán)利要求10所述的方法，其中，所述圖塊被順序地編碼,所述方法包括以下步

驟:基于對任一先前的圖塊進行編碼所需的數(shù)據(jù)量的總和，確定所述圖塊數(shù)據(jù)在所述經(jīng)編

碼流中的位置。

13.根據(jù)權(quán)利要求12所述的方法，所述方法還包括在所述圖塊數(shù)據(jù)的確定的位置處解

碼所述經(jīng)編碼數(shù)據(jù)流。

2

CN111684812A權(quán)利要求書2/2頁

14.根據(jù)權(quán)利要求8至13中任一項所述的方法，其中，接收的經(jīng)編碼視頻數(shù)據(jù)流以多個

量化級被編碼，其中，所述方法包括：以第一量化級對所述經(jīng)編碼視頻數(shù)據(jù)流的第一圖塊進

行解碼，以及以不同的第二量化級對第二圖塊或區(qū)域進行解碼。

15.一種用于對經(jīng)編碼視頻數(shù)據(jù)流進行解碼的解碼器，所述解碼器被配置成執(zhí)行根據(jù)

權(quán)利要求1至15中任一項所述的方法。

3

CN111684812A說明書1/27頁

分級數(shù)據(jù)結(jié)構(gòu)

技術(shù)領(lǐng)域

[0001]本發(fā)明廣泛地涉及對數(shù)據(jù)諸如圖像數(shù)據(jù)和視頻數(shù)據(jù)進行編碼和解碼以及內(nèi)容傳

遞的領(lǐng)域。特別地，本發(fā)明涉及一種以高效方式對視頻數(shù)據(jù)和元數(shù)據(jù)進行編碼的方法，其允

許編碼和解碼過程的并行化。

背景技術(shù)

[0002]已知對數(shù)據(jù)諸如圖像數(shù)據(jù)和視頻數(shù)據(jù)進行編碼以用于存儲或流傳輸，以便減少存

儲數(shù)據(jù)所需的存儲空間量或數(shù)據(jù)傳輸所需的帶寬。舉例來說,編碼和解碼視頻數(shù)據(jù)的技術(shù)

是眾所周知的并且被廣泛使用，例如H.264/AVC標(biāo)準(zhǔn)使用圖像壓縮和基于運動的估計技術(shù)

的組合將視頻數(shù)據(jù)編碼為經(jīng)編碼視頻流,然后將經(jīng)編碼視頻流解碼為與原始視頻數(shù)據(jù)非常

接近的近似值。

[0003]經(jīng)編碼視頻流通常以比特率編碼。比特率將取決于若干因素而變化，其中之一是

可用于流傳輸經(jīng)編碼視頻流的帶寬。帶寬越小，經(jīng)編碼視頻流的可用比特率就越小。最終，

帶寬定義了所傳遞的視頻流的質(zhì)量，因為相對較小的比特率需要相對粗略的量化，即相對

較大的量化參數(shù)(QP)。在大帶寬可用的情況下，則可以使用較精細的量化，即相對較小的量

化參數(shù)(QP)。該過程是創(chuàng)建經(jīng)編碼視頻流時采用的較廣泛的速率控制機制的一部分。

[0004]視頻數(shù)據(jù)可以根據(jù)編碼器和解碼器之間的可用帶寬量以變化的比特率被實時編

碼，也可以在有需求之前被編碼和存儲,然后作為單個比特率經(jīng)編碼視頻流或以代表以不

同比特率編碼的視頻數(shù)據(jù)的分段進行解碼，使得存在多個視頻流，并且基于可用帶寬來選

擇流。解碼器可以隨著帶寬的變化在不同的比特率流之間動態(tài)切換。以分級的方式編碼視

頻數(shù)據(jù)也是已知的。在這種編碼技術(shù)中，殘差數(shù)據(jù)(即糾正基礎(chǔ)層中存在的低質(zhì)量信息所需

的數(shù)據(jù))將以逐漸提高的質(zhì)量級使用。所有這些導(dǎo)致了用于編碼和解碼數(shù)據(jù)諸如圖像或視

頻數(shù)據(jù)的技術(shù)越來越復(fù)雜和精細。

[0005]元數(shù)據(jù)可以用于提供對基礎(chǔ)數(shù)據(jù)的更好的理解，尤其是在解碼器處，因此可以改

進速率控制技術(shù)并最終提高數(shù)據(jù)再現(xiàn)質(zhì)量。但是，使用元數(shù)據(jù)引起的數(shù)據(jù)再現(xiàn)質(zhì)量的提高

必須與計算元數(shù)據(jù)的關(guān)聯(lián)的處理和時間成本、用于存儲元數(shù)據(jù)的存儲成本以及用于傳輸元

數(shù)據(jù)的帶寬成本相權(quán)衡。需要用于數(shù)據(jù)編碼器和解碼器的改進的元數(shù)據(jù)技術(shù)以減輕這些問

題中的一個或多個問題，尤其是對于圖像或視頻編碼和解碼。特別地，需要新的元數(shù)據(jù)結(jié)

構(gòu)，該元數(shù)據(jù)結(jié)構(gòu)允許實現(xiàn)以下中的至少一項:生成元數(shù)據(jù)時的處理成本較低，用于存儲元

數(shù)據(jù)的存儲成本較低以及用于傳輸元數(shù)據(jù)的帶寬要求較低。另外，需要創(chuàng)建一種元數(shù)據(jù)結(jié)

構(gòu),該元數(shù)據(jù)結(jié)構(gòu)能夠更高效地對經(jīng)編碼數(shù)據(jù)流進行解碼。

發(fā)明內(nèi)容

[0006]因此，為了減輕上述問題中的一些問題，在本發(fā)明的第一方面中提供了一種編碼

信號的編碼器和方法，所述方法包括:獲得要編碼的數(shù)據(jù)集，所述數(shù)據(jù)集指示所述信號的一

個或多個特性;將所述數(shù)據(jù)集映射到數(shù)據(jù)結(jié)構(gòu)中，所述數(shù)據(jù)結(jié)構(gòu)定義數(shù)據(jù)的例子，其中，所

4

CN111684812A說明書2/27頁

述數(shù)據(jù)的映射包括以下步驟:將所述數(shù)據(jù)集細分為多個圖塊,每個圖塊在所述數(shù)據(jù)集中定

義元素塊;將每個圖塊細分為多個子塊;為所述多個子塊中的每個子塊定義對應(yīng)的節(jié)點;為

每個節(jié)點分配值，所述值指示與所述節(jié)點相對應(yīng)的所述子塊是否包含大于、等于或小于閾

值的數(shù)據(jù)；以及將分配值映射到所述數(shù)據(jù)結(jié)構(gòu)的第一級中。

[0007]根據(jù)本發(fā)明的另一方面，提供了一種解碼經(jīng)編碼數(shù)據(jù)流的解碼器和方法，所述方

法包括在解碼器處:接收包括多個圖塊的經(jīng)編碼數(shù)據(jù)集;接收數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)指示

編碼多個圖塊所需的數(shù)據(jù)量;通過以下步驟識別所述經(jīng)編碼數(shù)據(jù)集的要解碼的一部分：識

別與要解碼的所述部分相關(guān)聯(lián)的圖塊;基于編碼所述圖塊所需的數(shù)據(jù)量來確定與所述圖塊

有關(guān)的數(shù)據(jù)的位置；從所述經(jīng)編碼數(shù)據(jù)集中提取所述經(jīng)編碼數(shù)據(jù)集的識別部分；以及解碼

所述經(jīng)編碼數(shù)據(jù)集的所述識別部分。

[0008]根據(jù)本發(fā)明的又一方面,提供了一種對經(jīng)編碼數(shù)據(jù)流進行解碼的解碼器和方法，

所述方法包括在解碼器處:接收包括多個圖塊的經(jīng)編碼數(shù)據(jù)集;接收數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)

構(gòu)指示大于、小于或等于所述多個圖塊的閾值的數(shù)據(jù)的分布；識別所述數(shù)據(jù)結(jié)構(gòu)中要解碼

的所述圖塊，所述圖塊具有大于或等于對識別圖塊進行解碼的所述閾值的數(shù)據(jù)。

[0009]根據(jù)本發(fā)明的又一方面，提供了一種對經(jīng)編碼數(shù)據(jù)流進行解碼的解碼器和方法，

所述方法包括:接收包括多個圖塊的經(jīng)編碼數(shù)據(jù)集;接收數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)指示對所

述多個圖塊中的每個圖塊進行編碼所需的數(shù)據(jù)量;通過以下步驟識別所述經(jīng)編碼數(shù)據(jù)集的

要解碼的多個部分:識別與要解碼的每個部分相關(guān)聯(lián)的圖塊;對于每個部分，基于對與所述

部分相關(guān)聯(lián)的所述圖塊進行編碼所需的數(shù)據(jù)量,確定與所述部分的所述圖塊相關(guān)的數(shù)據(jù)的

位置;對于每個所述識別部分，從所述經(jīng)編碼數(shù)據(jù)集中提取所述部分；以及用第一解碼器對

所述經(jīng)編碼數(shù)據(jù)集的所述第一部分進行解碼，并使用不同的第二解碼器對所述經(jīng)編碼數(shù)據(jù)

集的第二部分進行解碼。

[0010]還提供了一種用于編碼圖像的分級數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)包括多個質(zhì)量級，每

個質(zhì)量級包括多個層，每個層包括一個或多個數(shù)據(jù)元素。可選地，其中，每個質(zhì)量級定義相

應(yīng)的一組經(jīng)編碼數(shù)據(jù)，所述相應(yīng)的一組經(jīng)編碼數(shù)據(jù)在被解碼時使得解碼器能夠?qū)⑺鰣D像

重構(gòu)到期望的質(zhì)量級;每一層包括一個或多個數(shù)據(jù)元素，所述數(shù)據(jù)元素取決于層的類型被

定義，并且其中：對于第一類型的層，第一類型的數(shù)據(jù)元素被定義為包括所述一組經(jīng)編碼數(shù)

據(jù)的子集;并且對于第二類型的層，第二類型的數(shù)據(jù)元素被定義為包括與所述第一類型的

數(shù)據(jù)元素相關(guān)聯(lián)的一個或多個屬性。

[0011]通過對映射在數(shù)據(jù)幀內(nèi)出現(xiàn)殘差數(shù)據(jù)的例子所需的數(shù)據(jù)結(jié)構(gòu)進行定義，可以提供

較快的解碼和編碼方法。特別地，對用于編碼數(shù)據(jù)的數(shù)據(jù)量稀疏化，從而減少了在解碼期間

需要讀取的數(shù)據(jù)量。此外，數(shù)據(jù)和描述數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)允許在不參考幀的其他部分的情

況下選擇性地解碼幀的各個部分。因此，可以并行化解碼過程。

[0012]根據(jù)所附權(quán)利要求，本發(fā)明的其他方面將顯而易見。

附圖說明

[0013]現(xiàn)在將參考附圖描述本發(fā)明的實施例,其中：

[0014]圖1是示出用于執(zhí)行示例編碼方法的系統(tǒng)的框圖；

[0015]圖2是殘差數(shù)據(jù)的NxN像素的圖塊的代表性示例；

5

CN111684812A說明書3/27頁

[0016]圖3是示例密集四叉樹；

[0017]圖4示出了根據(jù)本發(fā)明一方面的一行殘差數(shù)據(jù)的密集四叉樹和稀疏四叉樹表示；

[0018]圖5是根據(jù)本發(fā)明一方面的編碼視頻流的方法的流程圖；

[0019]圖6是根據(jù)本發(fā)明一方面的16x16級的稀疏化的代表性示例；

[0020]圖7是示出16x16級的稀疏化和2x2四數(shù)據(jù)集之間的關(guān)系的示例；

[0021]圖8是根據(jù)本發(fā)明一方面的8x8級的稀疏化的代表性示例；

[0022]圖9是根據(jù)本發(fā)明一方面的不同級的稀疏化數(shù)據(jù)的示例；

[0023]圖10是根據(jù)本發(fā)明一方面的在遍歷樹期間出于編碼目的使用映射函數(shù)的示例；

[0024]圖11是根據(jù)本發(fā)明一方面的Tesserae網(wǎng)格的流長度的畫面與經(jīng)編碼流之間的關(guān)

系的示例；

[0025]圖12是根據(jù)本發(fā)明一方面的層-0和層TTesserae之間的關(guān)系的示例；

[0026]圖13是根據(jù)本發(fā)明一方面的如何從畫面中解碼流長度的示例；

[0027]圖14是根據(jù)本發(fā)明一方面的解碼器如何使用畫面的流長度來并行解碼的示例；

[0028]圖15是根據(jù)本發(fā)明一方面的用于創(chuàng)建層T表示的流程圖；

[0029]圖16是根據(jù)本發(fā)明一方面的幀內(nèi)的活動區(qū)域的示例；

[0030]圖17是根據(jù)本發(fā)明一方面的用于解碼活動區(qū)域的流程圖；

[0031]圖18是根據(jù)本發(fā)明一方面的被分配有單獨的活動區(qū)域的并行解碼器的示例；

[0032]圖19是根據(jù)本發(fā)明一方面的數(shù)據(jù)結(jié)構(gòu)的示例；以及

[0033]圖20是根據(jù)本發(fā)明一方面的數(shù)據(jù)結(jié)構(gòu)的另一示例。

具體實施方式

[0034]現(xiàn)在將參考附圖描述本發(fā)明的實施例。要注意的是，以下描述僅用于使得技術(shù)人

員能夠理解本發(fā)明，而無意將本發(fā)明的適用性限制于讀者可以容易地理解和/或設(shè)想的其

他實施例。

[0035]本發(fā)明提供了一種用于編碼和解碼數(shù)據(jù)的方法和設(shè)備，所述數(shù)據(jù)尤其是但不限于

圖像和視頻數(shù)據(jù)。具體地,本發(fā)明提供了一種用于對要編碼的數(shù)據(jù)進行編碼以及以高效方

式提供和編碼關(guān)聯(lián)元數(shù)據(jù)的方法。另外，本發(fā)明提供了一種用于以高效方式使用編碼數(shù)據(jù)

的關(guān)聯(lián)元數(shù)據(jù)對所述經(jīng)編碼數(shù)據(jù)進行解碼的方法。為了便于參考,在以下描述中，要編碼的

數(shù)據(jù)被視為殘差數(shù)據(jù)，但是也可以使用其他要編碼的合適的數(shù)據(jù)，例如RGB值、YUV值等。

[0036]在圖1中，以示例的方式示出了系統(tǒng)100,系統(tǒng)100包括經(jīng)由網(wǎng)絡(luò)連接到多個客戶端

裝置130、132的流服務(wù)器102。

[0037]流服務(wù)器102包括編碼器104,該編碼器被配置成利用本文描述的方法來接收和編

碼第一數(shù)據(jù)信號。為了便于理解，以下參考作為數(shù)據(jù)信號的視頻數(shù)據(jù)進行描述，然而也可以

編碼其他類型的數(shù)據(jù)（諸如，例如，圖像）。流服務(wù)器104被配置成將經(jīng)編碼數(shù)據(jù)流例如視頻

流106傳遞到多個客戶端裝置130和132,諸如機頂盒、智能TV、智能電話、平板計算機、筆記

本電腦等。每個客戶端裝置130和132被配置成對經(jīng)編碼視頻流106進行解碼和渲染。在其他

實施例中，經(jīng)編碼數(shù)據(jù)流包括不同的數(shù)據(jù)，諸如圖像/圖片。

[0038]為了便于理解，參考單個流服務(wù)器102和兩個接收方客戶端裝置130、132來示出圖

1的系統(tǒng)100。在未示出但本領(lǐng)域技術(shù)人員將理解的其他實施例中，系統(tǒng)100可以包括多個服

6

CN111684812A說明書4/27頁

務(wù)器和數(shù)萬個客戶端裝置。

[0039]流服務(wù)器102可以是能夠通過網(wǎng)絡(luò)將經(jīng)編碼數(shù)據(jù)傳遞到客戶端裝置的任何合適的

數(shù)據(jù)存儲和傳遞服務(wù)器。流服務(wù)器在本領(lǐng)域中是已知的，并且使用單播和/或多播協(xié)議。流

服務(wù)器被布置成編碼且經(jīng)常存儲視頻數(shù)據(jù)，并且以一個或多個經(jīng)編碼數(shù)據(jù)流106將經(jīng)編碼

視頻數(shù)據(jù)提供給客戶端裝置130和132。每個經(jīng)編碼視頻流106由編碼器104生成。圖1中的編

碼器104位于流服務(wù)器102上，然而在其他實施例中，編碼器104位于系統(tǒng)100中的其他地方。

流服務(wù)器102可以提供實況視頻內(nèi)容或視頻點播（VoD）視頻內(nèi)容中的一個或多個。編碼器

104利用本文描述的技術(shù)生成經(jīng)編碼視頻流。如在比特率控制系統(tǒng)中已知的，編碼器104接

收關(guān)于目標(biāo)比特率（即，希望視頻被編碼的比特率）的信息。

[0040]編碼器104還包括速率控制器108。速率控制器108是確定視頻數(shù)據(jù)要被編碼的比

特率的軟件模塊。在實施例中，速率控制器108管理單通編碼器104的速率控制，然而在其他

實施例中，編碼器104是多通編碼器。速率控制器108的部分功能是獲取目標(biāo)比特并確定相

關(guān)參數(shù)（諸如量化參數(shù)（QP）），以使編碼器106以目標(biāo)比特率或接近于目標(biāo)比特率產(chǎn)生經(jīng)編

碼數(shù)據(jù)流。這種速率控制器108的功能在本領(lǐng)域中是已知的。

[0041]速率控制器108還包括速率控制器管理器110。速率控制器管理器110是確定速率

控制器108的目標(biāo)比特率的軟件模塊。下面參考圖3和圖4詳細描述速率控制器管理器110的

功能。速率控制器管理器110接收初始目標(biāo)比特率（即，將由編碼器104生成的期望比特率），

并確定由速率控制器108和編碼器106使用的經(jīng)修改的目標(biāo)比特率，從而以該目標(biāo)比特率編

碼數(shù)據(jù)流。如下面進一步詳細描述的，速率控制器管理器110利用了機器學(xué)習(xí)原理，以便確

定速率控制器108和編碼器106的最佳的經(jīng)修改的目標(biāo)比特率。由于對流進行編碼所使用的

參數(shù)和編解碼器,編碼器106的獲得的或輸出的比特率通常將與目標(biāo)速率的比特率不同。因

此,為了獲得目標(biāo)比特率，確定了經(jīng)修改的比特率,所述經(jīng)修改的比特率被改變，以便考慮

期望比特率與由于編碼過程而獲得的實際比特率之間的差異。

[0042]客戶端裝置130和132是本領(lǐng)域中已知的裝置,并且包括接收和解碼視頻流所需的

已知元件，諸如處理器、通信端口和解碼器。解碼器被配置成對經(jīng)編碼數(shù)據(jù)流106進行解碼。

[0043]在編碼器104處接收并編碼視頻流，以生成經(jīng)編碼數(shù)據(jù)流106。如下面詳細描述的，

通過速率控制器管理器110和速率控制器108確定用于編碼視頻流的參數(shù)。

[0044]本發(fā)明的一方面在于創(chuàng)建一種數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)用于編碼數(shù)據(jù)信號，并且對

以小帶寬且高效的解碼方式解碼數(shù)據(jù)信號所需的元數(shù)據(jù)進行編碼。在以下描述中，為了便

于參考，我們將參考特定類型的數(shù)據(jù)信號，即視頻數(shù)據(jù)，但是應(yīng)該理解，這不是限制性的，并

且本發(fā)明同樣適用于任何合適類型的信號，包括例如靜態(tài)圖片、圖像、3D掃描、層析圖片、衛(wèi)

星圖像、雷達圖像、遙測數(shù)據(jù)、聲音信號等。

[0045]視頻數(shù)據(jù)可以根據(jù)需要具有任何合適的幀大小。每個幀被細分為多個圖塊，優(yōu)選

地，每個圖塊具有相等的大小。圖塊大小可以是任何大小，并且在本文中被定義為NxN圖塊。

在實施例中，圖塊大小可以是64x64、32x32、16xl6、8x8等中的一個。為了便于理解，參考

16x16元素的圖塊描述以下過程，然而,這僅僅是示例性的。

[0046]本發(fā)明的一方面定義了一種數(shù)據(jù)結(jié)構(gòu),該數(shù)據(jù)結(jié)構(gòu)使得數(shù)據(jù)信號諸如視頻數(shù)據(jù)能

夠以稀疏方式被編碼，以減小以質(zhì)量級流傳輸視頻數(shù)據(jù)所需的帶寬，并且該數(shù)據(jù)結(jié)構(gòu)允許

解碼器更高效地對經(jīng)編碼數(shù)據(jù)流進行解碼（或者，在存儲視頻數(shù)據(jù)的情況下，減少存儲和解

7

CN111684812A說明書5/27頁

碼所需的數(shù)據(jù)存儲量）。如下面更詳細描述的，視頻數(shù)據(jù)使用樹結(jié)構(gòu)以自下而上的方式被編

碼。為了便于參考，在下文中，我們將該樹稱為四叉樹，但是也可以使用其他結(jié)構(gòu)。從概念上

講，數(shù)據(jù)結(jié)構(gòu)識別視頻數(shù)據(jù)中存在要編碼的數(shù)據(jù)的例子，并且在存在該數(shù)據(jù)的情況下進行

映射。因此，還以低成本的方式識別沒有要編碼的數(shù)據(jù)的區(qū)域。結(jié)果，可以減小發(fā)送經(jīng)編碼

數(shù)據(jù)流和關(guān)聯(lián)元數(shù)據(jù)信息所需的帶寬。如下面詳細解釋的，數(shù)據(jù)結(jié)構(gòu)還允許數(shù)據(jù)被并行編

碼并且并行地被分別解碼。數(shù)據(jù)結(jié)構(gòu)還允許較高效的解碼。通過閱讀以下描述，這些優(yōu)點將

變得更加清楚。

[0047]為了解碼數(shù)據(jù)結(jié)構(gòu)，需要對數(shù)據(jù)結(jié)構(gòu)進行描述的元數(shù)據(jù)，以便允許解碼器理解經(jīng)

編碼數(shù)據(jù)的結(jié)構(gòu)并解碼數(shù)據(jù)。

[0048]要注意的是,本發(fā)明可以與要編碼的任何類型的數(shù)據(jù)一起使用。在視頻信號的示

例性情況下，要編碼的數(shù)據(jù)的類型可以取決于視頻信號的處理方式而變化。例如，在分級方

法中——諸如本文或者例如專利號為8,977,065、8,948,248、8,711,943、9,129,411、8,

531,321、9,510,018、9,509,990的美國專利中進一步詳細討論的分級方法，上述美國專利

通過引用并入本文一一視頻信號通常被分為各個幀，每個幀包括一定數(shù)量的值（例如，像

素）。然后可以對信號進行遞歸處理以減小其大?。ɡ?，將YxZ像素的完整幀（例如，層0）

下采樣到Y(jié)/2xZx2像素的第一下采樣幀（例如，層T）中，然后又在Y/4xZx4像素的第二下

采樣幀中（例如，層-2），依此類推），然后再進行編碼。被編碼的內(nèi)容不一定是像素的絕對

值，而是例如與像素值之間的相對差相關(guān)聯(lián)的值。例如，可以取相同位置的層T處的像素的

值與層-2處的像素的上采樣版本的值之間的差。該差有時可以被稱為殘差?？梢允褂米儞Q

來進一步處理殘差以生成經(jīng)變換的殘差（例如，參見專利號為9,509,990的美國專利作為這

種變換的示例），例如以進一步減小端并提高編碼過程的效率。在本說明書和權(quán)利要求書

中，我們提到術(shù)語“殘差”或“殘差數(shù)據(jù)”以描述殘差或經(jīng)變換的殘差，因為本發(fā)明將同等地

適用于兩者。因此，在上述示例性分級結(jié)構(gòu)中，如本專利申請中所述,可以將殘差視為要編

碼的數(shù)據(jù)的類型。在其他示例中，視頻信號的幀的像素值可以在不相對于參考幀取任何差

的情況下被直接編碼（從而生成某種形式的殘差），或者可以對不同類型的殘差進行編碼

（例如，時間殘差，諸如MPEG標(biāo)準(zhǔn)（如H.264）中的時間殘差）。在那種情況下，像素值或其他類

型的殘差可以被視為要編碼的數(shù)據(jù)的類型。

[0049]本文描述的過程提供了一種用于將要編碼的數(shù)據(jù)幀映射到稀疏分級結(jié)構(gòu)的方法。

如上所述,這些數(shù)據(jù)可以是殘差、像素值等。通過以下述方式進行映射，可以將視頻數(shù)據(jù)幀

“切片”為獨立的圖塊。每個圖塊可以被單獨地編碼和解碼，從而實現(xiàn)并行化。此外，當(dāng)以多

個質(zhì)量級編碼和解碼數(shù)據(jù)時，以下描述的方法允許在不了解先前的質(zhì)量級的情況下解碼每

個質(zhì)量級。這是重要的優(yōu)點，并且熟練的讀者將理解，該能力增加了解碼器的效率和靈活

性。

[0050]為了便于理解，以下關(guān)于要編碼的數(shù)據(jù)的單個幀進行描述，其采用第一質(zhì)量級的

殘差數(shù)據(jù)的形式。在其他實施例中，幀可以包含原始像素值、亮度、色度等。這樣的幀可以具

有任何大小，并且可以被細分為多個圖塊，每個圖塊的尺寸為NxN。為了便于理解，以下參考

16x16元素例如16x16殘差的圖塊進行描述。

[0051]本文描述的過程引起對數(shù)據(jù)（諸如殘差數(shù)據(jù)）以及數(shù)據(jù)結(jié)構(gòu)的編碼，該數(shù)據(jù)結(jié)構(gòu)用

于映射數(shù)據(jù)在經(jīng)編碼數(shù)據(jù)中的出現(xiàn)情況。還提供了在其他數(shù)據(jù)結(jié)構(gòu)中編碼元數(shù)據(jù)（諸如，編

8

CN111684812A說明書6/27頁

碼殘差數(shù)據(jù)所需的位數(shù)）并描述結(jié)構(gòu)元數(shù)據(jù)的能力。因此，編碼過程引起對數(shù)據(jù)、元數(shù)據(jù)的

編碼，所述元數(shù)據(jù)描述數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)以映射數(shù)據(jù)和元數(shù)據(jù)。還描述了一種解碼過程，其

中，解碼器使用數(shù)據(jù)結(jié)構(gòu)來讀取經(jīng)編碼數(shù)據(jù)。如下面通過將元數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)提供給解碼

器所詳細描述的，解碼器可以確定數(shù)據(jù)在經(jīng)編碼數(shù)據(jù)流內(nèi)的位置并且選擇性地對數(shù)據(jù)流的

感興趣的部分進行解碼。

[0052]圖2是殘差數(shù)據(jù)的圖塊的示例，所述圖塊的大小為NxN。為了便于理解，以下參考殘

差數(shù)據(jù)的16x16圖塊進行描述。如前所述，該原理適用于其他大小為NxN的圖塊。

[0053]如從圖2中可以看到的，圖塊的元素具有各種殘差數(shù)據(jù)值。在其他實施例中，圖塊

的元素可以是與視頻數(shù)據(jù)的屬性（例如亮度、色度、噪聲、比特大小等）有關(guān)的其他數(shù)據(jù)和/

或元數(shù)據(jù)。

[0054]如圖2所示，許多元素的值為零，并且其余元素的值為非零。圖2中所示的值僅作為

示例示出，并且所示的值可以是任何合適的值。

[0055]殘差數(shù)據(jù)的存在通常指示圖像數(shù)據(jù)中特征或邊緣的存在（因為已知這樣的特征的

頻率太高而無法以較低的質(zhì)量級捕獲）。如下面進一步詳細解釋的，以下過程允許以高效方

式對所有對應(yīng)的像素編碼殘差數(shù)據(jù)。特別地，數(shù)據(jù)結(jié)構(gòu)識別圖塊內(nèi)具有殘差數(shù)據(jù)的區(qū)域或

區(qū)（例如，存在邊緣之處）。

[0056]眾所周知，在編碼殘差數(shù)據(jù)時，附近元素的某些組將具有全零值（表明沒有理由將

殘差數(shù)據(jù)與這些元素相關(guān)聯(lián)），而某些元素將具有非零值。因此，并非圖塊內(nèi)的每一個元素

都將為非零。所描述的過程的一方面是，例如在元素具有零值或者具有等于或小于閾值的

值的情況下，不需要對高比例的元素進行編碼（并因此進行解碼）。所描述的過程識別圖塊

上的殘差數(shù)據(jù)的塊，并且僅編碼（并且因此解碼）必要的塊，從而稀疏化數(shù)據(jù)。這種稀疏性在

圖2中由圖塊內(nèi)取值為“0”的元素來表示。所描述的過程的另一方面在于，除了稀疏化殘差

數(shù)據(jù)之外，還提供稀疏樹結(jié)構(gòu)形式的元數(shù)據(jù)，其然后允許解碼殘差數(shù)據(jù)，特別是高效地解碼

殘差數(shù)據(jù)。

[0057]因此，可以通過僅編碼和解碼非零值來利用這種稀疏性以提高編碼和解碼的速

度。相反，密集方法將對圖塊內(nèi)的每個值進行編碼和解碼，而不管其是否為零。當(dāng)大量數(shù)據(jù)

為零時，這種方法可能效率不高。此外，如下面詳細解釋的，該過程允許在不參考其他元素

的情況下單獨地對幀的各個部分或元素進行解碼。因此，可以利用多個單獨的解碼器對以

所述方式被編碼的數(shù)據(jù)進行解碼，從而允許解碼過程的并行化。

[0058]因此，本發(fā)明的一方面在于高效的方式，通過所述方式可以識別和使用圖塊的非

零元素。

[0059]在實施例中，稀疏四叉樹數(shù)據(jù)結(jié)構(gòu)用于在編碼和解碼期間識別包含非零值的圖塊

的元素。

[0060]圖3示出了密集四叉樹300的代表性示例。四叉樹由節(jié)點（例如302、306）和將節(jié)點

（諸如父節(jié)點302）連接到子節(jié)點306的邊緣（例如304）組成。在圖3的四叉樹中，每個父節(jié)點

具有正好四個子節(jié)點。四叉樹可以包含多個葉節(jié)點308。葉節(jié)點被定義為不包含任何子節(jié)點

的節(jié)點。四叉樹還可以包含根節(jié)點302,其被定義為沒有父節(jié)點的節(jié)點。根節(jié)點302被稱為樹

300的最低級節(jié)點302。葉節(jié)點308被稱為樹的最高級節(jié)點。包含父節(jié)點和子節(jié)點兩者的節(jié)點

（例如306）被稱為內(nèi)部節(jié)點。

9

CN111684812A說明書7/27頁

[0061]在圖4中，示出了用于對一行殘差數(shù)據(jù)402進行映射的四叉樹400。所述四叉樹400

由葉節(jié)點403、內(nèi)部節(jié)點412和根節(jié)點406組成。四叉樹400的每個葉節(jié)點403對應(yīng)于行402上

特定殘差數(shù)據(jù)項的位置。

[0062]作為示例,葉節(jié)點403映射到殘差數(shù)據(jù)404的項。通過以設(shè)置的遍歷順序（例如深度

優(yōu)先）從根節(jié)點406遍歷四叉樹，可以在編碼和解碼期間以相同的順序讀取行402上的每個

元素。如上所述，以上述方式讀取行上的殘差數(shù)據(jù)的每一項可能是低效的。當(dāng)只有一些殘差

為非零時,這種低效尤其明顯。

[0063]本發(fā)明的一方面在于識別在樹上的最低可能級處為空的圖塊的區(qū)（即，該區(qū)內(nèi)的

每一個元素的殘差值為零），以提高編碼和解碼過程的效率。返回圖4,行402上的區(qū)410和

410A僅包含值為零的殘差。在這種情況下，當(dāng)解碼行402時，遍歷可能在節(jié)點412處中斷，并

且在412A處再次中斷，因為它們的所有子節(jié)點都映射到零殘差。

[0064]因此，使用稀疏四叉樹400A。稀疏四叉樹以與密集四叉樹相同的方式被定義，但節(jié)

點為空。在稀疏四叉樹中，每個父節(jié)點具有恰好四個子節(jié)點，或者沒有子節(jié)點。這與圖3中每

個父節(jié)點具有恰好四個子節(jié)點的四叉樹相反。如果內(nèi)部節(jié)點的所有子節(jié)點都同樣為空，則

該內(nèi)部節(jié)點被視為空。如果葉節(jié)點的對應(yīng)殘差值為零，或者對應(yīng)殘差值小于某個閾值，則該

葉節(jié)點被視為空。

[0065]作為示例，內(nèi)部節(jié)點414為空，因為其葉節(jié)點全部映射到為零的殘差值，例如416、

416A。在遍歷稀疏四叉樹期間，僅當(dāng)節(jié)點不為空時才訪問所述節(jié)點的子節(jié)點。因此，如果在

遍歷期間訪問空節(jié)點，則遍歷不會繼續(xù)至所述空節(jié)點的子節(jié)點，因為根據(jù)定義，它們?nèi)繉?/p>

同樣為空。

[0066]在解碼期間，以自下而上的定義遍歷樹400A；即，從最低級到最高級遍歷樹400A。

在實施例中，以深度優(yōu)先的方式遍歷樹。這樣做等效于以z順序遍歷來訪問NxN圖塊的元

素。這允許將空間信息用作編碼和解碼過程的一部分。其還確保以與編碼元素相同的順序

解碼元素。在其他實施例中，可以采用其他遍歷方法來利用圖塊的結(jié)構(gòu)的其他方面。

[0067]因此，稀疏四叉樹數(shù)據(jù)結(jié)構(gòu)定義了殘差數(shù)據(jù)的例子和位置。

[0068]圖5是根據(jù)本發(fā)明一方面的構(gòu)造稀疏四叉樹的過程的流程圖。然后可以將稀疏四

叉樹編碼為經(jīng)編碼數(shù)據(jù)流的一部分。

[0069]參考圖5描述的過程是用于以稀疏方式映射殘差數(shù)據(jù)的例子的過程。該映射過程

確定用于對數(shù)據(jù)進行編碼的數(shù)據(jù)結(jié)構(gòu)的第一層（層-0）。

[0070]為了便于參考，以下參考數(shù)據(jù)的圖塊例如殘差值進行描述，所述圖塊的大小為

16x16像素。在其他實施例中，以下過程可以用于不同大小的圖塊，例如8x8、32x32、64x64

等。

[0071]本文所述的過程提供了一種方法，該方法用于以分級樹結(jié)構(gòu)將來自視頻數(shù)據(jù)的第

一幀的數(shù)據(jù)（殘差數(shù)據(jù)、元數(shù)據(jù)或任何其他形式的數(shù)據(jù)）的圖塊映射為稀疏四叉樹。如下面

詳細描述的，通過以下面描述的方式進行映射，減少了要編碼（并且因此隨后被解碼）的數(shù)

據(jù)的量。此外，當(dāng)該過程用于以分級方式以多個質(zhì)量級對數(shù)據(jù)流進行編碼時，所描述的數(shù)據(jù)

結(jié)構(gòu)消除了對先前或進行中的質(zhì)量級的任何要求。因此，可以單獨地且在不參考任何其他

層的情況下編碼和解碼質(zhì)量級。因此，與許多已知的分級編碼方案相反一一在已知的分級

編碼方案中，需要解碼最低質(zhì)量級以便解碼任何較高質(zhì)量級一一所描述的方法不需要解碼

10

CN111684812A說明書8/27頁

任何其他質(zhì)量層。

[0072]一方面是，分級樹結(jié)構(gòu)定義了何時存在數(shù)據(jù)（并且因此需要進行編碼）的例子并提

供了映射以識別存在這種數(shù)據(jù)的位置（在圖塊中的位置）。如下所述，由于以從下到上的方

式進行編碼，因此以減少要編碼的數(shù)據(jù)的量的方式來識別不存在數(shù)據(jù)的幀區(qū)域，從而稀疏

化數(shù)據(jù)。

[0073]為了便于理解，以下關(guān)于以第一質(zhì)量級被編碼的視頻數(shù)據(jù)的單個幀進行描述。

[0074]在步驟S102,接收要編碼的視頻數(shù)據(jù)的第一幀。視頻數(shù)據(jù)可以存儲在本地，也可以

從外部來源諸如服務(wù)器被接收。

[0075]視頻的第一幀已與視頻數(shù)據(jù)、元數(shù)據(jù)或描述該幀的第一特性的數(shù)據(jù)相關(guān)聯(lián)。

[0076]確定與視頻數(shù)據(jù)的第一幀相關(guān)聯(lián)的殘差數(shù)據(jù)的步驟可以通過使用本領(lǐng)域中任何

已知的合適方法來執(zhí)行。本發(fā)明定義了一種方法，該方法用于以高效方式對幀的殘差數(shù)據(jù)

和任何其他元數(shù)據(jù)進行編碼。由于數(shù)據(jù)可以與殘差數(shù)據(jù)有關(guān)，因此本文所述的過程可以用

于對視頻數(shù)據(jù)的幀的增強進行編碼。

[0077]在步驟S104,確定殘差數(shù)據(jù)。確定殘差數(shù)據(jù)的步驟可以使用任何已知的過程來進

行，例如，從重構(gòu)信號中減去參考信號的過程,諸如公告號為W02013011494的專利中所描述

的，該專利的內(nèi)容通過引用并入本文。

[0078]因此,在步驟S104,在實施例中，對于每個像素確定視頻的第一幀的殘差數(shù)據(jù)，從

而定義殘差幀。

[0079]在其他實施例中，殘差幀已經(jīng)被預(yù)先確定，并且被存儲在存儲器中。在這樣的實施

例中，殘差幀在步驟S104被發(fā)送到編碼器并且被編碼為經(jīng)編碼數(shù)據(jù)流的一部分。

[0080]該方法的以下步驟定義了一種新穎的方法，該方法用于定義和存儲對殘差數(shù)據(jù)的

分布進行映射的元數(shù)據(jù)。

[0081]在步驟S106,殘差幀被細分為多個圖塊。在優(yōu)選的實施例中，整個幀上的圖塊的大

小是規(guī)則的，并且定義了16x16像素圖塊。

[0082]圖2示出了殘差數(shù)據(jù)的圖塊的示例。

[0083]如參考圖2所描述的，本發(fā)明的一方面在于定義一種數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)定義用

于視頻數(shù)據(jù)幀的元數(shù)據(jù)的例子和位置。

[0084]為了定義殘差數(shù)據(jù)的例子在圖塊上出現(xiàn)的位置，在步驟S108,通過執(zhí)行二進制映

射操作將殘差的16x16圖塊轉(zhuǎn)換為二進制值。取決于元素的值,為每個元素分配二進制值。

如果元素具有非零殘差值，則為二進制映射中的等效元素分配值“1”，否則為其分配值“0”。

在其他實施例中，使用非零閾值。例如，如果確定某個非零殘差值可以被認(rèn)為是可接受的，

則可以將該值用作閾值，因此，如果元素大于非零閾值,則為其分配值“1”，如果該元素小于

非零閾值，則為其分配值“0”（取決于如何實施過程，可以為等于非零閾值的值分配“0”或

“1”）。注意，“0”和“1”只是用于識別兩種替代方案的等效的邏輯二進制數(shù)字一一換句話說,

它們可以是實數(shù)（零和一），也可以是兩個等效的邏輯值。

[0085]根據(jù)定義，在步驟S108產(chǎn)生的二進制映射具有與殘差數(shù)據(jù)的圖塊相同的大?。ɡ?/p>

如16x16），并且對包含殘差數(shù)據(jù)圖塊內(nèi)的殘差數(shù)據(jù)的元素的位置進行了定義。由于以稀疏

方式定義數(shù)據(jù)，因此該數(shù)據(jù)定義了映射殘差數(shù)據(jù)的16x16的稀疏化級（L0S）。在實施例中，鑒

于層-0中保存的殘差數(shù)據(jù)，16x16的L0S不被編碼為經(jīng)編碼數(shù)據(jù)流的一部分，因為這樣的數(shù)

11

CN111684812A說明書9/27頁

據(jù)在經(jīng)編碼數(shù)據(jù)流中是冗余的。但是，這種數(shù)據(jù)用于定義稀疏化的其他級。

[0086]以下過程用于識別圖塊內(nèi)不包含任何殘差信息的最大可能區(qū)域。如果可以將圖塊

的一部分（例如8x8元素）識別為不包含任何殘差信息,則描述該部分的數(shù)據(jù)需求將減少為

零。因此，可以將步驟S112至S118視為定義不包含殘差數(shù)據(jù)的圖塊的區(qū)域。

[0087]圖6示出了圖2的16x16的L0S的示例。從圖6中可以看到，圖2中的任何非零值都將

轉(zhuǎn)換為值1,并且因此映射殘差數(shù)據(jù)。

[0088]因此，在殘差數(shù)據(jù)存在的情況下，逐個像素映射16x16的L0S。

[0089]因此，其定義了四叉樹數(shù)據(jù)結(jié)構(gòu)600A的最高級節(jié)點。

[0090]在步驟S110,將16x16的L0S細分為多個數(shù)據(jù)集。每個數(shù)據(jù)集優(yōu)選地是2x2像素的四

元組。因此，將16x16的L0S細分為8x8布置的非重疊2x2四數(shù)據(jù)集。該8x8結(jié)構(gòu)定義了8x8的

LOSo

[0091]因此，其定義了四叉樹數(shù)據(jù)結(jié)構(gòu)中下方的下一級。

[0092]此外，在步驟S110,將數(shù)據(jù)集分組為節(jié)點。每個節(jié)點包括2x2的數(shù)據(jù)集分組。

[0093]圖7是圖6的16x16的LOS的8x8的LOS600的表示，其中，像素已被分組為數(shù)據(jù)集，每

個數(shù)據(jù)集是2x2像素的四元組。圖7中示出了四個數(shù)據(jù)集A、B、C、D。為了便于理解，圖7中未示

出所有的數(shù)據(jù)集。

[0094]每個數(shù)據(jù)集與2x2數(shù)據(jù)集的節(jié)點相關(guān)聯(lián)。在圖7所示的示例中，數(shù)據(jù)集A、B、C和D將

節(jié)點定義為2x2的四元組。這被識別為節(jié)點N。

[0095]在步驟S112,每個數(shù)據(jù)集與節(jié)點相關(guān)聯(lián)。在優(yōu)選的實施例中，節(jié)點被定義為數(shù)據(jù)集

的2x2四元組。

[0096]節(jié)點N的示例在圖7中用虛線框示出，其中包含數(shù)據(jù)集A、B、C、D。

[0097]在步驟S114,為每個數(shù)據(jù)集分配單個值，所述單個值指示定義每個數(shù)據(jù)集的像素

是否包含任何大于閾值的殘差信息或非零值。如果執(zhí)行步驟S108并且發(fā)生二進制映射，則

閾值是任何大于“0”的值。在其他實施例中，閾值可以是任何值。

[0098]圖8表示將閾值應(yīng)用于元數(shù)據(jù)的步驟。在圖8中，數(shù)據(jù)集A、B和D都具有至少一個具

有非零值的元素，因此,A、B和D中的每個具有值“1"。數(shù)據(jù)集C完全包含0值，因此數(shù)據(jù)集C被

分配值“0”。因此，圖8為圖塊定義了8x8的LOS,其中，數(shù)據(jù)定義了是否存在任何其他殘差信

息。在圖8中，還示出了A、B、C、D的節(jié)點N。在替代實施例中，可以確定如果數(shù)據(jù)集包括大于特

定閾值的多個非零值，則將值“1”分配給該數(shù)據(jù)集，而如果數(shù)據(jù)集包括小于特定閾值的多個

非零值，則將值“0”分配給該數(shù)據(jù)集（如果數(shù)據(jù)集具有等于閾值的多個非零值,則可以取決

于如何實施過程來分配值“0”或“1”）。例如，如果閾值是2并且如果數(shù)據(jù)集具有大于2的多個

非零值則將分配值1,則圖7中的數(shù)據(jù)集A、B和C將被分配值“0”，并且圖7中的數(shù)據(jù)集D將被分

配值T。

[0099]本發(fā)明的一部分是使用最小量的信息經(jīng)由樹結(jié)構(gòu)來定義元數(shù)據(jù)的結(jié)構(gòu)。本發(fā)明的

一方面在于，如果確定定義節(jié)點N的所有四數(shù)據(jù)集（例如,A、B、C、D）不包含任何殘差數(shù)據(jù)，則

可以將形成該節(jié)點的所有像素識別為不包含殘差數(shù)據(jù)。這樣，節(jié)點就完成了，并且不需要對

樹結(jié)構(gòu)進行進一步的高級定義。但是，可以識別該節(jié)點是否是不包含任何殘差信息的較大

結(jié)構(gòu)的一部分。相反，如果形成節(jié)點的四數(shù)據(jù)集中的任一四數(shù)據(jù)集包含殘差數(shù)據(jù)，則需要其

他高級數(shù)據(jù)來定義殘差數(shù)據(jù)出現(xiàn)的位置。

12

CN111684812A說明書10/27頁

[0100]在步驟S116,為該結(jié)構(gòu)確定4x4的LOS。與通過從較高級（即16x16的LOS）中分組數(shù)

據(jù)而創(chuàng)建的8x8的LOS的創(chuàng)建一樣,通過將8x8的LOS分組到定義2x2四元組的數(shù)據(jù)集或子節(jié)

點中來創(chuàng)建4x4的LOS,并且基于形成四元組的8x8的LOS元素的值為每個四元組分配二進制

值。在圖8所示的示例中，數(shù)據(jù)結(jié)構(gòu)A、B、C和D在4x4的LOS中定義2x2四元組。

[0W1]以與8x8的LOS相同的方式確定4x4的LOS?；谌魏卧厥欠癜橇阒?為數(shù)據(jù)

結(jié)構(gòu)的每個2x2四元組或后代節(jié)點分配二進制值。在圖8所示的示例中，由于元素A、B和D具

有非零值，因此整個四元組被分配非零值。對于定義4x4的LOS的所有其他四元組或后代節(jié)

點（未示出）重復(fù)此過程。與8x8的LOS相似，在替代實施例中，可以確定，如果2x2四元組包含

大于特定閾值的多個非零值，則將值“1”分配給該數(shù)據(jù)集,而如果2x2四元組包含小于特定

閾值的多個非零值，則將值“0”分配給該2x2四元組（如果2x2四元組具有等于閾值的多個非

零值，則可以取決于如何實施過程來分配值“0”或“1”）。例如，如果閾值是1并且如果2x2四

元組具有大于1的多個非零值則將分配值1,則圖8中的由A、B、C和D形成的2x2四元組將被分

配值“1”，并且對于其他2x2四元組依此類推。

[0102]在步驟S118,還基于4x4的LOS值來定義2x2的LOS,這以相同的方式進行。

[0103]從以上過程可以看出，如果2x2的LOS的元素之一被識別為沒有殘差數(shù)據(jù)，則在編

碼過程中，由于沒有要編碼的數(shù)據(jù)，因此可以實質(zhì)上忽略或繞過幀的四分之一。

[0104]圖9是整個結(jié)構(gòu)的示意圖。以這樣的方式描述數(shù)據(jù)：定義殘差數(shù)據(jù)（在16x16圖塊

中）902,然后定義8x8的LOS904、4x4的LOS906和2x2的LOS908。

[0105]在級902、904和906的每個級處的每個2x2四元組用于以分級方式在進行的級中定

義元素。例如，級902處的2x2四元組910用于定義級904處的元素912的值。在2x2四元組910

內(nèi)，存在至少一個非零值，因此在912處記錄值1。然后使用8x8的LOS904處的2x2四元組914

內(nèi)的值來定義值916。隨后，使用4x4的LOS906處的2x2四元組918內(nèi)的值來定義2x2的LOS

908處的值920。

[0106]如上所述，由于定義了殘差數(shù)據(jù)，因此16x16的LOS是冗余的，因為該信息已存在于

殘差數(shù)據(jù)中。但是，如上所示,在確定8x8的LOS的過程中可以使用16x16的LOS。

[0107]返回圖5,在步驟S120,對與圖塊和稀疏四叉樹結(jié)構(gòu)有關(guān)的數(shù)據(jù)進行編碼。數(shù)據(jù)被

編碼為值序列，所述值序列定義了2x2的L0S、4x4的L0S、8x8的LOS和殘差數(shù)據(jù)。所述一系列

值被稱為流、比特流或字節(jié)流。

[0108]因此,稀疏四叉樹拓?fù)浔痪幋a到數(shù)據(jù)流中。在實施例中，可以為節(jié)點的每個四元組

（即2x2節(jié)點結(jié)構(gòu)）分配節(jié)點值以指示該節(jié)點是否具有數(shù)據(jù)。該值被稱為T節(jié)點值。如果該節(jié)

點沒有數(shù)據(jù)，則無需發(fā)送與空節(jié)點有關(guān)的任何其他數(shù)據(jù)來定義稀疏四叉樹結(jié)構(gòu)，因為這種

信息是冗余的。

[0109]例如，如果16x16的圖塊包含一個不具有稀疏元素的四元組，則該圖塊的流（包含

稀疏四叉樹的拓?fù)浜蜌埐顢?shù)據(jù)）可以按以下方式被編碼：

[0110]0100（2x2的LOS的T節(jié)點）

[0111]1000（T節(jié)點，4x4的LOS）

[0112]0100（T節(jié)點，8x8的LOS）

[0113]Resl

[0114]Res2

13

CN111684812A說明書11/27頁

[0115]Res3

[0116]Res4

[0117]2x2的LOS的T節(jié)點定義只有單個四元組具有殘差數(shù)據(jù)。由于四個四元組中的三個

四元組沒有小于2x2的LOS的數(shù)據(jù)，因此無需為四叉樹拓?fù)涠x任何其他數(shù)據(jù)。因此，由于所

有其他值均為空，所以4x4的LOS和8x8的LOS僅存在單個T節(jié)點。最后，定義殘差數(shù)據(jù)值

（Resl、Res2、Res3和Res4）。因此，以稀疏方式提供該結(jié)構(gòu)以去除數(shù)據(jù)中的任何冗余。

[0118]再舉一個示例，如果兩個相鄰的四元組未被稀疏化，則數(shù)據(jù)流可以具有以下形式：

[0119]0100（T-節(jié)點）

[0120]1000（T-節(jié)點）

[0121]0110（T-節(jié)點）

[0122]Resl

[0123]Res2

[0124]Res3

[0125]Res4

[0126]Res5

[0127]Res6

[0128]Res7

[0129]Res8

[0130]其中，在上述相同的方式中，可以看出冗余數(shù)據(jù)沒有被編碼。

[0131]在實施例中，在T節(jié)點的所有值都包含數(shù)據(jù)的情況下，可以用元數(shù)據(jù)的單個位替換

T節(jié)點的數(shù)據(jù)，以指示Tessera的所有T節(jié)點都具有值1111。在這種情況下，無需對樹進行編

碼或解碼，因為所有節(jié)點的值都是恒定的。

[0132]在步驟S122,進行檢查以測試在步驟S106產(chǎn)生的所有圖塊是否已經(jīng)被編碼。如果

仍然剩下要編碼的圖塊，則該過程進入步驟S108,并且針對下一個圖塊重復(fù)上述過程。如果

沒有剩下要編碼的圖塊，則該過程終止。

[0133]這樣，該過程以稀疏方式定義了對殘差數(shù)據(jù)的例子進行定義的數(shù)據(jù)結(jié)構(gòu)。

[0134]如上所述的數(shù)據(jù)結(jié)構(gòu)被認(rèn)為屬于層-0。對于視頻數(shù)據(jù)幀，層-0對應(yīng)于使用上述過

程創(chuàng)建的所有數(shù)據(jù)結(jié)構(gòu)的集合，以定義殘差數(shù)據(jù)的例子。

[0135]本發(fā)明的一方面在于上述圖塊和四叉樹結(jié)構(gòu)是本文中被稱為Tessera的通用抽象

數(shù)據(jù)類型的特定示例。

[0136]Tessera被定義為用于表示固定大小的編碼單元的抽象數(shù)據(jù)類型。編碼單元可以

是NxN的任意大小，諸如如2x2、4x4、8x8、16xl6、32x32等。Tessera用于表示固定大小的

數(shù)據(jù)塊的值和結(jié)構(gòu)。

[0137]Tessera包括固定大小的數(shù)據(jù)塊，并且還包括用于將數(shù)據(jù)的位置映射在所述數(shù)據(jù)

塊上的結(jié)構(gòu)。如上所述,在實施例中,Tessera包括稀疏四叉樹以映射數(shù)據(jù)的位置。在其他實

施例中，可以使用其他結(jié)構(gòu)，諸如八叉樹。

[0138]在實施例中，Tessera還可以包括與編碼和解碼所需的Tessera的其他方面有關(guān)的

其他信息，諸如報頭信息。

[0139]如上所述，用于表示殘差數(shù)據(jù)的Tessera被稱為殘差數(shù)據(jù)的Tessera。因此，個別的

14

CN111684812A說明書12/27頁

Tessera具有參數(shù)類型。參數(shù)類型定義在Tessera的固定大小的塊上存儲的內(nèi)容。在實施例

中，該參數(shù)類型是殘差信息。在其他實施例中，可以使用其他參數(shù)類型，諸如元數(shù)據(jù)、亮度、

色度等。

[0140]在實施例中，Tessera還可以包括在編碼和解碼期間對Tessera上保存的值應(yīng)用的

映射函數(shù)。

[0141]在實施例中，當(dāng)編碼Tessera時，可以使用映射函數(shù)來計算要編碼的值。在NXN塊

上的特定位置i處,其中，i處于[0,N2)的范圍內(nèi)，處于所述位置處的元素的值被表示為Ui,并

且要編碼的值被表示為Vi。映射函數(shù)f()可以用于根據(jù)元素的值計算要編碼的值，使得

[0142]Vi=f(ui)(2)

[0143]在實施例中，映射函數(shù)被設(shè)置為識別，使得

[0144]/="3⑶

=%

[0145]在另一實施例中，映射函數(shù)被設(shè)置為前綴差函數(shù)，使得

[0146]/=')、(4)

=(%-%1)

[0147]其中uo=O。

[0148]因此，如下所述，通過選擇不同的映射函數(shù)，可以對不同的數(shù)據(jù)進行編碼且隨后進

行解碼。對要編碼的數(shù)據(jù)的選擇為利用本文描述的方法的系統(tǒng)提供了進一步的靈活性。

[0149]圖10示出了使用映射函數(shù)的代表性示例。在圖10所示的示例中，該函數(shù)是如上所

述的前綴差函數(shù)。在其他實施例中，使用其他映射函數(shù)。

[0150]在圖10中，示出了具有葉節(jié)點1002的四叉樹1000,所述葉節(jié)點映射到殘差值1004。

映射函數(shù)1006用于根據(jù)殘差值1004確定要編碼的值1008。要編碼的值1008可以用作下一映

射函數(shù)1010的輸入。

[0151]遍歷四叉樹1000,使得按設(shè)置的順序訪問其葉節(jié)點，即A、B、C、D、E和F。當(dāng)訪問節(jié)點

1002時，將函數(shù)1006應(yīng)用于其值1004以產(chǎn)生要編碼的值1008。在實施例中，該函數(shù)如等式3

中所定義的，其將要編碼的值映射為等于節(jié)點的值，即，識別函數(shù)。

[0152]當(dāng)以上面參考圖5和步驟S120描述的方式將四叉樹拓?fù)渚幋a到數(shù)據(jù)流中時，使用T

節(jié)點對數(shù)據(jù)進行編碼以避免對冗余數(shù)據(jù)的編碼。

[0153]在實施例中，當(dāng)使用等式4中定義的前綴差函數(shù)時，先前編碼的值可以饋入下一個

函數(shù)調(diào)用1010。前綴差函數(shù)允許以高效的方式對具有較大殘差值的數(shù)據(jù)塊進行編碼。如果

所述數(shù)據(jù)塊包含較大的殘差值但殘差值之間的變化很小，則前綴差將對這些值之間的差進

行編碼。

[0154]參考數(shù)據(jù)的編碼描述了上述方法，并且使用相同的原理解碼數(shù)據(jù)。在實施例中，可

以以相同的方式解碼Tessera,其中編碼映射函數(shù)的反函數(shù)用于計算要在特定位置處解碼

的值。

[0155]在實施例中,當(dāng)將等式4中描述的前綴差函數(shù)用于編碼時，可以將前綴和函數(shù)用于

解碼。前綴和函數(shù)被定義為

15

CN111684812A說明書13/27頁

勺