在具有全參考型信號(hào)情況下用于采用普通清晰度電視廣播應(yīng)用客觀感知視頻質(zhì)量測(cè)量技術(shù)

1、ITU-R BT.1866 建議書(03/2010)在具有全參考型信號(hào)情況下用于采用普通清晰度電視廣播應(yīng)用的客觀感知視頻質(zhì)量測(cè)量技術(shù) BT 系列廣播業(yè)務(wù)(電視)前言無線電通信部門的職責(zé)是確保衛(wèi)星業(yè)務(wù)等所有無線電通信業(yè)務(wù)合理、平等、有效、經(jīng)濟(jì)地使用無線電頻譜，不受頻率范圍限制地開展研究并在此基礎(chǔ)上通過建議書。無線電通信部門的規(guī)則和政策職能由世界或區(qū)域無線電通信大會(huì)以及無線電通信全會(huì)在研究組的支持下履行。知識(shí)產(chǎn)權(quán)政策（IPR）ITU-R的IPR政策述于ITU-R第1號(hào)決議的附件1中所參引的ITU-T/ITU-R/ISO/IEC的通用專利政策。專利持有人用于提交專利聲明和許可聲明的表格可從http:

2、//ITU-R/go/patents/en獲得，在此處也可獲取ITU-T/ITU-R/ISO/IEC的通用專利政策實(shí)施指南和ITU-R專利信息數(shù)據(jù)庫。ITU-R 系列建議書（也可在線查詢 /publ/R-REC/en）系列標(biāo)題BO衛(wèi)星傳送BR用于制作、存檔和播出的錄制；電視電影BS廣播業(yè)務(wù)（聲音）BT廣播業(yè)務(wù)（電視）F固定業(yè)務(wù)M移動(dòng)、無線電定位、業(yè)余和相關(guān)衛(wèi)星業(yè)務(wù)P無線電波傳播RA射電天文RS遙感系統(tǒng)S衛(wèi)星固定業(yè)務(wù)SA空間應(yīng)用和氣象SF衛(wèi)星固定業(yè)務(wù)和固定業(yè)務(wù)系統(tǒng)間的頻率共用和協(xié)調(diào)SM頻譜管理SNG衛(wèi)星新聞采集TF時(shí)間信號(hào)和頻率標(biāo)準(zhǔn)發(fā)射V詞

3、匯和相關(guān)問題說明：該ITU-R建議書的英文版本根據(jù)ITU-R第1號(hào)決議詳述的程序予以批準(zhǔn)。電子出版2011年，日內(nèi)瓦ã ITU 2011版權(quán)所有。未經(jīng)國際電聯(lián)書面許可，不得以任何手段復(fù)制本出版物的任何部分。ITU-R BT.1866 建議書13ITU-R BT.1866 建議書在具有全參考型信號(hào)情況下用于采用普通清晰度電視*普通清晰度電視（LDTV）指像素?cái)?shù)量低于ITU-R BT.601建議書中所規(guī)定像素?cái)?shù)量的視頻清晰度。正在審議一項(xiàng)與LDTV有關(guān)的ITU-R建議書。廣播應(yīng)用的客觀感知視頻質(zhì)量測(cè)量技術(shù)（2010年）范圍本建議書規(guī)定了在具有全參考型信號(hào)情況下用于采用普通清晰度電視（LD

4、TV）廣播應(yīng)用的客觀感知質(zhì)量測(cè)量技術(shù)的評(píng)估方法。國際電聯(lián)無線電通信全會(huì)，考慮到a)自動(dòng)測(cè)量廣播視頻質(zhì)量的能力長(zhǎng)期被視為業(yè)界的一種寶貴財(cái)富；b)ITU-R BT.1683建議書描述了在具有全參考型信號(hào)情況下用于采用普通清晰度電視廣播應(yīng)用的客觀感知視頻質(zhì)量的客觀方法；c)ITU-R BT.1833建議書描述了通過手持接收機(jī)移動(dòng)接收多媒體和數(shù)據(jù)廣播應(yīng)用的多媒體系統(tǒng)；d)普通清晰度電視（LDTV）正越來越廣泛地用于供移動(dòng)接收的多媒體和數(shù)據(jù)廣播應(yīng)用；e)ITU-T J.247建議書ITU-T J.247建議書可查閱 </rec/T-REC-J.247-200808

5、-P/en>。規(guī)定了在具有全參考型信號(hào)情況下適用于LDTV應(yīng)用的客觀感知視頻質(zhì)量的測(cè)量技術(shù)；f)LDTV視頻質(zhì)量的客觀測(cè)量可能會(huì)補(bǔ)充主觀評(píng)價(jià)方法，認(rèn)識(shí)到a)LDTV的使用主要用于在手持和移動(dòng)接收機(jī)那些可用的小屏幕上進(jìn)行觀看，做出建議1附件1中給出的指導(dǎo)原則、范圍和限制應(yīng)用于做出決議2中所述的客觀視頻質(zhì)量測(cè)量模型的應(yīng)用；2ITU-T J.247建議書中給定的客觀感知視頻質(zhì)量測(cè)量模型應(yīng)用于在具有全參考型信號(hào)情況下采用LDTV的廣播應(yīng)用。說明1  附件2至附件5中給出了測(cè)量模型的摘要，供提供信息之用。詳情請(qǐng)參見ITU-T J.247建議書。附件 11引言本建議書規(guī)定了評(píng)估在

6、具有全參考型信號(hào)情況下采用LDTV的廣播應(yīng)用的感知視頻質(zhì)量方法。本建議書中的評(píng)估方法適用于：編解碼器評(píng)估，指標(biāo)和驗(yàn)收測(cè)試；在視頻源進(jìn)行可能的實(shí)時(shí)、不中斷服務(wù)的視頻監(jiān)測(cè)；當(dāng)可以獲得節(jié)目源的副本時(shí)，遠(yuǎn)程質(zhì)量監(jiān)控；采用單向或串連視頻壓縮和解壓縮方法來監(jiān)控存儲(chǔ)或傳輸系統(tǒng)的質(zhì)量測(cè)量；視頻系統(tǒng)的實(shí)驗(yàn)室測(cè)試。當(dāng)在測(cè)量點(diǎn)已經(jīng)可以獲得未受損傷的參考視頻信號(hào)時(shí)，可以采用全參考測(cè)量方法，在單個(gè)設(shè)備或在實(shí)驗(yàn)室或封閉環(huán)境的一系列過程中進(jìn)行的測(cè)量也可采用該方法。評(píng)估方法基于在VGA、CIF和QCIF清晰度下處理普通清晰度視頻。驗(yàn)證測(cè)試材料包括多重編碼退化和各種傳輸誤差條件（如比特誤差和丟失的封包）。 在考慮視頻信號(hào)編碼失

7、真的情況下，編碼器可采用各種壓縮方法（如MPEG-2、H.264等）。可采用本建議書所述的各種模型來監(jiān)測(cè)所部署網(wǎng)絡(luò)的質(zhì)量，以確保整個(gè)操作就緒程度。退化的視頻效率可能包括空間和時(shí)間退化（如幀重復(fù)、跳幀和幀頻降低）。本建議書中的模型也可用于視頻系統(tǒng)的實(shí)驗(yàn)室測(cè)試。 本建議書可以認(rèn)為適合于在移動(dòng)接收機(jī)上以4 Mbit/s或更低速率傳遞的業(yè)務(wù)。在各種分辨率的驗(yàn)證測(cè)試中采用了以下的條件并發(fā)現(xiàn)是合適的：QCIF（四分之一通用中介格式（176 ´ 144像素）：16至320 kbit/s。CIF（通用中間格式（352 ´ 288像素）：64 kbit/s至2&

8、#160;Mbit/s。VGA（視頻圖形陣列（640 ´ 480像素）：128 kbit/s至4 Mbit/s。表 1模型評(píng)估中采用的要素測(cè)試要素有封包丟失的傳輸誤差視頻清晰度QCIF、CIF和 VGA視頻比特率QCIF：16至320 kbit/sCIF：64 kbit/s至 2 Mbit/sVGA：128 kbit/s至4 Mbit/s最大2秒的時(shí)間誤差（跳躍停頓）從5到30 fps的視頻幀頻表 1 （完）編碼方案H.264/AVC（MPEG-4第10部分）、MPEG-4第2部分以及三種其它專利編碼方案。（見以下

9、說明1。）說明 1  模型的驗(yàn)證測(cè)試包括采用15種不同視頻編碼進(jìn)行編碼的視頻序列。表1所列的五種編解碼器是最常見的用于編碼測(cè)試序列的編解碼器，且對(duì)任何推薦的模型都可以視為適合于評(píng)估這些編解碼器。除這五種編解碼器以外，采用以下編解碼器生成了一小部分測(cè)試序列：H.261、H.263、H.263+H.263+是H.263（1998年）的一種特別配置。、JPEG-2000、MPEG-1、MPEG-2、H.264 SVC以及其它專利系統(tǒng)。請(qǐng)注意，這些編解碼器的一部分只用于CIF和QCIF分辨率，因?yàn)樗鼈儽徽J(rèn)為主要用于這些分辨率的領(lǐng)域。在將一種模型適用于采用這些編解碼器的一種

10、進(jìn)行編碼的序列之前，用戶應(yīng)仔細(xì)研究其預(yù)測(cè)性能，以判斷模型是否達(dá)到了可接受的預(yù)測(cè)性能。2應(yīng)用本建議書中所述的評(píng)估模型應(yīng)用包括但不限于：1編解碼器評(píng)估，指標(biāo)和驗(yàn)收測(cè)試；2在視頻源進(jìn)行可能的實(shí)時(shí)、不中斷服務(wù)的視頻監(jiān)測(cè)；3當(dāng)可以獲得節(jié)目源的副本時(shí)，遠(yuǎn)程質(zhì)量監(jiān)控；4采用單向或串連視頻壓縮和解壓縮方法來監(jiān)控存儲(chǔ)或傳輸系統(tǒng)的質(zhì)量測(cè)量；5視頻系統(tǒng)的實(shí)驗(yàn)室測(cè)試。3模型使用本建議書包括了表2所示的客觀計(jì)算模型。模型性能的簡(jiǎn)述見表3。更詳細(xì)的信息述于附錄1。表 2客觀計(jì)算模型模型標(biāo)識(shí)提議者國家附件號(hào)ANTT日本2BOPTICOM德國3CPsytechnics英國4D延世大學(xué)韓國5所有四種模型都明顯地勝過峰值信噪比（

11、PSNR）。在部分清晰度下，模型B和C似乎在效果上要略微好于模型A和D。模型B和C通常在統(tǒng)計(jì)上得出相當(dāng)?shù)慕Y(jié)果。對(duì)于QCIF，模型A經(jīng)常在統(tǒng)計(jì)上相當(dāng)于模型B和C。對(duì)于VGA，模型D在統(tǒng)計(jì)上典型地相當(dāng)于模型B和C。下表提供了模型性能的概述。盡管可以采用四種模型來充分滿足業(yè)界的不同需求，但對(duì)于VGA，在絕大多數(shù)情況下強(qiáng)烈建議采用模型B、C和D來獲得略微更好的性能。出于同樣的原因，對(duì)于CIF，強(qiáng)烈建議采用模型B或C；對(duì)于QCIF，采用模型A、B或C。模型B顯示了最好的總體最小相關(guān)性。模型B、A、D和C的最小相關(guān)性系數(shù)分別為0.68、0.60、0.59和0.57。模型C獲得了最高的在最優(yōu)表現(xiàn)組中出現(xiàn)的反

12、復(fù)次數(shù)。對(duì)于模型C，在最優(yōu)組出現(xiàn)的反復(fù)次數(shù)總數(shù)為37，模型A為25，模型D為24。表 3模型性能概述VGA模型A模型B模型C模型DPSNR平均相關(guān)性0.7860.8250.8220.8050.713最小相關(guān)性0.5980.6850.5650.6120.499等級(jí)1的出現(xiàn)頻率81011103等級(jí)分析二等最好最好最好CIF模型A模型B模型C模型DPSNR平均相關(guān)性0.7770.8080.8360.7850.656最小相關(guān)性0.6750.6950.7690.7120.440等級(jí)1的出現(xiàn)頻率81314100等級(jí)分析二等最好最好二等QCIF模型A模型B模型C模型DPSNR平均相關(guān)性0.8190.8410

13、.8300.7560.662最小相關(guān)性0.7110.7240.6640.5870.540等級(jí)1的出現(xiàn)頻率9111241等級(jí)分析最好最好最好二等4局限性本建議書所述的評(píng)估方法不能完全替代主觀測(cè)試。兩個(gè)認(rèn)真設(shè)計(jì)并實(shí)施的主觀性測(cè)試（在兩個(gè)不同的實(shí)驗(yàn)室中）的相關(guān)值通常在0.95至0.98之間。本建議書中的模型采用顯示幀凝固高達(dá)2秒的測(cè)試視頻進(jìn)行了驗(yàn)證。本建議書中的模型并未經(jīng)過具有平穩(wěn)增加時(shí)延（如在幀凝固之后并不丟幀的視頻）的測(cè)量視頻的驗(yàn)證。 請(qǐng)注意，在新的編碼和傳輸方法產(chǎn)生偽影（并未包含在本評(píng)估中）的情況下，客觀模型可能會(huì)產(chǎn)生錯(cuò)誤結(jié)果。此時(shí)需要主觀性評(píng)估。附件1的附錄1視頻質(zhì)量專家組的結(jié)論稱為視頻質(zhì)量

14、專家組（VQEG）的非正式小組進(jìn)行了感知視頻質(zhì)量測(cè)量的研究，該小組向ITU-T第9和第12以及無線電通信第6研究組報(bào)告。最近完成的VQEG多媒體第一階段評(píng)估了QCIF、CIF和VGA格式的建議全參考感知視頻質(zhì)量測(cè)量算法的性能。根據(jù)目前的事實(shí)，在當(dāng)前階段ITU-R可以建議四種方法。他們是：模型 A（附件 2） VQEG，提議者日本NTT模型 B（附件 3） VQEG，提議者德國OPTICOM模型 C（附件 4） VQEG，提議者英國Psytechnics模型 D（附件 5） VQEG，提議者韓國延世大學(xué)。這些模型的技術(shù)描述可分別見附件2到附件5。請(qǐng)注意，附件的排序不分先后，并不意味著質(zhì)量預(yù)測(cè)性能

15、的高低。 表4提供了VQEG多媒體第一階段測(cè)試中一個(gè)模型性能的詳細(xì)情況。表 4a)  VGA清晰度：VQEG多媒體第一階段測(cè)試中模型性能 14項(xiàng)主觀測(cè)試的平均值度量模型A模型B模型C模型DPSNR(1)附件2345皮爾遜相關(guān)0.7860.8250.8220.8050.713均方根誤差0.6210.5710.5660.5930.714離散率0.5230.5020.5240.5420.615表 4（完）b)  CIF分辨率：VQEG多媒體第一階段測(cè)試中模型性能 14項(xiàng)主觀測(cè)試的平均值度量模型A模型B模型C模型DPSNR(1)附件2345皮爾遜相關(guān)0.7770

16、.8080.8360.7850.656均方根誤差0.6040.5620.5260.5940.720離散率0.5380.5130.5070.5220.632c)  QCIF分辨率VQEG多媒體第一階段測(cè)試中模型性能 14項(xiàng)主觀測(cè)試的平均值度量模型A模型B模型C模型DPSNR(1)附件2345皮爾遜相關(guān)0.8190.8410.8300.7560.662均方根誤差0.5510.5160.5170.6170.721離散率0.4970.4610.4580.5230.596(1)此處報(bào)告的PSNR值摘自于VQEG多媒體第一階段的最終報(bào)告（見：http:/www.its.bldrdoc.

17、gov/vqeg/projects/multimedia/）。這些值由NTIA/ITS計(jì)算。根據(jù)每一個(gè)度量標(biāo)準(zhǔn)，每種FR VGA模型在表現(xiàn)最好模型組出現(xiàn)的次數(shù)如下：統(tǒng)計(jì)數(shù)據(jù)模型A模型B模型C模型DPSNR相關(guān)81011103RMSE(1)481060離散率9111284(1)RMSE：均方根誤差。根據(jù)每一個(gè)度量標(biāo)準(zhǔn)，每種FR CIF模型在表現(xiàn)最好模型組出現(xiàn)的次數(shù)如下：統(tǒng)計(jì)數(shù)據(jù)模型A模型B模型C模型DPSNR相關(guān)81314100RMSE(1)6101390離散率101312111(1)RMSE：均方根誤差。根據(jù)每一個(gè)度量標(biāo)準(zhǔn)，每種FR QCIF模型在表現(xiàn)最好模型組出現(xiàn)的次數(shù)如下：統(tǒng)計(jì)數(shù)據(jù)模型A模

18、型B模型C模型DPSNR相關(guān)9111241RMSE(1)7101121離散率10111284(1)RMSE：均方根誤差。說明 1  作為一條一般性指導(dǎo)原則，這些總數(shù)值中微小的差別并不代表性能上整體的不同。次要分析次要分析將與各種視頻系統(tǒng)（或條件）有關(guān)的所有視頻序列進(jìn)行平均并由此反映出模型跟蹤平均假設(shè)基準(zhǔn)電路（HRC）性能的滿意程度。以下表格顯示了次要分析中各種模型和分辨率的平均相關(guān)性。VGA相關(guān)性模型A模型B模型C模型DPSNR平均0.8910.9140.9030.8640.809CIF相關(guān)性模型A模型B模型C模型DPSNR平均0.9150.9190.9130.8

19、920.817QCIF相關(guān)性模型A模型B模型C模型DPSNR平均0.9420.9370.9200.8930.882附件 2模型 A模型A分為三個(gè)軟件模塊：視頻匹配模塊，時(shí)間/空間特征量推導(dǎo)模塊和主觀視頻質(zhì)量評(píng)估模塊（圖1）。視頻匹配模塊分為宏觀匹配程序和微觀匹配程序。宏觀匹配程序在空間-時(shí)間方向上匹配參考視頻信號(hào)（RI）和處理視頻信號(hào)（PI）之間的像素并在考慮解碼器視頻捕獲和后期處理影響的情況下過濾視頻序列。微觀匹配程序待宏觀匹配程序結(jié)束后，在考慮視頻幀跳躍和幀凝固影響的情況下匹配參考和處理視頻序列的幀。時(shí)間/空間特征量推導(dǎo)模塊通過采用匹配的參考視頻信號(hào)（RI）和匹配的處理視頻信號(hào)（PI）來計(jì)

20、算空間退化參數(shù)和時(shí)間退化參數(shù)（PC）?？臻g退化參數(shù)基于反映總噪聲、寄生邊緣、局部運(yùn)動(dòng)失真或局部空間失真等四個(gè)參數(shù)。由加權(quán)的凝固長(zhǎng)度總和計(jì)算的時(shí)間退化參數(shù)反映了幀凝固和幀頻的變化。主觀視頻質(zhì)量評(píng)估模塊通過前述的參數(shù)計(jì)算客觀視頻質(zhì)量（Q）。圖 1模型 A的結(jié)構(gòu)圖模型A的完整描述請(qǐng)參見ITU-T J.247建議書（08/2008）的附件A。附件 3模型 B模型B的基本概念見圖2。 在預(yù)處理步驟，從參考和測(cè)試信號(hào)中提取空間感興趣區(qū)（ROI）。所有的后續(xù)計(jì)算都只在這個(gè)ROI上進(jìn)行，后者由裁切的信號(hào)SP和PP表示。在預(yù)處理之后，在空間和亮度區(qū)域進(jìn)行輸入序列的粗匹配（注冊(cè)）。這些模塊獲得的“亮度和匹配信息”

21、用于隨后的“詳細(xì)序列匹配”過程。該過程通過兩個(gè)視頻序列的幀匹配，空間漂移補(bǔ)償以及在柱狀圖評(píng)估基礎(chǔ)上色彩和亮度差異的補(bǔ)償?shù)冗M(jìn)行逐幀的時(shí)間匹配?！霸敿?xì)的序列匹配”的結(jié)果為“匹配信息”（matching info），后者用于判定時(shí)間退化以及裁切并匹配的序列SA和PA的視覺影響?？臻g失真進(jìn)一步通過“空間失真分析”單元進(jìn)一步進(jìn)行分析，該單元計(jì)算空間與序列之間的視覺差異，得出四種失真指數(shù)?！捌ヅ湫畔ⅰ边M(jìn)一步通過視覺“時(shí)間失真分析”進(jìn)行處理，后者產(chǎn)生一個(gè)代表幀重復(fù)和其它時(shí)間失真的指標(biāo)。在模型C的最后一步中，上述獲得的五種指標(biāo)通過邏輯函數(shù)進(jìn)行加權(quán)并合并，以形成最終的PEVQ（視頻質(zhì)量的視覺評(píng)估）分?jǐn)?shù)，該分?jǐn)?shù)與

22、從主觀測(cè)試中獲得的MOS（平均意見得分）高度相關(guān)。圖 2模型 B的概述模型B的完整描述請(qǐng)參見ITU-T J.247建議書（08/2008）的附件B。附件 4模型 C模型C的概述見圖3。模型包括三個(gè)主要階段：(1) 視頻注冊(cè)，(2) 發(fā)現(xiàn)感知特征以及(3) 將這些特征綜合到一個(gè)整體的質(zhì)量預(yù)測(cè)分?jǐn)?shù)。圖 3模型 C的概述第一步包括視頻注冊(cè)，該步驟將退化視頻中每一個(gè)幀臨時(shí)與參考視頻中最佳的匹配幀進(jìn)行配對(duì)。需要視頻注冊(cè)來提供準(zhǔn)確的質(zhì)量測(cè)量。從初始的參考和退化視頻獲得匹配的參考視頻序列和匹配的退化視頻序列以及注冊(cè)信息。匹配的參考視頻包含所有已經(jīng)與退化視頻的幀進(jìn)行匹配的參考幀。匹配的退化視頻包括已經(jīng)確定了參

23、考幀的所有退化幀。視頻注冊(cè)算法可以與參考和退化視頻之間時(shí)變的時(shí)間和空間偏移相匹配。 分析的第二階段包括直接從退化視頻或參考與退化視頻時(shí)間比較所提取一套有意義的感知特征。這些感知特征并不是基于關(guān)于視頻中內(nèi)容類型的任何假定或視頻如何編碼并傳送到最終用戶。感知特征作為一種感覺層發(fā)揮作用，過濾掉人類觀眾感覺不到的圖像部分。這是因?yàn)橐曨l編解碼器降低了編碼的數(shù)據(jù)量，通過采用圖像處理技術(shù)來去除觀眾最不可能注意到已經(jīng)丟失的視頻信號(hào)部分。通過將人類視覺系統(tǒng)的模型包括在內(nèi)，算法的該步驟可以判定這些過程的有效性并確定可見誤差。當(dāng)編碼方案不能成功地實(shí)現(xiàn)該目標(biāo)時(shí)，最終用戶將會(huì)看到退化并因此從感知層形成輸出的一部分。在最后的階段，合并感知參數(shù)來生成單一的視頻質(zhì)量總體預(yù)測(cè)。通過將模型運(yùn)用于大量主觀實(shí)驗(yàn)（訓(xùn)練集）并在一組未知實(shí)驗(yàn)（驗(yàn)證集）上驗(yàn)證其性能來獲得積分函數(shù)的最優(yōu)形式。如VQEG多媒體測(cè)試方案所述，模型的軟件實(shí)施所支持