智能編碼使用指導(dǎo)

2017-2018。保留一切權(quán)利商標(biāo)聲2017-2018。保留一切權(quán)利商標(biāo)聲、注使用指前言前言概H264和H265對(duì)不同的場(chǎng)景選擇合適的GOP結(jié)構(gòu)能夠優(yōu)化編碼性能；動(dòng)，對(duì)智能分析出的感興趣區(qū)域或重要區(qū)域，使用QpMap進(jìn)行保護(hù)，或結(jié)合客戶使用指前言前言概H264和H265對(duì)不同的場(chǎng)景選擇合適的GOP結(jié)構(gòu)能夠優(yōu)化編碼性能；動(dòng)，對(duì)智能分析出的感興趣區(qū)域或重要區(qū)域，使用QpMap進(jìn)行保護(hù)，或結(jié)合客戶CyclicIntraRefreshIDRP幀中周期性的編碼I宏?未有特殊說明，Hi3559V100與Hi3519V101內(nèi)容一致未有特殊說明，Hi3516EV100與Hi3516CV300內(nèi)容一致。未有特殊說明，Hi3520DV400與Hi3521DV100內(nèi)容一致產(chǎn)品版i使用指前言讀者對(duì)修訂記添加Hi3536CV100文檔版本01(2016-12-1.9使用指前言讀者對(duì)修訂記添加Hi3536CV100文檔版本01(2016-12-1.91-32.1.22-22-33.33.3使用指前言文檔版使用指前言文檔版00B01(2016-06-使用指目錄目錄 使用指目錄目錄 GOP結(jié)構(gòu)和適用場(chǎng) SingleP（NormalP）模式GOP結(jié)構(gòu)說明及使用方 結(jié)構(gòu)說 使用方 結(jié)構(gòu)說 使用方 結(jié)構(gòu)說 使用方 結(jié)構(gòu)說 使用方 結(jié)構(gòu)說 使用方 結(jié)構(gòu)說 使用方 1.8.1原 1.8.2使用方 1.9GOP結(jié)構(gòu)內(nèi)存占用、延時(shí)、適用場(chǎng)景及兼容 編碼器輸入信 QpMap/SkipMap接口定 2.1.2QPMAP表內(nèi)存排布方 編碼接口定 碼率控制接 使用指目錄2.2.2編碼發(fā)送圖像接 使用指目錄2.2.2編碼發(fā)送圖像接 QpMap/SkipMap實(shí)現(xiàn)自適應(yīng) QpMap/SkipMap實(shí)現(xiàn)外部碼率控 編碼器輸出信 SSE和PSNR信 Madi和Madp信 QP 3其他上報(bào)信 v使用指表格目表1-1使用指表格目表1-1內(nèi)存占用、延時(shí)及適用場(chǎng) 表1-2Hi3519V101/Hi3519V100/Hi3516CV300/Hi3531DV100/Hi3521DV100/Hi3536CV100幀存大小各子 表1-3Hi3516AV100/Hi3516DV100/Hi3518EV200/計(jì)算方 3-其他上報(bào)信息 11.1GOPSinlP(oalP 11.1GOPSinlP(oalP是最通常的一種P結(jié)構(gòu)，如果沒有特殊說明，海思所有芯片均支持這一模式。1.2.11GOPSingleP11普通P22221.2.21.2.2對(duì)于Hi3519V100/Hi3519V101/Hi3516CV300/Hi3531D大，I幀質(zhì)量越好。對(duì)于Hi3516A/Hi3516D/Hi3518EV200/1.3AdvSinglePGOP僅Hi3516AV100/Hi3516DV100/Hi3518EV200/Hi3519V100H.264編碼P幀不支持兩個(gè)參考幀，配置成SmartP后默認(rèn)使用AdvSingleP模式21.3.1AdvSingleP模式的GOPSingleP(NormalP)1.3.1AdvSingleP模式的GOPSingleP(NormalP)II幀本質(zhì)上是一個(gè)普通的PPIDRI幀的目的是解決SingleP(NormalP)模式下增大IDR幀間隔帶來的一些問題，主要有：AdvSinglePGOP結(jié)構(gòu)，如1-21.3.2對(duì)于Hi3519V100H.264?VENC_CHN_ATTR_S::stGopAttr.enGopMode=?VENC_CHN_ATTR_S::stGopAttr.stSmartP.u32BgInterval=1200;//30fps,3?VENC_CHN_ATTR_S::stRcAttr.u32Gop=//virtualI?VENC_CHN_ATTR_S::stRcAttr.u32StatTime=?VENC_CHN_ATTR_S::stRcAttr.u32Gop=//virtualI?VENC_CHN_ATTR_S::stRcAttr.u32StatTime=//40對(duì)于Hi3516AV100/Hi3516DV100/Hi3518EV200/?VENC_CHN_ATTR_S::stRcAttr::u32Gop=?VENC_CHN_ATTR_S::stRcAttr::u32StatTime=//30fps,40//40VENC_PARAM_REF_EX_S::bVirtualIEnable== //11.4DualPGOP僅Hi3536CV1001.4.1其中：SP指特殊的P幀，這里簡(jiǎn)稱SP幀，該幀Qp值推薦小于其他PQpu32SpInterval=0SPDualP模式下P幀參考就近的兩個(gè)前向參考幀，能夠利用更多參考幀的時(shí)域相關(guān)性提升編碼壓縮性能。主要應(yīng)用在運(yùn)動(dòng)且有低延時(shí)要求的場(chǎng)景，DualP壓縮性能低于BipredBSingleP模式。DualP由于兩個(gè)參考幀均使用前向參考幀，因此DualPGOP結(jié)構(gòu)，如1-341.4.2和可以通過周期性的編碼質(zhì)量更好的P幀（SP幀51.5SmartPGOPHi3519V100、Hi3519V1011.5SmartPGOPHi3519V100、Hi3519V101、Hi3516CV300、Hi3531DV100、Hi3521DV100Hi3536C支持Hi3519V100H.264調(diào)用該種GOP模式時(shí)，GOP結(jié)構(gòu)與AdvSingleP結(jié)構(gòu)圖一致?1.5.1在運(yùn)動(dòng)區(qū)域，利用短期參考幀進(jìn)行運(yùn)動(dòng)估計(jì)。SmartP模式拉長(zhǎng)IDR幀間隔，中間I幀，能夠大幅度降低監(jiān)控場(chǎng)景的碼率并提升圖像質(zhì)量，碼率節(jié)省可以達(dá)到30%~50%,但對(duì)于攝像頭運(yùn)動(dòng)的場(chǎng)景不適用。SmartPGOP結(jié)構(gòu)，如1-461.5.21.5.2和=VENC_CHN_ATTR_S::stGopAttr.stSmartP.s32BgQpDelta=7VENC_CHN_ATTR_S::stGopAttr.stSmartP.s32ViQpDelta=//virtualI//401.6AdvSmartPGOP僅Hi3519V100/Hi3519V101/Hi3516CV300H.265/Hi3531DV100/Hi3521DV100/Hi3536CH.265協(xié)議支1.6.1IDR幀，且用作長(zhǎng)期參考幀；紅色幀編碼為VI幀（I幀，本質(zhì)上是一個(gè)普通P幀，該幀只參考IDR幀，且Qp值推薦小于其他P幀Qp值。71.6.21.6.2和VENC_CHN_ATTR_S::stGopAttr.enGopMode=VENC_GOPMODE_SMARTPVENC_CHN_ATTR_S::stGopAttr.stSmartP.s32BgQpDelta=7VENC_CHN_ATTR_S::stGopAttr.stSmartP.s32ViQpDelta=//virtualI//408BiPredBGOP其中：u32BFrmNumBiPredBGOP其中：u32BFrmNumIDRP幀或PPB幀的個(gè)數(shù)，如1-6中u32BFrmNum2GopPB幀個(gè)數(shù)可能不滿足u32BFrmNum要求。BiPredBP1~3個(gè)B幀，B幀不做參考，使用一個(gè)前向BiPredBGOP結(jié)構(gòu)，如1-61.7.2=91.8CyclicIntraRefresh原理和使用方1.8CyclicIntraRefresh原理和使用方Hi3516AV100/Hi3516DV100/Hi3518EV200/Hi3518EV201/Hi3516CV200，只支持H.264協(xié)議H.264/H.265協(xié)議。1.8.1一般IDR幀大P幀很多倍，特別是運(yùn)動(dòng)比較小的場(chǎng)景，IDR幀可能達(dá)到P時(shí)會(huì)降低IDR幀質(zhì)量引起呼吸效應(yīng)。CyclicIntraRefresh不改變IDR幀質(zhì)量，把本來一個(gè)IDR幀編IntraLCU/宏塊分散在若干個(gè)P幀中，使每一個(gè)幀的大小相對(duì)平均。如圖1-7所示，使用CyclicIntraRefresh技術(shù)，在監(jiān)控場(chǎng)景下1080P@25fps4Mbps碼率的最大幀大小可以從200k字節(jié)降低到37k字節(jié)。使碼率非常平穩(wěn)。1.8.2【相關(guān)接口【相關(guān)參數(shù)VENC_PARAM_INTRA_REFRESH_S::bISliceEnable=HI_TRUEVENC_PARAM_INTRA_REFRESH_S::u32RefreshLineNum;每幀刷新宏塊/LCUVENC_PARAM_INTRA_REFRESH_S::u32ReqIQp;//請(qǐng)求I幀時(shí)使用的優(yōu)使用限對(duì)解碼器有兼容性要求，必須支持沒有IDR幀的碼流的解碼； 結(jié)構(gòu)內(nèi)存占用、延時(shí)、適用場(chǎng)景及兼容PicSize為參考幀幀存，AdvInfoSize為使用限對(duì)解碼器有兼容性要求，必須支持沒有IDR幀的碼流的解碼； 結(jié)構(gòu)內(nèi)存占用、延時(shí)、適用場(chǎng)景及兼容PicSize為參考幀幀存，AdvInfoSize為AdvSmartp的信息幀存（圖像格式為YUV420格式PicSize和AdvInfoSize的計(jì)算方法下面將詳細(xì)描述SrcPicSize為編碼之前的源圖像大小，主要是B幀有延時(shí)需要緩存一部分源圖像 模式編碼端和解碼端都有延時(shí)，其他模式編碼端和解碼端?PicSize的計(jì)算方GOPDDR2*2*3*3*3*3*3*3*3*3*儀，手持DV等。（N為B幀個(gè)3*N1儀，手持DV等。PicSize=YHeaderSize+CHeaderSize+YSize+CSize+PmeSize+?Hi3516AV100/Hi3516DV100/Hi3518EV200/表1-3Hi3516AV100/Hi3516DV100/Hi3518EV200/PicSize=YHeaderSize+CHeaderSize+YSize+CSize+PmeSize+?Hi3516AV100/Hi3516DV100/Hi3518EV200/表1-3Hi3516AV100/Hi3516DV100/Hi3518EV200/0000((align(width,2048)>>4)*非AdvInfoSize的計(jì)算方AdvInfoSize=align(Width,16)*align(Height,16)*3/2+(align(Width,16)/64+1)*(align(Height,16)/64+1)*74*16兼容-AdvInfoSize的計(jì)算方AdvInfoSize=align(Width,16)*align(Height,16)*3/2+(align(Width,16)/64+1)*(align(Height,16)/64+1)*74*16兼容-0000使用指2 2.1QpMap/SkipMap接口定QpMap編碼方案總體設(shè)使用指2 2.1QpMap/SkipMap接口定QpMap編碼方案總體設(shè)計(jì)系統(tǒng)框圖，如圖2-1(小分辨率圖像+當(dāng)前幀Qp僅Hi3519V101/Hi3516CV300/Hi3531DV100/Hi3521DV100/Hi3536C方案實(shí)現(xiàn)細(xì)節(jié)和注意事項(xiàng)支持通過用戶態(tài)從VI/VPSS取走圖像，經(jīng)過智能分析和幀級(jí)碼率控制，計(jì)算一幀內(nèi)每個(gè)宏塊的QpMap，再把SrcPic和QpMap通過SendFrameEx接口配置下來；SDK內(nèi)部Bypass幀率控制和幀級(jí)碼率控制；智能分析和幀級(jí)碼率控制算法客戶自己開發(fā)使用指2H.264、H.265使用指2H.264、H.265都按照16x16的塊大小配置QpMap，但H.265的編碼CU可能大于持從以下3種模式中選擇一種。?（1）QP?（2）QP?（3）QPQpMapQp和絕對(duì)Qp?相對(duì)Qp指的是基于編碼器內(nèi)部邏輯計(jì)算的碼控（宏塊級(jí)）仍然生效，外部通過QpMap輸入Qp大小是一個(gè)變化量Qpdelta，在原始碼控（宏塊級(jí)）基礎(chǔ)上，疊加該Qpdelta。?絕對(duì)Qp指的是每一個(gè)編碼塊的Qp完全是由用戶外部輸入確定，不依賴于內(nèi)部海思SDK可以提供每幀圖像的如下信息。?ISP?2.1.2QPMAP表，H.265和H.264QP排列方式不同。H.264H.265QP值的組織方式如2-2和2-3使用指2圖2-2H.265QPMAPLCU排放位H.265QPMAPLCU(64*64,128bits)排放位置：H.265每一個(gè)LCUQPMAP:2、[6:0Qp值，范圍[-51,51]，其中負(fù)圖2-3H.264QPMAPMB排放位H.264QPMAPMB(16*16,8bits)排放位置：使用指2圖2-2H.265QPMAPLCU排放位H.265QPMAPLCU(64*64,128bits)排放位置：H.265每一個(gè)LCUQPMAP:2、[6:0Qp值，范圍[-51,51]，其中負(fù)圖2-3H.264QPMAPMB排放位H.264QPMAPMB(16*16,8bits)排放位置：H.264每一個(gè)MBQPMAP值每一個(gè)MB為8bits，其1、[7]:代表Skipmap不使能標(biāo)01234567890123456789使用指編碼器輸2編碼接口定使用指編碼器輸2編碼接口定typedef{VENC_RC_MODE_H264CBR=1,typedefstruct{{/*thetypeofHI_VOID*pRcAttr;/*thercattributewhichcouldbespecifiedQpMapAdaptiveROI方式，RCCBRVBRQpMap使用相對(duì)QP模式；使用指2QpMap使用外部碼率控制，RCQPMAP，bypass內(nèi)部使用指2QpMap使用外部碼率控制，RCQPMAP，bypass內(nèi)部RC算法，此時(shí)幀2.2.2typedefstruct{HI_U32u32BlkStartQp;}typedefstruct{}/*-1:bolck>0:*pstFrame,HI_S322.3QpMap/SkipMap使用指編碼器輸2使用指編碼器輸2使用QpMap調(diào)整感興趣區(qū)域和非感興趣區(qū)域QP，如圖2-5圖2-5QpMap調(diào)整感興趣區(qū)域和非感興趣區(qū)QPMap可以畫出任意形狀及任意個(gè)數(shù)的感興趣區(qū)域，并通過降QP提升感興趣區(qū)域圖像質(zhì)量，或QP降低非感興趣區(qū)域質(zhì)量。此模式下需要使QP調(diào)節(jié)方使用指2使用指2LCU/MB的QP均由外部指定，幀級(jí)碼率控制將不起作用。使用指3 3.1SSEPSNR僅Hi3519V101的H.265協(xié)議使用指3 3.1SSEPSNR僅Hi3519V101的H.265協(xié)議和Hi3516CV300/Hi3531DV100/Hi3521DV100/Hi3536CV100支持H.265LCU64*64LCU45列不能進(jìn)行SSE統(tǒng)計(jì)，下面以一個(gè)LCU為例說明計(jì)算公式：m1SSE∑∑|Curr(i,j)RCN(i,i0jMSESSE/(m*m=59，n=60SSE，以此計(jì)算一幀的PSNR，計(jì)算公LCUCNT((width_pix8)/64)*((height_pix8)/LCUCNT2 ∑SSELCU)/MSEk2PSNR10*log()SSELCULCUSSEMSELCULCUMSESSEFRMSSE，MSEFRMMSE，LCUCNTLCU的個(gè)數(shù)，width_pix為圖像寬，height_pix為圖像高，w為亮度分量的位寬。使用指3HeaderBitsResidualBits僅Hi3516CV300/Hi3531DV100/Hi3521DV100/Hi3536CV100支使用指3HeaderBitsResidualBits僅Hi3516CV300/Hi3531DV100/Hi3521DV100/Hi3536CV100支持HeaderBits和ResidualBitsCU級(jí)的信息，HeaderBits包含塊類型、幀內(nèi)幀間預(yù)測(cè)信息等；ResidualBits包含變換量化后的剩余殘差信息。3.3MadiMadp僅Hi3519V101/Hi3516CV300/Hi3531DV100/Hi3521DV100/Hi3536CV100支持小可以是16x16，32x32或64x64。1f=|Pixn?1Pix= 其中N