嵌入式高清動(dòng)態(tài)視頻編解碼IP核驗(yàn)證開發(fā)平臺(tái)論證方案(115924)

1、嵌入式高清動(dòng)態(tài)視頻編解碼IP核驗(yàn)證開發(fā)平臺(tái)論證方案嵌入式高清動(dòng)態(tài)視頻編解碼IP核驗(yàn)證開發(fā)平臺(tái)用于嵌入式高清視頻編碼 IP 核的驗(yàn)證和應(yīng)用開發(fā)，效勞于未來航天、航空、電子等領(lǐng)域大分辨率以及超大分 辨率視頻或圖像壓縮需求。與傳統(tǒng) DSP上的視頻編碼軟件相比，視頻編碼IP核 的具有靈活高效的并行處理能力，能夠?qū)崿F(xiàn)現(xiàn)有DSP達(dá)不到的性能。與專用的視 頻編解碼芯片相比，視頻編碼IP核的具有更高的自主性和靈活性，可以在多種 通用的FPGA芯片上實(shí)現(xiàn)，不受制于芯片廠商；可靈活地定制各類外圍接口，增 加或修改算法和數(shù)據(jù)處理模塊，以適用于不同的需求。嵌入式高清視頻編解碼 IP驗(yàn)證開發(fā)平臺(tái)主要包括硬件開發(fā)平臺(tái)、軟

2、件開發(fā)平臺(tái)和IP核三大局部。1.硬件開發(fā)平臺(tái)硬件開發(fā)平臺(tái)主要是 S2C公司的Dual Virtex-5 TAI Logic Module開發(fā)板,包括模擬、數(shù)字視頻接口，音頻接口，PCIe接口等子板。此外還有配套的主控CPU板, SATA電子盤。以及支持此平臺(tái)的設(shè)備，包括PC機(jī)、視頻信號(hào)發(fā)生器、示波器、邏輯分析儀等設(shè)備。在此平臺(tái)上可實(shí)現(xiàn)完整的視頻采集，編碼，存儲(chǔ)流 程的開發(fā)調(diào)試。其系統(tǒng)框圖如圖1所示。圖1. 硬件平臺(tái)示意圖視頻信號(hào)發(fā)生器Video Pattern Generator丨或者PC機(jī)產(chǎn)生原始視頻、音 頻數(shù)據(jù)，經(jīng)過視頻、音頻信號(hào)采集子板MDGAudio In terface Module

3、, VGA nput Decoder Module, DVI In put In terface Module轉(zhuǎn)換為數(shù)字信號(hào)后送入FPGA開發(fā)板Dual Stratix-4 TAI Logic Module上的 FPGA芯片Altera 4S530， 由FPGA芯片內(nèi)的H264-E IP核進(jìn)行壓縮編碼。編碼后的標(biāo)準(zhǔn)NAL碼流，通過PCIe子板PCIe 1-Lane PHYnteface Module送給主控 CPUPowerPCCPUModule 或是PC機(jī)，進(jìn)行記錄分析。開發(fā)板上另一顆FPGA可用作輔助、擴(kuò)展的算法或是應(yīng)用開發(fā)，例如與邏輯 分析儀Mictor調(diào)試接口連接，或者提供調(diào)試用的DV

4、I視頻輸出DVI OutputIn terface Module 。平臺(tái)中的高性能PC機(jī)用于系統(tǒng)的開發(fā)調(diào)試。開發(fā)板上的Mictor接口子板Mictor In terface Module用于 FPGA與邏輯分析儀Logic An alyser通訊, 完成FPGA內(nèi)部邏輯的測(cè)試調(diào)試。以下詳細(xì)論述平臺(tái)中各硬件設(shè)備：1.1. Dual Virtex-5 TAI Logic Module 開發(fā)板圖2.開發(fā)板實(shí)物圖雙Virtex-5 TAI 5V330開發(fā)板可以支持高達(dá)百萬門的設(shè)計(jì)，提供2GByte板載DDR2內(nèi)存，以滿足高速存儲(chǔ)器需求。此平臺(tái)提供1320個(gè)通用高速10。用戶使用S2C公司提供的TAI

5、Player Pro 軟件詳見2.1節(jié)描述，通過USB2.0 接口，可以很方便的實(shí)現(xiàn)FPGAT載，時(shí)鐘編程，硬件自檢等功能。開發(fā)板的硬 件框圖如圖3所示。其根本配置如下：FPGA器件邏輯容量ASIC邏輯門FPGA內(nèi)部 RAM容量 20Mbit板載2GByte DDR2內(nèi)存SO-DIMM標(biāo)準(zhǔn)插槽20個(gè)全局時(shí)鐘：2個(gè)板上晶振插座，3對(duì)差分輸入插座，3個(gè)板載可編 程晶振，12個(gè)FPGA反應(yīng)時(shí)鐘。6個(gè)LM連接器提供720個(gè)專用IO,支持單端或LVDS差分信號(hào)，IO等長設(shè)計(jì)，支持1.2V，1.8V，2.5V或3.3V信號(hào)。600個(gè)FPGA間互聯(lián)10,可用作公用外部10或多板堆疊總線，支持2.5V或3.3

6、V信號(hào)。30多種子板可選購，功能包括存儲(chǔ)器，多媒體，處理器，通用外設(shè)等。5 LM Connectors3 LM ConnectorsMMD OS2RDD3 LM Connectors360127DL1FPGA1Xilinx Virtex-5LX330600360DL2»FPGA2Xilinx Virtex-5LX330127SO-DIMMDDR220 UCLK20 UCLKSUB1SUB2To PCUSB interfaceLM controller(Cyclone3)3Programmable2Clock generateOSCTAI Pod IOrT3SMBDL - FPGA d

7、ownloadUCLK -user clockSUB -S2C system utility Bus圖3.開發(fā)板原理框圖1.2. 接口子板1.2.1. DVI In put In terface ModuleDVI 輸入接口子板圖4.DVI輸入接口子板實(shí)物圖DVI輸入接口子板提供一路標(biāo)準(zhǔn)的 DVI視頻輸入接口。子板采用TI的TFP401芯片，將DVI信號(hào)轉(zhuǎn)換為并行的24bit RGB數(shù)字信號(hào)。子板使用一個(gè)IO連接器與開發(fā)板連接。DVI輸入接口子板最高可以支持到 UXG 1600*1200的分辨率, 輸出像素速率最高可達(dá)165MHz1.2.2. DVI Output In terface Mod

8、uleDVI輸出接口子板圖5. DVI輸出接口子板實(shí)物圖DVI輸出接口子板提供一路標(biāo)準(zhǔn)的 DVI視頻輸出接口。子板采用TI的TFP410 芯片，將并行的24bit RGB數(shù)字視頻信號(hào)轉(zhuǎn)換為DVI信號(hào)。子板使用一個(gè)IO連 接器與開發(fā)板連接。DVI輸出接口子板最高可以支持到 UXGA 1600*1200的分 辨率，60fps幀率。1.2.3. VGA In put In terface Module VGA輸入接口子板VGA輸入接口子板提供 VGA S-Video等標(biāo)準(zhǔn)模擬視頻信號(hào)輸入接口。子板 使用ADI公司的ADV7400芯片，將模擬視頻信號(hào)轉(zhuǎn)換為標(biāo)準(zhǔn)的ITU BT.656格式 或者16bit

9、 YUV格式的數(shù)字信號(hào)。子板使用一個(gè)IO連接器與開發(fā)板連接。VGA 輸入接口子板可以支持到SXGA 1280*1024的分辨率，輸出像素速率最高可達(dá) 108MHz此子板現(xiàn)無貨架產(chǎn)品，考慮自研或是由S2C公司開發(fā)。1.2.4. MDC Audio In terface Module MD音頻接口子板圖6.音頻接口子板實(shí)物圖模擬音頻接口子板提供模擬音頻信號(hào)輸入接口。子板通過音頻A/D轉(zhuǎn)換芯片 將麥克風(fēng)，耳機(jī)，音頻輸入的模擬信號(hào)轉(zhuǎn)換為標(biāo)準(zhǔn)I2S數(shù)字音頻格式；通過音頻D/A芯片將I2S格式的數(shù)字音頻轉(zhuǎn)換為模擬音頻輸出。子板使用一個(gè)10連接器與開發(fā)板連接。125. PCIe 1-La ne PHY In

10、 terface Module PCIe 1x 物理接口子板圖7.PCIe接口子板實(shí)物圖Mictor接口子板PCIe 1x物理接口子板提供了單通道的 PCI Express 1.1 的物理層PHY 接口。子板使用TI的XIO11OO PCIe PHY芯片將PCIe的高速差分信號(hào)轉(zhuǎn)換為并 行數(shù)據(jù)。子板使用一個(gè)IO連接器與開發(fā)板連接。子板附屬的配件包括一套用來 和臺(tái)式機(jī)或者筆記本電腦連接的 PCIe電纜線以及PCIe子卡。1.2.6. Mictor In terface Module圖8. Mictor接口子板實(shí)物圖Mictor接口子板提供FPG/開發(fā)板到邏輯分析儀的調(diào)試接口。 子板通過4個(gè) 標(biāo)準(zhǔn)

11、Mictor接插件與邏輯分析儀連接，同時(shí)提供8位開關(guān)，8位LED時(shí)鐘輸入 和晶振。子板使用一個(gè)10連接器與開發(fā)板連接。13配套硬件1.3.1. PowerPC CPI板采用成熟的商用嵌入式CPU開發(fā)板，作為嵌入式視頻編碼系統(tǒng)的主控。CPU 板帶有一路PCIe 1x接口，用于與FPGAh通訊，實(shí)現(xiàn)對(duì)編碼器的配置和碼流的 接收。一個(gè)百兆以太網(wǎng)接口和串口，用于和PC機(jī)通訊。一路SATA接口用于掛接 電子盤。1.3.2. SATA電子盤32G SATA電子盤，用于記錄編碼后的碼流文件。1.4. 支持設(shè)備1.4.1. DELL Optiplex 760 臺(tái)式 PC機(jī)此臺(tái)式機(jī)裝有用于IP核開發(fā)的所有EDA

12、軟件具體參見第2.2節(jié)說明， 用于對(duì)IP核的開發(fā)，仿真，編譯和下載調(diào)試。同時(shí)可用于主控CPU板的應(yīng)用軟件開發(fā)，調(diào)試。還作為編碼碼流分析的平臺(tái)。此臺(tái)式機(jī)為現(xiàn)有設(shè)備，根本配置如下：in tel 雙核3G CPU 2G內(nèi)存，160GB硬盤獨(dú)立顯卡，支持雙路DVI輸出24寸液晶顯示器，最大支持1920*1200分辨率視頻1.4.2. Chroma 2228視頻信號(hào)發(fā)生器視頻信號(hào)發(fā)生器用于標(biāo)準(zhǔn)視頻信號(hào)的產(chǎn)生，為現(xiàn)有設(shè)備，根本指標(biāo)如下：支持VGA DVI, CVBS等多種視頻輸出接口 最大分辨率2048*2048，分辨率可調(diào)輸出點(diǎn)頻3.126480MHz可調(diào)1.4.3. 邏輯分析儀使用標(biāo)準(zhǔn)的Mictor接

13、口與FPGA開發(fā)板連接，用于IP核調(diào)試時(shí)，F(xiàn)PGA內(nèi)部 邏輯信號(hào)采集、記錄和分析。2. 軟件開發(fā)平臺(tái)軟件平臺(tái)主要包括配合S2C公司開發(fā)板的TAI Player Run time 軟件，F(xiàn)PGA 上IP核開發(fā)調(diào)試所用的EDA軟件Xilinx ISE Design Suite 11，和主控CPU板上的 Vxworks 開發(fā)所需的 Tornado 2.2。以及其他一些輔助的軟件，如視頻編碼 碼流分析軟件 Elecard StreamEye Studio 。2.1. TAI Player ProS2C公司的TAI Player Pro軟件是配合其Logic Module開發(fā)板使用的軟件。 軟件集合了以

14、下三個(gè)功能：設(shè)計(jì)編譯，運(yùn)行控制和 ILA 功能。編譯功能通過便利的用戶圖形界面， 可以在很短的時(shí)間內(nèi)根據(jù)常規(guī)設(shè)計(jì)流程 完成原型樣機(jī)的檢測(cè)。同時(shí)也提供在RTL存放器邏輯級(jí)上設(shè)置探針，EDIF網(wǎng) 表級(jí)別的設(shè)計(jì)分割，開發(fā)板上的 IO 分配等便捷的功能。運(yùn)行控制提供FPGA程序下載，開發(fā)板上時(shí)鐘管理以及開發(fā)板自檢等功能。ILAIntegrated Logic Analyze門提供同步調(diào)試多顆 FPGA的功能。可方便 設(shè)置FPGA內(nèi)嵌的邏輯分析儀，觸發(fā)、采集 FPGA運(yùn)行中的數(shù)據(jù)。2.2. Xilinx ISE Design Suite 11: System EditionISE Design Suit

15、e 11 是Xilinx 公司提供的針對(duì)其 FPGA芯片的完整開發(fā)流 程所需EDA軟件。其系統(tǒng)版Systems Edition包含全套的邏輯設(shè)計(jì)，仿真分 析，內(nèi)嵌邏輯分析儀工具，嵌入式開發(fā)套件，以及 DSP開發(fā)工具。邏輯設(shè)計(jì)和仿真分析工具是用于 FPGA! IP核設(shè)計(jì)開發(fā)的最根本工具。主要 功能是源代碼設(shè)計(jì)，編譯，綜合，驗(yàn)證，優(yōu)化等。內(nèi)嵌邏輯分析儀ChipScope Pro是用于FPG朋發(fā)調(diào)試的工具，可以很方 便的利用FPGA內(nèi)部資源構(gòu)建一個(gè)簡易的邏輯分析儀，用于實(shí)時(shí)觸發(fā)、存儲(chǔ)FPGA內(nèi)部的時(shí)序、數(shù)據(jù)，用于調(diào)試。嵌入式開發(fā)套件是用于Xilinx FPGA內(nèi)嵌的嵌入式CPU勺軟硬件開發(fā)工具。 提

16、供FGPA內(nèi)嵌入式PowerPC硬核和MicorBlaze軟核的開發(fā)支持，外圍常用IP 庫，以及用于嵌入式 CPU軟件開發(fā)的 Minx Platform Studio 平臺(tái)。此套件便 于將來在FPGA片上集成視頻編碼的主控 CPU以進(jìn)一步提高系統(tǒng)集成度。DSP開發(fā)工具提供System Generator , AccelDSP綜合工具以及用于DSF開 發(fā)的相關(guān)IP核。這些工具與MATLA平臺(tái)配合使用，可以完成系統(tǒng)仿真、軟件算 法到硬件實(shí)現(xiàn)的自動(dòng)化，可用于將來在此平臺(tái)上改進(jìn)算法的快速開發(fā)和驗(yàn)證。2.3. Elecard StreamEye StudioElecard StreamEye Studi

17、o 是 Elecard 公司開發(fā)的用于 H.264 和 MPEG4勺 碼流分析工具，提供高效深入的視頻碼流序列分析功能，其組件有如下 4個(gè)：Elecard StreamEye可視化的碼流分析工具，支持MPEG-1/2和AVC/H.264碼流。可查看每一幀、 每個(gè)宏塊的詳細(xì)信息，以及碼流的平均比特率等。Elecard YUV Viewer用于查看、比照和分析YUV格式的視頻序列。Elecard Video QuEst用于分析視頻壓縮質(zhì)量的工具，提供峰值信噪比PSNR等視頻質(zhì)量數(shù)據(jù)。Elecard Stream Analyzer用于碼流的語法查看和分析，支持MPEG-1/2音視頻，AACAC-3和

18、AVC/H.264 文件。3. IP 核IPIntellectual Property 核是本平臺(tái)的最主要內(nèi)容。是視頻壓縮算法 在FPGA上的具體實(shí)現(xiàn)。根據(jù)目前兩個(gè)不同的視頻壓縮1600*1200 25fps，1400*1050 25fpsCast H264-E，以及配合此 IP 核的外圍接口 IP。3.1. Cast H264-E 編碼器 IP 核ITU-T 編碼標(biāo)準(zhǔn)之一。 Cast 公司的 H264-E IP 核實(shí)現(xiàn)了 H.264 Baseline 檔 次的實(shí)時(shí)編碼， 到達(dá) Level 標(biāo)準(zhǔn)。支持最大 1920*1080分辨率的視頻， 在 Xilinx Virtex 5 FPGA 平臺(tái)上可

19、做到 15fps 實(shí)時(shí)編碼，在新一代的 Altera Stratix 4 或 Xilinx Virtex 6 平臺(tái)上可做到 2530fps 實(shí)時(shí)編碼，可以滿足現(xiàn)有視頻壓縮 需求。H264-E IP核實(shí)現(xiàn)1920*1080分辨率30fps視頻編碼所需FPGA資源大約 為20萬邏輯門，100Kbit FPGA片內(nèi)RAM 250MHz主頻。圖9是JM86標(biāo)準(zhǔn)算法 與H264-E算法對(duì)同一測(cè)試視頻編碼后碼流質(zhì)量的比照?qǐng)D橫軸為不同的碼流設(shè) 置，縱軸為壓縮后圖像峰值信噪比。圖9中可看出在不同碼流下，H264-E算法與標(biāo)準(zhǔn)算法的圖像質(zhì)量都很接近。50眷/Mobile sequenee : 300 frame

20、s with deblock filter enabled200400600800bit Rate (kbit/s)1000 1200+ JM86H264-E4540353052LDdrY Rgp圖9.H264-E與JM86標(biāo)準(zhǔn)編碼質(zhì)量比照Cast公司的H264-E IP核產(chǎn)品提供完整的HDL源碼，詳盡的技術(shù)文檔，測(cè) 試代碼，編譯腳本，仿真腳本和FPGA優(yōu)化腳本。同時(shí)提供良好的技術(shù)支持效勞。 非常有利于IP核的驗(yàn)證開發(fā)，以及后期自主的算法改進(jìn)。以下內(nèi)容是對(duì)H264-E IP核的功能特性、對(duì)外接口和內(nèi)部結(jié)構(gòu)的簡要介紹。H264-E需要很少的主控CPU配置，在初始化配置之后，即可獨(dú)立完成對(duì)視 頻流

21、的編碼。H264-E支持三種原始視頻的輸入格式，并輸出符合H.264標(biāo)準(zhǔn)的NAL數(shù)據(jù)流。輸出碼流可使用任意支持 H.264 Baseli ne或更高標(biāo)準(zhǔn)的解碼器解 碼。此IP核提供了一個(gè)簡單易用的外部存儲(chǔ)器接口，可以很容易支持外接的SRAM SDRAM DDR或 DDR2 SDRAM此 IP 核主要特性如下：支持單個(gè)參考幀可配置的去塊濾波器靈活的4： 2： 0視頻輸入格式符合ITU-T H.264附件B規(guī)定的NAL碼流輸出從QCIF到HD分辨率都有很好的壓縮率和畫質(zhì)全搜索的運(yùn)動(dòng)估計(jì)引擎，搜索范圍 32*32像素支持1/4像素精度搜索支持8*8子塊運(yùn)動(dòng)向量支持Skip塊支持所有的幀內(nèi)預(yù)測(cè)模式，包

22、括 4種16*16塊預(yù)測(cè)和9種4*4塊預(yù)測(cè) 支持多Slice先進(jìn)的量化變換算法，提高編碼效率的同時(shí)不對(duì)圖像質(zhì)量造成影響 可實(shí)時(shí)控制的編碼選項(xiàng) 獨(dú)立完成編碼算法簡單的配置接口高速可控的碼流輸出接口，F(xiàn)IFO形式或Avalon-ST總線低編碼延時(shí)，最低延時(shí)大約為16行輸入像素較低的外部存儲(chǔ)器帶寬要求靈活的外部存儲(chǔ)器接口，支持多種存儲(chǔ)器，容忍延時(shí)，可共用存儲(chǔ)器, 獨(dú)立時(shí)鐘域u上eg_addr :(5:0)cregdata :(31:0)cregsnsreg_addr :(5:0)sregren sregdata :(31:0)sreg data valrst >clkclr enxtmem_r

23、st xtniemclk xtmenclr xtmem enxtmem_rdata : (rdw-i:o)xtmem_rdata_val xtmemrdata22rdyvdata :(7:0)vdata_eos vdataval vdatardyseqactiveerrorH264-EH264-E IP的對(duì)外接口圖如圖10所示。其中，rst, clk, clr, en 是全局的 時(shí)鐘、復(fù)位和使能信號(hào)接口； seqactive和error是全局的狀態(tài)信號(hào)接口； creg 信號(hào)組是32位的控制存放器的寫入接口； sreg信號(hào)組是32位的狀態(tài)存放器的 讀取接口； vdata信號(hào)組是8位的原始視頻流輸

24、入接口； nal信號(hào)組是32位的NAL碼流輸出接口； xtmen信號(hào)組是16/32/64/128位的外部存儲(chǔ)器接口。fcur XJ YJ -1- o o o oad v-r 112 2 -3 ( ( 1 1 ( a a n n IIk d d1 s o o a m s e n - 111 aaa n n nxtmemreq :(RQW-1:0xtmem_reqvalx tmemr ecj_rdYxtmenwda:(WDW-1:0x tmem_wda t a_ms k : (WDMW-1: 0) x tmem_wda t a_va 1 xtmem wdata rdy圖10. H264-E IP核

25、對(duì)外接口圖H264-E通過creg控制存放器接口接收配置參數(shù)， 包括輸入視頻格式和分辨 率, H.264編碼選項(xiàng)，外部存儲(chǔ)器參數(shù)。H264-E運(yùn)行的狀態(tài)可通過sreg狀態(tài)寄 存器接口讀取。一旦H264-E按照需求配置參數(shù)后，輸入的原始視頻流通過vdata 視頻輸入口輸入，經(jīng)過IP核的編碼后，從nal碼流輸出接口送出壓縮編碼后的 NAL標(biāo)準(zhǔn)碼流。H264-E運(yùn)行時(shí)需要通過xtmen外部存儲(chǔ)器接口訪問外部存儲(chǔ)器， 用于存儲(chǔ)和讀取運(yùn)動(dòng)估計(jì)所需的參考幀數(shù)據(jù)。H264-E IP核的內(nèi)部原理框圖如圖11所示，分為以下幾個(gè)模塊：Video IN' Cui i mvt MB Data ISan Ffl

26、onst ConrnfanEKterrlAlHckflonEstimatiCMH andErttraPredictionRest ModftRaduan |ntra Gistftesidual hS«l«ctedi ResiduallEntrcpy Codinghl.264 NALMB RcconirtructDBFilterfteennSilTLictRd Frame Girt円H«mairy IrtterfAeeReconstructed ResidualH264-EJSRAM / SDR / DDR / DDR2 / DDR3 / QDR.IMemfiiir

27、 Cfiifitrailer圖11. H264-E IP核內(nèi)原理框圖視頻輸入接口 Video Input In terface:從vdata接口接收輸入的原始視頻流視頻格式轉(zhuǎn)換 Scan Format Conversion將輸入的視頻轉(zhuǎn)換為H.264宏塊格式，送入后續(xù)處理模塊。運(yùn)動(dòng)估計(jì)和補(bǔ)償 Motion Estimation and Compensation此模塊完成運(yùn)動(dòng)搜索算法，從外部存儲(chǔ)器讀入運(yùn)動(dòng)搜索范圍內(nèi)的參考幀圖 像，與當(dāng)前處理的宏塊比照，找到最正確的宏塊分割方式和運(yùn)動(dòng)預(yù)測(cè)位置， 并輸出殘差數(shù)據(jù)。幀內(nèi)預(yù)測(cè) Intra Prediction此模塊完成幀內(nèi)預(yù)測(cè)算法，參考當(dāng)前幀已編碼的宏塊

28、預(yù)測(cè)當(dāng)前宏塊，選擇最 正確的預(yù)測(cè)模式并輸出殘差數(shù)據(jù)。選擇器Selection此模塊評(píng)估幀內(nèi)幀間預(yù)測(cè)，選擇最正確的模式，送入后續(xù)編碼模塊。前向變換和量化 Forward Transform and Quantization此模塊完成H.264算法中的DCT變換和量化。熵編碼 Entropy Coding此模塊完成H.264算法中的熵編碼，采用CAVLC算法對(duì)變換和量化后的數(shù)據(jù) 進(jìn)行編碼，并將編碼后數(shù)據(jù)組織成符合 H.264標(biāo)準(zhǔn)的NAL碼流。NAL輸出接口 NAL Output In terface、將最終的碼流通過 nal 接口送出。反變換和量化 Inverse Transform and Qu

29、antizaion此模塊完成H.264算法中的反變換和反量化，恢復(fù)殘差圖像，用于重建參考 幀。宏塊重建 Macroblock Reconstruct 此模塊根據(jù)選擇的預(yù)測(cè)模式和重建后的殘差圖像，重建出參考幀圖像，用于 同一幀圖像后續(xù)宏塊的幀內(nèi)預(yù)測(cè)。Deblocking Filter此模塊完成 ITU-T H.264 建議的去塊濾波算法，以減小量化編碼的塊效應(yīng)， 去塊濾波后的圖像將作為參考幀存放于外部存儲(chǔ)器， 用于下一幀圖像的運(yùn)動(dòng) 估計(jì)參考。External Memory Interface 實(shí)現(xiàn)xtmem外部存儲(chǔ)器接口。3.2. Chips&Media H264 解碼器 IP 核Chi

30、ps&Media簡稱C&M是目前世界上成熟的解碼器IP提供商，其解碼 器IP Boda系列廣泛用于主流商業(yè)公司的多媒體處理芯片當(dāng)中，包括飛思卡 爾、LG 三星、Tride nt、摩托羅拉、Telechips 等。C&M的 Boda7503 系列 支持1080p/30fps的H.264解碼，支持 BP/MP/HP支持到level 4.1，平均 主頻 133MHz。32bit APB Hl/FBITProcessorAXI Bus WFMacroblock SegLi 亡 nc商Internal Peripheral BUS64bitAXI Memory l/FAMBA A

31、XI BUSInter- PredctioriiImlra-PiediciionCoefficientBufferDMACDeblockFlfterTransfairm-Quantizatkx)AC/DCPredictionPost-processing圖12. C&M H264 decoder IP 內(nèi)核原理框圖IP核通過32-bit APB bus接到客戶系統(tǒng)中，消耗大約IMIPs處理器處理能 力。IP內(nèi)部包含一個(gè)BIT Processor和一個(gè)硬件視頻解碼處理單元。其中， BIT Processor用于控制硬件視頻解碼處理單元以及和主CPU交互；硬件視頻解碼處理單元內(nèi)包括Tran

32、sform/Quant、ME/MC幀內(nèi)預(yù)測(cè)/AC/DC預(yù)測(cè)、環(huán)路濾波器、 DMA空制器等功能。此IP核主要特性如下：性能：-最高可達(dá)全高清(1080p, 30幀/秒;1080i,60 幀/秒)?全高清(1080p丨解碼，速率為133MHz-32MP/秒(最高達(dá)4:4:4)，運(yùn)行速率133MHz?需要運(yùn)行的主處理器資源：最多1MIPs功能：?同時(shí)多標(biāo)準(zhǔn)實(shí)時(shí)解碼?支持 H.264 MP/HP 的 CABAC/CAVLC?支持MPEG-4 ASP勺全局運(yùn)動(dòng)補(bǔ)償(GMC)?支持去塊濾波(Deblocking)，去環(huán)濾波(Deringing),圖像旋轉(zhuǎn)，鏡像等圖像后處理-H.264 :靈活的宏塊排列模式

33、(FMO)和任意條帶排列(ASO)?動(dòng)態(tài)門控時(shí)鐘(Clock Gat in g)可降低功耗?可選可選64位次AXI總線可提高總線利用率F列圖是該IP在常見視頻處理芯片中的應(yīng)用框圖:ARMARMl 176 Ccnntivity H P»fiplwrallVldeo II SystemMage procfiMhigMemory圖13. C&M decoder IP在移動(dòng)多媒體芯片內(nèi)的應(yīng)用一33接口 IP核完整的FPGAt視頻壓縮編碼系統(tǒng)，除了完成視頻壓縮算法的編碼IP核之外, 還需要一些外部接口 IP來實(shí)現(xiàn)算法IP核對(duì)外的數(shù)據(jù)交互。整個(gè)片上系統(tǒng)的框圖 如圖14所示：PCIe x1

34、 LinkDiscrete PHYFPGA(Xilinx V5 330)PCIe-EPxlAHB32125 MHzDVI-AHB-H264EI2C-AHBI2S-AHBH264-ECon trol RegistersCpl AHBMasterDMA AHBMasterAHBSlaveAHBSlaveAHBSlaveAHB BusMux/ArbiterIn terleaved Scan Con versi onMUXAHBAHBDMASlaveCo ntrolRegistersRaw DataFIFOt,Motio nEstimationI2S ReceiverI2CMasterVideo Da

35、ta Process ingMotion Compe nsati onModeSelectio nEn tropyCodi ng4:2:0 Down sampli ngIn traPredicti onMemory In terfaceDeblock ingFilterRGB-YUV con versionDDR2 SDRAMCon trollerI2S Rceiver (UDA1380)DVI Receiver仃FP401A)DDR2SO-DIMMModule圖14.視頻壓縮編碼片上系統(tǒng)原理框圖系統(tǒng)內(nèi)總線采用成熟通用的 32bit AHBAdvaneed High-performanee B

36、us 總線。上面掛接PCIe接口，DVI視頻接口，I2S音頻接口，CMM多媒體接口。 其中PCIe為總線主端Master ，其余為總線從端Slave。外部的視頻信號(hào)經(jīng)由子板DVI Receiver采集后，由DVI-AHB-H264E接口 IP核處理后放到AHB總線上。主控CPU可通過PCIe接口獲取原始視頻數(shù)據(jù)。DVI-AHB-H264E還可或者通過一個(gè)多路選擇器MUX,將原始視頻數(shù)據(jù)直接送 往 H264-E IP 核。外部音頻數(shù)據(jù)經(jīng)由子板I2S Receiver采集后，由I2S-AHB接口 IP核處 理后放到AHB總線上。主控CPU!過PCIe接口獲取。H264-E IP核通過CMMI-AH

37、B IP核掛接到AHB總線。此IP核負(fù)責(zé)原始視頻 的輸入，編碼后碼流的輸出，以及控制存放器的讀寫。使得主控CPU通過PCIe接口可以訪問這些數(shù)據(jù)。DDR2SDRAM控制器將H264-E的存儲(chǔ)器接口與開發(fā)板上的 DDR2內(nèi)存條連接, 提供H264-E的外部存儲(chǔ)空間。系統(tǒng)中主要的接口 IP核包括：PCIe 1x 端點(diǎn) IP 核 PCIe-EPxl夕卜部DDR2存儲(chǔ)器控制器IP核DDR2 SDRAM Controller外圍芯片I2C控制器IP核I2C Master H264-E多媒體接口 IP 核 CMMI-AHB視頻數(shù)據(jù)接口，音頻數(shù)據(jù)接口屬于定制效勞，在3.4節(jié)詳細(xì)論述。其他成熟 的接口 IP介

38、紹如下： 331. Cast CPXP-EP(X1) PCIE Express En dpoi nt Con troller IPCASTPCIE單通道控制器IP兼容PCIe 1.0標(biāo)準(zhǔn)，包含事務(wù)層、數(shù)據(jù)連接層 和物理協(xié)議層。圖15為IP核的原理框圖Cast公司的CPXP-EP(X1)IP核產(chǎn)品提供完整的HDL源碼，詳盡的技術(shù)文檔, 測(cè)試代碼，編譯腳本，仿真腳本和 FPGA優(yōu)化腳本。同時(shí)提供良好的技術(shù)支持服 務(wù)。其主要特性指標(biāo)如下：兼容PCIE實(shí)現(xiàn)了事務(wù)層、數(shù)據(jù)連接層和物理協(xié)議層 支持x1和x4兩種帶寬Gbps速度最多支持8個(gè)虛擬通道內(nèi)部總線位寬64bit，總線時(shí)鐘為125Mhz 支持點(diǎn)到點(diǎn)循

39、環(huán)冗余碼生成和驗(yàn)證可配置接收器的緩存大小332. DDR2 SDRA控制器 IP CASTDDR2-SDRAM-CTRL存控制器IP核是一個(gè)針對(duì)Burst訪問優(yōu)化、流水 線設(shè)計(jì)的控制器，可用于目前所有符合工業(yè)標(biāo)準(zhǔn)的DDRffi DDR2 SDRAM片，也包括Mobile DDR SDRAM該控制器接口簡單，所有參數(shù)可配，方便用戶集成， 同時(shí)通過流水線和并行結(jié)構(gòu)設(shè)計(jì)包括讀寫通道分開，可使 IP 核的帶寬到達(dá) 最大。Cast公司的DDR2-SDRAM-CTRL核產(chǎn)品提供完整的 HDL源碼，詳盡的技術(shù) 文檔，測(cè)試代碼，編譯腳本，仿真腳本和 FPGA優(yōu)化腳本。同時(shí)提供良好的技術(shù) 支持效勞。其主要特性指

40、標(biāo)如下：可兼容目前所有符合工業(yè)標(biāo)準(zhǔn)的 DDR DDR2 SDRAM DIM和芯片，包括 Mobile DDR SDRAM；高性能結(jié)構(gòu)， 3 級(jí)處理隊(duì)列用于最大化帶寬； 流水化設(shè)計(jì)方便用戶集成和高時(shí)鐘頻率； 針對(duì)低功耗應(yīng)用設(shè)計(jì)的Power-Down和自刷新技術(shù)； 數(shù)據(jù)通路邏輯包含小FIFO用以提高性能和方便集成； 2種PHY實(shí)現(xiàn)方案：延遲DQS或者延遲Clock ； 偵測(cè)所有 bank 的狀態(tài)； 可編程自動(dòng) Precharge 機(jī)制； 可編程自動(dòng)刷新機(jī)制；可實(shí)時(shí)配置時(shí)序、 CL、Burst 長度、隊(duì)列比特、是否允許低功耗、是否 允許自動(dòng) Precharge 等參數(shù)；命令、讀取、寫入通道逢考；所有

41、通道支持握 制； 支持 1到65536長度的 burst 。3.3.3. I2C 控制器 IPCASTI2C控制器IP核實(shí)現(xiàn)了 PHILIPS公司推出的芯片間串行傳輸總線協(xié)議。 主要用于對(duì)外圍芯片的配置和控制。原理框圖如圖 16 所示，其主要特性指標(biāo)如 下：支持主從兩種工作模式標(biāo)準(zhǔn)模式下，數(shù)據(jù)傳輸最高可達(dá)1OOkbps;高速模式下，數(shù)據(jù)傳輸最高可 達(dá) 400kbpsCast公司的I2C Controller IP 核產(chǎn)品提供完整的HDL源碼，詳盡的技術(shù) 文檔，測(cè)試代碼，編譯腳本，仿真腳本和 FPGA優(yōu)化腳本。同時(shí)提供良好的技術(shù) 支持效勞。圖16. I2C IP核原理框圖3.3.4. H264-

42、E多媒體接口 IP 核 CMMI-AHBCAST CMMI-AHB II核實(shí)現(xiàn)了 AMBA AH總線到CAST勺多媒體IP核的簡單接 口 ,CMM集成了 IP核控制存放器訪問，數(shù)據(jù)流發(fā)送和接收以及一個(gè)雙通道 DMA控 制器Cast公司的CAST CMMI-AHB IP IP核產(chǎn)品提供完整的 HDL源碼，詳盡的技 術(shù)文檔，測(cè)試代碼，編譯腳本，仿真腳本和 FPGA優(yōu)化腳本。同時(shí)提供良好的技 術(shù)支持效勞。其主要特性指標(biāo)如下：完全兼容 AMBA AHB2.0總線標(biāo)準(zhǔn)；與CAST的多媒體IP核相兼容；獨(dú)立的視頻流輸入，數(shù)據(jù)流輸出FIFO通道；FIFO數(shù)據(jù)支持被DMA空制器或者SOC總線訪問 雙通道DMA

43、控制器；在slave或者DMA模式下支持burst傳輸方式；在slave或者DMA模式下支持中斷；可調(diào)整的AHB總線訪問數(shù)據(jù)流輸出FIFO的延遲設(shè)定；偵測(cè)所有 bank 的狀態(tài)； 可編程自動(dòng) Precharge 機(jī)制； 可編程自動(dòng)刷新機(jī)制； 可實(shí)時(shí)配置時(shí)序、 CL、Burst 長度、隊(duì)列比特、是否允許低功耗、是否 允許自動(dòng) Precharge 等參數(shù)； 命令、讀取、寫入通道逢考；所有通道支持握 制； 支持1到65536長度的 burst 。3.4. IP 核整合設(shè)計(jì)視頻壓縮編碼片上系統(tǒng)圖 14 所示的 IP 整合設(shè)計(jì)，主要包括各 IP 到片 內(nèi)AHB總線的橋接，以及 DDR2 SDRA與H26

44、4-E IP核的橋接。其中 PCIe-EPxl 控制器到AHB總線的橋接工作，以及 DDR2 SDRA與H264-E IP核的橋接包含在 H.264 Pre-Integrated Platform 效勞中。此外還有視頻數(shù)據(jù)、音頻數(shù)據(jù)、 I2C 到AHB總線的橋接工作，即圖14框圖中的DVI-AHB-H264E I2S-AHB, I2C-AHB。 上述 IP 核整合設(shè)計(jì)可由 Cast 公司提供定制效勞， 以源碼形式交付，并提供相應(yīng) 的技術(shù)支持。3.4.1.H.264 Pre-Integrated PlatformH.264 Pre-Integrated Platform是 Cast 公司現(xiàn)有的 H264-E 的平臺(tái)整合方案。原理框圖如圖17所示。其主要內(nèi)容包括32bit的AHB總線，PCIe IP核到 AHB總線的橋接，CMMI-AH總線接口，以及 DDR2 SDRAM制器IP與H264-E IP 核的連接。此整合方案可實(shí)現(xiàn)由主控CPU控制的視頻編碼，其輸入視頻通過PCIe 接口由主控CPU送入，輸出碼流數(shù)據(jù)也通過 PCIe接口送給主控CPU此方案并 不能實(shí)現(xiàn)實(shí)時(shí)的視頻壓縮， 但是整體方案不可缺少的局部。 以下是平臺(tái)包含的各 項(xiàng)整合功能：32bit AHB 總線，總線復(fù)用器和總線仲裁器PCIe至