基于小波變換與DSP的實(shí)時(shí)音頻視頻處理系統(tǒng)

1、    基于小波變換與DSP的實(shí)時(shí)音頻視頻處理系統(tǒng)目前，以遠(yuǎn)程監(jiān)控、視頻會(huì)議、可視電話及移動(dòng)多媒體通信系統(tǒng)為代表的低比特率通信系統(tǒng)在實(shí)際中得到了重要應(yīng)用。面對(duì)龐大的音/視頻數(shù)據(jù)量，作為語(yǔ)音及圖像處理的壓縮技術(shù)便在多媒體通信中顯得極為重要。隨著多媒體通信技術(shù)和超大規(guī)模集成電路（VLSI）技術(shù)的飛速發(fā)展，這一技術(shù)將會(huì)在眾多領(lǐng)域得到更為廣泛的應(yīng)用。1音/視頻實(shí)時(shí)處理系統(tǒng)低碼率視頻通信的主要技術(shù)問題是音/視頻壓縮編碼技術(shù)，即用來實(shí)現(xiàn)在滿足足夠質(zhì)量和硬件成本的條件目前，以遠(yuǎn)程監(jiān)控、視頻會(huì)議、可視電話及移動(dòng)多媒體通信系統(tǒng)為代表的低比特率通信系統(tǒng)在實(shí)際中得到了重要應(yīng)用

2、。面對(duì)龐大的音/視頻數(shù)據(jù)量，作為語(yǔ)音及圖像處理的壓縮技術(shù)便在多媒體通信中顯得極為重要。隨著多媒體通信技術(shù)和超大規(guī)模集成電路（VLSI）技術(shù)的飛速發(fā)展，這一技術(shù)將會(huì)在眾多領(lǐng)域得到更為廣泛的應(yīng)用。1 音/視頻實(shí)時(shí)處理系統(tǒng)低碼率視頻通信的主要技術(shù)問題是音/視頻壓縮編碼技術(shù)，即用來實(shí)現(xiàn)在滿足足夠質(zhì)量和硬件成本的條件下降低所需的碼率。小波變換充分利用人眼的視覺特性，克服了重構(gòu)圖像會(huì)出現(xiàn)的塊效應(yīng)、蚊子效應(yīng)、模糊等現(xiàn)象。由于小波變換技術(shù)能充分地利用人眼的視覺特性，因此因而用小波變換視頻編碼將會(huì)獲得比現(xiàn)在標(biāo)準(zhǔn)得多的壓縮效果。本文介紹一種基于ADV611，CT8021芯片同時(shí)結(jié)合TI公司的TMS320C6201

3、芯片實(shí)現(xiàn)音/視頻實(shí)時(shí)處理系統(tǒng)。在該實(shí)時(shí)系統(tǒng)中，DSP芯片作為控制核心、一方面要管理ADV611，CT8021，存儲(chǔ)器和通信接口，另一方面要對(duì)ADV611的圖像壓縮效果進(jìn)行調(diào)解，對(duì)數(shù)據(jù)速率實(shí)時(shí)控制。系統(tǒng)實(shí)現(xiàn)方案原理圖如圖1所示。1.1 系統(tǒng)硬件結(jié)構(gòu)系統(tǒng)主要功能是實(shí)現(xiàn)遠(yuǎn)程場(chǎng)景音視頻的采集、數(shù)字化、音/視頻的壓縮和解壓、攝像系統(tǒng)云臺(tái)方位以及攝像頭的控制、自動(dòng)開機(jī)和關(guān)機(jī)等功能。其中音視頻數(shù)據(jù)的打包、解包、攝像系統(tǒng)云臺(tái)方位以及攝像鏡頭的控制等功能DSP芯片TMS320C6201來完成。遠(yuǎn)程場(chǎng)景及音頻壓縮信息通過入網(wǎng)設(shè)備在Internet上實(shí)現(xiàn)遠(yuǎn)程實(shí)時(shí)傳輸。如圖2中，原始制式PAL（720&#21

4、5;288，50幀/s）的視頻信號(hào)經(jīng)過圖像采集端的視頻A/D轉(zhuǎn)換成CCIR656（8位27MHz）的數(shù)據(jù)流，再通過ADV611進(jìn)行小波壓縮編碼。同時(shí)，原始的音頻信號(hào)也經(jīng)過音頻采集端的A/D轉(zhuǎn)換為PCM揚(yáng)聲器回放出來。模塊在該設(shè)計(jì)中，用小波變換進(jìn)行圖像壓縮是采用硬件實(shí)現(xiàn)的，使用了AD公司生產(chǎn)的ADV611單片、多功能、全數(shù)字的CMOS超大規(guī)模集成電路。小波壓縮核采用雙正交（7，9）小波變換。其內(nèi)部結(jié)構(gòu)如圖5所示。他支持對(duì)CCIR656國(guó)際數(shù)字視頻標(biāo)準(zhǔn)進(jìn)行高畫質(zhì)的無損或有損視頻壓縮和解壓縮并支持實(shí)施隔行掃描的視頻數(shù)據(jù)。編碼時(shí)，數(shù)字視頻從數(shù)字視頻接口輸入，經(jīng)幀抽取和小波變換，送入量化器進(jìn)行量化。量化

5、后的數(shù)據(jù)送入熵編碼器，進(jìn)行游程編碼和霍夫曼編碼，產(chǎn)生最后的壓縮數(shù)據(jù)流，送入集成于片內(nèi)的512×32位大小的FIFO緩存。當(dāng)片內(nèi)的FIFO的數(shù)據(jù)量達(dá)到主機(jī)的預(yù)設(shè)值時(shí)，ADV611發(fā)出中斷，通知主機(jī)取走數(shù)據(jù)。解碼過程與之相反，壓縮數(shù)據(jù)由主機(jī)送入FIFO，解碼后產(chǎn)生CCIR656格式的數(shù)據(jù)視頻數(shù)據(jù)，從數(shù)字視頻接口輸出。ADV611與其前期產(chǎn)品ADV601，ADV601LC相比，他不僅有更寬的溫度范圍（2585），而且采用硬件減幀技術(shù)，可獲得更高的壓縮比（最大可達(dá)7 500：1）并且增加一種稱為特性盒控制的功能。該功能允許一幀中某一矩形區(qū)域相對(duì)于其他區(qū)域有較低的壓縮比或完全不進(jìn)行壓縮。對(duì)這個(gè)

6、主芯片的控制采用TI公司的高速定點(diǎn)DSP芯片TMS320C6201。他的內(nèi)部工作頻率為200MHz，CPU有8個(gè)并行的功能單元，每個(gè)時(shí)鐘周期內(nèi)可以并行執(zhí)行8條指令，所以用C語(yǔ)言編程時(shí)也能完全滿足對(duì)ADV611控制速度的要求。視頻解碼兼模/數(shù)轉(zhuǎn)換芯片采用PHILIPS公司的視頻芯片SAA7111，他可接收復(fù)合電視信號(hào)及S端子信號(hào)輸入，輸出支持YUV422/411，CCIR656及RGB565等視頻格式，這里使用YUV422；視頻圖像恢復(fù)采用AVERLAGIC公司的視頻芯片AL250，他支持YUV422與RGB565隔行輸入視頻格式，輸出則為計(jì)算機(jī)顯示器CRT接收的RGB（VGA）逐行視頻格式，可

7、方便地利用計(jì)算機(jī)觀察視頻。這2個(gè)芯片都含有控制寄存器，可通過I2C總線控制。將ADV611接收來自SAA7111的數(shù)字視頻信號(hào)進(jìn)行壓縮，DSP將通過訪問ADV611獲得壓縮數(shù)據(jù)；將ADV611設(shè)置為解壓縮模式時(shí)，DSP將壓縮數(shù)據(jù)發(fā)給ADV611進(jìn)行解壓縮處理，而SAA7111僅為ADV611提供時(shí)鐘信號(hào)。此外，為提高系統(tǒng)的集成度和靈活性。系統(tǒng)使用了一片ALTERA公司的CPLDEPM7128，他將I2C電路、DSP啟動(dòng)電路、地址譯碼電路、對(duì)時(shí)鐘信號(hào)VCLK的二分頻電路、讀寫信號(hào)產(chǎn)生電路及編碼解碼切換電路等做在內(nèi)部。電源DSP的擴(kuò)展能力不強(qiáng)沒有多余的I/O口。無法實(shí)現(xiàn)類似單片機(jī)的I/O口集電極開

8、路允許總線路“線與”。這時(shí)可用三態(tài)門的控制單元（使用D觸發(fā)器），在需要釋放的總線時(shí)關(guān)閉三態(tài)門即可。本系統(tǒng)復(fù)用器的設(shè)計(jì)是在MPEG2音/視頻國(guó)際標(biāo)準(zhǔn)的第一部分ISO/IEC138181系統(tǒng)層語(yǔ)法規(guī)范的基礎(chǔ)上，采用TMS320C6201信號(hào)處理器來實(shí)現(xiàn)。其中為實(shí)現(xiàn)一套節(jié)目音頻/視頻的解碼同步，在碼流中需要插入各種時(shí)間標(biāo)記，系統(tǒng)控制等信息。最后送到網(wǎng)絡(luò)適配器得到與傳輸信道相匹配的標(biāo)準(zhǔn)輸出碼流后，送往信道，復(fù)用器還提供整個(gè)編碼系統(tǒng)的系統(tǒng)時(shí)鐘。2. 系統(tǒng)軟件設(shè)計(jì)DSP在主程序中計(jì)算采集端ADV611圖像壓縮編碼的控制參數(shù)。ADV611通過控制寄存器提供給用戶3種控制圖像效果和數(shù)據(jù)流量手段。首先是設(shè)置量化

9、系數(shù)，即通過改變小波分解后各個(gè)不同頻帶數(shù)據(jù)的量化權(quán)重達(dá)到數(shù)據(jù)壓縮的目的，其次是減幀，ADV611可以從50幀/s減到2幀/s。最后是特性盒控制，ADV611能夠在722×288的一幀圖像中再設(shè)置一個(gè)顯示區(qū)，并將該區(qū)之外的圖像衰減，從而利用這種減小有效畫幅尺度的方法壓縮數(shù)據(jù)。這個(gè)顯示區(qū)域大小的設(shè)備是通過調(diào)節(jié)ADV611內(nèi)部品質(zhì)框數(shù)據(jù)實(shí)現(xiàn)的。主程序中DSP將依據(jù)用戶調(diào)節(jié)命令，計(jì)算修改ADV611中的控制寄存器參數(shù)。本系統(tǒng)DSP控制程序的設(shè)計(jì)關(guān)鍵是如何高效地協(xié)調(diào)完成各類控制任務(wù)，避免由于任務(wù)進(jìn)程安排不當(dāng)而引起的數(shù)據(jù)傳輸意外中斷，以壓縮端為例，如圖6所示，DSP程序?qū)SP數(shù)據(jù)發(fā)送和數(shù)據(jù)接收控制以及ADV611，CT8021的服務(wù)請(qǐng)求作為中斷處理，以提高這些任務(wù)的響應(yīng)速度。為了避免通信串口的數(shù)據(jù)丟失，程序允許BSP發(fā)送中斷和接收終端在ADV611和CT8021的服務(wù)請(qǐng)求中斷發(fā)生并立即響應(yīng)。在程序的主循環(huán)部分中，DSP通過一系列的狀態(tài)判斷完成發(fā)送緩沖區(qū)數(shù)據(jù)寫入、接收緩沖區(qū)數(shù)據(jù)讀取、圖