基于DAVINC的數(shù)字監(jiān)控系統(tǒng)

1、基于基于Davinci的的數(shù)字視頻監(jiān)控系統(tǒng)數(shù)字視頻監(jiān)控系統(tǒng)程雷雷程雷雷模塊設(shè)計(jì)模塊設(shè)計(jì)n流媒體傳輸模塊n視頻處理模塊nCodec Engine框架分析2022-3-22青島理工大學(xué) 通信學(xué)院2流媒體傳輸模塊n流媒體傳輸模塊： 采用 RTP 協(xié)議H.264 數(shù)據(jù)包發(fā)送到網(wǎng)絡(luò)中，并支持一定的流媒體控制策略。2022-3-22青島理工大學(xué) 通信學(xué)院3網(wǎng)絡(luò)通信協(xié)議技術(shù)2022-3-22青島理工大學(xué) 通信學(xué)院4網(wǎng)絡(luò)通信協(xié)議技術(shù)視頻監(jiān)控系統(tǒng)中,最重要的一部分就是解決視頻的網(wǎng)絡(luò)傳輸問題。nTCP協(xié)議提供可靠的傳輸,適合于傳輸準(zhǔn)確性要求較高的控制命令nUDP協(xié)議實(shí)時(shí)性好,可傳輸視音頻數(shù)據(jù),但還需要同RTP/R

2、TCP等協(xié)議結(jié)合起來用。nRTP是實(shí)時(shí)傳輸協(xié)議,它提供時(shí)間戳、序列號和其它方式來處理實(shí)時(shí)數(shù)據(jù)傳輸中的時(shí)間事項(xiàng);RTCP是RTP的控制部分,進(jìn)行服務(wù)質(zhì)量和成員數(shù)管理; nRTSP是控制協(xié)議,它從服務(wù)器端初始化和直接傳輸視音頻數(shù)據(jù)流,它只提供n遙控功能,數(shù)據(jù)傳輸是由RTP完成的;HTTP是超文本傳輸協(xié)議,負(fù)責(zé)傳輸Web頁面2022-3-22青島理工大學(xué) 通信學(xué)院5網(wǎng)絡(luò)傳輸技術(shù)網(wǎng)絡(luò)視頻傳輸技術(shù)的發(fā)展離不開一系列支持多媒體通信的網(wǎng)絡(luò)協(xié)議。流媒體技術(shù)是網(wǎng)絡(luò)音視頻技術(shù)發(fā)展到一定階段的產(chǎn)物,是一種解決多媒體播放時(shí)的網(wǎng)絡(luò)帶寬問題的“軟技術(shù)”。流媒體技術(shù)并不是單一的技術(shù),它涉及到流媒體數(shù)據(jù)的采集、壓縮、存儲、傳

3、輸以及網(wǎng)絡(luò)通信等多項(xiàng)技術(shù),是融合很多網(wǎng)絡(luò)技術(shù)之后所產(chǎn)生的技術(shù)。流媒體技術(shù)領(lǐng)域主要采用一系列的實(shí)時(shí)協(xié)議,包括實(shí)時(shí)傳輸協(xié)議（RTP）、實(shí)時(shí)傳輸控制協(xié)議（RTCP）、實(shí)時(shí)流協(xié)議（RTSP）等實(shí)現(xiàn)流式傳輸。2022-3-22青島理工大學(xué) 通信學(xué)院62022-3-22青島理工大學(xué) 通信學(xué)院7n網(wǎng)絡(luò)視頻信息傳輸?shù)闹饕攸c(diǎn)是對傳輸時(shí)間有嚴(yán)格限制，多媒體數(shù)據(jù)的傳輸往.往要求高帶寬、低延時(shí)和低抖動。nRTP 協(xié)議是針對用于 Internet 上的多媒體數(shù)據(jù)流的一種傳輸協(xié)議。該協(xié)議可基于多播或單播網(wǎng)絡(luò)提供端到端的網(wǎng)絡(luò)實(shí)時(shí)數(shù)據(jù)傳輸，為實(shí)時(shí)數(shù)據(jù)傳輸提供時(shí)序重構(gòu)、幀遺失檢測、數(shù)據(jù)安全等多種服務(wù)。通常 RTP 算法并不作

4、為一個(gè)獨(dú)立的網(wǎng)絡(luò)層來實(shí)現(xiàn)，而是作為應(yīng)用程序代碼的一部分。n實(shí)時(shí)傳輸控制協(xié)議 RTCP（用于QoS質(zhì)量服務(wù)反饋和同步媒體流） 和 RTP 一起提供流量控制和擁塞控制服務(wù)。在 RTP會話期間，各參與者周期性地傳送 RTCP 包。RTCP 包中含有已發(fā)送的數(shù)據(jù)包的數(shù)量、丟失的數(shù)據(jù)包的數(shù)量等統(tǒng)計(jì)資料，服務(wù)器可以利用這些信息動態(tài)地改變傳輸速率，甚至改變有效載荷類型。RTP 和 RTCP 配合使用，它們能以有效的反饋和最小的開銷使傳輸效率最佳化，因而特別適合傳送網(wǎng)上的實(shí)時(shí)數(shù)據(jù)。視頻處理模塊n視頻處理模塊包括視頻采集、視頻編碼n視頻采集功能，把 ARM 搜集的原始視頻數(shù)據(jù)幀（如 YUYV），傳遞給視頻編碼模

5、塊；n視頻編碼功能，把 DSP 壓縮編碼后的數(shù)據(jù)幀轉(zhuǎn)交給流媒體傳輸模塊，為網(wǎng)絡(luò)傳輸做好準(zhǔn)備2022-3-22青島理工大學(xué) 通信學(xué)院8視頻采集模塊nDM6446的VPSS視頻處理子系統(tǒng)包括了視頻處理前端（VPFE）和視頻處理后端（VPBE）。其中,視頻采集模塊對應(yīng)視頻處理前端,而視頻回顯模塊對應(yīng)視頻處理后端。nVPFE包括CCD控制模塊、圖像縮放模塊、預(yù)覽模塊、三個(gè)自動模塊(H3A,即自動對焦、自動曝光、自動白平衡)、柱狀圖模塊。n視頻采集的工作流程如下n首先,CCD控制模塊接收從視頻解碼芯片TVP5146輸出的YUV格式的標(biāo)準(zhǔn)數(shù)字視頻信號。此時(shí),預(yù)覽模塊將從CCD控制模塊接收的未經(jīng)處理的視頻信

6、號,通過坐標(biāo)轉(zhuǎn)換,變成YcbCr422格式的數(shù)據(jù),提供下一步的視頻處理,即視頻壓縮,此時(shí)視頻采集的過程完成。當(dāng)然,通過視頻處理前端,我們可以硬件處理一些常用的視頻處理環(huán)節(jié)。比如,用戶需要將一副小圖片放大,可以通過圖像縮放模塊,將從預(yù)覽模塊處理后的圖像進(jìn)行放大處理。此外,視頻處理前端還支持硬件自動對焦、自動曝光和自動白平衡2022-3-22青島理工大學(xué) 通信學(xué)院9VPSS系統(tǒng)框圖2022-3-22青島理工大學(xué) 通信學(xué)院102022-3-22青島理工大學(xué) 通信學(xué)院11視頻采集是基于視頻采集硬件子系統(tǒng)視頻采集是基于視頻采集硬件子系統(tǒng),采用實(shí)現(xiàn)視頻采集驅(qū)動采用實(shí)現(xiàn)視頻采集驅(qū)動,通過調(diào)用函數(shù)操作視頻設(shè)備

7、通過調(diào)用函數(shù)操作視頻設(shè)備,實(shí)現(xiàn)了視頻采集模塊實(shí)現(xiàn)了視頻采集模塊DVEVM開發(fā)板視頻輸入硬件電路的系統(tǒng)框圖如下：開發(fā)板視頻輸入硬件電路的系統(tǒng)框圖如下：視頻采集模塊2022-3-22青島理工大學(xué) 通信學(xué)院12DVEVM開發(fā)板上的視頻輸入接口可以分為以下兩類開發(fā)板上的視頻輸入接口可以分為以下兩類:（1）模擬視頻輸入接口）模擬視頻輸入接口,包括一個(gè)包括一個(gè)S-Video端子輸入接口和一個(gè)端子輸入接口和一個(gè)AV端子端子輸入接口輸入接口,這兩個(gè)端子的輸入信號都連接到解碼器芯片的輸入接口轉(zhuǎn)為這兩個(gè)端子的輸入信號都連接到解碼器芯片的輸入接口轉(zhuǎn)為數(shù)字信號后再輸入到達(dá)芬奇芯片的視頻處理前端接口數(shù)字信號后再輸入到達(dá)

8、芬奇芯片的視頻處理前端接口;（2）數(shù)字視頻輸入接口）數(shù)字視頻輸入接口,在板上提供了一個(gè)的接口卡插座在板上提供了一個(gè)的接口卡插座,用戶可以自己用戶可以自己制作接口電路。這個(gè)接口將直接把用戶的數(shù)據(jù)送到達(dá)芬奇芯片的視頻處制作接口電路。這個(gè)接口將直接把用戶的數(shù)據(jù)送到達(dá)芬奇芯片的視頻處理前端接口管腳上。理前端接口管腳上。系統(tǒng)采用模擬攝像頭經(jīng)過系統(tǒng)采用模擬攝像頭經(jīng)過A/V接口輸送到接口輸送到TVP5146的輸入端的輸入端視頻輸入接口視頻輸入接口2022-3-22青島理工大學(xué) 通信學(xué)院13視頻采集驅(qū)動視頻采集驅(qū)動在操作系統(tǒng)上控制一個(gè)硬件系統(tǒng)在操作系統(tǒng)上控制一個(gè)硬件系統(tǒng),就必須為其編寫相應(yīng)的驅(qū)動程序。視頻就必

9、須為其編寫相應(yīng)的驅(qū)動程序。視頻采集系統(tǒng)與一般的外圍硬件設(shè)備一個(gè)很大的不同采集系統(tǒng)與一般的外圍硬件設(shè)備一個(gè)很大的不同,在于它需要處理數(shù)量巨在于它需要處理數(shù)量巨大的原始視頻數(shù)據(jù)大的原始視頻數(shù)據(jù),因此內(nèi)核專門引入了一個(gè)標(biāo)準(zhǔn)的視頻設(shè)備驅(qū)動接口因此內(nèi)核專門引入了一個(gè)標(biāo)準(zhǔn)的視頻設(shè)備驅(qū)動接口,即即Video for Linux(簡稱簡稱V4L),可以高效地管理視頻設(shè)備?？梢愿咝У毓芾硪曨l設(shè)備。Linux2.5 X內(nèi)核將其升級到第二版本內(nèi)核將其升級到第二版本,即即Video for Linux2(簡稱簡稱V4L2),而而現(xiàn)在的現(xiàn)在的V4L2除了支持傳統(tǒng)的視頻采集設(shè)備之外除了支持傳統(tǒng)的視頻采集設(shè)備之外,還支持音

10、頻采集設(shè)備、還支持音頻采集設(shè)備、FM收音設(shè)備、視頻輸出設(shè)備等。因此收音設(shè)備、視頻輸出設(shè)備等。因此V4L2定義為一套用于處理定義為一套用于處理Linux上多媒體設(shè)備的標(biāo)準(zhǔn)應(yīng)用編程接口函數(shù)上多媒體設(shè)備的標(biāo)準(zhǔn)應(yīng)用編程接口函數(shù),通過這些函數(shù)通過這些函數(shù),可以執(zhí)行打開、可以執(zhí)行打開、讀寫、關(guān)閉等基本操作。讀寫、關(guān)閉等基本操作。2022-3-22青島理工大學(xué) 通信學(xué)院14視頻采集系統(tǒng)驅(qū)動程序接口圖視頻采集系統(tǒng)驅(qū)動程序接口圖2022-3-22青島理工大學(xué) 通信學(xué)院15視頻壓縮算法視頻壓縮算法H.264壓縮算法壓縮算法優(yōu)點(diǎn)：優(yōu)點(diǎn)：1低碼流（Low Bit Rate）：和MPEG2和MPEG4 ASP等壓縮技術(shù)

11、相比，在同等圖像質(zhì)量下，采用H.264技術(shù)壓縮后的數(shù)據(jù)量只有MPEG2的1/8，MPEG4的1/3。顯然，H.264壓縮技術(shù)的采用將大大節(jié)省用戶的下載時(shí)間和數(shù)據(jù)流量收費(fèi)。2高質(zhì)量的圖象：H.264能提供連續(xù)、流暢的高質(zhì)量圖象（DVD質(zhì)量）。3容錯(cuò)能力強(qiáng)：H.264提供了解決在不穩(wěn)定網(wǎng)絡(luò)環(huán)境下容易發(fā)生的丟包等錯(cuò)誤的必要工具。4網(wǎng)絡(luò)適應(yīng)性強(qiáng)：H.264提供了網(wǎng)絡(luò)適應(yīng)層（Network Adaptation Layer）, 使得H.264的文件能容易地在不同網(wǎng)絡(luò)上傳輸（例如互聯(lián)網(wǎng)，CDMA，GPRS，WCDMA，CDMA2000等）2022-3-22青島理工大學(xué) 通信學(xué)院16音頻音頻輸入音頻輸入/輸

12、出電路輸出電路 TLV320AIC33 是是 TI 推出的一款高性能的立推出的一款高性能的立體聲音頻體聲音頻 Codec 芯片，該款芯片能同時(shí)對音頻信號進(jìn)行芯片，該款芯片能同時(shí)對音頻信號進(jìn)行 A/D、D/A 轉(zhuǎn)換，實(shí)現(xiàn)音頻信號的采集和播放。轉(zhuǎn)換，實(shí)現(xiàn)音頻信號的采集和播放。AIC23 與與DM6446 的的 I/O 電壓兼容，可以實(shí)現(xiàn)與電壓兼容，可以實(shí)現(xiàn)與 DM6446 的的 Mc ASP（復(fù)通道音頻接入接口） 接口無縫連接接口無縫連接2022-3-22青島理工大學(xué) 通信學(xué)院17RPC遠(yuǎn)程過程調(diào)用遠(yuǎn)程過程調(diào)用(RPC)本地過程調(diào)用是一個(gè)處理器向自己發(fā)出命令本地過程調(diào)用是一個(gè)處理器向自己發(fā)出命令,

13、而而RPC是一個(gè)處理器向另外是一個(gè)處理器向另外一個(gè)處理器發(fā)出命令。在遠(yuǎn)程過程調(diào)用的術(shù)語里一個(gè)處理器發(fā)出命令。在遠(yuǎn)程過程調(diào)用的術(shù)語里,執(zhí)行命令的處理器叫做執(zhí)行命令的處理器叫做服務(wù)器。服務(wù)器?？蛻舳讼蚍?wù)器發(fā)送命令及參數(shù)客戶端向服務(wù)器發(fā)送命令及參數(shù),需要跨越物理上的通信媒介需要跨越物理上的通信媒介,這一過程需這一過程需要借助通信協(xié)議棧。一旦服務(wù)器執(zhí)行完了命令要借助通信協(xié)議棧。一旦服務(wù)器執(zhí)行完了命令,它通過通信媒介向客戶端它通過通信媒介向客戶端返回命令的執(zhí)行結(jié)果。我們把處理器之間的通信媒介稱為處理器間通信返回命令的執(zhí)行結(jié)果。我們把處理器之間的通信媒介稱為處理器間通信層（層（IPC層），典型的層），典

14、型的IPC層就是層就是IP網(wǎng)絡(luò)。網(wǎng)絡(luò)?；谶_(dá)芬奇技術(shù)的基于達(dá)芬奇技術(shù)的DMS3206446處理器的雙核之間則使用共享內(nèi)存作為處理器的雙核之間則使用共享內(nèi)存作為IPC層層,使用的通信協(xié)議稱為使用的通信協(xié)議稱為DSPLink。2022-3-22青島理工大學(xué) 通信學(xué)院18RPC軟件層次簡圖軟件層次簡圖2022-3-22青島理工大學(xué) 通信學(xué)院19Codec Engine框架分析框架分析Codec Engine是一系列用于表示和運(yùn)行算法的應(yīng)用編程接口是一系列用于表示和運(yùn)行算法的應(yīng)用編程接口,其其中中xDAIS(,數(shù)字多媒體標(biāo)準(zhǔn)化數(shù)字多媒體標(biāo)準(zhǔn)化DSP算法接口算法接口)是指一整套的多媒體是指一整套的多媒體

15、算法編程接口。算法編程接口。Codec Engine定義了四類編解碼器算法接口標(biāo)準(zhǔn)定義了四類編解碼器算法接口標(biāo)準(zhǔn),分別是視頻、分別是視頻、圖像、語音、音頻圖像、語音、音頻,取四個(gè)單詞的首字母取四個(gè)單詞的首字母VISA代表代表xDM編解碼器編解碼器算法接口標(biāo)準(zhǔn)。算法接口標(biāo)準(zhǔn)。在解決達(dá)芬奇雙處理器架構(gòu)問題時(shí)引入了在解決達(dá)芬奇雙處理器架構(gòu)問題時(shí)引入了RPC(遠(yuǎn)程過程控制遠(yuǎn)程過程控制)的的概念概念,。在達(dá)芬奇芯片在達(dá)芬奇芯片DM6446里里,ARM作為客戶端作為客戶端,DSP作為服務(wù)端作為服務(wù)端,它們它們之間的物理鏈路就是兩個(gè)處理器之間共享的之間的物理鏈路就是兩個(gè)處理器之間共享的DDR2存儲器存儲器,

16、而將而將物理鏈路上的通信協(xié)議稱為物理鏈路上的通信協(xié)議稱為DSPLink。達(dá)芬奇技術(shù)構(gòu)架擴(kuò)展了基本達(dá)芬奇技術(shù)構(gòu)架擴(kuò)展了基本RPC的概念的概念,用用VISA軟件層連接軟件層連接引擎功能層引擎功能層,2022-3-22青島理工大學(xué) 通信學(xué)院20Codec Engine 構(gòu)架簡圖構(gòu)架簡圖2022-3-22青島理工大學(xué) 通信學(xué)院21視頻壓縮算法視頻壓縮算法H.264壓縮算法壓縮算法優(yōu)點(diǎn)：優(yōu)點(diǎn)：1低碼流（Low Bit Rate）：和MPEG2和MPEG4 ASP等壓縮技術(shù)相比，在同等圖像質(zhì)量下，采用H.264技術(shù)壓縮后的數(shù)據(jù)量只有MPEG2的1/8，MPEG4的1/3。顯然，H.264壓縮技術(shù)的采用將大

17、大節(jié)省用戶的下載時(shí)間和數(shù)據(jù)流量收費(fèi)。2高質(zhì)量的圖象：H.264能提供連續(xù)、流暢的高質(zhì)量圖象（DVD質(zhì)量）。3容錯(cuò)能力強(qiáng)：H.264提供了解決在不穩(wěn)定網(wǎng)絡(luò)環(huán)境下容易發(fā)生的丟包等錯(cuò)誤的必要工具。4網(wǎng)絡(luò)適應(yīng)性強(qiáng)：H.264提供了網(wǎng)絡(luò)適應(yīng)層（Network Adaptation Layer）, 使得H.264的文件能容易地在不同網(wǎng)絡(luò)上傳輸（例如互聯(lián)網(wǎng)，CDMA，GPRS，WCDMA，CDMA2000等）DDR22022-3-22青島理工大學(xué) 通信學(xué)院22DARM 和和DSP通過共享的通過共享的DDR2存儲器內(nèi)存進(jìn)行實(shí)際的物理數(shù)據(jù)交存儲器內(nèi)存進(jìn)行實(shí)際的物理數(shù)據(jù)交換換,稱為兩處理器間的物理鏈路層。稱為兩處

18、理器間的物理鏈路層。DVEVM開發(fā)板上具有開發(fā)板上具有64M DDR2內(nèi)存內(nèi)存,其內(nèi)存分配情況如表所示其內(nèi)存分配情況如表所示2022-3-22青島理工大學(xué) 通信學(xué)院23DDR與DDR2DDR又名雙倍速率同步動態(tài)隨機(jī)處理器。是在又名雙倍速率同步動態(tài)隨機(jī)處理器。是在SDRAMSDRAM的基礎(chǔ)上發(fā)展起來的的基礎(chǔ)上發(fā)展起來的, ,由由于它能在一個(gè)時(shí)鐘周期的上升沿和下降沿各傳輸一次數(shù)據(jù)于它能在一個(gè)時(shí)鐘周期的上升沿和下降沿各傳輸一次數(shù)據(jù), ,因此被稱為雙倍因此被稱為雙倍速率同步動態(tài)隨機(jī)存儲器。速率同步動態(tài)隨機(jī)存儲器。DDR2DDR2是第二代內(nèi)存是第二代內(nèi)存, ,對第一代對第一代DDRDDR存儲技術(shù)進(jìn)行了改進(jìn)和優(yōu)化存儲技術(shù)進(jìn)行了改進(jìn)和優(yōu)化,DDR2,DDR2的存儲的存儲速率比第一代更快速率比第一代更快, ,相同速率下相同速率下, ,單位功耗更小。單位功耗更小。DDR2 DDR2 與與 DDR DDR 相比，其主要變化為以下幾點(diǎn)相比，其主要變化為以下幾點(diǎn) (1) (1) 內(nèi)部數(shù)據(jù)預(yù)取寬度變?yōu)閮?nèi)部數(shù)據(jù)預(yù)取寬度變?yōu)?