數(shù)字視頻處理課件 2.32.5

1、2.3 模擬視頻信號電視信號是視頻處理的重要信息源電視信號的標(biāo)準(zhǔn)也稱為電視的制式目前各國的電視制式不盡相同，不同制式之間的主要區(qū)別在于不同的刷新頻率、彩色編碼系統(tǒng)和傳送頻率等等目前世界上常用的電視制式有中國大陸、歐洲等地使用的PAL制式以及美國、日本等地使用的NTSC制式等電視信號電視攝像機(jī)的作用就是將視頻圖像轉(zhuǎn)換為電信號任何時(shí)刻，電信號只有1個(gè)值，即是一維的但視頻圖像通常是二維的，將二維視頻圖像轉(zhuǎn)換為一維電信號是通過光柵掃描實(shí)現(xiàn)的（指在一定的時(shí)間間隔內(nèi)電子束以從左到右、從上到下的方式掃描熒光屏）隔行掃描(Interlaced Scan)在隔行掃描方式中，電子束掃完第1行后從第3行開始掃，接著

2、掃第5行，7行，一直掃到最后一行奇數(shù)行掃完后以同樣的方式掃描偶數(shù)行，這樣就完成了一幀的掃描在隔行掃描中，無論是攝像機(jī)還是顯示器，獲取或顯示一幅圖像都要掃描兩遍才得到一幀完整的圖像隔行掃描場（Field）每一遍隔行掃描行的集合稱為場，因此，一幀（Frame）由兩個(gè)場組成，頂場（奇數(shù)行）信號和底場（偶數(shù)行）信號隔行掃描的由來眾所周知，幀率只要高于一定標(biāo)準(zhǔn)，就達(dá)到流暢考慮到交流電頻率50或60Hz，電視標(biāo)準(zhǔn)制訂者確定了25或30fps的幀率如果電視機(jī)采用逐行掃描，每秒掃描25或30幀行不行呢？理論上可以，但實(shí)際不行隔行掃描的由來原因在于，在電子束的照射下，CRT的熒光粉會(huì)立即發(fā)光，但只要電子束一離開

3、，幾乎瞬間就會(huì)暗下來人眼雖然看不到這么明顯的變化，但仍然會(huì)有亮度衰減的感覺可以想象，如果采用30fps掃描方式顯示，當(dāng)電子束從屏幕的上半部分移到下半部時(shí)，屏幕上半部分的亮度就有了可以觀察到的衰減，于是畫面下半部分顯得更亮隔行掃描的由來為了解決這個(gè)問題，最佳的辦法是加倍刷新率，改成60fps掃描，因?yàn)樵?0分之一秒內(nèi)，人眼能感覺到的亮度衰減就很小了可是這樣做，單位時(shí)間內(nèi)掃描的總行數(shù)會(huì)加倍，那么水平掃描的速度就要加快。如此一來技術(shù)要求就會(huì)過高，以當(dāng)時(shí)的條件做不到隔行掃描的由來于是標(biāo)準(zhǔn)制訂者想到了一個(gè)折衷的辦法，先花60分之一秒掃描奇數(shù)行(頂場)，然后再用后60分之一秒掃描偶數(shù)行(底場)，兩者互補(bǔ)成

4、完整的畫面雖然掃描底場時(shí)，頂場的亮度衰減了，但是由于亮暗的部分交織在一起，反而不易察覺Interlace artifacts（交錯(cuò)缺陷）An interlaced camera captures 60 (or 50) unique fields per second. If a scene contains an object in motion with respect to the camera, each field carries half the objects spatial information, but information in the second field will

5、 be displaced according to the objects motion.Interlace artifactsConsider the test scene sketched in the figure, comprising a black background partially occluded by a white disk that is in motion with respect to the camera.Interlace artifactsThe first and second fields imaged from this scene are ill

6、ustrated respectively. (The example neglects capture blur owing to motion during the exposure.) The image in the second field is delayed with respect to the first by half the frame time (that is, by 160 s or 150 s); by the time the second field is imaged, the object has moved.Interlace artifactsUpon

7、 interlaced display, the time sequence of interlaced fields is maintained: No temporal or spatial artifacts are introduced. However, in the presence of motion, simply stitching two fields into a single frame produces spatial artifacts such as that sketched in the figure. Techniques to avoid such art

8、ifacts is deinterlacing.逐行掃描(Progressive Scan)發(fā)展到液晶、等離子等顯示設(shè)備后，因?yàn)樗狞c(diǎn)都是同時(shí)發(fā)光，且光度始終固定，不存在CRT遇到的相關(guān)問題，所以逐行掃描開始大范圍應(yīng)用逐行掃描在逐行掃描方式中，電子束從顯示屏的左上角一行接一行地掃到右下角，在顯示屏上掃一遍就顯示一幅完整的圖像液晶和等離子電視、電腦顯示器掃描方式對比逐行掃描優(yōu)點(diǎn)：圖像垂直清晰度高，空間處理效果好，有利于電視轉(zhuǎn)換和制式轉(zhuǎn)換，能改善視頻壓縮效率等；其缺點(diǎn)是：數(shù)碼率高，行掃描頻率增高，硬件難度加大隔行掃描能節(jié)省帶寬，且硬件實(shí)現(xiàn)簡單NTSC制式NTSC(National Televisi

9、on Standard Committe)是美國國家電視系統(tǒng)委員會(huì)在1953年制定的一種彩色電視制式，是目前常用的電視制式，在美國、日本等地廣為使用它定義了彩色電視機(jī)對于所接受的電視信號的接收方式、彩色的處理方式、屏幕的掃描頻率等等NTSC制式指標(biāo)：525行/幀，30幀/秒(fps)在每場的開始部分保留20條掃描線作為控制信息，因此只有485條線的可視數(shù)據(jù)PAL制式PAL(Phase Alternate Lock)是聯(lián)邦德國1962年制定的一種彩色電視制式，我國大陸和大部分西歐國家都使用這種制式625行/幀，25幀/秒每幀有575行有圖像顯示電視制式兼容性NTSC制和PAL制是互不兼容的電視制

10、式NTSC制和PAL制都是彩色和黑白兼容的制式，這里的“兼容”有兩層意思：一是指黑白電視機(jī)能接收彩色電視信號，顯示的是黑白圖像另一層意思是彩色電視機(jī)能接收黑白電視信號，顯示的也是黑白圖像，這叫逆兼容性彩色與黑白電視的兼容性必需采用相同的一些基本參數(shù)，如掃描方式、掃描行頻、場頻、幀頻、同步信號、圖像載頻、伴音載頻等等需要將攝像機(jī)輸出的三基色信號轉(zhuǎn)換成一個(gè)亮度信號，以及代表色度的兩個(gè)色度信號，并將它們組合成一個(gè)彩色全電視信號進(jìn)行傳送在接收端，彩色電視機(jī)將彩色全電視信號重新轉(zhuǎn)換成三個(gè)基色信號，在顯像管上重現(xiàn)發(fā)送端的彩色圖像，黑白電視機(jī)只顯示亮度信號電視制式兼容性也有全制式的電視機(jī)，這為處理和轉(zhuǎn)換不同

11、制式的電視信號提供了極大的方便全制式電視機(jī)可在各國各地區(qū)使用模擬視頻信號類型（傳輸、接口）復(fù)合視頻信號S-Video視頻信號分量視頻信號復(fù)合視頻信號(Composite Video)定義為包括亮度和色度的單路模擬信號，即從彩色全電視信號中分離出伴音后的視頻信號，此時(shí)色度信號與亮度信號混合在一起由于復(fù)合視頻信號的傳輸仍然是一種亮度色度混合的視頻信號，仍然需要顯示設(shè)備對其進(jìn)行亮/色分離和色度分離才能成像，這種先混合再分離的過程會(huì)造成彩色信號的損失，色度信號和亮度信號也會(huì)有很大的機(jī)會(huì)相互干擾從而影響最終輸出的視頻復(fù)合視頻信號接口又稱為AV端子或Video端子S-Video分離視頻信號S-Video(

12、Separated Video)是亮度和色度分離的一種視頻信號，用兩路導(dǎo)線分別傳輸，并可以分別記錄在模擬磁帶的兩路磁軌上這種信號不僅其亮度和色度都具有較寬的帶寬，而且由于亮度和色度分開傳輸，可以減少其互相干擾與復(fù)合視頻信號相比，S-Video可以更好地重現(xiàn)色彩S-VideoS-Video信號使用單獨(dú)的兩條信號電纜線，一條用于亮度信號，另一條用于色度信號，這兩個(gè)信號稱為Y/C信號S-Video使用4針連接器 S-Video分量視頻信號分量視頻信號(component video signal)是指每個(gè)分量（Y、U、V或Y、Cb、Cr）作為獨(dú)立的視頻信號使用分量視頻信號是表示彩色的最好方法，但需要

13、比較寬的帶寬和同步信號分量信號實(shí)際上也是亮色分離的信號，與S-Video不同的是兩個(gè)色度信號不用分離分量視頻信號2.4 視頻數(shù)字化要讓計(jì)算機(jī)處理視頻信息，首先要解決的是視頻數(shù)字化的問題視頻數(shù)字化是將模擬視頻信號經(jīng)模數(shù)轉(zhuǎn)換轉(zhuǎn)為計(jì)算機(jī)可處理的數(shù)字信號，計(jì)算機(jī)要對輸入的模擬視頻信息進(jìn)行采樣與量化，并經(jīng)編碼使其變成數(shù)字化視頻數(shù)字化常用的方法1. 從復(fù)合彩色電視中分離出各個(gè)分量信號，然后數(shù)字化，如錄像帶、攝像機(jī)等的電視信號對這類信號的數(shù)字化，通常的做法是首先把模擬的彩色電視信號分離成YCbCr等彩色空間中的分量信號，然后用三個(gè)A/D轉(zhuǎn)換器分別對它們數(shù)字化 數(shù)字化常用的方法2.首先用一個(gè)高速A/D轉(zhuǎn)換器對

14、彩色電視信號進(jìn)行數(shù)字化，然后在數(shù)字域中進(jìn)行分離，以獲得所希望的YCbCr等分量數(shù)據(jù)視頻采樣頻率按照ITU-R BT.601標(biāo)準(zhǔn)，亮度信號的采樣頻率為13.5MHz對PAL制，亮度采樣頻率62525N=15625N=13.5 MHz N=864，為每一掃描行上的采樣數(shù)目對NTSC制，亮度采樣頻率52529.97N=15734N=13.5 MHz, N=858有效采樣樣本對PAL制的亮度信號，每一條掃描行采樣864個(gè)樣本對NTSC制的亮度信號，每一條掃描行采樣858個(gè)樣本對所有的制式，每一掃描行的有效樣本數(shù)均為720個(gè)有效采樣樣本采樣格式兩種采樣方法：一種是使用相同的采樣頻率對圖像的亮度信號和色度

15、信號進(jìn)行采樣另一種是對亮度信號和色度信號分別采用不同的采樣頻率進(jìn)行采樣如果對色度信號使用的采樣頻率比對亮度信號使用的采樣頻率低，這種采樣就稱為子采樣(Subsampling) 子采樣的壓縮特性人眼對色度信號的敏感程度比對亮度信號的敏感程度低，利用這個(gè)特性可以把圖像中表達(dá)色度的信號去掉一些而使人不察覺所以色度信號的取樣頻率可以比亮度信號的取樣頻率低，以減少數(shù)字視頻的數(shù)據(jù)量子采樣也就是利用人的視覺系統(tǒng)這個(gè)特性來達(dá)到壓縮彩色電視信號的目的采樣格式4:4:4 這種采樣格式不是子采樣格式，它是指在每條掃描線上每4個(gè)連續(xù)的采樣點(diǎn)取4個(gè)亮度Y樣本、4個(gè)Cr色度樣本和4個(gè)Cb色度樣本，這就相當(dāng)于每個(gè)像素用3個(gè)

16、樣本表示子采樣格式4:2:2 這種子采樣格式是指在每條掃描線上每4個(gè)連續(xù)的采樣點(diǎn)取4個(gè)亮度Y樣本、2個(gè)Cr色度樣本和2個(gè)Cb色度樣本，平均每個(gè)像素用2個(gè)樣本表示子采樣格式4:1:1 這種子采樣格式是指在每條掃描線上每4個(gè)連續(xù)的采樣點(diǎn)取4個(gè)亮度Y樣本、1個(gè)Cr色度樣本和1個(gè)Cb色度樣本，平均每個(gè)像素用1.5個(gè)樣本表示 子采樣格式4:2:0 這種子采樣格式是指在水平和垂直方向上每2個(gè)連續(xù)的采樣點(diǎn)上取2個(gè)亮度Y樣本、1個(gè)Cr色度樣本和1個(gè)Cb色度樣本，平均每個(gè)像素用1.5個(gè)樣本表示子采樣格式ITU-R BT.601標(biāo)準(zhǔn)使用了4:2:2采樣結(jié)構(gòu)亮度信號的采樣頻率為13.5MHz ，色度信號為6.75M

17、Hz不同采樣格式與頻率標(biāo)準(zhǔn)化分辨率格式公用中分辨率格式CIF（Common Intermediate Format）格式具有如下特性：分辨率352288使用非隔行掃描(non-interlaced scan)使用1/2的PAL水平分辨率，即288線1/4公用中分辨率格式QCIF（Quarter-CIF）和SQCIF格式（Sub-Quarter Common Intermediate Format）標(biāo)準(zhǔn)化分辨率格式（4:2:0）標(biāo)準(zhǔn)化分辨率格式類似的格式定義還有4CIF（4CIF，704576或720576），都是以CIF格式為基準(zhǔn)進(jìn)行定義如果是NTSC制，則各種格式的288的倍數(shù)相應(yīng)改為240

18、的倍數(shù)標(biāo)準(zhǔn)化分辨率格式The choice of frame resolution depends on the application and available storage or transmission capacity. For example, 4CIF is appropriate for standard-definition television and DVD-video; CIF and QCIF are popular for videoconferencing applications; QCIF or SQCIF are appropriate for mobil

19、e multimedia applications where the display resolution and the bitrate are limited.標(biāo)準(zhǔn)化分辨率格式寬高比(Aspect ratio)指視頻圖像的寬度和高度之間的比例傳統(tǒng)影視的寬高比是 4:3，寬屏幕電影的寬高比是 1.85:1，高清晰度電視是 16:9，全景式電影是 2.35:14:3 (12:9)16:9高清電視高清晰度電視(High Definition Television)是具有正常視力的觀眾可得到與觀看原始景物時(shí)的感受幾乎相同的數(shù)字電視HDTV屏幕的寬高比均為16：9電視畫面可用19201080像素和

20、1280720像素兩種尺寸掃描方式為逐行掃描或隔行掃描HDTV格式720p格式：1280720，水平720線，逐行掃描，720p30fps， 720p60fps1080i格式：19201080，水平1080線，隔行掃描， 1080i60fps (每秒60場)1080p格式：19201080，水平1080線，逐行掃描， 1080p30fps， 1080p60fps超高清電視UHDTVUltra-high-Definition Television超高清電視UHDTV標(biāo)清電視標(biāo)準(zhǔn)清晰度電視（Standard Definition Television，SDTV）是指電視圖像的質(zhì)量比HDTV制數(shù)字電

21、視質(zhì)量低的電視，分辨率相當(dāng)于PAL制或NTSC制模擬電視的最好分辨率720576720480標(biāo)準(zhǔn)化分辨率格式（計(jì)算機(jī)）VGA=Video Graphics Array 640*480SVGA=Super Video Graphics Array 800*600XGA=Extended Graphics Array 1024*768SXGA=Super Extended Graphics Array 1280*1024SXGA+ = 1400*1050UXGA=Ultra Extended Graphics Array 1600*1200信號量化采樣后所得到的模擬信號在時(shí)間-空間上是離散的，但在

22、幅度上仍然是連續(xù)的量化：將無限級的信號幅度變換成有限級的數(shù)碼表示量化器：按照一定規(guī)則對采樣信號的幅度值作近似表示，變成有限離散值均勻量化對于均勻量化一般量化值都用二進(jìn)制來表示，如果用B個(gè)二進(jìn)制表示量化值，即量化字長，那么一般將幅度值劃分為2B個(gè)等分區(qū)間111-4 -3 -2 -100101110011010001000-1/2 -3/2 -5/2 -7/2 7/2 5/2 3/2 1/2 2 3 4信號量化在時(shí)間軸的任意一點(diǎn)上量化后的信號電平與原模擬信號電平之間在大多數(shù)情況下總是存在有一定的誤差，量化所引入的誤差是不可避免的同時(shí)也是不可逆的由于信號的隨機(jī)性這種誤差大小也是隨機(jī)的，這種表現(xiàn)類似于

23、隨機(jī)噪聲效果，具有相當(dāng)寬度的頻譜，因此我們又把量化誤差稱為量化噪聲信號量化如果視頻信號量化比特率為8比特，信號就有256個(gè)量化值若最大信號正好用足8比特的話，小于1/256最大值的信號就只能當(dāng)0處理了而且每兩個(gè)相鄰數(shù)字的差距也必需大于1/256最大值才能分得開，當(dāng)兩個(gè)原來不同的數(shù)值用同一個(gè)二進(jìn)制值來表示時(shí)，實(shí)際數(shù)值與記錄數(shù)值之差就成為量化噪聲信號量化所以，量化比特率已決定了整個(gè)系統(tǒng)的理想狀態(tài)下的最小噪聲、動(dòng)態(tài)范圍和信噪比，模擬信號在理想狀態(tài)是沒有這種限制的非均勻量化基于人的視覺特性，對于人眼不敏感的部分不需要進(jìn)行過細(xì)的分層，只需進(jìn)行粗量 化而對人眼敏感的部分，就需要進(jìn)行較細(xì)的分層，即需進(jìn)行細(xì)量

24、化2.5 數(shù)字視頻的采集2.5.1 視頻采集卡2.5.2 數(shù)字?jǐn)z像機(jī)2.5.3 攝像頭2.5.1 視頻采集卡系統(tǒng)從模擬設(shè)備中獲取數(shù)字視頻：首先是提供模擬視頻輸出的設(shè)備；然后是可以對模擬視頻信號進(jìn)行采集的設(shè)備；最后，是接收和記錄編碼后的數(shù)字視頻數(shù)據(jù)的設(shè)備視頻采集卡系統(tǒng)提供模擬視頻輸出的設(shè)備有錄像機(jī)、攝像機(jī)、電視機(jī)等對模擬視頻信號進(jìn)行采集、量化和編碼的設(shè)備由視頻采集卡來完成最后，由計(jì)算機(jī)接收和記錄編碼后的數(shù)字視頻數(shù)據(jù)視頻采集卡(Video capture card)在這一過程中起主要作用的是視頻采集卡，它不僅提供接口以連接模擬視頻設(shè)備和計(jì)算機(jī)，而且具有把模擬信號轉(zhuǎn)換成數(shù)字信號的功能視頻采集卡視頻采

25、集卡是安裝在計(jì)算機(jī)擴(kuò)展槽上的一個(gè)板卡它可以匯集多種視頻源的信息，對被捕捉和采集到的模擬視頻進(jìn)行數(shù)字化、凍結(jié)、存儲(chǔ)、輸出及其他處理操作，如編輯、修整、裁剪、按比例繪制、像素顯示調(diào)整、縮放、壓縮等視頻采集卡工作原理圖視頻采集卡的接口視頻采集卡的接口包括與模擬視頻設(shè)備的接口、與PC的接口可接收來自攝像機(jī)、錄像機(jī)、VCD機(jī)等多種視頻信號，通過軟件可選擇所需的視頻源目前PC視頻采集卡通常采用32位的PCI總線接口，插到PC主板的擴(kuò)展槽中，以實(shí)現(xiàn)采集卡與PC的通信與數(shù)據(jù)傳輸視頻采集卡的接口視頻采集卡至少要具有一個(gè)復(fù)合視頻接口（Video In），以便與模擬視頻設(shè)備相連高性能的采集卡一般具有一個(gè)復(fù)合視頻接口

26、和一個(gè)S-Video接口；一般的采集卡都支持PAL和NTSC兩種電視制式視頻采集卡的實(shí)時(shí)采集處理由于模擬視頻輸入端可以提供不間斷的信息源，視頻采集卡要采集模擬視頻序列中的每幀圖像，并在采集下一幀圖像之前把這些數(shù)據(jù)傳入PC系統(tǒng)因此，實(shí)現(xiàn)實(shí)時(shí)采集的關(guān)鍵是每一幀需要多少處理時(shí)間如果每幀視頻圖像的處理時(shí)間超過相鄰兩幀之間的相隔時(shí)間，則會(huì)出現(xiàn)數(shù)據(jù)的丟失，即丟幀現(xiàn)象視頻采集卡的壓縮功能視頻采集卡可以把獲取的視頻序列進(jìn)行壓縮處理也就是說，視頻序列的獲取和壓縮是在一起完成的，免除了再次進(jìn)行壓縮處理的不便不同檔次的采集卡具有不同質(zhì)量的采集壓縮性能視頻采集卡的驅(qū)動(dòng)和應(yīng)用程序視頻采集卡一般都配有硬件驅(qū)動(dòng)程序以實(shí)現(xiàn)P

27、C對視頻采集卡的控制和數(shù)據(jù)通信根據(jù)不同的視頻采集卡所要求的操作系統(tǒng)環(huán)境，各有不同的驅(qū)動(dòng)程序只有把采集卡插入了PC的主板擴(kuò)展槽并正確安裝了驅(qū)動(dòng)程序以后才能正常工作外置式與內(nèi)置式外置式的USB接口視頻采集卡和內(nèi)置式的PCI接口視頻采集卡內(nèi)置式的優(yōu)勢：首先，價(jià)格要比外置的便宜很多其次，它不會(huì)占用外部的桌面空間，現(xiàn)在在電腦桌上有太多的外設(shè)，如果擺放的過多也是件比較煩人的事情外置式與內(nèi)置式其三，內(nèi)置視頻卡不需外接電源，不僅省去了一個(gè)電源插頭的位置，也減少了電源連接線過多而顯得十分雜亂的情況，而且還可以避免因市電電壓不穩(wěn)而帶來的視頻質(zhì)量下降的情況發(fā)生外置式與內(nèi)置式內(nèi)置式視頻卡弱點(diǎn)： 易受到電腦內(nèi)部元器件的

28、電磁干擾，引起其播放質(zhì)量下降在板卡安裝時(shí)要比外置的麻煩一些，必須要拆開機(jī)箱才可以進(jìn)行安裝在安裝驅(qū)動(dòng)或軟件時(shí)也容易和其他電腦設(shè)備發(fā)生沖突2.5.2 數(shù)字?jǐn)z像機(jī)數(shù)字?jǐn)z像機(jī)就是DV、Digital Video數(shù)碼攝像機(jī)進(jìn)行工作的基本原理簡單說就是光-電-數(shù)字信號的轉(zhuǎn)變與傳輸通過感光元件將光信號轉(zhuǎn)變成電流，再將模擬電信號轉(zhuǎn)變成數(shù)字信號，并由專門的芯片進(jìn)行處理和過濾后得到的視頻信息數(shù)字?jǐn)z像機(jī)數(shù)字?jǐn)z像機(jī)的圖像傳感器件能把光線轉(zhuǎn)變成電荷，通過模數(shù)轉(zhuǎn)換器（ADC）芯片轉(zhuǎn)換成數(shù)字信號，主要有兩種：一種是廣泛使用的CCD（Charge-coupled Device，電荷藕合器件）；另一種是CMOS（Complementary Metal Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體）按使用用途可分為：廣播級機(jī)型、專業(yè)級機(jī)型、消費(fèi)級機(jī)型；按存儲(chǔ)介質(zhì)可分為：光盤式、硬盤式、存儲(chǔ)卡式按照使用用途分類 1、廣播級機(jī)型 2、專業(yè)級機(jī)型 3、消費(fèi)級機(jī)型 1、光盤式 2、硬盤式 3、存儲(chǔ)卡式 按照存儲(chǔ)介質(zhì)分類圖像傳感器件CCD電荷耦合器件、 CMOS互補(bǔ)金屬氧化物半導(dǎo)體 CCD的優(yōu)點(diǎn)是靈敏度高，噪音小，信噪比大，但是生產(chǎn)工藝復(fù)雜、成本高、功耗高CMOS的優(yōu)點(diǎn)