CMOS Sensor Interface CSI

1、cmos sensor interface csicmos圖像傳感器分為兩類(lèi)，非智能和智能。非智能的這類(lèi)圖像傳感器只是支持傳統(tǒng)的攝像頭時(shí)序(場(chǎng)同步和行同步)，然后輸出一個(gè)bayer(拜耳)以及統(tǒng)計(jì)的數(shù)據(jù),而智能傳感器支持ccir656視頻解碼格式，并且還提供了額外的一些圖像處理(例如：圖像壓縮，圖像濾波預(yù)處理，以及多種數(shù)據(jù)輸出格式)csi的包含的能力如下：.前端-配置邏輯接口以便支持大多數(shù)通用的可用的cmos攝像頭接口。.支持ccir656視頻接口以及傳統(tǒng)的攝像頭接口。.8位數(shù)據(jù)口，支持方便ycc,yuv,bayer或者是rgb的數(shù)據(jù)格式輸入。.完全可控的8-bit或16-bit數(shù)據(jù)到32-b

2、it的fifo進(jìn)行打包.32*32大小的fifo存儲(chǔ)接受到的的圖像像素?cái)?shù)據(jù)，該fifo可以通過(guò)可編程的io或者是dma進(jìn)行讀取.后端-提供了直接到emma的預(yù)處理prp塊接口(prp和pp組成了mx27圖形加速器emma，prp和pp能夠用來(lái)給視頻做預(yù)處理和后期處理，例如，放大，縮小，顏色轉(zhuǎn)換).提供sensor的可屏蔽中斷源，該中斷源也是中斷可控的：開(kāi)始frame,結(jié)束frame,change of field,fifo full.提供給外部sensor用的，可配置的主時(shí)鐘頻率.由統(tǒng)計(jì)數(shù)據(jù)產(chǎn)生的自動(dòng)曝光(ae)和自動(dòng)白平衡(awb)控制。39.1 csi結(jié)構(gòu)39-5圖，顯示了cmos攝像頭接

3、口的框圖，它包含了2個(gè)控制寄存器(control register 1和3)來(lái)建立接口的時(shí)序以及中斷產(chǎn)生，另外一個(gè)控制器(control register 2)用來(lái)產(chǎn)生統(tǒng)計(jì)數(shù)據(jù)，還有一個(gè)狀態(tài)寄存器，接口邏輯，數(shù)據(jù)包邏輯，ccir時(shí)序編碼，中斷控制，主時(shí)鐘產(chǎn)生源，統(tǒng)計(jì)數(shù)據(jù)產(chǎn)生，32*32圖像數(shù)據(jù)接受fifo(rxfifo),還有16*32統(tǒng)計(jì)數(shù)據(jù)fifo(statfifo).39.2 csi接口信號(hào)描述csi模塊和外部的cmos圖像傳感器的接口如下：.csi_vsync input vertical sync(start of frame)攝像頭傳輸進(jìn)csi接口，是場(chǎng)同步接口，提供起始幀.csi

4、_hsync input horizontal sync(blank signal)攝像頭傳輸進(jìn)csi接口，是行同步接口，提供行同步信號(hào)，判斷消隱信號(hào).csi_d7：0input 8-bit攝像頭數(shù)據(jù)總線(傳輸yuv,ycc,rgb，或者bayer等數(shù)據(jù)).csi_mclk output sensor master clock該接口是csi輸出接口，提供給外部攝像頭的主時(shí)鐘.csi_pixclk input pixel clock該接口是攝像頭輸出的像素時(shí)鐘，一般都等于mclk主時(shí)鐘在csi的rxfifo和emma的預(yù)處理塊prp之間有一條用來(lái)快速傳輸數(shù)據(jù)的數(shù)據(jù)線.該數(shù)據(jù)線可以enabled或

5、者disabled。當(dāng)該bus enabled時(shí)，csi的rxfifo會(huì)從ahb總線上取消，并且連接到prp上。任何cpu或者dma通道到rxfifo寄存器的請(qǐng)求讀取都將被忽略(因?yàn)檫B接到prp上了)所有的csi中斷都被mask防止軟件訪問(wèn)fifo以及相關(guān)的狀態(tài)寄存器。rxfifo設(shè)定full level等級(jí)為4/8/16 words,如果是24words那么內(nèi)部邏輯認(rèn)為是8words.用戶(hù)使用rxfifo的full level來(lái)參考數(shù)據(jù)格式和線性寬度，來(lái)確保傳輸?shù)膸且粋€(gè)完整的幀，圖像的大小(in words)必須是rxfifo設(shè)定的full level的整數(shù)倍。關(guān)系如下：數(shù)據(jù)格式每個(gè)像素包

6、含的byte數(shù)目每個(gè)words包含的像素?cái)?shù)目rxfifo full level等級(jí)所需要的線寬(line width)yuv422 22 4/8/16words 8/16/32的倍數(shù)ycc422 22同上8/16/32的倍數(shù)rgb565 22同上8/16/32的倍數(shù)rgb888 41同上4/8/16的倍數(shù)bayer 14 16/32/64的倍數(shù)39.3操作原理該小段描述sensor接口的操作模式csi設(shè)計(jì)是為了支持普通的sensor接口時(shí)序以及ccir656的視頻接口時(shí)序。傳統(tǒng)的cmos傳感器典型使用sof,hsync(消隱)，和pixclk信號(hào)給bayer或者yuv輸出。智能cmos傳感器，

7、一般在片上都有圖像處理，并且通常都支持視頻模式的傳輸，它們使用了內(nèi)嵌的時(shí)序編碼來(lái)取代了sof和blank信號(hào)。該時(shí)序編碼依據(jù)的標(biāo)準(zhǔn)就是ccir656.39.3.1門(mén)選通時(shí)鐘模式(gated mode)vsync，hsync,以及pixclk信號(hào)采用的都是門(mén)選時(shí)鐘模式(脈沖門(mén))一個(gè)幀通常都開(kāi)始于vsync的上升沿_|_,然后hsync信號(hào)開(kāi)始變高h(yuǎn)igh,并且hold高電平整行數(shù)據(jù)(line)。并且當(dāng)hsync信號(hào)是高電平的時(shí)候，pixel clock才是合法的像素時(shí)鐘，data數(shù)據(jù)就是每hsync高電平期間，每個(gè)pixel clock上升沿讀取的數(shù)據(jù)才是有效數(shù)據(jù)。當(dāng)hsync為低電平的時(shí)候那么

8、該行就結(jié)束了。pixel clock就是不合法了，并且csi也停止從stream中接收數(shù)據(jù)。然后等待下一行的hsync重復(fù)開(kāi)始,最后重復(fù)vsync進(jìn)入下一幀。39.3.2非門(mén)選通時(shí)鐘模式(non-gated mode)該模式下，只有vsync和pixel clock兩個(gè)信號(hào)使用到，hsync是被忽略的。該模式下，總的時(shí)間是和gated mode一樣的,區(qū)別只是在于hsync信號(hào)。hsync是被csi忽略的，所有的pixel clock時(shí)鐘所表示的數(shù)據(jù)都是合法的，其實(shí)區(qū)別就是gate模式的pixel clock是一直開(kāi)著的，而該模式下是和hsync同步進(jìn)行了與門(mén)的操作，只保留了有效數(shù)據(jù)的pixe

9、l clock.所以pixel clock在非法數(shù)據(jù)時(shí)候是低電平。39.3.3 ccir656接口模式在ccir656模式中，只有pixel clock和data7：0信號(hào)被使用到。起始幀vsyhc和blank消隱信號(hào)都被攝像頭內(nèi)直接內(nèi)嵌的時(shí)序編碼根據(jù)時(shí)序直接替換為有效數(shù)據(jù)流，不需要后期進(jìn)行數(shù)據(jù)流的處理。每一個(gè)有效行伴隨sav碼激活，并且伴隨eav碼結(jié)束。有一些方案，數(shù)字化的消隱信號(hào)是插在sav和eav之間的。csi會(huì)從數(shù)據(jù)流中進(jìn)行編碼以及濾出相關(guān)的時(shí)序，來(lái)還原vsyhc和hsync信號(hào)，來(lái)給內(nèi)部使用，例如統(tǒng)計(jì)塊控制和csi-to-prp互連時(shí)。數(shù)據(jù)從直接轉(zhuǎn)發(fā)，以原來(lái)連續(xù)的方式進(jìn)行打包。因此，

10、第一幀是跟在第二幀后面的(如果得到了2幀的話)。所以，該幀序是需要重新進(jìn)行排序的，來(lái)還原原來(lái)的圖像。cof(change of field改變域/幀/場(chǎng))，它觸發(fā)奇偶場(chǎng)的變化。中斷服務(wù)會(huì)讀取狀態(tài)寄存器來(lái)確定是否是當(dāng)前的幀。依據(jù)ccir656標(biāo)準(zhǔn)，圖像必須是625/50幀的pal,或者是525/60幀的ntsc格式。另外，圖像還要交錯(cuò)成奇偶場(chǎng)，垂直和行消隱數(shù)據(jù)都被填入特定的行。數(shù)據(jù)必須是ycc422格式，每個(gè)像素包含了2 bytes,y+cr+y+cb.這些都是tv模式的設(shè)定。該csi僅僅支持pal和ntsc制式。從39-3圖中可以看到，sof是一個(gè)中斷，時(shí)序編碼timing codec中斷產(chǎn)生

11、，表示來(lái)了新的幀，sov1和sov2是表示奇偶域。39-4，39-5兩圖表示具體的碼和有效數(shù)據(jù)位。39.3.4 ccir656更進(jìn)模式cmos攝像頭系統(tǒng)提供的vga或cif分辨率，cif標(biāo)準(zhǔn)中，奇偶場(chǎng)交錯(cuò)不用很?chē)?yán)格的指出，因?yàn)閏if圖像本身就很小，使用奇場(chǎng)或偶場(chǎng)就可以了。一般是使用奇場(chǎng)，即field 1.大多數(shù)的sensor都支持該ccir模式，因此在cif下，只要一個(gè)sof中斷進(jìn)入新的一幀，而不需要sov來(lái)判斷奇偶場(chǎng)了。39.3.5 ccir656編碼錯(cuò)誤校驗(yàn)依據(jù)ccir編碼表，sav和evav之間的保護(hù)數(shù)據(jù)是被編碼過(guò)的，使用這種方法，編碼器可以糾正1-bit錯(cuò)誤，可以檢查2-bit的錯(cuò)誤。

12、該特征只是在csi的ccir編碼中，僅僅是奇偶交錯(cuò)模式中支持。39.4中斷產(chǎn)生39.4.1起始幀中斷start of frame interrupt(sof_int)-一般都是vsyhc的上升沿開(kāi)始，就觸發(fā)了在傳統(tǒng)模式中，vsyhc信號(hào)來(lái)自傳感器，因此sof_int中斷是由vsyhc信號(hào)的上升沿或者是下降沿觸發(fā)的。在ccir模式中，sof中斷信息是從嵌入的代碼檢索出來(lái)的，并且產(chǎn)生sof_int的。在ccir更進(jìn)模式中，有下面兩個(gè)sof中斷：.內(nèi)部vsyhc模式，sof是從嵌入的代碼檢索出來(lái).外部vsyhc模式，來(lái)自外部攝像頭輸入的vsyhc信號(hào)，根據(jù)vsyhc的上升沿或下降沿來(lái)產(chǎn)生sof.39

13、.4.2結(jié)束幀中斷end of frame interrupt(eof_int)當(dāng)一幀結(jié)束或者是一個(gè)在rxfifo中的完整的幀數(shù)據(jù)被全部讀出時(shí)，eof中斷就產(chǎn)生了，eof并不在csi的prp模式中使用。39.4.3改變幀中斷change of field interrupt(cof_int)該中斷是用在ccir奇偶域交錯(cuò)的模式下使用，該中斷當(dāng)field 1和field 2交錯(cuò)的時(shí)候產(chǎn)生。f1_int和f2_int會(huì)產(chǎn)生39.4.4 ccir錯(cuò)誤中斷(ecc_int)ccir中斷僅僅用在ccir奇偶場(chǎng)交錯(cuò)的模式下使用，因?yàn)槿绻麤](méi)有奇偶場(chǎng)交錯(cuò)的話，不需要校驗(yàn)該幀的奇偶幀，如果有的話，那么如果是錯(cuò)誤

14、下，還將該奇偶場(chǎng)拼接進(jìn)行合成的話，那么畫(huà)面肯定出問(wèn)題了。39.4.5 data packing style數(shù)據(jù)打包格式由于圖像在采集的過(guò)程中，不同的端口大小，不同的階段，數(shù)據(jù)的字節(jié)順序是非常重要的。為了能夠靈活的對(duì)圖像數(shù)據(jù)進(jìn)行打包，csi模塊提供了數(shù)據(jù)交換空間，通過(guò)pack_dir和swap16_en bits(包含在csirc1-csi control register1中)數(shù)據(jù)在提交給rxfifo之前，利用設(shè)置pack_dir的bit位來(lái)進(jìn)行打包。39.4.6 rxfifo路徑bayer數(shù)據(jù)是一個(gè)從圖像傳感器獲得典型的行數(shù)據(jù)。該數(shù)據(jù)寬度一定要通過(guò)軟件轉(zhuǎn)化為rgb空間或者是yuv空間的數(shù)據(jù)格

15、式。pack_dir bit設(shè)置為0，表示系統(tǒng)是小端，不是大端系統(tǒng)。使用p0,p1,p2,p3存放了打包了的數(shù)據(jù)內(nèi)容，p0是第一個(gè)data,依次，p3是最后一個(gè)data.page 1438 39.4.6.1 rgb565數(shù)據(jù)(我們用的ov9660-0xd71：0是選擇yuv還是rgb模式，yuv=00,rgb=01)rgb565數(shù)據(jù)是從圖像傳感器獲得的處理過(guò)的數(shù)據(jù)，該數(shù)據(jù)可以直接顯示到video buffer上面。這個(gè)數(shù)據(jù)格式是16-bits的寬度，該數(shù)據(jù)可以直接通過(guò)csi給memory,然后memory給lcdc.39.4.6.2 rgb888數(shù)據(jù)格式-24位bit屏可用總結(jié)：mx27提供了

16、一個(gè)非常專(zhuān)業(yè)的攝像頭csi接口，可以配置相關(guān)的口進(jìn)行接口匹配。我們的攝像頭是ov9660，輸出設(shè)定為yuv模式，因此，csi獲取的數(shù)據(jù)也是yuv格式的數(shù)據(jù)，因此還需要通過(guò)軟件，將yuv的格式轉(zhuǎn)化為rgb565、rgb656、rgb888格式放到lcdc對(duì)應(yīng)的memory進(jìn)行顯示輸出。轉(zhuǎn)化公式如下：from rgb to yuv y=0.299r+0.587g+0.114b u=0.492(b-y)v=0.877(r-y)it can also be represented as：y=0.299r+0.587g+0.114b u=-0.147r-0.289g+0.436b v=0.615r-0.

17、515g-0.100b from yuv to rgb r=y+1.140v g=y-0.395u-0.581v b=y+2.032u我的額外話題：當(dāng)前攝像頭的參數(shù)我們基本上主要看：1.攝像頭像素是多少萬(wàn)的?我這邊羅列了一部分2560*1960=4915200,也就是通常說(shuō)的500w 1600*1200=1920000，也就是200w 1280*960=1228800，也就是130w像素640*480=307200,也就是30w該像素可以放映到你的抓圖上面的大小，該像素就是說(shuō)明你的cmos或者是ccd感光元件的像素點(diǎn)多少，可以想象在相同的面積上，數(shù)量越多，感光元件肯定要越小，感光元件小，那么圖

18、像的質(zhì)量其實(shí)會(huì)變差，這個(gè)當(dāng)然可以理解，但是從大的方面來(lái)說(shuō)，只要鏡頭好，光源充足，那么效果也會(huì)變好，這樣畫(huà)面就比像素低的更加的細(xì)膩，所以高像素的好處就在這里。有種專(zhuān)業(yè)上的說(shuō)法，是你的攝像頭達(dá)到幾線幾線的?2.幀率?也就是看你的最大分辨率的時(shí)候能夠達(dá)到的最大幀率是多少?像ov系列來(lái)說(shuō)，一般最大的分辨率下的幀率是30幀左右，也可以調(diào)頻率進(jìn)行提高。我們?nèi)说难劬σ话闱闆r下，只要圖像能夠達(dá)到每秒30幀，那么利用眼睛的視覺(jué)殘留，基本上可以感覺(jué)到圖像是連續(xù)的，人眼的視覺(jué)殘留時(shí)間超過(guò)30ms。我調(diào)試攝像頭的時(shí)候，可以發(fā)現(xiàn)有個(gè)非常嚴(yán)重的現(xiàn)象就是，加開(kāi)夜光模式的時(shí)候，幀率掉的非常嚴(yán)重，這個(gè)估計(jì)就是dsp后期處理的時(shí)

19、候，處理不了每秒30幀，只能往下降了，黑白的話效果好一些。3.鏡頭也是非常關(guān)鍵的，這個(gè)就要看不同的廠家，不同的顯示效果題外篇我們買(mǎi)到的數(shù)碼相機(jī)，現(xiàn)在都是1300w以上的，但是并不是說(shuō)我們的攝像模式下可以達(dá)到這個(gè)分辨率，不信的話你可以去試試看，因?yàn)閿z像要求比較高，需要達(dá)到每秒30幀以上，這個(gè)對(duì)dsp處理的負(fù)荷很重(rgb-顏色空間轉(zhuǎn)換-h264編碼/jpg編碼)，有人說(shuō)我們?yōu)槭裁床焕脭?shù)碼相機(jī)的連續(xù)抓拍功能，這樣既能保證分辨率又可以攝像，其實(shí)原理是一樣的，抓拍也不可能高像素下達(dá)到每秒30幀。還有，我們有一些非常高的像素是如何達(dá)到的呢?其實(shí)現(xiàn)在的做法都是靠拼裝，也就是說(shuō)兩塊ccd感光模塊分別進(jìn)行攝像，然后在末端進(jìn)行同步，這樣就能提高像素，而且dsp的負(fù)荷不用太過(guò)進(jìn)行提升，但是這樣的拼裝方法