攝像頭接口分類及基礎(chǔ)知識

1、.一、 Camera 工作原理介紹1 結(jié)構(gòu)2 工作原理外部光線穿過 lens 后， 經(jīng)過 color filter濾波后照射到Sensor 面上， Sensor將從lens 上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的AD 轉(zhuǎn)換為數(shù)字信號。如果Sensor沒有集 成 DSP，則通過 DVP 的方式傳輸?shù)絙aseband ，此時的數(shù)據(jù)格式是RAW DATA。如果集成 了 DSP， RAW DATA 數(shù)據(jù)經(jīng)過 AWB、則 color matrix、 lens shading、 gamma、sharpness 、 AE 和 de-noise處理，后輸出YUV 或者 RGB 格式的數(shù)據(jù)。最后會由 CPU

2、 送到 framebuffer中進(jìn)行顯示，這樣我們就看到 camera拍攝到的景象了。3 YUV 與 YCbCr 一般來說， camera 主要是由lens 和 sensor IC兩部分組成，其中有的sensor IC集成 了 DSP，有的沒有集成，但也需要外部DSP 處理。細(xì)分的來講， camera 設(shè)備由下邊幾部 分構(gòu)成：1） lens（鏡頭）一般 camera的鏡頭結(jié)構(gòu)是有幾片透鏡組成，分有塑膠透鏡（Plastic) 和玻璃透鏡 (Glass)，通常鏡頭結(jié)構(gòu)有：1P,2P,1G1P,1G3P,2G2P,4G等。2） sensor （圖像傳感器） Senor 是一種半導(dǎo)體芯片，有兩種類型：

3、CCD（ Charge Coupled Device）即電荷耦合器件的縮寫和 CMOS（ Complementary Metal-OxideSemiconductor ）互補金屬氧化物半導(dǎo)體。Sensor 將從 lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的 AD 轉(zhuǎn)換為數(shù)字信號。由于 Sensor的每個 pixel只能感光 R光或者 B光或者 G 光， 因此每個像素此時存貯的是單色的，我們稱之為 RAW DATA 數(shù)據(jù)。 要想將每個像素的 RAW DATA 數(shù)據(jù)還原成三基色，就需要ISP來處理。注：CCD傳感器，電荷信號先傳送，后放大，再A/D，成像質(zhì)量靈敏度高、分辨率好、噪聲小；處理速

4、度慢；造價高，工藝復(fù)雜。CMOS傳感器，電荷信號先放大，后A/D，再傳送；成像質(zhì)量靈敏度低、噪聲明顯；處理速度快；造價低，工藝簡單。3） ISP （圖像信號處理）主要完成數(shù)字圖像的處理工作，把sensor采集到的原始數(shù)據(jù)轉(zhuǎn)換為顯示支持的格式。.4）CAMIF（ camera 控制器）芯片上的 camera接口電路，對設(shè)備進(jìn)行控制，接收sensor采集的數(shù)據(jù)交給CPU，并送入LCD 進(jìn)行顯示。YUV 和 RGB 一樣，是色彩空間中常用的色彩模型之一，兩者可以相互轉(zhuǎn)換。YUV中 得 Y表示亮度， U 和 V 表示色度。與RGB 相比，它的優(yōu)點在于占用更少的空間。YCbCr 則是在世界數(shù)字組織視頻標(biāo)

5、準(zhǔn)研制過程中作為ITU - R BT601建議的一部分 , 其實是 YUV 經(jīng)過縮放和偏移的翻版。其中 Y與 YUV 中的 Y 含義一致 , Cb , Cr同樣都指色 彩,只是在表示方法上不同而已。在 YUV家族中 , YCbCr 是在計算機系統(tǒng)中應(yīng)用最多的成員 ,其應(yīng)用領(lǐng)域很廣泛 ,JPEG、 MPEG 均采用此格式。 一般人們所講的 YUV 大多是指 YCbCr。 YCb Cr 有許多取樣格式 , 如 4 4 4 , 4 2 2 , 4 1 1 和 4 20。二、攝像頭接口分類常見類型有MIPI 、 DVP和 usb 接口接口DVP總線 PCLK極限大約在96M左右，而且走線長度不能過長，

6、所有DVP最大速率最好控制在72M 以下，故 PCB layout會較好畫。 MIPI 總線速率隨便就幾百M，而且是 lvds 接口耦合， 走線必須差分等長，并且注意保護， 故對 PCB走線以及阻抗控制要求高一點。一般而言， 96M pclk是 DVP的極限，曾經(jīng)在一個team 做多攝相頭的圖象采集設(shè)備，DVP總線連接。幾個不懂技術(shù)的一直push 我說是硬件走線干擾啊，拘泥糾纏在什么I2C 這種低速控制信號受干擾，還搞了好幾天看示波器，被煩的不行，我用一個晚上時間改驅(qū)動降低PCLK 降楨率搞定。1） DVP是并口，需要PCLK、 VSYNC、 HSYNC、D0 ： 11 可以是8/10/12b

7、it數(shù)據(jù)，看ISP或 baseband 是否支持；MIPI 是 LVDS（Low Voltage Differential Signaling，低電壓差分信號），低壓差分串口。只需要要CLKP/N、 DATAP/N最大支持4-lane ，一般 2-lane可以搞定。2） MIPI 接口比 DVP的接口信號線少，由于是低壓差分信號，產(chǎn)生的干擾小，抗干擾能力也強。最重要的是DVP接口在信號完整性方面受限制，速率也受限制。500W還可以勉強用DVP， 800W及以上都采用MIPI 接口。/*/.注（液晶屏接口類型）：Mipi接口和 LVDS 接口主要區(qū)別（這里是液晶屏接口類型）：1. LVDS接口只

8、用于傳輸視頻數(shù)據(jù)， MIPI DSI 不僅能夠傳輸視頻數(shù)據(jù)， 還能傳輸控制指令；2. LVDS 接口主要是將 RGB TTL信號按照 SPWG/JEIDA格式轉(zhuǎn)換成 LVDS信號進(jìn)行傳輸， MIPI DSI 接口則按照特定的握手順序和指令規(guī)則傳輸屏幕控制所需的視頻數(shù)據(jù)和控制數(shù)據(jù)。液晶屏有RGB TTL、LVDS、MIPI DSI 接口，這些接口區(qū)別于信號的類型（種類），也區(qū)別于信號內(nèi)容。RGB TTL 接口信號類型是TTL 電平，信號的內(nèi)容是RGB666或者 RGB888還有行場同步和時鐘；LVDS接口信號類型是LVDS信號（低電壓差分對），信號的內(nèi)容是RGB數(shù)據(jù)還有行場同步和時鐘；MIPI

9、DSI 接口信號類型是LVDS信號，信號的內(nèi)容是視頻流數(shù)據(jù)和控制指令。/* */串口信號 ：串行接口（ Serial Interface）是指數(shù)據(jù)一位位地順序傳送，其特點是通信線路簡單，只要一對傳輸線就可以實現(xiàn)雙向通信，并可以利用電話線，從而大大降低了成本，特別適用于遠(yuǎn)距離通信，但傳送速度較慢。串行接口， 一條信息的各位數(shù)據(jù)被逐位按順序傳送的通訊方式稱為串行通訊。串行通訊的特點是：數(shù)據(jù)位傳送， 傳按位順序進(jìn)行， 最少只需一根傳輸線即可完成； 成本低但傳送速度慢。串行通訊的距離可以從幾米到幾千米； 根據(jù)信息的傳送方向， 串行通訊可以進(jìn)一步分為單工、半雙工和全雙工三種。串行通訊的特點是：數(shù)據(jù) 位的

10、傳送，按位順序進(jìn)行。并口信號：并行接口， 指采用并行傳輸方式來傳輸數(shù)據(jù)的接口標(biāo)準(zhǔn)。從最簡單的一個并行數(shù)據(jù)寄存器或?qū)Ｓ媒涌诩呻娐沸酒?255、6820 等，一直至較復(fù)雜的SCSI 或 IDE 并行接口，種類有數(shù)十種。一個并行接口的接口特性可以從兩個方面加以描述：1.以并行方式傳輸?shù)臄?shù)據(jù)通道的寬度，也稱接口傳輸?shù)奈粩?shù)；2.用于協(xié)調(diào)并行數(shù)據(jù)傳輸?shù)念~外接口控制線或稱交互信號的特性。數(shù)據(jù)的寬度可以從1 128 位或者更寬， 最常用的是8 位，可通過接口一.次傳送8 個數(shù)據(jù)位。在計算機領(lǐng)域最常用的并行接口是通常所說的LPT 接口。 并口就是 8個車道同一時刻能傳送8 位（一個字節(jié)）數(shù)據(jù)。并不是說并口快

11、，由于 8 位通道之間的 互相干擾 （串?dāng)_）， 傳輸時速度就受到了限制，傳輸容易出錯。串口沒有互相干擾。差分信號：（差模信號：雙端輸入時，兩個信號的相位相差180 度）所謂差分方式傳輸， 就是發(fā)送端在兩條信號線上傳輸?shù)姆凳窍嗟鹊模?相位是相反的電信號，如下圖所示：而對于接收端，將會對接收的兩條信號做 減法運算，這樣就獲得了幅值翻倍的信號，其抗干擾原理是：假如兩條信號都收到同樣的（同向、等幅度）的干擾信號，由于接收端是懟接收的兩條線信號進(jìn)行減法處理，因此干擾信號會被基本抵消。也就是說， 一個差分.放大器的輸入有效信號幅度只需要幾毫伏，但是它卻能夠?qū)σ粋€高達(dá)幾伏特的共模信號無動于衷。那么怎么樣才

12、能保證兩條信號線受到的干擾信號盡量是同相、 等幅呢？辦法之一就是要將那兩根線扭在一起，也就是所謂的“雙絞線”，因為有一個電磁學(xué)定理：可以近似的認(rèn)為雙絞線收到的干擾信號是同相、 等幅度的， 所以差分信號在信號傳輸中用的比較多， 也就有原因了。 因為抗干擾性強 。對于PCB工程師來說，最關(guān)注的還是如何確保在實際走線中能完全發(fā)揮差分走線的這些優(yōu)勢。 也許只要是接觸過Layout的人都會了解差分走線的一般要求，那就是“等長、等距”。等長是為了保證兩個差分信號時刻保持相反極性，減少共模分量；等距則主要是為了保證兩者差分阻抗一致，減少反射。 “盡量靠近原則”有時候也是差分走線的要求之一。三、 MIPI 聯(lián)

13、盟的 MIPI DSI規(guī)范MIPI （移動行業(yè)處理器接口）是Mobile Industry Processor Interface的縮寫。1、名詞解釋? DCS (DisplayCommandSet)： DCS是一個標(biāo)準(zhǔn)化的命令集，用于命令模式的顯示模組。? DSI, CSI (DisplaySerialInterface, CameraSerialInterface）? DSI 定義了一個位于處理器和顯示模組之間的高速串行接口。? CSI 定義了一個位于處理器和攝像模組之間的高速串行接口。? D-PHY：提供 DSI 和 CSI 的物理層定義2、 DSI 分層結(jié)構(gòu)DSI 分四層，對應(yīng)D-PH

14、Y、 DSI、 DCS規(guī)范、分層結(jié)構(gòu)圖如下：? PHY 定義了傳輸媒介，輸入 / 輸出電路和和時鐘和信號機制。?Lane Management 層：發(fā)送和收集數(shù)據(jù)流到每條lane 。? Low Level Protocol層：定義了如何組幀和解析以及錯誤檢測等。? Application 層：描述高層編碼和解析數(shù)據(jù)流。.3、 Command和 Video 模式? DSI 兼容的外設(shè)支持 Command或 Video 操作模式，用哪個模式由外設(shè)的構(gòu)架決定? Command模式是指采用發(fā)送命令和數(shù)據(jù)到具有顯示緩存的控制器。主機通過命令間接的控制外設(shè)。 Command模式采用雙向接口? Video

15、模式是指從主機傳輸?shù)酵庠O(shè)采用時實象素流。這種模式只能以高速傳輸。為減少復(fù)雜性和節(jié)約成本，只采用 Video 模式的系統(tǒng)可能只有一個單向數(shù)據(jù)路徑四、 D-PHY介紹1、D-PHY 描述了一同步、高速、低功耗、低代價的PHY。? 一個 PHY 配置包括? 一個時鐘 lane? 一個或多個數(shù)據(jù) lane? 兩個 Lane 的 PHY 配置如下圖.? 三個主要的 lane 的類型? 單向時鐘 Lane? 單向數(shù)據(jù) Lane? 雙向數(shù)據(jù) Lane? D-PHY的傳輸模式?低功耗（ Low-Power ）信號模式（用于控制）：10MHz (max)?高速（ High-Speed ）信號模式（用于高速數(shù)據(jù)傳

16、輸）：80Mbps 1Gbps/Lane? D-PHY低層協(xié)議規(guī)定最小數(shù)據(jù)單位是一個字節(jié)? 發(fā)送數(shù)據(jù)時必須低位在前，高位在后? D-PHY適用于移動應(yīng)用? DSI：顯示串行接口? 一個時鐘lane ，一個或多個數(shù)據(jù)lane? CSI：攝像串行接口2、 Lane 模塊? PHY由 D-PHY(Lane 模塊 ) 組成? D-PHY可能包含：? 低功耗發(fā)送器（ LP-TX）? 低功耗接收器（ LP-RX）? 高速發(fā)送器（ HS-TX）? 高速接收器（ HS-RX）? 低功耗競爭檢測器（ LP-CD）? 三個主要 lane 類型.? 單向時鐘 Lane? Master ：HS-TX, LP-TX?

17、Slave ： HS-RX, LP-RX? 單向數(shù)據(jù) Lane? Master ：HS-TX, LP-TX? Slave ： HS-RX, LP-RX? 雙向數(shù)據(jù) Lane? Master, Slave ：HS-TX, LP-TX, HS-RX, LP-RX, LP-CD 3、 Lane 狀態(tài)和電壓? Lane 狀態(tài)?LP-00, LP-01, LP-10, LP-11 (單端 )? HS-0, HS-1 ( 差分 )? Lane 電壓（典型）? LP： 0-1.2V? HS： 100-300mV (200mV)4、操作模式? 數(shù)據(jù) Lane 的三種操作模式? Escape mode, Hig

18、h-Speed(Burst) mode, Control mode ?從控制模式的停止?fàn)顟B(tài)開始的可能事件有：? Escape mode request (LP-11 LP-10 LP-00 LP-01 LP-00)? High-Speed mode request (LP-11LP-01 LP-00)? Turnaround request (LP-11 LP-10 LP-00 LP-10 LP-00)? Escape mode 是數(shù)據(jù) Lane 在 LP 狀態(tài)下的一種特殊操作?在這種模式下，可以進(jìn)入一些額外的功能：LPDT, ULPS, Trigger?數(shù)據(jù) Lane 進(jìn)入 Escape m

19、ode 模式通過LP-11 LP-10 LP-00 LP-01 LP-00?一旦進(jìn)入Escape mode 模式，發(fā)送端必須發(fā)送1 個 8-bit的命令來響應(yīng)請求的動作? Escape mode 使用 Spaced-One-Hot Encoding?超低功耗狀態(tài)（Ultra-Low Power State）?這個狀態(tài)下，lines處于空狀態(tài)(LP-00)? 時鐘 Lane 的超低功耗狀態(tài)?時鐘 Lane 通過 LP-11 LP-10 LP-00 進(jìn)入 ULPS狀態(tài)?通過 LP-10 TWAKEUP LP-11 退出這種狀態(tài)，最小TWAKEUP時間為 1ms? 高速數(shù)據(jù)傳輸?發(fā)送高速串行數(shù)據(jù)的行

20、為稱為高速數(shù)據(jù)傳輸或觸發(fā)（burst ）.?全部 Lanes 門同步開始，結(jié)束的時間可能不同。?時鐘應(yīng)該處于高速模式? 各模操作式下的傳輸過程?進(jìn)入 Escape 模式的過程： LP-11 LP-10 LP-00 LP-01 LP-00 Entry Code LPD (10MHz)?退出 Escape 模式的過程：LP-10 LP-11?進(jìn)入高速模式的過程： LP-11 LP-01 LP-00 SoT(00011101) HSD (80Mbps 1Gbps)?退出高速模式的過程：EoT LP-11?控制模式- BTA傳輸過程： LP-11 LP-10 LP-00 LP-10 LP-00?控制模

21、式- BTA接收過程： LP-00 LP-10 LP-11?狀態(tài)轉(zhuǎn)換關(guān)系圖五、 DSI 介紹1、 DSI 是一種 Lane 可擴展的接口，1 個時鐘 Lane/1-4個數(shù)據(jù) Lane? DSI 兼容的外設(shè)支持 1 個或 2 個基本的操作模式：? Command Mode（類似于 MPU接口）? Video Mode （類似于RGB接口） - 必須用高速模式傳輸數(shù)據(jù)，支持3 種格式的數(shù).據(jù)傳輸? Non-Burst 同步脈沖模式? Non-Burst 同步事件模式? Burst 模式? 傳輸模式：? 高速信號模式（High-Speed signaling mode）? 低功耗信號模式（Low-Power signaling mode） -只使用數(shù)據(jù)lane 0 （時鐘是由 DP， DN異或而來）。?幀類型? 短幀： 4 bytes (固定 )? 長幀： 665541 bytes (可變 )? 兩個數(shù)據(jù) Lane 高速傳輸示例2、短幀結(jié)構(gòu)? 幀頭部（ 4 個字節(jié)）? 數(shù)據(jù)標(biāo)識 (DI) 1 個字節(jié)? 幀數(shù)據(jù) - 2個字節(jié)（長度固定為2 個字節(jié)）? 錯誤檢測 (ECC) 1 個字節(jié)? 幀大小? 長度固定為 4 個字節(jié)3、長幀結(jié)構(gòu).? 幀頭部（ 4 個字節(jié)）? 數(shù)據(jù)標(biāo)識 (DI) 1 個字節(jié)? 數(shù)據(jù)計數(shù)