手機(jī)攝像頭工作原理-軟件培訓(xùn)

Camera工作原理作者：黃平禮日期:2011.01.04一k、cameramodule主要組成部分二、camera工作原理原理介紹三、camera在MT6229平臺上的工作原理介紹、cameramodule主要組成部分Cameramodule主要的組成部分由：lens和SensorIC，其中有些SensorIC是集成了DSP,有些是沒有集成DSP，沒有集成DSP的module需要外部外掛DSP。Cameramodulestructureanatomizing1、鏡頭(LENS)^頭是僅次于CMOS芯片影響畫質(zhì)的第二要素，其組成是透鏡結(jié)構(gòu)，由幾片透鏡組成，一般可分為塑膠透鏡(plastic)或玻璃透鏡(glass)。當(dāng)然，所謂塑膠透鏡也非純粹塑料，而是樹脂鏡片，當(dāng)然其透光率感光性之類的光學(xué)指標(biāo)是比不上鍍膜鏡片的。通常攝像頭用的鏡頭構(gòu)造有：IP、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透鏡越多，成本越高，相對成像效果會更出色；而玻璃透鏡又比樹脂貴。因此一個品質(zhì)好的攝像頭應(yīng)該是采用多層玻璃鏡頭！現(xiàn)在市場上的多數(shù)攝像頭產(chǎn)品為了降低成本，一般會采用廉價的塑膠鏡頭或一玻一塑鏡頭(即：IP、2P、1G1P、1G2P等)，對成像質(zhì)量有很大影響！1P2、SensorIC_在攝像頭的主要組件中，最重要的個人認(rèn)為就是圖像傳感器了，因為感光器件對成像質(zhì)量的重要性不言而喻。Sensor將從lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。由于Sensor的每個pixel只能感光R光或者B光或者G光，因此每個像素此時存貯的是單色的，我們稱之為RAWDATA數(shù)據(jù)。要想將每個像素的RAWDATA數(shù)據(jù)還原成三基色，就需要ISP來處理。ColorFilterArraySensor3、數(shù)字信號處理芯片DSPDSP結(jié)構(gòu)框架：(1).ISP(imagesignalprocessor)(鏡像信號處理器)(2).JPEGencoder(JPEG圖像解碼器)ISP的性能強(qiáng)大是決定影像流暢的關(guān)鍵，JPEGencoder的性能也是關(guān)鍵指標(biāo)之一。而JPEGencoderX分為硬件JPEG壓縮方式，和軟件RGB壓縮方式。DSP控制芯片的作用是：將感光芯片獲取的數(shù)據(jù)及時快速地傳到baseband中并刷新感光芯片，因此控制芯片的好壞，直接決定畫面品質(zhì)(比如色彩飽和度、清晰度)與流暢度。1、camera工作原理原理介紹1、Sensor內(nèi)部工作原理2、DVP傳輸方式介紹3、Camera在MT6229平臺上的工作原理1、Sensor內(nèi)部工作原理外部光線穿過lens后，經(jīng)過colorfilter濾波后照射到Sensor面上，Sensor將從lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。如果Sensor沒有集成DSP，則通過DVP的方式傳輸?shù)絙aseband,此時的數(shù)據(jù)格式是RAWRGB。colourimagesensor川_陽_fixedN

antialiaspattern,noiseinterpolationnoisereductionscalingcorrectionconro

peakinganti-vignette,spatial-dr^ortion-----encoding—recoveryengine如果集成了DSP，則RAWDATA數(shù)據(jù)經(jīng)過AWB、colormatrix,lensshading、gamma、sharpness、AE和de-noise處理，后輸出YUV或者RGB格式的數(shù)據(jù)。imag*lemorprocessorcxitputinttrfac*columnsample/holdsensorcoreimagoarraycontrolregisterbank丄廠SCCBMlPIslavecontrolinterfaceinterfaceOV2665PLLtiminggeneratorandsystemcontrollogic￡u_50/60HZautodetectionNpDJOSGds■scJalxvITWd—UL沒H-4*mnas>—Hasoallnellxlsaa:*TKU>Xu&lej-oblps!?Jq!ls1-^-12、DVP傳輸方式介紹DVP分為三個部分：1）輸出總線；2）輸入總線；3）電源總線。如下圖:HWInterfaceOutputPDNRESETXCLKI2C(SCK,SDA)InputDataVSYNCHSYNCPCLKPowerAVDD—2.8VDOVDD—2.8VDVDD—1.8V/1.5V/1.3VAVDDDOVDD1）輸入總線介紹a、PWD為camera的使能管腳。當(dāng)camera處于PWD模式時，一切對camera的操作都是無效的。因此，在RESET之前，一定要將PWD管腳置為normal模式。b、RESET為camera的復(fù)位管腳。此方式為硬復(fù)位模式，一般管腳置為低，camera處于硬復(fù)位狀態(tài)，camera的各個10口恢復(fù)到出廠默認(rèn)狀態(tài)。只有在XCLK開啟后，將RESET*為低，硬復(fù)位才有效，否則復(fù)位無效。c、XCLK為camera工作時鐘管腳。此管腳為BB提供camera的工作時鐘。d、I2C為camera與BB通信管腳。BB與camera的通信總線。2）輸出總線介紹a、data為camera的數(shù)據(jù)管腳。此數(shù)據(jù)腳可以輸出的格式有YUV、RGB、JPEGob、VSYNC為camera的幀同步信號管腳。一個VYSNC信號結(jié)束表示一幀（即一個畫面）的數(shù)據(jù)己經(jīng)輸出完畢。c、HSYNC為camera行同步信號管腳。一個HSYNC信號結(jié)束表示一行的粉魅戸怒給屮會k匕d、PCU＜為像素同^信號管腳。一個PCLK信號結(jié)束表示一個數(shù)據(jù)己經(jīng)輸出完畢。Data、PCLK、V_sync、H_sync的關(guān)系如下:V_SyncH_SyncClkY|9：0|FramecycleTWWW--MWUW1Winvaliddata11F-!11IIF-IIIl1卜-l11?11F-l11n現(xiàn)r**M?釋13)Power線介紹a、AVDD^jcamera的模擬電壓。b、DOVDD為camera曲GPIO口數(shù)字電壓。c、DVDD為camera的核工作電壓。一般來說，要求先提供sensor的GPIO口電壓，接著提供模擬電壓，最后提供工作電壓。時序如下圖：DVDDt3三、camera在MT6229平臺上的工作原理介紹MT6229是支持RAWRGBCamera的一個平臺。因此Cameramodule可以選擇不帶ISP的Sensoro其主要結(jié)構(gòu)是Cameramodule+MTKDSPStatisticMTKDSP包括ISP、IMAGEDMA、IPP及RESIZE,其中ISP分為TG、lens/sensorcompensation、colorprocess三個單元。

TG為時鐘接收器，負(fù)責(zé)從camera接受數(shù)據(jù)，lens/sensorcompensation只將RAWRGB數(shù)據(jù)轉(zhuǎn)為RGB565,其他格式不做處理，colorprocess將RGB565/YUV422轉(zhuǎn)為YCbCr888。ISP部分這里不做詳述，后面的效果調(diào)試將做詳細(xì)描述，重點(diǎn)對IMAGEDMA及RESIZE做詳細(xì)的描述。1)RESIZE分為：DRZ、PRZ。DRZ即dropresize,負(fù)責(zé)列與行的壓縮，中間格式不變。PRZ即postresize,分為兩個部分：粗略壓縮與精細(xì)壓縮。粗略壓縮即簡單的按照比例壓縮，例如1，1/4,1/16,1/64；精細(xì)壓縮即對列于行進(jìn)行壓縮，中間先是將YUV444轉(zhuǎn)為YUV420,這樣提iWj

了壓縮速度。2)IPP分為IPP1,IPP2,IPP3。IPP的作用是將YUV轉(zhuǎn)換為RGB,如下圖:F3)IMAGEDMA包括JPEGDMA、VIDEODMA、IBW1/2/3/4DMA、IBR1/2DMAImageProcessEngine,TPEByPbcLCDIFImageDMAByPixelBuffer(RGB565/RGB888/8GR3&G)FrameBuffer(RGB565/RGBSB8)VideoBuffer(YW420)Buffer(RGB505/RGB&ad)LineBuffer(YUV422?YUV420)ByPixelByPixelByPixelByPixelYUV444JPEGencodeDMA主要負(fù)責(zé)將YUV444數(shù)據(jù)按照8X8模塊，壓縮為YUV422/420,如果數(shù)據(jù)最后一個模塊不是8X8，則用0補(bǔ)齊。然后WYUV422/420傳送至!jjPEGENCODE,imagebufferwrite1主要負(fù)責(zé)將數(shù)據(jù)從IPP2傳輸?shù)絋humbnailbuffer；imagebufferwrite2主要負(fù)責(zé)將數(shù)拮從IPP1傳輸?shù)絤emory或LdDbuffer□__imagebufferwrite3主要負(fù)責(zé)將RGB888/YUV444傳送到DRZ.imagebufferwrite4主要負(fù)責(zé)將RGB888/YUV444傳送到PRZ.imagebufferread1主要負(fù)責(zé)將數(shù)據(jù)RGB565/RGB888/BGR888從memory傳輸?shù)絀PP3.imagebufferread2主要負(fù)責(zé)從memory讀取phoneframe，

經(jīng)過壓縮、轉(zhuǎn)化后疊加到CRZbuffer上。CamerapreviewIMAGEDMApath：2ISPCRZ444:r888X5YUV444UV444IBW4IBW3YUV44PRZIPP1IBW2IBW1RGB565J8aRGB565SaIcon/MenuframebufferJPEGDMAIBR2/OVLOverlayframebufferThumbnailbuffer，TVController8a<LCD飛、InterfaceCameracaptureIMAGEDMApath：RGB565L7aYUV444i5af5cYUV444RGB565I6a6CRGB565YUV444ImageframebufferTV-OutputframebufferJPEGHieBufferCamera工作原理作者：黃平禮日期:2011.01.04一、cameramodule主要組成部分二、camera工作原理原理介紹__三、camera在MT6229平臺上的工作原理介紹-、cameramodule主要組成部分Cameramodule主要的組成部分由：lens和SensorIC,其中有些SensorIC是集成了DSP，有些是沒有集成DSP，沒有集成DSP的module需要外部外掛DSP。Cameramodulestmctureanatomizing鏡頭（LENS）￥頭是僅次于CMOS芯片影響畫質(zhì)的第二要素，其組成是透鏡結(jié)構(gòu)，由幾片透鏡組成，一般可分為塑膠透鏡（plastic）或玻璃透鏡（glass）。當(dāng)然，所謂塑膠透鏡也非純粹塑料，而是樹脂鏡片，當(dāng)然其透光率感光性之類的光學(xué)指標(biāo)是比不上鍍膜鏡片的。通常攝像頭用的鏡頭構(gòu)造有：IP、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透鏡越多，成本越高，相對成像效果會更出色；而玻璃透鏡又比樹脂貴。因此一個品質(zhì)好的攝像頭應(yīng)該是采用多層玻璃鏡頭！現(xiàn)在市場上的多數(shù)攝像頭產(chǎn)品為了降低成本，一般會采用廉價的塑膠鏡頭或一玻一塑鏡頭卩：IP、2P、1G1P、1G2P等），對成像質(zhì)量有很大影響！2、SensorIC在攝像頭的主要組件中，最重要的個人認(rèn)為就是圖像傳感器了，因為感光器件對成像質(zhì)量的重要性不言而喻。Sensor將從lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。由于Sensor的每個pixel只能感光R光或者B光或者G光，因此每個像素此時存貯的是單色的，我們稱之為RAWDATA數(shù)據(jù)。要想將每個像素的RAWDATA數(shù)據(jù)還原成三基色，就需要ISP來處理。ColorFilterArraySensor3、數(shù)字信號處理芯片DSPDSP結(jié)構(gòu)框架：(1).ISP(imagesignalprocessor)(鏡像信號處理器)(2).JPEGencoder(JPEG圖像解碼器)ISP的性能強(qiáng)大是決定影像流暢的關(guān)鍵，JPEGencoder的性能也是關(guān)鍵指標(biāo)之一。而JPEGencoder又分為硬件JPEG壓縮方式，和軟件RGB壓縮方式。DSP控制芯片的作用是：將感光芯片獲取的數(shù)據(jù)及時快速地傳到baseband中并刷新感光芯片，因此控制芯片的好壞，直接決定畫面品質(zhì)(比如色彩飽和度、清晰度)與流暢度。二、camera工作原理原理介紹1、Sensor內(nèi)部工作原理2、DVP傳輸方式介紹3、Camera在MT6229平臺上的工作原理1、Sensor內(nèi)部工作原理外部光線穿過lens后，經(jīng)過colorfilter濾波后照射到Sensor?上，Sensor將從lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。如果Sensor沒有集成DSP，則通過DVP的方式傳輸?shù)絙aseband,此時的數(shù)據(jù)格式是RAWRGB。colourimagesensor動minationfixedantialosan&-pattemnotemterpolanonvignette,notse.reductionscalingspatial■>comeaionconr

peakingdistortion■4encoding—?recoveryengine如果集成了DSP，則RAWDATA數(shù)據(jù)經(jīng)過AWB、colormatrix、lensshading>gamma>sharpness>AE和de-noise處理，后輸出丫UV或者RGB格式的數(shù)據(jù)。OV2665it―\□—%MCNMCPMDNMDPcotunmsample/holdarray咨IPLLtiminggeneratorandsystemcontrollogic5(￥6OFkdetectiondalHBsdDWNDW0:01sHolsindu;Wasspeu基s5nzwUL獪H3?SA出OhlszOMdpapvtMOJ2、DVP傳輸方式介紹DVP分為三個部分：1）輸出總線；2）輸入總線；3）電源總線。如下圖:HWInterfaceAVDDDOVDDPowerAVDD—2.8VDOVDD—2.8VDVDD—1.8V/1.5V/1.3VOutputPDNRESETXCLKI2C(SCKZSDA)InputDataVSYNCHSYNCPCLK1）輸入總線介紹a、PWD為camera的使能管腳。當(dāng)camera處于PWD模式時，一切對camera的操作都是無效的。因此，在RESET之前，一定要將PWD管腳置為normal模式。b、RESET為camera的復(fù)位管腳。此方式為硬復(fù)位模式，一般管腳置為低，camera處于硬復(fù)位狀態(tài)，camera的各個10口恢復(fù)到出廠默認(rèn)狀態(tài)。只有在XCLK開啟后，將RESET置為低，硬復(fù)位才有效，否則復(fù)位無效。c、XCLK為camera工作時鐘管腳。此管腳為BB提供camera的工作時鐘。d、I2C為camera與BB通信管腳。BB與camera的通信總線。2）輸出總線介紹a、data為camera的數(shù)據(jù)管腳。此數(shù)據(jù)腳可以輸出的格式有YUV、RGB、JPEG。b、VSYNC為camera的幀同步信號管腳。一個VYSNC信號結(jié)束表示一幀（即一個畫面）的數(shù)據(jù)已經(jīng)輸出完畢。c、HSYNC為camera行同步信號管腳。一個HSYNC信號結(jié)束表示一行的數(shù)據(jù)已經(jīng)輸出完畢。d、PCLK為像素同步信號管腳。一個PCLK信號結(jié)束表示一個數(shù)據(jù)已經(jīng)輸出完畢。Data、PCLK、V_sync、H_sync的關(guān)系如下:V.SyncH_SyncClkYIWIJtft中::TTFnr…im本Tm::::::::::::::::::::3)Power線介紹a、AVDD^jcamera的模擬電壓。b、DOVDD為camerafi^GPIO口數(shù)字電壓。c、DVDD為camera的_工作電壓。一般來說，要求先提供sensor的GPI0口電壓，接著提供模擬電壓，最后提供工作電壓。時序如下圖：DVDD三、camera在MT6229平臺上的工作原理介紹MT6229是支持RAWRGBCamera的一個平臺。因此Cameramodule可以選擇不帶ISP的Sensor。其主要結(jié)構(gòu)是Cameramodule+MTKDSPStatisticMTKDSP包括ISP、IMAGEDMA、IPP及RESIZE,其中ISP分為TG、lens/sensorcompensation、colorprocess三個單元。TG為時鐘接收器，負(fù)責(zé)從camera接受數(shù)據(jù)，1ens/sensorcompensation只將RAWRGB數(shù)據(jù)轉(zhuǎn)為RGB565,其他格式不做處理，colorprocess將RGB565/YUV422轉(zhuǎn)為YCbCr888。ISP部分這里不做詳述，后面的效果調(diào)試將做詳細(xì)描述，重點(diǎn)對IMAGEDMA及RESIZE做詳細(xì)的描述。1)RESIZE分為：DRZ、PRZoDRZBPdropresize,負(fù)責(zé)列與行的壓縮，中間格式不變。PRZ即postresize,分為兩個部分：粗略壓縮與精細(xì)壓縮。粗略壓縮即簡單的按照比例壓縮，例如1，1/4,1/16,1/64；精細(xì)壓縮即對列于行進(jìn)行壓縮，中間先是將YUV444轉(zhuǎn)為YUV420,這樣提高了壓縮速度。2)IPP分為IPP1,IPP2,IPP30IPP的作用是將YUV轉(zhuǎn)換為RGB,如下圖:ImageProcessEngineJEE11SyBlddiLCDIF<=3)IMAGEDMA包括JPEGDMA、VIDEODMA、IBW1/2/3/4DMA、IBR1/2DMAImageDMA賺洩漏SyFs(?lRGSaSB(RGB505/RGBBaa)LCD