一種多幀寬動態(tài)范圍的組合滾筒式曝光技術

一種多幀寬動態(tài)范圍的組合滾筒式曝光技術

近年來，cs圖像傳感器（cis）在移動通信、電子結算、安全監(jiān)控、機械設計等領域發(fā)揮著廣泛的應用和良好的發(fā)展前景。特別是在安防監(jiān)控領域,相比于傳統(tǒng)的電荷耦合器件(CCD圖像傳感器),CMOS圖像傳感器有著更高靈敏度,從而可以在暗場環(huán)境下得到高質量的圖像。甚至可以預見在不久的將來,CCD圖像傳感器必將被CMOS圖像傳感器所取代。但是,現(xiàn)有的CMOS圖像傳感器普遍采用光電二極管線性有源像素,其動態(tài)響應范圍較小,遠小于人眼100dB~120dB的動態(tài)范圍。圖1是當今CMOS圖像傳感器系統(tǒng)中比較流行的4管有源像素結構圖。應用這種結構,在拍攝一些動態(tài)范圍很大的場景時,場景的亮度差異遠遠超過感光元件的寬容度,因此對于某一指定的曝光時間,很難得到包含所有細節(jié)的圖像。解決這一問題的方法無非是從像素本身和傳感器電路兩方面考慮,像素本身主要是設計寬動態(tài)范圍的像素結構,例如對數(shù)像素等。電路方面主要考慮采用多次曝光的形式擴展其動態(tài)范圍。目前一種可行的獲取大動態(tài)范圍圖像的方法是:針對場景中的某一部分而不是所有部分正確曝光,得到幾幅曝光參數(shù)不同的圖像重疊得到一幅圖像。即使用短曝光獲取較亮的景物,使用長曝光獲取較暗的景物,多幅組合以彌補單純的短曝光造成的暗處細節(jié)缺失,和單純的長曝光造成的亮處細節(jié)缺失。這種方法獲取的圖像擁有可以媲美人眼的動態(tài)范圍。本文在此基礎上提出了一種基于滾筒式曝光的直接高效地提高動態(tài)范圍的技術,它可以有效增大動態(tài)范圍到110dB以上卻只消耗較少的硬件資源,而且不增加任何額外的處理時間。1確定次幀圖像的時間碼及同步時間的同步控制采用滾筒式曝光技術的CMOS圖像傳感器,如圖1所示,像素結構為四管有源像素。PPD表示埋層結構的光電二極管,它是主要的感光器件,實現(xiàn)光電轉換。四個MOS管分別為傳輸管M0,復位管M1,源跟隨器M2以及位線讀出控制開關管M3。PPD二極管可以把外部的光信號轉換為電信號存儲在A點,所以A點又叫做存儲節(jié)點。當M0的控制信號TX為高電平時,存儲在A點的信號將被傳輸?shù)礁庸?jié)點B上。當M1的控制信號RST為高電平時,浮動節(jié)點B被復位到電源電壓VDD或者VDD-Vt(Vt為M1管的閾值電壓)。M2用作源跟隨器,在其柵極接收B處的電壓,且選擇管M3的柵極接收行選擇信號SEL,輸出來自源跟隨器M2的電壓。滾筒式曝光是CMOS圖像傳感器普遍采用的一種曝光方式,以上面提到的四管像素結構為例,其簡化的操作時序如圖2所示。假設幀頻為fps,則一次幀間隔時間為1/fps,每一幅完整的圖像包括0、1、2、3四行像素。首先,row_idx2指定曝光第0行(此處的“0”從次序來說相當于第一行),按照圖1中的電路,先將傳輸管M0和復位管M1同時開啟(圖2時序中ts2和rst2輸入高電平),使得存儲結點A以及浮動結點B的電壓復位到VDD,然后再同時關閉傳輸管M0和復位管M1使A點開始積分電荷(ts2和rst2恢復低電平);經過一段時間的電荷積累后(相當于曝光時間texp),同時開啟復位管M1和選擇管M3,(rst1和sel為高電平,此時的選擇管M3選擇的是第0行輸出),通過源跟隨器M2,選擇管M3的輸出端先讀出復位電壓值VDD,然后關閉復位管M1(rst1恢復低電平),保持選擇管M3導通,再開啟傳輸管M0(ts1為高電平),通過源跟隨器M2,選擇管M3的輸出端讀出信號的絕對值并與先前的復位電壓值相減得到信號的真實值,如row_idx1顯示,也就是將第0行的曝光信號讀出。類似地,以同樣方式曝光讀取第1行像素,逐行進行直到全部處理完畢,相鄰行開始曝光讀取的間隔時間為Trow。從時序原理可知,tx1、tx2、rst1、rst2、sel的周期均為一行像素的行處理間隔時間Trow,每行像素的曝光時間均為texp。各行像素按順序進行曝光并讀取處理,并以單行像素為曝光信號的讀取對象,即在前一行像素的曝光信號讀出完成后再進行下一行的讀取,這種逐行曝光并讀取方式即稱為滾筒式曝光。在需要多次成像同一張圖像時,重復以上過程即可。在圖2所示時序中,因為一個幀間隔時間內只輸出一張曝光圖像,圖像的曝光時間參數(shù)是不變的,這樣單幀圖像內只包含一次成像所得到的圖像。其幀、行同步示意圖如圖3所示。顯然,整張圖像每次成像的時間間隔等于幀間隔時間。2組合滾筒式曝光控制方法現(xiàn)有的多次曝光方法,主要是利用不同的曝光參數(shù)分次獨立成像,然后再整合出一幅高動態(tài)范圍的圖像作為最后的輸出。其基本原理是在需要多次曝光時,當每一幀單張圖像逐行曝光結束后,需要改變曝光時間texp,再進行下一次成像。如果需要加快輸出圖像的速率,則必須提高圖像傳感器的工作速率,但是只能通過提高圖像傳感器的工作頻率來壓縮行處理時間,效率低。這是因為目標圖像的曝光時間texp是根據(jù)其場景情況所設定的,只要曝光時間不大于幀處理時間,其就不會直接決定幀頻。那么在像素陣列固定的情形下,圖像傳感器的幀頻只取決于最短行處理時間。在一般情況下,圖像傳感器的行處理總是在逐行進行,在執(zhí)行某一行曝光讀取時,其他行對應的像素單元處于空閑狀態(tài),所以圖像傳感器電路總會存在大量的空閑電路未充分利用。所以這種獲取大動態(tài)范圍圖像的方式,會使得整個處理周期過長,造成系統(tǒng)反應時間過慢,并因此可能影響動態(tài)圖像的實時性,而且在逐行曝光讀取時產生了大量的電路空閑,造成系統(tǒng)資源的浪費。本文所提出的一種新穎的組合滾筒式曝光控制方法就是要利用這個空閑時間,讓圖像傳感器電路系統(tǒng)資源得到盡可能利用。在一幀處理時間內,將多次滾筒式曝光穿插進行,實現(xiàn)對目標圖像的多次成像。對于各次成像,間隔一個預設的行處理間隔時間,各行像素單元逐行進行圖像的曝光和曝光數(shù)據(jù)的讀取。以二次曝光為例,其基本原理為假設圖像傳感器每隔1/fps秒輸出兩幀圖像,其中一幀圖像frm1的曝光時間為texp1,另一幀圖像frm2的曝光時間為texp2,用以組合出一幀高動態(tài)范圍的圖像,組合的圖像的幀頻為目標幀頻fps。相對于單次曝光,二次曝光的方法將行處理時間設定為2倍的Trow,這樣每行便會有一半的時間處于空閑,在frm1進行曝光和讀出操作時可以在行空閑狀態(tài)穿插進行frm2的曝光和讀出操作。因此這種二次曝光方法最大限度地利用了目標幀頻指定的幀間隔時間作為曝光時間。并且frm1與frm2曝光開始的間隔時間僅受限于第一次曝光時間texp1的大小,而不需要等frm1全部行曝光結束后再開始frm2的曝光,大大縮短了兩幀的曝光間隔。3曝光時序控制基于上述基本原理,在執(zhí)行的時候首先需要確定多次曝光次數(shù)m,以及各次的曝光時間texp1、texp2、……texpm。其中,對于背景比較亮的圖像的曝光時間要小于背景比較暗的圖像的曝光時間,且各次成像的次序按曝光時間長短排列。然后確定最短行處理時間,并將同次成像的行處理間隔時間設置為最短行處理時間的n倍,n不小于單幀時間內一個多次成像周期的曝光次數(shù),并以此為基礎設定圖像的幀頻fps。幀頻即幀間隔時間1/fps的倒數(shù),關于幀頻的設置必須滿足以下兩點:第一,幀間隔時間必須大于最短幀處理時間,即其中最短幀處理時間Tfram_min為圖像傳感器的最短行處理時間乘以圖像傳感器的像素行數(shù)。第二,幀間隔時間須大于本幅曝光圖像的相鄰行處理時間Trow的m倍再加上各次成像時間總和。即當設置滿足上述條件后,就可以開始對目標景物進行逐行曝光,多次成像。下面以一個二次曝光的簡單實例來說明,二次曝光分別對應輸出一幀亮圖像fram1和一幀暗圖像fram2。以前所述,先進行預先參數(shù)設定,假設亮圖像的曝光時間為texp1,暗圖像的曝光時間為texp2,其中texp1<texp2。先進行亮圖像曝光再進行暗圖像曝光。假設CMOS圖像傳感器的最短行處理時間為Trow_min,則對于一個4行像素圖像,最小幀處理時間Tfram_min為4Trow_min。要在單幀時間內實現(xiàn)兩次成像,假設在最苛刻的條件下,同次成像圖像的行處理時間Trow設定為兩倍的最短行處理時間Trow_min。這樣使得圖像傳感器在對每行像素的數(shù)據(jù)進行讀取處理時,控制時序至少有一半時間處于空閑間隔,并以此為基礎設定圖像的幀頻fps,使得幀間隔時間滿足式(1)和式(2)的要求。由此例,將曝光次數(shù)2代入式(2),可得式(3),根據(jù)式(1)和式(3)完成曝光參數(shù)的設置。曝光參數(shù)設置完畢后,可以開始逐行曝光,曝光時序如圖4所示,并結合圖1中的四管有源像素結構進行具體分析。由之前闡述的圖2所示的滾筒式曝光的時序原理可知,tx1、tx2、rst1、rst2、sel的周期均為同次成像行處理間隔時間Trow,曝光row_idx2指定行像素時,先產生tx2,rst2時序,在經過亮圖像曝光時間texp1后,產生rst1、tx1、sel時序,并隨之輸出row_idx1表征該行像素的曝光信號讀取。fram1的第0行在開始曝光讀取,并經過一個行處理間隔時間Trow后,會開始進行fram1的第1行的曝光,如此循環(huán),進行逐行曝光讀取。在fram1的第0行的tx1信號結束也即該行的fram1曝光讀取完畢之后,可發(fā)現(xiàn),對于fram1而言,第0行所對應的行像素電路已進入空閑狀態(tài),此時,可直接插入fram2的第0行執(zhí)行曝光操作,時序控制信號將開始產生fram2的tx2和rst2,并輸入第0行對應的行像素電路中開始第0行的曝光(圖中的虛線信號),這樣fram2便開始了曝光讀取。以上過程,對應至圖4的時序圖,實線信號對應于亮圖像fram1的控制時序,而虛線信號對應于暗圖像fram2的控制時序。由于事先已將行處理間隔時間Trow設定為兩倍的Trow_min,使得當產生fram2的控制時序時,其tx2、rst2剛好處于fram1控制時序的空閑間隔中。這樣fram1和fram2各自逐行曝光讀取,穿插進行,控制時序之間并未互相影響或者產生競爭關系,直至fram1與fram2先后完成成像。最終,從row_idx1所讀取到的行像素包含了fram1與fram2的信息。在fram2的曝光未完成之前,僅有fram1的數(shù)據(jù)讀出;在fram2曝光完成部分行而fram1的數(shù)據(jù)未全部讀出之前,兩者交替輸出;fram1數(shù)據(jù)全部行讀取完畢后,僅有fram2的數(shù)據(jù)讀出。最后進入下一幀,重復以上過程。在完整的曝光周期即一個幀間隔時間1/fps內,實現(xiàn)了亮、暗兩次成像。如圖5所示,為二次曝光輸出的幀、行同步示意圖。通過四行像素二次曝光的實例分析,我們可以將這種方法延伸至多次成像的曝光控制要求,具體參數(shù)可根據(jù)圖像傳感器的性能要求以及圖像場景需要來決定。4動態(tài)范圍測試BG0365是一款應用了上述組合多次曝光技術的芯片產品,該技術在芯片的數(shù)字電路中得以實現(xiàn),芯片外觀和數(shù)字電路部分版圖如圖6和圖7所示?？紤]到對比動態(tài)范圍的需要,該芯片可以利用寄存器從外部軟件設置開啟和關閉組合多次曝光模式。對于動態(tài)范圍的測試,可以首先在暗場下用最短的曝光時間測出一組數(shù)據(jù),這組數(shù)據(jù)即為該芯片的最小噪聲水平Vmin。然后,在亮場下再測出一組最大的輸出值Vmax。因此芯片的動態(tài)范圍可以由式(4)表示。圖8為BG0365輸出飽和曲線圖。根據(jù)式(4),通過計算,可得該芯片的動態(tài)范圍約為60.8dB。如果開啟多次曝光模式,測試時以二次曝光為例。圖9為開啟二次曝光模式后的長短幀輸出飽和曲線,將兩者組合后得到的動態(tài)范圍可以達到100dB以上,確實有效地提高了動態(tài)范圍。另外,合理地選擇曝光次數(shù)要根據(jù)場景的明暗程度和經驗,當場景一定,并不是曝光次數(shù)越多越好,當曝光次數(shù)達到一定程度時,動態(tài)范圍也會接近最大值附近。若再增加曝光次數(shù),也只能增加操作的復雜度,對圖像質量沒有明顯改善。圖10