視覺片上系統(tǒng)芯片

視覺片上系統(tǒng)芯片吳南健【摘要】介紹了CMOS圖像傳感器領域的一個重要研究分支——視覺片上系統(tǒng)(SoC)芯片.重點闡述了視覺SoC芯片的研究背景、應用領域、國內(nèi)外的研究動態(tài)和關鍵科學技術問題.圍繞開展的研究內(nèi)容和取得的研究成果，詳細地介紹了視覺圖像信息處理的特征、視覺SoC芯片的架構、芯片的電路設計、視覺SoC芯片實現(xiàn)和測試結果.它具有圖像處理速度快、功能強、功耗低、體積小和成本低的優(yōu)點，在高速運動目標的實時追蹤、機器人視覺系統(tǒng)、圖像識別、智能交通和虛擬現(xiàn)實等領域具有廣泛的應用前景.【期刊名稱】《黑龍江大學工程學報》【年(卷)，期】2011(002)003【總頁數(shù)】9頁(P67-75)【關鍵詞】視覺芯片;圖像傳感器;圖像處理;PE單元;行并行處理器【作者】吳南健【作者單位】中國科學院半導體研究所超晶格國家重點實驗室，北京100083【正文語種】中文【中圖分類】TP212.140前言視覺是人類感知夕卜部世界的最重要手段，人類從外部環(huán)境獲取信息中的80%是視覺信息。如圖1所示人的視覺信息系統(tǒng)包括人的眼睛和大腦。人的眼睛是一個典型的圖像傳感器，能夠攝取圖像并且進行一些噪聲去除等初級圖像處理。人的大腦神經(jīng)元網(wǎng)絡是一個視覺圖像處理系統(tǒng),具有非常強的、對所攝取的視覺信息進行并行處理的能力。加州理工學院Mead［1］和東京大學石川正?。?］最先提出了視覺片上系統(tǒng)(SoC)芯片的概念。如圖2所示視覺SoC芯片是一種集圖像傳感器和圖像信息處理電路為一體，實現(xiàn)高速實時視覺信息處理的片上系統(tǒng)芯片。視覺SoC芯片能夠模仿人的視覺和大腦圖像處理系統(tǒng)進行圖像攝取、實時圖像信息并行處理和控制外部設備等完整的系統(tǒng)操作。它具有圖像處理速度快、功能強、功耗低、體積小和成本低的優(yōu)點,在高速運動目標的實時追蹤、機器人視覺系統(tǒng)、圖像識別、智能交通、虛擬現(xiàn)實及各類智能化玩具等領域具有廣泛的應用前景。是當今圖像傳感和圖像處理系統(tǒng)芯片研究領域最前沿的研究課題之一。近年來國內(nèi)外研究機構紛紛投入了大量資金和研究人員支持視覺SoC芯片的關鍵技術研究，取得了一系列重要的進展。加州理工大學［1］、東芝公司和麻省理工大學［3］、愛丁堡大學［4］、東京大學［5-6］、斯坦福大學［7］、Burgundy大學［8］、約翰霍普金斯大學［9］、曼徹斯特大學［10］、靜岡大學［11］和半導體研究所［12-15］等諸多著名的大學、研究機構和企業(yè)開展了視覺SoC芯片的研究工作，并逐漸形成了兩個主要的研究方向：專用視覺芯片：主要是針對某種或某些具體應用而設計，比如運動探測、運動分析、物體范圍搜尋、目標跟蹤和3D視覺等；可編程視覺SoC芯片：這類視覺SoC芯片可以執(zhí)行圖像識別、智能交通、機器人視覺系統(tǒng)、圖像自動解釋和虛擬現(xiàn)實等多種圖像處理任務,通過編程可以應對復雜多變的實際應用場合。目前,國際國內(nèi)雖然在視覺SoC芯片的研究方面取得了明顯的進步，但是在視覺信息處理能力方面與人相比仍然具有較大差距：1）在視覺SoC芯片體系架構上當前的芯片實現(xiàn)了局域像素并行處理,但并不具備視覺圖像的廣域信息處理能力，沒有完全、充分的實現(xiàn)視覺芯片的功能；2）目前的視覺信息處理是基于精確的數(shù)學建模進行串行計算來實現(xiàn)的，僅僅依靠這樣的傳統(tǒng)處理器架構很難完成復雜的視覺信息處理，無法模仿和接近人腦的簡單直觀感知與認知能力；3）在電路結構上，單元電路規(guī)模大導致填充率低彳艮難實現(xiàn)高精度處理，滿足不了真正的視覺芯片的要求；4）在面向器件實現(xiàn)的算法上，當前主要是為在計算機上采用軟件進行視覺信息處理而設計忽視了人眼并行視覺處理、簡單直觀的視覺感知與認知特性以及視覺芯片高速圖像攝取的特征，無法適用于視覺芯片的并行視覺信息處理。本文將重點介紹視覺信息處理的特征和我們研究小組最近幾年在視覺SoC芯片領域取得的研究成果。下面分別給出視覺信息處理的特征、視覺SoC芯片的架構設計、芯片的電路設計、視覺SoC芯片實現(xiàn)和測試結果。1視覺信息處理的特征圖3給出了視覺信息處理流程及其特征。視覺系統(tǒng)首先完成圖像采集，然后進行視覺圖像信息處理。視覺圖像信息處理過程根據(jù)處理的復雜度以及并行度的高低可以劃分為3個層次：低級、中級和高級圖像處理。低級圖像處理完成一些基本的圖像處理功能，其目的在于對圖像進行預處理，增強圖像或者是進行濾波平滑銳化等，方便后續(xù)圖像處理;中級圖像處理則負責進行圖像分割和圖像特征的提取，即分離出圖像中的不同物體和背景，然后得到圖像中物體的特征,如輪廓、質(zhì)心和紋理等;高級圖像處理利用圖像的特征信息,根據(jù)已有的知識經(jīng)驗，完成物體識別和分析的任務。在處理的圖像數(shù)據(jù)量方面，低級圖像處理對一幅數(shù)字圖像進行運算，數(shù)據(jù)量大,而處理結果仍然是一幅數(shù)字圖像;中級圖像處理完成對數(shù)字圖像的運算，數(shù)據(jù)量也大，但是處理的結果是從圖像中獲得的特征信息;高級圖像處理的輸入是那些特征信息,數(shù)據(jù)量相對很小。在計算復雜性和并行度方面，低級圖像處理執(zhí)行局部的全像素并行運算,并行度最高，但是運算本身卻很簡單;中級圖像處理有的以全像素并行方式執(zhí)行，有的以行/列并行方式執(zhí)行,有局部的也有廣域的，并行度有所降低，同時計算復雜性增加;高級圖像處理大都是些不規(guī)則的復雜的運算彳艮少體現(xiàn)出并行性。圖3視覺信息處理流程和特彳正Fig.3Charactersofimageprocessing2視覺片上系統(tǒng)芯片的架構視覺片上系統(tǒng)芯片最初的體系架構的特點是每一個像素和一個處理單元做在一起，—個像素對應一個處理單元。圖4是我們提出的一種典型可編程視覺片上系統(tǒng)芯片架構［12］。芯片結構的核心部分是一個連接成網(wǎng)狀結構的NxN圖像處理單元(PE)陣列。PE陣列的外圍由一個乂軸處理器、一個Y軸處理器、一個PE數(shù)據(jù)輸入/輸出模塊、一個坐標輸出模塊、一個片內(nèi)控制器、以及在處理單元陣列邊緣的2N個PMOS晶體管構成。每一個PE單元包括一個圖像傳感器像素單元和信號處理電路。在片內(nèi)控制器的控制下,PE陣列首先通過每個PE中的感光二極管像素得到一幀NxN大小的模擬灰度圖像。該灰度圖像被由兩個閾值電壓VL和VH組成的閾值窗口量化為二值圖像。然后進行一系列可編程并行圖像處理，得到算法需要的圖像特征信息,比如物體的位置、邊界或骨架。這些圖像特征信息被以像素坐標的形式快速地輸出到外部處理器中，這樣就完成了一幀的圖像處理任務。視覺SoC芯片重復以上過程連續(xù)地完成每一幀的處理任務。由于這種可編程視覺片上系統(tǒng)芯片是采用全像素并行架構，因而具有處理時并行度高，處理速度快的優(yōu)點。但是，它是一種全像素并行的體系架構,將像素和處理單元做在一起，因而隨著圖像分辨率的提高芯片整體面積快速增大，而受限于芯片面積因素,圖像分辨率不能做的太高;另夕卜像素單元是模擬電路，所以處理單元往往也做成模擬的處理單元，因而所進行的功能和靈活性相對比較弱;第三由于這個視覺SoC芯片只包含了PE處理單元陣列和XY軸處理器,所以他只能完成初級圖像處理和部分中級圖像處理功能。圖5給出了我們提出的最新的多并行度處理視覺SoC芯片的系統(tǒng)結構圖［13］。其特點是圖像傳感器像素陣列和處理單元電路是分離的，并且包括了多種并行度不同的處理器。它包含二維的PE陣列、一維的行RP處理器陣列和嵌入式通用微處理器(MCU),能夠分別實現(xiàn)初級、中級和高級圖像處理功能。PE陣列用于實現(xiàn)像素級并行的圖像處理算法；RP陣列用于實現(xiàn)行并行的圖像處理算法;通用微處理器(MCU)能夠?qū)崿F(xiàn)高級的圖像處理和控制PE陣列和RP陣列的運行。系統(tǒng)包含MxM的CMOS圖像傳感器陣列，一列可編程增益放大器(PGA)和一列模數(shù)轉(zhuǎn)換器(ADC)。圖像被一列一列并行的由ADC轉(zhuǎn)化為數(shù)字信號并傳輸?shù)絉P陣列。RP陣列包含N1個RP而PE陣列包含N1xN2個PE。PE陣列的大小不同于圖像尺寸并不會造成問題，這是因為PE陣列和傳感器圖像可以有靈活的映射關系。可以利用1個PE單元存儲多個像素的信息以完成對整個圖像的運算和處理。每個PE都含有運算單元(ALU)和局域存儲的K位數(shù)據(jù)存儲器。如果每個PE單元對應于一個圖像像素，則可以將原始圖像數(shù)據(jù)和運算后的圖像數(shù)據(jù)都存儲于PE單元的存儲器中,并且由PE中的ALU讀取這些局域的存儲器并完成圖像操作。每個RP的數(shù)據(jù)存儲器由同一行的N2個PE提供，因此每個RP等效有N2xK的數(shù)據(jù)存儲器空間。這種存儲器共享減少了芯片面積。當RP陣列需要訪問數(shù)據(jù)存儲器時，則PE陣列不能工作。而當RP僅對其內(nèi)部寄存器操作時,PE陣列和RP陣列可以同時工作。當圖像被逐列從傳感器傳輸并保存到PE陣列中的存儲器后，由RP陣列和PE陣列完成圖像的初級和中級操作。在并行處理器完成運算后，其輸出的結果數(shù)據(jù)量往往遠小于原始的圖像。此時將這些結果送到MCU完成高級圖像算法。比如可以由PE陣列完成對圖像的去噪聲、邊緣提取，由RP陣列完成灰度統(tǒng)計并得到代表圖像特征的特征向量(vector),最后由MCU完成特征向量的匹配，實現(xiàn)圖像的模式識別。為了提高性能,PE陣列和RP陣列的指令由片內(nèi)的指令存儲器給出指令存儲器的地址由MCU給出。為了系統(tǒng)地對比圖4的可編程視覺SoC芯片架構(架構A)和圖5的多并行度處理視覺SoC芯片結構(架構B),表1列出了兩種架構的主要特征指標。架構A具有處理時并行度高、處理速度快、控制簡單和設計難度低的優(yōu)點。但是，由于PE單元和像素單元是一體的，圖像傳感器的填充率指標較低,編程運算的靈活性小，適合于局域化圖像處理，高級圖像處理困難。最致命的是隨著圖像分辨率的提高芯片整體面積快速增大，而受限于芯片面積因素,圖像分辨率不能做的太高,實現(xiàn)廣泛應用的視覺SoC芯片困難。架構B具有填充率指標高、靈活性強、能夠完成低級、中級、高級圖像信息處理和圖像傳感器分辨率相同的條件下芯片面積小的優(yōu)點。盡管存在處理時并行度不高、控制復雜和設計難度大的缺點,但是,通過提高電路設計技術能夠克服這些困難，并且滿足視覺信息實時處理的要求。表1兩種架構的指標對比Table1ComparisonwitharchitecturesAandB指標架構A架構B面積大小并行度高低填充率低高靈活性小大控制較簡單較復雜適合局域廣域設計難度小大3視覺片上系統(tǒng)芯片的電路設計圖6給出了CMOS圖像傳感器和一行后續(xù)模擬電路的結構和功能［13］。CMOS像素單元為標準的3管有源像素傳感器(APS)結構。入射光線透射到光電二極管(PD)陣列上，并被采集了模擬的電壓信號，復位前后兩次采樣的電壓信號由相關雙采樣(CDS)電路除去像素的固定噪聲。增益可編程放大器(PGA)可以通過數(shù)字信號控制放大器增益調(diào)節(jié)信號動態(tài)范圍，實現(xiàn)維持圖像整體信號保持合適的幅度。最后，單斜式模擬數(shù)字轉(zhuǎn)換器(ADC)將模擬圖像信號轉(zhuǎn)化為數(shù)字信號直接輸出或者傳輸給RP單元陣列進行圖像處理。高速行并行圖像像素和后續(xù)的模擬電路可以實現(xiàn)1000幀/s高速的圖像獲取、模擬信號處理和模擬數(shù)字信號轉(zhuǎn)換。圖6視覺芯片中感光源電路及后續(xù)模擬電路的功能和結構［13］Fig.6SchematicsandfunctionsoftheAPSsensor,CDS,PGAandADCcircuits圖7給出了PE單元的電路［13］。每個PE單元含有2塊靜態(tài)存儲器(SRAM)和一個1位的算術邏輯運算單元(ALU)。ALU可以完成二值邏輯運算和1位加法。每個時鐘周期ALU從左邊的SRAM讀取操作數(shù)data1,從右邊的SRAM讀取操作數(shù)data2。每個PE的data1都被連接到其上、下、左、右的近臨PE單元上。ALU的第一個運算數(shù)由多路選通器從近臨PE輸出的data1中選擇。ALU的第二個運算數(shù)為data2,其運算結果dataw被同時寫回SRAM。因此,PE單元可以在單周期完成對存儲器的讀取，運算和寫回操作。而一般的RISCCPU讀取(load)和寫回(write)存儲器都分別需要1個單獨的周期。這種存儲中邏輯的結構提高了系統(tǒng)的性能。圖7視覺芯片中PE的電路結構［13］Fig.7SchematicofthePE圖8給出了行處理器RP的結構和功能［13］。使用了簡單的8位單級RISC處理器，所有的行處理器接受相同的指令，其數(shù)據(jù)存儲器由對應一行PE單元中的存儲器構成。行處理器可以完成數(shù)學運算、在左右近鄰間傳輸數(shù)據(jù)和存儲器地址索引。與PE不同，行處理器的存儲器讀寫地址由其ALU提供,因此可以有不同的讀寫地址。這使行處理器可以完成更復雜的行并行圖像處理算法。芯片中行處理器同時作為ADC輸出數(shù)據(jù)的緩存和向MCU傳輸數(shù)據(jù)的接口。4視覺SoC芯片實現(xiàn)和測試結果我們采用0.18pmCMOS工藝分別試制了基于架構A(圖4)和架構B(圖5)的兩種視覺SoC芯片。圖9是基于架構A的視覺SoC芯片照片。它的PE陣列大小為16x16,每一個PE面積是30pmx40pm,這在已報道的可編程能力較好的芯片中是比較小的。圖10是基于架構B的視覺SoC芯片照片，芯片面積為5mmx2.7mm。它包含有128x128的傳感器像素陣列,128個PGA,128個ADC,32個行處理器RP,32x128的PE陣列，一個8051MCU,指令存儲器和一些周邊電路。每個像素大小為9pmx9pm。ADC的分辨率設計為8位。PE單元大小為65pmx25pm,其版圖全部由手工定制。存儲器使用定制的存儲單元,不包含靈敏放大器和解碼器以減少面積。RP陣列和PE陣列的存儲器共享節(jié)省了30%的芯片面積。圖8視覺SoC芯片中行處理器RP的結構簡圖和主要功能[13]Fig.8Schematicandfunctionsoftherowprocessor圖9架構A的視覺SoC芯片照片F(xiàn)ig.9MicrophotographofthevisionSoCchipbasedonarchitectureA圖11是視覺SoC芯片的測試系統(tǒng)。它包括鏡頭、測試板、FPGA板、高精度直流步進馬達和計算機。為了方便使用視覺SoC芯片，設計了一種類C語言的PE陣列并行編程語言，并使用。#語言開發(fā)了相應的編譯器和開發(fā)仿真環(huán)境。圖10基于架構B的視覺SoC芯片照片F(xiàn)ig.10MicrophotographofthevisionSoCchipbasedonarchitectureB圖11視覺SoC芯片的測試系統(tǒng)實物照片F(xiàn)ig.11TestsystemofvisionSoCchip圖12給出了架構A的視覺SoC芯片完成的4個形態(tài)學算法的例子。這4個算法采用相同的結構元素，見圖12的右下角。在圖12(a)中完成的是一種去噪聲運算。第一步是對圖12(a)最上面的圖像進行一次開運算,這消除了小的噪聲點。將結果膨脹一次后與最上面的圖求與，得到了中間的圖像。接下來,再對中間的圖像執(zhí)行一次閉運算，得到了底部的沒有噪聲的圖像;圖12(b)給出了區(qū)域生長算法的示意。在最上方的圖中有一個像素點作為種子，它以圖12(a)底部的圖像為參照開始生長。具體的步驟是種子圖像做一次膨脹，然后同圖12(a)底部的圖像做求與運算把結果作為新的種子，如此反復。最終種子生長成如圖12(b)底部所示的與參考圖像中的對象完全相同的對象。這里用到了探測空圖像的功能來判斷兩個對象是否相同;圖12(c)分別在中間和底部給出了頂部圖像對象的夕卜部和內(nèi)部輪廓。夕卜部輪廓通過將原對象膨脹一次，然后從膨脹的結果中減去原對象得到。內(nèi)部輪廓通過從原對象中減去原對象進行一次腐蝕后的結果得到;圖12(d)的例子是形態(tài)學骨架抽取算法,頂部圖像中對象的骨架被提取出來見中間的圖像。事實上，在算法執(zhí)行過程中，得到的是一系列子骨架,最后的骨架是這些子骨架的并集。利用子骨架用相反過程的算法可以還原出與原對象完全一致的對象，見圖12(d)的底部。圖12架構A的視覺SoC芯片完成的4個形態(tài)學算法的例子Fig.12Somealgorithms'exampleusingmathematicalmorphologyperformedinthevisionchipA架構A的視覺SoC芯片目標跟蹤試驗的實驗環(huán)境在圖13(a)中給出。一個白色的處于黑暗背景中的目標在固定于馬達上的鏡頭前水平往返運動。目標和鏡頭之間的距離為60cm。處于鏡頭后試驗芯片不斷的以1000幀/s的速度得到目標的位置，據(jù)此馬達調(diào)整其方位使目標始終處于視場的中心從而一直跟蹤目標;圖13(b)給出了實驗過程中目標位置隨時間變化的記錄。圖14給出了架構B的視覺SoC芯片芯片完成較復雜的圖像特征提取功能的試結果。這里使用基于邊緣信息表征圖像的PPED算法［16］。其原理是計算圖像在垂直、水平和+/-45°4個方向上的剃度值與邊緣均值相比得到4個方向的邊緣點，將這些邊緣點的個數(shù)按規(guī)則匯總得到特征向量。圖14(a)給出了算法流程;圖14(b).(c)給出了原始圖像、圖像邊緣均值、在4個方向上提取出的邊緣點和最后形成的特征向量。整個操作可以在12000個周期內(nèi)完成。因此芯片可以完成1000禎/s的圖像特征提取功能，圖像特征可以輸入8051MCU并完成圖像的模式識別。圖13目標跟蹤測試Fig.13Exampleofthetargettrackingexperiment5小結本文闡述了視覺SoC芯片的研究背景、應用領域和國內(nèi)外的研究動態(tài)。重點介紹了圍繞我們有關視覺SoC芯片的研究內(nèi)容和取得的研究成果。它包括視覺圖像信息處理的特征分析、視覺SoC芯片的架構設計、芯片的電路設計、視覺SoC芯片實現(xiàn)和測試結果。視覺SoC芯片具有圖像處理速度快、功能強、功耗低、體積小和成本低的優(yōu)點，在高速運動目標的實時追蹤、機器人視覺系統(tǒng)、圖像識別、智能交通和虛擬現(xiàn)實等領域具有廣泛的應用前景。致謝：本文介紹的研究內(nèi)容和成果是在國家自然科學基金委員會、國家科技部和中國科學院項目基金支持下完成的，多年來妙維博士、林清宇博士、張萬成博士、付秋喻博士、李元金同學和石匆同學參與了本項目的研究工作，做出了卓越的貢獻，在此表示感謝。圖14(a)給出了PPED算法流程,(b)給出了人臉的實驗結果,(c)給出了人手的實驗結果Fig.14(a)FlowofthePPEDpatternextractionalgorithm,(b)experimentalresultsofthePPEDalgorithmappliedtoahumanfaceand(c)resultsofthePPEDalgorithmappliedtoahumanhand參考文獻：C.MeadandM.A.Mahowald.Siliconmodelofearlyvisualprocessing[J].NeuralNetwork,1988,1:91.M.Ishikawa,A.MoritaandN.Takayanagi.Highspeedvisionsystemusingmassivelyparallelprocessing[A].Proc.Int.Conf[C].OnIntelligentRobotsandSystems,1992:373.H.YamashitaandC.I.Sodinz.ACMOSimagerwithaprogrammablebitserialcolumn-parallelSIMD/MIMDprocessor[J].IEEETrans.,ElectronDevices,2009,56:2534-2545.S.Matsunaga,D.Renshaw,andA.Murray.Asinglechip10,000frame/sCMOStrackingimagesensorforcomplextargets[J].ESSCIRC,2002:97.T.Komuro,S.Kagami,andM.Ishikawa.AdynamicallyreconfigurableSIMDprocessorforavisionchip[J].IEEEJ.SolidStateCircuits,2004,30:265.S.Mandai,M.Ikeda,andK.Asada.A256x25614krangemaps/s3-Drangefindingimagesensorusingrowparallelembeddedbinarysearchtreeandaddressencoder[J].IEEEInternationalSolid-StateCircuitsConference(ISSCC),2010:404-405.K.Fife,A.ElGamal,H.-S.P.Wong.A3MPixelmulti-apertureimagesensorwith0.7pmpixelsin0.11umCMOS[C]//IEEEInternationalSolid-StateCircuitsConference(ISSCC),2008:48-49.J.Dubois,D.Ginhac,M.Paindavoine,etal.A10000fpsCMOSsensorwithmassivelyparallelimageprocessing[J].IEEEJ.SolidStateCircuits,2008,43:706-717.R.Etienne-Cummings,Z.K.Kalayjian,D.Cai.Aprogrammablefocal-planeMIMDimageprocessorchip[J].IEEEJ.Solid-StateCircuits,2001,36(1):64-73.P.DudekandP.J.Hicks.Ageneral-purpos