基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計(jì)

基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計(jì)1.看代碼，建模型只有在腦海中建立了一個個邏輯模型，理解FPGA內(nèi)部邏輯結(jié)構(gòu)實(shí)現(xiàn)的基礎(chǔ)，才能明白為什么寫Verilog和寫C整體思路是不一樣的，才能理解順序執(zhí)行語言和并行執(zhí)行語言的設(shè)計(jì)方法上的差異。在看到一段簡單程序的時候應(yīng)該想到是什么樣的功能電路。2.用數(shù)學(xué)思維來簡化設(shè)計(jì)邏輯學(xué)習(xí)FPGA不僅邏輯思維很重要，好的數(shù)學(xué)思維也能讓你的設(shè)計(jì)化繁為簡，所以啊，那些看見高數(shù)就頭疼的童鞋需要重視一下這門課哦。舉個簡單的例子，比如有兩個32bit的數(shù)據(jù)X［31:0］與Y［31:0］相乘。當(dāng)然，無論Altera還是Xilinx都有現(xiàn)成的乘法器IP核可以調(diào)用，這也是最簡單的方法，但是兩個32bit的乘法器將耗費(fèi)大量的資源。那么有沒有節(jié)省資源，又不太復(fù)雜的方式來實(shí)現(xiàn)呢？我們可以稍做修改：將X［31:0］拆成兩部分X1［15:0］和X2［15:0］，令X1［15:0］=X［31:16］，X2［15:0］=X［15:0］，則X1左移16位后與X2相加可以得到X；同樣將Y［31:0］拆成兩部分Y1［15:0］和Y2［15:0］，令Y1［15:0］=Y［31:16］，Y2［15:0］=Y［15:0］，則Y1左移16位后與Y2相加可以得到Y(jié)，則X與Y的相乘可以轉(zhuǎn)化為X1和X2分別與Y1和Y2相乘，這樣一個32bit*32bit的乘法運(yùn)算轉(zhuǎn)換成了四個16bit*16bit的乘法運(yùn)算和三個32bit的加法運(yùn)算。轉(zhuǎn)換后的占用資源將會減少很多，有興趣的童鞋，不妨綜合一下看看，看看兩者差多少。3.時鐘與觸發(fā)器的關(guān)系“時鐘是時序電路的控制者”這句話太經(jīng)典了，可以說是FPGA設(shè)計(jì)的圣言。FPGA的設(shè)計(jì)主要是以時序電路為主，因?yàn)榻M合邏輯電路再怎么復(fù)雜也變不出太多花樣，理解起來也不沒太多困難。但是時序電路就不同了，它的所有動作都是在時鐘一拍一拍的節(jié)奏下轉(zhuǎn)變觸發(fā)，可以說時鐘就是整個電路的控制者，控制不好，電路功能就會混亂。打個比方，時鐘就相當(dāng)于人體的心臟，它每一次的跳動就是觸發(fā)一個CLK，向身體的各個器官供血，維持著機(jī)體的正常運(yùn)作，每一個器官體統(tǒng)正常工作少不了組織細(xì)胞的構(gòu)成，那么觸發(fā)器就可以比作基本單元組織細(xì)胞。時序邏輯電路的時鐘是控制時序邏輯電路狀態(tài)轉(zhuǎn)換的“發(fā)動機(jī)”，沒有它時序邏輯電路就不能正常工作。因?yàn)闀r序邏輯電路主要是利用觸發(fā)器存儲電路的狀態(tài)，而觸發(fā)器狀態(tài)變換需要時鐘的上升或下降沿，由此可見時鐘在時序電路中的核心作用。最后簡單說一下體會吧，歸結(jié)起來就是多實(shí)踐、多思考、多問。實(shí)踐出真知，看100遍別人的方案不如自己去實(shí)踐一下。實(shí)踐的動力一方面來自興趣，一方面來自壓力。有需求會容易形成壓力，也就是說最好能在實(shí)際的項(xiàng)目開發(fā)中鍛煉，而不是為了學(xué)習(xí)而學(xué)習(xí)。為什么你會覺得FPGA難學(xué)？1.不熟悉FPGA的內(nèi)部結(jié)構(gòu)FPGA為什么是可以編程的？恐怕很多初學(xué)者不知道，他們也不想知道。因?yàn)樗麄冇X得這是無關(guān)緊要的。他們潛意識的認(rèn)為可編程嘛，肯定就是像寫軟件一樣啦。軟件編程的思想根深蒂固，看到Verilog或者VHDL就像看到C語言或者其它軟件編程語言一樣。一條條的讀，一條條的分析。拒絕去了解為什么FPGA是可以編程的，不去了解FPGA的內(nèi)部結(jié)構(gòu)，要想學(xué)會FPGA恐怕是天方夜譚。那么FPGA為什么是可以“編程”的呢？首先來了解一下什么叫“程”。其實(shí)“程”只不過是一堆具有一定含義的01編碼而已。編程，其實(shí)就是編寫這些01編碼。只不過我們現(xiàn)在有了很多開發(fā)工具運(yùn)算或者是其它操作。所以軟件是一條一條的，通常都不是直接編寫這些01編碼，而是以高級語言的形式來編寫，最后由開發(fā)工具轉(zhuǎn)換為這種01編碼而已。對于軟件編程而言，處理器會有一個專門的譯碼電路逐條把這些01編碼翻譯為各種控制信號，然后控制其內(nèi)部的電路完成一個個的讀，因?yàn)檐浖牟僮魇且徊揭徊酵瓿傻?。而FPGA的可編程，本質(zhì)也是依靠這些01編碼實(shí)現(xiàn)其功能的改變，但不同的是FPGA之所以可以完成不同的功能，不是依靠像軟件那樣將01編碼翻譯出來再去控制一個運(yùn)算電路，F(xiàn)PGA里面沒有這些東西。FPGA內(nèi)部主要三塊：可編程的邏輯單元、可編程的連線和可編程的IO模塊?？删幊痰倪壿媶卧浠窘Y(jié)構(gòu)某種存儲器（SRAM、FLASH等）制成的4輸入或6輸入1輸出的“真值表”加上一個D觸發(fā)器構(gòu)成。任何一個4輸入1輸出組合邏輯電路，都有一張對應(yīng)的“真值表”，同樣的如果用這么一個存儲器制成的4輸入1輸出的“真值表”，只需要修改其“真值表”內(nèi)部值就可以等效出任意4輸入1輸出的組合邏輯，這些“真值表”內(nèi)部值就是那些01編碼。如果要實(shí)現(xiàn)時序邏輯電路怎么辦？任何的時序邏輯都可以轉(zhuǎn)換為組合邏輯+D觸發(fā)器來完成。但這畢竟只實(shí)現(xiàn)了4輸入1輸出的邏輯電路而已，通常邏輯電路的規(guī)模那是相當(dāng)?shù)拇??？删幊踢B線那怎么辦呢？這個時候就需要用到可編程連線了。在這些連線上有很多用存儲器控制的鏈接點(diǎn)，通過改寫對應(yīng)存儲器的值就可以確定哪些線是連上的而哪些線是斷開的。這就可以把很多可編程邏輯單元組合起來形成大型的邏輯電路?？删幊痰腎O任何芯片都必然有輸入引腳和輸出引腳。有可編程的IO可以任意的定義某個非專用引腳（FPGA中有專門的非用戶可使用的測試、下載用引腳）為輸入還是輸出，還可以對IO的電平標(biāo)準(zhǔn)進(jìn)行設(shè)置?？倸w一句話，F(xiàn)PGA之所以可編程是因?yàn)榭梢酝ㄟ^特殊的01代碼制作成一張張“真值表”，并將這些“真值表”組合起來以實(shí)現(xiàn)大規(guī)模的邏輯功能。不了解FPGA內(nèi)部結(jié)構(gòu)，就不能明白最終代碼如何變到FPGA里面去的，也就無法深入的了解如何能夠充分運(yùn)用FPGA?，F(xiàn)在的FPGA，不單單是有前面講的那三塊，還有很多專用的硬件功能單元，如何利用好這些單元實(shí)現(xiàn)復(fù)雜的邏輯電路設(shè)計(jì)，是從菜鳥邁向高手的路上必須要克服的障礙。而這一切，還是必須先從了解FPGA內(nèi)部邏輯及其工作原理做起。2.錯誤理解HDL語言，怎么看都看不出硬件結(jié)構(gòu)HDL語言的英語全稱是：HardwareDeionLanguage，注意這個單詞Deion，而不是Design。老外為什么要用Deion這個詞而不是Design呢？因?yàn)镠DL確實(shí)不是用用來設(shè)計(jì)硬件的，而僅僅是用來描述硬件的。描述這個詞精確地反映了HDL語言的本質(zhì)，HDL語言不過是已知硬件電路的文本表現(xiàn)形式而已，只是將以后的電路用文本的形式描述出來而已。而在編寫語言之前，硬件電路應(yīng)該已經(jīng)被設(shè)計(jì)出來了。語言只不過是將這種設(shè)計(jì)轉(zhuǎn)化為文字表達(dá)形式而已。硬件設(shè)計(jì)也是有不同的抽象層次，每一個層次都需要設(shè)計(jì)。最高的抽象層次為算法級、然后依次是體系結(jié)構(gòu)級、寄存器傳輸級、門級、物理版圖級。使用HDL的好處在于我們已經(jīng)設(shè)計(jì)好了一個寄存器傳輸級的電路，那么用HDL描述以后轉(zhuǎn)化為文本的形式，剩下的向更低層次的轉(zhuǎn)換就可以讓EDA工具去做了，這就大大的降低了工作量。這就是可綜合的概念，也就是說在對這一抽象層次上硬件單元進(jìn)行描述可以被EDA工具理解并轉(zhuǎn)化為底層的門級電路或其他結(jié)構(gòu)的電路。在FPGA設(shè)計(jì)中，就是在將這以抽象層級的意見描述成HDL語言，就可以通過FPGA開發(fā)軟件轉(zhuǎn)化為上一點(diǎn)中所述的FPGA內(nèi)部邏輯功能實(shí)現(xiàn)形式。HDL也可以描述更高的抽象層級如算法級或者是體系結(jié)構(gòu)級，但目前受限于EDA軟件的發(fā)展，EDA軟件還無法理解這么高的抽象層次，所以HDL描述這樣抽象層級是無法被轉(zhuǎn)化為較低的抽象層級的，這也就是所謂的不可綜合。所以在閱讀或編寫HDL語言，尤其是可綜合的HDL，不應(yīng)該看到的是語言本身，而是要看到語言背后所對應(yīng)的硬件電路結(jié)構(gòu)。3.FPGA本身不算什么，一切皆在FPGA之外FPGA是給誰用的？很多學(xué)校是為給學(xué)微電子專業(yè)或者集成電路設(shè)計(jì)專業(yè)的學(xué)生用的，其實(shí)這不過是很多學(xué)校受資金限制，買不起專業(yè)的集成電路設(shè)計(jì)工具而用FPGA工具替代而已。其實(shí)FPGA是給設(shè)計(jì)電子系統(tǒng)的工程師使用的。這些工程師通常是使用已有的芯片搭配在一起完成一個電子設(shè)備，如基站、機(jī)頂盒、視頻監(jiān)控設(shè)備等。當(dāng)現(xiàn)有芯片無法滿足系統(tǒng)的需求時，就需要用FPGA來快速的定義一個能用的芯片。前面說了，F(xiàn)PGA里面無法就是一些“真值表”、觸發(fā)器、各種連線以及一些硬件資源，電子系統(tǒng)工程師使用FPGA進(jìn)行設(shè)計(jì)時無非就是考慮如何將這些以后資源組合起來實(shí)現(xiàn)一定的邏輯功能而已，而不必像IC設(shè)計(jì)工程師那樣一直要關(guān)注到最后芯片是不是能夠被制造出來。本質(zhì)上和利用現(xiàn)有芯片組合成不同的電子系統(tǒng)沒有區(qū)別，只是需要關(guān)注更底層的資源而已。要想把FPGA用起來還是簡單的，因?yàn)闊o非就是那些資源，在理解了前面兩點(diǎn)再搞個實(shí)驗(yàn)板，跑跑實(shí)驗(yàn)，做點(diǎn)簡單的東西是可以的。而真正要把FPGA用好，那光懂點(diǎn)FPGA知識就遠(yuǎn)遠(yuǎn)不夠了。因?yàn)樽罱K要讓FPGA里面的資源如何組合，實(shí)現(xiàn)何種功能才能滿足系統(tǒng)的需要，那就需要懂得更多更廣泛的知識。4.數(shù)字邏輯知識是根本無論是FPGA的哪個方向，都離不開數(shù)字邏輯知識的支撐。FPGA說白了是一種實(shí)現(xiàn)數(shù)字邏輯的方式而已。如果連最基本的數(shù)字邏輯的知識都有問題，學(xué)習(xí)FPGA的愿望只是空中樓閣而已。數(shù)字邏輯是任何電子電氣類專業(yè)的專業(yè)基礎(chǔ)知識，也是必須要學(xué)好的一門課。如果不能將數(shù)字邏輯知識爛熟于心，養(yǎng)成良好的設(shè)計(jì)習(xí)慣，學(xué)FPGA到最后仍然是霧里看花水中望月，始終是一場空的。以上四條只是我目前總結(jié)菜鳥們在學(xué)習(xí)FPGA時所最容易跑偏的地方，F(xiàn)PGA的學(xué)習(xí)其實(shí)就像學(xué)習(xí)圍棋一樣，學(xué)會如何在棋盤上落子很容易，成為一位高手卻是難上加難。要真成為李昌鎬那樣的神一般的選手，除了靠刻苦專研，恐怕還確實(shí)得要一點(diǎn)天賦。薦讀1.入門首先要掌握HDL（HDL=verilog+VHDL）第一句話是：還沒學(xué)數(shù)電的先學(xué)數(shù)電。然后你可以選擇verilog或者VHDL，有C語言基礎(chǔ)的，建議選擇VHDL。因?yàn)関erilog太像C了，很容易混淆，最后你會發(fā)現(xiàn)，你花了大量時間去區(qū)分這兩種語言，而不是在學(xué)習(xí)如何使用它。當(dāng)然，你思維能轉(zhuǎn)得過來，也可以選verilog，畢竟在國內(nèi)verilog用得比較多。接下來，首先找本實(shí)例抄代碼。抄代碼的意義在于熟悉語法規(guī)則和編譯器（這里的編譯器是硅編譯器又叫綜合器，常用的編譯器有：Quartus、ISE、Vivado、DesignCompiler、Synopsys的VCS、iverilog、Lattice的Diamond、Microsemi/Actel的Libero、Synplifypro），然后再模仿著寫，最后不看書也能寫出來。編譯完代碼，就打開RTL圖，看一下綜合出來是什么樣的電路。HDL是硬件描述語言，突出硬件這一特點(diǎn)，所以要用數(shù)電的思維去思考HDL，而不是用C語言或者其它高級語言，如果不能理解這句話的，可以看《什么是硬件以及什么是軟件》。在這一階段，推薦的教材是《Verilog傳奇》、《VerilogHDL高級數(shù)字設(shè)計(jì)》或者是《用于邏輯綜合的VHDL》。不看書也能寫出個三段式狀態(tài)機(jī)就可以進(jìn)入下一階段了。此外，你手上必須準(zhǔn)備Verilog或者VHDL的官方文檔，《verilog_IEEE官方標(biāo)準(zhǔn)手冊-2005_IEEE_P1364》、《IEEEStandardVHDLLanguage_2008》，以便遇到一些語法問題的時候能查一下。2.獨(dú)立完成中小規(guī)模的數(shù)字電路設(shè)計(jì)現(xiàn)在，你可以設(shè)計(jì)一些數(shù)字電路了，像交通燈、電子琴、DDS等等，推薦的教材是夏老《Verilog數(shù)字系統(tǒng)設(shè)計(jì)教程》（第三版）。在這一階段，你要做到的是：給你一個指標(biāo)要求或者時序圖，你能用HDL設(shè)計(jì)電路去實(shí)現(xiàn)它。這里你需要一塊開發(fā)板，可以選Altera的cycloneIV系列，或者Xilinx的Spantan6。還沒掌握HDL之前千萬不要買開發(fā)板，因?yàn)槟阗I回來也沒用。這里你沒必要每次編譯通過就下載代碼，咱們用modelsim仿真（此外還有QuestaSim、NCverilog、Diamond的Active-HDL、VCS、Debussy/Verdi等仿真工具），如果仿真都不能通過那就不用下載了，肯定不行的。在這里先掌握簡單的testbench就可以了。推薦的教材是《WRITINGTESTBENCHESFunctionalVerificationofHDLModels》。3.掌握設(shè)計(jì)方法和設(shè)計(jì)原則你可能發(fā)現(xiàn)你綜合出來的電路盡管沒錯，但有很多警告。這個時候，你得學(xué)會同步設(shè)計(jì)原則、優(yōu)化電路，是速度優(yōu)先還是面積優(yōu)先，時鐘樹應(yīng)該怎樣設(shè)計(jì)，怎樣同步兩個異頻時鐘等等。推薦的教材是《FPGA權(quán)威指南》、《IP核芯志-數(shù)字邏輯設(shè)計(jì)思想》、《AlteraFPGA/CPLD設(shè)計(jì)》第二版的基礎(chǔ)篇和高級篇兩本。學(xué)會加快編譯速度（增量式編譯、LogicLock），靜態(tài)時序分析（timequest），嵌入式邏輯分析儀（signaltap）就算是通關(guān)了。如果有不懂的地方可以暫時跳過，因?yàn)檫@部分還需要足量的實(shí)踐，才能有較深刻的理解。4.學(xué)會提高開發(fā)效率因?yàn)镼uartus和ISE的編輯器功能太弱，影響了開發(fā)效率。所以建議使用Sublimetext編輯器中代碼片段的功能，以減少重復(fù)性勞動。Modelsim也是常用的仿真工具，學(xué)會TCL/TK以編寫適合自己的DO文件，使得仿真變得自動化，推薦的教材是《TCL/TK入門經(jīng)典》。你可能會手動備份代碼，但是專業(yè)人士都是用版本控制器的，所以，為了提高工作效率，必須掌握GIT。文件比較器BeyondCompare也是個比較常用的工具。此外，你也可以使用SystemVerilog來替代testbench，這樣效率會更高一些。如果你是做IC驗(yàn)證的，就必須掌握SystemVerilog和驗(yàn)證方法學(xué)（UVM）。推薦的教材是《WritingTestbenchesusingSystemVerilog》、《TheUVMPrimer》、《SystemVerilog1800-2012語法手冊》。掌握了TCL/TK之后，可以學(xué)習(xí)虛擬Jtag（ISE也有類似的工具）制作屬于自己的調(diào)試工具，此外，有時間的話，最好再學(xué)個python。腳本，意味著一勞永逸。5.增強(qiáng)理論基礎(chǔ)這個時候，你已經(jīng)會使用FPGA了，但是還有很多事情做不了（比如，F(xiàn)IR濾波器、PID算法、OFDM等），因?yàn)槔碚摏]學(xué)好。我大概地分幾個方向供大家參考，后面跟的是要掌握的理論課。信號處理——信號與系統(tǒng)、數(shù)字信號處理、數(shù)字圖像處理、現(xiàn)代數(shù)字信號處理、盲信號處理、自適應(yīng)濾波器原理、雷達(dá)信號處理接口應(yīng)用——如：UART、SPI、IIC、USB、CAN、PCIE、RapidIO、DDR、TCP/IP、SPI4.2（10G以太網(wǎng)接口）、SATA、光纖、DisplayPort無線通信——信號與系統(tǒng)、數(shù)字信號處理、通信原理、移動通信基礎(chǔ)、隨機(jī)過程、信息論與編碼CPU設(shè)計(jì)——計(jì)算機(jī)組成原理、單片機(jī)、計(jì)算機(jī)體系結(jié)構(gòu)、編譯原理儀器儀表——模擬電子技術(shù)、高頻電子線路、電子測量技術(shù)、智能儀器原理及應(yīng)用控制系統(tǒng)——自動控制原理、現(xiàn)代控制理論、過程控制工程、模糊控制器理論與應(yīng)用壓縮、編碼、加密——數(shù)論、抽象代數(shù)、現(xiàn)代編碼技術(shù)、信息論與編碼、數(shù)據(jù)壓縮導(dǎo)論、應(yīng)用密碼學(xué)、音頻信息處理技術(shù)、數(shù)字視頻編碼技術(shù)原理現(xiàn)在你發(fā)現(xiàn)，原來FPGA會涉及到那么多知識，你可以選一個感興趣的方向，但是工作中很有可能用到其中幾個方向的知識，所以理論還是學(xué)得越多越好。如果你要更上一層，數(shù)學(xué)和英語是不可避免的。6.學(xué)會使用MATLAB仿真設(shè)計(jì)FPGA算法的時候，多多少少都會用到MATLAB，比如CRC的系數(shù)矩陣、數(shù)字濾波器系數(shù)、各種表格和文本處理等。此外，MATLAB還能用于調(diào)試HDL（用MATLAB的計(jì)算結(jié)果跟用HDL算出來的一步步對照，可以知道哪里出問題）。推薦的教材是《MATLAB寶典》和杜勇的《數(shù)字濾波器的MATLAB與FPGA實(shí)現(xiàn)》。7.圖像處理Photoshop花一、兩周的時間學(xué)習(xí)PS，對圖像處理有個大概的了解，知道各種圖片格式、直方圖、色相、通道、濾鏡、拼接等基本概念，并能使用它。這部分是0基礎(chǔ)，目的讓大家對圖像處理有個感性的認(rèn)識，而不是一上來就各種各樣的公式推導(dǎo)。推薦《PhotoshopCS6完全自學(xué)教程》?；贛ATLAB或OpenCV的圖像處理有C/C++基礎(chǔ)的可以學(xué)習(xí)OpenCV，否則的話，建議學(xué)MATLAB。這個階段下，只要學(xué)會簡單的調(diào)用函數(shù)即可，暫時不用深究實(shí)現(xiàn)的細(xì)節(jié)。推薦《數(shù)字圖像處理matlab版》、《學(xué)習(xí)OpenCV》。圖像處理的基礎(chǔ)理論這部分的理論是需要高數(shù)、復(fù)變、線性代數(shù)、信號與系統(tǒng)、數(shù)字信號處理等基礎(chǔ)，基礎(chǔ)不好的話，建議先補(bǔ)補(bǔ)基礎(chǔ)再來?？床欢睦碚撘部梢詴簳r先放下，或許學(xué)到后面就自然