關(guān)于FPGA與深度學(xué)習(xí)的關(guān)系探析詳解

關(guān)于FPGA與深度學(xué)習(xí)的關(guān)系探析詳解人工智能的風(fēng)潮從技術(shù)一路蔓延到硬件，讓“芯片”成為今年行業(yè)里盛極一時(shí)的主題。人們關(guān)注通用芯片領(lǐng)域里CPU和GPU不斷刷新的基準(zhǔn)（benchmark），更對專用芯片（ASIC）領(lǐng)域不同場景下不斷問世的解決方案表示出了空前的熱情。而眾所周知，在專用芯片與通用芯片中間，還有一個更為靈活，也更為神秘的領(lǐng)域：FPGA。無論是英特爾天價(jià)的收購還是微軟與IBM雄心勃勃的計(jì)劃，都讓人對其更加好奇。而“萬能芯片”的名稱，以及多樣化的職責(zé)范圍：它可以是智能手機(jī)里不起眼的一個小組件，也可以是數(shù)千美金一塊的開發(fā)板，也讓人對其真面目更加疑惑。FPGA與深度學(xué)習(xí)的關(guān)系究竟是什么？它適合加速何種類型的運(yùn)算？適合應(yīng)用于何種場景？6月，機(jī)器之心采訪了美國伊利諾伊大學(xué)香檳分校電氣與計(jì)算機(jī)工程系（UIUCECE）教授、深度學(xué)習(xí)算法硬件加速解決方案創(chuàng)業(yè)公司InspiritIoT創(chuàng)始人陳德銘，與他聊了聊“萬能芯片”FPGA在深度學(xué)習(xí)領(lǐng)域的用法。陳教授于近期宣布兼任國內(nèi)計(jì)算機(jī)視覺領(lǐng)域創(chuàng)業(yè)公司觸景無限的首席科學(xué)家。以下為采訪實(shí)錄。機(jī)器之心：從算法的角度，F(xiàn)PGA適合于加速哪些運(yùn)算？FPGA的優(yōu)勢在于可定制化的并行。它可以為了特定算法專門定制邏輯單元。例如，算法中需要完成一個開三次方的運(yùn)算，在通用芯片上需要一長串指令實(shí)現(xiàn)它，但是在FPGA上可以為這個特定運(yùn)算設(shè)計(jì)一個單元。定制化的一個“極限”的例子是，如果能夠把神經(jīng)網(wǎng)絡(luò)中的參數(shù)全部二值化、特征圖（featuremap）也全部二值化，那么甚至可以不用乘法器，而是用異或門（XORgate）完成計(jì)算，會有異常強(qiáng)大的表現(xiàn)。即使不全部二值化，因?yàn)槿慷祷瘯寽?zhǔn)確度明顯下降，只要合理使用各種低位寬的運(yùn)算，仍可以讓FPGA大放異彩。比如在我們最近和IBM合作的ELB-NN項(xiàng)目中，我們可以在功耗低于5瓦的情形下，讓神經(jīng)網(wǎng)絡(luò)在FPGA上的算力達(dá)到10.3TOPS，同時(shí)依然維持非常高的準(zhǔn)確度。另一個例子是微軟的BrainwaveFPGA項(xiàng)目，通過使用特殊的8-bit的浮點(diǎn)運(yùn)算，可以在高容量的FPGA上達(dá)到40TOPS。值得一提的是，LSTM等神經(jīng)網(wǎng)絡(luò)每一步操作都很相似，這種整體運(yùn)算過程是序列的算法也非常適用于用FPGA進(jìn)行加速。FPGA非常擅長處理流數(shù)據(jù)，可以設(shè)計(jì)流水線機(jī)制，使得在運(yùn)算過程中不需要將中間數(shù)據(jù)存入內(nèi)存而是直接送到下一步進(jìn)行操作。機(jī)器之心：相比于其他芯片，F(xiàn)PGA在實(shí)現(xiàn)深度學(xué)習(xí)模型時(shí)有哪些結(jié)構(gòu)帶來的優(yōu)勢？FPGA的引腳比一般的芯片多，同時(shí)它的邏輯單元可以完全根據(jù)算法要求來重組從而產(chǎn)生定制化的數(shù)據(jù)通路（datapath），因此非常適合處理大批量流數(shù)據(jù)。它不像GPU一樣需要反復(fù)調(diào)取片外存儲中的數(shù)據(jù)，理想狀態(tài)時(shí)，只要數(shù)據(jù)一次性流進(jìn)去再流出來，算法就完成了，因此，F(xiàn)PGA非常適合具有低延遲需求的任務(wù)。另外FPGA的速度快、功率低的特點(diǎn)也讓它在能耗方面相比于CPU、GPU也有很大優(yōu)勢。比如我們在FPGA上實(shí)現(xiàn)了長期循環(huán)卷積網(wǎng)絡(luò)（Long-termRecurrentConvoluTIonalNetwork），它的速度（latency）比GPU快3.1倍，F(xiàn)PGA的功率比GPU小5.6倍，最終整體能耗降低17倍左右。機(jī)器之心：從行業(yè)的角度，F(xiàn)PGA都能夠用于哪些機(jī)器學(xué)習(xí)與深度學(xué)習(xí)任務(wù)的加速？在終端，有些自動駕駛公司的車上系統(tǒng)中就采用了FPGA完成一些實(shí)時(shí)檢測識別任務(wù)。例如，我曾經(jīng)代表UIUC與小鵬汽車的副總裁、機(jī)器學(xué)習(xí)專家谷俊麗女士交流，她提到，F(xiàn)PGA可以憑借信號處理和低能耗方面的優(yōu)勢，成為一個可靠的第二系統(tǒng)，在汽車的第一系統(tǒng)出現(xiàn)失誤的時(shí)候，作為安全模式介入進(jìn)來。IoT方面的應(yīng)用就更多了，無論是安防還是智能家居，F(xiàn)PGA都會有機(jī)會進(jìn)入市場。在云端，也有結(jié)合FPGA的巨大空間。之前，微軟的ProjectCatapult就搭建起了大規(guī)模的FPGA云服務(wù)器?，F(xiàn)在Catapult正在運(yùn)行搜索和數(shù)據(jù)存儲方面的運(yùn)算，同時(shí)，他們也在積極地思考如何把機(jī)器學(xué)習(xí)運(yùn)算部署在上面，包括是否能將FPGA作為其Azure云的后端支持。亞馬遜AWS的FPGA云計(jì)算已經(jīng)很有規(guī)模了，并且一直在大力推動之中。最近，國內(nèi)創(chuàng)業(yè)公司深鑒也開始結(jié)合華為的云端FPGA來進(jìn)行深度學(xué)習(xí)算法的加速，特別在基于LSTM的語音識別上非常有優(yōu)勢。機(jī)器之心：能否介紹一下使用高層次綜合（HLS）自動生成寄存器級（RTL）實(shí)現(xiàn)與手工用硬件描述語言（HDL）進(jìn)行實(shí)現(xiàn)的區(qū)別？對于深度學(xué)習(xí)相關(guān)算法來說，HLS是有優(yōu)勢的。當(dāng)你閱讀用高層語言描述的深度學(xué)習(xí)模型時(shí)，你會發(fā)現(xiàn)模型是有規(guī)律的。比如，卷積操作在C語言里就是一個六層的嵌套循環(huán)。此時(shí)我就可以針對這個循環(huán)開發(fā)一個IP核，確定如何進(jìn)行流水線設(shè)計(jì)（pipelining），如何分配存儲等，然后再將IP核用在FPGA上，進(jìn)而讓神經(jīng)網(wǎng)絡(luò)中的所有卷積層來共享IP核即可。此時(shí)設(shè)計(jì)的優(yōu)化要點(diǎn)是IP核的大小、是否需要多個IP核并行運(yùn)算等。這是一個非常適用HLS的場景，因?yàn)镠LS可以自動化地、快速地探索不同的解決方案。如果采用RTL，則需要很多工程師，組成多個團(tuán)隊(duì)，每個團(tuán)隊(duì)根據(jù)工程師過去的設(shè)計(jì)經(jīng)驗(yàn)著重探索一個方向，這是一個成本非常高的過程。RTL是一種描述硬件的空間的關(guān)系和邏輯時(shí)序等邏輯關(guān)系的硬件描述語言。這是一門難學(xué)的語言，能夠熟練掌握的從業(yè)者也不多，開發(fā)和測試都很慢。夸張點(diǎn)說，如果HLS開發(fā)周期以天和周來計(jì)算，那么RTL通常是以月和年。從最終結(jié)果角度講，RTL完全手工調(diào)制的解決方案是很可能比HLS自動生成的方案效果好的。我們曾經(jīng)做過比較，在深度學(xué)習(xí)的情境下，HLS和RTL方法的差距在10%左右。因此，問題在于是否愿意花3-5倍的時(shí)間獲得額外10%的效果。機(jī)器之心：在簡化FPGA開發(fā)過程這一任務(wù)上，研究者做了哪些工作？我們的團(tuán)隊(duì)開發(fā)了一個研究工具，是一個C語言的模板庫，能夠根據(jù)Caffe和TensorFlow的代碼自動生成C語言的表達(dá)。然后研究者可以將C語言的代碼再交給HLS工具生成RTL代碼。C語言是軟件工程師普遍掌握的語言，這樣的工具讓軟件工程師也具有FPGA開發(fā)能力，而且讓開發(fā)者更專注于算法，而不用過多考慮底層硬件。而且，這個過程中的中間結(jié)果都可以導(dǎo)出，專業(yè)人員也可以在自動生成的基礎(chǔ)上再進(jìn)行優(yōu)化，總而言之，整個開發(fā)的效率都得到了極大的提高。這只是舉一個例子。還有其它很多的研究人員在做相關(guān)的提升深度學(xué)習(xí)設(shè)計(jì)效率和質(zhì)量的各類工具和平臺。工業(yè)和學(xué)術(shù)屆的都有。學(xué)術(shù)屆比如UCLA的叢京生老師，以及Cornell的張志汝老師等。工業(yè)屆比較領(lǐng)先的是賽靈思和英特爾自己設(shè)計(jì)的一些工具。機(jī)器之心：各個大公司在FPGA的應(yīng)用方面都進(jìn)行了哪些工作？拓展市場的思路都有哪些？IBM和賽靈思正在Power系列上進(jìn)行合作，致力于在FPGA上加更多的存儲，在最新的原型機(jī)上，把存儲加到了64G，相比于市面上現(xiàn)在常見的最大8或16G，極大擴(kuò)展了數(shù)據(jù)帶寬，來進(jìn)行和大數(shù)據(jù)相關(guān)的處理。英特爾收購了Altera，并且致力于幫助Altera進(jìn)行編譯等工具的開發(fā)。這是一個FPGA商品化的思路，就像GPU一樣，說不定未來的PC里就會有一個FPGA協(xié)處理器在CPU旁邊完成工作?；蛘咴谛酒瑢用嫔希珻PU片上就有一塊FPGA?？偠灾?，一旦工具做好，整合的機(jī)會會有很多。英特爾在智能城市、智慧制造方面都有很多的構(gòu)想，并且希望借由FPGA實(shí)現(xiàn)。再就是微軟。它的思路主要就是云計(jì)算，除了Bing之外，也希望在進(jìn)行機(jī)器學(xué)習(xí)任務(wù)的Azure云中使用FPGA。機(jī)器之心：能否介紹一下InspiritIoT通過哪些產(chǎn)品實(shí)現(xiàn)了深度學(xué)習(xí)算法在FPGA上的加速？我們公司主要有三個產(chǎn)品，按照層次分別是DNN優(yōu)化器、高層次綜合加速編譯器（HLScompiler），以及整體FPGA解決方案。DNN優(yōu)化器的目標(biāo)是定制一個FPGA友好的模型，把訓(xùn)練好的模型中對于推理來說冗余的部分去掉。例如，訓(xùn)練時(shí)使用的浮點(diǎn)數(shù)可以被替換為定點(diǎn)數(shù)，訓(xùn)練時(shí)每層有非常多的單元，但是在推理的時(shí)候可以進(jìn)行剪枝（Pruning），等等。DNN優(yōu)化器就是以各種高層框架的模型為基礎(chǔ)，根據(jù)硬件的特性和場景的特性進(jìn)行自動的優(yōu)化。高層次綜合編譯器讓開發(fā)者得以繞開寫Verilog硬件描述語言，將C、C++、CUDA等代碼直接編成FPGA，旨在降低硬件開發(fā)的門檻，提高軟件工程師的生產(chǎn)力。我們的特色是這個編譯器可以自然結(jié)合深