人工智能芯片技術(shù)的發(fā)展與應用課件

1、人工智能芯片技術(shù)的發(fā)展與應用我們從這里來在56億年前的寒武紀，大量較高等物種出現(xiàn)，物種多樣性大幅提升。 這個現(xiàn)象被稱為寒武紀物種大爆發(fā)。先進的智能技術(shù)已呈大爆發(fā)之勢，我們希望為智能技術(shù)的大爆發(fā)提供核 心物質(zhì)載體。Cambricon = Cambrian + Silicon從1950年至今，人工智能歷經(jīng)三次發(fā)展熱潮，從誕生到機器學習再到深度學習智能第三次熱潮深度學習基本理論框 架得到驗證19701990感知機模型 被提出神經(jīng)網(wǎng)絡(luò)：離散Hopfield網(wǎng)絡(luò)2013深度學習算法在語 音和視覺識別上取 得突破達特茅斯 會議195619822006寒武紀萌芽創(chuàng)始團隊成員開始從 事處理器架構(gòu)和人工能的交叉

2、研究2008深度學習的崛起與AI的第三次熱潮1956 AI誕生1982第一次熱潮神經(jīng)網(wǎng)絡(luò)相關(guān)基礎(chǔ) 理論被提出1957 第一次熱潮第二次熱潮 算法應用升級1986 第二次熱潮2006 第三次熱潮第一次熱潮第一次低谷ARTIFICIAL INTELLIGENCE 萌芽期第二次熱潮第二次低谷MACHINE LEARNING 突破期第三次熱潮DEEP LEARNING 發(fā)展期“深度學習“神 經(jīng)網(wǎng)絡(luò)使得AI性 能大幅提升BP算法出現(xiàn)核心要素核心產(chǎn)品技術(shù)人工智能發(fā)展三大要素資源突破：大數(shù)據(jù)不斷被收集的 大量數(shù)據(jù)數(shù)據(jù)集結(jié)構(gòu)化標定數(shù)據(jù)量算法突破：深度學習不斷優(yōu)化的 人工智能算法FPGAASIC算力突破：智能芯

3、片高性能芯片組成的 計算能力CPUGPU人工智能的三大要素智能芯片算法大數(shù)據(jù)各類終端應用結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)文本為主網(wǎng)絡(luò)日志、音頻、視 頻、圖像、地理位置 等等上游中游下游深度學習機器學習。人工智能為什么需要專門的處理器？CPU-通用計算GPU-圖形計算MLU-智能計算智能終端處理器IPVS智能云服務(wù)器芯片感知智能 增強學習認知智能 決策判斷虛擬場景理解 人機交互智能終端，VR、AR設(shè)備機器人、無人駕駛互聯(lián)網(wǎng)、數(shù)據(jù)中心是的先行者智能創(chuàng)新的物質(zhì)載體：智能芯片DianNaoDaDianNaoShiDianNaoPuDianNaoCambricon-XCambriconTPUCnvlutinRed

4、EyeStripesEIESCNNScaleDeepPRIMEFused CNNEyerissFlexFlowPipelayerBit-Pragmatic前期學術(shù)工作DianNao, 2014201420152016*數(shù)據(jù)from ISCA，HPCA，ASPLOS，MICRO，20102017DianNao系列學術(shù)研究由來自法國Inria等機構(gòu)的國際學術(shù)合作者共同完成2017寒武紀：智能芯片的先行者人工智能發(fā)展態(tài)勢端云聯(lián)系親密化云端承載訓練任務(wù)和高吞吐量的 復雜計算推理任務(wù)終端承載需快速判斷實時響應的 推理任務(wù)終端設(shè)備智能化5G及物聯(lián)網(wǎng)技術(shù)推動嵌入式AI技 術(shù)發(fā)展智能終端獨立實時完成環(huán)境感知、

5、 人機交互、決策控制等功能AIIoTCPUGPUFPGAASIC5G云+邊緣計算新的計算架構(gòu)+新的部署模式承擔新的工作負載需求未來的趨勢云 . 端變化更大量的 數(shù)據(jù)高速的信 息傳輸AI算力的 大幅提升大數(shù)據(jù)分析處理需求增長終端設(shè)備更加輕便和智能 關(guān)鍵業(yè)務(wù)型應用飛速發(fā)展未來的趨勢：智能云數(shù)據(jù)中心1X100XAI芯片賦能云端訓練和推理，數(shù)據(jù)中心智能化升級Speed Up20X500025050Servers(pcs)CPU onlyHPCAI智能手機、智能音箱、智能可穿 戴設(shè)備等終端實現(xiàn)多樣化的智能應用，增 強客戶體驗惠及民生智能移動終端關(guān)鍵業(yè)務(wù)應用無人駕駛，無人機等終端實現(xiàn)數(shù)據(jù)實時處理與零誤差

6、響應，保障生命安全智能物聯(lián)網(wǎng)智能家居、智慧城市等終端實現(xiàn)數(shù)據(jù)本地化處理，保護隱 私數(shù)據(jù)的安全性在智能化同時 保證數(shù)據(jù)的安全性實現(xiàn)數(shù)據(jù)實時處理 與零誤差響應讓智能便利在生活中 更加觸手可及未來的趨勢：萬物互聯(lián)的智慧化終端5G+物聯(lián)網(wǎng)推動了智能終端的迅速發(fā)展普及自動駕駛移動消費電子移動電話AR/VR及娛樂設(shè)備智能可穿戴設(shè)備智慧城市智能視覺設(shè)備其他生物識別設(shè)備數(shù)據(jù)中心及云智能物聯(lián)網(wǎng)智能家居智慧農(nóng)牧工業(yè)物聯(lián)網(wǎng)5G+物聯(lián)網(wǎng)+海量數(shù)據(jù)零差錯型關(guān)鍵應用云/關(guān)鍵/高性能計算1 TOPS1-8 TOPS4-20 TOPS車載嵌入式設(shè)備邊緣計算設(shè)備20-200 TOPS智能芯片適用千廣泛應用場景云端超大規(guī)模數(shù)據(jù)中

7、心邊緣端小型數(shù)據(jù)中心POPS-EOPS分析和抽取應 用負載特征設(shè)計靈活 的指令集設(shè)計可擴展性 強、高效的架構(gòu)提供靈活的 運算器方案支持主流 編程框架在大規(guī)模商用中 得到反饋和修正智能芯片如何做到通用和好用？智能處理器設(shè)計的三大矛盾有限規(guī)模的硬件 vs 任意規(guī)模的算法 結(jié)構(gòu)固定的硬件 vs 千變?nèi)f化的算法 能耗受限的硬件 vs 計算量大的算法傳統(tǒng)ASIC(將一個特定算法硬件化)的思路 無法解決深度學習處理的需求傳統(tǒng)思路片外內(nèi)存算法硬件運算單元和 算法神經(jīng)元一一對應把數(shù)據(jù)從內(nèi)存搬運到 硬件運算單元，甚至 比運算本身更耗能量硬件運算單元數(shù)量稍微一多， 訪存帶寬就供應不上數(shù)據(jù)對硬件運算單元分時復用片外

8、內(nèi)存片上存儲片上存儲算法小尺度但支持大規(guī)模神經(jīng)網(wǎng)絡(luò)速度：把訪存帶寬用起來，盡可能提高性能能耗：通過優(yōu)化片上存儲層次盡量減少訪存次數(shù)寒武紀思路有限規(guī)模的硬件 vs 任意規(guī)模的算法單芯片只能集成 數(shù)千硬件神經(jīng)元通過對硬件神經(jīng)元時分復用，可虛 擬化出千億級別超大規(guī)模神經(jīng)網(wǎng)絡(luò)Tianshi Chen, Zidong Du, Ninghui Sun, Jia Wang, Chengyong Wu, Yunji Chen, and Olivier Temam, DianNao: A Small- Footprint High-Throughput Accelerator for Ubiquitous Ma

9、chine-Learning, In Proceedings of 19th International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS14), 2014. (Best Paper Award)神經(jīng)元虛擬化結(jié)構(gòu)固定的硬件 vs 千變?nèi)f化的算法設(shè)計通用智能指令集來高效處理千變?nèi)f化的智能算法抽取和提煉各種智能算法共性基本運算FetchScalar Register FileScalarFunc.UnitoemMryL1 CacheVector Fu

10、nc. Unit (Vector DMAs)Matrix Func. Unit (Matrix DMAs)Reorder Buffer Vector Scratchpad MemoryMatrix Scratchpad MemoryIssue QueueDecodeIO InterfaceIO DMAAGUShaoli Liu, Zidong Du, Jinhua Tao, Dong Han, Tao Luo, Yuan Xie, Yunji Chen, and Tianshi Chen, Cambricon: An Instruction Set Architecture u, for Ne

11、ural Networks, In Proceedings of the 43rd ACM/IEEE International Symposium on Computer Architecture (ISCA16), 2016. (Highest Score in Peer Review)通用智能指令集Daofu Liu, Tianshi Chen, Shaoli Liu, Jinhong Zhou, Shengyuan Zhou, Olivier Temam, Xiaobing Feng, Xuehai Zhou, and Yunji Chen, PuDianNao: A Polyvale

12、nt Machine Learning Accelerator, In Proceedings of 20th International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS15), 2015.硬件架構(gòu)舉例能耗受限的硬件 vs 計算量大的算法Shijin Zhang, Zidong Du, Lei Zhang, Huiying Lan, Shaoli Liu, Ling Li, Qi Guo, Tianshi Chen, and Yunji Che

13、n, Cambricon-X: An Accelerator for Sparse Neural Networks, In Proceedings of 49th IEEE/ACM International Symposium on Microarchitecture (MICRO16), 2016.權(quán)值只存儲非0元素及其index信息， 可以節(jié)省存儲容量和訪存帶寬，index 還可用作判斷是否跳過計算的輔助信息。稀疏化包括權(quán)值稀疏化和神經(jīng)元稀疏 化，只要二者之一為0，相應乘加運算即可被跳過以達到加速計算的目的。稀疏化模型處理端云結(jié)合，端云一體/ 人工智能 /&/ 大數(shù)據(jù) /&/ 云計算 /

14、智能終端處理器IP以IP授權(quán)形式集成千智能手機、智能視覺設(shè)備等 終端的SoC芯片中具備超強的片上推理能力，完美兼顧面積、性能 與功耗智能云服務(wù)器芯片以板卡形式面向云數(shù)據(jù)中心服務(wù)器集群，提供計算加 速功能是面向深度學習/機器學習的專用處理器，適用千云端 推理+訓練等應用寒武紀1A世界首款終端智能專用處理器應用千數(shù)千萬智能手機中寒武紀1H16處理器更高性能、更完備的深度學習處理器IP寒武紀1H8處理器面向計算機視覺領(lǐng)域的專用處理器IP寒武紀1M處理器面向智能駕駛的處理器IP智能終端處理器IP寒武紀MLU100智能處理卡寒武紀推出的第一款通用智能處理 卡，側(cè)重推理寒武紀MLU200智能處理卡支持訓練和推理，側(cè)重訓練(預計2019年上市)寒武紀智能處理卡MLU1002018年5月3日在中國上海正式發(fā)布，標志著寒武紀已 成為中國第一家(也是世界上少數(shù)幾家)同時擁有