人工智能概論 課件 錢玲 第3、4章 人工智能軟硬件平臺(tái)、機(jī)器學(xué)習(xí)

高職高專人工智能通識(shí)課規(guī)劃教材人工智能概論本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺(tái)【素養(yǎng)目標(biāo)】通過(guò)芯片制造工藝的學(xué)習(xí)，培養(yǎng)學(xué)生精益求精的專業(yè)精神、職業(yè)精神和工匠精神；通過(guò)智能芯片產(chǎn)業(yè)發(fā)展?fàn)顩r的學(xué)習(xí)，激發(fā)學(xué)生自主創(chuàng)新、科技報(bào)國(guó)的家國(guó)情懷和使命擔(dān)當(dāng)；通過(guò)對(duì)我國(guó)智能芯片相關(guān)公司和產(chǎn)品的了解，培養(yǎng)學(xué)生的創(chuàng)新創(chuàng)業(yè)意識(shí)，激發(fā)愛(ài)國(guó)熱情。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺(tái)【知識(shí)目標(biāo)】掌握芯片的定義、分類和制造工藝；掌握智能芯片的概念、分類和特點(diǎn)；了解摩爾定律；了解智能芯片產(chǎn)業(yè)發(fā)展?fàn)顩r；了解人工智能開(kāi)發(fā)框架及其核心特征；了解國(guó)內(nèi)外人工智能開(kāi)發(fā)框架的發(fā)展進(jìn)程及其優(yōu)缺點(diǎn)。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺(tái)【能力目標(biāo)】能夠正確認(rèn)識(shí)我國(guó)芯片的發(fā)展水平、產(chǎn)業(yè)現(xiàn)狀和國(guó)際地位；能夠理解人工智能開(kāi)發(fā)框架的作用；能夠闡述我國(guó)人工智能芯片領(lǐng)域的企業(yè)及其特點(diǎn)和優(yōu)勢(shì)。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺(tái)【思維導(dǎo)圖】第三章人工智能軟硬件平臺(tái)3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開(kāi)發(fā)框架高職高專人工智能通識(shí)課規(guī)劃教材3.4本章實(shí)訓(xùn)3.5拓展知識(shí)人工智能三要素第3章人工智能軟硬件平臺(tái)人工智能的目的就是讓機(jī)器能夠像人一樣思考，讓機(jī)器擁有智能。人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力。當(dāng)前，人工智能技術(shù)已全面滲透到制造、醫(yī)療、交通、金融、教育、安防等眾多領(lǐng)域。人工智能三要素是數(shù)據(jù)、算力和算法。其中，算力主要由人工智能芯片支撐，是承載人工智能核心技術(shù)的硬件基礎(chǔ)。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.1什么是芯片芯片，又稱微電路、微芯片、集成電路，是指內(nèi)含集成電路的硅片，芯片的體積很小，通常是作為計(jì)算機(jī)或其他電子設(shè)備的一部分。晶體管被發(fā)明并大量生產(chǎn)之后，各式固態(tài)半導(dǎo)體組件，如二極管、三極管等被大量使用，取代了真空管（電子管）在電路中的功能與角色。到了20世紀(jì)中后期，半導(dǎo)體制造技術(shù)的進(jìn)步使得集成電路成為可能。相對(duì)于手工組裝電路使用個(gè)別分立電子組件，集成電路可以把很大數(shù)量的微晶體管集成到一個(gè)芯片中，這是一個(gè)巨大的進(jìn)步。集成電路具有規(guī)模生產(chǎn)能力、高可靠性，以及集成電路設(shè)計(jì)的模塊化方法等特點(diǎn)，從而推動(dòng)標(biāo)準(zhǔn)化集成電路代替了離散晶體管。真空管晶體管（二極管）集成電路晶體管（三極管）3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.1什么是芯片集成電路相對(duì)于離散晶體管主要有兩個(gè)優(yōu)勢(shì)：成本低和性能高。成本低是由于芯片把所有的組件通過(guò)照相平版技術(shù)，作為一個(gè)單位印刷，而不是在一個(gè)時(shí)間只制作一個(gè)晶體管。性能高是因?yàn)榻M件很小且彼此靠近，組件快速開(kāi)關(guān)，從而提高了性能，并且能耗消耗更低。現(xiàn)如今，芯片面積通常為幾平方毫米到幾百平方毫米，每平方毫米可以容納上億個(gè)晶體管。世界上第一塊集成電路是由杰克·基爾比（JackKilby）于1958年完成的，該電路包括一個(gè)雙極性晶體管、三個(gè)電阻和一個(gè)電容器。杰克·基爾比因此榮獲2000年諾貝爾物理學(xué)獎(jiǎng)。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類1.按照處理信號(hào)方式分類芯片按照處理信號(hào)方式可以劃分為：模擬芯片、數(shù)字芯片。信號(hào)分為模擬信號(hào)和數(shù)字信號(hào)，數(shù)字芯片就是處理數(shù)字信號(hào)的，比如CPU、邏輯電路等；模擬芯片是處理模擬信號(hào)的，比如運(yùn)算放大器、線性穩(wěn)壓器、基準(zhǔn)電壓源等。如今，大多數(shù)芯片都可以同時(shí)處理數(shù)字信號(hào)和模擬信號(hào)，一塊芯片到底歸屬為哪類產(chǎn)品是沒(méi)有絕對(duì)標(biāo)準(zhǔn)的，通常會(huì)根據(jù)芯片的核心功能來(lái)區(qū)分。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類2.按照應(yīng)用場(chǎng)景分類芯片按照應(yīng)用場(chǎng)景可以劃分為：軍工級(jí)芯片、汽車級(jí)芯片、工業(yè)級(jí)芯片、民用級(jí)芯片。領(lǐng)域軍工級(jí)汽車級(jí)工業(yè)級(jí)民用級(jí)工作溫度范圍-55℃～125℃-40℃～125℃-40℃～85℃0℃～70℃電路設(shè)計(jì)輔助電路和備份電路設(shè)計(jì)，多級(jí)防雷設(shè)計(jì)，雙變壓器設(shè)計(jì)，抗干擾技術(shù)，多重短路保護(hù)，多重?zé)岜Ｗo(hù)，超高壓保護(hù)等多級(jí)防雷設(shè)計(jì)，雙變壓器設(shè)計(jì)，抗干擾技術(shù)，多重短路保護(hù)，多重?zé)岜Ｗo(hù)，超高壓保護(hù)等多級(jí)防雷設(shè)計(jì)，雙變壓器設(shè)計(jì)，抗干擾技術(shù)，短路保護(hù)，熱保護(hù)，超高壓保護(hù)等防雷設(shè)計(jì)，短路保護(hù)，熱保護(hù)等工藝處理耐沖擊，耐高低溫，耐霉菌增強(qiáng)封裝設(shè)計(jì)和散熱處理防水，防潮，防腐，防霉變處理防水處理系統(tǒng)成本造價(jià)非常高，維護(hù)費(fèi)用也高積木式結(jié)構(gòu)，每個(gè)電路均帶有自檢功能并增強(qiáng)了散熱處理，造價(jià)較高，維護(hù)費(fèi)用也較高積木式結(jié)構(gòu)，每個(gè)電路均帶有自檢功能，造價(jià)稍高，但維護(hù)費(fèi)用低線路板一體化設(shè)計(jì)，價(jià)格低廉但維護(hù)費(fèi)用較高3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類3.按照集成度分類芯片按照集成度可以劃分為：小規(guī)模集成電路（SSI）、中規(guī)模集成電路（MSI）、大規(guī)模集成電路（LSI）、超大規(guī)模集成電路（VLSI）。評(píng)判集成度的根據(jù)是芯片上集成的元器件個(gè)數(shù)。目前，智能手機(jī)里的芯片基本都是超大規(guī)模集成電路了，芯片里面集合了數(shù)以億計(jì)的元器件。其實(shí)這屬于早期來(lái)表述芯片集成度的方式，在隨后的發(fā)展過(guò)程中，通常以特征線寬（設(shè)計(jì)基準(zhǔn)）的尺寸來(lái)表述芯片集成度，比如微米、納米。也可以理解為我們現(xiàn)在所常說(shuō)的工藝制程。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類4.按照工藝制程分類芯片按照工藝制程可以劃分為：3nm、5nm、7nm、14nm、28nm等。這里的nm(1nm＝10-９m)是長(zhǎng)度單位，是指CMOS器件的柵長(zhǎng)，也可以理解為最小布線寬度或者最小加工尺寸。目前，比較先進(jìn)的制程有臺(tái)積電和三星的3nm，國(guó)內(nèi)較先進(jìn)的制程是中芯國(guó)際的14nm。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類5.按照使用功能分類3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.3芯片的制造工藝芯片的制造工藝需要經(jīng)過(guò)多個(gè)步驟，主要包括晶圓制備、晶圓清洗、光刻、蝕刻、沉積、離子注入、退火、測(cè)試等過(guò)程。（1）晶圓制備。通常首先使用高純度的硅材料制作晶圓，然后對(duì)其進(jìn)行切割和拋光等工藝處理，制備成具有一定厚度和平整度的硅片。（2）晶圓清洗。對(duì)晶圓進(jìn)行化學(xué)清洗和去除表面污染物的處理。（3）光刻。利用光刻機(jī)，將芯片上的電路圖形投影到光刻膠層上，形成圖形模板。（4）蝕刻。使用蝕刻機(jī)，將光刻膠層中未被遮住的部分進(jìn)行蝕刻，形成電路線路。（5）沉積。使用化學(xué)氣相沉積設(shè)備，將金屬等材料沉積在芯片表面，形成電路元件。（6）離子注入。使用離子注入機(jī)，將雜質(zhì)注入硅片中，形成PN結(jié)，以形成晶體管等元器件。（7）退火。對(duì)芯片進(jìn)行高溫退火處理，使晶圓中的雜質(zhì)分布均勻，以提高芯片的電性能。（8）測(cè)試。檢測(cè)芯片的性能和可靠性，發(fā)現(xiàn)缺陷和故障，以保證芯片的質(zhì)量。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.4摩爾定律1965年，英特爾公司創(chuàng)始人之一戈登·摩爾（GordonMoore）在繪制一份發(fā)展報(bào)告的圖表時(shí)發(fā)現(xiàn)了一個(gè)驚人的趨勢(shì)：每一顆芯片所能容納的晶體管數(shù)目，約每隔18個(gè)月到24個(gè)月就會(huì)增加一倍，性能也將提升一倍。這就是業(yè)內(nèi)非常著名的“摩爾定律”，其預(yù)言了芯片的規(guī)模和性能的發(fā)展速度。1971年，英特爾公司開(kāi)發(fā)出第一代微處理器，集成了2300個(gè)晶體管。2007年，45nm的處理器集成了8億多晶體管?，F(xiàn)如今，麒麟9000處理器采用的是5nm工藝制程，集成了153億晶體管。在過(guò)往的50多年中，芯片行業(yè)一直在遵循著“摩爾定律”發(fā)展。工藝制程不可能無(wú)限縮小，現(xiàn)在，芯片工藝已經(jīng)逼近“極限”，近幾年，芯片的發(fā)展速度也已經(jīng)放緩。隨著技術(shù)發(fā)展，芯片發(fā)展歷程也定然會(huì)遇到瓶頸。2023年3月24日，戈登?摩爾結(jié)束了輝煌的一生，享年94歲。第三章人工智能軟硬件平臺(tái)3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開(kāi)發(fā)框架高職高專人工智能通識(shí)課規(guī)劃教材3.4本章實(shí)訓(xùn)3.5拓展知識(shí)3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.1什么是智能芯片1.智能芯片的概念從廣義上講，只要能夠運(yùn)行人工智能算法的芯片都可以稱為智能芯片（AI芯片），但是，通常意義上的智能芯片指的是，針對(duì)人工智能領(lǐng)域設(shè)計(jì)的芯片，其架構(gòu)和指令集針對(duì)人工智能領(lǐng)域中的各類算法和應(yīng)用作了專門優(yōu)化，從而可以高效地支持視覺(jué)、語(yǔ)音、自然語(yǔ)言處理和傳統(tǒng)機(jī)器學(xué)習(xí)等智能處理任務(wù)。因此，智能芯片也稱為人工智能加速器（AI加速器）或計(jì)算卡。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.1什么是智能芯片2.智能芯片與傳統(tǒng)芯片的區(qū)別傳統(tǒng)的中央處理器芯片（CPU）不適合執(zhí)行人工智能算法。傳統(tǒng)CPU計(jì)算指令遵循串行執(zhí)行的方式，背負(fù)著指令調(diào)度、指令寄存、指令翻譯、編碼、運(yùn)算核心和緩存等與人工智能算法無(wú)關(guān)的任務(wù)，運(yùn)算能力受限。圖形處理器芯片（GPU）在傳統(tǒng)CPU的基礎(chǔ)上做了簡(jiǎn)化，因此可以處理的數(shù)據(jù)類型單一，但是由于加入了更多的浮點(diǎn)運(yùn)算單元，因此更加適合大量算術(shù)計(jì)算而邏輯運(yùn)算較少的場(chǎng)合。在進(jìn)行AI運(yùn)算時(shí)，GPU在性能、功耗等很多方面遠(yuǎn)遠(yuǎn)優(yōu)于CPU，所以才經(jīng)常被拿來(lái)“兼職”進(jìn)行AI運(yùn)算，但GPU的功耗較大，且成本昂貴。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.1什么是智能芯片2.智能芯片與傳統(tǒng)芯片的區(qū)別智能芯片的設(shè)計(jì)思想基于算法的角度精簡(jiǎn)GPU架構(gòu)，為其加入更多的運(yùn)算單元，在應(yīng)用場(chǎng)景和算法相對(duì)確定的基礎(chǔ)上，使得硬件更加專門化。因此，傳統(tǒng)芯片和智能芯片最大的不同是，前者是為通用功能設(shè)計(jì)的架構(gòu)，后者是為專用功能優(yōu)化的架構(gòu)。這一區(qū)別決定了即便是最高效的GPU，與智能芯片相比，在時(shí)延、性能、功耗、能效比等方面也是有差距的，因而研發(fā)智能芯片是人工智能發(fā)展的必然趨勢(shì)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類智能芯片分類通常有按技術(shù)架構(gòu)分類、按功能分類、按部署位置分類三種分類方式。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類1.按技術(shù)架構(gòu)分類智能芯片按照技術(shù)架構(gòu)，可以劃分為圖形處理器芯片、半定制化芯片、全定制化芯片和類腦芯片。（1）圖形處理器芯片（GPU）。GPU是相對(duì)較早期的加速計(jì)算處理器，具有速度快、通用性強(qiáng)等特點(diǎn)。由于傳統(tǒng)CPU的計(jì)算指令遵循串行執(zhí)行方式，不能發(fā)揮芯片的全部潛力，而GPU具有高并行結(jié)構(gòu)，在處理圖形數(shù)據(jù)和復(fù)雜算法方面擁有比CPU更高的效率。英偉達(dá)公司（NVIDIA）和AMD公司在GPU領(lǐng)域處于領(lǐng)先位置，我國(guó)的長(zhǎng)沙景嘉微公司是國(guó)內(nèi)唯一擁有自主知識(shí)產(chǎn)權(quán)和成熟產(chǎn)品的GPU芯片公司。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類1.按技術(shù)架構(gòu)分類在結(jié)構(gòu)上，CPU主要由控制器（Control）、算術(shù)邏輯單元（ALU）、高速緩存（Cache）等組成，而GPU則擁有更多ALU用于數(shù)據(jù)處理，這樣的結(jié)構(gòu)更適合對(duì)密集型數(shù)據(jù)進(jìn)行并行處理，程序在GPU系統(tǒng)上的運(yùn)行速度相較于單核CPU可以提升幾十倍乃至上千倍。同時(shí)，GPU擁有更加強(qiáng)大的浮點(diǎn)運(yùn)算能力，可以緩解深度學(xué)習(xí)算法的訓(xùn)練難題，釋放人工智能的潛能。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類1.按技術(shù)架構(gòu)分類（2）半定制化芯片。即現(xiàn)場(chǎng)可編程門陣列（FieldProgrammableGateArray，F(xiàn)PGA），其內(nèi)部包括邏輯塊、輸入/輸出塊、可編程內(nèi)部連線等，如圖所示。FPGA通過(guò)編程可以把計(jì)算邏輯映射到硬件上，通過(guò)編程調(diào)整內(nèi)部連線，把不同的邏輯塊和輸入/輸出塊連通在一起去完成計(jì)算任務(wù)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類FPGA允許多次編程，具有可編程、高性能和低功耗三大特性。FPGA的可編程性帶來(lái)高性能和低功耗，開(kāi)發(fā)成本低但芯片成本高。CPU、GPU等常用計(jì)算芯片由于架構(gòu)固定，因此硬件原生支持的指令也是固定的。而FPGA是可編程的，因此可以靈活地針對(duì)算法修改電路，提前把固定算法的數(shù)據(jù)流以及執(zhí)行指令寫在硬件里，節(jié)約了指令獲取和解碼時(shí)間從而大幅提高運(yùn)算效率。FPGA非常適合在芯片功能尚未完全定型、算法仍需不斷迭代完善的情況下使用。使用FPGA芯片需要通過(guò)定義硬件去實(shí)現(xiàn)軟件算法，對(duì)使用者的技術(shù)水平要求較高，因此在設(shè)計(jì)并實(shí)現(xiàn)復(fù)雜的人工智能算法方面難度較高。賽靈思公司和英特爾公司在FPGA領(lǐng)域具有較大的優(yōu)勢(shì)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類（3）全定制化芯片。即專用集成電路（ApplicationSpecificIntegratedCircuits，ASIC），是一種根據(jù)特殊應(yīng)用場(chǎng)景要求進(jìn)行全定制化的專用人工智能芯片。與FPGA相比，ASIC無(wú)法通過(guò)修改電路進(jìn)行功能擴(kuò)展；而與CPU、GPU等通用計(jì)算芯片相比，ASIC性能高、功耗低、成本低，適合應(yīng)用于對(duì)性能功耗比要求極高的移動(dòng)設(shè)備端。谷歌公司發(fā)布的張量處理器（TensorProcessingUnit，TPU）是專為機(jī)器學(xué)習(xí)定制的，也是當(dāng)前最知名也最有實(shí)用價(jià)值的ASIC。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類（4）類腦芯片。類腦芯片是一種對(duì)人腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行物理模擬的新型芯片架構(gòu)，通過(guò)模擬人腦的神經(jīng)網(wǎng)絡(luò)工作機(jī)理實(shí)現(xiàn)感知和認(rèn)知等功能。真正的人工智能芯片未來(lái)發(fā)展的方向是類腦芯片。IBM公司研發(fā)的TrueNorth芯片就是一種典型的類腦芯片，其計(jì)算架構(gòu)顛覆了經(jīng)典的馮·諾依曼體系架構(gòu)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類TrueNorth芯片的架構(gòu)模仿生物大腦神經(jīng)網(wǎng)絡(luò)，采用神經(jīng)形態(tài)器件構(gòu)建，如下圖所示，主要由神經(jīng)元、突觸以及網(wǎng)絡(luò)互聯(lián)而成。類腦芯片把定制化的數(shù)字處理內(nèi)核當(dāng)作神經(jīng)元，把內(nèi)存當(dāng)作突觸，將CPU、內(nèi)存及通信元件等完全集成在本地，實(shí)現(xiàn)了算存一體，突破了馮·諾依曼架構(gòu)中CPU與內(nèi)存之間的“內(nèi)存墻”瓶頸，但目前多數(shù)仍是實(shí)驗(yàn)室產(chǎn)品。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類表3-2不同技術(shù)架構(gòu)的智能芯片對(duì)比對(duì)比內(nèi)容GPUFPGAASIC類腦芯片定制化程度通用型半定制化全定制化定制化開(kāi)發(fā)難度較易中等較高很高開(kāi)發(fā)工具OpenCL、CUDAOpenCL、Verilog/VHDLEDA工具EDA工具開(kāi)發(fā)周期幾個(gè)月半年到一年一年以上一年以上應(yīng)用場(chǎng)景神經(jīng)網(wǎng)絡(luò)訓(xùn)練、神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心、嵌入式/邊緣計(jì)算尚處于研究階段優(yōu)點(diǎn)高性能、開(kāi)發(fā)簡(jiǎn)單、框架成熟、成本最低高性能、靈活性相對(duì)較強(qiáng)、成本較低高性能、低功耗、體積小、可用于移動(dòng)場(chǎng)景目前表現(xiàn)出的智能程度最高，功耗低缺點(diǎn)高功耗、僅適用于數(shù)據(jù)中心峰值效率較低、有一定的開(kāi)發(fā)難度開(kāi)發(fā)難度較高、成本較高、技術(shù)風(fēng)險(xiǎn)大目前無(wú)成熟算法，處于研究階段3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類2.按功能分類智能芯片根據(jù)功能任務(wù)，可以分為訓(xùn)練（Training）芯片和推斷（Inference）芯片。（1）訓(xùn)練芯片。訓(xùn)練是指向人工智能算法模型中輸入大量已標(biāo)注好的數(shù)據(jù)和素材，以進(jìn)行“學(xué)習(xí)”，對(duì)模型的參數(shù)不斷進(jìn)行優(yōu)化調(diào)整，最終形成一個(gè)具備某種特定功能、結(jié)果最優(yōu)的神經(jīng)網(wǎng)絡(luò)算法模型。人工智能訓(xùn)練芯片是指專門對(duì)人工智能訓(xùn)練算法進(jìn)行優(yōu)化加速的芯片。由于訓(xùn)練所需的數(shù)據(jù)量大，算法復(fù)雜度高，因此，訓(xùn)練芯片對(duì)算力、能效、精度等要求非常高，而且還需要具備較高的通用性，以支持已有的多種算法，甚至還要考慮未來(lái)的算法的訓(xùn)練。由于對(duì)算力有著極高要求，訓(xùn)練芯片一般更適合部署在大型云端設(shè)施中，而且多采用“CPU＋GPU”“CPU＋GPU＋加速芯片”等異構(gòu)模式，加速芯片可以是GPU、FPGA或ASIC專用芯片等。目前，人工智能訓(xùn)練芯片的市場(chǎng)主要被英偉達(dá)的GPU和谷歌的TPU所占據(jù)，英特爾和AMD正在積極搶占該市場(chǎng)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類2.按功能分類（2）推斷芯片。推斷是指向已經(jīng)訓(xùn)練好的人工智能算法模型中輸入新的數(shù)據(jù)和素材，經(jīng)過(guò)計(jì)算后獲得符合人們預(yù)期的相應(yīng)的輸出。人工智能推斷芯片即是指專門對(duì)人工智能推斷算法進(jìn)行優(yōu)化加速的芯片，其更加關(guān)注能耗、算力、時(shí)延、成本等綜合因素。推斷芯片可以部署在云端和邊緣端，實(shí)現(xiàn)難度和市場(chǎng)門檻相對(duì)較低，因此，這一領(lǐng)域的市場(chǎng)競(jìng)爭(zhēng)者較多。在云端推斷芯片領(lǐng)域，英偉達(dá)、谷歌、AMD、賽靈思等傳統(tǒng)芯片廠商是主要的領(lǐng)導(dǎo)者，我國(guó)的寒武紀(jì)、燧原科技、比特大陸等廠商也推出了性能較高、市場(chǎng)反響不錯(cuò)的自主研發(fā)的芯片。在終端推斷芯片領(lǐng)域，應(yīng)用場(chǎng)景豐富，市場(chǎng)集中度不高，產(chǎn)品有一定的多樣性，英偉達(dá)、英特爾、高通、ARM等傳統(tǒng)芯片大廠在該領(lǐng)域布局較早，我國(guó)的寒武紀(jì)、地平線、阿里平頭哥、云天勵(lì)飛等新興企業(yè)在垂直行業(yè)也有不俗表現(xiàn)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類3.按部署位置分類智能芯片按照部署位置，可以分為云端智能芯片、設(shè)備端智能芯片。（1）云端智能芯片。這類芯片運(yùn)算能力強(qiáng)大，功耗較高，一般部署在公有云、私有云、混合云、以及數(shù)據(jù)中心、超級(jí)計(jì)算機(jī)（超算）等計(jì)算基礎(chǔ)設(shè)施領(lǐng)域，主要用于深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推斷，處理語(yǔ)音、視頻、圖像等海量數(shù)據(jù)，支持大規(guī)模并行計(jì)算，通常以加速卡的形式集成多個(gè)芯片模塊，并行完成相關(guān)計(jì)算任務(wù)。（2）設(shè)備端智能芯片。這類芯片一般功耗低、體積小、性能要求不高、成本也較低，相比于云端智能芯片來(lái)說(shuō)，設(shè)備端智能芯片不需要運(yùn)行特別復(fù)雜的算法，只需具備少量的人工智能計(jì)算能力即可，一般部署在智能手機(jī)、無(wú)人機(jī)、攝像頭、邊緣計(jì)算設(shè)備、工控設(shè)備等移動(dòng)設(shè)備或嵌入式設(shè)備上。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.3智能芯片的發(fā)展歷程智能芯片的發(fā)展歷程可分為四個(gè)階段。第一階段（2006年前）：在這一階段，尚未出現(xiàn)突破性的人工智能算法，并且能夠獲取的數(shù)據(jù)也較為有限，傳統(tǒng)通用CPU已經(jīng)能夠完全滿足當(dāng)時(shí)的計(jì)算需要，學(xué)術(shù)界和產(chǎn)業(yè)界均對(duì)人工智能芯片沒(méi)有特殊需求。因此，人工智能芯片產(chǎn)業(yè)的發(fā)展一直較為緩慢。第二階段（2006～2009年）：在這一階段，游戲、高清視頻等行業(yè)快速發(fā)展，同時(shí)也助推了GPU產(chǎn)品的迭代升級(jí)。2006年，GPU廠商英偉達(dá)發(fā)布了統(tǒng)一計(jì)算設(shè)備架構(gòu)，（CUDA），第一次使GPU具備了可編程性，同時(shí)使GPU的核心流式處理器既具有處理像素、頂點(diǎn)、圖形等渲染能力，又同時(shí)具備通用的單精度浮點(diǎn)處理能力，即令GPU既能做游戲和渲染，也能做并行度很高的通用計(jì)算，英偉達(dá)將其稱為GPCPU。GPU所具有的并行計(jì)算特性比通用CPU的計(jì)算效率更高，更加適用于深度學(xué)習(xí)等人工智能先進(jìn)算法所需的“暴力計(jì)算”場(chǎng)景。在GPU的助力下，人工智能算法的運(yùn)算效率可以提高幾十倍，由此，研究人員開(kāi)始大規(guī)模使用GPU開(kāi)展人工智能領(lǐng)域的研究和應(yīng)用。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.3智能芯片的發(fā)展歷程第三階段（2010～2015年）：2010年之后，以云計(jì)算、大數(shù)據(jù)等為代表的新一代信息技術(shù)高速發(fā)展并逐漸開(kāi)始普及，云端采用“CPU+GPU”混合計(jì)算模式，使得研究人員開(kāi)展人工智能所需的大規(guī)模計(jì)算更加便捷高效，進(jìn)一步推動(dòng)了人工智能算法的演進(jìn)和人工智能芯片的廣泛使用，同時(shí)也促進(jìn)了各種類型的人工智能芯片的研究與應(yīng)用。第四階段（2016年至今）：2016年，采用TPU架構(gòu)的谷歌旗下DeepMind公司研發(fā)的人工智能系統(tǒng)阿爾法圍棋（AlphaGo）擊敗了世界冠軍韓國(guó)棋手李世石，使得以深度學(xué)習(xí)為核心的人工智能技術(shù)得到了全球范圍內(nèi)的極大關(guān)注。此后，業(yè)界對(duì)于人工智能算力的要求越來(lái)越高，而GPU價(jià)格昂貴、功耗高的缺點(diǎn)也使其在場(chǎng)景各異的應(yīng)用環(huán)境中受到諸多限制，因此，研究人員開(kāi)始研發(fā)專門針對(duì)人工智能算法進(jìn)行優(yōu)化的定制化芯片。大量人工智能芯片領(lǐng)域的初創(chuàng)公司在這一階段涌現(xiàn)，傳統(tǒng)互聯(lián)網(wǎng)巨頭也迅速入局該領(lǐng)域并開(kāi)始爭(zhēng)奪市場(chǎng)，專用人工智能芯片呈現(xiàn)出百花齊放的格局，在應(yīng)用領(lǐng)域、計(jì)算能力、能耗比等方面都有了極大的提升。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀1.

傳統(tǒng)芯片企業(yè)在人工智能芯片領(lǐng)域優(yōu)勢(shì)地位明顯英偉達(dá)、英特爾、AMD、高通等傳統(tǒng)芯片廠商憑借在芯片領(lǐng)域多年的領(lǐng)先地位，迅速切入人工智能領(lǐng)域，積極布局，目前處于引領(lǐng)產(chǎn)業(yè)發(fā)展的地位（見(jiàn)表3-3），在GPU和FPGA方面則基本位于壟斷地位。英偉達(dá)推出了Tesla系列GPU芯片，專門用于深度學(xué)習(xí)算法加速；還推出了Tegra處理器，應(yīng)用于自動(dòng)駕駛領(lǐng)域，并提供配套的研發(fā)工具包。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀序號(hào)公司典型智能芯片發(fā)布年份技術(shù)架構(gòu)功能任務(wù)1英偉達(dá)TeslaV100TeslaA10020172020GPUGPU云端訓(xùn)練、云端推斷云端訓(xùn)練、云端推斷2英特爾NervanaNNP-TNervanaNNP-I20192019NNP-T1000NNP-I1000云端訓(xùn)練云端推斷3IBMTrueNorth2014類腦芯片設(shè)備端推斷4谷歌TPUv4EdgeTPU20202018ASICASIC云端訓(xùn)練、云端推斷設(shè)備端推斷5蘋果A172023ARM架構(gòu)SoC設(shè)備端推斷6AMDEPYC42022Zen4架構(gòu)云端推斷7ARMARMCortex-M55ARMEthos-U5520202020ARMHeliummicroNPU設(shè)備端推斷設(shè)備端推斷8高通驍龍8Gen2CloudAI10020222020ARM架構(gòu)SoCASIC設(shè)備端推斷云端推斷9三星Exynos22002022ARM架構(gòu)SoC設(shè)備端推斷10賽靈思VersalACAP2019SoC云端推斷等表3-3不同技術(shù)架構(gòu)的智能芯片對(duì)比SoC(SystemonChip?)稱為系統(tǒng)級(jí)芯片，也稱片上系統(tǒng)，是一個(gè)產(chǎn)品，是一個(gè)有專用目標(biāo)的集成電路，其中包含完整系統(tǒng)并有嵌入軟件的全部?jī)?nèi)容3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀1.

傳統(tǒng)芯片企業(yè)在人工智能芯片領(lǐng)域優(yōu)勢(shì)地位明顯AMD于2018年推出了RadeonInstinct系列GPU，主要應(yīng)用在數(shù)據(jù)中心、超算等人工智能算力基礎(chǔ)設(shè)施上，用于深度學(xué)習(xí)算法加速。當(dāng)前，GPU作為業(yè)界使用最為廣泛、人工智能計(jì)算最成熟的通用型芯片，成為數(shù)據(jù)中心、超算等大型算力設(shè)施的首選，占據(jù)了人工智能芯片的主要市場(chǎng)份額。在效率和場(chǎng)景應(yīng)用要求大幅提升和變化之前，GPU仍將是人工智能芯片領(lǐng)域的主要領(lǐng)導(dǎo)者。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀2.互聯(lián)網(wǎng)及IT巨頭紛紛加大人工智能芯片自主研發(fā)定制力度自2015年以來(lái)，谷歌、IBM、臉書（Facebook）、微軟、蘋果、亞馬遜等國(guó)際互聯(lián)網(wǎng)界及IT界巨頭紛紛跨界研發(fā)人工智能芯片，力圖突破算力瓶頸，并把核心部件掌握在自己手中。谷歌公司于2016年發(fā)布了專門針對(duì)開(kāi)源框架TensorFlow開(kāi)發(fā)的芯片TPU，并幫助AlphaGo擊敗李世石；近幾年，谷歌公司還推出了可在GoogleCloudPlatform中使用的云端芯片CloudTPU，以及設(shè)備端推斷芯片EdgeTPU，以打造閉環(huán)生態(tài)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀2.互聯(lián)網(wǎng)及IT巨頭紛紛加大人工智能芯片自主研發(fā)定制力度微軟公司于2017年發(fā)布了基于FPGA芯片組建的ProjectBrainwave低時(shí)延深度學(xué)習(xí)系統(tǒng)，以使微軟公司的各種服務(wù)可以更迅速地支持人工智能功能。2018年，亞馬遜公司發(fā)布了高性能推斷芯片AWSInferentia，該芯片支持TensorFlow、Caffe2等主流框架。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國(guó)內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段目前，在CPU、GPU等高端通用芯片領(lǐng)域，我國(guó)的設(shè)計(jì)能力與國(guó)外先進(jìn)水平仍然差距較大，部分自主研發(fā)芯片采用了ARM架構(gòu)等國(guó)外成熟芯片架構(gòu)和IP核等進(jìn)行設(shè)計(jì)。隨著人工智能技術(shù)大規(guī)模應(yīng)用于金融、政務(wù)、自動(dòng)駕駛、智能家居、安防等領(lǐng)域，促進(jìn)了各類專用人工智能芯片的發(fā)展，我國(guó)的一些初創(chuàng)型企業(yè)，如寒武紀(jì)、地平線、云天勵(lì)飛、深鑒科技等已經(jīng)開(kāi)始在人工智能芯片領(lǐng)域有所建樹(shù)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國(guó)內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段我國(guó)人工智能芯片企業(yè)基本都圍繞設(shè)備端的語(yǔ)音或視覺(jué)芯片進(jìn)行開(kāi)發(fā)，從事云端芯片研發(fā)，尤其是云端訓(xùn)練芯片的企業(yè)較少，僅華為、百度等公司有產(chǎn)品推出，我國(guó)云端芯片與國(guó)外技術(shù)水平差距仍然較大。此外，我國(guó)還尚未形成有影響力的“芯片—算法—平臺(tái)—應(yīng)用—生態(tài)”的產(chǎn)業(yè)生態(tài)環(huán)境，企業(yè)多熱衷于追逐市場(chǎng)熱點(diǎn)，缺乏基礎(chǔ)技術(shù)積累，研發(fā)后勁不足。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國(guó)內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢(shì)IBM公司率先在類腦芯片領(lǐng)域取得突破，2014年推出了TrueNorth類腦芯片，該芯片采用28nm工藝，集成了54億個(gè)晶體管，包括4096個(gè)內(nèi)核、100萬(wàn)個(gè)神經(jīng)元和2.56億個(gè)神經(jīng)突觸。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢(shì)2019年，清華大學(xué)發(fā)布了其自主研發(fā)的類腦芯片“天機(jī)芯”，該芯片使用28nm工藝，包含約40000個(gè)神經(jīng)元和1000萬(wàn)個(gè)突觸，支持同時(shí)運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及神經(jīng)模態(tài)脈沖神經(jīng)網(wǎng)絡(luò)等多種神經(jīng)網(wǎng)絡(luò)，是全球首款既能支持脈沖神經(jīng)網(wǎng)絡(luò)又可以支持人工神經(jīng)網(wǎng)絡(luò)的異構(gòu)融合類腦計(jì)算芯片?！疤鞕C(jī)芯”還登上了世界頂級(jí)期刊《Nature》封面。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢(shì)上海西井科技公司發(fā)布的DeepSouth芯片，采用FPGA模擬神經(jīng)元以實(shí)現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)的工作方式，其包含約5000萬(wàn)個(gè)神經(jīng)元和高達(dá)50多億個(gè)神經(jīng)突觸，可以直接在芯片上完成計(jì)算。浙江大學(xué)與杭州電子科技大學(xué)共同研發(fā)了“達(dá)爾文”芯片，該芯片集成了500萬(wàn)個(gè)晶體管，包含2048個(gè)硅材質(zhì)的仿生神經(jīng)元和約400萬(wàn)個(gè)神經(jīng)突觸，可從外界接收并累積刺激，從而產(chǎn)生脈沖信號(hào)，并處理和傳遞信息。第三章人工智能軟硬件平臺(tái)3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開(kāi)發(fā)框架高職高專人工智能通識(shí)課規(guī)劃教材3.4本章實(shí)訓(xùn)3.5拓展知識(shí)3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.1開(kāi)發(fā)框架的作用隨著計(jì)算機(jī)技術(shù)的發(fā)展和應(yīng)用范圍的不斷延伸，作為計(jì)算機(jī)靈魂的軟件系統(tǒng)的規(guī)模也在不斷擴(kuò)大，并且其結(jié)構(gòu)越來(lái)越復(fù)雜，代碼越來(lái)越冗長(zhǎng)，幾萬(wàn)、幾十萬(wàn)甚至幾百萬(wàn)行代碼的軟件系統(tǒng)比比皆是。為了解決這些問(wèn)題，系統(tǒng)開(kāi)發(fā)者在軟件開(kāi)發(fā)過(guò)程中，將基礎(chǔ)代碼進(jìn)行封裝，以形成模塊化的代碼，并提供相應(yīng)的應(yīng)用程序編程接口（ApplicationProgrammingInterface，API），其他開(kāi)發(fā)者在軟件開(kāi)發(fā)過(guò)程中直接調(diào)用API，不必再考慮太多底層功能的操作，并可以在此基礎(chǔ)上進(jìn)行后續(xù)的軟件開(kāi)發(fā)設(shè)計(jì)。這種在軟件開(kāi)發(fā)中對(duì)通用功能進(jìn)行封裝并且可重用的設(shè)計(jì)就是開(kāi)發(fā)框架。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.1開(kāi)發(fā)框架的作用開(kāi)發(fā)框架在軟件開(kāi)發(fā)的過(guò)程中起著不可或缺的作用。開(kāi)發(fā)框架能夠屏蔽掉底層繁瑣的開(kāi)發(fā)細(xì)節(jié)，給開(kāi)發(fā)者提供簡(jiǎn)單的開(kāi)發(fā)接口，在軟件開(kāi)發(fā)時(shí)只需調(diào)用框架就可以實(shí)現(xiàn)一定的功能。由于開(kāi)發(fā)框架具有可復(fù)用特點(diǎn)，利用開(kāi)發(fā)框架實(shí)現(xiàn)軟件開(kāi)發(fā)時(shí)，不僅編程過(guò)程容易，而且軟件的可讀性很好，極大地降低了軟件開(kāi)發(fā)的復(fù)雜度，提高了開(kāi)發(fā)效率與軟件質(zhì)量。人工智能軟件比傳統(tǒng)的計(jì)算機(jī)軟件更加復(fù)雜，但更具智能性。人工智能的智能化主要依靠算法來(lái)實(shí)現(xiàn)。由于人工智能算法具有復(fù)雜性，因此在構(gòu)建開(kāi)發(fā)框架之前，只有具有專業(yè)知識(shí)的人才具備開(kāi)發(fā)人工智能軟件的能力，一般的軟件開(kāi)發(fā)人員進(jìn)行人工智能軟件開(kāi)發(fā)是一件望塵莫及的事。開(kāi)發(fā)框架的出現(xiàn)，為人工智能開(kāi)發(fā)提供了智能單元，實(shí)現(xiàn)了對(duì)人工智能算法的封裝、數(shù)據(jù)的調(diào)用以及計(jì)算資源的調(diào)度，提升了開(kāi)發(fā)效率，極大地降低了人工智能系統(tǒng)開(kāi)發(fā)的復(fù)雜性。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.2開(kāi)發(fā)框架的核心特征人工智能開(kāi)發(fā)框架的核心特征有如下幾點(diǎn)。（1）規(guī)范化。一個(gè)良好的開(kāi)發(fā)框架應(yīng)嚴(yán)格執(zhí)行代碼開(kāi)發(fā)規(guī)范要求，便于使用者理解與掌握。（2）代碼模塊化。開(kāi)發(fā)框架一般都有統(tǒng)一的代碼風(fēng)格，同一分層的不同類代碼，具有相似的模板化結(jié)構(gòu)，可以使用模板工具統(tǒng)一生成，從而可以減少大量重復(fù)代碼的編寫。（3）可重用性。無(wú)須對(duì)開(kāi)發(fā)框架進(jìn)行修改或改動(dòng)，就可以在不同環(huán)境下重復(fù)使用。（4）封裝性（高內(nèi)聚）。開(kāi)發(fā)人員將各種需要的功能代碼進(jìn)行集成，調(diào)用時(shí)不需要考慮功能的實(shí)現(xiàn)細(xì)節(jié)，只需要關(guān)注功能的實(shí)現(xiàn)結(jié)果。（5）可維護(hù)性。對(duì)一個(gè)成熟的開(kāi)發(fā)框架進(jìn)行二次開(kāi)發(fā)或維護(hù)時(shí)，添加、修改或刪除某個(gè)功能不會(huì)對(duì)整體框架產(chǎn)生不利影響。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架使用人工智能開(kāi)發(fā)框架能夠降低人工智能系統(tǒng)開(kāi)發(fā)的復(fù)雜性。人工智能開(kāi)發(fā)人員對(duì)人工智能開(kāi)發(fā)框架的依賴程度非常高，人工智能開(kāi)發(fā)框架在人工智能行業(yè)處于核心地位。幾乎所有人工智能項(xiàng)目，包括商業(yè)和學(xué)術(shù)項(xiàng)目，都是建立在一個(gè)或多個(gè)開(kāi)源框架之上的，例如TensorFlow、PyTorch、MXNet、MindSpore、PaddlePaddle等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架1.TensorFlowTensorFlow是由GoogleBrain團(tuán)隊(duì)開(kāi)發(fā)的一款開(kāi)源的機(jī)器學(xué)習(xí)開(kāi)發(fā)框架，是目前廣泛應(yīng)用于各種深度學(xué)習(xí)領(lǐng)域的重要工具之一。此開(kāi)發(fā)框架可以在任何CPU、GPU、TPU，以及任何桌面或邊緣設(shè)備上進(jìn)行計(jì)算。TensorFlow由Tensor（張量）和Flow（流）組成：Tensor代表N維數(shù)組，F(xiàn)low代表基于數(shù)據(jù)流圖的計(jì)算，TensorFlow指的是張量從數(shù)量流圖的一端流動(dòng)到另一端的計(jì)算過(guò)程。TensorFlow可以處理各種不同類型的數(shù)據(jù)，如圖像、語(yǔ)音、文本等，具有很高的靈活性和可擴(kuò)展性。TensorFlow使用基于數(shù)據(jù)流圖的計(jì)算模型來(lái)構(gòu)建機(jī)器學(xué)習(xí)模型，用戶可以通過(guò)在數(shù)據(jù)流圖上定義操作和變量來(lái)搭建自己的神經(jīng)網(wǎng)絡(luò)模型，同時(shí)，TensorFlow提供了大量的優(yōu)化器、損失函數(shù)、數(shù)據(jù)處理工具等，使得用戶可以方便地進(jìn)行模型訓(xùn)練和優(yōu)化。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架1.TensorFlow優(yōu)點(diǎn)：（1）TensorFlow具有廣泛的應(yīng)用領(lǐng)域，可以應(yīng)用于自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別等多個(gè)領(lǐng)域。（2）TensorFlow擁有豐富的文檔和大量的教程，使得開(kāi)發(fā)者易于上手。（3）TensorFlow可以靈活地運(yùn)行在多種硬件平臺(tái)上，包括CPU、GPU和TPU等。（4）TensorFlow提供了高層次的API，使得開(kāi)發(fā)者可以快速地構(gòu)建、訓(xùn)練和部署深度學(xué)習(xí)模型。缺點(diǎn)：（1）TensorFlow的學(xué)習(xí)曲線較為陡峭，需要花費(fèi)較長(zhǎng)時(shí)間學(xué)習(xí)。（2）TensorFlow的部分功能需要使用較為復(fù)雜的API實(shí)現(xiàn)，需要較高的技能水平。（3）在某些任務(wù)上，TensorFlow的性能不如其他一些深度學(xué)習(xí)框架，如PyTorch。（4）TensorFlow有時(shí)候會(huì)因?yàn)榘姹靖碌仍驅(qū)е麓a不兼容。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架2.PyTorchPyTorch是一個(gè)由臉書公司（Facebook）開(kāi)發(fā)的一款開(kāi)源深度學(xué)習(xí)框架，它提供了一種靈活的用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法。PyTorch支持多種編程語(yǔ)言，如Python、C++和Java，可以在多種硬件平臺(tái)上運(yùn)行，如CPU、GPU和TPU?？梢灾С执笠?guī)模的數(shù)據(jù)集、自動(dòng)微調(diào)、多種深度學(xué)習(xí)模型，可以提供高效的計(jì)算性能等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架2.PyTorch優(yōu)點(diǎn)：（1）靈活性高。PyTorch的動(dòng)態(tài)圖機(jī)制使得模型構(gòu)建非常靈活。（2）易于使用。PyTorch的API設(shè)計(jì)非常直觀，易于上手和使用。（3）優(yōu)秀的性能。PyTorch的計(jì)算圖構(gòu)建方式使得它可以高效地在GPU上運(yùn)行。（4）強(qiáng)大的社區(qū)支持。由于PyTorch被廣泛使用，因此有一個(gè)龐大而活躍的社區(qū)，該社區(qū)內(nèi)提供了大量的文檔、教程和示例代碼。缺點(diǎn)：（1）不夠穩(wěn)定。由于使用動(dòng)態(tài)圖機(jī)制，PyTorch在訓(xùn)練大型模型時(shí)可能會(huì)因?yàn)閮?nèi)存不足而崩潰，導(dǎo)致需要進(jìn)行更多的手動(dòng)內(nèi)存管理。（2）部署相對(duì)困難。相對(duì)于TensorFlow，PyTorch的部署相對(duì)困難，這主要是因?yàn)镻yTorch缺乏與TensorFlow相似的生產(chǎn)級(jí)別工具鏈和部署方式。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架3.MXNetMXNet是一款基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)框架，由亞馬遜公司創(chuàng)建并開(kāi)源。MXNet支持多種深度學(xué)習(xí)模型的訓(xùn)練，包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和生成對(duì)抗網(wǎng)絡(luò)（GAN）等。

MXNet擁有多種高級(jí)特性，如自動(dòng)混合精度、模型并行等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架3.MXNet優(yōu)點(diǎn)：（1）自動(dòng)混合精度訓(xùn)練。MXNet可以自動(dòng)選擇使用FP32或者混合精度FP16進(jìn)行訓(xùn)練，以提高訓(xùn)練速度并減少內(nèi)存使用。（2）動(dòng)態(tài)計(jì)算圖。MXNet的計(jì)算圖是動(dòng)態(tài)的，這使得MXNet能夠處理變長(zhǎng)序列的輸入。（3）高效的計(jì)算性能。MXNet通過(guò)MXNet庫(kù)的多語(yǔ)言支持，使用CUDA、OpenMP和MKL等高效的計(jì)算庫(kù)進(jìn)行計(jì)算。缺點(diǎn)：（1）前沿功能不夠發(fā)達(dá)。MXNet的前沿功能可能不如TensorFlow和PyTorch發(fā)達(dá)，因此一些最新的技術(shù)和模型可能無(wú)法在MXNet上使用。（2）模型性能較弱。在某些特定的任務(wù)上，MXNet的性能可能比TensorFlow和PyTorch差一些，但是這種情況很少出現(xiàn)。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架4.MindSporeMindSpore(昇思)是華為公司推出的一款開(kāi)源AI計(jì)算框架，在國(guó)產(chǎn)框架中認(rèn)知度名列第一。MindSpore具備全方位能力，既能提供特定的能力（如開(kāi)發(fā)大模型，進(jìn)行科學(xué)計(jì)算），又能實(shí)現(xiàn)全生命周期的開(kāi)發(fā)（端到端開(kāi)發(fā)，從訓(xùn)練到部署）。MindSpore是一個(gè)全場(chǎng)景深度學(xué)習(xí)框架，旨在實(shí)現(xiàn)易開(kāi)發(fā)、高效執(zhí)行、全場(chǎng)景統(tǒng)一部署三大目標(biāo)。其中，易開(kāi)發(fā)表現(xiàn)為API友好、調(diào)試難度低；高效執(zhí)行包括計(jì)算效率、數(shù)據(jù)預(yù)處理效率和分布式訓(xùn)練效率（運(yùn)行態(tài)）；全場(chǎng)景是指框架同時(shí)支持云、邊緣及端側(cè)場(chǎng)景。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)MindSpore總體架構(gòu)3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架4.MindSpore(1)ModelZoo（模型庫(kù)）：提供可用的深度學(xué)習(xí)算法網(wǎng)絡(luò)。(2)MindSporeExtend（擴(kuò)展庫(kù)）：MindSpore的領(lǐng)域擴(kuò)展庫(kù)，支持拓展新領(lǐng)域場(chǎng)景，如強(qiáng)化學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)（GNN）、深度概率編程等。(3)MindSporeScience（科學(xué)計(jì)算）：基于MindSpore架構(gòu)打造的科學(xué)計(jì)算行業(yè)套件，如電磁仿真、分子模擬、量子計(jì)算等，加以加速科學(xué)行業(yè)應(yīng)用開(kāi)發(fā)。(4)MindExpression（全場(chǎng)景統(tǒng)一API）：基于Python的前端表達(dá)與編程接口，支持兩個(gè)融合（函數(shù)/OOP編程范式融合、AI＋數(shù)值計(jì)算表達(dá)融合）以及兩個(gè)統(tǒng)一（動(dòng)靜表達(dá)統(tǒng)一、單機(jī)分布式表達(dá)統(tǒng)一）。(5)第三方前端：支持第三方多語(yǔ)言前端表達(dá)，未來(lái)計(jì)劃陸續(xù)提供C/C++、Java等第三方前端的對(duì)接工作，MindSpore也在考慮自研編程語(yǔ)言前端——倉(cāng)頡。同時(shí)，內(nèi)部也在做與Julia（面向科學(xué)計(jì)算的高性能動(dòng)態(tài)編程語(yǔ)言）等第三方前端的對(duì)接工作，引入更多的第三方生態(tài)。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架4.MindSpore(6)MindSporeData（數(shù)據(jù)處理層）：提供高效的數(shù)據(jù)處理、常用數(shù)據(jù)集加載等功能和編程接口。(7)MindCompiler（AI編譯器）：圖層的核心編譯器，主要基于端云統(tǒng)一的MindIR（中間表達(dá)層）實(shí)現(xiàn)三大功能，包括硬件無(wú)關(guān)的優(yōu)化（類型推導(dǎo)、自動(dòng)微分等）、硬件相關(guān)優(yōu)化（自動(dòng)并行、二階優(yōu)化、內(nèi)存優(yōu)化、圖算融合、流水線執(zhí)行等）、部署推理相關(guān)的優(yōu)化（量化、剪枝、蒸餾等）。(8)MindRT（全場(chǎng)景運(yùn)行時(shí)系統(tǒng)）：MindSpore的運(yùn)行時(shí)系統(tǒng)，包含云側(cè)運(yùn)行時(shí)系統(tǒng)、端側(cè)以及更小IoT（物聯(lián)網(wǎng)）的輕量化運(yùn)行時(shí)系統(tǒng)。(9)MindSporeInsight（可視化調(diào)試調(diào)優(yōu)工具）：MindSpore的可視化調(diào)試調(diào)優(yōu)工具，能夠可視化地查看網(wǎng)絡(luò)調(diào)試、性能調(diào)優(yōu)、精度調(diào)優(yōu)等。(10)MindSporeArmour（安全增強(qiáng)庫(kù)）：面向企業(yè)級(jí)運(yùn)用時(shí)，提供安全與隱私保護(hù)相關(guān)增強(qiáng)功能，如對(duì)抗魯棒性、模型安全測(cè)試、差分隱私訓(xùn)練、隱私泄露風(fēng)險(xiǎn)評(píng)估等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架4.MindSpore優(yōu)點(diǎn)：（1）易于使用。MindSpore提供了豐富的API和內(nèi)置算法，用戶可以快速上手并進(jìn)行模型訓(xùn)練和推理。（2）支持多種硬件。MindSpore支持多種硬件加速器，包括華為自研的昇騰AI加速器，可以在不同的硬件平臺(tái)上運(yùn)行模型，從而提高模型的效率和性能。（3）強(qiáng)大的分布式訓(xùn)練支持。MindSpore可以實(shí)現(xiàn)分布式模型訓(xùn)練，支持多種分布式訓(xùn)練策略和參數(shù)服務(wù)器，從而提高了訓(xùn)練速度和效率。缺點(diǎn)：（1）生態(tài)相對(duì)較小。與TensorFlow和PyTorch相比，MindSpore的生態(tài)相對(duì)較小，社區(qū)支持和第三方庫(kù)相對(duì)較少。（2）文檔相對(duì)不足。MindSpore的文檔相對(duì)不足，對(duì)于初學(xué)者來(lái)說(shuō)，在使用時(shí)會(huì)有一些困難。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架5.PaddlePaddlePaddlePaddle（飛槳）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國(guó)首款自主研發(fā)、功能完備、開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件和豐富的工具組件于一體。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架5.PaddlePaddle優(yōu)點(diǎn)：（1）分布式訓(xùn)練。PaddlePaddle支持?jǐn)?shù)據(jù)并行和模型并行兩種分布式訓(xùn)練模式，可加速模型訓(xùn)練。（2）動(dòng)態(tài)圖模式。PaddlePaddle支持靜態(tài)圖和動(dòng)態(tài)圖兩種模式，動(dòng)態(tài)圖模式使得模型開(kāi)發(fā)和調(diào)試更加靈活和高效。（3）高效的模型推理。PaddlePaddle提供了高效的模型推理引擎，支持多種硬件平臺(tái)上的高速推理，包括CPU、GPU和FPGA等。（4）強(qiáng)大的工具集。PaddlePaddle提供了一系列豐富的工具集，包括自動(dòng)化數(shù)據(jù)處理、高效的數(shù)據(jù)增強(qiáng)、高可視化的模型訓(xùn)練過(guò)程及高效的模型轉(zhuǎn)換工具等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架5.PaddlePaddle缺點(diǎn)：（1）算子庫(kù)較少。PaddlePaddle的算子庫(kù)相對(duì)于TensorFlow和PyTorch等框架來(lái)說(shuō)較少，不支持一些新型的算子實(shí)現(xiàn)。（2）API相對(duì)復(fù)雜。PaddlePaddle的API較為復(fù)雜，學(xué)習(xí)曲線相對(duì)較陡峭，對(duì)于初學(xué)者來(lái)說(shuō)，可能會(huì)有一定難度。第三章人工智能軟硬件平臺(tái)3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開(kāi)發(fā)框架高職高專人工智能通識(shí)課規(guī)劃教材3.4本章實(shí)訓(xùn)3.5拓展知識(shí)3.4

本章實(shí)訓(xùn)第3章人工智能軟硬件平臺(tái)

人工智能芯片相關(guān)企業(yè)調(diào)研近年來(lái)，在國(guó)家政策的引導(dǎo)下，我國(guó)人工智能產(chǎn)業(yè)得到了蓬勃發(fā)展，出現(xiàn)了不少高質(zhì)量的研究機(jī)構(gòu)，也涌現(xiàn)出了一大批極具競(jìng)爭(zhēng)力的、與人工智能芯片相關(guān)的科技公司，例如華為海思、中科寒武紀(jì)、海光信息、景嘉微、平頭哥、地平線、燧原科技、云天勵(lì)飛、摩爾線程、黑芝麻智能等。這些公司在人工智能芯片領(lǐng)域的發(fā)展各有不同且各有所長(zhǎng)，既提升了我國(guó)的產(chǎn)品和服務(wù)在國(guó)際和國(guó)內(nèi)的競(jìng)爭(zhēng)力，又提升了國(guó)內(nèi)人民生活的滿意度。請(qǐng)以此為背景，對(duì)在人工智能芯片領(lǐng)域極具代表性的企業(yè)進(jìn)行調(diào)研，比較其在人工智能芯片領(lǐng)域的特點(diǎn)和優(yōu)勢(shì)、并將結(jié)論填寫在表3-4中。3.4

本章實(shí)訓(xùn)第3章人工智能軟硬件平臺(tái)企業(yè)名稱特點(diǎn)和優(yōu)勢(shì)（包括但不限于技術(shù)體系、產(chǎn)業(yè)鏈、應(yīng)用領(lǐng)域等）

表3-4人工智能芯片領(lǐng)域的企業(yè)及其特點(diǎn)和優(yōu)勢(shì)

人工智能芯片相關(guān)企業(yè)調(diào)研第三章人工智能軟硬件平臺(tái)3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開(kāi)發(fā)框架高職高專人工智能通識(shí)課規(guī)劃教材3.4本章實(shí)訓(xùn)3.5拓展知識(shí)3.5

拓展知識(shí)第3章人工智能軟硬件平臺(tái)3.5拓展知識(shí)：我國(guó)科學(xué)家研制出首個(gè)全模擬光電智能計(jì)算芯片經(jīng)長(zhǎng)期聯(lián)合攻關(guān)，清華大學(xué)研究團(tuán)隊(duì)突破傳統(tǒng)芯片的物理瓶頸，創(chuàng)造性提出光電融合的全新計(jì)算框架，并研制出國(guó)際首個(gè)全模擬光電智能計(jì)算芯片（簡(jiǎn)稱ACCEL）。經(jīng)實(shí)測(cè)，該芯片在智能視覺(jué)目標(biāo)識(shí)別任務(wù)方面的算力可達(dá)目前高性能商用芯片的3000余倍，為超高性能芯片的研發(fā)開(kāi)辟全新路徑。該成果近日發(fā)表于《自然》雜志上。3.5

拓展知識(shí)第3章人工智能軟硬件平臺(tái)3.5拓展知識(shí)：我國(guó)科學(xué)家研制出首個(gè)全模擬光電智能計(jì)算芯片近年來(lái)，如何構(gòu)建新的計(jì)算架構(gòu)，發(fā)展新型人工智能計(jì)算芯片，是國(guó)際關(guān)注的前沿?zé)狳c(diǎn)。利用光波作為載體進(jìn)行信息處理的光計(jì)算，因高速度、低功耗等優(yōu)點(diǎn)成為科學(xué)界研究熱點(diǎn)。然而，計(jì)算載體從電變?yōu)楣?，還要替代現(xiàn)有電子器件實(shí)現(xiàn)系統(tǒng)級(jí)應(yīng)用，面臨諸多難題。為此，清華大學(xué)信息科學(xué)技術(shù)學(xué)院院長(zhǎng)戴瓊海院士、自動(dòng)化系助理教授吳嘉敏，以及電子工程系副教授方璐、副研究員喬飛，結(jié)合光計(jì)算、純模擬電子計(jì)算等技術(shù)，突破傳統(tǒng)芯片架構(gòu)中數(shù)據(jù)轉(zhuǎn)換速度、精度與功耗相互制約的物理瓶頸，提出一種全新的計(jì)算框架，有望解決大規(guī)模計(jì)算單元集成、光計(jì)算與電子信號(hào)計(jì)算的高效接口等國(guó)際性難題。3.5

拓展知識(shí)第3章人工智能軟硬件平臺(tái)3.5拓展知識(shí)：我國(guó)科學(xué)家研制出首個(gè)全模擬光電智能計(jì)算芯片“我們是在全模擬信號(hào)下發(fā)揮光和電的優(yōu)勢(shì)，避免了模擬-數(shù)字轉(zhuǎn)換問(wèn)題，突破了功耗和速度的瓶頸?！狈借幢硎?，除算力優(yōu)勢(shì)外，在智能視覺(jué)目標(biāo)識(shí)別任務(wù)和無(wú)人系統(tǒng)（如自動(dòng)駕駛）場(chǎng)景計(jì)算中，ACCEL的系統(tǒng)級(jí)能效（單位能量可進(jìn)行的運(yùn)算數(shù)）經(jīng)實(shí)測(cè)是現(xiàn)有高性能芯片的400萬(wàn)余倍，“這一超低功耗的優(yōu)勢(shì)將有助于改善限制芯片集成的芯片發(fā)熱問(wèn)題，有望為未來(lái)芯片設(shè)計(jì)帶來(lái)突破?！盇CCEL未來(lái)有望在無(wú)人系統(tǒng)、工業(yè)檢測(cè)和人工智能大模型等方面實(shí)現(xiàn)應(yīng)用。感謝聆聽(tīng)高職高專人工智能通識(shí)課規(guī)劃教材人工智能概論本章學(xué)習(xí)目標(biāo)第4章機(jī)器學(xué)習(xí)【素養(yǎng)目標(biāo)】通過(guò)學(xué)習(xí)機(jī)器學(xué)習(xí)算法思想，對(duì)學(xué)生進(jìn)行科學(xué)思維方法訓(xùn)練、激發(fā)學(xué)習(xí)熱情；通過(guò)學(xué)習(xí)機(jī)器學(xué)習(xí)算法，提高學(xué)生分析與解決復(fù)雜問(wèn)題的能力；通過(guò)學(xué)習(xí)拓展知識(shí)，培養(yǎng)學(xué)生的團(tuán)隊(duì)合作精神和精益求精的專業(yè)精神。本章學(xué)習(xí)目標(biāo)第4章機(jī)器學(xué)習(xí)【知識(shí)目標(biāo)】掌握機(jī)器學(xué)習(xí)的概念及發(fā)展歷程；掌握監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等機(jī)器學(xué)習(xí)類型；理解線性回歸、支持向量機(jī)、決策樹(shù)、K近鄰算法、K均值聚類算法、關(guān)聯(lián)分析、深度學(xué)習(xí)等機(jī)器學(xué)習(xí)算法的工作原理；了解機(jī)器學(xué)習(xí)的應(yīng)用。本章學(xué)習(xí)目標(biāo)第4章機(jī)器學(xué)習(xí)【能力目標(biāo)】能夠針對(duì)機(jī)器學(xué)習(xí)具體應(yīng)用功能，闡述其實(shí)現(xiàn)原理；能夠針對(duì)工作生活場(chǎng)景中的具體需求，選擇合適的機(jī)器學(xué)習(xí)算法；會(huì)使用“形色”工具識(shí)別植物。本章學(xué)習(xí)目標(biāo)第4章機(jī)器學(xué)習(xí)【思維導(dǎo)圖】第四章機(jī)器學(xué)習(xí)4.1機(jī)器學(xué)習(xí)概述4.2機(jī)器學(xué)習(xí)類型4.3機(jī)器學(xué)習(xí)常用算法高職高專人工智能通識(shí)課規(guī)劃教材4.4本章實(shí)訓(xùn)4.5拓展知識(shí)4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.1什么是機(jī)器學(xué)習(xí)1.機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)（MachineLearning，ML）是人工智能的一個(gè)重要分支與核心研究?jī)?nèi)容，是目前實(shí)現(xiàn)人工智能的一條重要途徑。機(jī)器學(xué)習(xí)專門研究機(jī)器如何模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，同時(shí)能夠重新組織已有的知識(shí)結(jié)構(gòu)，并不斷改善自身的性能。這是的“機(jī)器”是指包含硬件和軟件的計(jì)算機(jī)系統(tǒng)。機(jī)器學(xué)習(xí)的應(yīng)用已遍及人工智能的各個(gè)分支，如專家系統(tǒng)、自動(dòng)推理、自然語(yǔ)言理解、模式識(shí)別、計(jì)算機(jī)視覺(jué)、智能機(jī)器人等領(lǐng)域。機(jī)器學(xué)習(xí)是一個(gè)多領(lǐng)域交叉學(xué)科，涉及計(jì)算機(jī)科學(xué)、概率論、統(tǒng)計(jì)學(xué)、逼近論、算法復(fù)雜度理論等多門學(xué)科。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.1什么是機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)任務(wù)可以簡(jiǎn)單地理解為“總結(jié)經(jīng)驗(yàn)、發(fā)現(xiàn)規(guī)律、掌握規(guī)律、預(yù)測(cè)未來(lái)”。人類的學(xué)習(xí)過(guò)程可以描述為，對(duì)在工作、生活中積累的歷史經(jīng)驗(yàn)進(jìn)行歸納，以獲得一些規(guī)律。如果有新的問(wèn)題出現(xiàn)，就需要根據(jù)歸納的規(guī)律來(lái)預(yù)測(cè)未來(lái)未知的事情，如右上圖所示。機(jī)器的學(xué)習(xí)過(guò)程可以描述為，利用歷史數(shù)據(jù)，經(jīng)過(guò)訓(xùn)練得到一個(gè)模型。如果有新的數(shù)據(jù)出現(xiàn)，就使用習(xí)得的模型來(lái)預(yù)測(cè)未來(lái)未知的事情，如右下圖所示。圖4-1人類學(xué)習(xí)過(guò)程圖4-2機(jī)器學(xué)習(xí)過(guò)程4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.1什么是機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)術(shù)語(yǔ)機(jī)器學(xué)習(xí)處理的對(duì)象是數(shù)據(jù)。數(shù)據(jù)集是一組具有相似結(jié)構(gòu)的數(shù)據(jù)樣本的合集；學(xué)習(xí)算法將經(jīng)驗(yàn)（數(shù)據(jù)）轉(zhuǎn)化為最終“模型”；樣本是對(duì)某個(gè)對(duì)象的描述，也叫示例；屬性或特征是對(duì)象的某個(gè)方面表現(xiàn)；屬性值或特征值是屬性上的取值；維數(shù)是描述樣本屬性參數(shù)的個(gè)數(shù)。計(jì)算機(jī)判斷西瓜是否好瓜4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.1什么是機(jī)器學(xué)習(xí)3.數(shù)據(jù)集劃分機(jī)器學(xué)習(xí)中，需要將數(shù)據(jù)分為訓(xùn)練集（上課）和測(cè)試集（作業(yè)），分別用來(lái)對(duì)模型進(jìn)行訓(xùn)練和測(cè)試。（1）訓(xùn)練集。訓(xùn)練（Train）集是讓算法學(xué)習(xí)出一個(gè)模型，通過(guò)優(yōu)化參數(shù)，以訓(xùn)練模型。（2）測(cè)試集。測(cè)試（Test）集是通過(guò)訓(xùn)練集得出模型后，使用測(cè)試集進(jìn)行模型測(cè)試，來(lái)查看模型的好壞。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.1什么是機(jī)器學(xué)習(xí)3.數(shù)據(jù)集劃分舉例來(lái)說(shuō)，若擬合直線y＝wx＋b，則根據(jù)新的x數(shù)據(jù)，就可以知道y的值。訓(xùn)練集的作用是，通過(guò)已知的x和y，學(xué)習(xí)出或者訓(xùn)練出合適的w和b，使得實(shí)際值和預(yù)測(cè)值盡可能接近。但是如果將所有已知的x和y全部用作訓(xùn)練，則根據(jù)新的數(shù)據(jù)x，無(wú)法知道預(yù)測(cè)出的y有多么接近真實(shí)數(shù)據(jù)。這怎么辦？此時(shí)就需要測(cè)試集了。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.1什么是機(jī)器學(xué)習(xí)3.數(shù)據(jù)集劃分將所有已知數(shù)據(jù)分為兩部分，多數(shù)（比如80%）作為訓(xùn)練集，少數(shù)（比如20%）作為測(cè)試集。測(cè)試集還需要滿足以下兩個(gè)條件：規(guī)模足夠大，可產(chǎn)生具有統(tǒng)計(jì)意義的結(jié)果。能代表整個(gè)數(shù)據(jù)集。只有測(cè)試集滿足上述兩個(gè)條件，才有可能得到一個(gè)很好的泛化到新數(shù)據(jù)的模型。注意：絕對(duì)禁止使用測(cè)試數(shù)據(jù)進(jìn)行訓(xùn)練。數(shù)據(jù)集測(cè)試集訓(xùn)練集4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.1什么是機(jī)器學(xué)習(xí)4.過(guò)擬合和欠擬合過(guò)擬合是指模型完美地或者很好地?cái)M合了數(shù)據(jù)集的某一部分(訓(xùn)練集)，但是此模型很可能并不能用來(lái)預(yù)測(cè)數(shù)據(jù)集的其他部分(測(cè)試集)。欠擬合指的是模型無(wú)法很好地?cái)M合訓(xùn)練數(shù)據(jù)，無(wú)法捕捉到數(shù)據(jù)中的真實(shí)模式和關(guān)系。在這種情況下，模型過(guò)于簡(jiǎn)單或者復(fù)雜度不足，無(wú)法充分學(xué)習(xí)數(shù)據(jù)中的特征和模式。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.2機(jī)器學(xué)習(xí)的發(fā)展歷程自從20世紀(jì)50年代開(kāi)始研究機(jī)器學(xué)習(xí)以來(lái)，不同時(shí)期的研究途徑和目標(biāo)也不同，機(jī)器學(xué)習(xí)的發(fā)展歷程大致分為四個(gè)階段：熱烈時(shí)期、冷靜時(shí)期、復(fù)興時(shí)期、最新階段。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.2機(jī)器學(xué)習(xí)的發(fā)展歷程第一階段是20世紀(jì)50年代到60年代中葉，稱為機(jī)器學(xué)習(xí)發(fā)展的熱烈時(shí)期。在這個(gè)階段，機(jī)器學(xué)習(xí)所研究的是“沒(méi)有知識(shí)”的學(xué)習(xí)，即“無(wú)知”學(xué)習(xí)。該階段的研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)，其主要研究方法是不斷修改系統(tǒng)的控制參數(shù)和改進(jìn)系統(tǒng)的執(zhí)行能力，不涉及與具體任務(wù)有關(guān)的知識(shí)。本階段的代表性工作是1952年IBM科學(xué)家亞瑟·塞繆爾（ArthurSamuel）開(kāi)發(fā)的西洋跳棋程序；1958年羅森·布拉特設(shè)計(jì)的第一個(gè)計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)——感知機(jī)（Perceptron），它模擬了人類大腦的運(yùn)作方式。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.2機(jī)器學(xué)習(xí)的發(fā)展歷程第二階段是20世紀(jì)60年代中葉到70年代中葉，稱為機(jī)器學(xué)習(xí)發(fā)展的冷靜時(shí)期。該階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器的內(nèi)部描述。該階段的代表性工作有溫斯頓（Winston）的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)和海斯·羅思(HayesRoth)等人的基于邏輯的歸納學(xué)習(xí)系統(tǒng)，但這些學(xué)習(xí)系統(tǒng)只能學(xué)習(xí)單一概念，而且未能投入實(shí)際應(yīng)用。事實(shí)上，在這個(gè)時(shí)期，整個(gè)AI領(lǐng)域都遭遇了瓶頸。當(dāng)時(shí)，計(jì)算機(jī)的有限內(nèi)存和處理速度不足以解決任何實(shí)際的AI問(wèn)題。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.2機(jī)器學(xué)習(xí)的發(fā)展歷程第三階段是20世紀(jì)70年代中葉到80年代中葉，稱為機(jī)器學(xué)習(xí)發(fā)展的復(fù)興時(shí)期。在此階段，機(jī)器學(xué)習(xí)從學(xué)習(xí)單一概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，并探索不同的學(xué)習(xí)策略和方法，且在該階段已開(kāi)始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，并且取得了很大的成功。1980年，在美國(guó)的卡內(nèi)基梅隆大學(xué)(CMU)召開(kāi)了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。此后，機(jī)器學(xué)習(xí)得到了大量應(yīng)用。1981年，偉博斯（Weibos）基于神經(jīng)網(wǎng)絡(luò)反向傳播(BP)算法提出多層感知器(MLP)的概念；1986年，昆蘭（Quinlan）提出決策樹(shù)算法。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.2機(jī)器學(xué)習(xí)的發(fā)展歷程第四階段是20世紀(jì)80年代中葉至今，這是機(jī)器學(xué)習(xí)發(fā)展的最新階段。1995年，機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)最重要的突破，由瓦普尼克（Vapnik）和科爾特斯（Cortes）在大量理論和實(shí)證的條件下提出的支持向量機(jī)(SVM)，從此將機(jī)器學(xué)習(xí)社區(qū)劃分為神經(jīng)網(wǎng)絡(luò)社區(qū)和支持向量機(jī)社區(qū)。2006年，神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域領(lǐng)軍者辛頓(Hinton)提出了神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)（DeepLearning）算法，使神經(jīng)網(wǎng)絡(luò)的能力大大提高，并向支持向量機(jī)發(fā)出挑戰(zhàn)。4.1

機(jī)器學(xué)習(xí)概述第4章機(jī)器學(xué)習(xí)4.1.2機(jī)器學(xué)習(xí)的發(fā)展歷程這個(gè)階段的機(jī)器學(xué)習(xí)具有如下特點(diǎn)。（1）機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科，它綜合應(yīng)用了心理學(xué)、生物學(xué)、神經(jīng)生理學(xué)、數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)等學(xué)科，形成了機(jī)器學(xué)習(xí)理論基礎(chǔ)。（2）整合了各種學(xué)習(xí)方法，且形式多樣的集成學(xué)習(xí)系統(tǒng)研究正在興起。（3）機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。（4）各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，部分應(yīng)用研究成果已轉(zhuǎn)化為產(chǎn)品。（5）與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。第四章機(jī)器學(xué)習(xí)4.1機(jī)器學(xué)習(xí)概述4.2機(jī)器學(xué)習(xí)類型4.3機(jī)器學(xué)習(xí)常用算法高職高專人工智能通識(shí)課規(guī)劃教材4.4本章實(shí)訓(xùn)4.5拓展知識(shí)4.2機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)的核心是“使用算法分析數(shù)據(jù)，從數(shù)據(jù)中學(xué)習(xí)，然后對(duì)未知的某件事情做出決定或預(yù)測(cè)”。這意味著，機(jī)器學(xué)習(xí)不是直接地編寫程序來(lái)執(zhí)行某些任務(wù)，而是指導(dǎo)機(jī)器如何獲得一個(gè)模型來(lái)完成任務(wù)。機(jī)器通過(guò)學(xué)習(xí)可以提取數(shù)據(jù)規(guī)律、創(chuàng)建模型。根據(jù)數(shù)據(jù)類型的不同，與之對(duì)應(yīng)的機(jī)器學(xué)習(xí)類型也不同，主要有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等。4.2

機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)4.2.1監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)就是根據(jù)已有的大量的輸入數(shù)據(jù)與輸出數(shù)據(jù)（結(jié)果）之間的關(guān)系，去尋找合適的模型（函數(shù)），并使用模型去預(yù)測(cè)未來(lái)的結(jié)果。每個(gè)訓(xùn)練數(shù)據(jù)樣本都有特征值和對(duì)應(yīng)的標(biāo)簽，機(jī)器學(xué)習(xí)時(shí)從有標(biāo)簽的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)并獲得模型，以便對(duì)未知或未來(lái)的數(shù)據(jù)做出預(yù)測(cè)?！氨O(jiān)督”指的是已經(jīng)知道樣本的輸出信號(hào)或標(biāo)簽。監(jiān)督學(xué)習(xí)猶如學(xué)生在學(xué)習(xí)過(guò)程中有老師講授一樣，會(huì)事先知道相關(guān)答案。例如，有兩朵鮮花圖片，并已知鮮花的名稱（玫瑰花、格?；ǎ?，即鮮花的標(biāo)簽。事先要對(duì)計(jì)算機(jī)要學(xué)習(xí)的數(shù)據(jù)樣本進(jìn)行標(biāo)注（打標(biāo)簽），如圖所示，即事先知道明確的結(jié)果（答案），這相當(dāng)于監(jiān)督了計(jì)算機(jī)的學(xué)習(xí)過(guò)程。4.2

機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)4.2.1監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)常用于解決生活中分類和回歸的問(wèn)題，如垃圾郵件分類、判斷腫瘤是良性還是惡性等問(wèn)題。（1）分類。帶有離散分類標(biāo)簽的監(jiān)督學(xué)習(xí)也稱為分類任務(wù)，這些分類標(biāo)簽是離散值。分類任務(wù)的常見(jiàn)算法包括：邏輯回歸、支持向量機(jī)(SVM)、決策樹(shù)、隨機(jī)森林、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)等。分類示意圖如圖所示。4.2

機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)4.2.1監(jiān)督學(xué)習(xí)（2）回歸。監(jiān)督學(xué)習(xí)的另一個(gè)子類是回歸，其結(jié)果信號(hào)是連續(xù)的數(shù)值?；貧w的任務(wù)是預(yù)測(cè)目標(biāo)數(shù)值，如在給定一組特性（房屋大小、房間數(shù)等）的情況下，來(lái)預(yù)測(cè)房屋的售價(jià)。回歸分析的常見(jiàn)算法包括：線性回歸、神經(jīng)網(wǎng)絡(luò)、AdaBoosting等。線性回歸如圖所示。4.2

機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)4.2.2無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)又稱為歸納性學(xué)習(xí)。在無(wú)監(jiān)督學(xué)習(xí)中，數(shù)據(jù)樣本事先是無(wú)標(biāo)簽的，也就是沒(méi)有分類的，需要從大量數(shù)據(jù)中自行獲得新方法或新發(fā)現(xiàn)，機(jī)器需要直接對(duì)無(wú)標(biāo)簽的數(shù)據(jù)建立模型，然后對(duì)觀察數(shù)據(jù)進(jìn)行分類或者區(qū)分?！盁o(wú)監(jiān)督”指的是事先不知道樣本的輸出信號(hào)或標(biāo)簽。無(wú)監(jiān)督學(xué)習(xí)猶如學(xué)生自學(xué)的過(guò)程，沒(méi)有老師的講授，學(xué)生需要通過(guò)自覺(jué)尋找答案。無(wú)監(jiān)督學(xué)習(xí)的應(yīng)用模式主要包括聚類算法和關(guān)聯(lián)規(guī)則抽取。4.2

機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)4.2.2無(wú)監(jiān)督學(xué)習(xí)聚類算法又分為K-means聚類和層次聚類。聚類算法的目標(biāo)是創(chuàng)建對(duì)象分組，使得同一組內(nèi)的對(duì)象盡可能相似，而處于不同組內(nèi)的對(duì)象盡可能相異。聚類算法如圖所示。4.2

機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)4.2.3半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)是模式識(shí)別領(lǐng)域研究的重點(diǎn)問(wèn)題，是監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。在現(xiàn)實(shí)生活中，有時(shí)對(duì)數(shù)據(jù)進(jìn)行標(biāo)記的代價(jià)很高，大量的數(shù)據(jù)往往是未經(jīng)過(guò)標(biāo)記的，而僅有一小部分?jǐn)?shù)據(jù)是經(jīng)過(guò)標(biāo)記的。半監(jiān)督學(xué)習(xí)使用大量的未標(biāo)記數(shù)據(jù)，同時(shí)使用少量的標(biāo)記數(shù)據(jù)，來(lái)進(jìn)行模式識(shí)別工作。使用未標(biāo)記的數(shù)據(jù)的目的是獲得對(duì)數(shù)據(jù)結(jié)構(gòu)的更多理解。4.2

機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)4.2.4強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)，又稱再勵(lì)學(xué)習(xí)、評(píng)價(jià)學(xué)習(xí)或增強(qiáng)學(xué)習(xí)，用于描述和解決智能體（Agent）在與環(huán)境的交互過(guò)程中通過(guò)學(xué)習(xí)策略以達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)的問(wèn)題。強(qiáng)化學(xué)習(xí)是從動(dòng)物學(xué)習(xí)、參數(shù)擾動(dòng)自適應(yīng)控制等理論發(fā)展而來(lái)的，其基本原理是：如果智能體的某個(gè)行為策略導(dǎo)致環(huán)境正的獎(jiǎng)賞（強(qiáng)化信號(hào)），那么智能體以后產(chǎn)生這個(gè)行為策略的趨勢(shì)便會(huì)加強(qiáng)。智能體的目標(biāo)是在每個(gè)離散狀態(tài)發(fā)現(xiàn)最優(yōu)策略，以使期望的折扣獎(jiǎng)賞和達(dá)到最大。與監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)不涉及提供“正確”答案或輸出，相反，它只關(guān)注性能和行為，這類似于人類根據(jù)積極或消極的結(jié)果來(lái)學(xué)習(xí)。例如，一個(gè)小孩剛開(kāi)始時(shí)并不知道玩火會(huì)被灼傷，一旦不小心被火灼傷了，以后就會(huì)小心避開(kāi)火源。4.2

機(jī)器學(xué)習(xí)類型第4章機(jī)器學(xué)習(xí)4.2.4強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)的經(jīng)典應(yīng)用是玩游戲。例如，一款下棋軟件可以學(xué)會(huì)不把它的國(guó)王移到對(duì)手的棋子可以進(jìn)入的空間。剛開(kāi)始，軟件完全不知道如何將棋子放到正確的地方，但是，一旦軟件將棋子放在正確的地方，系統(tǒng)就向其反饋獎(jiǎng)勵(lì)（如增加分值），一旦放到會(huì)被對(duì)方攻擊到的地方，系統(tǒng)就向其反饋懲罰（如扣掉分值）。經(jīng)過(guò)大量的訓(xùn)練后，軟件逐漸在獎(jiǎng)勵(lì)和懲罰中，學(xué)會(huì)了正確放置棋子。這一基本訓(xùn)練可以被擴(kuò)展和推斷出來(lái)，直到軟件能夠打敗人類頂級(jí)玩家為止。第四章機(jī)器學(xué)習(xí)4.1機(jī)器學(xué)習(xí)概述4.2機(jī)器學(xué)習(xí)類型4.3機(jī)器學(xué)習(xí)常用算法高職高專人工智能通識(shí)課規(guī)劃教材4.4本章實(shí)訓(xùn)4.5拓展知識(shí)4.3機(jī)器學(xué)習(xí)常用算法第4章機(jī)器學(xué)習(xí)4.3.1線性回歸1.什么是一元線性回歸“回歸”這一術(shù)語(yǔ)