車載智能計(jì)算芯片白皮書

《車載智能計(jì)算芯片白皮書（2023）》智能化、面向服務(wù)的基礎(chǔ)架構(gòu)、軟件定義汽車等已經(jīng)成為各大汽車廠商競相追逐的熱點(diǎn)和差異化的焦點(diǎn)。高算力域控制器、智能座艙、輔助駕駛、自動駕駛等人工智能算法應(yīng)用越來越受到各大汽車制造商、汽車零部件供應(yīng)商、算法和系統(tǒng)集成商的重視和關(guān)注，并迅速成為投資和競爭的重點(diǎn)。軟件和算法在智能駕駛汽車中越來越重要而且成為了差異化競爭的關(guān)鍵。軟件價(jià)值的提升意味著未來汽車更多的創(chuàng)新將集中在電子和軟件部分。領(lǐng)先的底層架構(gòu)、出色的軟件迭代、持續(xù)優(yōu)化和不斷進(jìn)化的硬件技術(shù)，將加速整個(gè)汽車行業(yè)的轉(zhuǎn)型與變革。隨著芯片技術(shù)、硬件技術(shù)、軟件技術(shù)、人工智能、深度學(xué)習(xí)算法等迅猛發(fā)展，智能計(jì)算已是大勢所趨，車載智能計(jì)算軟硬件平臺和服務(wù)的競爭在汽車行業(yè)中多個(gè)國家，對于座艙智能科技水平的關(guān)注僅次于安全配置，甚至超過動力、價(jià)格、能耗等指標(biāo)。據(jù)市場，相信隨著人工智能技術(shù)、法律監(jiān)管的完善以及消費(fèi)者接受度的提升，自動駕駛市場會進(jìn)一步擴(kuò)智能汽車未來將有機(jī)會在實(shí)現(xiàn)“零事故”、“零排放”和“零擁堵”的宏偉愿景中發(fā)揮重要作用。本報(bào)告述車載智能計(jì)算軟硬件平臺的發(fā)展機(jī)遇與創(chuàng)新實(shí)踐?，F(xiàn)在如下幾點(diǎn)：）；耦合即可滿足系統(tǒng)需求。隨著激光雷達(dá)等高性能傳感器的量產(chǎn)上車以及智能駕駛系統(tǒng)算法的泛化性提統(tǒng)而言，傳感器數(shù)量的增加及多路高分辨率攝像頭帶來海量實(shí)時(shí)環(huán)境感知數(shù)據(jù)，外加算法模型的復(fù)雜即便隨著自動駕駛汽車不斷的里程突破，很多時(shí)候在人類看來是非常低級錯(cuò)誤的自動駕駛事故案模型的泛化性不佳是其中的重要原因之一，突破點(diǎn)在于通用人工智能（AGI，ArtificialGeneral就能將計(jì)算效率提升一倍，但典型的車載芯片開發(fā)周期需要三年。算法優(yōu)化會對計(jì)算平臺架構(gòu)帶來巨這種進(jìn)化速度上的不匹配，對芯片公司的算法能力提出更高要求，需要對算法的發(fā)展趨勢進(jìn)行預(yù)硬件利用率，達(dá)到真正意義上向后兼容軟件算法創(chuàng)新，這是非常難的。那樣高能效比或具有成本效益。最大的問題之一是功耗，要使L3以上的工作完美無缺，我們需要來源：智能汽車算力平臺方案解析功能安全指電子電器及其相關(guān)軟件本身，通過其內(nèi)置的安全機(jī)制，將傷害人類或損壞物品的潛在路上行駛的汽車在功能安全上面臨更多的挑戰(zhàn)：?成本多的冗余設(shè)計(jì)達(dá)到，而各大汽車制造商在成本控制上則要苛刻得多，在成本可控的前提下，達(dá)到功能?使用場景汽車使用場景和范圍非常寬泛，作為全天候高頻使用，且不同駕駛?cè)藛T使用習(xí)慣不同，外加一般?市場新需求伴隨著軟件技術(shù)、硬件技術(shù)以及人工智能等數(shù)字化技術(shù)日益完善成熟在多個(gè)領(lǐng)域，特別是在移動互聯(lián)網(wǎng)領(lǐng)域取得了的巨大成功，當(dāng)代人們對于汽車的需求已經(jīng)不滿足于傳統(tǒng)交通工具屬性，轉(zhuǎn)而對舒新，但功能安全仍然是汽車產(chǎn)業(yè)的最核心、最重要的關(guān)切點(diǎn)。數(shù)字化、新能源等技術(shù)在汽車功能安全?預(yù)期功能安全雖然已經(jīng)提出了許多數(shù)據(jù)驅(qū)動設(shè)計(jì)的方法，不過深度神經(jīng)網(wǎng)絡(luò)的可解釋性、穩(wěn)定性以及魯棒性方面仍關(guān)注系統(tǒng)運(yùn)行時(shí)發(fā)生的超出預(yù)期設(shè)計(jì)的場景或者超出部件性能限制的情形，以及人為因素對于系統(tǒng)的廣為人知，它主要基于特定的汽車硬件平臺上，通過軟件來實(shí)現(xiàn)相關(guān)功能和特性，其周期貫穿汽車生產(chǎn)、制造、銷售以及后續(xù)服務(wù)等階段，軟件定義汽車可以提供越來越復(fù)雜的安全和保護(hù)功能、更高級別的系統(tǒng)自主性以及接受各種功能和安全機(jī)制相關(guān)的軟件更新能力，除此之外，還將提供例如防盜、在發(fā)生索賠時(shí)支持保險(xiǎn)公司的信息、警報(bào)或緊急情況通知等高級服務(wù)和應(yīng)用。軟件定義汽車代表了汽購買最新款手機(jī)硬件，僅通過系統(tǒng)升級和軟件更新，也可以體驗(yàn)性能提升和更多功能。消費(fèi)者在智能手機(jī)和移動互聯(lián)的使用習(xí)慣和意愿上，成功延伸至汽車領(lǐng)域，比如車載信息娛樂、智能網(wǎng)聯(lián)、人機(jī)交能夠接收無線（OTA）更新，其中包括安全補(bǔ)丁、信息娛樂改進(jìn)、自動駕駛、輔助駕駛等車輛核心功用戶行為等都會產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)有機(jī)會完成本地實(shí)時(shí)分析或者發(fā)送到云端處理，使主機(jī)廠能夠深入了解汽車狀態(tài)和用戶使用習(xí)慣，并改進(jìn)汽車軟件生命周期管理、開發(fā)個(gè)性化功能，與消費(fèi)者建息終端，許多重要的功能特性需要借助軟件和算法來完成，比如智能語音控制車內(nèi)空調(diào)溫度，檢測駕越低，傳統(tǒng)汽車銷售模式在汽車交付給終端消費(fèi)者的時(shí)候，銷售即完成。相較于特斯拉汽車的銷售模），），降低鏈接的復(fù)雜性，也同時(shí)縮短線束長度，降低成本和重量，典型域控制器是車載信息娛樂系統(tǒng)出現(xiàn)，中央集成式電子電氣架構(gòu)（車輪上的數(shù)據(jù)中心）將進(jìn)一步整合域控制器，高性能服務(wù)器芯片將然后將數(shù)據(jù)轉(zhuǎn)發(fā)到高性能中央計(jì)算單元進(jìn)行高速處理。的性能要求也會越來越高，由于計(jì)算趨于集中，支持不同工作負(fù)載的高性能異構(gòu)計(jì)算芯片（System2.2.1面向信號架構(gòu)（SignalOrientedArchitecture）2.2.2面向服務(wù)架構(gòu)（ServiceOrientedArchitecture）常見的軟件架構(gòu)設(shè)計(jì)理念，它鼓勵(lì)提供抽象訪問接口和模塊化軟件組件的方式，讓軟件模塊很容易在上層系統(tǒng)通過復(fù)用和自由組合既有軟件模塊，可以實(shí)現(xiàn)快速開發(fā)特定的功能，并能降低測試驗(yàn)證成本上層應(yīng)用開發(fā)者提供與手機(jī)、桌面、數(shù)據(jù)中心等應(yīng)用幾乎相同的開發(fā)、調(diào)試體驗(yàn)，讓移動互聯(lián)網(wǎng)的開隨著汽車系統(tǒng)軟件的復(fù)雜性越來越高，特別是自動駕駛、輔助駕駛等新型應(yīng)用的誕生，應(yīng)用程序代碼變得日益復(fù)雜，為了快速滿足各種不斷變化的消費(fèi)者需求，由此產(chǎn)生的軟件開發(fā)、部署和管理方雜性，非常適用于汽車應(yīng)用開發(fā)，其中基于微服務(wù)容器架構(gòu)，可以大量復(fù)用工作負(fù)載的基礎(chǔ)技術(shù)代碼，云原生技術(shù)有利于企業(yè)在公有云、私有云和混合云等新型動態(tài)環(huán)境中，構(gòu)建和運(yùn)行可彈性擴(kuò)展的極大縮短車載系統(tǒng)應(yīng)用的開發(fā)和部署周期。關(guān)鍵應(yīng)用與常規(guī)應(yīng)用混合編排簡化部署復(fù)雜度：車載軟件在本質(zhì)上可以是同時(shí)部署運(yùn)行關(guān)鍵應(yīng)用于微服務(wù)容器的一部分進(jìn)行集成。另外，現(xiàn)有的云原生基礎(chǔ)設(shè)施及容器編排技術(shù)，可以感知軟硬件特征，特別是嵌入式車載硬件系統(tǒng)的功能特性，按照需求把相應(yīng)的微服務(wù)部署到最合適的節(jié)點(diǎn)上，并以供大量的數(shù)據(jù)輸入，模擬成百上千的真實(shí)使用場景，甚至可以同時(shí)在數(shù)千個(gè)云端服務(wù)器節(jié)點(diǎn)上啟動執(zhí)也可以最大效率利用硬件計(jì)算資源，避免因最終部署環(huán)境的不一致，導(dǎo)致大量程序代碼異常在與車載發(fā)了基于開放標(biāo)準(zhǔn)的新架構(gòu)，它用經(jīng)過驗(yàn)證的云原生增強(qiáng)技術(shù)，與汽車應(yīng)用中必需的實(shí)時(shí)和安全功能一起運(yùn)作，快速無縫地滿足軟件定義汽車的應(yīng)用需求開發(fā)。此外，由這些企業(yè)組成的特別興趣小組有越來越多的數(shù)據(jù)驅(qū)動智能應(yīng)用在智能汽車上出現(xiàn)，包括智能座艙、輔助駕駛、智能診斷、用戶行為模型、智能熱管理、智能底盤等。而在車端數(shù)據(jù)的采集和智能應(yīng)用的運(yùn)行均依托車載智能計(jì)算，大數(shù) 智能場景的實(shí)現(xiàn)需要車載智能計(jì)算與云計(jì)算的協(xié)同，為了讓汽車產(chǎn)品保持量產(chǎn)后的可持續(xù)迭代能力，往往需要預(yù)置足夠的算力確保智能汽車的持續(xù)進(jìn)化。車載計(jì)算模塊通常會部署在采用Arm架構(gòu)的域控制器或者中央網(wǎng)關(guān)上，特征提取乃至機(jī)器學(xué)習(xí)等運(yùn)算。這也就意味著，一旦有較為充足的算力可以被調(diào)用，那么在車端實(shí)現(xiàn)一些復(fù)雜多樣的計(jì)算場景，不僅可以有效的將算力轉(zhuǎn)變?yōu)闃I(yè)務(wù)和商業(yè)價(jià)值，而且可以持續(xù)的提升用戶移動出行體驗(yàn)。但在智能汽車初期，車企在車端缺乏冗余算力的規(guī)劃，導(dǎo)致產(chǎn)品后續(xù)迭代空間有限，這一點(diǎn)有望隨著算力的增長和邊緣計(jì)算的發(fā)展而得到新的突破。不同于手機(jī)、桌面、數(shù)據(jù)中心或者一般邊緣計(jì)算場景對于智能計(jì)算芯片的需求，從軟件定義汽車），比如海量信號數(shù)據(jù)格式轉(zhuǎn)換；oCortex-M：為面積、功耗以及實(shí)時(shí)操作系統(tǒng)（RTOS）特別優(yōu)化的處理器，提供簡單壓監(jiān)測等；?NPU（神經(jīng)網(wǎng)絡(luò)處理單元）是為深度神經(jīng)網(wǎng)絡(luò)推理而定制的邏輯電路實(shí)現(xiàn)，具有低功耗、速?ISP（圖像信號處理器）是將圖像傳感器（比如一個(gè)或者多個(gè)攝像頭信號數(shù)據(jù)）實(shí)時(shí)轉(zhuǎn)化成?Security（信息安全）是一個(gè)包含硬件、軟件、工具包，支持應(yīng)用程序不可知的安全子系統(tǒng)，車輛控制、智能座艙、輔助駕駛、自動駕駛等場景和通常的邊緣計(jì)算場景相比，需要更高的性能，車載應(yīng)用開發(fā)往往需要同時(shí)使用上述多種異構(gòu)計(jì)算單元提供算力保障，不同計(jì)算單元協(xié)同工作，平衡子電氣架構(gòu)和更為激進(jìn)的中央集中式電子電氣架構(gòu)是產(chǎn)業(yè)發(fā)展方向，無論是哪一類電子電氣架構(gòu)，車2.1突破馮·諾伊曼“瓶頸”30-80GB/s，且隨機(jī)數(shù)據(jù)訪問時(shí)的帶寬要遠(yuǎn)低于理論值。而一次深度神經(jīng)網(wǎng)絡(luò)的推理過程涉及的計(jì)算加運(yùn)算。深度神經(jīng)網(wǎng)絡(luò)加速器（NPU）最重要的優(yōu)化手段之一是降低對內(nèi)存訪問的頻率，有利于降低集，并通過上層系統(tǒng)軟件驅(qū)動以上模塊協(xié)同交互，完成基于各種深度神經(jīng)網(wǎng)絡(luò)類型的推理計(jì)算任務(wù)，著加速效果。安謀科技“周易”NPU本身配合專有工具鏈和編譯器，能支持?jǐn)?shù)百個(gè)各類音視頻及其它數(shù)需求。不過多核設(shè)計(jì)中，系統(tǒng)軟件對于多核任務(wù)的調(diào)度優(yōu)化十分重要，需要合理將任務(wù)分配到不同計(jì)算核心并監(jiān)控其運(yùn)行狀態(tài)，隨著并行任務(wù)的增多，任務(wù)調(diào)度器本身也會成為性能瓶頸。安謀科技“周需要具備合規(guī)的功能安全流程外，更需在產(chǎn)品研發(fā)的生命周期下嚴(yán)格遵循功能安全流程，從而將系統(tǒng)性失效的風(fēng)險(xiǎn)控制在對應(yīng)汽車安全完整性等級（ASIL）要求的范圍內(nèi)。對于后者可用失效模式影響和針對隨機(jī)硬件失效的各種失效模式，需要有相應(yīng)的功能安全機(jī)制進(jìn)行應(yīng)對。包括用于保護(hù)內(nèi)部故障的Parity、針對復(fù)雜邏輯的硬件冗余和鎖步、以及探測門級隨機(jī)硬件失效所需運(yùn)行的軟件自測庫測和處理：?處理器設(shè)計(jì)了內(nèi)存保護(hù)單元，安全態(tài)標(biāo)記單元等進(jìn)行軟件訪問權(quán)限管理，保護(hù)軟件系統(tǒng)的正確運(yùn)行；常等錯(cuò)誤行為進(jìn)行相應(yīng)的處理和糾正；存儲數(shù)據(jù)讀寫錯(cuò)誤進(jìn)行檢測和糾正；雙核異步互鎖（參考）設(shè)計(jì)，通過兩個(gè)完全一致的處理器運(yùn)行同時(shí)運(yùn)行同樣的程序代碼，并對結(jié)合考慮：安全機(jī)制的有效性，從而有效避免潛在故障。在運(yùn)行階段，STL可以通過不同的激勵(lì)和測試向量支持軟件系統(tǒng)能力是由開發(fā)過程決定的，無法在項(xiàng)目完成后提升。雖然，STL提供的診斷能力只有駛芯片，智能座艙、域控制器、中央網(wǎng)關(guān)等不同的應(yīng)用場景，“山?！盨PU還支持功能安全為智能汽車從軟件定義汽車角度來看，信息安全應(yīng)該是各類軟件包括操作系統(tǒng)，系統(tǒng)軟件、應(yīng)用軟件等的重統(tǒng)的安全性才能得到保證。隨著強(qiáng)安全性要求的軟件越來越多，比如智能車鑰匙、FOTA、身份認(rèn)證，件平臺，基于硬件基礎(chǔ)平臺，與軟件、算法適配協(xié)同，才能充分挖掘算力，使芯片在實(shí)際應(yīng)用中發(fā)揮面對自動駕駛海量長尾場景的挑戰(zhàn)，大模型已經(jīng)表現(xiàn)出巨大的潛力，目前這一“BEV+同時(shí)，隨著算法的日益復(fù)雜，原先簡單的大規(guī)模并行計(jì)算架構(gòu)也難以為繼，智能計(jì)算與邏輯計(jì)算芯片設(shè)計(jì)、生產(chǎn)與場景落地往往是不同的廠商參與，芯片設(shè)計(jì)和生產(chǎn)由于其一次性投入非常大，特別是針對汽車的智能計(jì)算芯片而言，只有足夠的場景覆蓋才會有較大出貨量，所以車載芯片在其設(shè)計(jì)之初就會保留一定通用性。對于特定場景的軟件開發(fā)團(tuán)隊(duì)而言，一方面需要與芯片及基礎(chǔ)軟件開發(fā)團(tuán)隊(duì)通力合作，通過軟件優(yōu)化的方式充分發(fā)揮芯片及硬件的計(jì)算效能；另外一方面，通用芯片很難針的難點(diǎn)主要體現(xiàn)在如下幾個(gè)方面：比如早期CNN模型采用若干個(gè)卷積層作用于輸入圖像以生成低維特征，然后再將幾個(gè)全連接層流水線以及設(shè)定相應(yīng)的處理參數(shù)和調(diào)度策略，確保環(huán)境感知數(shù)據(jù)通過不同步驟（硬件加速單元）不會和軟件的接口，并明確了處理器單元能夠做什么以及如何完成，也是用戶能夠與硬件交互的唯一方式。礎(chǔ)上，定義完備且穩(wěn)定的指令集，在軟件和硬件迭代不同步的情況下，仍然可以通過微架構(gòu)和芯片制來支持開發(fā)者進(jìn)行自定義開發(fā)。指令集對開發(fā)者開放，開發(fā)者除了使用內(nèi)建優(yōu)化算子庫之外，更可實(shí)解硬件架構(gòu)并非易事，因此統(tǒng)一的編程模型至少帶來如下好處：編程學(xué)習(xí)曲線：對于應(yīng)用開發(fā)者而言，熟練使用同一套編程API和編程方式，有助于降低開發(fā)人員學(xué)習(xí)成本和團(tuán)隊(duì)溝通成本，提高日常開發(fā)工作效率，也有助于保持軟硬件平臺演化的一致性。比如SDK，可以屏蔽芯片實(shí)現(xiàn)細(xì)節(jié)和硬件差異，可以避免用戶代碼的改動甚至可以避免用戶代碼重新編譯。能為：將深度學(xué)習(xí)模型編譯成最小可部署的與硬件無關(guān)模塊；根據(jù)后端執(zhí)行加速器硬件特性，自動生硬件執(zhí)行體設(shè)計(jì)者，會根據(jù)計(jì)算特征，將計(jì)算瓶頸相關(guān)運(yùn)算固化成硬件指令，采用硬件加速單元會針對不同場景，使用不同的算法模型，完成相應(yīng)的計(jì)算任務(wù)，即便是同一類型的算法模型，也會根器可執(zhí)行機(jī)器語言，但是編譯器通常都是基于規(guī)則來完成機(jī)器語言的翻譯和優(yōu)化，在實(shí)際運(yùn)行中，由于輸入條件和場景不同，編譯器無法針對運(yùn)行時(shí)的場景進(jìn)行優(yōu)化，此時(shí)則需要軟件工程師對芯片硬件如圖十二藍(lán)色部分所示，“周易”NPU工具鏈可以把典型的AI訓(xùn)練框架生成的模型，轉(zhuǎn)化成“周降低自動駕駛算法落地的工程開發(fā)難度，另外一方面，隨著算法和模型的不斷演進(jìn)，對于未來出現(xiàn)的車載智能計(jì)算平臺在輔助駕駛或者自動駕駛場景中，對于環(huán)境數(shù)據(jù)感知有著非?？量痰难舆t要求，小，橋接諸如標(biāo)準(zhǔn)的“玲瓏”ISP和“周易”NPU模塊，極大降低數(shù)據(jù)延遲和功耗，提高數(shù)據(jù)處理吞吐率，NPUNPU的峰值算力。其中包含三方面的關(guān)鍵要素：第一是在設(shè)計(jì)、工程實(shí)現(xiàn)方面的極致優(yōu)化；第二是對最先進(jìn)算法的采納，結(jié)合整個(gè)算法大發(fā)展趨勢，預(yù)判最合適自動駕駛應(yīng)用場景的最佳算法；第三是軟硬件計(jì)算架構(gòu)的聯(lián)合優(yōu)化。通過將這三方面結(jié)合在一起，設(shè)計(jì)出端到端的計(jì)算最優(yōu)解。總體來看，設(shè)計(jì)理念就是既支持好算法，又使得它物理硬數(shù)據(jù)驅(qū)動的方法不僅僅用于算法本身，還應(yīng)用于編譯器，通過優(yōu)化提升編譯器的算法和性能，可以將算法轉(zhuǎn)換用場景的拓展和深入新問題、新挑戰(zhàn)需要新的算法，再加上編譯器以及整個(gè)硬件系統(tǒng)架構(gòu)持續(xù)往前演進(jìn)，通過實(shí)到中間的AI計(jì)算，以及數(shù)據(jù)后處理，都有對應(yīng)的硬件加速單元，并且充分保證了處理環(huán)節(jié)的銜接性，最終獲得了在硬件層面有三層并行化：在軟件層面也有三層并行化：吞吐量；更高的性能和運(yùn)行效率，支持算子數(shù)量達(dá)到100多個(gè)，遠(yuǎn)高于同類產(chǎn)品，不僅能夠支持經(jīng)典的網(wǎng)絡(luò)，還可以支持能的硬件加解密引擎，不僅支持經(jīng)典公鑰、哈希、對稱加密和隨機(jī)數(shù)生成算法，同時(shí)還支持符合國密標(biāo)準(zhǔn)的5V5R12U等常見的ADAS域控系統(tǒng)設(shè)計(jì)需求。動駕駛域控制器X-Box4.0是基于芯馳X9系列以及地平線征程5系列人工智能芯片打造的L2+級別域控制器標(biāo)準(zhǔn)品。智能座艙在汽車上占據(jù)越來越重要的地位。隨著車輛的硬件配置、性能逐漸趨同，智能座艙成為新的衡量一輛芯