特斯拉FSD自動(dòng)駕駛方案深度分析報(bào)告

證券研究報(bào)告

|行業(yè)深度汽車(chē)整車(chē)2023年11月7日特斯拉FSD自動(dòng)駕駛方案深度解析目

錄CONTENTS01020304概要特斯拉FSD架構(gòu)詳解FSD

V12展望投資建議1。01概要2。ABSTRACT概要FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動(dòng)駕駛軟硬件架構(gòu)Planning規(guī)劃感知數(shù)據(jù)—我該怎么走Occupancy——我周?chē)惺裁?？如何分布NeuralNetworks——為什么要這么走Lanes

&Objects——周?chē)奈矬w下一步去哪里TrainingData——這么走是正確的嗎Auto

Labeling——數(shù)據(jù)標(biāo)注Simulation——仿真模擬DataEngine——數(shù)據(jù)引擎TrainingInfra——拿什么運(yùn)算AICompiler

&Inference——如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)硬件平臺(tái)軟硬耦合資料：TESLA

2022

AIday，

youtube

，德邦研究所3。02特斯拉FSD架構(gòu)詳解4。FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動(dòng)駕駛軟硬件架構(gòu)

FSD架構(gòu)：在數(shù)據(jù)、算法、算力等各個(gè)層面打造了一套包含感知、規(guī)控、執(zhí)行在內(nèi)的全鏈路自動(dòng)駕駛軟硬件架構(gòu)

規(guī)劃（Planning）:本質(zhì)是解決多物體關(guān)聯(lián)路徑規(guī)劃問(wèn)題，處理自我和所有對(duì)象的行進(jìn)軌跡，指導(dǎo)汽車(chē)完成相應(yīng)的執(zhí)行動(dòng)作

神經(jīng)網(wǎng)絡(luò)（Neural

Networks）：通過(guò)分析視頻流等信息，輸出完整的運(yùn)動(dòng)學(xué)狀態(tài)（位置/速度/加速度/顛簸）控制車(chē)輛

訓(xùn)練數(shù)據(jù)（Training

Data）：通過(guò)最新的4D自動(dòng)標(biāo)注技術(shù)、升級(jí)模擬仿真及云端計(jì)算資源，形成數(shù)據(jù)閉環(huán)

訓(xùn)練基礎(chǔ)設(shè)施

（Training

Infra）：包括CPU、GPU、神經(jīng)網(wǎng)絡(luò)單元（Neural

Network

Accelerator）、AI編譯器等，其中AI編譯器能夠支持神經(jīng)網(wǎng)絡(luò)所需的新操作，將它們映射到最佳的底層硬件資源上

AI編譯與推理（AI

Compiler

&

Inference）：即如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)。當(dāng)前的推理引擎能夠?qū)蝹€(gè)神經(jīng)網(wǎng)絡(luò)的執(zhí)行分配到兩個(gè)獨(dú)立的芯片系統(tǒng)上執(zhí)行，可以理解為有兩立的計(jì)算機(jī)在同一臺(tái)自動(dòng)駕駛計(jì)算機(jī)內(nèi)相互連接圖表：特斯拉FSD架構(gòu)資料：TESLA

2022

AI

day，youtube，德邦研究所5。2.1自動(dòng)駕駛規(guī)劃（Planning）——我該怎么走？6。采用混合規(guī)劃系統(tǒng)，提供最優(yōu)規(guī)控解決方案圖表：十字路口三種不同方案的選擇×

方案二：在行人和右面來(lái)車(chē)之間通過(guò)√方案三：找到合適的間隙，在不干擾其他車(chē)輛的情況下通過(guò)×

方案一：搶在行人前面通過(guò)自動(dòng)駕駛規(guī)控的目標(biāo)：基于感知網(wǎng)絡(luò)輸出的結(jié)果，通過(guò)規(guī)劃汽車(chē)行為和行車(chē)路徑使得汽車(chē)達(dá)到指定目的地，同時(shí)盡可能確保行車(chē)安全性、效率性和舒適性資料：TESLA

2022

AIday，youtube，德邦研究所

特斯拉FSD解決方案：將傳統(tǒng)規(guī)劃控制與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，構(gòu)建一套【混合規(guī)劃系統(tǒng)】，依靠“互動(dòng)搜索（InteractionSearch）”的框架，以任務(wù)分解的方式對(duì)一堆可能的運(yùn)動(dòng)軌跡進(jìn)行并行研究圖表：FSD最終規(guī)劃路線(xiàn)選擇圖表：特斯拉視覺(jué)規(guī)控解決方案三維向量空間基于既定目標(biāo)進(jìn)行初步搜索凸優(yōu)化全局最優(yōu)解持續(xù)微調(diào)優(yōu)化資料：TESLA

2022

AIday，youtube，德邦研究所資料：TESLA

2021AI

day，youtube，德邦研究所7?；赩ector

Space的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解

具體解決路徑：從一組視覺(jué)測(cè)量開(kāi)始，包括車(chē)道、占用率、移動(dòng)物體等（這些都表現(xiàn)為稀疏的抽象和潛在特征），感知得到的Vector

Space，

通過(guò)Vector

Space規(guī)劃出后續(xù)潛在目標(biāo)狀態(tài)，進(jìn)一步考慮細(xì)分互動(dòng)，得到?jīng)Q策規(guī)劃的路徑?jīng)Q策樹(shù)生成

?最初用經(jīng)典的優(yōu)化方法來(lái)創(chuàng)建規(guī)劃路徑，隨著約束條件增加，每個(gè)動(dòng)作都需要1-5ms的時(shí)間圖表：FSD互動(dòng)搜索框架?最終建立了輕量級(jí)可查詢(xún)網(wǎng)絡(luò)。【Tesla車(chē)隊(duì)中人類(lèi)駕駛員駕駛數(shù)據(jù)】VS【寬松時(shí)間約束的離線(xiàn)條件下系統(tǒng)規(guī)劃的全局最優(yōu)路徑】，兩者不斷進(jìn)行對(duì)比訓(xùn)練。能夠在100us內(nèi)生成一個(gè)候選規(guī)劃路徑

決策樹(shù)剪枝/評(píng)分?采用混合規(guī)劃系統(tǒng)，將傳統(tǒng)方法與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合，通過(guò)四個(gè)方法進(jìn)行候選路徑評(píng)估完成剪枝資料：TESLA

2022

AIday，youtube，德邦研究所整理8?；赩ector

Space的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解

對(duì)于未知及不確定性（corner

case）的決策——通過(guò)Occupancy

Network對(duì)可視區(qū)域進(jìn)行建模用來(lái)處理未知不可見(jiàn)場(chǎng)景需要根據(jù)這些假想的參與者做相應(yīng)的保護(hù)性駕駛，將控制反應(yīng)與存在可能性函數(shù)相協(xié)調(diào)，得到非常類(lèi)似人的行為

至此，特斯拉FSD最終架構(gòu)浮出水面：?首先，通過(guò)視覺(jué)感知網(wǎng)絡(luò)生成三維向量空間，對(duì)于僅有唯一解的問(wèn)題，可直接生成明確的規(guī)控方案，而對(duì)于有多個(gè)可選方案的復(fù)雜問(wèn)題，使用向量空間和感知網(wǎng)絡(luò)提取的中間層特征，訓(xùn)練神經(jīng)網(wǎng)絡(luò)規(guī)劃器，得到軌跡分布其次，融入成本函數(shù)、人工干預(yù)數(shù)據(jù)或其他仿真模擬數(shù)據(jù)，獲得最優(yōu)的規(guī)控方案最終生成轉(zhuǎn)向、加速等控制指令，由執(zhí)行模塊接受控制指令實(shí)現(xiàn)自動(dòng)駕駛???圖表：通過(guò)Occupancy

Network對(duì)可視區(qū)域進(jìn)行建模用來(lái)處理未知不可見(jiàn)場(chǎng)景圖表：特斯拉FSD感知-規(guī)劃-控制整體架構(gòu)資料：TESLA

2022AI

day，youtube，德邦研究所整理資料：TESLA

2021

AI

day，youtube，德邦研究所9。2.2神經(jīng)網(wǎng)絡(luò)（Neural

Networks）——為什么要這么走？10。算法經(jīng)歷多次迭代，BEV+Transformer+Occupancy為當(dāng)前架構(gòu)圖表：特斯拉FSD算法迭代歷程資料：汽車(chē)之心微信公眾號(hào)，德邦研究所。112.2.1占用網(wǎng)絡(luò)（OccupancyNetwork）——我周?chē)惺裁矗咳绾畏植?2。升級(jí)至Occupancy能夠有效優(yōu)化障礙物識(shí)別問(wèn)題圖表：Occupancy有效解決了一般障礙物識(shí)別問(wèn)題資料：THINKAUTONOMOUS官網(wǎng)，德邦研究所13。HydraNets（九頭蛇網(wǎng)絡(luò)）為視覺(jué)感知網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)圖表：特斯拉HydraNets（九頭蛇網(wǎng)絡(luò)）架構(gòu)示意圖網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)—九頭蛇網(wǎng)絡(luò)（HydraNets）由主干（Backbone）、頸部(Neck)）

與多個(gè)分支頭部(Head）共同組成。主干層將原始視頻數(shù)據(jù)通過(guò)殘差神經(jīng)網(wǎng)絡(luò)(RegNet)及多尺度特征融合結(jié)構(gòu)(BiFPN)完成端到端訓(xùn)練，提取出頸部層的多尺度視覺(jué)特征空間

(multi-scalefeatures

），最后在頭部層根據(jù)不同任務(wù)類(lèi)型完成子網(wǎng)絡(luò)訓(xùn)練并輸出感知結(jié)果

進(jìn)行多任務(wù)訓(xùn)練并輸出感知結(jié)果HeadHeadHead???優(yōu)勢(shì)一：特征共享(Feature

Sharing)。使用同一主干網(wǎng)絡(luò)提取特征并共享給頭部使用，可以在測(cè)試階段分?jǐn)傇谲?chē)上運(yùn)行的前向判斷，避免不同任務(wù)之間重復(fù)計(jì)算現(xiàn)象，提升網(wǎng)絡(luò)運(yùn)行效率優(yōu)勢(shì)二：任務(wù)解耦（De-Couples

Tasks）。不同類(lèi)型子任務(wù)之間可以進(jìn)行解耦，這樣可以單獨(dú)處理每一項(xiàng)任務(wù)，對(duì)單項(xiàng)任務(wù)的升級(jí)不必驗(yàn)證其他任務(wù)是否正常，升級(jí)成本更低在BEV空間內(nèi)進(jìn)行特征層融合，并融入時(shí)序信息Neckcache輸入原始數(shù)據(jù)，通過(guò)backbone進(jìn)行特征提取Backbone優(yōu)勢(shì)三：特征緩存（Representation

Bottleneck）。因?yàn)檫@里存在頸部，可以將特征緩存到硬盤(pán)，具有較強(qiáng)的擴(kuò)展性資料：TESLA

2021

AI

day，youtube，德邦研究所整理14。通過(guò)端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出

Step

1

圖像輸入（Image

Input）：校準(zhǔn)每個(gè)相機(jī)的圖片，將原始12位RGB圖像（而非典型的8位）輸送給網(wǎng)絡(luò)。多了4位信息能夠使得動(dòng)態(tài)范圍提升16倍，同時(shí)減少延遲（無(wú)需在循環(huán)中運(yùn)行圖像信號(hào)處理ISP）Step

2

圖像校準(zhǔn)（Rectify）：通過(guò)不同的汽車(chē)采集到的數(shù)據(jù)共同構(gòu)建一個(gè)通用感知網(wǎng)絡(luò)架構(gòu)，不同汽車(chē)由于攝像頭安裝外參的差異，可能導(dǎo)致采集的數(shù)據(jù)存在微小偏差，為此特斯拉在感知框架中加入了一層“虛擬標(biāo)準(zhǔn)相機(jī)(virtual

camera)”，引入攝像頭標(biāo)定外參將每輛車(chē)采集到的圖像數(shù)據(jù)通過(guò)去畸變、旋轉(zhuǎn)等方式處理后，統(tǒng)一映射到同一套虛擬標(biāo)準(zhǔn)攝像頭坐標(biāo)中，從而實(shí)現(xiàn)各攝像頭原始數(shù)據(jù)校準(zhǔn)，消除外參誤差，確保數(shù)據(jù)一致性，將校準(zhǔn)后的數(shù)據(jù)傳輸給主干神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練

Step

3

特征提?。↖mage

Featurizers）：用一組RegNet（特定殘差網(wǎng)絡(luò)，specific

class

of

resnets）和BiFPN（加權(quán)雙向特征金字塔網(wǎng)絡(luò)）作為提取圖像空間特征的主干圖表：加入virtualcamera校準(zhǔn)圖像數(shù)據(jù)偏差資料：TESLA

2021AI

day，youtube，德邦研究所15。通過(guò)端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出

Step

4

構(gòu)造空間位置（Spacial

Attention）：將攝像頭采集到的數(shù)據(jù)通過(guò)【BEV空間轉(zhuǎn)換層】構(gòu)造一組3D位置，同時(shí)將圖像信息作為鍵(key)值(value)，輸入給一個(gè)注意力模型（核心模塊是【Transformer神經(jīng)網(wǎng)絡(luò)】）。注意力模型的輸出是高維空間特征，這些高維空間特征與車(chē)輛上的里程數(shù)據(jù)進(jìn)行暫時(shí)協(xié)調(diào)，來(lái)推導(dǎo)出運(yùn)動(dòng)。該方案厲害之處在于可以將地面坡度、曲率等幾何形狀的變化情況內(nèi)化進(jìn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)中

Step

5

時(shí)間對(duì)齊（Temporal

Alignment）：上述高維空間暫時(shí)特征經(jīng)過(guò)一組反卷積，產(chǎn)生最終的占用率和占用率流輸出。它們生成的是固定尺寸塊的網(wǎng)格，為了提高精度，模型還生成了per

volex

feature

MAP輸入到MLP中，借助3D空間點(diǎn)查詢(xún)（query）來(lái)獲取任意點(diǎn)的位置和語(yǔ)義信息圖表：通過(guò)輸入視頻片段為自動(dòng)駕駛增添短時(shí)記憶能力圖表：BEV+Transformer實(shí)現(xiàn)二維圖像空間向三維向量空間的轉(zhuǎn)變資料：TESLA

2021AI

day，youtube，德邦研究所資料：TESLA

2021AI

day，youtube，德邦研究所16。2.2.2車(chē)道線(xiàn)及障礙物感知(Lanes&Objects)——周?chē)奈矬w下一步去往哪里？17?；?DOccupancy迭代車(chē)道線(xiàn)及障礙物感知模型

早期，將車(chē)道檢測(cè)問(wèn)題建模為一個(gè)圖像空間內(nèi)實(shí)時(shí)分割的任務(wù)，只能從幾種不同的幾何形狀中辨別車(chē)道。具體而言，可以分別出當(dāng)前車(chē)道、相鄰車(chē)道，能特別處理一些交叉和合并的情況，然后用粗略的地圖數(shù)據(jù)對(duì)其進(jìn)行增強(qiáng)。這種簡(jiǎn)化模型對(duì)高速這種高度結(jié)構(gòu)化的路是有效的當(dāng)前，引入Map

Component，使用了低精度地圖中關(guān)于車(chē)道線(xiàn)幾何/拓?fù)潢P(guān)系的信息（車(chē)道線(xiàn)數(shù)量/寬度、特殊車(chē)道屬性等），并將這些信息整合起來(lái)進(jìn)行編碼，與視覺(jué)感知到的特征信息一起生成車(chē)道線(xiàn)（Dense

WorldTensor）給到后續(xù)Vector

Lane模塊圖表：車(chē)道線(xiàn)及障礙物感知模型基于2D

BEV基于3D

Occupancy，是具有高低起伏變化的車(chē)道線(xiàn)感知資料：TESLA

2022AI

day，youtube，德邦研究所18。問(wèn)題一：如何預(yù)測(cè)車(chē)道？圖表：特斯拉車(chē)道預(yù)測(cè)方案先對(duì)現(xiàn)實(shí)世界做粗略處理，做一個(gè)可能的位然后不斷重復(fù)該過(guò)程，直到枚舉了車(chē)道中所有的點(diǎn)√置熱點(diǎn)圖，鎖定在可能性最大的位置上。以此為條件對(duì)預(yù)測(cè)進(jìn)行改進(jìn)，獲得準(zhǔn)確的點(diǎn)車(chē)道圖—也即希望從網(wǎng)絡(luò)上獲得最終結(jié)果從某一點(diǎn)（綠點(diǎn)）開(kāi)始進(jìn)行預(yù)測(cè)描繪最有可能的位置×該位置被編碼到一個(gè)離散化的3D粗略網(wǎng)絡(luò)中,但并不直接在3D網(wǎng)格中做預(yù)測(cè)描繪（計(jì)算成本較高）資料：TESLA

2022AI

day，youtube，德邦研究所19。問(wèn)題二：如何預(yù)測(cè)道路上其他對(duì)象的未來(lái)行為圖表：障礙物感知是一個(gè)兩階段的感知

預(yù)測(cè)所有物體的屬性，在實(shí)時(shí)系統(tǒng)上造成了一些具體實(shí)施問(wèn)題。需要讓對(duì)象堆棧部分實(shí)現(xiàn)幀率最大化，自動(dòng)駕駛才能對(duì)變化的環(huán)境做出快速反應(yīng)。為了盡量減少延遲，神經(jīng)網(wǎng)絡(luò)被分為兩個(gè)階段：??第一階段，確定對(duì)象在3D空間中的位置第二階段，在這些3D位置取得張量，附加車(chē)輛上的額外數(shù)據(jù)和一些其他處理

這個(gè)規(guī)范步驟使得神經(jīng)網(wǎng)絡(luò)專(zhuān)注于計(jì)算最關(guān)鍵的區(qū)域，能夠付出很小的延遲成本獲得優(yōu)異性能資料：TESLA

2022AI

day，youtube，德邦研究所20。2.3訓(xùn)練數(shù)據(jù)（TrainingData）——為什么這么走是正確的？21。2.3.1自動(dòng)數(shù)據(jù)標(biāo)注（AutoLabeling）22。由2D手工標(biāo)注逐步升級(jí)為4D自動(dòng)標(biāo)注，數(shù)據(jù)閉環(huán)趨于完善外包第三方進(jìn)行數(shù)據(jù)標(biāo)注組建超1000人團(tuán)隊(duì)進(jìn)行手工標(biāo)注自動(dòng)標(biāo)注圖表：特斯拉數(shù)據(jù)標(biāo)注由2D手工標(biāo)注逐步升級(jí)為4D自動(dòng)標(biāo)注基于2D圖像進(jìn)行標(biāo)注在BEV空間下進(jìn)行4D自動(dòng)標(biāo)注資料：TESLA

2021

AI

day，youtube，德邦研究所

含義：在三維或四維空間中，為不同的時(shí)間點(diǎn)和空間位置賦予獨(dú)特的標(biāo)簽或標(biāo)識(shí)符做法：直接在向量空間中進(jìn)行標(biāo)注，將其投影到相機(jī)圖像中優(yōu)點(diǎn)：能夠支持大量數(shù)據(jù)標(biāo)注；由于只需要在空間中標(biāo)注一次，然后自動(dòng)投影，標(biāo)注效率大幅提升

做法：在2D圖像上標(biāo)注出各種物體，具體表現(xiàn)為在單個(gè)物體上繪制出一些多邊形和折線(xiàn)，用以描繪出邊界框（BoundingBoxes）缺點(diǎn)：數(shù)據(jù)量很大的情況下，工作量極大，標(biāo)注效率低

23。為什么要采用4D自動(dòng)標(biāo)注？——大幅提升標(biāo)注效率圖表：特斯拉數(shù)據(jù)標(biāo)注發(fā)展歷程先場(chǎng)景重建，再4D建圖基于BEV感知，采用衛(wèi)星使用3D特征進(jìn)行多趟采集軌跡的聚合重建全人工標(biāo)注標(biāo)注地圖標(biāo)注

可以取代500萬(wàn)小時(shí)的人工操作標(biāo)記，只需在集群中運(yùn)行12小時(shí)，就可以完成10000次行駛軌跡的標(biāo)記資料：TESLA

2022AI

day，youtube，德邦研究所24。如何進(jìn)行4D自動(dòng)標(biāo)注？—采集Clips通過(guò)機(jī)器算法生成Labels圖表：4D自動(dòng)標(biāo)注過(guò)程

自動(dòng)標(biāo)注步驟：?通過(guò)汽車(chē)在一段時(shí)間內(nèi)采集到的視頻、IMU、GPS、

里程表等數(shù)據(jù)構(gòu)成最小標(biāo)注單元

（Clip，約45-60秒）將最小標(biāo)注單元上傳至服務(wù)器，由離線(xiàn)神經(jīng)網(wǎng)絡(luò)系統(tǒng)訓(xùn)練得到中間層結(jié)果，如分割、深度等??通過(guò)大量機(jī)器算法生成最終用以訓(xùn)練的標(biāo)簽集（Labels）資料：TESLA

2021AI

day，youtube，德邦研究所25。4D自動(dòng)標(biāo)注的幾個(gè)關(guān)鍵步驟圖表：4D自動(dòng)標(biāo)注的3個(gè)關(guān)鍵步驟資料：TESLA

2022

AI

day，youtube，德邦研究所26。2.3.2仿真模擬（Simulation）27。為什么要做仿真模擬？—泛化Corner

Case，賦能模型迭代

仿真模擬可以提供現(xiàn)實(shí)世界中難以獲得或是難以標(biāo)記的數(shù)據(jù)，從而加速FSD能力的訓(xùn)練，賦能模型迭代圖表：仿真模擬示意圖基于數(shù)據(jù)標(biāo)記，疊加一些全新工具，可以在5Min內(nèi)生成這類(lèi)場(chǎng)景資料：TESLA

2022

AI

day，youtube，德邦研究所28。如何進(jìn)行仿真模擬？——五大步驟圖表：實(shí)現(xiàn)仿真模擬的五大步驟

Step

1準(zhǔn)確的傳感器仿真（Accurate

Sensor

Simulation）:由于FSD的感知系統(tǒng)是基于純攝像頭，因此需要對(duì)攝像頭的各種屬性進(jìn)行軟硬件建模，如傳感器噪聲、曝光時(shí)間、光圈大小、運(yùn)動(dòng)模糊、光學(xué)畸變等Step

2逼真的視覺(jué)渲染（Photorealistic

Rendering）：為了更真實(shí)的模擬現(xiàn)實(shí)世界場(chǎng)景，需要仿真渲染盡可能做到逼真。特斯拉利用神經(jīng)網(wǎng)絡(luò)視覺(jué)技術(shù)提升視覺(jué)渲染效果，同時(shí)用光線(xiàn)追蹤的方法模擬逼真的光照效果Step

3多元化的交通參與者與地理位置（Diverse

Actors

&Locations）：為了避免仿真環(huán)境過(guò)于單一，導(dǎo)致感知系統(tǒng)過(guò)擬合的問(wèn)題，特斯拉對(duì)仿真環(huán)境參與物進(jìn)行了充分建模，包括多元化的交通參與者和靜態(tài)物體資料：TESLA

2021

AI

day，youtube，德邦研究所圖表：實(shí)現(xiàn)仿真模擬的五大步驟資料：TESLA

2021

AI

day，youtube，德邦研究所29。如何進(jìn)行仿真模擬？——五大步驟

Step4大規(guī)模場(chǎng)景生成（Scalable

Sensor

Generation）：由計(jì)算機(jī)通過(guò)調(diào)整參數(shù)生成不同的場(chǎng)景形態(tài)。同時(shí)由于大量的仿真場(chǎng)景可能是的無(wú)用的，為了避免浪費(fèi)計(jì)算資源，引入MLB等神經(jīng)網(wǎng)絡(luò)尋找故障點(diǎn)，重點(diǎn)圍繞故障點(diǎn)進(jìn)行仿真數(shù)據(jù)創(chuàng)建，反哺實(shí)際規(guī)劃網(wǎng)絡(luò)，形成閉環(huán)

Step5場(chǎng)景重現(xiàn)（Sensor

Recontruction）:在完成真實(shí)世界片段的自動(dòng)標(biāo)注重建后，疊加視覺(jué)圖像信息，生成與真實(shí)世界“孿生”的虛擬世界，復(fù)現(xiàn)真實(shí)世界中FSD失敗的場(chǎng)景，實(shí)現(xiàn)在仿真環(huán)境下的優(yōu)化迭代后再反哺汽車(chē)算法模型，實(shí)現(xiàn)“數(shù)據(jù)閉環(huán)”圖表：實(shí)現(xiàn)仿真模擬的五大步驟資料：TESLA

2021

AI

day，youtube，德邦研究所30。2.3.3數(shù)據(jù)引擎（DataEngine）31。自成閉環(huán)的數(shù)據(jù)引擎能夠更好地優(yōu)化神經(jīng)網(wǎng)絡(luò)圖表：特斯拉數(shù)據(jù)引擎示意圖最終通過(guò)影子模式部署回車(chē)端進(jìn)行新的測(cè)試比較不同版本指標(biāo)，直到最后經(jīng)過(guò)驗(yàn)證的新模型部署車(chē)端利用這些有效數(shù)據(jù)訓(xùn)練車(chē)端在線(xiàn)模型和云端離線(xiàn)模型由標(biāo)配自動(dòng)駕駛硬件的車(chē)隊(duì)數(shù)據(jù)采集通過(guò)各種規(guī)則及影子模式下人腦與AI差異，篩選有語(yǔ)義信息的數(shù)據(jù)回傳云端云端通過(guò)工具對(duì)錯(cuò)誤的AI輸出進(jìn)行糾正，放入數(shù)據(jù)集群資料：TESLA

2022

AI

day，youtube，德邦研究所32。自成閉環(huán)的數(shù)據(jù)引擎能夠更好地優(yōu)化神經(jīng)網(wǎng)絡(luò)圖表：數(shù)據(jù)引擎優(yōu)化神經(jīng)網(wǎng)絡(luò)的案例資料：TESLA

2022

AI

day，youtube，德邦研究所33。2.4訓(xùn)練基礎(chǔ)設(shè)施（Training

Infra）——用什么進(jìn)行訓(xùn)練34。Dojo何以為道？——化繁為簡(jiǎn)，以少為多的集群架構(gòu)圖表：Dojo算力迭代情況

?架構(gòu)方式：近乎對(duì)稱(chēng)的分布式計(jì)算架構(gòu)優(yōu)勢(shì)：D1芯片擴(kuò)展性好；算力的編程靈活性高拓展性高：通用CPU芯片?加速迭代：2d

Mesh連接，大幅提升集群性能的線(xiàn)性度輕裝上陣：削減對(duì)計(jì)算非必須功能，簡(jiǎn)化結(jié)構(gòu)，減少功耗和面積使用，極大程度釋放性能?圖表：D1芯片資料：Tesla公告，德邦研究所圖表：Dojo架構(gòu)資料：Tesla

2021

AI

day，youtube，德邦研究所資料：Tesla

2021

AI

day，youtube，德邦研究所35。Dojo助力加速自動(dòng)標(biāo)注、Occupancy

Networks圖表：DojoCompiler

性能對(duì)比：?在4D自動(dòng)標(biāo)注任務(wù)和使用OccupancyNetworks完成環(huán)境感知任務(wù)時(shí)，相比英偉達(dá)A100，Dojo能實(shí)現(xiàn)性能的倍增資料：Tesla

2021

AIday，youtube，德邦研究所36。不止于此，Dojo的更大野心

不斷擴(kuò)大的集群規(guī)模、Dojo超算中心的投產(chǎn)，意味著特斯拉有望再次加速FSD的迭代速度；在擁有如此大規(guī)模的算力后，特斯拉擁有的海量數(shù)據(jù)有望釋放出巨大價(jià)值圖表：Dojo不但將釋放擺脫英偉達(dá)之后的潛力，還有望帶來(lái)人形機(jī)器人Optimus

的不斷突破資料：TESLA：《Dojo:The

Microarchitecture

ofTesla’s

Exa-Scale

Computer》

，德邦研究所37。2.5AI編譯與推理（AI

compiler&inference）——如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)38。對(duì)端到端延遲進(jìn)行嚴(yán)格控制+部署更先進(jìn)的調(diào)度代碼圖表：AI編譯與推理原理

所有的模型、架構(gòu)運(yùn)算加起來(lái)大約有10億個(gè)參數(shù)，產(chǎn)生了大約1000個(gè)神經(jīng)網(wǎng)絡(luò)信號(hào)。因此，需要確保共同優(yōu)化它們，才能最大限度優(yōu)化吞吐量，并盡量減少延遲編譯：建立了一個(gè)專(zhuān)門(mén)針對(duì)神經(jīng)網(wǎng)絡(luò)的編譯器(CombileToolchain)，與傳統(tǒng)編譯器共享架構(gòu)

運(yùn)行：設(shè)計(jì)了混合調(diào)度系統(tǒng)（Hybrid

Parallelism），基本上可以在單SOC上執(zhí)行異構(gòu)調(diào)度，在兩個(gè)SOC上進(jìn)行分布式調(diào)度，以模型并行的方式運(yùn)行這些網(wǎng)絡(luò)資料：TESLA

2022

AI

day，youtube，德邦研究所39。目標(biāo)：將所有操作在計(jì)算機(jī)上運(yùn)行圖表：如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)Goals：compile

alloperations

to

nativelyrun

on

TRIP

engine

目標(biāo)：快速運(yùn)行密集點(diǎn)積（DenseDotProduct）難點(diǎn)：但是Lanes

Network架構(gòu)是自回歸和迭代的，它在內(nèi)循環(huán)中緊縮多個(gè)注意力塊，在每一步都直接產(chǎn)生稀疏點(diǎn)（sparse

point），那么最大的挑戰(zhàn)是如何在密集點(diǎn)積引擎上做稀疏點(diǎn)預(yù)測(cè)資料：TESLA

2022

AI

day，youtube，德邦研究所40。如何做？——將得到的One-Hot編碼通過(guò)矩陣乘法運(yùn)算實(shí)現(xiàn)在網(wǎng)絡(luò)預(yù)測(cè)出最有可能的空間位置熱圖后，通過(guò)算法得到空間位置索引的One-Hot編碼選擇與這個(gè)索引相關(guān)的嵌入。為了在芯片上實(shí)現(xiàn)它，在SRAM中建立了一個(gè)查詢(xún)表，并且設(shè)計(jì)了這個(gè)嵌入的尺寸，以便可以用矩陣乘法實(shí)現(xiàn)所有將這個(gè)嵌入存儲(chǔ)到一個(gè)標(biāo)記緩存中，這樣就可以無(wú)需在每次迭代時(shí)都重新計(jì)算，而是能夠在未來(lái)的預(yù)測(cè)中重新使用圖表：AI編譯與推理步驟資料：TESLA

2022

AI

day，youtube，德邦研究所41。效果如何？—運(yùn)行7500萬(wàn)個(gè)參數(shù)的模型延遲不到10ms，消耗功率8W圖表：運(yùn)行7500萬(wàn)參數(shù)的模型只有不到10ms延遲，消耗8W功率7500萬(wàn)參數(shù)9.6ms延遲消耗8W功率資料：TESLA

2022

AI

day，youtube，德邦研究所42。03FSDV12展望43。FSD

V12或?qū)⑼耆D(zhuǎn)向端到端自動(dòng)駕駛技術(shù)方案

23年8月26日，特斯拉CEO馬斯克開(kāi)啟了一場(chǎng)路測(cè)特斯拉FSD

V12的直播。直播全程45分鐘，馬斯克只有一次駕駛干預(yù)，這發(fā)生在一個(gè)繁忙的十字路口，馬斯克所駕駛的特斯拉試圖闖紅燈，他立即控制了車(chē)輛。直播中儀表盤(pán)中的實(shí)時(shí)道路場(chǎng)景可以看出，V12保留了當(dāng)前FSD輸出的感知結(jié)果

以UniAD為例，利用多組query實(shí)現(xiàn)了全棧

Transformer

的端到端模型。圖中UniAD

由2個(gè)感知模塊，2個(gè)預(yù)測(cè)模塊以及一個(gè)規(guī)劃模塊組成。其中感知和預(yù)測(cè)模塊是通過(guò)Transformer架構(gòu)進(jìn)行預(yù)測(cè)，每個(gè)模塊輸出的特征會(huì)傳遞到之后的模塊來(lái)輔助下游任務(wù)，這樣的模型結(jié)構(gòu)實(shí)現(xiàn)了端到端可導(dǎo)，顯著提升了模型的可解釋性圖表：自動(dòng)駕駛大模型UniADPipeline資料：《Planning-oriented

Autonomous

Driving》（Yihan

Hu,JiazhiYang等），德邦研究所44。端到端方案中神經(jīng)網(wǎng)絡(luò)是關(guān)鍵，有望實(shí)現(xiàn)全局最優(yōu)解圖表：多模塊化方案VS端到端方案

原理：與模塊化方案相比，端到端自動(dòng)駕駛方案將感知、規(guī)劃、控制各環(huán)節(jié)一體化，去除了各模塊基于規(guī)則的代碼，將傳感器收集到的信息直接輸入神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)處理后能夠直接輸出自動(dòng)駕駛指令，使得整個(gè)系統(tǒng)端到端可導(dǎo)模塊化方案

優(yōu)點(diǎn)：能夠降低對(duì)激光模型上限高，可以得到近似全局最優(yōu)解缺點(diǎn)：模型能力起步較慢，解釋簡(jiǎn)單場(chǎng)景不如模塊化架構(gòu)，模型下限低；中間“黑盒”解釋性差、高精地圖、人工的依賴(lài)，減少中間環(huán)節(jié)的成本；圖表：

模塊化與端到端的性能增長(zhǎng)曲線(xiàn)VS端到端方案資料：《Recent

Advancements

in

End-to-End

AutonomousDriving

using

Deep

Learning:

ASurvey》（PranavSinghChib

,Pravendra

Singh），德邦研究所資料：賽博汽車(chē)微信公眾號(hào)，德邦研究所。45感知端率先落地，BEV本質(zhì)上是一種端到端感知解決方案圖表：Transformer

4DEncoder

Structure

傳統(tǒng)感知模型：2D