特斯拉FSD自動駕駛方案深度分析報告

證券研究報告

|行業(yè)深度汽車整車2023年11月7日特斯拉FSD自動駕駛方案深度解析目

錄CONTENTS01020304概要特斯拉FSD架構詳解FSD

V12展望投資建議1。01概要2。ABSTRACT概要FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動駕駛軟硬件架構Planning規(guī)劃感知數據—我該怎么走Occupancy——我周圍有什么？如何分布NeuralNetworks——為什么要這么走Lanes

&Objects——周圍的物體下一步去哪里TrainingData——這么走是正確的嗎Auto

Labeling——數據標注Simulation——仿真模擬DataEngine——數據引擎TrainingInfra——拿什么運算AICompiler

&Inference——如何在計算機上運行神經網絡硬件平臺軟硬耦合資料：TESLA

2022

AIday，

youtube

，德邦研究所3。02特斯拉FSD架構詳解4。FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動駕駛軟硬件架構

FSD架構：在數據、算法、算力等各個層面打造了一套包含感知、規(guī)控、執(zhí)行在內的全鏈路自動駕駛軟硬件架構

規(guī)劃（Planning）:本質是解決多物體關聯路徑規(guī)劃問題，處理自我和所有對象的行進軌跡，指導汽車完成相應的執(zhí)行動作

神經網絡（Neural

Networks）：通過分析視頻流等信息，輸出完整的運動學狀態(tài)（位置/速度/加速度/顛簸）控制車輛

訓練數據（Training

Data）：通過最新的4D自動標注技術、升級模擬仿真及云端計算資源，形成數據閉環(huán)

訓練基礎設施

（Training

Infra）：包括CPU、GPU、神經網絡單元（Neural

Network

Accelerator）、AI編譯器等，其中AI編譯器能夠支持神經網絡所需的新操作，將它們映射到最佳的底層硬件資源上

AI編譯與推理（AI

Compiler

&

Inference）：即如何在計算機上運行神經網絡。當前的推理引擎能夠將單個神經網絡的執(zhí)行分配到兩個獨立的芯片系統(tǒng)上執(zhí)行，可以理解為有兩立的計算機在同一臺自動駕駛計算機內相互連接圖表：特斯拉FSD架構資料：TESLA

2022

AI

day，youtube，德邦研究所5。2.1自動駕駛規(guī)劃（Planning）——我該怎么走？6。采用混合規(guī)劃系統(tǒng)，提供最優(yōu)規(guī)控解決方案圖表：十字路口三種不同方案的選擇×

方案二：在行人和右面來車之間通過√方案三：找到合適的間隙，在不干擾其他車輛的情況下通過×

方案一：搶在行人前面通過自動駕駛規(guī)控的目標：基于感知網絡輸出的結果，通過規(guī)劃汽車行為和行車路徑使得汽車達到指定目的地，同時盡可能確保行車安全性、效率性和舒適性資料：TESLA

2022

AIday，youtube，德邦研究所

特斯拉FSD解決方案：將傳統(tǒng)規(guī)劃控制與神經網絡算法相結合，構建一套【混合規(guī)劃系統(tǒng)】，依靠“互動搜索（InteractionSearch）”的框架，以任務分解的方式對一堆可能的運動軌跡進行并行研究圖表：FSD最終規(guī)劃路線選擇圖表：特斯拉視覺規(guī)控解決方案三維向量空間基于既定目標進行初步搜索凸優(yōu)化全局最優(yōu)解持續(xù)微調優(yōu)化資料：TESLA

2022

AIday，youtube，德邦研究所資料：TESLA

2021AI

day，youtube，德邦研究所7。基于Vector

Space的FSD路徑規(guī)劃，能夠快速產生最優(yōu)解

具體解決路徑：從一組視覺測量開始，包括車道、占用率、移動物體等（這些都表現為稀疏的抽象和潛在特征），感知得到的Vector

Space，

通過Vector

Space規(guī)劃出后續(xù)潛在目標狀態(tài)，進一步考慮細分互動，得到決策規(guī)劃的路徑決策樹生成

?最初用經典的優(yōu)化方法來創(chuàng)建規(guī)劃路徑，隨著約束條件增加，每個動作都需要1-5ms的時間圖表：FSD互動搜索框架?最終建立了輕量級可查詢網絡?！綯esla車隊中人類駕駛員駕駛數據】VS【寬松時間約束的離線條件下系統(tǒng)規(guī)劃的全局最優(yōu)路徑】，兩者不斷進行對比訓練。能夠在100us內生成一個候選規(guī)劃路徑

決策樹剪枝/評分?采用混合規(guī)劃系統(tǒng)，將傳統(tǒng)方法與數據驅動相結合，通過四個方法進行候選路徑評估完成剪枝資料：TESLA

2022

AIday，youtube，德邦研究所整理8。基于Vector

Space的FSD路徑規(guī)劃，能夠快速產生最優(yōu)解

對于未知及不確定性（corner

case）的決策——通過Occupancy

Network對可視區(qū)域進行建模用來處理未知不可見場景需要根據這些假想的參與者做相應的保護性駕駛，將控制反應與存在可能性函數相協調，得到非常類似人的行為

至此，特斯拉FSD最終架構浮出水面：?首先，通過視覺感知網絡生成三維向量空間，對于僅有唯一解的問題，可直接生成明確的規(guī)控方案，而對于有多個可選方案的復雜問題，使用向量空間和感知網絡提取的中間層特征，訓練神經網絡規(guī)劃器，得到軌跡分布其次，融入成本函數、人工干預數據或其他仿真模擬數據，獲得最優(yōu)的規(guī)控方案最終生成轉向、加速等控制指令，由執(zhí)行模塊接受控制指令實現自動駕駛???圖表：通過Occupancy

Network對可視區(qū)域進行建模用來處理未知不可見場景圖表：特斯拉FSD感知-規(guī)劃-控制整體架構資料：TESLA

2022AI

day，youtube，德邦研究所整理資料：TESLA

2021

AI

day，youtube，德邦研究所9。2.2神經網絡（Neural

Networks）——為什么要這么走？10。算法經歷多次迭代，BEV+Transformer+Occupancy為當前架構圖表：特斯拉FSD算法迭代歷程資料：汽車之心微信公眾號，德邦研究所。112.2.1占用網絡（OccupancyNetwork）——我周圍有什么？如何分布12。升級至Occupancy能夠有效優(yōu)化障礙物識別問題圖表：Occupancy有效解決了一般障礙物識別問題資料：THINKAUTONOMOUS官網，德邦研究所13。HydraNets（九頭蛇網絡）為視覺感知網絡的基礎結構圖表：特斯拉HydraNets（九頭蛇網絡）架構示意圖網絡基礎結構—九頭蛇網絡（HydraNets）由主干（Backbone）、頸部(Neck)）

與多個分支頭部(Head）共同組成。主干層將原始視頻數據通過殘差神經網絡(RegNet)及多尺度特征融合結構(BiFPN)完成端到端訓練，提取出頸部層的多尺度視覺特征空間

(multi-scalefeatures

），最后在頭部層根據不同任務類型完成子網絡訓練并輸出感知結果

進行多任務訓練并輸出感知結果HeadHeadHead???優(yōu)勢一：特征共享(Feature

Sharing)。使用同一主干網絡提取特征并共享給頭部使用，可以在測試階段分攤在車上運行的前向判斷，避免不同任務之間重復計算現象，提升網絡運行效率優(yōu)勢二：任務解耦（De-Couples

Tasks）。不同類型子任務之間可以進行解耦，這樣可以單獨處理每一項任務，對單項任務的升級不必驗證其他任務是否正常，升級成本更低在BEV空間內進行特征層融合，并融入時序信息Neckcache輸入原始數據，通過backbone進行特征提取Backbone優(yōu)勢三：特征緩存（Representation

Bottleneck）。因為這里存在頸部，可以將特征緩存到硬盤，具有較強的擴展性資料：TESLA

2021

AI

day，youtube，德邦研究所整理14。通過端到端的感知訓練模型，從數據輸入到空間向量輸出

Step

1

圖像輸入（Image

Input）：校準每個相機的圖片，將原始12位RGB圖像（而非典型的8位）輸送給網絡。多了4位信息能夠使得動態(tài)范圍提升16倍，同時減少延遲（無需在循環(huán)中運行圖像信號處理ISP）Step

2

圖像校準（Rectify）：通過不同的汽車采集到的數據共同構建一個通用感知網絡架構，不同汽車由于攝像頭安裝外參的差異，可能導致采集的數據存在微小偏差，為此特斯拉在感知框架中加入了一層“虛擬標準相機(virtual

camera)”，引入攝像頭標定外參將每輛車采集到的圖像數據通過去畸變、旋轉等方式處理后，統(tǒng)一映射到同一套虛擬標準攝像頭坐標中，從而實現各攝像頭原始數據校準，消除外參誤差，確保數據一致性，將校準后的數據傳輸給主干神經網絡進行訓練

Step

3

特征提?。↖mage

Featurizers）：用一組RegNet（特定殘差網絡，specific

class

of

resnets）和BiFPN（加權雙向特征金字塔網絡）作為提取圖像空間特征的主干圖表：加入virtualcamera校準圖像數據偏差資料：TESLA

2021AI

day，youtube，德邦研究所15。通過端到端的感知訓練模型，從數據輸入到空間向量輸出

Step

4

構造空間位置（Spacial

Attention）：將攝像頭采集到的數據通過【BEV空間轉換層】構造一組3D位置，同時將圖像信息作為鍵(key)值(value)，輸入給一個注意力模型（核心模塊是【Transformer神經網絡】）。注意力模型的輸出是高維空間特征，這些高維空間特征與車輛上的里程數據進行暫時協調，來推導出運動。該方案厲害之處在于可以將地面坡度、曲率等幾何形狀的變化情況內化進神經網絡的訓練參數中

Step

5

時間對齊（Temporal

Alignment）：上述高維空間暫時特征經過一組反卷積，產生最終的占用率和占用率流輸出。它們生成的是固定尺寸塊的網格，為了提高精度，模型還生成了per

volex

feature

MAP輸入到MLP中，借助3D空間點查詢（query）來獲取任意點的位置和語義信息圖表：通過輸入視頻片段為自動駕駛增添短時記憶能力圖表：BEV+Transformer實現二維圖像空間向三維向量空間的轉變資料：TESLA

2021AI

day，youtube，德邦研究所資料：TESLA

2021AI

day，youtube，德邦研究所16。2.2.2車道線及障礙物感知(Lanes&Objects)——周圍的物體下一步去往哪里？17?；?DOccupancy迭代車道線及障礙物感知模型

早期，將車道檢測問題建模為一個圖像空間內實時分割的任務，只能從幾種不同的幾何形狀中辨別車道。具體而言，可以分別出當前車道、相鄰車道，能特別處理一些交叉和合并的情況，然后用粗略的地圖數據對其進行增強。這種簡化模型對高速這種高度結構化的路是有效的當前，引入Map

Component，使用了低精度地圖中關于車道線幾何/拓撲關系的信息（車道線數量/寬度、特殊車道屬性等），并將這些信息整合起來進行編碼，與視覺感知到的特征信息一起生成車道線（Dense

WorldTensor）給到后續(xù)Vector

Lane模塊圖表：車道線及障礙物感知模型基于2D

BEV基于3D

Occupancy，是具有高低起伏變化的車道線感知資料：TESLA

2022AI

day，youtube，德邦研究所18。問題一：如何預測車道？圖表：特斯拉車道預測方案先對現實世界做粗略處理，做一個可能的位然后不斷重復該過程，直到枚舉了車道中所有的點√置熱點圖，鎖定在可能性最大的位置上。以此為條件對預測進行改進，獲得準確的點車道圖—也即希望從網絡上獲得最終結果從某一點（綠點）開始進行預測描繪最有可能的位置×該位置被編碼到一個離散化的3D粗略網絡中,但并不直接在3D網格中做預測描繪（計算成本較高）資料：TESLA

2022AI

day，youtube，德邦研究所19。問題二：如何預測道路上其他對象的未來行為圖表：障礙物感知是一個兩階段的感知

預測所有物體的屬性，在實時系統(tǒng)上造成了一些具體實施問題。需要讓對象堆棧部分實現幀率最大化，自動駕駛才能對變化的環(huán)境做出快速反應。為了盡量減少延遲，神經網絡被分為兩個階段：??第一階段，確定對象在3D空間中的位置第二階段，在這些3D位置取得張量，附加車輛上的額外數據和一些其他處理

這個規(guī)范步驟使得神經網絡專注于計算最關鍵的區(qū)域，能夠付出很小的延遲成本獲得優(yōu)異性能資料：TESLA

2022AI

day，youtube，德邦研究所20。2.3訓練數據（TrainingData）——為什么這么走是正確的？21。2.3.1自動數據標注（AutoLabeling）22。由2D手工標注逐步升級為4D自動標注，數據閉環(huán)趨于完善外包第三方進行數據標注組建超1000人團隊進行手工標注自動標注圖表：特斯拉數據標注由2D手工標注逐步升級為4D自動標注基于2D圖像進行標注在BEV空間下進行4D自動標注資料：TESLA

2021

AI

day，youtube，德邦研究所

含義：在三維或四維空間中，為不同的時間點和空間位置賦予獨特的標簽或標識符做法：直接在向量空間中進行標注，將其投影到相機圖像中優(yōu)點：能夠支持大量數據標注；由于只需要在空間中標注一次，然后自動投影，標注效率大幅提升

做法：在2D圖像上標注出各種物體，具體表現為在單個物體上繪制出一些多邊形和折線，用以描繪出邊界框（BoundingBoxes）缺點：數據量很大的情況下，工作量極大，標注效率低

23。為什么要采用4D自動標注？——大幅提升標注效率圖表：特斯拉數據標注發(fā)展歷程先場景重建，再4D建圖基于BEV感知，采用衛(wèi)星使用3D特征進行多趟采集軌跡的聚合重建全人工標注標注地圖標注

可以取代500萬小時的人工操作標記，只需在集群中運行12小時，就可以完成10000次行駛軌跡的標記資料：TESLA

2022AI

day，youtube，德邦研究所24。如何進行4D自動標注？—采集Clips通過機器算法生成Labels圖表：4D自動標注過程

自動標注步驟：?通過汽車在一段時間內采集到的視頻、IMU、GPS、

里程表等數據構成最小標注單元

（Clip，約45-60秒）將最小標注單元上傳至服務器，由離線神經網絡系統(tǒng)訓練得到中間層結果，如分割、深度等??通過大量機器算法生成最終用以訓練的標簽集（Labels）資料：TESLA

2021AI

day，youtube，德邦研究所25。4D自動標注的幾個關鍵步驟圖表：4D自動標注的3個關鍵步驟資料：TESLA

2022

AI

day，youtube，德邦研究所26。2.3.2仿真模擬（Simulation）27。為什么要做仿真模擬？—泛化Corner

Case，賦能模型迭代

仿真模擬可以提供現實世界中難以獲得或是難以標記的數據，從而加速FSD能力的訓練，賦能模型迭代圖表：仿真模擬示意圖基于數據標記，疊加一些全新工具，可以在5Min內生成這類場景資料：TESLA

2022

AI

day，youtube，德邦研究所28。如何進行仿真模擬？——五大步驟圖表：實現仿真模擬的五大步驟

Step

1準確的傳感器仿真（Accurate

Sensor

Simulation）:由于FSD的感知系統(tǒng)是基于純攝像頭，因此需要對攝像頭的各種屬性進行軟硬件建模，如傳感器噪聲、曝光時間、光圈大小、運動模糊、光學畸變等Step

2逼真的視覺渲染（Photorealistic

Rendering）：為了更真實的模擬現實世界場景，需要仿真渲染盡可能做到逼真。特斯拉利用神經網絡視覺技術提升視覺渲染效果，同時用光線追蹤的方法模擬逼真的光照效果Step

3多元化的交通參與者與地理位置（Diverse

Actors

&Locations）：為了避免仿真環(huán)境過于單一，導致感知系統(tǒng)過擬合的問題，特斯拉對仿真環(huán)境參與物進行了充分建模，包括多元化的交通參與者和靜態(tài)物體資料：TESLA

2021

AI

day，youtube，德邦研究所圖表：實現仿真模擬的五大步驟資料：TESLA

2021

AI

day，youtube，德邦研究所29。如何進行仿真模擬？——五大步驟

Step4大規(guī)模場景生成（Scalable

Sensor

Generation）：由計算機通過調整參數生成不同的場景形態(tài)。同時由于大量的仿真場景可能是的無用的，為了避免浪費計算資源，引入MLB等神經網絡尋找故障點，重點圍繞故障點進行仿真數據創(chuàng)建，反哺實際規(guī)劃網絡，形成閉環(huán)

Step5場景重現（Sensor

Recontruction）:在完成真實世界片段的自動標注重建后，疊加視覺圖像信息，生成與真實世界“孿生”的虛擬世界，復現真實世界中FSD失敗的場景，實現在仿真環(huán)境下的優(yōu)化迭代后再反哺汽車算法模型，實現“數據閉環(huán)”圖表：實現仿真模擬的五大步驟資料：TESLA

2021

AI

day，youtube，德邦研究所30。2.3.3數據引擎（DataEngine）31。自成閉環(huán)的數據引擎能夠更好地優(yōu)化神經網絡圖表：特斯拉數據引擎示意圖最終通過影子模式部署回車端進行新的測試比較不同版本指標，直到最后經過驗證的新模型部署車端利用這些有效數據訓練車端在線模型和云端離線模型由標配自動駕駛硬件的車隊數據采集通過各種規(guī)則及影子模式下人腦與AI差異，篩選有語義信息的數據回傳云端云端通過工具對錯誤的AI輸出進行糾正，放入數據集群資料：TESLA

2022

AI

day，youtube，德邦研究所32。自成閉環(huán)的數據引擎能夠更好地優(yōu)化神經網絡圖表：數據引擎優(yōu)化神經網絡的案例資料：TESLA

2022

AI

day，youtube，德邦研究所33。2.4訓練基礎設施（Training

Infra）——用什么進行訓練34。Dojo何以為道？——化繁為簡，以少為多的集群架構圖表：Dojo算力迭代情況

?架構方式：近乎對稱的分布式計算架構優(yōu)勢：D1芯片擴展性好；算力的編程靈活性高拓展性高：通用CPU芯片?加速迭代：2d

Mesh連接，大幅提升集群性能的線性度輕裝上陣：削減對計算非必須功能，簡化結構，減少功耗和面積使用，極大程度釋放性能?圖表：D1芯片資料：Tesla公告，德邦研究所圖表：Dojo架構資料：Tesla

2021

AI

day，youtube，德邦研究所資料：Tesla

2021

AI

day，youtube，德邦研究所35。Dojo助力加速自動標注、Occupancy

Networks圖表：DojoCompiler

性能對比：?在4D自動標注任務和使用OccupancyNetworks完成環(huán)境感知任務時，相比英偉達A100，Dojo能實現性能的倍增資料：Tesla

2021

AIday，youtube，德邦研究所36。不止于此，Dojo的更大野心

不斷擴大的集群規(guī)模、Dojo超算中心的投產，意味著特斯拉有望再次加速FSD的迭代速度；在擁有如此大規(guī)模的算力后，特斯拉擁有的海量數據有望釋放出巨大價值圖表：Dojo不但將釋放擺脫英偉達之后的潛力，還有望帶來人形機器人Optimus

的不斷突破資料：TESLA：《Dojo:The

Microarchitecture

ofTesla’s

Exa-Scale

Computer》

，德邦研究所37。2.5AI編譯與推理（AI

compiler&inference）——如何在計算機上運行神經網絡38。對端到端延遲進行嚴格控制+部署更先進的調度代碼圖表：AI編譯與推理原理

所有的模型、架構運算加起來大約有10億個參數，產生了大約1000個神經網絡信號。因此，需要確保共同優(yōu)化它們，才能最大限度優(yōu)化吞吐量，并盡量減少延遲編譯：建立了一個專門針對神經網絡的編譯器(CombileToolchain)，與傳統(tǒng)編譯器共享架構

運行：設計了混合調度系統(tǒng)（Hybrid

Parallelism），基本上可以在單SOC上執(zhí)行異構調度，在兩個SOC上進行分布式調度，以模型并行的方式運行這些網絡資料：TESLA

2022

AI

day，youtube，德邦研究所39。目標：將所有操作在計算機上運行圖表：如何在計算機上運行神經網絡Goals：compile

alloperations

to

nativelyrun

on

TRIP

engine

目標：快速運行密集點積（DenseDotProduct）難點：但是Lanes

Network架構是自回歸和迭代的，它在內循環(huán)中緊縮多個注意力塊，在每一步都直接產生稀疏點（sparse

point），那么最大的挑戰(zhàn)是如何在密集點積引擎上做稀疏點預測資料：TESLA

2022

AI

day，youtube，德邦研究所40。如何做？——將得到的One-Hot編碼通過矩陣乘法運算實現在網絡預測出最有可能的空間位置熱圖后，通過算法得到空間位置索引的One-Hot編碼選擇與這個索引相關的嵌入。為了在芯片上實現它，在SRAM中建立了一個查詢表，并且設計了這個嵌入的尺寸，以便可以用矩陣乘法實現所有將這個嵌入存儲到一個標記緩存中，這樣就可以無需在每次迭代時都重新計算，而是能夠在未來的預測中重新使用圖表：AI編譯與推理步驟資料：TESLA

2022

AI

day，youtube，德邦研究所41。效果如何？—運行7500萬個參數的模型延遲不到10ms，消耗功率8W圖表：運行7500萬參數的模型只有不到10ms延遲，消耗8W功率7500萬參數9.6ms延遲消耗8W功率資料：TESLA

2022

AI

day，youtube，德邦研究所42。03FSDV12展望43。FSD

V12或將完全轉向端到端自動駕駛技術方案

23年8月26日，特斯拉CEO馬斯克開啟了一場路測特斯拉FSD

V12的直播。直播全程45分鐘，馬斯克只有一次駕駛干預，這發(fā)生在一個繁忙的十字路口，馬斯克所駕駛的特斯拉試圖闖紅燈，他立即控制了車輛。直播中儀表盤中的實時道路場景可以看出，V12保留了當前FSD輸出的感知結果

以UniAD為例，利用多組query實現了全棧

Transformer

的端到端模型。圖中UniAD

由2個感知模塊，2個預測模塊以及一個規(guī)劃模塊組成。其中感知和預測模塊是通過Transformer架構進行預測，每個模塊輸出的特征會傳遞到之后的模塊來輔助下游任務，這樣的模型結構實現了端到端可導，顯著提升了模型的可解釋性圖表：自動駕駛大模型UniADPipeline資料：《Planning-oriented

Autonomous

Driving》（Yihan

Hu,JiazhiYang等），德邦研究所44。端到端方案中神經網絡是關鍵，有望實現全局最優(yōu)解圖表：多模塊化方案VS端到端方案

原理：與模塊化方案相比，端到端自動駕駛方案將感知、規(guī)劃、控制各環(huán)節(jié)一體化，去除了各模塊基于規(guī)則的代碼，將傳感器收集到的信息直接輸入神經網絡，經過處理后能夠直接輸出自動駕駛指令，使得整個系統(tǒng)端到端可導模塊化方案

優(yōu)點：能夠降低對激光模型上限高，可以得到近似全局最優(yōu)解缺點：模型能力起步較慢，解釋簡單場景不如模塊化架構，模型下限低；中間“黑盒”解釋性差、高精地圖、人工的依賴，減少中間環(huán)節(jié)的成本；圖表：

模塊化與端到端的性能增長曲線VS端到端方案資料：《Recent

Advancements

in

End-to-End

AutonomousDriving

using

Deep

Learning:

ASurvey》（PranavSinghChib

,Pravendra

Singh），德邦研究所資料：賽博汽車微信公眾號，德邦研究所。45感知端率先落地，BEV本質上是一種端到端感知解決方案圖表：Transformer

4DEncoder

Structure

傳統(tǒng)感知模型：2D