AI大模型對智能汽車產(chǎn)業(yè)的影響

AI大模型對智能汽車產(chǎn)業(yè)的影響第七屆國際絲路新能源與智能網(wǎng)聯(lián)汽車大會9月23日｜西安

3

AI大模型對汽車產(chǎn)業(yè)鏈的影響ChatGPT與AI大模型AI大模型在汽車業(yè)的應(yīng)用2目錄1（單位：

月）21326SnapchatFacebook2022年11月

，美國科技公司Open

AI發(fā)布ChatGPT，

因能很好地與人實現(xiàn)互動而迅速成為爆款產(chǎn)品：上線5天用戶過100萬

，2個月后用戶就突破1億

，成為歷史上用戶數(shù)增長最快的消費者應(yīng)用。各明星應(yīng)用程序注冊用戶達(dá)1億時間ChatGPT可回復(fù)自然語言輸入的問題ChatGPT，突然出現(xiàn)的爆款資料來源：

OpenAI公司，英偉達(dá)公司InstagramChatGPTTikTok4239GPT-315億參數(shù)量2019年2月1,750億參數(shù)量2022年7月ChatGPT（ChatGenerativePre-trainedTransformer）

，是一種適用于自然語言交流的人工智能大模型，

它成功的關(guān)鍵之一

，是Open

AI使用了海量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。5年間

，GPT的參數(shù)量已從億級飆升至萬億級。據(jù)不完全統(tǒng)計，

目前已發(fā)布的國內(nèi)大模型中：參數(shù)量超過10億的有79個，其中，參數(shù)量最高的達(dá)到174萬億。GPT-4四代GPT參數(shù)量變化ChatGPT成功關(guān)鍵之一：大參數(shù)GPT-2GPT-118,000億參數(shù)量1.17億參數(shù)量資料來源：

OpenAI公司，新汽車研究所制圖2023年3月2018年6月ChatGPT取得成功的另一個關(guān)鍵

，是使用了Transformer模型。該模型采用自注意力（self-attention）機(jī)制

，其優(yōu)點在于并行度高

，可一次性處理所有輸入數(shù)據(jù)

，使ChatGPT能對詞語序列的概率分布進(jìn)行建模

，利用上下文信息預(yù)測后續(xù)詞語出現(xiàn)的概率分布。三種常見模型的特點對比ChatGPT成功關(guān)鍵之二：新模型CNN模型只能對標(biāo)注過的物體進(jìn)行相似度的比對RNN模型無法進(jìn)行并行計算，效

率嚴(yán)重受限。Tf模型可找到更泛華的相似規(guī)律，

或者說，它的聯(lián)想能力更強(qiáng)。卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）循環(huán)神經(jīng)網(wǎng)絡(luò)模型（RNN）Transformer模型資料來源：

《動手學(xué)深度學(xué)習(xí)》

（李沐）2020年

，微軟亞洲研究院首次將Tf模型應(yīng)用于圖像分類任務(wù)

，在評測中實現(xiàn)88.55%的準(zhǔn)確率。而且Tf模型在數(shù)據(jù)量越大的情況下表現(xiàn)越好

，特別適用于自動駕駛這類大規(guī)模數(shù)據(jù)訓(xùn)練場景。Transformer模型可將2D圖像融合成3D視角Transformer模型的工作原理Tf模型的另一個重要用處：計算機(jī)視覺資料來源：《AttentionIsAllYou

Need》、《Safety-EnhancedAutonomous

Driving

Using

Interpretable

Sensor

Fusion

Transformer》AI大模型在汽車業(yè)的應(yīng)用

3

AI大模型對汽車產(chǎn)業(yè)鏈的影響

ChatGPT與AI大模型1目錄2級別名稱定義駕駛操作環(huán)境感知支援系統(tǒng)作用域0無自動化?由駕駛者完全操控汽車駕駛者駕駛者駕駛者無1駕駛支援?

系統(tǒng)有時能夠輔助駕駛者完成方向盤和加減速等駕駛操作駕駛者與

系統(tǒng)部分行駛?cè)蝿?wù)2部分自動化?

系統(tǒng)能夠完成某項駕駛?cè)蝿?wù)?

駕駛者需要監(jiān)控駕駛環(huán)境?

其余駕駛操作由駕駛者完成駕駛者與

系統(tǒng)3條件自動化?

系統(tǒng)負(fù)責(zé)某些情況下環(huán)境感知?

駕駛員需要時刻準(zhǔn)備取回駕駛控制權(quán)系統(tǒng)系統(tǒng)4高度自動化?

系統(tǒng)能夠進(jìn)行環(huán)境感知?

駕駛員不需重新取得駕駛控制權(quán)?

系統(tǒng)只能在特定環(huán)境條件下運行系統(tǒng)全部行駛?cè)蝿?wù)5完全自動化?

系統(tǒng)能夠完成所有環(huán)境條件下的所有駕駛?cè)蝿?wù)自動駕駛是過去10年最火熱的賽道

，但直到2022年才有部分企業(yè)推出具備L3級功能的車型。究其原因，

除法規(guī)發(fā)展落后于產(chǎn)業(yè)發(fā)展外

，很重要的一點在于自動駕駛系統(tǒng)積累的數(shù)據(jù)量還不夠

，存在安全隱患。SAE對自動駕駛的分級標(biāo)準(zhǔn)自動駕駛近年來一直未能進(jìn)入L3時代資料來源：

SAEJ3016-2018100億公里馬斯克曾在推特點贊了這樣的觀點：實現(xiàn)超越人類的自動駕駛能力至少需要100億公里駕駛數(shù)據(jù)。1000億公里自動駕駛初創(chuàng)公司MOMENTA在其公眾號上提出：要實現(xiàn)L4級駕駛，至少需要千億公里駕駛數(shù)據(jù)。我國2022年公里旅客運輸周轉(zhuǎn)量道路交通具有場景復(fù)雜、參與者多、場景異質(zhì)性強(qiáng)等特點

，存在大量不可預(yù)見性。為避免長尾問題

，廠商需要對車輛自動駕駛系統(tǒng)進(jìn)行大量測試

，以確保盡可能多地覆蓋場景

，但也會帶來成本的大幅增加。

業(yè)界對L4級別自動駕駛所需測試數(shù)據(jù)的預(yù)估

為解決長尾問題，測試數(shù)據(jù)需達(dá)10億~1000億公里資料來源：廣汽集團(tuán)，案頭研究2400億人工智能大模型在汽車業(yè)的應(yīng)用

，首推它對自動駕駛的賦能

，主要體現(xiàn)為城市導(dǎo)航輔助駕駛系統(tǒng)（城市NOA）的量產(chǎn)應(yīng)用上。從2022年Q3起，

國內(nèi)外智能汽車頭部企業(yè)開始應(yīng)用投放各自的城市NOA系統(tǒng)。

智能汽車頭部公司NOA系統(tǒng)發(fā)展概況

AI大模型將從根本上改變自動駕駛產(chǎn)業(yè)的發(fā)展資料來源：中信證券硬件配置方面

，需要車輛使用滿足L3級自動駕駛功能的智能化傳感器

，如攝像頭、激光雷達(dá)、毫米波雷達(dá)等，能實時感知各類路面情況；還需要車輛的自動駕駛芯片有足夠高的算力

，能在毫秒之內(nèi)識別信息

，并提出應(yīng)

對策略。

應(yīng)用智能傳感器是實現(xiàn)NOA的基礎(chǔ)

無論是多傳感器融合派廠商，還是視覺派廠商，都大量使用智能化傳感器，他們是實現(xiàn)NOA的必要條件。要實現(xiàn)NOA對智能傳感器硬件要求很高特斯拉Model

3小鵬G9廠商要搭建起高效的算法模型

，開發(fā)的系統(tǒng)既要能精準(zhǔn)識別并處理各傳感器獲得的數(shù)據(jù)

，還要能有效應(yīng)對模型未考慮到的長尾問題。這大大增加了系統(tǒng)所需數(shù)據(jù)量

，增加了開發(fā)難度。特斯拉的NOA系統(tǒng)不僅能規(guī)劃車輛行進(jìn)路線等，還會實

時提供預(yù)警信息，并能主動停止可能導(dǎo)致危險發(fā)生的并線

等行為。小鵬汽車開發(fā)的城市NGP的代碼量

、

感知模型數(shù)量、

預(yù)測/規(guī)劃/控制相關(guān)代碼量，分別是其高速NGP是6倍、4倍

和88倍。

軟件在NOA系統(tǒng)中起決定性作用

要實現(xiàn)NOA還需要高水平算法的支持2021年

，特斯拉在其AI

Day上宣布將基于BEV+Tf架構(gòu)開發(fā)其新版的完全自動駕駛系統(tǒng)（FSD）

，并于當(dāng)年開始重新編寫底層代碼

，成為在汽車業(yè)第一個使用AI大模型的主流廠商。

新架構(gòu)下特斯拉自動駕駛軟件的融合效果

下圖：

BEV+Tf架構(gòu)下，

特斯拉自動駕駛軟件對

上圖感知結(jié)果進(jìn)行融合

后的效果。特斯拉率先在汽車業(yè)應(yīng)用AI大模型上圖：攝像頭獲得的車

輛左、

中、右三方的感

知結(jié)果（即路況）。資料來源：特斯拉2021AI

Day傳統(tǒng)算法將自動駕駛系統(tǒng)劃分為感知、規(guī)劃、控制等3大塊

，每個部分又可細(xì)分為不同的模塊和子模塊。每個模塊各司其職

，有著獨立且明確的目標(biāo)。規(guī)劃模塊的作用主要是根據(jù)車輛實際行駛時面臨的實時交通環(huán)境，生成對應(yīng)的行進(jìn)規(guī)劃，如跟車、

加速、換道、制動等?？刂颇K的作用是操縱車輛，協(xié)調(diào)

車輛的動力系統(tǒng)、

制動系統(tǒng)等，按

照規(guī)劃模塊輸入行進(jìn)規(guī)劃，實施駕

駛行為。感知模塊的作用主要有3點：?

識別周邊物體，?

檢測交通信號，?

明確物體坐標(biāo)，傳統(tǒng)的自動駕駛算法框架傳統(tǒng)的自動駕駛算法是基于規(guī)則開發(fā)的 控制模塊 規(guī)劃模塊

感知模塊類別優(yōu)點缺點模塊化方案?

由眾多子模塊組成，每個對應(yīng)特定的任務(wù)和功能；?

可解釋性強(qiáng)，每個獨立模塊負(fù)責(zé)單獨的子任務(wù)，便于問題回溯，

易于調(diào)試等。?

存在多個編解碼環(huán)節(jié)，會產(chǎn)生計算的冗余浪費，對算力要求高，需要使用激光雷達(dá)、

高清地圖，成本高企；?

存在信息損失和誤差問題。?

長尾部分需一事一議，會

耗費大量精力解決。端到端方案?

輸入感知信息，直接生成控制決策信號，更接近人的駕駛習(xí)慣；?

可借助數(shù)據(jù)的多樣性獲得不同場景下的泛用性；?

減少感知、決策等中間模塊的訓(xùn)練過程，可集中模型訓(xùn)練資源。?

黑盒模式，

解釋性差，

當(dāng)

系統(tǒng)出現(xiàn)錯誤時，難以判斷是哪個隱藏層或神經(jīng)元的問題；?

閉環(huán)驗證較難，缺少真實數(shù)據(jù)驗證。應(yīng)用AI大模型后，

自動駕駛算法的底層邏輯將變成“場景→車輛控制

”的端到端模型

，將感知、規(guī)劃和控制環(huán)節(jié)一體化

，傳感器采集到的信息直接輸入神經(jīng)網(wǎng)絡(luò)

，經(jīng)過處理后直接輸出自動駕駛的駕駛命令

，不存在各

子模塊目標(biāo)與總系統(tǒng)目標(biāo)存在偏差的情況

，保證效益最大化。當(dāng)前

，端到端模型暫時只被用于感知系統(tǒng)。基于數(shù)據(jù)的AI大模型將徹底改變自動駕駛算法的底層邏輯模塊化與端到端方案對比端到端模型資料來源：新汽車研究所繪制感知

模塊規(guī)劃模塊控制

模塊鳥瞰圖（BEV，

Bird‘s

Eye

View）

，是利用算法將各傳感器獲取的二維信號轉(zhuǎn)換成類似直升機(jī)俯視視角的三維坐標(biāo)

，可在感知算法的層面實現(xiàn)端到端的架構(gòu)開發(fā)。優(yōu)點

通過融合多個視角解決遮擋和物體重疊問題，解決多傳感器融合問

題，方便下游任務(wù)共享圖像特征；

在BEV視角下沒有物體變形問題，使得模型集中精力解決分類問題；

能夠把傳統(tǒng)感知方案中3D目標(biāo)檢測、

障礙物實例分割、

車道線分割、軌跡預(yù)測等多項任務(wù)在一個算法框架內(nèi)實現(xiàn)，大幅減少人力需求，提升算法開發(fā)效率。缺點

鳥瞰圖是基于2D信號合成的，

缺少高度信息，無法真實反映出物體在3D空間實際的占用體積是多少。

為解決這一問題，算法通過矩形框進(jìn)行標(biāo)記，這導(dǎo)致了細(xì)節(jié)損失。

對于未被預(yù)訓(xùn)練過的物體，

系統(tǒng)無法識別。圖片來源：特斯拉2021AI

Day鳥瞰圖，

一種新的融合算法2022年

，特斯拉推出OccupancyNetworks（占用網(wǎng)絡(luò)）感知技術(shù)

，通過算法對物理世界進(jìn)行數(shù)據(jù)化和泛化建模

，在3D空間上測出不同物體的高度

，賦予鳥瞰圖算法高度信息。的概率，無需考慮這個物體到底是什么，只考慮網(wǎng)格是否被占用。規(guī)則外形障礙物的感知能力，大幅提升了模型的泛化能力。圖片來源：特斯拉2022AI

Day占用網(wǎng)絡(luò)感知技術(shù)，特斯拉給BEV算法打的補(bǔ)丁占用網(wǎng)絡(luò)感知技術(shù)原理基本的思想是將三維空間分成若干個網(wǎng)格，再去預(yù)測每個網(wǎng)格被占用擺脫了神經(jīng)網(wǎng)絡(luò)算法需先

“認(rèn)識

”才能

“識別”的特性，大大增強(qiáng)了對不自動駕駛感知模塊有視覺派、融合派2種技術(shù)路線

，前者以攝像頭為主傳感器

，后者以激光雷達(dá)為主傳感器。應(yīng)用AI大模型降低了硬件的要求

，及軟件開發(fā)的成本。毫末智行：

單張圖的標(biāo)注成本從5元下降到0.5元

，成本下降90%。小鵬汽車：

2000人年的

標(biāo)注量，可在16.7天完成，

效率提升4.5萬倍。大多數(shù)廠商選擇多傳感器融合路線，

以激光雷達(dá)為主傳感器，輔之以攝

像頭、

毫米波雷達(dá)等。圖片來源：特斯拉、毫末智行

AI大模型對自動駕駛成本的影響

車載感知硬件成本降低。

自動標(biāo)注的效率提升，帶動成本大幅度下降。

大模型的開發(fā)成本。

廠商需要新增大量云端

算力。特斯拉FSD

V12利用了

1.4萬個GPU訓(xùn)練集群

支持AI大模型運算，特斯拉預(yù)期其算力規(guī)模會在2024年2月進(jìn)入全

球前五。AI大模型可以大大降低自動駕駛成本特斯拉堅持走視覺路線，其Model

3應(yīng)用的是8個攝像頭+1個毫米波

雷達(dá)的配置方案。自動駕駛能力的提

升需要大量算法訓(xùn)

練，除真實場景外，

需模擬出大量仿真

場景做補(bǔ)充。如果

僅憑借工程師的理

解設(shè)計仿真場景，能模擬的場景數(shù)量

有限。而大模型的應(yīng)用將

使自動泛化成為可

能，生成仿生場景

數(shù)據(jù)的效率提升，進(jìn)而加速模型迭代。由于基于規(guī)則的算法泛化性不足、仍面臨諸多長尾問題，

目前完善算法的方式是“打補(bǔ)丁

”

，又會導(dǎo)致最終代碼量龐大且難以維護(hù)。AI大模型具備更強(qiáng)的泛化能力

，可大幅度減少長尾效應(yīng)

，大大提升安全性。傳統(tǒng)自動駕駛方案依靠貼標(biāo)簽的方式挖掘長尾數(shù)據(jù)，通常僅能識別已知的圖像類別。而大模型可通過文本將收集到的圖像進(jìn)行相關(guān)性分類，并依照文本描述檢索圖像，

因此有較強(qiáng)的泛化性。AI大模型可大幅減少長尾效應(yīng)，提高自動駕駛安全性汽車的圖片來源：百度阿波羅，

毫末智行100億公里馬斯克曾在推特點贊了這樣的觀點：實現(xiàn)超越人類的自動駕駛能力至少需要100億公里駕駛數(shù)據(jù)。1000億公里自動駕駛初創(chuàng)公司MOMENTA在其公眾號上提出：要實現(xiàn)L4級駕駛，至少需要千億公里駕駛數(shù)據(jù)。2022年，特斯拉的自動駕駛算法已全面切換到AI大模

型。新版FSD的事故率，每行駛百萬英里

（主要是非高速

公路）發(fā)生事故的次數(shù)是

0.31。NHTSA的數(shù)據(jù)，美國所有車輛每行駛百萬英里發(fā)生

事故的次數(shù)是1.53，是FSD的4.9倍。2021年

，特斯拉開始應(yīng)用大模型重構(gòu)自動駕駛軟件，

當(dāng)年7月推送的FSDBetaV9是大模型算法下的版本。2022年的實際測試顯示

，特斯拉L3級自動駕駛系統(tǒng)FSD的安全性能已高于人。

FSD已具備高于人駕駛的安全性

AI大模型驅(qū)動下，

L3級自動駕駛的安全性已高于人資料來源：特斯拉，案頭研究

3

AI大模型對汽車產(chǎn)業(yè)鏈的影響

ChatGPT與AI大模型AI大模型在汽車業(yè)的應(yīng)用21目錄軟件定義汽車的概念近年來逐步被業(yè)界接受

，但更多的還是從產(chǎn)品開發(fā)的角度

，強(qiáng)調(diào)要重視軟件的功能、作用與價值。

隨著大模型得到更多的應(yīng)用

，軟件定義汽車的內(nèi)涵有了新的變化

，后續(xù)可能是“數(shù)據(jù)定義汽車

”。產(chǎn)品開發(fā)過程，要從此前的重視硬件轉(zhuǎn)向重視軟件；整車由硬件主導(dǎo)轉(zhuǎn)向軟件主導(dǎo)。資料來源：清華大學(xué)，麥肯錫軟件功能的不斷增加將推動汽車軟件的市場規(guī)模將不斷擴(kuò)大，成為產(chǎn)業(yè)新的增長極。

業(yè)界對軟件定義汽車的常見理解

軟件定義汽車有了新的含義自動駕駛功能的不斷升級

，對車用芯片算力的要求越來越高

，用戶需求倒逼上游企業(yè)開發(fā)出集合AI加速器的系統(tǒng)級芯片（SoC）

，提升車輛的算力。今后的算力將來到云端

，對整車廠商提出更高要求。2021年，蔚來發(fā)布新車ET7，該車使用的超算平臺NIO

Adam，配備由四顆英偉達(dá)Drive

Orin芯片，平臺總算力高達(dá)1016

TOPS，超過特斯拉發(fā)布的FSD平臺算力的7倍。為更好地訓(xùn)練FSD，特斯拉AI計算中心Dojo總計使用了1.4萬個英偉達(dá)的GPU來訓(xùn)練AI模型，使用了14億幀畫面訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，對應(yīng)的是10萬個GPU