中小盤策略專題：智能汽車系列深度（十六）：算法進(jìn)階-自動駕駛迎來端到端時代

請務(wù)必參閱正文后面的信息披露和法律聲明1/38 伐謀-中小盤策略專題迎來端到端時代 能，自動駕駛即將真正帶來汽車商業(yè)模式的變革。FSDV12是一個端到端算載ADS3.0，新增推薦拓普集團(tuán)—中《小鵬端到端大模型上車，開啟AI智駕新時代—中小盤周報》-2024.5.26駛行業(yè)有望加速—中小盤策略專題》-載ADS3.0，新增推薦拓普集團(tuán)—中《小鵬端到端大模型上車，開啟AI智駕新時代—中小盤周報》-2024.5.26駛行業(yè)有望加速—中小盤策略專題》-2024.5.20l算法、算力、數(shù)據(jù)全面升級，助力端到端自駕落地探求駕駛本質(zhì)，人類駕駛是“本能反應(yīng)”和“邏輯思維”的結(jié)合。人類的思考是一樣，簡單的駕駛行為可由快系統(tǒng)完成，復(fù)雜或者稀缺的長尾場景則需要調(diào)用慢系統(tǒng)通過人類此前積累的世界常識來處理。對自動駕駛而言，快慢系統(tǒng)結(jié)合為徹底解決無人駕駛提供思路。算法、算力、數(shù)據(jù)全面升級推動自駕落地。算法端，前期傳統(tǒng)模塊化算法和端到端算法有望并行運(yùn)轉(zhuǎn)，平穩(wěn)過渡到端到端為主；遠(yuǎn)期大語言模型有望和端到望徹底實現(xiàn)自動駕駛。數(shù)據(jù)端，端到端算法對數(shù)據(jù)的“量”和“質(zhì)”的需求激目前，國內(nèi)領(lǐng)先玩家如華為、小鵬、蔚來、元戎啟行、地平線、商湯絕影等玩家紛紛推出自己的端到端算法以及規(guī)劃，并且在數(shù)據(jù)、算力上快速推進(jìn)，功能l推薦及受益標(biāo)的：推薦標(biāo)的：長安汽車、比亞迪、長城汽車、德賽西威、經(jīng)緯恒潤-W、均勝電子、華陽集團(tuán)、美格智能、華測導(dǎo)航。受益標(biāo)的：小鵬汽車l風(fēng)險提示：技術(shù)進(jìn)步不及預(yù)期、市場需求不及預(yù)期、重大事故導(dǎo)致消費(fèi)者接受度驟降等。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明2/381、FSDV12效果驚艷，Robotaxi邁向現(xiàn)實 51.1、特斯拉FSDV12.3登場，自動駕駛輔助功能推向全量用戶 51.2、端到端算法加持，駕駛體驗顯著提升 51.3、特斯拉推動，Robotaxi有望邁向現(xiàn)實 61.4、算力、數(shù)據(jù)全面加速，特斯拉加足馬力快速推進(jìn) 62、端到端助力自駕算法“融會貫通”，大模型時代到來 92.1、端到端算法將駕駛行為“融會貫通” 92.2、端到端算法優(yōu)勢顯著但落地難度加大 92.2.1、端到端的自動駕駛算法優(yōu)勢顯著： 92.2.2、端到端的自動駕駛算法亦存在可解釋性差、落地難度大等問題 2.3、端到端算法形成三大落地形式 2.3.1、將多個神經(jīng)網(wǎng)絡(luò)拼接形成端到端算法（顯式端到端 2.3.2、多模態(tài)基礎(chǔ)模型+自動駕駛（隱式端到端 2.3.3、大語言模型+自動駕駛： 3、算法、算力、數(shù)據(jù)全面升級，自動駕駛更進(jìn)一步 3.1、探求駕駛本質(zhì)，人類駕駛是“本能反應(yīng)”和“邏輯思維”的結(jié)合 3.1.1、系統(tǒng)一和系統(tǒng)二，人類思考是快慢系統(tǒng)的結(jié)合體 3.1.2、世界常識助力解決長尾場景，快慢系統(tǒng)結(jié)合為徹底實現(xiàn)自駕提供思路 3.2、算法：從漸進(jìn)到終局，大模型和自動駕駛逐步走上相似道路 3.2.1、領(lǐng)先量產(chǎn)玩家小步快跑，采用漸進(jìn)路線面向端到端逐步迭代 3.2.2、數(shù)據(jù)驅(qū)動邁向認(rèn)知驅(qū)動，大語言模型和端到端有望協(xié)同助力智駕 203.2.3、AGI時代殊途同歸智能駕駛終將徹底實現(xiàn) 223.3、數(shù)據(jù)：虛實結(jié)合，世界模型加持下如虎添翼 233.3.1、端到端推動自動駕駛從算法工程轉(zhuǎn)變?yōu)閿?shù)據(jù)工程 233.3.2、海量車隊是富礦，源源不斷提供豐富數(shù)據(jù) 243.3.3、仿真算法持續(xù)演進(jìn)，生成式AI重要性日益凸顯 253.4、算力：云端算力軍備競賽白熱化 264、國內(nèi)玩家齊發(fā)力，自動駕駛未來已來 274.1、華為：GOD感知網(wǎng)絡(luò)+PDP預(yù)決策規(guī)劃網(wǎng)絡(luò)推進(jìn)端到端 274.2、元戎啟行：領(lǐng)先算法玩家有望率先落地端到端自動駕駛 294.3、小鵬：自駕領(lǐng)先新勢力，發(fā)布端到端方案 294.4、蔚來：推動功能落地，端到端算法在路上 314.5、地平線：本土自駕芯片領(lǐng)軍，推動軟硬一體化方案落地 334.6、商湯絕影：AI先行者，推動算法走向極致 345、受益標(biāo)的 366、風(fēng)險提示 36圖1：馬斯克宣布FSD訂閱費(fèi)用降價至99美金 5圖2：馬斯克推動FSD為所有美國車主免費(fèi)試用一個月 5圖3：FSDV12甚至可識別自行車騎手的手勢并減速 6圖4：FSDV12可以從0時速啟動 6圖5：特斯拉在財報上公布了其共享出租車APP的UI界面 6圖6：馬斯克一度表示算力掣肘算法迭代，但在3月之后表示算力不再構(gòu)成瓶頸 7圖7：伴隨著算力的提升，版本迭代顯著加速，對用戶開放程度迅速提升 7圖8：FSD行駛里程2024年4月突破10億英里 8圖9：特斯拉2024年將在自駕領(lǐng)域投資超100億美元 8圖10：端到端算法將傳統(tǒng)的感知、預(yù)測、規(guī)劃等算法模塊融為一體 9圖11：端到端算法實現(xiàn)信息在算法中的無損傳遞，減少人為偏見 圖12：端到端算法全程可微，實現(xiàn)全局優(yōu)化 圖13：端到端算法讓駕駛更加絲滑擬人化 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明3/38圖14：端到端算法實現(xiàn)完全數(shù)據(jù)驅(qū)動，突破性能上限 圖15：端到端算法減小級聯(lián)誤差 圖16：端到端算法可有效降低處理延時 圖17：端到端自動駕駛算法形成三大落地形式 圖18：UniAD采用了顯式的端到端方案 圖19：亦有模型采取隱式的端到端算法，即整個模型作為大的神經(jīng)網(wǎng)絡(luò)實現(xiàn)自駕 圖20：Wayve采用端到端的自動駕駛模型 圖21：Wayve的端到端模型可處理各類復(fù)雜場景 圖22：DriverDreamer采用擴(kuò)散模型和注意力機(jī)制構(gòu)建 圖23：DriveDreamer呈現(xiàn)出較強(qiáng)的場景和動作輸出能力 圖24：采用大語言模型作為骨干模型成為一種有效實現(xiàn)自動駕駛的方案 圖25：LINGO-1可以提供駕駛行為和推理的描述 圖26：LINGO-1可有效識別道路場景 圖27：DriveGPT4采用大語言模型的能力賦能自動駕駛 圖28：算法、算力、數(shù)據(jù)齊備，自動駕駛更進(jìn)一步 圖29：人類行為包含系統(tǒng)一和系統(tǒng)二 圖30：部分長尾場景需要常識才能應(yīng)對 圖31：人類通過常識和駕駛經(jīng)驗解決長尾場景 圖32：駕駛行為實際上包含系統(tǒng)1和系統(tǒng)2的思維方式 圖33：自動駕駛發(fā)展從基于規(guī)則走向基于神經(jīng)網(wǎng)絡(luò)，從模塊化走向端到端 圖34：端到端算法或?qū)⒔?jīng)歷逐步演變過程 圖35：華為采用GOD網(wǎng)絡(luò)和PDP結(jié)合的算法架構(gòu) 20圖36：小鵬采用感知大模型和規(guī)控大模型推動自駕落地 20圖37：英偉達(dá)并行駕駛算法構(gòu)建自動駕駛的基礎(chǔ)模型，并嵌入大語言模型功能 21圖38：采用大語言模型監(jiān)督的自動駕駛算法很好的識別了廣告牌上的停車標(biāo)志，避免了幽靈剎車 21圖39：DriveVLM-Dual致力于將系統(tǒng)一和系統(tǒng)二結(jié)合 22圖40：大語言模型可以很好的識別駕駛場景并做出決策 22圖41：Grok-V1.5在處理物理世界時表現(xiàn)卓越 23圖42：Grok-1.5V在RealworldQA指標(biāo)上超越GPT 23圖43：端到端模型需要將人類的經(jīng)驗通過篩選后的數(shù)據(jù)賦予自動駕駛算法 23圖44：特斯拉的FSD累計行駛里程在2024Q1已經(jīng)超過12億英里 24圖45：特斯拉龐大車隊和強(qiáng)有力數(shù)據(jù)閉環(huán)體系帶來海量駕駛數(shù)據(jù) 24圖46：生成數(shù)據(jù)大大提升長尾場景的數(shù)據(jù)規(guī)模 25圖47：好的仿真環(huán)境提供完美的自動駕駛場景仿真 25圖48：端到端時代對仿真驗證提出新的要求，閉環(huán)驗證難度大，世界模型有望成為解決方案 26圖49：華為ADS3.0采用GOD網(wǎng)絡(luò)+PDP預(yù)決策規(guī)劃一張網(wǎng)的架構(gòu) 27圖50：ADS3.0——從BEV到GOD網(wǎng)絡(luò)的進(jìn)化 27圖51：華為ADS3.0采用多模態(tài)感知信息，激光雷達(dá)和4D毫米波實現(xiàn)升級 28圖52：華為通用障礙物感知的GOD網(wǎng)絡(luò)具備強(qiáng)大感知能力 28圖53：華為擁有強(qiáng)大的云端訓(xùn)練能力，模型每5天迭代一次 28圖54：自底層到上層，華為的體系化整合能力凸顯 29圖55：元戎啟行早在2023.8即開始進(jìn)行端到端路測 29圖56：多款搭載元戎端到端模型車型將在2024年交付 29圖57：小鵬智駕實現(xiàn)對感知大模型升級，并推動基于神經(jīng)網(wǎng)絡(luò)的規(guī)控大模型上車 30圖58：小鵬推出行業(yè)首個2K級別分辨率的占用網(wǎng)絡(luò) 30圖59：小鵬也推出完全基于神經(jīng)網(wǎng)絡(luò)的規(guī)控大模型 30圖60：小鵬智駕實現(xiàn)對感知大模型升級，并推動基于神經(jīng)網(wǎng)絡(luò)的規(guī)控大模型上車 31圖61：蔚來形成了完整、清晰的自動駕駛體系 31圖62：蔚來推出全向變分辨率的占用網(wǎng)絡(luò) 32圖63：蔚來在規(guī)控算法層面深思熟慮推動優(yōu)質(zhì)方案落地 32圖64：蔚來的用戶累計智駕里程快速增長 33圖65：地平線將智駕分為、可用、好用、愛用三個階段 33圖66：端到端的感知架構(gòu)更加精準(zhǔn)、及時和穩(wěn)定 34圖67：“三網(wǎng)合一”的感知架構(gòu)具有更強(qiáng)檢測率和效率 34 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明4/38圖68：交互決策網(wǎng)絡(luò)增強(qiáng)算法靈活度 34圖69：交互決策算法執(zhí)行效果更加擬人化 34圖70：感知決策一體化端到端算法提供最優(yōu)解 34圖71：鄉(xiāng)村道路占道車輛避讓 35圖72：無保護(hù)左轉(zhuǎn)對象車輛會車 35圖73：DriveAGI可以完美識別復(fù)雜道路場景 35表1：特斯拉FSD版本在迅速迭代 8表2：各大車企積極推動智駕車型銷售，量產(chǎn)車成為完美數(shù)據(jù)收集器 25表3：仿真形成三大技術(shù)路線 25表4：各大車企在2024年均將算力推升到更高水平 26表5：受益公司盈利預(yù)測與估值 36 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明5/38社交媒體上表示，F(xiàn)SDV12將是一個視頻輸入+控制輸出的端到端的自動駕FSDV12.3推出，體驗跨越式提升；隨后，F(xiàn)SD去掉“Beta”改為“Supervised”并開始向所有北美用戶開放，允許免費(fèi)試用30天，另外馬斯克還要求北美地區(qū)銷售開放，表明公司馬斯克已經(jīng)對FSD功能的完善度相當(dāng)自同時大規(guī)模試用也將為FSD收集可觀的數(shù)據(jù)，助力功能完善。等復(fù)雜場景；對人類意圖的理解加深，部分場景可以識別手勢；可以根據(jù)其他車輛擬人化：轉(zhuǎn)彎、紅綠燈啟停無頓挫感，加減速擬人化；遇到開雙閃的車輛占道會毫不猶豫變道繞行，流暢自然；遇到周圍騎行者、行人繞行時從容淡定，繞行幅度擬人化；遇到其他車輛倒車，會留足空間，駕駛具有“禮貌性”；擬人化程度高，經(jīng)景可以掉頭，抵達(dá)目的地后可以自主尋找停車處停車，不依賴導(dǎo)航。當(dāng)然當(dāng)前版本也會出現(xiàn)一些問題如距離道路邊緣近，容易出現(xiàn)剮蹭，對交通規(guī)則的遵守度弱，以及其他車輛意圖判斷仍需提升，無法倒車等問題。未來，隨著算法的迭代，小的問題有望逐步修復(fù)。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明6/38隨著自動駕駛性能的進(jìn)一步提升，Robotaxi有望成為現(xiàn)實。特斯拉關(guān)于中即出現(xiàn)，后續(xù)馬斯克亦在多次財報電話會議中提及。具體而言，一旦特斯拉實現(xiàn)特斯拉建立自有車隊，同時特斯拉車主也可將自己的車輛加入到共享車隊，后續(xù)特斯拉從每個訂單中抽成。Robotaxi將與造車業(yè)務(wù)實現(xiàn)協(xié)同，其運(yùn)行數(shù)據(jù)將成為整個特斯拉數(shù)據(jù)閉環(huán)的一部分，最大化提升自動駕駛的盈利能力，此外閑置車輛可以賺錢將提升車輛的使用效率和特斯拉車輛的吸引力。2端到端開創(chuàng)特斯拉自動駕駛新時代。對端到端自動駕駛而言，馬斯克在多個場合表示，模型僅僅依靠神經(jīng)網(wǎng)絡(luò)構(gòu)建，并未加入環(huán)形交叉路、紅綠燈等場景和元素，對場景的理解和駕駛行為完全依靠模型自身通過大量的人類駕駛視頻訓(xùn)練而學(xué)習(xí)到。和大語言模型類似，規(guī)模法則（ScalingLaw）在自動駕駛領(lǐng)域也效果凸顯，對端到端算法來說，算法之外，更迫切的是需要海量的數(shù)據(jù)和算力將模型的能力推升到更 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明7/38到100Eflops算力對應(yīng)?？梢杂^察到的是，伴隨端到端的落地，特斯拉對算力的需求出現(xiàn)了近乎數(shù)量級的提升，這也反過來幫助其算力補(bǔ)足的特斯拉FSD迭代速度顯著加快，每個新版本都帶來性能的大幅提 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明8/38左右。功能方面，V9到V11時代更多手勢，而近期馬斯克在社交媒體上表示，即將推出的版自主泊車結(jié)合，實現(xiàn)“真正的代客泊車”，同時將去掉手握方向盤檢測，此外在面臨最新場景時也將有更好的表現(xiàn)，如駛?cè)氇M窄封閉道路中需要倒車來尋找新的路線用更加舒適，處理更復(fù)雜場景，取消駕駛員手握方向盤監(jiān)測，將V12.4/V12.5踐行規(guī)模法則，特斯拉快速推進(jìn)探索自動駕駛“無人區(qū)”。馬斯克曾經(jīng)在財報練數(shù)據(jù)仍需來自于優(yōu)質(zhì)的人類駕駛行為。對特斯拉而言，目前有數(shù)百萬輛量產(chǎn)車輛里。在2024年4月馬斯克表示到2024年在訓(xùn)練算力、海量的量視頻存儲上將特斯拉將累計投入超過100億美元。特斯拉一步步探索自動駕駛的資料來源：新浪科技 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明9/382.1、端到端算法將駕駛行為“融會貫通”駛算法中，人類工程師依靠自己的經(jīng)驗將駕駛問題拆解和提煉為一些簡單的過程，通常情況下自動駕駛算法分為感知、預(yù)測、規(guī)劃控制幾個部分，以流水線式的架構(gòu)進(jìn)行拼接，模塊之間會以人為定義的信息表征方式進(jìn)行信息傳遞，進(jìn)而實現(xiàn)駕駛?cè)蝿?wù)。端到端算法則采用一個整體化的神經(jīng)網(wǎng)絡(luò)，在模型的一端輸入感知信息，另一端直接輸出軌跡或者控制信號，將整個駕駛行為“融會貫通”。模塊化算法以人類定義的抽象結(jié)果作為中間產(chǎn)物，如感知模塊將外部的汽車、行人、道路等元素簡化為檢測框（Boundingbox）或者占用柵格以及車道線等；而預(yù)測和規(guī)劃模塊則根據(jù)上游感知提供的信息，將復(fù)雜的世界抽象為幾類簡單的場景，分別輸出軌跡點(diǎn)和駕駛路徑和行為。這實際上會造成信息損失，當(dāng)人為定義的抽象的指標(biāo)并不能很好的描述場景時，下游模塊只能根據(jù)有限的信息做判斷，造成錯誤的結(jié)果，體驗上來講會造成模型對復(fù)雜場景的處理能力不足，泛化性差，決策僵硬。端到端算法則可以將各個模塊幾乎所有信息傳遞給下游模塊，并且由下游模塊來決定使用哪些上一環(huán)節(jié)的信息。例如當(dāng)經(jīng)過側(cè)面有障礙物遮擋的小巷子時，如果人類司機(jī)觀察到障礙物后面有汽車發(fā)出的燈光，可能會提前減速。模塊化的算法由于感知端只檢測障礙物、車道線等內(nèi)容，可能會丟掉光照變化的信息，規(guī)控算法則無法提前規(guī)避側(cè)向來車；而對端到端算法來說，全部傳感器感知到的數(shù)據(jù)都會被收集，只要有足夠的數(shù)據(jù)，模型會自己學(xué)習(xí)到燈光和駕駛員行為的關(guān)聯(lián)進(jìn)而擬人化的處理 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明10/38在模塊化算法中，每個模塊都以人類工程師定義的目標(biāo)進(jìn)行優(yōu)化，各個部分分而治之，可能出現(xiàn)局部最優(yōu)但整體效果差的情況，如目標(biāo)檢測的指標(biāo)是平均精度（mAP規(guī)控算法的檢測指標(biāo)要考慮碰撞率、任務(wù)完成率等。端到端自動駕駛則對整個自動駕駛流程進(jìn)行優(yōu)化，神經(jīng)網(wǎng)絡(luò)的鏈?zhǔn)椒▌t可以從輸出端（控制）向輸入端（感知）貫通，輸出結(jié)果可以將誤差依次反向傳播給所有模塊，以最小化整體損失函數(shù)為目標(biāo)，更加準(zhǔn)確地更新每個網(wǎng)絡(luò)層中的參數(shù)，以使體驗達(dá)到最優(yōu)狀態(tài)。這一重要的全局信息）在特斯拉FSDV12版本的視頻中，有不會完全按照感知呈現(xiàn)的結(jié)果執(zhí)行駕駛行為，或許亦體現(xiàn)了全局優(yōu)化的優(yōu)勢（規(guī)控這一優(yōu)勢也可以被視為用基于神經(jīng)網(wǎng)絡(luò)的算法取代基于規(guī)則為主算法帶來的優(yōu)勢。吳新宙在GTC大會上提到，在傳統(tǒng)自動駕駛開發(fā)過程中，工程師希望定義一些動作，通過建立狀態(tài)機(jī)轉(zhuǎn)換不同的動作來實現(xiàn)駕駛，而為了實現(xiàn)更好的駕駛效果，會引入越來越多的動作讓機(jī)器的行為盡量像人。但現(xiàn)實情況中，人類的行為難以通過一些離散的動作量化，規(guī)則無法定義什么是好的駕駛，甚至有些場景下并無最優(yōu)決策，好比單純用文字很難精確的描述一幅畫的內(nèi)容，何小鵬提到無限接近人的自 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明11/38動駕駛系統(tǒng)大概等效于10億條規(guī)則，靠人類根本無法達(dá)到，因此傳統(tǒng)算法產(chǎn)生的駕駛決策死板單調(diào)，擬人性差。端到端或者說基于學(xué)習(xí)的規(guī)劃讓模型去學(xué)習(xí)人類行為，會大幅提升算法的適應(yīng)性和靈活度，據(jù)元戎啟行在GTC大會上介紹道，元戎的算法由于使用了端到端技術(shù)，不僅實現(xiàn)了舒適、高效，還會考慮后車需求，實現(xiàn)采用端到端的自動駕駛算法，可以采用無監(jiān)督的算法訓(xùn)練方式，省去標(biāo)注環(huán)節(jié)，采用海量數(shù)據(jù)對模型進(jìn)行訓(xùn)練，突破性能上限。而模塊化算法則只能依靠工程師來模塊化算法中，從傳感器收集信息開始就不可避免的出現(xiàn)誤差，每個模塊產(chǎn)生的誤差如標(biāo)定誤差、定位精度誤差、控制誤差等會在模塊間傳遞，最終會在下游累積，導(dǎo)致控制模塊收斂難度加大。同時，模塊之間的數(shù)據(jù)傳輸和計算都需要花費(fèi)時間，導(dǎo)致整體算法延時較高，處理緊急場景能力弱。端到端算法則可避免上述情況出現(xiàn)。此外馬斯克亦表示，通過使用端到端自動駕駛算法，特斯拉采用2000行代首先由于模型被構(gòu)建為一個整體，無法像傳統(tǒng)自動駕駛?cè)蝿?wù)一樣將中間結(jié)果進(jìn)行分析，因此可解釋性較差。其次由于算法完全依靠數(shù)據(jù)驅(qū)動，對數(shù)據(jù)的質(zhì)量、數(shù)據(jù)分布等要求高，海量數(shù)據(jù)的獲取或生成難度較大。此外仿真驗證也是端到端算法開發(fā)的難點(diǎn)，端到端算法更需要閉環(huán)評估，而在當(dāng)前的技術(shù)條件下，缺乏良好的工 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明12/38具實現(xiàn)這一過程。最后對自動駕駛公司來說，算法的變化也意味著團(tuán)隊的調(diào)整，如在自動駕駛端到端算法領(lǐng)域，大體形成幾大方向：將不同功能的神經(jīng)網(wǎng)絡(luò)模塊拼接形成端到端的自動駕駛算法（顯式依靠多模態(tài)基礎(chǔ)模型實現(xiàn)端到端自動駕駛算到端算法。該算法包含可見的算法模塊，可以輸出中間結(jié)果，當(dāng)進(jìn)行故障回溯時可以一定程度上進(jìn)行白盒化調(diào)整，訓(xùn)練時首先將每個模塊分別訓(xùn)練，再將其拼接進(jìn)行聯(lián)合微調(diào)和訓(xùn)練，在數(shù)據(jù)量有限的情況下更容易收斂，且對于算法團(tuán)隊來說可以最大限度的繼承此前模塊化算法的開發(fā)能力，同時又具備端到端算法的優(yōu)勢，是目前方法，可明顯的觀察到算法中仍包含感知、預(yù)測、占用預(yù)測、規(guī)劃器等模塊，并采數(shù)據(jù)，忽略中間過程，直接監(jiān)督最終控制信號進(jìn)行訓(xùn)練。這類模型通常采用視覺或 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明13/38者多模態(tài)的信息作為輸入，模型直接輸出控制或者軌跡信號。諸多玩家探索的自動駕駛世界模型在這里也有應(yīng)用，即將視頻、甚至文字信息送入模型，此后模型可以預(yù)測未來發(fā)生的事情以及所應(yīng)該采取的行動，或者可以對所執(zhí)行操作進(jìn)行文字解釋。該方案理論上限更高，但訓(xùn)練難度高，收斂困難，對數(shù)據(jù)需求量大且可解釋性差，資料來源：《RecentAdvancementsinEnd-to-EndAutonomousDrivingusingDeepLearning:AWayve的端到端自動駕駛網(wǎng)絡(luò)即采用單一的神經(jīng)網(wǎng)絡(luò)，直接輸入感知數(shù)據(jù)車輛的駕駛動作，中間沒有抽象化的感知結(jié)果輸出，因此車輛上也不包含通常自動學(xué)術(shù)界百花齊放，世界模型成為玩家探索方向。近年世界模型受到市場關(guān)注，通過將外部環(huán)境的信息進(jìn)行編碼，由模型基于這些輸入的語料來預(yù)測未來世界可能的狀態(tài)，再通過不同的解碼器解碼出不同類型的信息，亦成為開發(fā)端到端自動駕駛算法的一大方式。以極佳科技和清華大學(xué)聯(lián)合推出的DriveDreamer為例采用注意力機(jī)制和Diffusion模型構(gòu)建。可對駕駛場態(tài)的輸入數(shù)據(jù)如文本、視頻、高精度地圖、3D檢測框、駕駛行為等，可以實現(xiàn)可控的駕駛視頻生成和預(yù)測未來的駕駛行為。同時DriveDreamer還可以與駕駛動，根據(jù)輸入的駕駛動作預(yù)測不同的未來駕駛視頻。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明14/38資料來源：《DriveDreamer:TowardsReal-world-drivenWorldModelsforAutonomousDriving》資料來源：《DriveDreamer:TowardsReal-world-drivenWorldModelsforAutonomousDriving》大語言模型采用海量的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行自監(jiān)督學(xué)習(xí)，可以對人類的問題給出優(yōu)質(zhì)反饋。大語言模型憑借其強(qiáng)大的認(rèn)知能力，越來越多的被應(yīng)用于駕駛場景。經(jīng)過前期的預(yù)訓(xùn)練，模型已經(jīng)吸收了駕駛相關(guān)的知識，并且廣泛理解世界的“常識”，規(guī)劃、整個駕駛環(huán)節(jié)、以及駕駛行為解釋上。尤其是大語言模型可以對話的特性， 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明15/38在2023年推出了LINGO-1，該模型在各類視覺和語言數(shù)據(jù)源感知、規(guī)劃、推理等任務(wù)進(jìn)行視覺問答，并可以對駕駛行為作出解釋。升級版本的在學(xué)術(shù)界大語言模型用作自動駕駛的方案更如雨后春筍。GPT-Driver、端到端自動駕駛系統(tǒng)，通過將視頻、語音提示模型，語言模型生成對人類問題的相應(yīng)回答以及控制信號，再經(jīng)過編碼等步驟還原 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明16/38的場景，LLM模型仍然會產(chǎn)生無意義或者錯誤可能會包含有害的內(nèi)容。此外大語言模型延遲較高，對計算資源要求較大，不易滿足端側(cè)需求。最后大語言模型對3D場景理解度仍然不高，模型是否能夠很好的適用于駕駛場景仍然需要不斷驗證。算法、數(shù)據(jù)、算力全面升級推動自動駕駛邁向更強(qiáng)大水準(zhǔn)。正如我們學(xué)習(xí)駕駛一樣，好的老師、大量的練習(xí)以及基礎(chǔ)的“腦力”均不可或缺，對自動駕駛而言，與所有AI應(yīng)用類似，算力、算法、和數(shù)據(jù)三要素都必不可少。算力層面，規(guī)模法則驅(qū)動下，海量的算力成為開發(fā)優(yōu)秀AI算法的基礎(chǔ)。數(shù)據(jù)方面，數(shù)據(jù)的體量、質(zhì)量、以及收集方式、處理方式、以及模型的訓(xùn)練和驗證體系都考驗著開發(fā)者的技術(shù)和工程能力。算法層面，如何構(gòu)建一個性能優(yōu)異且穩(wěn)定可靠的算法來支撐功能落地， 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明17/38人類思考包含快系統(tǒng)（系統(tǒng)一）和慢系統(tǒng)（系統(tǒng)二）。諾貝爾經(jīng)濟(jì)學(xué)獎得主，快速的、本能的、自動的、情緒化的、潛意識的、條件反射的；“系統(tǒng)二”是緩慢的、刻意的、邏輯的、縝密細(xì)致的。大腦通常把很多身體運(yùn)動相關(guān)的功能交給“系統(tǒng)一”來處理，比如一些本能行為，皮膚的燙傷，迎面飛來的物體，需要我們盡可能快的速度做出反應(yīng)；而語言等抽象能力被大腦交給了“系統(tǒng)二”的新大腦皮層，這里可以處理非常復(fù)雜的問題，并且有強(qiáng)可塑性。就如我們計算七九六十三，可以對系統(tǒng)二的“訓(xùn)練”如科目一交通法規(guī)的學(xué)習(xí)，也有對系統(tǒng)一的“訓(xùn)練”，如各種科目二的一些簡單操作的“練習(xí)”，即使拿到駕照，還需在道路上長時間駕駛才能夠成為經(jīng)驗豐富的駕駛員。在駕駛過程中也通常是系統(tǒng)一和系統(tǒng)二協(xié)同行動，當(dāng)在熟悉的道路上駕駛時，通常不需要花費(fèi)太多精力在駕駛行為本身，依靠系統(tǒng)一基本可以自然而然的快速完成駕駛行為，并且可以分出精力和乘客聊天；而當(dāng)在不熟悉的道路上行駛，或者需要趕時間，或者經(jīng)驗不足時，這時系統(tǒng)二會上線，此時我們做出精準(zhǔn)的判斷的時候可能會降低車速，以留下充足的思考和反應(yīng)時間。未來的長尾場景不可避免，數(shù)據(jù)訓(xùn)練可以學(xué)習(xí)過去安全標(biāo)準(zhǔn)將駕駛場景分為四類：已知安全（KnownSafe）、已知不安全（Known而言，當(dāng)前的思路是基于收集的海量的數(shù)據(jù)來訓(xùn)練模型，將圖30中藍(lán)色區(qū)域內(nèi)已知非安全場景轉(zhuǎn)化為綠色區(qū)域內(nèi)已知安全的場景，盡可能擴(kuò)大綠色以及藍(lán)色區(qū)域的范圍。但實際情況中，白色區(qū)域里未知且不安全的事件永遠(yuǎn)存在，例如并不是所有的長尾場景都是歷史上發(fā)生過的，當(dāng)?shù)缆飞铣霈F(xiàn)歷史上從未發(fā)生過的場景，理論上是沒有可能提前被收集并交給模型訓(xùn)練，模型會有非常對底層物理世界常識的理解助力人類輕松處理長尾場景。首先，正如YannLecun在《APathTowardsAutonomousMachineIntelligence》中所描 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明18/38速的學(xué)習(xí)駕駛，或許是基于人類強(qiáng)大的“世界模型”，即從孩童時期即開始逐步形成的，駕駛之外對于世界基礎(chǔ)常識的理解（在學(xué)習(xí)駕駛之前我們就知道什么是合理的，什么是不可能的，什么是危險的，什么是安全的讓我們能夠通過快速鏈接已有知識而形成對新技能的構(gòu)建。而當(dāng)人類面對長尾場景時，對于世界底層規(guī)律的理解，將幫助人類形成強(qiáng)大的推理能力和泛化能力，即使面對沒有遇到過的場景人自動駕駛提供思路?；氐阶詣玉{駛，在有人類駕駛員的情況下，自動駕駛算法只需處理大部分常見場景，極端的長尾問題可由人類兜底。而要徹底實現(xiàn)無人駕駛，或許像人類一樣，需要同時具備系統(tǒng)一和系統(tǒng)二能力，模型既需要精通駕駛技能并且能快速反應(yīng)，同時也需具有世界基礎(chǔ)常識，能一定程度理解世界運(yùn)行的深層次含義，這樣才能良好的察覺對象的意圖，在面對復(fù)雜的場景時通過推理能力解決問題。因此在無人的環(huán)境下自動駕駛并非難事，而在城市中，駕駛汽車實際上是通過駕駛行為本身來和其他行人、車輛等“交流”的過程，大語言模型橫空出世后其和人類的交流讓人們倍感震撼，而“車”與“車”以及其他道路元素之間的“交流”盡管不和系統(tǒng)二能力結(jié)合有望為去掉駕駛員，徹底實現(xiàn)自動駕駛提供解決思路。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明19/38BEV+Transformer，之后不斷演進(jìn)到端到端?？傮w而言，從基于規(guī)則逐步轉(zhuǎn)向基于神經(jīng)網(wǎng)絡(luò)，從小規(guī)模、模塊化的算法走向基于大規(guī)模神經(jīng)網(wǎng)絡(luò)，端到端的自動駕駛端到端大勢所趨，發(fā)展亦有望經(jīng)歷漸進(jìn)過程。目前海外特斯拉、Wayve、Comma.ai，國內(nèi)包括小鵬、理想、華為、元戎啟行、商湯、地平線等諸多玩家都提出自己的端到端自動駕駛方案，在算法上端到端已經(jīng)成為大勢所趨。但在發(fā)展路徑上，行業(yè)預(yù)計也會經(jīng)歷漸進(jìn)的過程。早期玩家致力于將算法從模塊化架構(gòu)平穩(wěn)過渡到端到端，遠(yuǎn)期大語言模型和端到端基礎(chǔ)模型有望結(jié)合形成“系統(tǒng)一”和“系統(tǒng)二”共同賦能自動駕駛，最終強(qiáng)大的通用人工智能（AGI）或許可覆蓋所有駕駛開發(fā)難度大，面對嶄新的算法形態(tài)，量產(chǎn)玩家大多采取了漸進(jìn)的策略，先將決策和規(guī)控算法神經(jīng)網(wǎng)絡(luò)化，小步快跑逐步為未來的全棧端到端打下基礎(chǔ)。華為在2024年智能汽車解決方案發(fā)布會上推出了GOD（感知大模型）+PDP（端到端規(guī)控大模 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明20/38Xnet+Xbrain+Xplanner的端到端自動駕駛架構(gòu)。而即使目前已經(jīng)表示采用全棧端到端網(wǎng)絡(luò)的玩家如元戎啟行和商湯，也會輔助以規(guī)則化的策略來進(jìn)行兜底保障安全。吳新宙曾經(jīng)提到，端到端將在長期與傳統(tǒng)自動駕駛堆棧并行運(yùn)行，最初端到端模型將在影子模式下運(yùn)行，以便在相同的場景下比較人類駕駛、傳統(tǒng)堆棧和端到端算法三者輸出的行為差異，并根據(jù)人類反饋進(jìn)行微調(diào)；之后端到端可以和傳統(tǒng)技術(shù)堆棧并行，兩者形成互補(bǔ)；成熟之后則可以逐步淘汰傳統(tǒng)堆棧。端到端算法像襁褓里的天才少年，盡管未來可能成為博士，但成長過程中需要小學(xué)、初中老師去帶教，這便是當(dāng)前傳統(tǒng)堆棧起到的作用，隨著時間的推移，端到端將最終成長成為強(qiáng)大的可要“系統(tǒng)一”和“系統(tǒng)二”的結(jié)合，在自動駕駛中，神經(jīng)網(wǎng)絡(luò)天生就像系統(tǒng)一，暴力計算一個近似的函數(shù)來執(zhí)行；而大語言模型擁有海量參數(shù)，并廣泛的學(xué)習(xí)人類世界知識，具有較強(qiáng)的認(rèn)知水平，其所具備思維鏈能力可以通過提示詞一步步完成復(fù)雜任務(wù)，類似系統(tǒng)二。在未來，大語言模型有望和端到端基礎(chǔ)模型結(jié)合，形成類似系統(tǒng)一和系統(tǒng)二的功能共同賦能自動駕駛。理想汽車和清華聯(lián)合推出的DriveVLM、以及英偉達(dá)在GTC大會上所提到的基礎(chǔ)模型都有類似的設(shè)想和思考。其中英偉達(dá)大語言模型正在成為自動駕駛領(lǐng)域兩個尤為重要的基礎(chǔ)模型，通過兩者的有機(jī)結(jié)合，可以讓兩個方案相互之間揚(yáng)長避短，在他提到的“并行駕駛”的算法架構(gòu)中，大語言模型可以被嵌入其中，作為導(dǎo)航規(guī)劃器或者監(jiān)視器來處理復(fù)雜場景。在其另一項研究中自動駕駛算法采用了快-慢推理的流水線，可以看到當(dāng)遇到帶有停止標(biāo)志（Stopsign）的廣告牌場景時，大語言模型幫助很好的識別了廣告牌上的停止標(biāo)志（Stopsign避免了幽靈剎車情況的出現(xiàn)。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明21/38二和系統(tǒng)一結(jié)合賦能自駕。2024年清華大學(xué)和理想汽車一道，提到一種基于DriveVLM-Dual的思路，意在將端到端模型和大語言模型相結(jié)合，使得自動駕駛系統(tǒng)同時具備系統(tǒng)一和系統(tǒng)二的能力。一方面，將大語言模型用于自動駕駛場景，設(shè)計場景描述、場景分析、層級規(guī)劃等遞進(jìn)式的思維鏈，分別對應(yīng)自動駕駛的感知、規(guī)劃和控制，來借助大語言模型的認(rèn)知能力解決駕駛中的長尾場景。另一方面，將傳統(tǒng)算法的感知規(guī)控等環(huán)節(jié)和大模型得出的結(jié)果異步推進(jìn)，相互驗證，避免大語言模型幻想問題，最終達(dá)到好的駕駛效果。測試中發(fā)現(xiàn)模型可良好的識別警察揮手等動作，應(yīng)對此前無法解決的長尾場景。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明22/38多個模型殊途同歸，通用世界模型或許可徹底實現(xiàn)自動駕駛。本質(zhì)自動駕駛模型是精通垂直領(lǐng)域的專業(yè)模型，依靠海量汽車收集的三維數(shù)據(jù)以及駕駛員駕駛數(shù)據(jù)，學(xué)習(xí)到了對空間的理解、駕駛等知識；而大語言模型則匯集全人類所有的知識，形成強(qiáng)大的通用模型。在遙遠(yuǎn)的未來，這些模型或許最終都將邁向相同的終點(diǎn)。近期，馬斯克旗下的X.AI發(fā)布了新的多理世界時表現(xiàn)出卓越能力，團(tuán)隊提出了一項新的大模型測試基準(zhǔn)——RealworldQA，該基準(zhǔn)可以用于評估多模態(tài)模型對世界空間的理解能力，如基于圖片中的道路情況判斷自車是否能通過等，經(jīng)過評估，Grok-1.5V在該領(lǐng)域能力領(lǐng)先GPT4V不得不聯(lián)想到海量的特斯拉數(shù)據(jù)是否在其中起到的至關(guān)重要的作用。此外近年隨著具身智能的發(fā)展，如何讓智能體在與環(huán)境的交互中學(xué)習(xí)世界的通用規(guī)律也日益受到重視，汽車自身包含的諸多傳感器，成為天然的多模態(tài)數(shù)據(jù)收集器，這些數(shù)據(jù)不僅限于視覺、激光雷達(dá)，也包含IMU等，能夠很好的“體驗”到三維世界、加速度、 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明23/38重力等元素，理解環(huán)境的變化，并與環(huán)境交互。大語言模型不僅能夠協(xié)助自動駕駛端到端時代的來臨讓數(shù)據(jù)的重要性空前提升。在傳統(tǒng)基于規(guī)則的算法時代，工程師將如何執(zhí)行駕駛行為凝練成為規(guī)則寫入自動駕駛算法，當(dāng)模型出現(xiàn)問題時，修改或添加新的規(guī)則即可完成對問題的修復(fù)。而對端到端自動駕駛算法而言，模型只會通過駕駛的視頻片段學(xué)習(xí)駕駛行為和對環(huán)境的理解，因此如何將人類想要讓模型學(xué)習(xí)到的內(nèi)容賦予到數(shù)據(jù)中，并讓模型在訓(xùn)練中能夠?qū)W習(xí)這些先驗知識難度較高。因為每個人類駕駛的視頻片段其實都包含豐富的駕駛行為，讓模型理解到這些視頻片段中的某一種抽象化的先驗知識（如左轉(zhuǎn)讓直行）并不容易。蔚來汽車任少卿曾在采訪中提到，傳統(tǒng)模塊化算法需要改變控制策略時，可以找到代碼中具體的幾行參數(shù)修改，之后測試1%的案例即可，而端到端的算法中，小的改動需要重新對自動駕駛算法進(jìn)行訓(xùn)練，難度可想而知。因此海量的、多樣化的、優(yōu)質(zhì)的數(shù)據(jù)不可或缺，同時自動化、高水平的數(shù)據(jù)處理體系亦至關(guān)重要。據(jù)毫末智行首席科學(xué)家表示，數(shù)據(jù)的需求激增，并且伴隨模型體量的增加而擴(kuò)大；對質(zhì)量的要求也顯著提高，多 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明24/38樣性和豐富度不可或缺。以特斯拉為例，馬斯克在2016年發(fā)布《宏圖計劃第二篇球監(jiān)管機(jī)構(gòu)的批準(zhǔn)，2022年他再次在社交媒體上申明了這其中，特斯拉還會挑選出人類優(yōu)質(zhì)司機(jī)所采取的行為來5月，在解決了算力瓶頸之后，馬斯克表示更大的難點(diǎn)在于對長尾數(shù)據(jù)的收集。目里，在年底超過60億英里。觀察特斯拉的功能迭代也可以看出，要想達(dá)到特斯拉的自動駕駛水準(zhǔn)，海量、多樣化、高質(zhì)量的數(shù)據(jù)不可海量車隊和強(qiáng)有力的數(shù)據(jù)閉環(huán)體系是自動駕駛核心數(shù)數(shù)據(jù)是算法持續(xù)迭代的核心資源，海量的車隊將保障車企及時獲取自己需要的數(shù)據(jù)來訓(xùn)練算法，同時也能夠收集到足夠多樣的長尾場景來增強(qiáng)模型的處理能力，這其中海量的車隊保有量以及強(qiáng)有力的數(shù)據(jù)閉環(huán)體系缺一不可。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明25/38在北美擁有約300-400萬輛車的用戶車隊對數(shù)據(jù)的旺盛需求，推動生成式AI重要性提玩家對數(shù)據(jù)的要求日益提升，廠家希望數(shù)據(jù)能夠包含復(fù)雜交通流、具有豐富的場景以及各類長尾問題、并且具備3D標(biāo)注信息。而現(xiàn)實狀態(tài)下，數(shù)據(jù)的采集成本居高不下，部分危險的場景如車禍等難以采集，長尾場景稀缺，同時3D標(biāo)注的成本高昂，因此采用合成數(shù)據(jù)來助力自動駕駛模型訓(xùn)練測試成為頗具前景的Nerf、3DGaussion、視頻生成等技術(shù)的路線。其中早年的仿真主要依賴物理仿真模型再疊加游戲引擎等工具進(jìn)行渲染，這類方案的問題在于想達(dá)到較強(qiáng)的真實感門檻較高，且需要建模大量的高質(zhì)量資產(chǎn)，優(yōu)點(diǎn)在于可編輯性、可控性較強(qiáng)。近年，神經(jīng)輻射場（Nerf）走上臺前，其可以將橫空出世，更優(yōu)的計算效率讓其在用戶中廣泛使用。由于Nerf和3DGa將平面圖像進(jìn)行立體還原，無法“憑空”生成場景，因此多采用三維重建+場景編輯的方式解決仿真問題，但泛化性仍然有限。高中中高強(qiáng)中中高弱低高高弱強(qiáng) 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明26/38分為兩類：開環(huán)評估和閉環(huán)評估，開環(huán)評估中自車的輸出不會影響評測環(huán)境，閉環(huán)評估中環(huán)境的變化會受到自車行為的影響，類似“看電影”和“玩游戲”的差異。傳統(tǒng)模塊化算法架構(gòu)，可以單獨(dú)的評估感知和規(guī)控算法的效果。其中，感知環(huán)節(jié)可以依靠開環(huán)測試直接對比模型輸出結(jié)果和真實數(shù)據(jù)或標(biāo)注數(shù)據(jù)的一致性，而規(guī)控環(huán)節(jié)則可依靠某些閉環(huán)評測仿真工具如Carla等構(gòu)建虛擬環(huán)境評估模型對駕駛場景的決策處理能力，前者側(cè)重環(huán)境的真實性，后者側(cè)重場景和駕駛邏輯的豐富度。而在端到端模型中，駕駛行為被作為一個整體，難以進(jìn)行開環(huán)評估，同時對虛擬環(huán)境的逼真程度要求高，模型整體的閉環(huán)驗證成為難點(diǎn)。而近期出現(xiàn)的世界模型可以直接預(yù)測當(dāng)前駕駛場景的“未來”，或許能夠為端到端自動駕駛的閉環(huán)驗證難題提供解決方案。端到端模型更加依賴規(guī)模法則（ScalingLaw新一輪開。端到端模型與大語言模型高度相似，規(guī)模效應(yīng)明顯，海量的數(shù)據(jù)依賴更高的算力和存儲能力，數(shù)據(jù)驅(qū)動的開發(fā)形式也讓模型高度依賴算力規(guī)模來提升迭代速率。19.5Pflops算力，而要想實現(xiàn)極致的自動駕駛功能和性能體驗，則需要遠(yuǎn)高于此的算力支撐。馬斯克曾經(jīng)在多個場景下表示特斯拉將建設(shè)海量算力以支撐其自動駕駛的雄心，在2024年一季度財報電話會上，馬斯克表示目前公司投入使用了大約等馬斯克亦在社交平臺表示截至2024年特斯拉將在訓(xùn)練、數(shù)據(jù)閉環(huán)和海量視頻存儲上累計投入超過100億美元。國內(nèi)我們看到領(lǐng)先玩家亦開啟了新一5天迭代一次。而商湯大裝置已經(jīng)布局全國一體化的智算網(wǎng)絡(luò)，總體算力達(dá)到12000PFLOPS，能夠有效支持其大模型、自動駕駛等算法的使用，小鵬汽車則在其 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明27/38資料來源：電動汽車觀察家公眾號、ATC智車未來公眾號、HiEV大蒜粒車研所公眾號等、開源端自動駕駛邁進(jìn)。感知端：ADS1.0是基于BEV的白名單目標(biāo)和道路結(jié)構(gòu)感知，只保留GOD，在白名單障礙物、異形障礙物識別、道路結(jié)構(gòu)感知的基礎(chǔ)上增加對場景的理解，包括紅綠燈、車流信息等。華為采用融合傳感，對激光雷達(dá)進(jìn)行進(jìn)一步升級，提升全天候能力以應(yīng)對惡劣天氣，同時提升小目標(biāo)和小物體的檢測能力，米測遠(yuǎn)，成像精度從20cm提升到5cm，時延降低。規(guī)控端：在預(yù)測決策規(guī)控用整體化的神經(jīng)網(wǎng)絡(luò)，使得決策更準(zhǔn)確，行為更類人，通行更高效。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明28/38ObstacleDetecttion,通用障礙物感知）網(wǎng)絡(luò)。前端用不同的骨干網(wǎng)絡(luò)來提取外部環(huán)境的特征，這些特征被送入時空神經(jīng)網(wǎng)絡(luò)，來構(gòu)建一個外部世界的3D表達(dá)形式，這是完成多模態(tài)感知的關(guān)鍵，網(wǎng)絡(luò)可以輸出占用柵格、光流預(yù)測、危險區(qū)域預(yù)測甚至可以輸出規(guī)劃結(jié)果，同時網(wǎng)絡(luò)中也包含有豐富的語義信息。這樣的網(wǎng)絡(luò)可以感知靜態(tài)和動態(tài)的障礙物，也可以預(yù)測道路的3D結(jié)構(gòu)，進(jìn)而幫助車身控制以及ARHUD顯式，由于網(wǎng)絡(luò)中包含了駕駛所需要的所有信息，因此它也可以預(yù)測車輛超過50萬輛。整體而言華為基于其強(qiáng)大的全產(chǎn)業(yè)鏈布局能力，自底向上，形成了以數(shù)學(xué)、物理等基礎(chǔ)研究為根基，基礎(chǔ)算法、操作系統(tǒng)、各類應(yīng)用及軟硬件的強(qiáng)大體系，未來有望在自動駕駛領(lǐng)域持續(xù)引領(lǐng)行業(yè)。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明29/38型的量產(chǎn)車型上市。元戎認(rèn)為，系統(tǒng)是否能夠在復(fù)雜路段流暢行駛、全場景理解能力及類人化決策、兜底策略是否可靠、天花板等幾個方面是端到端的關(guān)鍵，目前元戎可以滿足所有上述要求。創(chuàng)始人周光認(rèn)為，端到端模型擁有極高的上限，同時在初期上車的階段，還有很多安全兜底策略，例如測試到碰撞可能發(fā)生，會啟動安全模型讓車采取保守的安全策略，隨著模型表現(xiàn)越來越在發(fā)布會上提到，較為穩(wěn)定的傳統(tǒng)量產(chǎn)智駕系統(tǒng)，大約有10萬條左右各類人工定義的規(guī)則，而一個無限接近人類司機(jī)的自動駕駛系統(tǒng)，大概等效于10億條規(guī)則， 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明30/38這對于需要快速更新迭代的自動駕駛系統(tǒng)來說是難以承擔(dān)的。而端到端算法通過讓機(jī)器學(xué)習(xí)海量的人類駕駛視頻片段，可以把數(shù)以百萬計的人類駕駛方式放到具有海量參數(shù)的自動駕駛模型中。具體而言，小鵬的算法將感知、策略和規(guī)控統(tǒng)一在相同的Transformer架構(gòu)下，保證模型有足夠解釋性的前提下，提升算法的一體化程度。規(guī)控端采用Xbrain類似人的大腦，可以甚至可以讀取文字信息進(jìn)而進(jìn)一步增強(qiáng)對場景的理解；而XPlanner則起到小腦用，在控制環(huán)節(jié)讓車輛變得更像老司機(jī)，減少前后里，仿真測試?yán)锍汤塾嬤_(dá)到2.16億公里，核心模擬場景超過2.2 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明31/38感知和規(guī)控合并，端到端方案即將發(fā)布。蔚來的端到端智駕方案將是感知和規(guī)性成果，端到端方案也將在年內(nèi)發(fā)布。厚積薄發(fā)，構(gòu)建完備自動駕駛體系。借助云端和車端的算力，搭建超級AI，通過不同的閉環(huán)體系做相應(yīng)的數(shù)據(jù)處理和分布式訓(xùn)練，在這樣的平臺基礎(chǔ)上構(gòu)建算法能力，包含感知、地圖行為、環(huán)境信息識別、人機(jī)共駕、規(guī)控等模塊，最終匯聚成兩大功能：全域領(lǐng)航輔助和安全，這也契合蔚來自動駕駛的愿景——解放時間，蔚來在自動駕駛算法中的感知和規(guī)控環(huán)節(jié)都采用了神經(jīng)網(wǎng)絡(luò)賦能。在感知端采辨率的架構(gòu)解決遠(yuǎn)近物體識別的問題，同時在云端訓(xùn)練一個大模型進(jìn)行無監(jiān)督的訓(xùn)練，輔助車端模型進(jìn)行感知。在規(guī)控端，引入了數(shù)據(jù)驅(qū)動的分層價值網(wǎng)絡(luò)，通過分層搜索的形式，找到最優(yōu)解。具體而言，通過多模態(tài)的注意力網(wǎng)絡(luò)從感知數(shù)據(jù)中篩在具體的行為規(guī)劃和控制過程，采用獎勵函數(shù)網(wǎng)絡(luò)給出一個最舒適、擬人化的結(jié)果。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明32/38 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明33/38地平線推動自駕從可用到好用到愛用。地平線在發(fā)布會上深入闡述了對智駕階段的思考，1.0階段是技術(shù)跑通，保障車輛行為要符合用戶的心理預(yù)期，且滿足社會慣例，為用戶提供心理安全，安全感，即感知和規(guī)控分別采用神經(jīng)網(wǎng)絡(luò)構(gòu)筑擬人化的自動駕駛解決方案。感知端地平線采用了基于Transformer的端到端感知網(wǎng)路實現(xiàn)更強(qiáng)的檢測能力和準(zhǔn)確的長尾物體感知能力，以及對鬼探頭等場景的識別能力，同時代碼行數(shù)降低，效率有效提升。在規(guī)控端，采用了交互式預(yù)決策模型，將自車的決策放入模型，進(jìn)行反復(fù)推演，進(jìn)而實現(xiàn)更好的他車、自車意圖的推理，使得系統(tǒng)做出的行為更加擬人化，最終送入傳統(tǒng)的運(yùn)動規(guī)劃器做安全兜底，實現(xiàn)信號輸出。 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明34/38知決策一體化自動駕駛通用模型UniAD，次年，這篇論文獲得了計算機(jī)頂會CVPR端部署，作為“真”端到端的模型，UniAD將感知、決策、規(guī)劃等模塊整合全棧的Transformer端到端模型，實現(xiàn)感知決策一體化，表現(xiàn)出更高的性能上限，同時由于團(tuán)隊在模型的可控性等方面加入了更多的優(yōu)化，模型的安全性也大大提升。這樣的端到端模型擁有更強(qiáng)的泛化能力，迭代效率更快，可低成本快速的為車企自動駕駛賦能。從公布的視頻來看，算法可以良好應(yīng)對大角度左轉(zhuǎn)上橋、避讓占道車輛、施工區(qū)域、無保護(hù)左轉(zhuǎn)等場景，做到“像人一樣開 中小盤策略專題請務(wù)必參閱正文后面的信息披露和法律聲明35/38探索大語言模型和自動駕駛結(jié)合，探索完全無人駕駛技術(shù)路徑。在端到端系統(tǒng)基礎(chǔ)上，商湯絕影還在推出了新一代自動駕駛大模型DriveAGI，將大語言模型和自動駕駛?cè)跒橐惑w。通過適當(dāng)?shù)淖匀徽Z言提示，模型可以實現(xiàn)，對當(dāng)前場景狀態(tài)進(jìn)行表述，并給出所應(yīng)當(dāng)執(zhí)行的行為，或作為更高階的決策模塊去驅(qū)動底層的控制模型去操控車輛作出具體行為。由于大語言模型具有強(qiáng)大的開放世界理解能力，因此模型可以良好的處理各類復(fù)雜場景，如在十字路口有交通引協(xié)管員引導(dǎo)小朋友過馬路，即使前方是綠燈，模型也能夠清晰理解到當(dāng)前場景的狀態(tài)。此外模型也可以實現(xiàn)場景生成功能，通過控制信號和環(huán)境表述可以控制未來生成未來的視頻以及生成新的訓(xùn)練數(shù)據(jù)，賦能自動駕駛的仿真。DriveAGI擁有貼近人類的思維方式，能類意圖并能夠解決駕駛困難場景，向著完全無人駕駛邁出重要一步。作為國內(nèi)AI領(lǐng)域的領(lǐng)軍玩家，商湯原生自研了包含大語言模型、多模態(tài)模型、文生圖、文生視頻等諸多產(chǎn)品，具有自底層到上層的大模型構(gòu)建能力，對人工智能的理解