中小盤策略專題：Sora和世界模型殊途同歸自動駕駛行業(yè)有望加速

伐謀-《世界模型——自動駕駛的下一站—《需求驅(qū)動，智駕滲透加速可期，新《深耕戶外歷浮沉，堅定轉(zhuǎn)型煥新顏Sora和世界模型殊途同歸，自動駕駛行業(yè)有望加速入DiT算法增強(qiáng)可擴(kuò)展性，同時加入某些自回歸任務(wù)加方向有望讓產(chǎn)業(yè)互相借鑒，加速產(chǎn)業(yè)發(fā)展，推動自動駕駛加速實現(xiàn)。恒潤-W、均勝電子、華陽集團(tuán)、美格智能、華測導(dǎo)航。受益標(biāo)的：小鵬汽車 中小盤策略專題2/292/291、Sora橫空出世，世界模擬器驚艷世人 4 41.1.1、功能強(qiáng)大，可完成多種視頻圖片生成任務(wù) 51.1.2、性能優(yōu)異，對比其他產(chǎn)品形成顯著優(yōu)勢 61.1.3、起于視頻生成，邁向世界模擬器 61.2、Diffusion構(gòu)成Sora基座，不斷進(jìn)步羽翼漸豐 71.2.1、擴(kuò)散模型逐漸成為AI視覺生成的主流方案 71.2.2、擴(kuò)散模型依靠噪聲的添加和祛除實現(xiàn)圖像生成 91.2.3、StableDiffusion推動模型邁向更廣泛受眾 91.2.4、Transformer作為主干的擴(kuò)散模型DiT，規(guī)模優(yōu)勢凸顯 101.2.5、視頻生成歷經(jīng)發(fā)展，Diffusion模型逐步占據(jù)主要市場 111.3、Sora——踐行Scalinglaw+強(qiáng)大工程化能力下的產(chǎn)物 121.3.1、Sora以擴(kuò)散模型為基是多種技術(shù)的結(jié)合體 121.3.2、堅定Scalinglaw+強(qiáng)大工程化構(gòu)筑最強(qiáng)視頻生成模型 122、世界模型——自動駕駛的下一站 152.1、世界模型——理解世界，預(yù)測未來 152.2、世界模型——感知/記憶/控制的綜合體 162.3、世界模型是自動駕駛助推器，助力模型訓(xùn)練、驗證測試、甚至推理 172.4、自動駕駛各方勢力發(fā)力研究世界模型 183、世界模型、視頻生成殊途同歸，自動駕駛有望加速 243.1、模擬世界，自動駕駛世界模型、視頻生成模型以及具身智能擁有相似的目標(biāo) 243.2、模型架構(gòu)相似，產(chǎn)業(yè)發(fā)展有望加速 253.3、集結(jié)最優(yōu)秀人才和資源，Sora和世界模型有望相互促進(jìn)，加速發(fā)展 254、推薦及受益標(biāo)的 265、風(fēng)險提示 26圖1：AI視頻生成模型加速發(fā)展2023年四季度迎井噴 4圖2：Sora生成東京街頭女士，場景復(fù)雜 4圖3：特寫鏡頭細(xì)節(jié)飽滿效果逼真 4圖4：Sora功能強(qiáng)大，可按需完成各類視頻生成任務(wù) 5圖5：Sora的視頻生成時長遠(yuǎn)超其他競品 6圖6：Sora的視頻生成效果優(yōu)于Runway和Pika 6圖7：Sora生成的視頻在動態(tài)變化的過程中，視頻元素的3D形狀和位置保持一致 7圖8：Sora仍有瑕疵，呈現(xiàn)打碎被子液體飛濺的場景模擬并不準(zhǔn)確 7圖9：生成式模型主要有GAN、VAE、Diffusion等 8圖10：三大生成式模型性能各有優(yōu)劣 8圖11：Diffusion模型近年逐步成為生成式模型的主流方案之一，架構(gòu)上也不斷演進(jìn)性能持續(xù)提升 8圖12：DALLE2采用Diffusion模型構(gòu)建 8圖13：GAN（左）生成的圖片效果不及Diffusion（中） 8圖14：“加噪聲、“祛噪聲”構(gòu)成Diffusion模型的基本原理 9圖15：Diffusion模型的核心在于“噪聲預(yù)測器” 93/3/29圖16：相比擴(kuò)散模型，潛在擴(kuò)散模型將擴(kuò)撒步驟壓縮到潛在空間進(jìn)行，大幅提升計算效率 10圖17：謝賽寧等人提出VisionTransformer，進(jìn)一步提升擴(kuò)散模型的性能和規(guī)模性 11圖18：隨著算力的提升模型的誤差顯著降低 11圖19：更大計算量和更多模型參數(shù)都將帶來性能提升 11圖20：在視頻生成領(lǐng)域Diffusion模型亦逐步占據(jù)主流 12圖21：Sora采用了Diffusion和Transformer結(jié)合的架構(gòu) 12圖22：ViT中為了更高效的處理圖像信息，引入了“Patch” 13圖23：管狀嵌入的視頻分割模式有望幫助模型獲得更好的幀間關(guān)系處理能力 13圖24：Sora可以靈活的生成各種尺寸的視頻 14圖25：OpenAI或采用了Packn’Pack的處理方式適應(yīng)不同類型的視頻 14圖26：算力的提高可顯著提升模型的視頻生成效果 15圖27：運動員擊中的實際為人類“世界模型”中的棒球 15圖28：人類會預(yù)測感官未來感知到的事物 15圖29：人類在出生后很短的時間內(nèi)迅速學(xué)習(xí)到了世界運行的規(guī)律 16圖30：谷歌的論文中提出了一種感知、記憶、控制模塊齊備的“世界模型” 17圖31：世界模型可以用來實現(xiàn)多種自動駕駛?cè)蝿?wù) 17圖32：端到端時代，仿真算法提出新的要求，世界模型有望成為解決方案 18圖33：特斯拉的世界模型可實現(xiàn)對未來的預(yù)測 19圖34：可以用自然語言對模型生成內(nèi)容進(jìn)行控制 19圖35：特斯拉構(gòu)筑了基礎(chǔ)模型架構(gòu)實現(xiàn)嵌入式AI功能 19圖36：特斯拉模型不光輸入視頻信息，還包含里程計等 19圖37：Wayve的GAIA-1可生成各類交通場景以及相互之間的交互作用 20圖38：GAIA-1采用多模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，以自回歸模型和擴(kuò)散模型作為整體算法的骨架 21圖39：模型可以實現(xiàn)各類不同功能如圖像生成、視頻生成、自回歸視頻生成、視頻插幀等 21圖40：當(dāng)模型的算力和參數(shù)量提升時效果顯著提升 22圖41：2023.9采用的更大參數(shù)模型效果顯著優(yōu)于2023.6 22圖42：英偉達(dá)的自動駕駛基礎(chǔ)模型可生成多攝視角 22圖43：模型亦可根據(jù)提示詞生成多種駕駛場景 22圖44：學(xué)術(shù)界的自動駕駛世界模型如雨后春筍 23圖45：DriverDreamer采用擴(kuò)散模型和注意力機(jī)制構(gòu)建 23圖46：DriveDreamer呈現(xiàn)出較強(qiáng)的場景和動作輸出能力 24圖47：視頻生成、自動駕駛、具身智能面向相似的目標(biāo)，有望獲得世界模型賦能 25圖48：OpenSora可生成優(yōu)質(zhì)視頻素材 26 26表1：Sora的性能顯著優(yōu)于其他競品 6表2：推薦及受益公司盈利預(yù)測與估值 26 中小盤策略專題4/294/29似的瓶頸：實現(xiàn)較好控制性難度高——即如何讓模型精準(zhǔn)按照語言的描述控制視頻中發(fā)生的場景。實現(xiàn)時間一致性難度大——如何讓角色、對象和背景在幀之間保持一致，而不會變成其他的東西或者扭曲不易實現(xiàn)，這也直接決定模型生成視頻的時這正是為了規(guī)避模型弊端采取的舉措。5/5/29視頻并靈活改變視頻持續(xù)時間、分辨率和寬高比，即可以為各類不同的設(shè)備生成內(nèi)容相同或相似的視頻2）通過圖片提示生成視頻，如基于DALL·E2和的視頻最終生成相同的結(jié)局，或者生成無限循環(huán)的視頻，以及對視頻進(jìn)行編輯，改 中小盤策略專題6/6/29強(qiáng)弱依賴關(guān)系建模強(qiáng)弱強(qiáng)弱生成的視頻可呈現(xiàn)一定的因果關(guān)系。比如畫家可在畫布上留下筆觸，人吃漢堡也能 中小盤策略專題7/297/29無法準(zhǔn)確還原物理交互過程，如無法完美的模擬水杯打碎液體飛濺的場景，有些視圖8：Sora仍有瑕疵，呈現(xiàn)打碎被子液常常出現(xiàn)樣本失真等問題，并不具備大規(guī)模使用的基礎(chǔ)。Diffusion生成效果優(yōu)異樣 中小盤策略專題8/8/29有新的機(jī)構(gòu)將擴(kuò)散模型不斷完善，OpenAI也加入行列之中，發(fā)表了“Improved發(fā)表文章《DiffusionmodelsbeatGANonimageSynthesis》表明該模型呈現(xiàn)出前所未有的理解和創(chuàng)造能力，將擴(kuò)散模型徹底引入公眾視野。此后不立了Diffusion模型在視覺生成領(lǐng)域圖11：Diffusion模型近年逐步成為生成式模型的主流方案之一 中小盤策略專題9/9/29個噪聲預(yù)測器神經(jīng)網(wǎng)絡(luò)，選擇一張照片，加入文字條件，并逐步驟加入噪聲使圖像變得嘈雜，最終生成純噪聲圖片。這一過程中噪聲預(yù)測器將學(xué)習(xí)到中間加入了多少圖15：Diffusion模型的核心在于“噪聲預(yù)測器”提到的擴(kuò)散模型，是在像素空間運行，模型對于量來進(jìn)行添加噪聲和祛除噪聲的過程，進(jìn)而大幅減少計算量，之后再將生成的張量運行，同時這樣的方式也被諸多后續(xù)的文生圖乃至文生視頻的算法所采用包括能夠展示出數(shù)據(jù)在抽象層面的一些有意義特征和共性，模型通過這些共性的特征可 中小盤策略專題圖16：相比擴(kuò)散模型，潛在擴(kuò)散模型將擴(kuò)撒步驟壓縮到潛在空間進(jìn)行，大幅提升擴(kuò)散模型中的噪聲預(yù)測器是決定模型生成質(zhì)量的關(guān)鍵，在擴(kuò)散模型的奠基性文章的一種，具有簡潔、語義連貫性強(qiáng)等特點，輸入和模型，但在和文本融合的過程中U-net會遇到一定的問題。在2022年，伯克利大學(xué)樣的架構(gòu)體現(xiàn)出明顯的規(guī)模效應(yīng)，其運算速度更快、并且生具體而言，模型首先采用類似StableDiffusion的架構(gòu)，將圖像通過解碼器用Transformer來實現(xiàn)圖像分類等任務(wù)將圖像壓縮并分割同類型架構(gòu)。最后將生成的序列編碼進(jìn)行解理能力和視頻生成效果。除此之外，模型顯示出顯著的規(guī)模效應(yīng)：更大的計算量會數(shù)量都帶來更好的圖像生成效果。這表明DiT是一個非常適合于通過 中小盤策略專題 中小盤策略專題相應(yīng)的去噪之后的隱變量并通過解碼器將信息解碼成為視頻，即可輸出品質(zhì)優(yōu)越的環(huán)節(jié)。相比傳統(tǒng)的視頻生成模型，Sora模型在數(shù)據(jù)、算法等幾個方面呈現(xiàn)出明 中小盤策略專題模塊中同時包含時序和空間信息，這樣有效捕捉視頻的動態(tài)性。我們推了第二種視頻數(shù)據(jù)切分方式。而這樣的訓(xùn)練方式或許能夠讓模型獲得更好的幀間關(guān)系處理能力。圖22：ViT中為了更高效的處理圖像信息，引入了“Patch”圖23：管狀嵌入的視頻分割模式有望幫助模型獲得更好的幀自動標(biāo)注模型來對所有視頻生成文字字幕，這有助于提升視頻質(zhì)量。同時在推理過 中小盤策略專題（3）Sora采用了特殊的數(shù)據(jù)處理形式，能夠保證視頻以原有尺寸進(jìn)行訓(xùn)練。通常情況下的圖像和視頻生成方法在訓(xùn)練模型時會將視頻調(diào)整大小、剪裁到標(biāo)準(zhǔn)尺員根據(jù)Sora技術(shù)報告引用的文獻(xiàn)推測，Open訓(xùn)練模型仍然是未知數(shù)。以往的經(jīng)驗來看，比如此前的研究發(fā)現(xiàn)對大語言模型進(jìn)行的WilliamPeebles和紐約大學(xué)的謝賽寧提出，并發(fā)表在論文《ScalableDiffusion 中小盤策略專題五十年代的心理學(xué)研究，認(rèn)為任何動物可以依靠世界模型預(yù)測世界的下一個狀態(tài)。人類通常會以有限的感官所能感知到的事物為基礎(chǔ)，在內(nèi)心建立一個世界模型，我能夠根據(jù)我們當(dāng)前的運動行為來預(yù)測未來的感官數(shù)據(jù)，我們能夠基于這種預(yù)測迅速采取行動。以棒球為列，棒球運動員只有毫秒級的擊球時間，甚至比視覺信號從眼球傳到大腦還短，因此運動員根本無法在揮棒過程中調(diào)整和規(guī)劃路線，之所以能夠讓模型在“夢境”中預(yù)測未來會發(fā)生的事情，那么模型的游戲 中小盤策略專題世界模型也是對物理世界“常識”的理解。另外一個被經(jīng)常提到的是人工智能大量關(guān)于世界如何運轉(zhuǎn)的基本知識，如左右眼有視差，物體不會憑空產(chǎn)生、消失、重力、慣性等概念。后續(xù)抽象的概念正式基于這樣簡單的概念建立。有了這些世界的“預(yù)測未來”。的、壓縮的表示來描述每一幀的圖像輸入，這一時候也會對其進(jìn)行處理，將抽象的信息如物體之間的相對關(guān)系、位置等總結(jié)出來，狀態(tài)的信息進(jìn)行預(yù)測，當(dāng)然也會受到自身行為帶來的外部環(huán)境變化的反饋所影響； 中小盤策略專題圖30：谷歌的論文中提出了一種感知、記憶、控制模塊齊備的“世界模型”演變至關(guān)重要，通過對場景即將發(fā)生的事件進(jìn)行預(yù)判，汽車可以自如的進(jìn)行規(guī)劃和控制做出更明智的決策。怎樣構(gòu)建這樣一個可以通過理解世界運行規(guī)律進(jìn)而預(yù)測未來的模型，學(xué)界和工業(yè)界都進(jìn)行了不懈的探索。與大語言模型類似，玩家采用自回歸的模型，將數(shù)據(jù)壓縮和提煉，在潛在空間通過無監(jiān)督的訓(xùn)練構(gòu)建模型對未來進(jìn)行預(yù)測，之后通過不同的解碼器將預(yù)測好的信息解碼成為需要的表達(dá)方式進(jìn)而構(gòu)建世界模型。從結(jié)果來看模型可以通過海量的數(shù)據(jù)一定程度上總結(jié)世界運行的物理規(guī)律可以直接用來做決策規(guī)劃。具體而言1）可以生成諸多難以采集的場景，為模型訓(xùn)練提供足量的數(shù)據(jù)2）同樣生成的場景亦可以作為仿真測試工具對算法進(jìn)行閉環(huán)驗證3）多模態(tài)的世界模型亦可以直接生成駕駛策略來指導(dǎo)自動駕駛行為。 中小盤策略專題而現(xiàn)實狀態(tài)下，數(shù)據(jù)的采集成本居高不下，部分危險的場景如車禍等難以采集，長測試成為頗具前景的發(fā)展方向，而世界模型恰為良好的場景生成和預(yù)測器。另一方和驗證環(huán)節(jié)，傳統(tǒng)的模塊化算法時代可以對感知和可以進(jìn)行開環(huán)的檢測（即將感知的結(jié)果和帶有標(biāo)注的真實世界狀況直接對比即可，化而改變，形成反饋）驗證規(guī)控算法的性能。這其中，感知環(huán)節(jié)更注重仿真環(huán)境的環(huán)測試亦難度較高，而世界模型則能夠很好的應(yīng)對類似的場景。圖32：端到端時代，仿真算法提出新的要求，世界模型特斯拉世界模型可預(yù)測駕駛場景下的未來發(fā)展。特斯拉在2023C信息等7）泛化性比較好。地預(yù)測傳感器的特性；此外盡管開發(fā)者沒有顯式的要求它以三維或者非三維的方式進(jìn)行計算，網(wǎng)絡(luò)即自行理解了三維空間的概念，視頻中運動的物體也具有一致性， 中小盤策略專題通過自然語言的提示，模型可改變視角；其可根據(jù)要求以相同的起點生成不同的結(jié)局；對視頻語料的適應(yīng)性好，可以通過行駛記錄、油管或者自己手機(jī)中的數(shù)據(jù)來訓(xùn)練這個模型。相比游戲引擎所生成的仿真場景，這樣的難用顯式系統(tǒng)描述的事物，如物體的意圖和行為等。紹到了其感知基礎(chǔ)模型的構(gòu)建方式，算法中先將外部的信息經(jīng)過特征提取網(wǎng)絡(luò)進(jìn)行的道理。并且我們看到特斯拉的模型中不光包含多攝像頭視角的視頻信息，還包含可以生成分鐘級的視頻，同時可以生成多種合理的未來，模擬多種場景：如與道路使用者的交互、自車行為的改變等，同時可依靠文字來對視頻中元素進(jìn)行精細(xì)粒度的控制，幫助自動駕駛模型的訓(xùn)練和仿真。 中小盤策略專題20/2920/29其中的對象位于合理的位置并且展示出合理的交互狀態(tài)，如路燈、道路規(guī)則、讓路及道路使用者決策過程中的因果關(guān)系的理解，如可反應(yīng)道路不平整引起的視角俯仰主體的視頻解碼器將其輸出成為視頻。 中小盤策略專題21/2921/29圖38：GAIA-1采用多模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，以自回歸模型和擴(kuò)散模型作外對視頻解碼器在多個任務(wù)上進(jìn)行訓(xùn)練如圖像生成、視頻生成、自回歸解碼和視頻插值等，因為同時訓(xùn)練會提升單一任務(wù)的性圖39：模型可以實現(xiàn)各類不同功能如圖像生成、視頻生成、自回歸視頻生成、視22/2922/29英偉達(dá)的基礎(chǔ)模型基于多模態(tài)數(shù)據(jù)訓(xùn)練，可生成逼真且靈活變化的駕駛場景視駛基礎(chǔ)模型可以穩(wěn)定生成多個攝像頭拍攝到的駕駛場景演變，效果逼真。此外通過語言提示詞也可以使得模型呈現(xiàn)的場景靈活變化，如告訴模型視角為前視攝像頭，可以生成逼真的相應(yīng)駕駛場景。多模態(tài)的數(shù)據(jù)如高精地圖等，可實現(xiàn)更加深入的理解，更加精確的控制駕駛場景的生成，同時還增加了ActionFormer模塊來使得模型可輸出控制信號，之后的DriveDreamerv2結(jié)合了大語言模型和新的架構(gòu)來增強(qiáng)模 中小盤策略專題23/2923/29型，使用多模態(tài)大語言模型作為主干網(wǎng)絡(luò)，以自回歸的方式輸出控制信號，使用視頻潛在擴(kuò)散模型來生成未來的視頻輸出。德國信息技術(shù)研究中心和KTI推出的MUVO模型則包含三個部分，首先將視頻、點云信息進(jìn)行解碼壓縮以及特征融合，所提出的DriveWM采用多圖聯(lián)合建模提升了所生成駕駛場景的質(zhì)量。DriveDreamer構(gòu)建世界模型可實現(xiàn)未來場景的生成以及駕駛員可能相應(yīng)產(chǎn)生24/2924/293.1、模擬世界，自動駕駛世界模型、視頻生成模型以及具身智能擁有相世界及其動態(tài)，文生圖新星Midjourney亦表示將進(jìn)軍世模型，學(xué)術(shù)界也涌現(xiàn)出諸多相似想法。在此之外，具身智能領(lǐng)域也出現(xiàn)諸多以世界模型為基礎(chǔ)的算法。無論自動駕駛、具身智能還是視頻生成均出現(xiàn)相同的目標(biāo)：讓不同的形式將這個對未來的“預(yù)測”進(jìn)行表達(dá)，如視頻生成領(lǐng)域即通過解碼器生成各類視頻，自動駕駛領(lǐng)域即通過解碼器來預(yù)測各類自動駕駛的任務(wù)，具身智能領(lǐng)域估體系，是所有世界模型一致的目標(biāo)。 中小盤策略專題25/2925/29和訓(xùn)練方式和自動駕駛領(lǐng)域呈現(xiàn)出諸多相似之處1）通常會采用編碼器將復(fù)雜外部世界獲取的數(shù)據(jù)進(jìn)行編碼、壓縮、抽象成為低維度的向量，這個過程如何進(jìn)行數(shù)型來分析和學(xué)習(xí)這些序列在不同的時間和空間維度的關(guān)系，進(jìn)而實現(xiàn)對下一個時間讓模型能夠?qū)W習(xí)到“世界”的知識；如何長時間、穩(wěn)定的生成前后一致的視頻；如辨率最高可達(dá)720P，支持任何寬高比、不同世界模型的發(fā)展，邁上新臺階。同時我們也看到，自動駕駛和大模型的能力需求日益趨同，未來擁有大模型開發(fā)能力的玩家，在自動駕駛領(lǐng) 中小盤策略專題26/2926/29當(dāng)前技術(shù)的進(jìn)步無疑將一步步幫助自動駕駛實現(xiàn)真正的落地，有關(guān)的零部件、表2：推薦