華為：大模型與智能汽車的預(yù)見-2025-02-智能網(wǎng)聯(lián)

大模型與智能汽車的預(yù)見萬蕾博士9ASBU政策與標(biāo)準(zhǔn)專利部部長目錄·大模型在智能汽車的潛在應(yīng)用·大模型與Al治理2萬維網(wǎng)開放全球互聯(lián)網(wǎng)全球智能機(jī)AI大模型全球有效專利1400萬全球聯(lián)網(wǎng)汽車全球移動(dòng)用戶神經(jīng)網(wǎng)絡(luò)CNN算法用于圖像識(shí)別深度學(xué)習(xí)興起圖像分類突破戰(zhàn)勝人類谷歌A3谷歌A3超算：一首個(gè)手機(jī)一并行計(jì)算并行計(jì)算分布式計(jì)算云計(jì)算云計(jì)算問題回筆對(duì)話機(jī)器人3產(chǎn)業(yè)應(yīng)用原子能力產(chǎn)業(yè)應(yīng)用原子能力智能檢索意圖理解專業(yè)教育智能感知預(yù)訓(xùn)練通識(shí)教育預(yù)訓(xùn)練通識(shí)教育海量無標(biāo)注數(shù)據(jù)智能計(jì)算4月活達(dá)1億等等API問答、檢測、翻譯、文本理解、編排…專業(yè)教育場景模型·基于GPT-3,提升代碼生成GPT-1GPT-2預(yù)訓(xùn)練通識(shí)教育基礎(chǔ)模型閱讀理解等·1750億·1750億數(shù)據(jù)：>7.7萬人工標(biāo)注數(shù)據(jù)：>7.7萬人工標(biāo)注·遷移：零樣本學(xué)習(xí)+少樣本學(xué)習(xí)勵(lì)模型加入規(guī)則最大長度擴(kuò)展8倍52019.22019.21.17億15億1750億HUAWEI$20/月$0.002/干token2022.1121億5400億3400億2023.22023.2被迫開源4個(gè)規(guī)格：70/130/330/650億6連續(xù)對(duì)話算法屏蔽◎連續(xù)對(duì)話能力·Transformer采用注意力機(jī)制，在處理上下文關(guān)聯(lián)性上比CNN表現(xiàn)·Transformer采用注意力機(jī)制，在處理上下文關(guān)聯(lián)性上比CNN表現(xiàn)更好?！び?xùn)練數(shù)據(jù)中連續(xù)對(duì)話和代碼含蘊(yùn)含更多邏輯信息。NormalizedScoreNormalizedScore0會(huì)寫文章會(huì)推理會(huì)編代碼會(huì)寫文章會(huì)推理會(huì)編代碼不會(huì)聊天不知哪些是人類認(rèn)敢于質(zhì)疑注意力機(jī)制雙向單向單向自回歸自回歸書籍、wiki·控制瀏覽器就是控制流量入口·Copilot集成進(jìn)windows,升市場OS的統(tǒng)治地位Al辦公助手智能水平·Teams:團(tuán)隊(duì)協(xié)作，如語音轉(zhuǎn)寫，自動(dòng)生成會(huì)議紀(jì)要；實(shí)時(shí)內(nèi)容摘要生成等；·提供面向銷售、客服、市場、運(yùn)維和供應(yīng)鏈的AI工具·Vivasales:Al提升銷售的工作效率，場景化郵件生成，如定價(jià)；及客戶跟進(jìn)等·幫助開發(fā)者構(gòu)建自己的Copilot·構(gòu)建全生命周期低成本Al開發(fā)工具統(tǒng)一開發(fā)框架和開發(fā)流水線Dnys的d·LLM賦能，用自然語言交互滿足數(shù)據(jù)分析需求，留存用戶生態(tài)數(shù)據(jù)8谷歌開始第二步和第三步的嘗試多模態(tài)具身語言模型(VLM)成就一理解圖形理解/生成語言結(jié)合圖形和語言理解，生成機(jī)器人指令，處理物理世界任務(wù)·5620億個(gè)參數(shù)指指通用Al的愿景模型能力凍結(jié)，抗遺忘與損害，讓單一的多功能模型應(yīng)用在不同場景。T非凍結(jié)模型如何減少遺忘的第二條路徑：加大參數(shù)量啟示操作機(jī)器人能力在語言大模型中涌現(xiàn)，且不損失語言和視覺能力9HUAWEIHUAWEI大模型：工業(yè)化AI大模型：工業(yè)化AI多個(gè)場景一個(gè)模型數(shù)據(jù)自動(dòng)生成增廣開發(fā)周期天級(jí)智能對(duì)話智能問答目標(biāo)檢測智能創(chuàng)作文檔理解圖像分割從0開始→獨(dú)立調(diào)優(yōu)→艱難迭代→推倒重來┌一個(gè)場景一個(gè)模型數(shù)據(jù)質(zhì)量差、樣本少模型精度差開發(fā)周期月級(jí)大模型應(yīng)用開發(fā)范式智能檢素智能客服工業(yè)質(zhì)檢智能推薦大模型應(yīng)用開發(fā)范式智能檢素智能客服工業(yè)質(zhì)檢智能推薦智能審核智能錄入工業(yè)化開發(fā)場景1工業(yè)化開發(fā)場景1場景2泛化復(fù)制泛化復(fù)制折微調(diào)&部署NLP大模型CV大模型多節(jié)電預(yù)測案件復(fù)議|工業(yè)質(zhì)檢|服裝生成節(jié)電預(yù)測|輔助客服|倉庫監(jiān)控|圖文檢索|智能投研工地Re-ID電力巡檢3D孿生空間中國家庭數(shù)160萬人550萬人中國0.1%滲透率全球0.1%滲透率160萬人550萬人中國0.1%滲透率全球0.1%滲透率4.7億多模態(tài)大模型CV+NLP模型HUAWEI目錄HUAWEI大模型催熟AIGC→智能座艙&智能駕駛智能座艙智能駕駛智能座艙智能駕駛計(jì)算決策大模型·信息檢索，意圖理解，內(nèi)容生成，智能控制文本生成特定語音，語音克隆，音樂生成·ADS訓(xùn)練：復(fù)雜場景生成，自動(dòng)化標(biāo)注·人機(jī)共駕/影子駕駛：智能算法迭代升級(jí)PofA數(shù)字孿生文字/圖像相互轉(zhuǎn)換O代碼補(bǔ)全、檢視、修復(fù)非交互式文本，交互式文本游戲模型、劇本等素材生成視頻編輯/剪輯多模態(tài)大模型NLP大模型多模態(tài)大模型智能汽車語音交互場景·自然語言理解的準(zhǔn)確性和靈活性智能汽車語音交互場景智能駕駛場景·持續(xù)學(xué)習(xí)和不斷提升駕駛體驗(yàn)智能駕駛場景實(shí)時(shí)性需求和性能優(yōu)化的挑戰(zhàn)數(shù)據(jù)隱私保護(hù)的解決方案提高模型可解釋性的方法挑戰(zhàn)與解決方案模型優(yōu)化和效率改進(jìn)傳感器融合與駕駛決策的結(jié)合協(xié)同駕駛的潛力未來發(fā)展方向未來發(fā)展方向囂囂HUAWEI座艙情景智能HUAWEI座艙情景智能給媽媽音、視頻設(shè)備獨(dú)立感知音、視頻設(shè)備獨(dú)立感知座艙監(jiān)控行車記錄分布式麥克駕駛員監(jiān)控360環(huán)視…感知手工控制&音頻指令式控制手工控制&音頻指令式控制儀表分布式MIC,揚(yáng)聲器空調(diào)控制視覺感知丫開右后門視覺感知丫開右后門導(dǎo)航啟動(dòng)去哈根達(dá)斯導(dǎo)航啟動(dòng)去哈根達(dá)斯聲源定位意圖理解內(nèi)容生成智能控制意圖理解內(nèi)容生成智能控制融合大模型啟動(dòng)后排娛樂屏融合大模型啟動(dòng)后排娛樂屏關(guān)閉后排屏原生智能原生智能大模型在智能駕駛應(yīng)用——場景數(shù)據(jù)管理HUAWEI組合泛化數(shù)據(jù)篩選合理可預(yù)見場景集管理組合泛化數(shù)據(jù)篩選理解軌跡數(shù)據(jù)集數(shù)據(jù)數(shù)據(jù)時(shí)空m車輛動(dòng)力模型集m大模型在智能駕駛應(yīng)用——海量仿真數(shù)據(jù)生成大模型在智能駕駛應(yīng)用——海量仿真數(shù)據(jù)生成HUAWEI仿真數(shù)據(jù)集需求：交通參與者傳感器參數(shù)交通參與者解耦/重傳感器數(shù)據(jù)動(dòng)靜態(tài)場景參數(shù)建傳感器數(shù)據(jù)動(dòng)靜態(tài)場景參數(shù)場景生成大模型幾何/紋場景生成大模型自動(dòng)化標(biāo)注參與者駕駛模型自動(dòng)化標(biāo)注參與者駕駛模型環(huán)境，光照傳感器環(huán)境，光照實(shí)施案例D預(yù)訓(xùn)練大模型預(yù)訓(xùn)練大模型全局/局部規(guī)劃地圖大模型◎白聯(lián)合表征控制決策樹泛化能力泛化能力強(qiáng)(可支持Zero-shot/Few-shot)參數(shù)量?。簙億量級(jí)算力算力要求低：-訓(xùn)練：~48Nets@8萬GPUhours(FSD1.0)算力要求高：-訓(xùn)練：遠(yuǎn)高于~3億GPUho-實(shí)時(shí)推理(未壓縮):~10萬TOPs海量多模態(tài)數(shù)據(jù)：PB~EB量級(jí)自駕/人駕模式切換的HMI需單獨(dú)設(shè)計(jì)自駕/人駕模式切換可自然語言交互HUAWEIHUAWEI多模態(tài)數(shù)據(jù)訓(xùn)練嘉傳感器其他HUAWEIHUAWEI·大模型技術(shù)趨勢·大模型在智能汽車的潛在應(yīng)用業(yè)界呼吁Al安全監(jiān)管：Al比管理不善的飛機(jī)設(shè)計(jì)、生產(chǎn)維護(hù)、糟糕的汽車生產(chǎn)更危險(xiǎn)；它有破壞文明的潛力GeoffreyHinton圖靈獎(jiǎng)得主，“神經(jīng)網(wǎng)絡(luò)之父”onBBC我得出的結(jié)論是，我們正在開發(fā)的智能與我們所擁有的智能大不相同；當(dāng)它們比我們更聰明時(shí)，會(huì)出現(xiàn)威脅人類生存的風(fēng)險(xiǎn)2023.3眾科技大咖聯(lián)名簽署《2023.3眾科技大咖聯(lián)名簽署《暫停大型人工智能研究》,暫停時(shí)間至少為6個(gè)月·沒有人——甚至連它們(大模型)的創(chuàng)造者——能夠理解、預(yù)測或可靠地控制·...我們呼吁所有人工智能實(shí)驗(yàn)室立即暫停至少6個(gè)月的大模型人工智能系統(tǒng)的訓(xùn)練，比GPT-4更強(qiáng)大·……人工智能研究和開發(fā)應(yīng)該重新專注于使當(dāng)今強(qiáng)大、最先進(jìn)的系統(tǒng)更加準(zhǔn)確、安全、可解釋、透明、健壯、一致、可信和忠誠建議對(duì)Al進(jìn)行監(jiān)管，應(yīng)該參考核武器的監(jiān)管方式SamAltman的建議或是“出逃(擺脫人類控制)”各國Al治理法規(guī)進(jìn)展2019年4月7日，歐盟人工智能高級(jí)專家組(AIHLEG)發(fā)布《可信Al倫理指南》提出AI系統(tǒng)必須以人為本，并致力于將其用于服務(wù)人類和共同利益，以改善人類福祉和自由為目標(biāo)。尋求最大程度地發(fā)揮AI系統(tǒng)的優(yōu)勢，同時(shí)預(yù)防和降低其風(fēng)險(xiǎn)。人類的能動(dòng)性和監(jiān)督技術(shù)穩(wěn)健性和安全隱私和數(shù)據(jù)治理透明性多樣性、非歧視和公平社會(huì)和環(huán)境福祉問責(zé)制lungungocdigitenLodi/llo/2020.1,聯(lián)邦政府發(fā)布《人工智能應(yīng)用的監(jiān)管指南》,提出十大監(jiān)管原則：公眾對(duì)Al的信任公眾參與科研操守和信息質(zhì)量風(fēng)險(xiǎn)評(píng)估與管理2023.1NIST發(fā)布《人工智能風(fēng)險(xiǎn)管理框架1.0》2019年6月17日，國家新一代人工智能治理專業(yè)委員會(huì)發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》旨在更好協(xié)調(diào)人工智能發(fā)展與治理的關(guān)系，確保人工智能安全可控可靠，推動(dòng)經(jīng)濟(jì)、社會(huì)及生態(tài)可持續(xù)發(fā)展，共建人類命運(yùn)共同體。和諧友好安全可控包容共享開放協(xié)作尊重隱私和諧友好安全可控包容共享開放協(xié)作尊重隱私敏捷治理共擔(dān)責(zé)任2021年9月25日，發(fā)布《新一代人工智能倫理規(guī)范》,旨在將倫理道德融入人工智能全生命周期，為從事人工智能相關(guān)活動(dòng)的自然人、法人和其他相關(guān)機(jī)構(gòu)等提供倫理指引提供倫理指引.基本倫理要求人類福祉促進(jìn)公平公正保護(hù)隱私安全確?？煽乜尚艔?qiáng)化責(zé)任擔(dān)當(dāng)提升倫理素養(yǎng)管理規(guī)范推動(dòng)敏捷治理積極實(shí)踐示范正確行權(quán)用權(quán)加強(qiáng)風(fēng)險(xiǎn)防范促進(jìn)包容開放使用規(guī)范提倡善意使用避免誤用濫用禁止違規(guī)惡用及時(shí)主動(dòng)反饋提高使用能力供應(yīng)規(guī)范尊重市場規(guī)則加強(qiáng)質(zhì)量管控保障用戶權(quán)益強(qiáng)化應(yīng)急保障研發(fā)規(guī)范強(qiáng)化自律意識(shí)提升數(shù)據(jù)質(zhì)量增強(qiáng)安全透明避免偏見歧視2023.4《生成式人工智能服務(wù)管理辦法(征求意見)》為促進(jìn)生成式人工智能技術(shù)健康發(fā)展和規(guī)范應(yīng)用ISO-PAS8800ISO-PAS8800數(shù)據(jù)管理要求：·數(shù)據(jù)集的管理應(yīng)涵蓋需求開發(fā)、設(shè)計(jì)、實(shí)施、驗(yàn)證確認(rèn)、安全分·應(yīng)識(shí)別數(shù)據(jù)