




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
——駕駛腦設(shè)計(jì)與實(shí)現(xiàn)駕駛認(rèn)知的形式化FormalizationofDrivingCognition——駕駛腦設(shè)計(jì)與實(shí)現(xiàn)駕駛認(rèn)知的形式化一、從象棋腦、圍棋腦到駕駛腦一、從象棋腦、圍棋腦到駕駛腦3和計(jì)算機(jī)下國(guó)際象棋3和計(jì)算機(jī)下國(guó)際象棋4黑白世界,棋子無(wú)功能之分,目數(shù)多者勝和計(jì)算機(jī)下圍棋4黑白世界,棋子無(wú)功能之分,目數(shù)多者5和計(jì)算機(jī)下圍棋難在哪里?象棋的目標(biāo)是“殺王”,子越下越少;圍棋的目標(biāo)是“圈地”,子越下越多,多者取勝。象棋可以從一個(gè)目標(biāo)狀態(tài)不斷搜索最合理的走法達(dá)到下一個(gè)目標(biāo)狀態(tài);圍棋難以鎖定下一個(gè)目標(biāo)狀態(tài)。5和計(jì)算機(jī)下圍棋難在哪里?象棋的目標(biāo)是“殺王”,子越下越少和計(jì)算機(jī)下圍棋難在哪里?象棋可以有目的地向著某一目標(biāo)狀態(tài)不斷搜索最合理的走法;圍棋具有更大的不確定性。象棋更注重邏輯思維;圍棋想圍住對(duì)方,在某個(gè)狀態(tài)下應(yīng)對(duì)的步驟比象棋要多得多,有手筋、棄子、劫爭(zhēng)等戰(zhàn)術(shù)戰(zhàn)略運(yùn)用,更注重形象思維,更大局觀。和計(jì)算機(jī)下圍棋難在哪里?象棋可以有目的地向著某一目標(biāo)狀態(tài)不對(duì)一個(gè)特定的棋局(態(tài)勢(shì)),國(guó)際象棋有35種可能的走法(決策),沿每種走法深下去可達(dá)80層,需要3580種遍歷搜索;而圍棋比賽,對(duì)一個(gè)特定的棋局常常需要有250150種遍歷搜索,計(jì)算和推理量巨大。圍棋因其巨大的搜索空間和困難的棋局態(tài)勢(shì)表達(dá),被認(rèn)為千古無(wú)同局,歷來(lái)是人工智能的最大挑戰(zhàn)。和計(jì)算機(jī)下圍棋難在哪里?對(duì)一個(gè)特定的棋局(態(tài)勢(shì)),國(guó)際象棋有35種AlphaGo突破了傳統(tǒng)程序,搭建了兩套模仿人類(lèi)思維的深度卷積神經(jīng)網(wǎng)絡(luò):valuenetworksandpolicenetworks,學(xué)會(huì)了向人類(lèi)棋手學(xué)習(xí),
從海量樣本的勝局和敗局中學(xué)習(xí),并自動(dòng)提取規(guī)則,進(jìn)行推理。分析這次人機(jī)大戰(zhàn)的棋局,并沒(méi)有看到來(lái)自“天外來(lái)客”的奇招。大樣本和自學(xué)習(xí)支撐AlphaGo取勝AlphaGo突破了傳統(tǒng)程序,搭建了兩套模仿人類(lèi)思AlphaGo以4:1戰(zhàn)勝9段圍棋高手李世石,全球?yàn)橹鸷?,世界一片嘩然!
震撼之后的思考:AlphaGo程序,比賽前后變了沒(méi)有?能否讓AlphaGo和李世石來(lái)一次復(fù)盤(pán)?如果AlphaGo以后一直和棋簍子下,棋商會(huì)不會(huì)退化?
AlphaGo以4:1戰(zhàn)勝9段圍棋高手李世石,全球?yàn)橹鸷称孱?lèi)高手與人工智能發(fā)展成果積累的對(duì)決,是讓棋手充當(dāng)測(cè)試員的一次科學(xué)試驗(yàn)一個(gè)人與一群人(棋類(lèi)高手+AI高手)的對(duì)決一個(gè)生物人與“人與機(jī)器混合生物”之間的對(duì)決人機(jī)大戰(zhàn)常常是:人機(jī)大戰(zhàn)本質(zhì)上是人機(jī)--機(jī)人大戰(zhàn)!棋類(lèi)高手與人工智能發(fā)展成果積累的對(duì)決,是讓棋手充當(dāng)測(cè)試員的一AlphaGo的局限性AlphaGo僅僅是個(gè)圍棋腦,還不是一個(gè)圍棋手,更不是一個(gè)圍棋機(jī)器人,根本就沒(méi)有眼和手,沒(méi)有感知和行為能力AlphaGo沒(méi)有情緒,沒(méi)有情感,不能分析對(duì)手的心理狀態(tài),不能現(xiàn)場(chǎng)和對(duì)手展開(kāi)心理戰(zhàn),缺失交互認(rèn)知能力AlphaGo的局限性AlphaGo僅僅是個(gè)圍棋腦,還不是AlphaGo的局限性用于對(duì)大數(shù)據(jù)樣本學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò),太多的學(xué)習(xí)參數(shù)具有隨意性,不能保證算法的收斂性,缺少反饋機(jī)制,大量案例也不具有累積性,深度學(xué)習(xí)不可能是人工智能的終結(jié)者。目前也還沒(méi)有聽(tīng)說(shuō)AlphaGo具有個(gè)性,并有進(jìn)化學(xué)習(xí)的能力。AlphaGo的局限性用于對(duì)大數(shù)據(jù)樣本學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò),太駕駛腦:駕駛認(rèn)知的形式化駕駛腦:駕駛認(rèn)知的形式化從汽車(chē)到輪式機(jī)器人:發(fā)明汽車(chē)130年來(lái),先從汽車(chē)的行為能力做起,在確保車(chē)輛動(dòng)力學(xué)和人機(jī)工程學(xué)的基礎(chǔ)上,配置感知的零部件,實(shí)現(xiàn)自動(dòng)駕駛,進(jìn)而研發(fā)駕駛腦,完成自主行駛,走著一條完全不同于“圍棋腦——圍棋手——圍棋機(jī)器人”的技術(shù)發(fā)展道路!圍棋機(jī)器人來(lái)日方長(zhǎng),輪式機(jī)器人和飆車(chē)手的比賽將會(huì)更加激動(dòng)人心!從汽車(chē)到輪式機(jī)器人:發(fā)明汽車(chē)130年來(lái),先駕駛認(rèn)知的形式化,強(qiáng)調(diào)如何用人工智能技術(shù)代替駕駛員的感知、認(rèn)知和行為,確保車(chē)輛自主行駛,而不必糾結(jié)于機(jī)器駕駛腦和駕駛員腦是否在微觀上具有相似性!駕駛認(rèn)知的形式化,強(qiáng)調(diào)如何用人工智能技術(shù)代替駕駛員的感智能駕駛等級(jí)區(qū)分離線輔助駕駛自動(dòng)駕駛(局部時(shí)段、局部區(qū)域)自駕駛/自主駕駛/無(wú)人駕駛以人為本的人機(jī)協(xié)同共駕ADAS,HUD高德導(dǎo)航碰撞預(yù)警等ACC自動(dòng)緊急剎車(chē)等城際高速行駛等類(lèi)似騎士和馬人馬騎士與馬智能駕駛等級(jí)區(qū)分離線輔助駕駛自動(dòng)駕駛(局部時(shí)段、局部區(qū)域)自
如果人腦特定問(wèn)題域的認(rèn)知能力可以通過(guò)大數(shù)據(jù)認(rèn)知先局部地形式化,構(gòu)造出駕駛腦、圍棋腦、文秘腦、聊天腦等,哪怕在微觀上不具有組織結(jié)構(gòu)的相似性,但在宏觀上不亞于特定人的智商和情商。那么,當(dāng)千千萬(wàn)萬(wàn)的特定問(wèn)題域的認(rèn)知能力局部形式化之后,用人工智能技術(shù)構(gòu)建千千萬(wàn)萬(wàn)“一腦一用”的認(rèn)知腦,并通過(guò)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算,就可以倒逼并逼近一個(gè)“一腦萬(wàn)用”的人造生物腦。從“一腦一用”到“一腦萬(wàn)用”如果人腦特定問(wèn)題域的認(rèn)知能力可以通過(guò)大數(shù)據(jù)認(rèn)知17二、駕駛認(rèn)知的形式化約束二、駕駛認(rèn)知的形式化約束
“Google無(wú)人駕駛汽車(chē)有上百萬(wàn)英里的測(cè)試經(jīng)驗(yàn),大致相當(dāng)于人類(lèi)75年的駕齡?!?/p>
——2015年5月15日從Google公司的一則報(bào)道談起駕駛認(rèn)知如何度量?如果經(jīng)驗(yàn)駕駛員一年開(kāi)車(chē)1.2萬(wàn)英里,需要75年!“Google無(wú)人駕駛汽車(chē)有上百萬(wàn)英里的測(cè)試經(jīng)驗(yàn),大致駕駛認(rèn)知的本質(zhì)是統(tǒng)計(jì)和進(jìn)化駕駛認(rèn)知不是一次完成的,需要多次反復(fù),在反反復(fù)復(fù)感知-認(rèn)知-行動(dòng)的過(guò)程中學(xué)習(xí)積累,形成相對(duì)穩(wěn)定的認(rèn)知,形成不確定性處置中的基本確定性。因此,駕駛認(rèn)知是個(gè)動(dòng)態(tài)的演化過(guò)程。駕駛認(rèn)知本質(zhì):CognitionbyCases駕駛認(rèn)知的本質(zhì)是統(tǒng)計(jì)和進(jìn)化駕駛認(rèn)知不是一次完成的,需要多次反駕駛認(rèn)知形式化約束
從人的視聽(tīng)覺(jué)感知切入研究腦認(rèn)知,尤其是模擬人腦中的記憶智能、計(jì)算智能和交互智能,用機(jī)器模擬人腦對(duì)安全駕駛的自學(xué)習(xí)和駕駛技能積累能力,模擬人腦對(duì)駕駛環(huán)境的感知、認(rèn)知、決策和行為控制。尤其重要的是駕駛腦并不模擬在駕駛過(guò)程中與安全駕駛無(wú)關(guān)的駕駛員的其它認(rèn)知活動(dòng),如對(duì)路邊美女、對(duì)周邊車(chē)輛品牌等,機(jī)器駕駛腦都不會(huì)有任何興趣!駕駛認(rèn)知形式化約束從人的視聽(tīng)覺(jué)感知切入研究腦認(rèn)知,尤其21駕駛腦將駕駛活動(dòng)從人的認(rèn)知活動(dòng)中抽象并剝離出來(lái),
不少做,更不多做,專(zhuān)門(mén)模擬人腦完成低級(jí)、繁瑣、持久的駕駛認(rèn)知,選擇性注意,永遠(yuǎn)專(zhuān)注,永不疲倦。駕駛腦的差異反映個(gè)人智力和運(yùn)動(dòng)協(xié)調(diào)能力的差異,世界上沒(méi)有兩個(gè)完全相同的駕駛腦。駕駛腦將駕駛活動(dòng)從人的認(rèn)知活動(dòng)中抽象并剝離出來(lái),不少做,22
駕駛認(rèn)知的形式化,也許不必一開(kāi)始就弄清駕駛員認(rèn)知的微功能、微結(jié)構(gòu)、人腦內(nèi)各種連接關(guān)系的復(fù)雜組織;也不必一開(kāi)始就弄清高并發(fā)、大流量、大數(shù)據(jù)信息編碼以及腦精細(xì)組織跨區(qū)域的關(guān)聯(lián),要懂得忽略和聚焦,懂得抽象和分離。駕駛認(rèn)知形式化的尺度選擇駕駛認(rèn)知的形式化,也許不必一開(kāi)始就弄清駕駛員認(rèn)知的23駕駛認(rèn)知的形式化,強(qiáng)調(diào)如何用人工智能技術(shù)代替駕駛員的感知和認(rèn)知,確保車(chē)輛自主行駛,而不必糾結(jié)于機(jī)器駕駛腦和駕駛員腦是否在微觀上具有相似性!駕駛認(rèn)知的形式化,強(qiáng)調(diào)如何用人工智能技術(shù)代替駕駛員的感24駕駛認(rèn)知坐標(biāo)系的形式化作為認(rèn)知主體,輪式機(jī)器人在運(yùn)動(dòng)過(guò)程中始終以“我”為中心,對(duì)周邊環(huán)境信息體現(xiàn)選擇性注意和簡(jiǎn)約,時(shí)時(shí)刻刻進(jìn)行同步定位和映射(iSLAM),這是腦認(rèn)知形式化的重要內(nèi)容。駕駛認(rèn)知坐標(biāo)系的形式化作為認(rèn)知主體,輪式機(jī)器人在運(yùn)動(dòng)過(guò)25心理物理學(xué)定律人的一切感覺(jué),包括視覺(jué)、聽(tīng)覺(jué)、膚覺(jué)(含痛、癢、觸、溫度)、味覺(jué)、嗅覺(jué)、電擊覺(jué)等都遵從感覺(jué)不與物理量的強(qiáng)度成正比,而是與對(duì)應(yīng)物理量的常用對(duì)數(shù)成正比的法則。該法則成為心理物理學(xué)的奠基性理論,為對(duì)數(shù)視力表等感覺(jué)強(qiáng)度的規(guī)范制定了量化標(biāo)準(zhǔn),并一直延用至今。韋伯——費(fèi)希納定律(1850年左右):
S=K1
logR=K2lnR
心理物理學(xué)定律人的一切感覺(jué),包括視覺(jué)、聽(tīng)覺(jué)、膚覺(jué)(含痛、癢、26反映駕駛認(rèn)知的對(duì)數(shù)極坐標(biāo)系loga1=0,直角坐標(biāo)系中半徑為1的小圓內(nèi)的所有點(diǎn),在對(duì)數(shù)極坐標(biāo)中全都塌縮為零點(diǎn)柵格角度1°最大環(huán)數(shù)100徑向長(zhǎng)度204m最小柵格徑向0.1m面積1cm2最大柵格徑向3.4m面積6
m2以車(chē)速36km/h為例視野100°200m(100環(huán))100m(91環(huán))10m(61環(huán))5m(52環(huán))注視點(diǎn)(聚焦點(diǎn)):18m車(chē)速V與預(yù)瞄點(diǎn)f的關(guān)系:f=5.0771*e0.0254V
擬合系數(shù)=0.88燈下黑Grid1,
1°(a)Grid100,1°(b)反映駕駛認(rèn)知的對(duì)數(shù)極坐標(biāo)系loga1=0,直角坐標(biāo)系中半徑無(wú)人車(chē)決策控制-駕駛認(rèn)知的形式化課件車(chē)速
Km/h視野(視覺(jué)區(qū))注意高度(與地平面夾角)注視點(diǎn)(聚焦點(diǎn))動(dòng)視力(能見(jiàn)度)0210o30o3m1.518120o25o9m1.236100o20o18m1.15480o15o27m1.07270o12o36m0.810840o10o54m0.6駕駛員視野和車(chē)速相關(guān)車(chē)速V與注視點(diǎn)焦距f的關(guān)系:預(yù)瞄點(diǎn)f=5.0771*e0.0254V
擬合系數(shù)=0.88車(chē)速視野(視覺(jué)區(qū))注意高度注視點(diǎn)動(dòng)視力0210o30o3感知、認(rèn)知的多坐標(biāo)系和坐標(biāo)系變換橢球地心坐標(biāo)系(貝賽爾1841坐標(biāo)系)GPS全球定位系統(tǒng)WGS-84坐標(biāo)系(地心空間經(jīng)高斯投影分帶形成的大地直角坐標(biāo)系)車(chē)姿慣導(dǎo)器件用坐標(biāo)系雷達(dá)用坐標(biāo)系(極坐標(biāo)系)攝像頭用坐標(biāo)系駕駛員認(rèn)知的坐標(biāo)系(對(duì)數(shù)極坐標(biāo)系)感知、認(rèn)知的多坐標(biāo)系和坐標(biāo)系變換橢球地心坐標(biāo)系(貝賽爾18430
駕駛員的認(rèn)知坐標(biāo)系近似為隨車(chē)而動(dòng)的對(duì)數(shù)極坐標(biāo)系,充分體現(xiàn)了選擇性注意!
在對(duì)數(shù)極坐標(biāo)系中統(tǒng)一標(biāo)定,不必對(duì)單一攝像頭或者雷達(dá)進(jìn)行SLAM,可分類(lèi)3個(gè)視覺(jué)通道分別完成GPS-SLAM、圖像SLAM、雷達(dá)SLAM,進(jìn)而完成iSLAM,融合駕駛態(tài)勢(shì)形成駕駛態(tài)勢(shì)圖!
駕駛員的先驗(yàn)知識(shí),無(wú)論是駕駛地圖,還是車(chē)輛的動(dòng)力學(xué)性質(zhì),都映射到駕駛員的認(rèn)知坐標(biāo)系中!駕駛員的認(rèn)知坐標(biāo)系近似為隨車(chē)而動(dòng)的對(duì)數(shù)極坐31三、駕駛腦架構(gòu)設(shè)計(jì)原則三、駕駛腦架構(gòu)設(shè)計(jì)原則
回顧近十年來(lái)我們參加的比賽和里程碑試驗(yàn),智能車(chē)各種感知和認(rèn)知手段,相互依存,彼此纏繞。在各類(lèi)比賽場(chǎng)、測(cè)試場(chǎng),智能車(chē)表現(xiàn)千奇百怪、反反復(fù)復(fù),我們困惑過(guò),迷茫過(guò),試來(lái)試去,換車(chē)、換平臺(tái)、加電源、換模塊,通過(guò)多車(chē)交叉驗(yàn)證和常態(tài)試驗(yàn),終于理出了頭緒,形成全新的駕駛腦設(shè)計(jì)!回顧近十年來(lái)我們參加的比賽和里程碑試驗(yàn),智能車(chē)各種感知
和各種車(chē)載傳感器相比,駕駛腦的架構(gòu)設(shè)計(jì)、模塊劃分和界面約定才是智能車(chē)的生命力,進(jìn)而決定智能車(chē)產(chǎn)業(yè)的核心競(jìng)爭(zhēng)力!和各種車(chē)載傳感器相比,駕駛腦的架構(gòu)設(shè)計(jì)、模塊劃分和界面約架構(gòu)設(shè)計(jì)原則系統(tǒng)原則模塊原則表現(xiàn)原則快樂(lè)編程原則系統(tǒng)原則模塊原則表現(xiàn)原則NVIDIA
嵌入式超級(jí)計(jì)算機(jī)iDRIVE
機(jī)器駕駛腦架構(gòu)設(shè)計(jì)原則系統(tǒng)原則系統(tǒng)原則模塊原則表現(xiàn)原則NVIDIAi系統(tǒng)原則
明確任務(wù)目標(biāo)和系統(tǒng)約束,首先是明確不做什么,最大剔除,堅(jiān)持最簡(jiǎn),其次才是明確做什么,尤其是做強(qiáng)什么。這一點(diǎn)成為駕駛腦架構(gòu)的特色和亮點(diǎn)。系統(tǒng)原則明確任務(wù)目標(biāo)和系統(tǒng)約束,首先是明確不做什么架構(gòu)師應(yīng)該確保駕駛腦架構(gòu)設(shè)計(jì)的普適性,當(dāng)某一傳感器或者某一認(rèn)知計(jì)算軟件性能提高后,仍然能夠保證駕駛腦的擴(kuò)展和智商的提高。對(duì)架構(gòu)師而言,傳感器的多少、駕駛智商的高低不應(yīng)該影響架構(gòu);換一個(gè)新型傳感器或者軟件模塊新版本,如同汽車(chē)換一個(gè)車(chē)燈,換一個(gè)車(chē)輛平臺(tái),甚至換一種駕駛風(fēng)格,都不會(huì)影響架構(gòu)。
架構(gòu)師應(yīng)該確保駕駛腦架構(gòu)設(shè)計(jì)的普適性,當(dāng)某一不做什么?為什么不做?要不要全地域的高精度地圖?要不要識(shí)別全程交通標(biāo)志牌?要不要做圖像和雷達(dá)的全程點(diǎn)云SLAM?要不要識(shí)別周邊行人姿態(tài)和情緒?要不要識(shí)別前方車(chē)輛種類(lèi)和品牌等?不做什么?為什么不做?要不要全地域的高精度地圖?先覺(jué)后視視而不覺(jué)邊視邊覺(jué)先視后覺(jué)根據(jù)前一時(shí)刻已擁有的路權(quán),關(guān)注當(dāng)前路權(quán)的變化對(duì)周邊自然風(fēng)景、建筑風(fēng)格、行人年齡姿態(tài)行為、是不是美女、行人和寵物的差別、前方車(chē)輛品牌,是不是時(shí)尚等等,一律熟視無(wú)睹。常規(guī)的、帶GPU加速的計(jì)算機(jī)圖像處理強(qiáng)選擇性,利用記憶主動(dòng)感知,主觀尋找特定駕駛情境強(qiáng)調(diào)已有認(rèn)知協(xié)助當(dāng)前感知!做什么?先覺(jué)后視視而不覺(jué)邊視邊覺(jué)先視后覺(jué)根據(jù)前一時(shí)刻已擁有的路權(quán),關(guān)做好什么?做強(qiáng)什么?專(zhuān)注駕駛和駕駛安全做好為智能車(chē)和駕駛員服務(wù)的駕駛地圖做強(qiáng)選擇性注意做強(qiáng)已有認(rèn)知協(xié)助當(dāng)前感知做強(qiáng)認(rèn)知工程學(xué)做好什么?做強(qiáng)什么?專(zhuān)注駕駛和駕駛安全明確任務(wù)目標(biāo)先跑通駕駛腦架構(gòu),再優(yōu)化、升級(jí)模塊性能系統(tǒng)架構(gòu)要有普適性,既適用商用車(chē),也適用乘用車(chē),還適用特種車(chē),最好適用所有輪式機(jī)器人架構(gòu)要穩(wěn)定,模塊可維護(hù)、可重用、可擴(kuò)展,可多車(chē)交叉驗(yàn)證,界面友好明確任務(wù)目標(biāo)先跑通駕駛腦架構(gòu),再優(yōu)化、升級(jí)模塊性能分層與模塊化是智能車(chē)軟件工程的重要思想,上層對(duì)下層有數(shù)據(jù)依賴,縱向分開(kāi)的并列部分不直接關(guān)聯(lián),不從模塊中導(dǎo)出函數(shù),“絕招”和“臟”的代碼都被孤立在模塊的里面核心是工作總線和調(diào)試總線的切分,以及調(diào)試總線和自學(xué)習(xí)總線的復(fù)用確立“沒(méi)有哪個(gè)軟件模塊不會(huì)被再修改”的原則模塊切分原則分層與模塊化是智能車(chē)軟件工程的重要思想,上層對(duì)下層有數(shù)據(jù)依賴表現(xiàn)原則感知的結(jié)果表現(xiàn)為反映時(shí)序的點(diǎn)云圖簇,認(rèn)知的結(jié)果表現(xiàn)為駕駛態(tài)勢(shì)圖簇,決策的結(jié)果表現(xiàn)為認(rèn)知箭頭簇。三類(lèi)時(shí)空序列的2.5維的表現(xiàn)形態(tài)(CT圖)成為駕駛腦的特色和亮點(diǎn)。通過(guò)三類(lèi)存儲(chǔ)的時(shí)空序列的緩沖區(qū)隔離,防止死鎖,確保共享
表現(xiàn)原則感知的結(jié)果表現(xiàn)為反映時(shí)序的點(diǎn)云圖簇,認(rèn)知的結(jié)
軟件工程隨著遺產(chǎn)代碼的積累和進(jìn)化,新系統(tǒng)的架構(gòu)設(shè)計(jì)已經(jīng)取代傳統(tǒng)編碼成為軟件工程的核心問(wèn)題,軟件開(kāi)發(fā)已經(jīng)演變?yōu)榕渲脼橹?、編程為輔,駕駛腦研發(fā)也不例外。軟件工程隨著遺產(chǎn)代碼的積累和進(jìn)化,新系統(tǒng)的架構(gòu)設(shè)計(jì)已經(jīng)取
盡管架構(gòu)中模塊配置的過(guò)程本身還是通過(guò)模塊化編程的方式來(lái)完成,但本質(zhì)上這些模塊只是在定制成熟算法的運(yùn)作方式,其技術(shù)難度要比編寫(xiě)平臺(tái)自帶的、或者可以移植過(guò)來(lái)的高質(zhì)量的成熟算法(如函數(shù)庫(kù))至少低一個(gè)數(shù)量級(jí)。悲催的是,多數(shù)人在認(rèn)真地做著相反的事。盡管架構(gòu)中模塊配置的過(guò)程本身還是通過(guò)模塊化編程的方式來(lái)完快樂(lè)編程原則基本算法不創(chuàng)新,盡量使用廣泛認(rèn)可的、成熟、開(kāi)源算法,移植到相應(yīng)軟件模塊明確算法中的輸入量和輸出量,自變量和參變量尤其明確試驗(yàn)中要調(diào)整的參變量(如預(yù)置閾值、權(quán)重、優(yōu)化系數(shù)、選擇性開(kāi)關(guān)等)以及參變量?jī)鼋Y(jié)的試驗(yàn)時(shí)間序編程AB角,離線調(diào)程序,在線調(diào)參數(shù)快樂(lè)編程原則基本算法不創(chuàng)新,盡量使用廣泛認(rèn)可的、成熟、開(kāi)源算體現(xiàn)人類(lèi)認(rèn)知的駕駛腦的架構(gòu)設(shè)計(jì),是智能車(chē)項(xiàng)目的精髓。只要架構(gòu)適用,傳感器缺陷也好,軟件臟代碼也好,算法創(chuàng)新也好,車(chē)輛平臺(tái)的動(dòng)力學(xué)性質(zhì)也好,都是局部性的、暫時(shí)性的!體現(xiàn)人類(lèi)認(rèn)知的駕駛腦的架構(gòu)設(shè)計(jì),是智能車(chē)項(xiàng)目的精
智能車(chē)傳感器的添加可以從少到多、從低級(jí)到高級(jí),例如從單目相機(jī)到深度相機(jī),甚至到雷達(dá)相機(jī)。但是,體現(xiàn)人類(lèi)認(rèn)知的駕駛腦架構(gòu)仍然不變。只要架構(gòu)合適了,智商提高的關(guān)鍵,轉(zhuǎn)向特定傳感器或特定模塊內(nèi)部的優(yōu)化,架構(gòu)師依然很輕松很瀟灑。智能車(chē)傳感器的添加可以從少到多、從低級(jí)到高級(jí),駕駛腦數(shù)據(jù)流程圖軟件模塊在雙總線中的連接關(guān)系圖駕駛腦軟件模塊邏輯架構(gòu)圖駕駛腦軟件模塊列表駕駛腦板卡物理構(gòu)成圖弄清駕駛腦設(shè)計(jì)的四圖一表駕駛腦數(shù)據(jù)流程圖弄清駕駛腦設(shè)計(jì)的四圖一表四、分區(qū)記憶和駕駛腦數(shù)據(jù)流程四、分區(qū)記憶和駕駛腦數(shù)據(jù)流程類(lèi)腦駕駛?cè)绾问苣X科學(xué)啟發(fā)?
類(lèi)腦駕駛?cè)绾问苣X科學(xué)啟發(fā)?
駕駛腦性格短期記憶長(zhǎng)期記憶情緒學(xué)習(xí)和思維動(dòng)機(jī)情緒:拒絕人腦中的情緒進(jìn)入駕駛腦,永遠(yuǎn)不因情緒而分散注意力,始終專(zhuān)注。工作記憶:體現(xiàn)駕駛員的選擇性注意,僅僅關(guān)注剛剛過(guò)去的以及當(dāng)前的周邊駕駛態(tài)勢(shì)。動(dòng)機(jī):完成出行任務(wù)從起點(diǎn)到終點(diǎn)的一次性路徑規(guī)劃。學(xué)習(xí)和思維:通過(guò)可用路權(quán)和相似性匹配,完成自主決策,控制下一時(shí)刻的行為動(dòng)作。長(zhǎng)期記憶:如駕駛地圖,表示駕駛員的知識(shí)和經(jīng)驗(yàn)。性格:由人的基因決定,反映開(kāi)車(chē)是保守還是張揚(yáng),還體現(xiàn)小腦動(dòng)平衡能力。瞬間記憶視覺(jué)殘留駕駛腦性格短期記憶長(zhǎng)期記憶情緒學(xué)習(xí)和思維動(dòng)機(jī)情緒:拒絕人腦中
遺忘是人類(lèi)智能的一個(gè)顯著表現(xiàn)。駕駛員在周邊環(huán)境世界里,有豐富的瞬間記憶,短期適度的工作記憶,以及反復(fù)的長(zhǎng)期記憶。越是長(zhǎng)期的越抽象越難忘,越是瞬間的越具體忘得越快,表現(xiàn)語(yǔ)言不同,表達(dá)粒度也不同。遺忘是人類(lèi)智能的一個(gè)顯著表現(xiàn)。駕駛員在周邊環(huán)境53
受腦科學(xué)研究成果的啟發(fā),總架構(gòu)強(qiáng)調(diào)記憶認(rèn)知,建立瞬間記憶區(qū)、工作記憶區(qū)和長(zhǎng)期記憶區(qū)。三區(qū)的數(shù)據(jù)空間大小、表達(dá)語(yǔ)言、時(shí)序間隔等完全不同,要解決三區(qū)記憶數(shù)據(jù)在雙總線和計(jì)算模塊之間傳送和存儲(chǔ)的效率問(wèn)題。
分區(qū)記憶和記憶共享奠定了駕駛腦架構(gòu)的基本形態(tài)!分區(qū)記憶和記憶共享受腦科學(xué)研究成果的啟發(fā),總架構(gòu)強(qiáng)調(diào)記憶認(rèn)知,建54在已有認(rèn)知(路口地圖和路段地圖)的協(xié)助下,類(lèi)比人的視覺(jué)通道,三類(lèi)傳感器通道各負(fù)其責(zé),又只能盡力而為,形成視覺(jué)殘留:GPS+IMU通道:定位、路權(quán)檢測(cè)、導(dǎo)航
雷達(dá)通道:定位、路權(quán)檢測(cè)、導(dǎo)航
圖像通道:定位、路權(quán)檢測(cè)、導(dǎo)航三類(lèi)傳感器通道我在什么地方?周邊有什么?下一步怎么走?SLAM認(rèn)知箭頭可用路權(quán)在已有認(rèn)知(路口地圖和路段地圖)的協(xié)助下,類(lèi)比人的視覺(jué)通道,55感知理解和瞬間記憶
感知理解要充分借助駕駛地圖數(shù)據(jù)庫(kù)即時(shí)生成的、對(duì)數(shù)極坐標(biāo)表達(dá)的路段地圖或者路口地圖,還要與視覺(jué)殘留關(guān)聯(lián),感知理解的結(jié)果形成新的瞬間記憶,記憶中的數(shù)據(jù)隱藏著三個(gè)通道各自對(duì)定位、路權(quán)檢測(cè)和導(dǎo)航的力所能及的貢獻(xiàn)。感知理解和瞬間記憶感知理解要充分借助駕駛地圖數(shù)據(jù)庫(kù)即56腦科學(xué)研究表明,工作記憶和長(zhǎng)期記憶形成的差異可以從海馬體的神經(jīng)突觸細(xì)胞的化學(xué)變化反映出來(lái),通過(guò)突觸形狀記錄信息,當(dāng)CPEB69蛋白質(zhì)處于元粒態(tài)才能執(zhí)行存儲(chǔ)。工作記憶與長(zhǎng)期記憶
點(diǎn)云不進(jìn)入工作記憶,工作記憶的形態(tài)是駕駛態(tài)勢(shì)圖;長(zhǎng)期記憶是對(duì)駕駛態(tài)勢(shì)反復(fù)形成的抽象,是用語(yǔ)言對(duì)駕駛態(tài)勢(shì)做語(yǔ)義標(biāo)注,以經(jīng)驗(yàn)和規(guī)則的形態(tài)表現(xiàn)。腦科學(xué)研究表明,工作記憶和長(zhǎng)期記憶形成的差異可以從海馬體57決策記憶瞬間記憶動(dòng)態(tài)感知態(tài)勢(shì)分析自主決策精準(zhǔn)控制態(tài)勢(shì)記憶計(jì)算流程讀數(shù)據(jù)流程反饋—已有認(rèn)知幫助當(dāng)前感知,感知不受已有認(rèn)知的影響幾乎是不可能的!工作記憶長(zhǎng)期記憶
1/2路段記憶
1/16路口記憶險(xiǎn)情記憶困境記憶泊車(chē)記憶反饋?zhàn)x讀反饋反饋反饋反饋反饋瞬間記憶瞬間記憶態(tài)勢(shì)記憶態(tài)勢(shì)記憶決策記憶決策記憶搜索匹配引擎寫(xiě)寫(xiě)寫(xiě)反饋決策記憶瞬間記憶動(dòng)態(tài)感知態(tài)勢(shì)分析自主決策精準(zhǔn)態(tài)勢(shì)記憶計(jì)算流程58速度變化量轉(zhuǎn)角變化量點(diǎn)云中隱含著導(dǎo)航、周邊障礙物和SLAM數(shù)據(jù)可用路權(quán)及其變化駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)融合模塊自主決策模塊控制模塊在線執(zhí)行模塊態(tài)勢(shì)記憶池決策記憶池瞬間記憶池駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛腦數(shù)據(jù)流程圖GPS雷達(dá)攝像頭感知理解模塊長(zhǎng)期記憶池1/2路段記憶1/16路口記憶險(xiǎn)情記憶困境記憶泊車(chē)記憶反饋反饋反饋反饋速度變化量點(diǎn)云中隱含著導(dǎo)航、周邊障礙物和SLAM數(shù)據(jù)可用路權(quán)五、駕駛腦外延——記憶棒五、駕駛腦外延——記憶棒
考駕照時(shí)駕駛員的理論考試,并不要求對(duì)交通道路地圖的理解和積累。但駕駛員的經(jīng)驗(yàn)很重要,在高速路上偶爾會(huì)看到駕駛員將車(chē)停在一邊問(wèn)路,是他的駕駛技術(shù)不熟練嗎?要不要把全城、全省、全國(guó)、全球的高精度道路地圖統(tǒng)統(tǒng)搬到一個(gè)特定的駕駛腦中去?為什么近年來(lái)如此多的地圖公司提供我們的駕駛地圖始終沒(méi)有被用上?質(zhì)疑1:考駕照時(shí)駕駛員的理論考試,并不要求對(duì)交通道路地圖的理解和
在智能駕駛中,傳統(tǒng)電子地圖和數(shù)字地圖處于什么位置?起什么作用?地圖是不是個(gè)傳感器?智能車(chē)在第一次出行任務(wù)之前是否一定要預(yù)先實(shí)地學(xué)習(xí)行駛一遍或多遍?現(xiàn)場(chǎng)跑究竟跑什么?質(zhì)疑2:在智能駕駛中,傳統(tǒng)電子地圖和數(shù)字地圖處于什么位置?起什么
每一個(gè)特定的駕駛員,每一輛特定的輪式機(jī)器人,他走過(guò)的路服從二八定律,包括駕駛地圖在內(nèi)的先驗(yàn)知識(shí)是以他為中心坐標(biāo)系的長(zhǎng)期記憶認(rèn)知而已,可以分別用路段和路口組成的駕駛地圖記憶棒實(shí)現(xiàn)。解決方案:每一個(gè)特定的駕駛員,每一輛特定的輪式機(jī)器人,他走過(guò)的路服駕駛地圖記憶棒
智能駕駛中的雙二八定律:80%的時(shí)間在路段上跑;80%的技術(shù)難度在路口駕駛地圖記憶棒1/2路段記憶棒1/16路口記憶棒駕駛地圖記憶棒智能駕駛中的雙二八定律:80%的時(shí)間在路段上路段駕駛例:
在城市或城際道路上,一般地說(shuō),同一路段內(nèi)具有相同的車(chē)道數(shù),且車(chē)道寬度保持不變;還具有相同的諸多物理和幾何屬性。對(duì)路段駕駛而言,常常要求較高的橫向精度和較低的縱向精度。
借助駕駛地圖記憶棒中的路段數(shù)據(jù)庫(kù),融合三路傳感器信息,即時(shí)生成在車(chē)輛前進(jìn)方向上的對(duì)數(shù)極坐標(biāo)表示的駕駛態(tài)勢(shì)圖。路段駕駛例: 在城市或城際道路上,一般地說(shuō),同一路段內(nèi)具有路段名稱(chēng)起止位置坐標(biāo)限速km/h車(chē)道數(shù)據(jù)路面數(shù)據(jù)道間及路邊數(shù)據(jù)車(chē)道數(shù)車(chē)道寬度車(chē)道曲率規(guī)則程度道路坡度路面質(zhì)量規(guī)則程度隔離帶種類(lèi)路肩高度規(guī)則程度翠微段(a,b)8033.5m0好+1°粗糙好綠化5cm好路段地圖碎片化、個(gè)性化
——1/2路段地圖數(shù)據(jù)庫(kù)例路邊社情路邊建筑物推薦速度高峰時(shí)段平常城鄉(xiāng)結(jié)合部高樓林立3070路段起止位置坐標(biāo)限速車(chē)道數(shù)據(jù)路面數(shù)據(jù)道間及路邊數(shù)據(jù)車(chē)道數(shù)車(chē)道路段地圖在感知中的作用舉例再次確認(rèn):雷達(dá)識(shí)別出道路中間的綠化隔離帶,被地圖確認(rèn);GPS-IMU給出本車(chē)所在的地圖車(chē)道位置,被攝像頭檢測(cè)到的車(chē)道線確認(rèn)互相補(bǔ)充:地圖告知進(jìn)入事故多發(fā)區(qū),雷達(dá)點(diǎn)云數(shù)據(jù)反映道路流量增大;地圖告知經(jīng)過(guò)流動(dòng)商販區(qū),攝像頭發(fā)現(xiàn)許多行人沖突消解:雷達(dá)識(shí)別出道路前方疑似橫向路肩,地圖告知是大陡坡要上橋;地圖給出道路大轉(zhuǎn)彎曲率,攝像頭丟失車(chē)道線;攝像頭看出是下坡,地圖告知是怪坡。以路段駕駛為例:路段地圖在感知中的作用舉例再次確認(rèn):雷達(dá)識(shí)別出道路中間的綠化67提醒幫助:地圖告知前方是隧道,提醒GPS可能會(huì)丟失信號(hào),不再懷疑GPS失鎖;車(chē)輛到達(dá)坡頂前,提醒前向雷達(dá)可能無(wú)信息可用,提醒攝像頭無(wú)法檢測(cè)到車(chē)道線,但地圖仍可提供地形坡度等信息,輔助決策。過(guò)濾噪聲:地圖告知正在通過(guò)粗糙路面,雷達(dá)出現(xiàn)抖動(dòng)噪聲數(shù)據(jù)需要過(guò)濾;地圖告知要通過(guò)城鄉(xiāng)結(jié)合部路邊家禽菜市場(chǎng)繁鬧區(qū),雷達(dá)發(fā)現(xiàn)過(guò)多、過(guò)小、過(guò)雜的移動(dòng)障礙物屬性關(guān)聯(lián):地圖告知正在通過(guò)大彎道傾斜路面,雷達(dá)檢出前方所有移動(dòng)目標(biāo)都在減速以路段駕駛為例:路段地圖在感知中的作用舉例提醒幫助:地圖告知前方是隧道,提醒GPS可能會(huì)丟失信號(hào),不再68路段駕駛態(tài)勢(shì)圖例屬性值限速80推薦速度30道路坡度+1°路面質(zhì)量粗糙隔離帶綠化帶路肩高度5cm認(rèn)知箭頭路段駕駛態(tài)勢(shì)圖例屬性值限速80推薦速度30道路坡度+1°路面十字形交叉路口路口地圖碎片化、個(gè)性化
——1/16路段地圖數(shù)據(jù)庫(kù)例十字形交叉路口路口地圖碎片化、個(gè)性化
——1/16路段地圖1/9T形交叉路口1/25環(huán)形交叉路口路口地圖碎片化、個(gè)性化1/9T形交叉路口1/25環(huán)形交叉路口路口地圖碎片路口數(shù)據(jù)碎片化:1/16路口地圖數(shù)據(jù)例路口名稱(chēng)路口屬性限速km/h本車(chē)道對(duì)應(yīng)路口數(shù)據(jù)路口路面數(shù)據(jù)道間及路邊數(shù)據(jù)停止線坐標(biāo)斑馬線坐標(biāo)二次停止線對(duì)應(yīng)紅綠燈位置道路坡度路面質(zhì)量規(guī)則程度道路間隔物路肩高度周邊障礙物輪廓翠微萬(wàn)壽路口十字路口30(a,b)(a,b)(a,b)(a,b)+1°粗糙好綠化5cm(a,b)路口地標(biāo)路口周邊建筑物本車(chē)道對(duì)應(yīng)對(duì)方車(chē)道數(shù)據(jù)停止線坐標(biāo)斑馬線位置坡度(a,b)(a,b)+1°城鄉(xiāng)結(jié)合部低矮平房行車(chē)方向——由南向北在路口左拐:路口數(shù)據(jù)碎片化:1/16路口地圖數(shù)據(jù)例路口路口限速本車(chē)道對(duì)應(yīng)1/16路口駕駛態(tài)勢(shì)圖例對(duì)應(yīng)紅綠燈周邊障礙物停止線本車(chē)道對(duì)應(yīng)車(chē)道1/16路口駕駛態(tài)勢(shì)圖例對(duì)應(yīng)紅綠燈周邊障礙物停止線本車(chē)道對(duì)應(yīng)1/16路口地圖數(shù)據(jù)庫(kù)例路口名稱(chēng)路口屬性限速km/h本車(chē)道對(duì)應(yīng)路口數(shù)據(jù)路口路面數(shù)據(jù)道間及路邊數(shù)據(jù)停止線坐標(biāo)斑馬線坐標(biāo)二次停止線對(duì)應(yīng)紅綠燈位置道路坡度路面質(zhì)量規(guī)則程度道路間隔物路肩高度周邊障礙物輪廓翠微萬(wàn)壽路口十字路口30(a,b)(a,b)(a,b)(a,b)+1°粗糙好綠化5cm(a,b)路口地標(biāo)路口周邊建筑物本車(chē)道對(duì)應(yīng)對(duì)方車(chē)道數(shù)據(jù)停止線坐標(biāo)斑馬線位置坡度(a,b)(a,b)+1°城鄉(xiāng)結(jié)合部低矮平房1/16路口地圖數(shù)據(jù)庫(kù)例路口路口限速本車(chē)道對(duì)應(yīng)路口數(shù)據(jù)路口路路口駕駛態(tài)勢(shì)圖例對(duì)應(yīng)紅綠燈周邊障礙物停止線本車(chē)道對(duì)應(yīng)車(chē)道路口駕駛態(tài)勢(shì)圖例對(duì)應(yīng)紅綠燈周邊障礙物停止線本車(chē)道對(duì)應(yīng)車(chē)道駕駛記憶棒特定車(chē)駕駛記憶棒1/2路段駕駛記憶棒1/16路口駕駛記憶棒泊車(chē)記憶棒險(xiǎn)情記憶棒困境記憶棒……在自學(xué)習(xí)總線中會(huì)有進(jìn)一步說(shuō)明駕駛記憶棒是通過(guò)自學(xué)習(xí)生成的駕駛記憶棒特定車(chē)駕駛記憶棒在自學(xué)習(xí)總線中會(huì)有進(jìn)一步說(shuō)明險(xiǎn)情、困境記憶棒示例困境記憶棒陡坡起步陷入泥潭爆胎處置……險(xiǎn)情記憶棒彎道超車(chē)匯入車(chē)流雪地行駛雨中行駛山路行駛……險(xiǎn)情、困境記憶棒示例困境記憶棒險(xiǎn)情記憶棒六、
雙總線架構(gòu)實(shí)現(xiàn)交互認(rèn)知
六、雙總線架構(gòu)實(shí)現(xiàn)交互認(rèn)知
從智能車(chē)架構(gòu)1.0存在問(wèn)題談起……從智能車(chē)架構(gòu)1.0存在問(wèn)題談起……“猛獅4號(hào)”智能車(chē)傳感器等硬件物理連接圖后毫米波雷達(dá)CAN線GPS慣導(dǎo)
串口線頂8線激光雷達(dá)前8線激光雷達(dá)前1線激光雷達(dá)后1線激光雷達(dá)交換機(jī)網(wǎng)線網(wǎng)線網(wǎng)線網(wǎng)線網(wǎng)線左耳攝像頭右耳攝像頭USB線USB線OBD診斷接口串口線車(chē)內(nèi)左攝像頭車(chē)內(nèi)中攝像頭車(chē)內(nèi)右攝像頭1394視頻傳輸線1394視頻傳輸線1394視頻傳輸線下位機(jī)控制器串口線工控機(jī)工控機(jī)工控機(jī)“猛獅4號(hào)”智能車(chē)傳感器等硬件物理連接圖后毫米波雷達(dá)CAN線以太網(wǎng)工控機(jī)3+操作系統(tǒng)工控機(jī)2+操作系統(tǒng)工控機(jī)1+操作系統(tǒng)支撐模塊進(jìn)程監(jiān)控虛擬交換日志管理交互調(diào)試應(yīng)用模塊圖像預(yù)處理GPS預(yù)處理感知雷達(dá)預(yù)處理認(rèn)知路徑導(dǎo)航道路要素映射路口記憶棒危險(xiǎn)場(chǎng)景記憶棒泊車(chē)記憶棒人工干預(yù)決策行為油門(mén)控制制動(dòng)控制其它控制方向盤(pán)控制信息融合驅(qū)動(dòng)模塊激光雷達(dá)毫米波雷達(dá)超聲波雷達(dá)紅外雷達(dá)GPSIMU圖像類(lèi)傳感器驅(qū)動(dòng)模塊雷達(dá)類(lèi)傳感器驅(qū)動(dòng)模塊GPS類(lèi)傳感器驅(qū)動(dòng)模塊單目相機(jī)雙目相機(jī)BDSIMU智能車(chē)軟件模塊邏輯架構(gòu)圖以太網(wǎng)工控機(jī)3+操作系統(tǒng)工控機(jī)2+操作系統(tǒng)工控機(jī)1+操作系統(tǒng)發(fā)送者物理層千兆以太網(wǎng)接收者應(yīng)用層傳輸層UDP網(wǎng)絡(luò)層IP物理層千兆以太網(wǎng)應(yīng)用層傳輸層UDP網(wǎng)絡(luò)層IP智能車(chē)架構(gòu)1.0存在問(wèn)題分析由于UDP是一種面向事務(wù)的簡(jiǎn)單不可靠信息傳送服務(wù),盡管傳輸效率高。但它不對(duì)數(shù)據(jù)包進(jìn)行排序,無(wú)法確知是否安全完整到達(dá),造成基于UDP的虛擬交換的先天不足!虛擬交換虛擬交換發(fā)送者物理層接收者應(yīng)用層傳輸層UDP網(wǎng)絡(luò)層IP物理層應(yīng)用人機(jī)交互和在線調(diào)試占用了智能駕駛實(shí)時(shí)信息處理的計(jì)算資源和帶寬,又沒(méi)有規(guī)定基于組播技術(shù)的虛擬交換中交換的優(yōu)先級(jí),當(dāng)通信量增大時(shí)出現(xiàn)阻塞和丟包現(xiàn)象,重要小包的丟失會(huì)造成車(chē)輛失控的嚴(yán)重后果!智能車(chē)架構(gòu)1.0存在問(wèn)題分析人機(jī)交互和在線調(diào)試占用了智能駕駛實(shí)時(shí)信息處理的計(jì)駕駛腦中的工作總線和自學(xué)習(xí)總線構(gòu)成雙總線設(shè)計(jì),確保了輪式機(jī)器人智能駕駛的實(shí)時(shí)性不受影響,又保證了人機(jī)交互和協(xié)同。
駕駛腦中的工作總線和自學(xué)習(xí)總線構(gòu)成雙總線設(shè)計(jì),確保了輪式
雙總線中的交互認(rèn)知
雙總線架構(gòu)既不影響傳感器數(shù)據(jù)的實(shí)時(shí)性處理,又能夠調(diào)整軟件模塊中的相關(guān)參數(shù),便于試驗(yàn)調(diào)試,還可以在線學(xué)習(xí)駕駛員的駕駛經(jīng)驗(yàn),成為駕駛腦架構(gòu)設(shè)計(jì)又一個(gè)亮點(diǎn)!
雙總線中的交互認(rèn)知雙總線架構(gòu)既不影響傳感器數(shù)據(jù)感知板塊認(rèn)知板塊控制板塊交互板塊自學(xué)習(xí)板塊駕駛腦各板塊都基于雙總線工作工作總線自學(xué)習(xí)總線每個(gè)板塊都在雙總線下工作:感知板塊駕駛腦各板塊都基于雙總線工作工作總線每個(gè)板塊都在雙總駕駛態(tài)勢(shì)融合雙駕雙控工作總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊交互板塊駕駛員干預(yù)和工作總線相連的軟件模塊1KMbps進(jìn)程監(jiān)控1虛擬交換1交互控制程序員調(diào)試模塊黑客干預(yù)遠(yuǎn)端車(chē)主干預(yù)乘員交互日志管理駕駛態(tài)勢(shì)融合雙駕雙控工作總線CAN總線認(rèn)知板塊雷達(dá)圖像導(dǎo)航控87程序員在線調(diào)參數(shù)的過(guò)程,可理解為程序員在教輪式機(jī)器人如何學(xué)開(kāi)車(chē),如同棋手教圍棋腦下棋國(guó)際象棋,對(duì)一個(gè)特定的棋局(態(tài)勢(shì))常常有35種可能的走法(寬度),沿每種走法深下去可達(dá)80層,即有3528種可能可選;圍棋比賽對(duì)一個(gè)特定的棋局常常有250150種可能走法,計(jì)算和推理量很大。然而對(duì)開(kāi)車(chē)過(guò)程中一個(gè)特定的駕駛態(tài)勢(shì),可能的操作要少!程序員在線調(diào)參數(shù)的過(guò)程,可理解為程序員在教輪式機(jī)器人如何學(xué)開(kāi)
駕駛活動(dòng)更多的是技巧、記憶和經(jīng)驗(yàn),而不是知識(shí)、推理和計(jì)算!駕駛活動(dòng)更多的是技巧、記憶和經(jīng)驗(yàn),而不是知識(shí)真正能夠教機(jī)器人開(kāi)車(chē)的應(yīng)該是駕駛員,有經(jīng)驗(yàn)的駕駛員長(zhǎng)期與車(chē)互動(dòng),熟練到已經(jīng)把車(chē)同化為人體的一部分,成為與身體無(wú)縫對(duì)接的真實(shí)外延因此,機(jī)器駕駛腦在駕駛員開(kāi)車(chē)時(shí)應(yīng)該能“悄悄地”自學(xué)習(xí),將“腦和機(jī)器融合在一起”,實(shí)現(xiàn)這樣一個(gè)可望而不可及的人類(lèi)夢(mèng)想!真正能夠教機(jī)器人開(kāi)車(chē)的應(yīng)該是駕駛員,有經(jīng)驗(yàn)的駕駛員長(zhǎng)期與車(chē)互我們將調(diào)試總線擴(kuò)展為自學(xué)習(xí)總線,開(kāi)創(chuàng)自學(xué)習(xí)板塊,完成統(tǒng)計(jì)學(xué)習(xí)和進(jìn)化學(xué)習(xí)(CognitionByCases),讓輪式機(jī)器人像人一樣開(kāi)車(chē),研發(fā)有個(gè)性的智能車(chē)!
一旦當(dāng)前的認(rèn)知與過(guò)去經(jīng)歷的記憶進(jìn)行了混合比對(duì),駕駛腦便能對(duì)不確定未來(lái)做出最好的決策,完成大腦的創(chuàng)造性、運(yùn)動(dòng)的靈巧性以及對(duì)車(chē)無(wú)窮無(wú)盡的同化過(guò)程。我們將調(diào)試總線擴(kuò)展為自學(xué)習(xí)總線,開(kāi)創(chuàng)自學(xué)習(xí)板塊,完成統(tǒng)計(jì)學(xué)習(xí)如果方程式賽車(chē)手在以240km/h的速度疾駛時(shí),甚至能覺(jué)察出賽道瀝青表面的細(xì)微改變,如果足球運(yùn)動(dòng)員的大腦認(rèn)為足球只不過(guò)是其腳的延伸。這個(gè)過(guò)程體現(xiàn)了神經(jīng)生理學(xué)的一個(gè)原則:可塑性原則(PlasticityPrinciple)不妨通過(guò)統(tǒng)計(jì)學(xué)習(xí)和進(jìn)化學(xué)習(xí),研發(fā)可塑駕駛腦。駕駛腦不再是完成特定任務(wù)的程序,它具有終身學(xué)習(xí)的能力駕駛腦通過(guò)自學(xué)習(xí)可匯聚多人駕駛認(rèn)知,智商提高的速度要遠(yuǎn)遠(yuǎn)高于單個(gè)駕駛員駕駛技巧自然進(jìn)化的速度如果方程式賽車(chē)手在以240km/h的速度疾駛時(shí),甚至能覺(jué)察出駕駛態(tài)勢(shì)融合雙駕雙控自學(xué)習(xí)/調(diào)試總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊駕駛員干預(yù)和自學(xué)習(xí)/調(diào)試總線相連的軟件模塊1KMbps進(jìn)程監(jiān)控2虛擬交換2自學(xué)習(xí)板塊駕駛記憶棒生成搜索匹配引擎比對(duì)庫(kù)生成交互板塊程序員調(diào)試模塊遠(yuǎn)端車(chē)主干預(yù)日志管理交互控制遠(yuǎn)端服務(wù)響應(yīng)乘員交互駕駛態(tài)勢(shì)融合雙駕雙控自學(xué)習(xí)/調(diào)試總線CAN總線認(rèn)知板塊雷達(dá)圖93
人工駕駛時(shí),將經(jīng)驗(yàn)駕駛員對(duì)油門(mén)、制動(dòng)和方向盤(pán)的操控量抽象為認(rèn)知箭頭,與機(jī)器視覺(jué)形成的駕駛態(tài)勢(shì)圖進(jìn)行一一對(duì)應(yīng),“悄悄地”生成碎片化的駕駛態(tài)勢(shì)-認(rèn)知箭頭圖對(duì),4然后通過(guò)深度學(xué)習(xí),生成駕駛記憶棒;
機(jī)器人駕駛時(shí),利用搜索匹配引擎,通過(guò)駕駛態(tài)勢(shì)以圖搜圖,實(shí)時(shí)地在記憶棒中近似搜索,找到符合當(dāng)前駕駛態(tài)勢(shì)的合適認(rèn)知箭頭,形成控制指令輸出。充分發(fā)揮碎片化(大數(shù)據(jù))認(rèn)知的作用,克服形式化的困難,細(xì)分約束區(qū)間,縮小在線推理范圍。自學(xué)習(xí)模塊人工駕駛時(shí),將經(jīng)驗(yàn)駕駛員對(duì)油門(mén)、制動(dòng)和方向盤(pán)的操控量抽象94正學(xué)習(xí):機(jī)器人向經(jīng)驗(yàn)駕駛員學(xué)開(kāi)車(chē)經(jīng)驗(yàn)駕駛員通過(guò)生物視覺(jué)等形成的當(dāng)前駕駛態(tài)勢(shì)圖3路機(jī)器視覺(jué)綜合形成的當(dāng)前駕駛態(tài)勢(shì)圖駕駛員人工操控油門(mén)、制動(dòng)和方向盤(pán)駕駛態(tài)勢(shì)——認(rèn)知箭頭圖對(duì)庫(kù)生成駕駛態(tài)勢(shì)認(rèn)知箭頭抽象機(jī)器駕駛3路機(jī)器視覺(jué)綜合形成的當(dāng)前駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)駕駛記憶棒搜索匹配引擎認(rèn)知箭頭機(jī)器人操控油門(mén)、制動(dòng)和方向盤(pán)人工駕駛認(rèn)證提取通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)自學(xué)習(xí):統(tǒng)計(jì)學(xué)習(xí)和進(jìn)化學(xué)習(xí)正學(xué)習(xí):機(jī)器人向經(jīng)驗(yàn)駕駛員學(xué)開(kāi)車(chē)經(jīng)驗(yàn)駕駛員通過(guò)生物視覺(jué)等形成負(fù)學(xué)習(xí):機(jī)器人向事故駕駛員吸取開(kāi)車(chē)教訓(xùn)經(jīng)驗(yàn)駕駛員通過(guò)生物視覺(jué)等形成的當(dāng)前駕駛態(tài)勢(shì)圖3路機(jī)器視覺(jué)綜合形成的當(dāng)前駕駛態(tài)勢(shì)圖駕駛員人工操控油門(mén)、制動(dòng)和方向盤(pán)駕駛態(tài)勢(shì)——認(rèn)知箭頭圖對(duì)庫(kù)生成駕駛態(tài)勢(shì)認(rèn)知箭頭抽象機(jī)器人吸取教訓(xùn)3路機(jī)器視覺(jué)綜合形成的當(dāng)前駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)事故記憶棒搜索匹配引擎認(rèn)知箭頭機(jī)器人操控油門(mén)、制動(dòng)和方向盤(pán)事故駕駛員駕駛認(rèn)證提取通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)自學(xué)習(xí):統(tǒng)計(jì)學(xué)習(xí)和進(jìn)化學(xué)習(xí)X負(fù)學(xué)習(xí):機(jī)器人向事故駕駛員吸取開(kāi)車(chē)教訓(xùn)經(jīng)驗(yàn)駕駛員通過(guò)生物視覺(jué)輪式機(jī)器人學(xué)習(xí)泊車(chē)經(jīng)驗(yàn)駕駛員通過(guò)生物視覺(jué)等形成的當(dāng)前駕駛態(tài)勢(shì)圖3路機(jī)器視覺(jué)綜合形成的當(dāng)前駕駛態(tài)勢(shì)圖駕駛員人工操控油門(mén)、制動(dòng)和方向盤(pán)駕駛態(tài)勢(shì)——認(rèn)知箭頭圖對(duì)庫(kù)生成駕駛態(tài)勢(shì)認(rèn)知箭頭抽象機(jī)器人泊車(chē)3路機(jī)器視覺(jué)綜合形成的當(dāng)前駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)泊車(chē)記憶棒搜索匹配引擎認(rèn)知箭頭機(jī)器人操控油門(mén)、制動(dòng)和方向盤(pán)人工泊車(chē)認(rèn)證提取通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)自學(xué)習(xí):統(tǒng)計(jì)學(xué)習(xí)和進(jìn)化學(xué)習(xí)輪式機(jī)器人學(xué)習(xí)泊車(chē)經(jīng)驗(yàn)駕駛員通過(guò)生物視覺(jué)等形成的當(dāng)前駕駛態(tài)勢(shì)自學(xué)習(xí)總線交互板塊汽車(chē)CAN總線工作總線感知板塊認(rèn)知板塊控制板塊虛擬交換2進(jìn)程監(jiān)控2虛擬交換1進(jìn)程監(jiān)控1程序員調(diào)試交互控制乘員交互遠(yuǎn)端服務(wù)響應(yīng)自主決策紅綠燈檢測(cè)導(dǎo)航路權(quán)檢測(cè)導(dǎo)航路權(quán)檢測(cè)定位導(dǎo)航路權(quán)檢測(cè)定位圖像數(shù)據(jù)預(yù)處理雷達(dá)數(shù)據(jù)預(yù)處理GPS數(shù)據(jù)預(yù)處理導(dǎo)航路權(quán)定位駕駛態(tài)勢(shì)融合1KMbps1KMbps駕駛員干預(yù)執(zhí)行板塊軟件模塊與雙總線連接關(guān)系圖定位遠(yuǎn)端車(chē)主干預(yù)調(diào)試總線雙駕雙控自學(xué)習(xí)板塊駕駛記憶棒生成比對(duì)庫(kù)生成搜索匹配引擎日志管理自學(xué)習(xí)總線交互板塊汽車(chē)CAN總線工作總線感知板塊認(rèn)知板塊控
盡管每個(gè)模塊都連到工作總線和自學(xué)習(xí)總線,但從物理支撐看,工作總線在以太網(wǎng)1上,自學(xué)習(xí)總線在以太網(wǎng)2上,兩者是分開(kāi)的;從信息流向看,只有交互控制模塊對(duì)雙總線是雙跨的!對(duì)其它模塊而言,雙總線在邏輯上是隔離的!唯有交互控制模塊可實(shí)時(shí)干預(yù)智能車(chē)的行為控制!盡管每個(gè)模塊都連到工作總線和自學(xué)習(xí)總線,但從物理支99基于雙總線的人機(jī)協(xié)同共駕“輪式機(jī)器人”駕駛位上的駕駛員(可空缺)程序調(diào)試員、試驗(yàn)員乘員互聯(lián)網(wǎng)遠(yuǎn)端的車(chē)主包括黑客在內(nèi)的互聯(lián)網(wǎng)遠(yuǎn)端服務(wù)請(qǐng)求六種人之間的交互雙駕雙控在線干預(yù)機(jī)器人的認(rèn)知能力目的地表達(dá)責(zé)任人,擁有最高指揮權(quán),日常調(diào)度維護(hù)自主駕駛出發(fā)地和目的地表達(dá)基于雙總線的人機(jī)協(xié)同共駕“輪式機(jī)器人”六種人之間的交互雙駕雙云端云端
雙總線中的交互認(rèn)知
雙總線架構(gòu)實(shí)現(xiàn)了六種人之間的交互,體現(xiàn)人機(jī)協(xié)同共駕,為車(chē)聯(lián)網(wǎng)打下基礎(chǔ),為提高移動(dòng)生活品質(zhì)留有足夠空間,并堵死黑客的攻擊。
雙總線中的交互認(rèn)知雙總線架構(gòu)實(shí)現(xiàn)了六種人之間的七、駕駛腦軟件模塊邏輯架構(gòu)七、駕駛腦軟件模塊邏輯架構(gòu)應(yīng)用工作總線交互認(rèn)知自主決策模塊導(dǎo)航綜合模塊路權(quán)信息融合模塊定位信息融合模塊控制油門(mén)控制制動(dòng)控制方向盤(pán)控制其它控制感知GPS導(dǎo)航GPS路權(quán)檢測(cè)GPS定位雷達(dá)導(dǎo)航雷達(dá)路權(quán)檢測(cè)雷達(dá)定位紅綠燈檢測(cè)圖像導(dǎo)航圖像路權(quán)檢測(cè)圖像定位驅(qū)動(dòng)激光雷達(dá)毫米波雷達(dá)超聲波雷達(dá)紅外雷達(dá)GPSIMU圖像類(lèi)傳感器驅(qū)動(dòng)模塊雷達(dá)類(lèi)傳感器驅(qū)動(dòng)模塊GPS類(lèi)傳感器驅(qū)動(dòng)模塊單目相機(jī)雙目相機(jī)BDSIMU工作總線軟件模塊邏輯架構(gòu)圖程序員調(diào)試支撐進(jìn)程監(jiān)控2虛擬交換2交互控制工作總線交互認(rèn)知自導(dǎo)航綜合模塊路權(quán)信息定位信息融合控制油制方自學(xué)習(xí)/調(diào)試總線應(yīng)用驅(qū)動(dòng)激光雷達(dá)毫米波雷達(dá)超聲波雷達(dá)紅外雷達(dá)GPSIMU圖像類(lèi)傳感器驅(qū)動(dòng)模塊雷達(dá)類(lèi)傳感器驅(qū)動(dòng)模塊GPS類(lèi)傳感器驅(qū)動(dòng)模塊單目相機(jī)雙目相機(jī)BDSIMU調(diào)試/自學(xué)習(xí)總線軟件模塊邏輯架構(gòu)圖感知GPS導(dǎo)航GPS障礙物檢測(cè)GPS定位雷達(dá)導(dǎo)航雷達(dá)障礙物檢測(cè)雷達(dá)定位紅綠燈檢測(cè)圖像導(dǎo)航圖像障礙物檢測(cè)圖像定位認(rèn)知自主決策模塊導(dǎo)航綜合模塊路權(quán)信息融合模塊定位信息融合模塊支撐進(jìn)程監(jiān)控2虛擬交換2交互控制控制其他控制方向盤(pán)控制制動(dòng)控制油門(mén)控制自學(xué)習(xí)搜索匹配引擎比對(duì)庫(kù)生成決策記憶棒生成交互遠(yuǎn)端車(chē)主干預(yù)遠(yuǎn)端服務(wù)響應(yīng)乘員交互程序員調(diào)試日志管理自學(xué)習(xí)/調(diào)試總線激光雷達(dá)毫米波超紅外雷達(dá)GPS圖像類(lèi)傳感器驅(qū)感知計(jì)算模塊
用三類(lèi)傳感器通道類(lèi)比人的視覺(jué)通道,形成對(duì)數(shù)極坐標(biāo)下各自豐富的點(diǎn)云圖片庫(kù),數(shù)據(jù)量大,可實(shí)現(xiàn)傳感器數(shù)據(jù)的瞬間感知理解,還可通過(guò)深度學(xué)習(xí)、尤其是卷積神經(jīng)網(wǎng)絡(luò)模擬生物視覺(jué)神經(jīng),也可以通過(guò)GPU加速計(jì)算,提高瞬間感知能力;還要從瞬間記憶、工作記憶和長(zhǎng)期記憶中獲得幫助,協(xié)助當(dāng)前感知。感知計(jì)算模塊用三類(lèi)傳感器通道類(lèi)比人的視覺(jué)通道,形成對(duì)數(shù)極106認(rèn)知計(jì)算=態(tài)勢(shì)融合+二次規(guī)劃基于路權(quán)思想,重?cái)?shù)據(jù)認(rèn)知,融合三類(lèi)傳感器通道盡全力輸出的定位、路權(quán)和導(dǎo)航信息,形成駕駛態(tài)勢(shì),發(fā)現(xiàn)當(dāng)前可用路權(quán)。根據(jù)可用路權(quán)、一次規(guī)劃、以及本車(chē)參數(shù)(如車(chē)軸距、輪距、方向盤(pán)傳動(dòng)比等)做出二次規(guī)劃,輸出認(rèn)知箭頭。難點(diǎn)在認(rèn)知箭頭的方向角,即當(dāng)前行車(chē)方向與注視點(diǎn)焦距方向行成的夾角;而二次規(guī)劃的路線長(zhǎng)度,即為此時(shí)的注視點(diǎn)(預(yù)瞄點(diǎn))焦距。認(rèn)知計(jì)算=態(tài)勢(shì)融合+二次規(guī)劃基于路權(quán)思想,重?cái)?shù)據(jù)認(rèn)知107記憶認(rèn)知、計(jì)算認(rèn)知和交互認(rèn)知三位一體感知理解認(rèn)知理解認(rèn)知積累感覺(jué)記憶工作記憶長(zhǎng)期記憶前饋前饋反饋反饋抽象抽象演繹演繹記憶認(rèn)知計(jì)算認(rèn)知交互認(rèn)知記憶認(rèn)知、計(jì)算認(rèn)知和交互認(rèn)知三位一體感知理解認(rèn)知理解認(rèn)知積累108構(gòu)造不同尺度連接組的、三位一體的多層認(rèn)知網(wǎng)絡(luò)瞬間記憶工作記憶長(zhǎng)期記憶前饋前饋反饋反饋抽象抽象演繹演繹感知理解(小尺度連接組)認(rèn)知理解(中尺度連接組)認(rèn)知積累(大尺度連接組)WORD構(gòu)造不同尺度連接組的、三位一體的多層認(rèn)知網(wǎng)絡(luò)瞬間記憶工作記憶八、駕駛小腦——控制板塊八、駕駛小腦——控制板塊駕駛腦形式化分工在駕駛認(rèn)知的形式化過(guò)程中,駕駛腦承擔(dān)駕駛這個(gè)特定問(wèn)題域中的視聽(tīng)覺(jué)認(rèn)知、注意、記憶、思維、決策、交互等任務(wù);駕駛決策體現(xiàn)在橫向的方向角控制和縱向的加速度控制(動(dòng)力學(xué))把駕駛協(xié)調(diào)性技能分配給相當(dāng)于小腦的自動(dòng)化和車(chē)輛運(yùn)動(dòng)學(xué),繼承汽車(chē)通過(guò)輪胎速度反饋的自動(dòng)控制成果,如MPC等。駕駛腦形式化分工在駕駛認(rèn)知的形式化過(guò)程中,駕駛腦承擔(dān)駕駛這個(gè)汽車(chē)的自動(dòng)控制汽車(chē)電子比汽車(chē)發(fā)明晚了100多年,汽車(chē)電子不是電子汽車(chē),更不是數(shù)字汽車(chē),目前汽車(chē)的自動(dòng)控制是對(duì)模擬信號(hào)的控制,正在逐步轉(zhuǎn)向線控,沒(méi)有進(jìn)入數(shù)字控制的時(shí)代汽車(chē)的自動(dòng)控制汽車(chē)電子比汽車(chē)發(fā)明晚了100多年,汽車(chē)電子不是汽車(chē)的自動(dòng)控制動(dòng)力控制:發(fā)動(dòng)機(jī)和傳動(dòng)控制轉(zhuǎn)向控制:大車(chē)停留在液壓動(dòng)力轉(zhuǎn)向、小車(chē)停留電動(dòng)助力轉(zhuǎn)向,正在逐步轉(zhuǎn)向電線轉(zhuǎn)向,在轉(zhuǎn)向盤(pán)和轉(zhuǎn)向輪之間沒(méi)有機(jī)械連接。剎車(chē)控制:無(wú)論鼓式制動(dòng)還是盤(pán)式制動(dòng),制動(dòng)驅(qū)動(dòng)機(jī)構(gòu)停留在液壓或者氣壓制動(dòng),“電子——液壓/氣壓制動(dòng)系統(tǒng)”的普及尚需時(shí)日汽車(chē)的自動(dòng)控制動(dòng)力控制:發(fā)動(dòng)機(jī)和傳動(dòng)控制
在長(zhǎng)期的智能駕駛試驗(yàn)活動(dòng)中,我們通過(guò)控制模塊參與智能車(chē)的動(dòng)力學(xué)試驗(yàn),嘗到了甜頭!在長(zhǎng)期的智能駕駛試驗(yàn)活動(dòng)中,我們通過(guò)控制模塊參與九、比較與展望九、比較與展望駕駛腦和圍棋腦比較駕駛認(rèn)知記憶、計(jì)算交互認(rèn)知三位一體駕駛態(tài)勢(shì)圖雙網(wǎng)絡(luò)架構(gòu)自學(xué)習(xí)能力發(fā)展為輪式機(jī)器人的難度分析棋類(lèi)認(rèn)知計(jì)算認(rèn)知和記憶認(rèn)知拓?fù)鋭?dòng)力學(xué)雙網(wǎng)絡(luò)架構(gòu)自學(xué)習(xí)能力發(fā)展為圍棋手、圍棋機(jī)器人的難度分析圍棋腦駕駛腦駕駛腦和圍棋腦比較駕駛認(rèn)知棋類(lèi)認(rèn)知圍棋腦駕駛腦116117愛(ài)因斯坦這樣描述他的思維過(guò)程:
“我思考問(wèn)題時(shí),不是用語(yǔ)言進(jìn)行思考,而是用活動(dòng)的跳躍的形象進(jìn)行思考,當(dāng)這種思考完成以后,我要花很大力氣把它們轉(zhuǎn)換成語(yǔ)言?!?/p>
這段話非常生動(dòng)的描繪出認(rèn)知過(guò)程中形象思維的重要性以及和邏輯思維的關(guān)系,圍棋認(rèn)知和駕駛認(rèn)知亦然。愛(ài)因斯坦1879-1955117愛(ài)因斯坦這樣描述他的思維過(guò)程:這段話非常生動(dòng)的英偉達(dá)DrivePX的自動(dòng)駕駛系統(tǒng)TX1芯片:四核A57+四核A53+4GRAM+64GeMMc+Maxwell256核GPU顯示接口:2組LVDS支持12個(gè)2百萬(wàn)像素相機(jī)60幀率的相機(jī)接口,4個(gè)一組,組內(nèi)幀同步視頻處理器:“Mobileye:EyeQ3”48針車(chē)規(guī)組合接口:6個(gè)CAN2.0接口4個(gè)LIN接口2個(gè)FlexRay接口1個(gè)Ethernet接口
2個(gè)UART接口
1個(gè)電源接口獨(dú)立TX1芯片,作用僅僅是冗余英偉達(dá)DrivePX的自動(dòng)駕駛系統(tǒng)TX1芯片:顯示接口:118英偉達(dá)DrivePX自動(dòng)駕駛系統(tǒng)軟件架構(gòu)OS:NVIDIAVibranteLinux4.0
64-bitKernelLinux,Quickboot,AutoSARRunTimeEnvironment
硬件層:Tegra
X1
處理器操作系統(tǒng)層:Linux操作系統(tǒng)中間件:支撐圖形圖像處理與并行計(jì)算汽車(chē)開(kāi)放系統(tǒng)架構(gòu)基礎(chǔ)軟件應(yīng)用層英偉達(dá)的自動(dòng)駕駛系統(tǒng)本質(zhì)上是一臺(tái)車(chē)載計(jì)算機(jī)!英偉達(dá)DrivePX自動(dòng)駕駛系統(tǒng)軟件架構(gòu)OS:NVIDIA119兩種技術(shù)路線比較英偉達(dá)技術(shù)自動(dòng)駕駛強(qiáng)主機(jī)弱網(wǎng)絡(luò)強(qiáng)感知弱認(rèn)知強(qiáng)計(jì)算弱交互強(qiáng)圖像弱其它駕駛腦技術(shù)自主駕駛和自學(xué)習(xí)駕駛雙總線架構(gòu)認(rèn)知協(xié)助感知記憶、計(jì)算、交互并重傳感器不完美,需要互補(bǔ)兩種技術(shù)路線比較英偉達(dá)技術(shù)駕駛腦技術(shù)120駕駛腦核心是使用多個(gè)處理器芯片和交換機(jī)芯片構(gòu)成的雙網(wǎng)絡(luò)架構(gòu),超出了馮.諾依曼結(jié)構(gòu)的處理器計(jì)算機(jī)板塊名只具有邏輯意義,以進(jìn)程表現(xiàn)的各類(lèi)應(yīng)用軟件模塊物理配置在哪個(gè)處理器芯片上具有靈活性基礎(chǔ)API可廣泛吸納開(kāi)源或者免費(fèi)軟件,如可吸納英偉達(dá)的成熟軟件cuDNN,完成深度學(xué)習(xí)等——駕駛腦計(jì)算資源配置更靈活兩種技術(shù)路線比較駕駛腦核心是使用多個(gè)處理器芯片和交換機(jī)芯片構(gòu)成的雙網(wǎng)絡(luò)架構(gòu),121憧憬:在智能車(chē)?yán)锖蛧鍣C(jī)器人下棋憧憬:在智能車(chē)?yán)锖蛧鍣C(jī)器人下棋
人類(lèi)的發(fā)展史,就是人類(lèi)學(xué)會(huì)運(yùn)用工具、制造工具和發(fā)明機(jī)器的歷史,機(jī)器使得人類(lèi)更強(qiáng)大??萍紡牟煌2?,人類(lèi)永不滿足,今天,人類(lèi)正在發(fā)明越來(lái)越多的機(jī)器人,智能手機(jī)可以成為你的忠實(shí)助理,輪式機(jī)器人也會(huì)比一般人開(kāi)車(chē)開(kāi)得更好,曾經(jīng)的很多工作崗位將會(huì)被智能機(jī)器人替代,但同時(shí)又自然會(huì)涌現(xiàn)出更新的工作,人類(lèi)將更加優(yōu)雅、智慧地生活!
展望一:人類(lèi)的發(fā)展史,就是人類(lèi)學(xué)會(huì)運(yùn)用工具、制造工具和發(fā)明機(jī)器的人類(lèi)始終善于更好地調(diào)教和幫助機(jī)器人,善于利用機(jī)器人的優(yōu)勢(shì)并彌補(bǔ)機(jī)器人的不足,或者用新的機(jī)器人淘汰舊的機(jī)器人;反過(guò)來(lái),機(jī)器人也一定會(huì)讓人類(lèi)自身更智能。各式各樣人機(jī)協(xié)同的機(jī)器人,為我們迎來(lái)了人與機(jī)器人共舞的新時(shí)代,伴隨優(yōu)雅的舞曲,毋庸置疑人類(lèi)始終是領(lǐng)舞者!
展望二:人類(lèi)始終善于更好地調(diào)教和幫助機(jī)器人,善于利用機(jī)器人的優(yōu)勢(shì)謝謝!謝謝!
——駕駛腦設(shè)計(jì)與實(shí)現(xiàn)駕駛認(rèn)知的形式化FormalizationofDrivingCognition——駕駛腦設(shè)計(jì)與實(shí)現(xiàn)駕駛認(rèn)知的形式化一、從象棋腦、圍棋腦到駕駛腦一、從象棋腦、圍棋腦到駕駛腦128和計(jì)算機(jī)下國(guó)際象棋3和計(jì)算機(jī)下國(guó)際象棋129黑白世界,棋子無(wú)功能之分,目數(shù)多者勝和計(jì)算機(jī)下圍棋4黑白世界,棋子無(wú)功能之分,目數(shù)多者130和計(jì)算機(jī)下圍棋難在哪里?象棋的目標(biāo)是“殺王”,子越下越少;圍棋的目標(biāo)是“圈地”,子越下越多,多者取勝。象棋可以從一個(gè)目標(biāo)狀態(tài)不斷搜索最合理的走法達(dá)到下一個(gè)目標(biāo)狀態(tài);圍棋難以鎖定下一個(gè)目標(biāo)狀態(tài)。5和計(jì)算機(jī)下圍棋難在哪里?象棋的目標(biāo)是“殺王”,子越下越少和計(jì)算機(jī)下圍棋難在哪里?象棋可以有目的地向著某一目標(biāo)狀態(tài)不斷搜索最合理的走法;圍棋具有更大的不確定性。象棋更注重邏輯思維;圍棋想圍住對(duì)方,在某個(gè)狀態(tài)下應(yīng)對(duì)的步驟比象棋要多得多,有手筋、棄子、劫爭(zhēng)等戰(zhàn)術(shù)戰(zhàn)略運(yùn)用,更注重形象思維,更大局觀。和計(jì)算機(jī)下圍棋難在哪里?象棋可以有目的地向著某一目標(biāo)狀態(tài)不對(duì)一個(gè)特定的棋局(態(tài)勢(shì)),國(guó)際象棋有35種可能的走法(決策),沿每種走法深下去可達(dá)80層,需要3580種遍歷搜索;而圍棋比賽,對(duì)一個(gè)特定的棋局常常需要有250150種遍歷搜索,計(jì)算和推理量巨大。圍棋因其巨大的搜索空間和困難的棋局態(tài)勢(shì)表達(dá),被認(rèn)為千古無(wú)同局,歷來(lái)是人工智能的最大挑戰(zhàn)。和計(jì)算機(jī)下圍棋難在哪里?對(duì)一個(gè)特定的棋局(態(tài)勢(shì)),國(guó)際象棋有35種AlphaGo突破了傳統(tǒng)程序,搭建了兩套模仿人類(lèi)思維的深度卷積神經(jīng)網(wǎng)絡(luò):valuenetworksandpolicenetworks,學(xué)會(huì)了向人類(lèi)棋手學(xué)習(xí),
從海量樣本的勝局和敗局中學(xué)習(xí),并自動(dòng)提取規(guī)則,進(jìn)行推理。分析這次人機(jī)大戰(zhàn)的棋局,并沒(méi)有看到來(lái)自“天外來(lái)客”的奇招。大樣本和自學(xué)習(xí)支撐AlphaGo取勝AlphaGo突破了傳統(tǒng)程序,搭建了兩套模仿人類(lèi)思AlphaGo以4:1戰(zhàn)勝9段圍棋高手李世石,全球?yàn)橹鸷?,世界一片嘩然!
震撼之后的思考:AlphaGo程序,比賽前后變了沒(méi)有?能否讓AlphaGo和李世石來(lái)一次復(fù)盤(pán)?如果AlphaGo以后一直和棋簍子下,棋商會(huì)不會(huì)退化?
AlphaGo以4:1戰(zhàn)勝9段圍棋高手李世石,全球?yàn)橹鸷称孱?lèi)高手與人工智能發(fā)展成果積累的對(duì)決,是讓棋手充當(dāng)測(cè)試員的一次科學(xué)試驗(yàn)一個(gè)人與一群人(棋類(lèi)高手+AI高手)的對(duì)決一個(gè)生物人與“人與機(jī)器混合生物”之間的對(duì)決人機(jī)大戰(zhàn)常常是:人機(jī)大戰(zhàn)本質(zhì)上是人機(jī)--機(jī)人大戰(zhàn)!棋類(lèi)高手與人工智能發(fā)展成果積累的對(duì)決,是讓棋手充當(dāng)測(cè)試員的一AlphaGo的局限性AlphaGo僅僅是個(gè)圍棋腦,還不是一個(gè)圍棋手,更不是一個(gè)圍棋機(jī)器人,根本就沒(méi)有眼和手,沒(méi)有感知和行為能力AlphaGo沒(méi)有情緒,沒(méi)有情感,不能分析對(duì)手的心理狀態(tài),不能現(xiàn)場(chǎng)和對(duì)手展開(kāi)心理戰(zhàn),缺失交互認(rèn)知能力AlphaGo的局限性AlphaGo僅僅是個(gè)圍棋腦,還不是AlphaGo的局限性用于對(duì)大數(shù)據(jù)樣本學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò),太多的學(xué)習(xí)參數(shù)具有隨意性,不能保證算法的收斂性,缺少反饋機(jī)制,大量案例也不具有累積性,深度學(xué)習(xí)不可能是人工智能的終結(jié)者。目前也還沒(méi)有聽(tīng)說(shuō)AlphaGo具有個(gè)性,并有進(jìn)化學(xué)習(xí)的能力。AlphaGo的局限性用于對(duì)大數(shù)據(jù)樣本學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò),太駕駛腦:駕駛認(rèn)知的形式化駕駛腦:駕駛認(rèn)知的形式化從汽車(chē)到輪式機(jī)器人:發(fā)明汽車(chē)130年來(lái),先從汽車(chē)的行為能力做起,在確保車(chē)輛動(dòng)力學(xué)和人機(jī)工程學(xué)的基礎(chǔ)上,配置感知的零部件,實(shí)現(xiàn)自動(dòng)駕駛,進(jìn)而研發(fā)駕駛腦,完成自主行駛,走著一條完全不同于“圍棋腦——圍棋手——圍棋機(jī)器人”的技術(shù)發(fā)展道路!圍棋機(jī)器人來(lái)日方長(zhǎng),輪式機(jī)器人和飆車(chē)手的比賽將會(huì)更加激動(dòng)人心!從汽車(chē)到輪式機(jī)器人:發(fā)明汽車(chē)130年來(lái),先駕駛認(rèn)知的形式化,強(qiáng)調(diào)如何用人工智能技術(shù)代替駕駛員的感知、認(rèn)知和行為,確保車(chē)輛自主行駛,而不必糾結(jié)于機(jī)器駕駛腦和駕駛員腦是否在微觀上具有相似性!駕駛認(rèn)知的形式化,強(qiáng)調(diào)如何用人工智能技術(shù)代替駕駛員的感智能駕駛等級(jí)區(qū)分離線輔助駕駛自動(dòng)駕駛(局部時(shí)段、局部區(qū)域)自駕駛/自主駕駛/無(wú)人駕駛以人為本的人機(jī)協(xié)同共駕ADAS,HUD高德導(dǎo)航碰撞預(yù)警等ACC自動(dòng)緊急剎車(chē)等城際高速行駛等類(lèi)似騎士和馬人馬騎士與馬智能駕駛等級(jí)區(qū)分離線輔助駕駛自動(dòng)駕駛(局部時(shí)段、局部區(qū)域)自
如果人腦特定問(wèn)題域的認(rèn)知能力可以通過(guò)大數(shù)據(jù)認(rèn)知先局部地形式化,構(gòu)造出駕駛腦、圍棋腦、文秘腦、聊天腦等,哪怕在微觀上不具有組織結(jié)構(gòu)的相似性,但在宏觀上不亞于特定人的智商和情商。那么,當(dāng)千千萬(wàn)萬(wàn)的特定問(wèn)題域的認(rèn)知能力局部形式化之后,用人工智能技術(shù)構(gòu)建千千萬(wàn)萬(wàn)“一腦一用”的認(rèn)知腦,并通過(guò)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算,就可以倒逼并逼近一個(gè)“一腦萬(wàn)用”的人造生物腦。從“一腦一用”到“一腦萬(wàn)用”如果人腦特定問(wèn)題域的認(rèn)知能力可以通過(guò)大數(shù)據(jù)認(rèn)知142二、駕駛認(rèn)知的形式化約束二、駕駛認(rèn)知的形式化約束
“Google無(wú)人駕駛汽車(chē)有上百萬(wàn)英里的測(cè)試經(jīng)驗(yàn),大致相當(dāng)于人類(lèi)75年的駕齡?!?/p>
——2015年5月15日從Google公司的一則報(bào)道談起駕駛認(rèn)知如何度量?如果經(jīng)驗(yàn)駕駛員一年開(kāi)車(chē)1.2萬(wàn)英里,需要75年!“Google無(wú)人駕駛汽車(chē)有上百萬(wàn)英里的測(cè)試經(jīng)驗(yàn),大致駕駛認(rèn)知的本質(zhì)是統(tǒng)計(jì)和進(jìn)化駕駛認(rèn)知不是一次完成的,需要多次反復(fù),在反反復(fù)復(fù)感知-認(rèn)知-行動(dòng)的過(guò)程中學(xué)習(xí)積累,形成相對(duì)穩(wěn)定的認(rèn)知,形成不確定性處置中的基本確定性。因此,駕駛認(rèn)知是個(gè)動(dòng)態(tài)的演化過(guò)程。駕駛認(rèn)知本質(zhì):CognitionbyCases駕駛認(rèn)知的本質(zhì)是統(tǒng)計(jì)和進(jìn)化駕駛認(rèn)知不是一次完成的,需要多次反駕駛認(rèn)知形式化約束
從人的視聽(tīng)覺(jué)感知切入研究腦認(rèn)知,尤其是模擬人腦中的記憶智能、計(jì)算智能和交互智能,用機(jī)器模擬人腦對(duì)安全駕駛的自學(xué)習(xí)和駕駛技能積累能力,模擬人腦對(duì)駕駛環(huán)境的感知、認(rèn)知、決策和行為控制。尤其重要的是駕駛腦并不模擬在駕駛過(guò)程中與安全駕駛無(wú)關(guān)的駕駛員的其它認(rèn)知活動(dòng),如對(duì)路邊美女、對(duì)周邊車(chē)輛品牌等,機(jī)器駕駛腦都不會(huì)有任何興趣!駕駛認(rèn)知形式化約束從人的視聽(tīng)覺(jué)感知切入研究腦認(rèn)知,尤其146駕駛腦將駕駛活動(dòng)從人的認(rèn)知活動(dòng)中抽象并剝離出來(lái),
不少做,更不多做,專(zhuān)門(mén)模擬人腦完成低級(jí)、繁瑣、持久的駕駛認(rèn)知,選擇性注意,永遠(yuǎn)專(zhuān)注,永不疲倦。駕駛腦的差異反映個(gè)人智力和運(yùn)動(dòng)協(xié)調(diào)能力的差異,世界上沒(méi)有兩個(gè)完全相同的駕駛腦。駕駛腦將駕駛活動(dòng)從人的認(rèn)知活動(dòng)中抽象并剝離出來(lái),不少做,147
駕駛認(rèn)知的形式化,也許不必一開(kāi)始就弄清駕駛員認(rèn)知的微功能、微結(jié)構(gòu)、人腦內(nèi)各種連接關(guān)系的復(fù)雜組織;也不必一開(kāi)始就弄清高并發(fā)、大流量、大數(shù)據(jù)信息編碼以及腦精細(xì)組織跨區(qū)域的關(guān)聯(lián),要懂得忽略和聚焦,懂得抽象和分離。駕駛認(rèn)知形式化的尺度選擇駕駛認(rèn)知的形式化,也許不必一開(kāi)始就弄清駕駛員認(rèn)知的148駕駛認(rèn)知的形式化,強(qiáng)調(diào)如何用人工智能技術(shù)代替駕駛員的感知和認(rèn)知,確保車(chē)輛自主行駛,而不必糾結(jié)于機(jī)器駕駛腦和駕駛員腦是否在微觀上具有相似性!駕駛認(rèn)知的形式化,強(qiáng)調(diào)如何用人工智能技術(shù)代替駕駛員的感149駕駛認(rèn)知坐標(biāo)系的形式化作為認(rèn)知主體,輪式機(jī)器人在運(yùn)動(dòng)過(guò)程中始終以“我”為中心,對(duì)周邊環(huán)境信息體現(xiàn)選擇性注意和簡(jiǎn)約,時(shí)時(shí)刻刻進(jìn)行同步定位和映射(iSLAM),這是腦認(rèn)知形式化的重要內(nèi)容。駕駛認(rèn)知坐標(biāo)系的形式化作為認(rèn)知主體,輪式機(jī)器人在運(yùn)動(dòng)過(guò)150心理物理學(xué)定律人的一切感覺(jué),包括視覺(jué)、聽(tīng)覺(jué)、膚覺(jué)(含痛、癢、觸、溫度)、味覺(jué)、嗅覺(jué)、電擊覺(jué)等都遵從感覺(jué)不與物理量的強(qiáng)度成正比,而是與對(duì)應(yīng)物理量的常用對(duì)數(shù)成正比的法則。該法則成為心理物理學(xué)的奠基性理論,為對(duì)數(shù)視力表等感覺(jué)強(qiáng)度的規(guī)范制定了量化標(biāo)準(zhǔn),并一直延用至今。韋伯——費(fèi)希納定律(1850年左右):
S=K1
logR=K2lnR
心理物理學(xué)定律人的一切感覺(jué),包括視覺(jué)、聽(tīng)覺(jué)、膚覺(jué)(含痛、癢、151反映駕駛認(rèn)知的對(duì)數(shù)極坐標(biāo)系loga1=0,直角坐標(biāo)系中半徑為1的小圓內(nèi)的所有點(diǎn),在對(duì)數(shù)極坐標(biāo)中全都塌縮為零點(diǎn)柵格角度1°最大環(huán)數(shù)100徑向長(zhǎng)度204m最小柵格徑向0.1m面積1cm2最大柵格徑向3.4m面積6
m2以車(chē)速36km/h為例視野100°200m(100環(huán))100m(91環(huán))10m(61環(huán))5m(52環(huán))注視點(diǎn)(聚焦點(diǎn)):18m車(chē)速V與預(yù)瞄點(diǎn)f的關(guān)系:f=5.0771*e0.0254V
擬合系數(shù)=0.88燈下黑Grid1,
1°(a)Grid100,1°(b)反映駕駛認(rèn)知的對(duì)數(shù)極坐標(biāo)系loga1=0,直角坐標(biāo)系中半徑無(wú)人車(chē)決策控制-駕駛認(rèn)知的形式化課件車(chē)速
Km/h視野(視覺(jué)區(qū))注意高度(與地平面夾角)注視點(diǎn)(聚焦點(diǎn))動(dòng)視力(能見(jiàn)度)0210o30o3m1.518120o25o9m1.236100o20o18m1.15480o15o27m1.07270o12o36m0.810840o10o54m0.6駕駛員視野和車(chē)速相關(guān)車(chē)速V與注視點(diǎn)焦距f的關(guān)系:預(yù)瞄點(diǎn)f=5.0771*e0.0254V
擬合系數(shù)=0.88車(chē)速視野(視覺(jué)區(qū))注意高度注視點(diǎn)動(dòng)視力0210o30o3感知、認(rèn)知的多坐標(biāo)系和坐標(biāo)系變換橢球地心坐標(biāo)系(貝賽爾1841坐標(biāo)系)GPS全球定位系統(tǒng)WGS-84坐標(biāo)系(地心空間經(jīng)高斯投影分帶形成的大地直角坐標(biāo)系)車(chē)姿慣導(dǎo)器件用坐標(biāo)系雷達(dá)用坐標(biāo)系(極坐標(biāo)系)攝像頭用坐標(biāo)系駕駛員認(rèn)知的坐標(biāo)系(對(duì)數(shù)極坐標(biāo)系)感知、認(rèn)知的多坐標(biāo)系和坐標(biāo)系變換橢球地心坐標(biāo)系(貝賽爾184155
駕駛員的認(rèn)知坐標(biāo)系近似為隨車(chē)而動(dòng)的對(duì)數(shù)極坐標(biāo)系,充分體現(xiàn)了選擇性注意!
在對(duì)數(shù)極坐標(biāo)系中統(tǒng)一標(biāo)定,不必對(duì)單一攝像頭或者雷達(dá)進(jìn)行SLAM,可分類(lèi)3個(gè)視覺(jué)通道分別完成GPS-SLAM、圖像SLAM、雷達(dá)SLAM,進(jìn)而完成iSLAM,融合駕駛態(tài)勢(shì)形成駕駛態(tài)勢(shì)圖!
駕駛員的先驗(yàn)知識(shí),無(wú)論是駕駛地圖,還是車(chē)輛的動(dòng)力學(xué)性質(zhì),都映射到駕駛員的認(rèn)知坐標(biāo)系中!駕駛員的認(rèn)知坐標(biāo)系近似為隨車(chē)而動(dòng)的對(duì)數(shù)極坐156三、駕駛腦架構(gòu)設(shè)計(jì)原則三、駕駛腦架構(gòu)設(shè)計(jì)原則
回顧近十年來(lái)我們參加的比賽和里程碑試驗(yàn),智能車(chē)各種感知和認(rèn)知手段,相互依存,彼此纏繞。在各類(lèi)比賽場(chǎng)、測(cè)試場(chǎng),智能車(chē)表現(xiàn)千奇百怪、反反復(fù)復(fù),我們困惑過(guò),迷茫過(guò),試來(lái)試去,換車(chē)、換平臺(tái)、加電源、換模塊,通過(guò)多車(chē)交叉驗(yàn)證和常態(tài)試驗(yàn),終于理出了頭緒,形成全新的駕駛腦設(shè)計(jì)!回顧近十年來(lái)我們參加的比賽和里程碑試驗(yàn),智能車(chē)各種感知
和各種車(chē)載傳感器相比,駕駛腦的架構(gòu)設(shè)計(jì)、模塊劃分和界面約定才是智能車(chē)的生命力,進(jìn)而決定智能車(chē)產(chǎn)業(yè)的核心競(jìng)爭(zhēng)力!和各種車(chē)載傳感器相比,駕駛腦的架構(gòu)設(shè)計(jì)、模塊劃分和界面約架構(gòu)設(shè)計(jì)原則系統(tǒng)原則模塊原則表現(xiàn)原則快樂(lè)編程原則系統(tǒng)原則模塊原則表現(xiàn)原則NVIDIA
嵌入式超級(jí)計(jì)算機(jī)iDRIVE
機(jī)器駕駛腦架構(gòu)設(shè)計(jì)原則系統(tǒng)原則系統(tǒng)原則模塊原則表現(xiàn)原則NVIDIAi系統(tǒng)原則
明確任務(wù)目標(biāo)和系統(tǒng)約束,首先是明確不做什么,最大剔除,堅(jiān)持最簡(jiǎn),其次才是明確做什么,尤其是做強(qiáng)什么。這一點(diǎn)成為駕駛腦架構(gòu)的特色和亮點(diǎn)。系統(tǒng)原則明確任務(wù)目標(biāo)和系統(tǒng)約束,首先是明確不做什么架構(gòu)師應(yīng)該確保駕駛腦架構(gòu)設(shè)計(jì)的普適性,當(dāng)某一傳感器或者某一認(rèn)知計(jì)算軟件性能提高后,仍然能夠保證駕駛腦的擴(kuò)展和智商的提高。對(duì)架構(gòu)師而言,傳感器的多少、駕駛智商的高低不應(yīng)該影響架構(gòu);換一個(gè)新型傳感器或者軟件模塊新版本,如同汽車(chē)換一個(gè)車(chē)燈,換一個(gè)車(chē)輛平臺(tái),甚至換一種駕駛風(fēng)格,都不會(huì)影響架構(gòu)。
架構(gòu)師應(yīng)該確保駕駛腦架構(gòu)設(shè)計(jì)的普適性,當(dāng)某一不做什么?為什么不做?要不要全地域的高精度地圖?要不要識(shí)別全程交通標(biāo)志牌?要不要做圖像和雷達(dá)的全程點(diǎn)云SLAM?要不要識(shí)別周邊行人姿態(tài)和情緒?要不要識(shí)別前方車(chē)輛種類(lèi)和品牌等?不做什么?為什么不做?要不要全地域的高精度地圖?先覺(jué)后視視而不覺(jué)邊視邊覺(jué)先視后覺(jué)根據(jù)前一時(shí)刻已擁有的路權(quán),關(guān)注當(dāng)前路權(quán)的變化對(duì)周邊自然風(fēng)景、建筑風(fēng)格、行人年齡姿態(tài)行為、是不是美女、行人和寵物的差別、前方車(chē)輛品牌,是不是時(shí)尚等等,一律熟視無(wú)睹。常規(guī)的、帶GPU加速的計(jì)算機(jī)圖像處理強(qiáng)選擇性,利用記憶主動(dòng)感知,主觀尋找特定駕駛情境強(qiáng)調(diào)已有認(rèn)知協(xié)助當(dāng)前感知!做什么?先覺(jué)后視視而不覺(jué)邊視邊覺(jué)先視后覺(jué)根據(jù)前一時(shí)刻已擁有的路權(quán),關(guān)做好什么?做強(qiáng)什么?專(zhuān)注駕駛和駕駛安全做好為智能車(chē)和駕駛員服務(wù)的駕駛地圖做強(qiáng)選擇性注意做強(qiáng)已有認(rèn)知協(xié)助當(dāng)前感知做強(qiáng)認(rèn)知工程學(xué)做好什么?做強(qiáng)什么?專(zhuān)注駕駛和駕駛安全明確任務(wù)目標(biāo)先跑通駕駛腦架構(gòu),再優(yōu)化、升級(jí)模塊性能系統(tǒng)架構(gòu)要有普適性,既適用商用車(chē),也適用乘用車(chē),還適用特種車(chē),最好適用所有輪式機(jī)器人架構(gòu)要穩(wěn)定,模塊可維護(hù)、可重用、可擴(kuò)展,可多車(chē)交叉驗(yàn)證,界面友好明確任務(wù)目標(biāo)先跑通駕駛腦架構(gòu),再優(yōu)化、升級(jí)模塊性能分層與模塊化是智能車(chē)軟件工程的重要思想,上層對(duì)下層有數(shù)據(jù)依賴,縱向分開(kāi)的并列部分不直接關(guān)聯(lián),不從模塊中導(dǎo)出函數(shù),“絕招”和“臟”的代碼都被孤立在模塊的里面核心是工作總線和調(diào)試總線的切分,以及調(diào)試總線和自學(xué)習(xí)總線的復(fù)用確立“沒(méi)有哪個(gè)軟件模塊不會(huì)被再修改”的原則模塊切分原則分層與模塊化是智能車(chē)軟件工程的重要思想,上層對(duì)下層有數(shù)據(jù)依賴表現(xiàn)原則感知的結(jié)果表現(xiàn)為反映時(shí)序的點(diǎn)云圖簇,認(rèn)知的結(jié)果表現(xiàn)為駕駛態(tài)勢(shì)圖簇,決策的結(jié)果表現(xiàn)為認(rèn)知箭頭簇。三類(lèi)時(shí)空序列的2.5維的表現(xiàn)形態(tài)(CT圖)成為駕駛腦的特色和亮點(diǎn)。通過(guò)三類(lèi)存儲(chǔ)的時(shí)空序列的緩沖區(qū)隔離,防止死鎖,確保共享
表現(xiàn)原則感知的結(jié)果表現(xiàn)為反映時(shí)序的點(diǎn)云圖簇,認(rèn)知的結(jié)
軟件工程隨著遺產(chǎn)代碼的積累和進(jìn)化,新系統(tǒng)的架構(gòu)設(shè)計(jì)已經(jīng)取代傳統(tǒng)編碼成為軟件工程的核心問(wèn)題,軟件開(kāi)發(fā)已經(jīng)演變?yōu)榕渲脼橹鳌⒕幊虨檩o,駕駛腦研發(fā)也不例外。軟件工程隨著遺產(chǎn)代碼的積累和進(jìn)化,新系統(tǒng)的架構(gòu)設(shè)計(jì)已經(jīng)取
盡管架構(gòu)中模塊配置的過(guò)程本身還是通過(guò)模塊化編程的方式來(lái)完成,但本質(zhì)上這些模塊只是在定制成熟算法的運(yùn)作方式,其技術(shù)難度要比編寫(xiě)平臺(tái)自帶的、或者可以移植過(guò)來(lái)的高質(zhì)量的成熟算法(如函數(shù)庫(kù))至少低一個(gè)數(shù)量級(jí)。悲催的是,多數(shù)人在認(rèn)真地做著相反的事。盡管架構(gòu)中模塊配置的過(guò)程本身還是通過(guò)模塊化編程的方式來(lái)完快樂(lè)編程原則基本算法不創(chuàng)新,盡量使用廣泛認(rèn)可的、成熟、開(kāi)源算法,移植到相應(yīng)軟件模塊明確算法中的輸入量和輸出量,自變量和參變量尤其明確試驗(yàn)中要調(diào)整的參變量(如預(yù)置閾值、權(quán)重、優(yōu)化系數(shù)、選擇性開(kāi)關(guān)等)以及參變量?jī)鼋Y(jié)的試驗(yàn)時(shí)間序編程AB角,離線調(diào)程序,在線調(diào)參數(shù)快樂(lè)編程原則基本算法不創(chuàng)新,盡量使用廣泛認(rèn)可的、成熟、開(kāi)源算體現(xiàn)人類(lèi)認(rèn)知的駕駛腦的架構(gòu)設(shè)計(jì),是智能車(chē)項(xiàng)目的精髓。只要架構(gòu)適用,傳感器缺陷也好,軟件臟代碼也好,算法創(chuàng)新也好,車(chē)輛平臺(tái)的動(dòng)力學(xué)性質(zhì)也好,都是局部性的、暫時(shí)性的!體現(xiàn)人類(lèi)認(rèn)知的駕駛腦的架構(gòu)設(shè)計(jì),是智能車(chē)項(xiàng)目的精
智能車(chē)傳感器的添加可以從少到多、從低級(jí)到高級(jí),例如從單目相機(jī)到深度相機(jī),甚至到雷達(dá)相機(jī)。但是,體現(xiàn)人類(lèi)認(rèn)知的駕駛腦架構(gòu)仍然不變。只要架構(gòu)合適了,智商提高的關(guān)鍵,轉(zhuǎn)向特定傳感器
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年度按摩院建設(shè)項(xiàng)目施工與監(jiān)理合同
- 纖支鏡止血護(hù)理
- 環(huán)境保護(hù)教育說(shuō)課
- 愛(ài)國(guó)衛(wèi)生健康教育主題班會(huì)
- 新版房地產(chǎn)租賃合同模板
- 2024浙江省三門(mén)縣職業(yè)中等專(zhuān)業(yè)學(xué)校工作人員招聘考試及答案
- 2024深圳市福田區(qū)華強(qiáng)職業(yè)技術(shù)學(xué)校工作人員招聘考試及答案
- 2024靈臺(tái)縣職業(yè)中等專(zhuān)業(yè)學(xué)校工作人員招聘考試及答案
- 職務(wù)職級(jí)并行培訓(xùn)
- 物業(yè)各部門(mén)管理思路
- 2020年全國(guó)1卷-語(yǔ)文真題(解析版)
- DL 5190.3-2019 電力建設(shè)施工技術(shù)規(guī)范 第3部分:汽輪發(fā)電機(jī)組
- 關(guān)于學(xué)生假期(寒暑假)安排的調(diào)查問(wèn)卷
- 北京市海淀區(qū)2023-2024學(xué)年八年級(jí)下學(xué)期期末考試英語(yǔ)試題(解析版)
- 重癥醫(yī)學(xué)中級(jí)考試記憶總結(jié)
- 成語(yǔ)故事對(duì)牛彈琴
- 物流成本管理第四版段春媚課后參考答案
- MOOC 中醫(yī)兒科學(xué)-廣州中醫(yī)藥大學(xué) 中國(guó)大學(xué)慕課答案
- 馬拉松賽事運(yùn)營(yíng)服務(wù)方案
- 2024年高級(jí)軋鋼工技能理論考試題庫(kù)(含答案)
- 2023年國(guó)家人力資源和社會(huì)保障部人事考試中心招聘考試真題及答案
評(píng)論
0/150
提交評(píng)論