智聯(lián)網(wǎng)汽車技術 課件 任務12 人機交互系統(tǒng)

語音控制項目四汽車信息交互系統(tǒng)任務12人機交互系統(tǒng)智能網(wǎng)聯(lián)汽車技術課程導入構建語音交互系統(tǒng)的技術原理如何讓車輛實現(xiàn)準確的語音識別和理解學習目標了解語音識別和交互的基本原理01學習語音控制技術在智能汽車中的應用02學習任務描述智能汽車中的語音控制的一個應用場景01激活舊知語音識別的基本流程有哪些？語音識別就是把語音變成文字的過程。探索新知1.VOS（語音操作系統(tǒng)）VOS（語音操作系統(tǒng)）旨在為用戶提供車內(nèi)環(huán)境下的語音交互服務。A喚醒B語音識別C語義理解采用技術探索新知3一步直達功能，既能解放手指，又無需視線偏移注視車機中控區(qū)域，從而保障行車安全。1座艙的車設車控、地圖導航、音樂及多媒體應用、系統(tǒng)設置、空調(diào)等均可通過語音來操作。2語音還支持天氣查詢、日程管理以及閑聊對話。用戶只要說喚醒詞，即可使用。1.VOS（語音操作系統(tǒng)）探索新知2.語音識別技術語音輸入法地圖產(chǎn)品的語音輸入探索新知近年來，隨著互聯(lián)網(wǎng)的發(fā)展，各種音頻數(shù)據(jù)和文本數(shù)據(jù)得到不斷積累和豐富，CPU、GPU硬件的發(fā)展，以及深度學習算法大規(guī)模的應用，語音識別技術的應用開始獲得大規(guī)模的商業(yè)化拓展。2.語音識別技術探索新知語音識別技術的起步是在上個世紀的五十年代。圖12-1語音識別技術發(fā)展概覽發(fā)展歷程2.語音識別技術探索新知發(fā)展歷程模式匹配基于統(tǒng)計模型的匹配隱馬爾可夫HMM人工神經(jīng)網(wǎng)絡ANN2.語音識別技術探索新知小貼士人工神經(jīng)網(wǎng)絡ANNANN是指由大量的處理單元(神經(jīng)元)互相連接而形成的復雜網(wǎng)絡結構，是對人腦組織結構和運行機制的某種抽象、簡化和模擬。人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork，簡稱ANN），以數(shù)學模型模擬神經(jīng)元活動，是基于模仿大腦神經(jīng)網(wǎng)絡結構和功能而建立的一種信息處理系統(tǒng)。探索新知3.智能語音識別技術流程從錄音文件或是麥克風收集的音頻中提取特征聲學模型和語言模型的處理識別結果的文字探索新知圖12-25ASR系統(tǒng)基本流程3.智能語音識別技術流程探索新知4.車載智能語音現(xiàn)狀1998年雪鐵龍集團展出AutoPC標致雪鐵龍集團在巴黎車展首次展出了AutoPC開啟了車載電腦的新格局，它以WindowsCE2.0為基礎，并可以處理操作者發(fā)出的語音命令。從這以后車載語音系統(tǒng)也進入了發(fā)展時期。探索新知4.車載智能語音現(xiàn)狀2013年蘋果設立CarPlay的車載系統(tǒng)合作伙伴也在日內(nèi)瓦車展上展出了搭載該系統(tǒng)的實驗樣車。探索新知2013年蘋果設立CarPlay的車載系統(tǒng)CarPlay的主要操作方式為觸屏和語音輸入。其語音輸入是借助Siri的強大功能，為CarPlay通過語音識別完成了幾乎所有Handsfree的操作以及交互。成為智能車載系統(tǒng)的標志性產(chǎn)品。4.車載智能語音現(xiàn)狀探索新知2014年百度推出Carlife該方案支持所有主流主機廠的車機操作系統(tǒng)，并在手機端支持Android和iOS系統(tǒng)，這樣就覆蓋了97%的智能互聯(lián)技術平臺。4.車載智能語音現(xiàn)狀探索新知2014年百度推出Carlife結合百度語音語音導航功能1語音播放本地音樂功能2語音播放在線音樂功能3智能播報功能44.車載智能語音現(xiàn)狀探索新知2016年谷歌向第三方開放了語音識別接口（GoogleCloudSpeechAPI）01語音輸入的速度是打字的三倍02利用了該公司的語音識別引擎進行人機對話，使自動駕駛更容易與乘客交流。03利用語音識別也在收集車上人員的駕駛習慣和有效數(shù)據(jù)。4.車載智能語音現(xiàn)狀探索新知2016年上汽榮威互聯(lián)網(wǎng)汽車RX5的發(fā)布斑馬智駕系統(tǒng)不同于其他產(chǎn)品，它并不是一個依賴于操作系統(tǒng)的軟件，而是一整套車載智能操作系統(tǒng)，能夠有效并緊密的跟汽車的控制電腦融為一體，實現(xiàn)更多實用的功能。4.車載智能語音現(xiàn)狀探索新知華為的問界M7有智慧語音蔚來的ES8有NOMI小鵬P7有小P4.車載智能語音現(xiàn)狀探索新知語音導航是以語音識別、語音編解碼為代表的智能語音技術，應用在車載領域。車內(nèi)語音聲控操作，可改變汽車現(xiàn)有的人機信息交流方式，解放出駕駛者的雙手和雙眼，使汽車更具備人性化魅力和個性化特色。語音導航5.車載智能語音功能探索新知可通過語音搜索音樂名，播放音樂并可以調(diào)節(jié)音量，或者切換頻道。車載娛樂功能5.車載智能語音功能探索新知通過語音搜索通訊錄并且執(zhí)行撥打電話的命令。撥打電話功能5.車載智能語音功能探索新知現(xiàn)在的語音控制系統(tǒng)可以實現(xiàn)車窗升降，天窗開關，空調(diào)控制，座椅加熱等功能。這是語音和車深度結合的控制方式。首先通過語音采集系統(tǒng)將聲音信號采集，然后處理成控制命令，最后由CAN收發(fā)器將控制命令轉(zhuǎn)換為電信號發(fā)送到舒適CAN總線來執(zhí)行相應動作。汽車電器的控制功能5.車載智能語音功能探索新知汽車門窗的語音控制方法流程5.車載智能語音功能即時檢測小測試

請大家用自己的話，為我們介紹一下語音控制技術的關鍵點以及它在智能汽車中的應用吧。謝謝觀看THANKS智能網(wǎng)聯(lián)汽車技術情緒感知項目四汽車信息交互系統(tǒng)任務12人機交互系統(tǒng)主講人：胡曉曉智能網(wǎng)聯(lián)汽車技術課程導入如何讓汽車能夠感知乘客的情緒？該如何實現(xiàn)汽車的情緒感知功能呢?學習目標了解情緒對駕駛行為的影響01學習任務分析不同情緒對駕駛的影響01激活舊知為什么要讓汽車具有情緒感知能力嗎?提升用戶體驗，提供個性化服務。探索新知在駕駛過程中，即使駕駛員受到最小的干擾也可能會產(chǎn)生嚴重的安全影響，因此研究駕駛員處于不同情緒狀態(tài)下對駕駛行為的影響是非常重要的。探索新知困惑D緊張B憤怒A快樂E悲傷C探索新知1.駕駛員情緒會對駕駛行為造成什么樣的影響憤怒會極大地影響駕駛行為，造成“路怒癥”，從而增加發(fā)生事故的風險。“路怒癥”是指極端情況下的攻擊性駕駛，意味著駕駛員可能會故意針對另一個駕駛員、車輛或物體，甚至采用人身攻擊、“追尾”、強行變道等行為。憤怒探索新知悲傷會對駕駛能力產(chǎn)生干擾。有研究表明，悲傷嚴重影響駕駛員的注意力水平，從而影響安全駕駛。此外，悲傷通常伴隨著一定程度的被動或順從，這會造成在危險情況下的反應時間增加。悲傷1.駕駛員情緒會對駕駛行為造成什么樣的影響探索新知緊張的影響包括造成駕駛員對潛在威脅的敏感性增加，注意力集中的范圍縮小，可能導致駕駛員忽略關鍵信息。緊張的原因是可變的，可能與新手駕駛員或其他個人或身體環(huán)境直接相關。緊張1.駕駛員情緒會對駕駛行為造成什么樣的影響探索新知困惑會導致駕駛員失去對車輛的控制，增加違反交通規(guī)則甚至引發(fā)事故的可能性。困惑1.駕駛員情緒會對駕駛行為造成什么樣的影響探索新知困惑來源可能是非直觀的用戶界面或有缺陷的系統(tǒng)（例如設計糟糕的導航系統(tǒng)或容易出錯的語音識別系統(tǒng)）。糟糕的交通情況，如路線改道、錯誤的標志或復雜的道路路線，可能會導致困惑情緒。1.駕駛員情緒會對駕駛行為造成什么樣的影響探索新知快樂研究表明快樂會減少事故的發(fā)生。一般來說，積極情緒對許多認知方面都有不同程度的影響。雖然非常高的幸福感可能會對駕駛員的表現(xiàn)產(chǎn)生負面影響，但適度的幸福感可能會帶來理想的表現(xiàn)。積極情緒狀態(tài)對駕駛行為的影響需要進一步研究。1.駕駛員情緒會對駕駛行為造成什么樣的影響探索新知圖12-9離散情緒對駕駛行為的影響過程1.駕駛員情緒會對駕駛行為造成什么樣的影響探索新知12-1現(xiàn)階段情緒對駕駛行為的影響研究總結1.駕駛員情緒會對駕駛行為造成什么樣的影響探索新知數(shù)據(jù)采集模擬器駕駛01實車駕駛022.汽車識別情緒的方法探索新知2.汽車識別情緒的方法數(shù)據(jù)采集駕駛模擬器廣泛用于汽車研究，它可以提供高效的數(shù)據(jù)采集、完全可控的環(huán)境從而保證駕駛安全性。01探索新知數(shù)據(jù)采集當前，尚沒有用于駕駛員情緒研究的實車駕駛范式。022.汽車識別情緒的方法探索新知情緒誘導情緒誘導的目的是誘發(fā)駕駛員的目標情緒。通常，選擇合適的誘導方法取決于目標情緒和實驗環(huán)境。1情境過程2視覺刺激3聽覺刺激4標準化想象5自我回憶2.汽車識別情緒的方法探索新知情緒測量使用適當?shù)姆椒蚀_地測量由情緒引起的各種變化是駕駛員情緒識別的重要內(nèi)容。2.汽車識別情緒的方法探索新知情緒測量01不同的生理測量方法（例如皮膚電活動和呼吸）02行為測量方法（例如面部表情分析和言語分析）03自我報告的量表（例如自我評估人體模型）2.汽車識別情緒的方法探索新知情緒測量腦電圖（EEG）功能近紅外光譜（fNIRS）心電圖（ECG）皮膚電活動（EDA）呼吸作用（RESP）2.汽車識別情緒的方法探索新知情緒測量綜合考慮不同方面的情緒測量對于駕駛員情緒識別至關重要。為了獲得更可靠的結果，通常結合不同的測量工具進行研究，這些研究人員使用生理測量、行為測量和自我報告的測量來識別駕駛員的情緒狀態(tài)。2.汽車識別情緒的方法探索新知情緒測量圖12-10駕駛員情緒檢測中使用的車內(nèi)傳感器的布置位置2.汽車識別情緒的方法探索新知情緒標注為了有效地識別駕駛員的情緒狀態(tài)，獲取可靠的情緒標注同樣非常重要，因為情緒標注的結果可以用作模型訓練和評估的標準。第一種方法主要運用情緒自我報告量表這要求受試者能夠表達和量化他們在特定時刻的感受。第二種方法涉及使用不同的實驗場景來標記情緒體驗。2.汽車識別情緒的方法探索新知情緒識別算法綜合考慮不同方面的情緒測量對于駕駛員情緒識別至關重要。為了獲得更可靠的結果，通常結合不同的測量工具進行研究，這些研究人員使用生理測量、行為測量和自我報告的測量來識別駕駛員的情緒狀態(tài)。2.汽車識別情緒的方法探索新知情緒識別算法最簡單的監(jiān)督算法之一是支持向量機（SVM）。使用SVM成功地將基于PPG，EMG和IMU信號的三種情緒分類，精度為99.52％。使用SVM根據(jù)EDA和FEA信號對駕駛員情緒進行分類，并達到85％的準確度。其他基于SVM的開發(fā)算法也經(jīng)常被用于情緒識別。2.汽車識別情緒的方法探索新知對“情感化交互”的智能座艙來說，在檢測到駕駛員的情緒狀態(tài)后，車輛需要對駕駛員的情緒狀態(tài)作出反應并顯示給駕駛員以調(diào)節(jié)駕駛員情緒，實現(xiàn)人車情感化交互。人機交互領域的研究探索了采用不同顯示方式進行駕駛員情緒調(diào)節(jié)的方法。2.汽車識別情緒的方法探索新知

3.駕駛員情緒調(diào)節(jié)的方式表12-2過去15年里駕駛員情緒調(diào)節(jié)代表性研究總結探索新知情緒識別算法01視覺是駕駛員駕駛過程中的主要感知通道，這也是大多數(shù)調(diào)節(jié)都使用視覺的原因。02對于較低級的自動化水平的車輛（L2），將視覺刺激用于駕駛員情緒調(diào)節(jié)可能會造成潛在的分散注意力，因此研究者需要嚴格遵循汽車監(jiān)管機構制定的指南和原則。

3.駕駛員情緒調(diào)節(jié)的方式探索新知情緒識別算法但是，當駕駛較高的自動化水平（L3、L4和L5）的車輛時，視覺調(diào)節(jié)要求將會放寬。01環(huán)境光02視覺干預03狀態(tài)反饋04視覺放松技術

3.駕駛員情緒調(diào)節(jié)的方式探索新知聽覺調(diào)節(jié)

3.駕駛員情緒調(diào)節(jié)的方式3與視覺顯示相比，它減少了精神和視覺分心。1聽覺是一種高分辨率的模態(tài)，可以通過聽覺圖標（自然發(fā)生的聲音）、耳標（例如簡短的曲調(diào)或鈴鐺聲）和Spearcons（基于語音的耳標）來快速傳達復雜的信息。2聽覺調(diào)節(jié)也可以傳達方向性（空間）的信息。與視覺調(diào)節(jié)不同，聽覺提示可以從任何方向接收。探索新知觸覺調(diào)節(jié)在駕駛環(huán)境中，觸覺調(diào)節(jié)可以以多種方式呈現(xiàn)（例如震動、空氣流、力和溫度）。

3.駕駛員情緒調(diào)節(jié)的方式探索新知觸覺調(diào)節(jié)機械感受器（對壓力、振動和滑動敏感）熱感受器（對溫度變化敏感）本體感受器（對位置和位移敏感）生理感受器（對疼痛敏感）人類皮膚包括多種感受器

3.駕駛員情緒調(diào)節(jié)的方式探索新知觸覺調(diào)節(jié)這些感受器可以激活人體的任何區(qū)域（手指/手、腕、手臂、胸部、背部、大腿/小腿和額頭等）。

3.駕駛員情緒調(diào)節(jié)的方式探索新知嗅覺調(diào)節(jié)嗅覺是一種非常強大的媒介，可以傳遞豐富而有意義的信息。

3.駕駛員情緒調(diào)節(jié)的方式探索新知嗅覺調(diào)節(jié)A01嗅覺允許自動訪問與氣味在語義上相關的術語（例如，聞到柑橘味的普通清潔劑比其他詞語能更快地調(diào)用與清潔相關的詞語）。B02已經(jīng)證明氣味能很好地激活神經(jīng)系統(tǒng)，這可以幫助駕駛員更好地感知重要信息。

3.駕駛員情緒調(diào)節(jié)的方式探索新知4.情感化智能座艙現(xiàn)階段整車廠、供應商急需解決的重要需求之一在理解駕駛員情緒的基礎上，如何制定能滿足用戶情感需求的情緒調(diào)節(jié)策略，并通過對智能座艙造型、布局、智能界面、氛圍燈、星光頂棚、發(fā)光材料、交互界面的設計來改善用戶的情緒體驗。探索新知圖12-11NOMI人機交互系統(tǒng)4.情感化智能座艙探索新知圖12-11NOMI人機交互系統(tǒng)4.情感化智能座艙即使檢測小測試請簡要描述多模式情緒識別流程。請列舉兩種常用的機器學習算法。情緒識別的準確率可達多少?總結A汽車情緒感知的意義C汽車情緒感知的應用B汽車情緒感知的方法謝謝觀看THANKS智能網(wǎng)聯(lián)汽車技術手勢感應項目四汽車信息交互系統(tǒng)任務12人機交互系統(tǒng)主講人：胡曉曉智能網(wǎng)聯(lián)汽車技術課程導入我想要設計智能汽車的手勢控制功能,這樣可以更便捷自然地控制車內(nèi)設備。請問可以通過什么技術實現(xiàn)汽車的手勢識別與控制呢?學習目標了解汽車手勢感應的技術原理01學習任務與老師一起,完成對汽車手勢識別技術的介紹01激活舊知手勢控制相比觸摸控制有什么優(yōu)勢嗎?更衛(wèi)生，減少界面接觸。探索新知作為一種直觀自然的交互方式，手勢日漸從人際日常交流向新型人機交互發(fā)展，尤其是在車載控制系統(tǒng)上，不少高端車型已將手勢識別技術應用于搭載的車載影音娛樂系統(tǒng)。在眾多技術實現(xiàn)路線中，基于單目彩色攝像頭的機器視覺方案因為所需的傳感器簡單便宜，越來越被研究者們所注意。探索新知手勢識別系統(tǒng)基于數(shù)據(jù)手套的基于計算機視覺探索新知基于計算機視覺特殊功能攝像頭普通攝像頭探索新知不需要采購價格昂貴的設備，在任何只要有攝像頭的場景下都可以使用。比較符合生物學上的視覺輸入，該技術具有設備成本低、普及率高等優(yōu)勢。在普通攝像頭的場景下利用一些圖像處理算法計算的手勢識別系統(tǒng)。探索新知1.基于普通攝像頭的手勢識別技術實時地檢測運動目標，并將手部提取出來，有的時候還包含手部追蹤手部的檢測在手部檢測的基礎上，對手部的有效特征或者手部的位置信息進行分析，從而判斷手勢含義，為接下來的目標行為分析與理解提供可靠的數(shù)據(jù)來源。手勢的識別探索新知快速、準確的捕獲感興趣的目標。在軍事、科研、工業(yè)、以及日常生活中都有著廣泛的應用，因此手勢識別算法具有一定的實用價值和廣闊的發(fā)展前景。1.基于普通攝像頭的手勢識別技術探索新知手勢本身具有豐富的變形，運動和紋理特征，合理的特征選擇對于識別手勢至關重要。A模板匹配B統(tǒng)計分析C神經(jīng)網(wǎng)絡技術1.基于普通攝像頭的手勢識別技術探索新知（1）模板匹配技術一般來說提取目標特征的方法用的是邊緣特征信息，通過之前介紹的預處理技術，可以很精細的提取出目標的邊緣信息。提取特征轉(zhuǎn)換為數(shù)字信號存為模板搜尋與模板類似的特征1.基于普通攝像頭的手勢識別技術探索新知（2）統(tǒng)計分析技術例如一種基于多特征的隱馬爾可夫（HMM）融合的復雜動態(tài)手勢識別方法，該方法同時考慮了手勢手形和位姿的變化，手掌姿態(tài)手指彎曲度手指分開度手勢運動軌跡提取四類特征并分別訓練HMM融合觀測值發(fā)生概率來獲取識別結果1.基于普通攝像頭的手勢識別技術探索新知（3）神經(jīng)網(wǎng)絡技術這是這種仿生學設計，它將生物神經(jīng)網(wǎng)絡與數(shù)學模型相結合，此類技術通過考慮給定的示例數(shù)據(jù)來“學習”執(zhí)行任務，通常無需使用特定于任務的規(guī)則進行編程。使用這種技術，需要在識別之前對網(wǎng)絡中參數(shù)進行訓練。1.基于普通攝像頭的手勢識別技術探索新知2.手勢識別在車載多媒體中的應用2022年，全球手勢識別市場規(guī)模預計將達到189.8億美元預測期內(nèi)（2017—2022年）的復合年增長率為29.63%。探索新知肢體交流是人在學會語言和文字之前最主要的溝通方式，將其應用在系統(tǒng)控制上是目前正在嘗試和努力的方向。與穿戴式的識別技術相比，基于視覺的手勢識別逐漸得到更廣泛的應用。2.手勢識別在車載多媒體中的應用探索新知01手勢分割02手勢特征提取03靜態(tài)手勢識別04動態(tài)手勢識別手勢識別技術2.手勢識別在車載多媒體中的應用探索新知車內(nèi)手勢交互成為新興的行為設計門類，發(fā)展?jié)摿薮蟆Ｅc人臉識別、HUD顯示和語音識別等先進技術相結合，將更好地提升用戶的汽車體驗。2.手勢識別在車載多媒體中的應用探索新知（1）BMWiDrive將手勢識別技術使用在寶馬7系上。這一技術的應用使人機交互的方式再次升級，讓操作更加簡便，使駕駛者更專注于安全駕駛。這套系統(tǒng)支持多種預設手勢控制，通過中控臺上方的3D傳感區(qū)域檢測和識別手勢動作。2.手勢識別在車載多媒體中的應用探索新知（1）BMW01張開手掌向右揮動，即為掛斷電話02單指前后移動，即為接聽電話或確認03雙指不動向前指，即為暫?；虿シ?.手勢識別在車載多媒體中的應用探索新知（1）BMW04單指順時針畫圈，即為增大音量或放大地圖05單指逆時針畫圈，即為減小音量或縮小地圖06拇指和食指搭圈并向右移動，即為播放下一曲或切換下一菜單07拇指和食指搭圈并向左移動，即為播放上一曲或切換上一菜單2.手勢識別在車載多媒體中的應用探索新知（2）嵐圖FREE在人機交互方面具備4種手勢交互、四音區(qū)語音識別、觸屏、TouchPad、實體按鍵五種交互功能，能帶來更加安全、高效、快捷人車交互。2.手勢識別在車載多媒體中的應用探索新知（2）嵐圖FREE其中嵐圖FREE提供的4種手勢交互，能讓用戶通過手勢控制讓車輛快速執(zhí)行相關功能，后期，嵐圖FREE還可以通過OTA功能解鎖更多手勢控制。2.手勢識別在車載多媒體中的應用探索新知（3）君馬SEEK5君馬SEEK5的手勢識別區(qū)域在車輛的中控臺出風口正下方，駕駛員只要在這一區(qū)域做出手勢，車輛就可以自動識別。識別距離根據(jù)用戶在座艙的位置，設定為15cm-35cm。2.手勢識別在車載多媒體中的應用探索新知（3）君馬SEEK501手心向上抬，即為增加音響的音量02手心向下壓，即為減小音量03使用V字形手指向前指，即為暫?；蛘唛_始播放04右手攥拳，拇指伸出向左指，即為播放上一曲它可以識別的手勢設計有7種2.手勢識別在車載多媒體中的應用探索新知（3）君馬SEEK505右手攥拳，拇指伸出向右指，即為播放下一曲06來電時，右手做出數(shù)字6的姿勢，手心向上，即為接聽電話07手心向下，即為掛斷電話2.手勢識別在車載多媒體中的應用探索新知（4）拜騰汽車拜騰汽車與凌感科技合作研究“三維手勢控制”，并應用到車載系統(tǒng)上?！叭S手勢控制”提供“語音+觸摸+手勢控制”三種交互方式。其中，48寸的大屏采用手勢控制技術，主要靠頭頂?shù)臄z像頭捕捉手勢動作。2.手勢識別在車載多媒體中的應用即使檢測小測試請簡要說一下模板匹配技術。請舉一個統(tǒng)計模型。神經(jīng)網(wǎng)絡技術的優(yōu)點是什么?總結A模板匹配C神經(jīng)網(wǎng)絡B統(tǒng)計模型汽車手勢感應的技術方法謝謝觀看THANKS智能網(wǎng)聯(lián)汽車技術觸摸交互項目四汽車信息交互系統(tǒng)任務12人機交互系統(tǒng)主講人：胡曉曉智能網(wǎng)聯(lián)汽車技術學習目標說出汽車技術的四個主要發(fā)展時代01掌握觸摸反饋的作用02了解當前觸摸交互的主流技術方案03激活舊知你們之前是否了解過觸摸屏的工作原理?它由哪些部分組成？觸摸屏的工作原理主要利用的是電容原理或光電原理。探索新知車載物理按鍵智能壓感觸控操作新能源汽車的駕駛座艙人機交互界面從功能性走向智能化,實現(xiàn)了汽車操控、娛樂及導航等應用功能的“集成交互和決策處理”在特斯拉、蔚來、比亞迪、小鵬等眾多造車新勢力的商業(yè)化落地過程中，帶動了車載智能觸控全產(chǎn)業(yè)鏈的技術迭代發(fā)展。探索新知實際上，在汽車整車上智能觸控按鍵的應用不止于駕駛座艙中控屏，還包括汽車座椅、尾門、汽車內(nèi)外飾智能表面等功能區(qū)域，同樣也在逐漸從傳統(tǒng)物理按鍵，轉(zhuǎn)變?yōu)榈疆斚铝餍械闹悄苡|控開關或按鍵。探索新知汽車智能壓感觸控日漸普及的原因在于，符合持續(xù)創(chuàng)新的汽車內(nèi)飾設計的趨勢變化，打造了無實體按鍵、一體化、防誤觸的座艙人機交互界面實現(xiàn)更高級、極簡化而又更人性化的汽車中控設計需求，使得汽車座艙實現(xiàn)簡約美觀且更具科技感。探索新知圖12-20智能座艙的三大趨勢探索新知觸摸屏系統(tǒng)觸摸屏控制器(卡)從觸摸點檢測裝置上接收觸摸信息，并將它轉(zhuǎn)換成觸點坐標，再送給CPU，它同時能接收CPU發(fā)來的命令并加以執(zhí)行觸摸檢測裝置一般安裝在顯示器的前端，主要作用是檢測用戶的觸摸位置，并傳送給觸摸屏控制卡。探索新知1.觸摸屏原理表面聲波觸摸屏電阻觸摸屏紅外線觸摸屏電容式觸摸屏觸摸屏探索新知1.觸摸屏原理2.觸摸反饋車內(nèi)觸屏的設計也越來越多的被應用于汽車的各個角落，而觸覺反饋也給汽車界面帶來了新的功能，以減少駕駛員誤觸而分心操控車內(nèi)功能，實現(xiàn)盲操，重塑用戶體驗。其中最常見的觸摸反饋技術就是振動。探索新知用戶需要將95%的精力聚焦駕駛行為上，只能抽取僅5%左右的精力與時間來操控車載功能。統(tǒng)計下來平均每次操作(即視線與注意力專注在車載上的時間)無法超過三秒交互設計與信息布局需要做到最極致,指令需要被快速、精確的采集。探索新知2.觸摸反饋圖12-22駕駛員注意力危險系數(shù)探索新知2.觸摸反饋當前,汽車壓感觸控的主流技術方案是通過壓力傳感器(forcesensor)、電容觸控、振動反饋等組件，實現(xiàn)“壓力感知+電容觸控+觸覺反饋”的技術整合。探索新知2.觸摸反饋電容感應是汽車智能觸控普遍采用的技術路線，當用戶按壓“虛擬”觸控按鍵，電容式傳感器會立即測出面板材料與背光之間距離的微形變，通過內(nèi)置芯片做出判斷使用者手指按壓的力度，同時通過振動反饋回以相應的三維立體觸感，讓用戶通過觸覺精準感知到操作效果。探索新知2.觸摸反饋知識拓展目前，國內(nèi)車載壓感觸控半導體芯片及器件領域的領導品牌廠商有芯?？萍?CHIPSEA)及紐迪瑞科技(NDT)。自2016年以來，芯?？萍嫉闹悄苁謾C壓力觸控解決方案在8848M4、努比亞z20、vivoNEX3、魅族18等近30款品牌智能手機實現(xiàn)批量出貨。在全球首款環(huán)繞屏概念機小米MIXAlpha、小米四曲瀑布屏概念機、vivoAPEX概念機、OPPO首款屏下攝像頭全面屏概念機等先進機型也有應用。此外,芯海科技的壓感觸控解決方案還廣泛應用在智能穿戴(TWS耳機、手表手環(huán)、智能音箱等)、筆電及周邊(ForcePAD、觸摸筆)、智慧家居/家電(白色家電、電動牙刷等小家電)、汽車電子等行業(yè)標桿企業(yè)的終端產(chǎn)品當中。探索新知小測試請問同學們，觸摸反饋的主要作用是什么?即時檢測改善手感，減少誤操作?？偨YA觸摸屏原理C主流技術方案B觸摸反饋作用謝謝觀看THANKS智能網(wǎng)聯(lián)汽車技術預觸摸技術項目四汽車信息交互系統(tǒng)任務12人機交互系統(tǒng)主講人：胡曉曉智能網(wǎng)聯(lián)汽車技術課程導入預觸摸技術是指在用戶實際觸摸到屏幕之前，屏幕已經(jīng)預測出用戶可能的手指位置，并進行相應的反應。是一種能夠提前預測、預判用戶動作的技術。學習目標了解預觸摸技術的原理和在智聯(lián)網(wǎng)汽車中的應用01了解懸浮觸控技術的分類02激活舊知大家都知道觸摸屏是如何感知我們的手指觸摸的吧？觸摸屏的工作原理主要利用的是電容原理或光電原理。預觸摸技術就是懸浮觸控技術，是一種全新的技術模式。懸浮觸控技術讓用戶使用手機的時候無需碰觸屏幕就可以完成手機操作，手指與屏幕保證約15mm的距離就可以在手機上獲得類似鼠標的操作。探索新知1.預觸摸技術的定義探索新知面臨的挑戰(zhàn)由于加速或道路的震動，用戶經(jīng)常會錯過觸摸正確的項目，并且他們試圖糾正觸摸錯誤的動作往往意味著他們的注意力從道路上移開，進而影響行車安全。如今越來越多的車輛內(nèi)部都有觸摸屏技術，用于控制娛樂、導航或溫度調(diào)節(jié)。1.預觸摸技術的定義探索新知預測性觸控技術可以讓用戶懸停在他們想做的選擇上，然后就可以做出選擇。在使用駕駛模擬器的實驗室測試和基于道路的試驗中，預測性觸摸技術能夠減少高達50%的交互努力和時間，車機懸浮控制1.預觸摸技術的定義探索新知2.預觸摸技術的分類互電容電場很小，以至于信號強度很低，無法感應到那些非常弱小的信號。因此，當用戶的手指在屏幕上懸停時，互電容傳感器就無法感應到信號。自電容能夠產(chǎn)生比互電容強大的信號，檢測更遠的手指感應檢測距離范圍可達20mm。比互電容的大。大傳感器可以創(chuàng)建強大的信號，使得設備可以檢測到在屏幕上方20mm處的手指。支持懸浮觸控的觸摸屏互電容互電容用于完成正常的觸碰感應，包括多點觸控探索新知自電容自電容用于檢測懸停在上方的手指。浮觸控通過在一個觸摸屏幕、同時運行自電容和互電容實現(xiàn)。2.預觸摸技術的分類探索新知由于懸浮觸控技術依賴于自電容，因此不可能實現(xiàn)懸浮多點觸控。也就是說，當進行懸浮操作時，屏幕不支持多點觸控。屏幕只能在接觸觸碰情況下實現(xiàn)多點觸控。2.預觸摸技術的分類探索新知圖12-25懸浮觸摸感應2.預觸摸技術的分類小測試請問預觸摸技術是一種能夠提前預測、預判用戶動作的技術嗎？即時檢測總結A預觸摸技術的原理B預觸摸技術在智聯(lián)網(wǎng)汽車中的應用。謝謝觀看THANKS智能網(wǎng)聯(lián)汽車技術AR/VR項目四汽車信息交互系統(tǒng)任務12人機交互系統(tǒng)主講人：胡曉曉智能網(wǎng)聯(lián)汽車技術課程導入在現(xiàn)實生活中，我們通過視覺、感覺和觸覺來感知世界，而VR和AR技術可以將數(shù)字信息與真實世界相結合，創(chuàng)造出更加沉浸式和互動式的體驗。在汽車行業(yè)中，VR和AR已經(jīng)開始得到廣泛應用，帶來了更多的便利和創(chuàng)新，學習目標理解VR和AR的定義和區(qū)別01掌握VR和AR在汽車行業(yè)中的應用場景02學習任務了解VR和AR的具體定義和原理，并通過實例了解它們在汽車行業(yè)中的應用01激活舊知1VR是什么意思？2AR是什么意思？3VR和AR有什么區(qū)別？激活舊知AVR是VirtualReality的縮寫，意為虛擬現(xiàn)實。VR創(chuàng)造了一個完全虛擬的環(huán)境。BAR是AugmentedReality的縮寫，意為增強現(xiàn)實。而AR將虛擬信息與現(xiàn)實世界相結合。探索新知1.VR、AR的定義VR(VirtualReality，即虛擬現(xiàn)實，簡稱VR)，是由美國VPL公司創(chuàng)建人拉尼爾(JaronLanier)在20世紀80年代初提出的。探索新知綜合利用計算機圖形系統(tǒng)和各種現(xiàn)實及控制等接口設備，在計算機上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術。具體內(nèi)涵1.VR、AR的定義探索新知AR：是增強現(xiàn)實AugmentedReality的英文簡稱。增強現(xiàn)實技術是一種將虛擬信息與真實世界巧妙融合的技術。1.VR、AR的定義探索新知（2）AR維修利用AR技術可以幫助維修工維修設備和遠程協(xié)助他人查看和診斷問題，提高效率。圖12-27AR汽車維修2.AR在汽車行業(yè)中有哪些應用呢探索新知（3）AR汽車展廳AR技術的應用使各類展廳告別枯燥式展陳,汽車廠商可通過AR技術加強與觀眾的互動，使觀眾留下深刻印象，提高品牌影響力。圖12-28AR汽車展廳2.AR在汽車行業(yè)中有哪些應用呢探索新知（4）AR汽車導航AR導航以AI視覺和計算機能力為基礎，是一種新型的導航方式。圖12-29AR汽車導航2.AR在汽車行業(yè)中有哪些應用呢探索新知3.VR在汽車行業(yè)中又有哪些應用呢（1）VR汽車試駕通過VR將汽車里外構造顯示，用戶通過佩戴VR設備模擬真實駕駛的體驗，提高用戶體驗感。圖12-30VR汽車試駕探索新知（2）VR汽車設計制造應用到汽車的工業(yè)設計和生產(chǎn)當中，設計師可以利用VR技術將汽車按照1:1比例的顯示在VR設備中，讓設計人員全方位了解每一處設計細節(jié)，從而減少設計和生產(chǎn)失誤，縮短了項目周期和開發(fā)成本。3.VR在汽車行業(yè)中又有哪些應用呢小測試VR的應用有哪些？AR的應用有哪些？即時檢測總結A虛擬現(xiàn)實（VR）在智聯(lián)網(wǎng)汽車用戶體驗設計中的應用B增強現(xiàn)實（AR）在智聯(lián)網(wǎng)汽車用戶體驗設計中的應用謝謝觀看THANKS智能網(wǎng)聯(lián)汽車技術腦控技術項目四汽車信息交互系統(tǒng)任務12人機交互系統(tǒng)主講人：胡曉曉智能網(wǎng)聯(lián)汽車技術課程導入腦控技術已經(jīng)成為科技界的熱門話題，并且在不久的將來，這將成為我們生活的一部分。學習目標腦控技術的定義和原理01腦機接口的工作方式以及應用領域02學習任務了解腦控技術的未來發(fā)展和對我們?nèi)粘Ｉ畹挠绊?1激活舊知什么是接口？猜猜“腦機接口”是什么呢。接口是指系統(tǒng)的組件和其他組件的交互點。那我猜測腦機接口是在人或動物的大腦和外部設備之間建立的直接連接通路。它可以通過讀取腦電波和識別意圖來實現(xiàn)人類對機器的控制。探索新知1.什么是腦控技術腦控技術成為2012年科技界的一個熱門話題，而在不遠的將來用戶只要通過意念，就可以命令智能手機發(fā)布應用，發(fā)送電子郵件或調(diào)節(jié)音量大小。探索新知“腦控”系統(tǒng)通過計算機將人的想法轉(zhuǎn)換成機器控制指令?！爸噶钷D(zhuǎn)換”。系統(tǒng)將轉(zhuǎn)換后的機器人指令通過無線裝置發(fā)送給機器人，讓其按指令完成動作，從而實現(xiàn)由人的大腦意念來控制機器人?！爸噶顐鬏敗蓖ㄟ^佩戴在頭部的感應捕捉器來識別大腦頭皮電流變化和血液的流動信息，把微弱的腦電波放大，利用計算機分析人的意圖，讀取人的想法，有效實現(xiàn)“讀腦”?！白x腦”1.什么是腦控技術探索新知2.什么是腦機接口腦機接口有時也稱作“大腦端口”directneuralinterface或者“腦機融合感知”brain-machineinterface，它是在人或動物腦（或者腦細胞的培養(yǎng)物）與外部設備間建立的直接連接通路。探索新知單向腦機接口計算機或者接受腦傳來的命令，或者發(fā)送信號到腦（例如視頻重建），但不能同時發(fā)送和接收信號。允許腦和外部設備間的雙向信息交換。雙向腦機接口2.什么是腦機接口探索新知實驗讓猴只是通過回想給定的任務（而沒有任何動作發(fā)生）來操縱屏幕上的計算機光標并且控制機械臂完成簡單的任務。另外在貓上進行的研究對視覺信號進行了解碼。2.什么是腦機接口小測試1.腦控技術是什么？請用自己的話簡要描述一下。2.腦機接口是如何工作的？請用一個具體例子來解釋。3.腦控技術有哪些應用領域？請列舉出至少三個。即時檢測總結A腦控技術的定義B腦控技術的發(fā)展謝謝觀看THANKS智能網(wǎng)聯(lián)汽車技術智能座艙技術項目四汽車信息交互系統(tǒng)任務12人機交互系統(tǒng)主講人：胡曉曉智能網(wǎng)聯(lián)汽車技術課程導入智能座艙作為航空航天領域的重要組成部分，正在不斷發(fā)展和演進。它利用先進的科技手段，為飛行員和機組人員提供更加智能化、高效便捷的操作環(huán)境。學習目標理解智能座艙技術的定義和作用01掌握智能座艙的組成部分，包括底層架構、應用軟件和座艙電子02熟悉人工智能技術在智能座艙中的應用情況03了解智能座艙技術的功能多樣化和未來發(fā)展方向04學習任務閱讀關于智能座艙技術的相關資料，了解其定義、作用和發(fā)展現(xiàn)狀01調(diào)研智能座艙的發(fā)展階段和趨勢，包括實體按鍵簡化、大屏化、多屏化等，可以閱讀相關報道和技術文章02激活舊知智能座艙的基本定義和發(fā)展現(xiàn)狀智能座艙是一種集成了高性能計算、人機交互、多媒體和通信技術的艙內(nèi)系統(tǒng)，它通過集成各種傳感器和設備，為乘員提供信息處理、導航、控制和通信等功能。探索新知1.智能座艙的定義信息娛樂系統(tǒng)液晶儀表HUD流媒體后視鏡復雜系統(tǒng)探索新知能夠?qū)崿F(xiàn)多屏互動以及語音識別、手勢識別等多模態(tài)人機交互，并將融入OTA技術、云端智能等功能?？梢耘c人、路、車本身進行智能交互的座艙。.1.智能座艙的定義探索新知從終端消費者需求及應用場景出發(fā)，智能座艙能主動洞察和理解用戶需求，又能滿足用戶需求。在這一階段的智能座艙發(fā)展形態(tài)中，乘客不僅無需擔憂駕駛和出行，還能在智能座艙中獲得舒服的體驗。1.智能服務系統(tǒng)在這種具有未來感的定義下，汽車將徹底告別僅僅作為出行工具的角色，目標是實現(xiàn)座艙與人、車、路的智能交互，相比現(xiàn)在的