汽車智能座艙系統(tǒng)與應用 課件 模塊六 掌握智能座艙場景測試技術

能力模塊六

掌握智能座艙場景測試技術任務一

了解座艙場景的測試流程有效的測試可以確保座艙智能場景的穩(wěn)定性，提升用戶的使用體驗。作為智能座艙測試工程師，主管要求你根據最近開發(fā)的智能座艙語音相關的設備進行功能測試，并完成一份測試用例的填寫。任務引入Tasktointroduce01座艙場景測試流程設計02座艙場景測試流程實施目錄

CONTENTS03座艙場景測試流程管理座艙場景測試流程設計PART0101座艙場景測試流程設計

主要目的是構建功能場景測試的標準或臨時數據集，從而找出誤報及漏報badcase，量化輸出指標，并反饋給研發(fā)等其他部門。這些數據主要包括各個功能使用狀態(tài)下的正負樣本，以及常規(guī)使用狀態(tài)下的自然數據。常規(guī)使用下的自然數據，可以從不同氣候，艙內人員不同的數量來綜合考慮。構建一個完整的數據集，融合各類實體元素，也涵蓋了實體執(zhí)行的動作及實體之間的連接關系。測試數據集構建01座艙場景測試流程設計臺架測試臺架測試主要是衡量各種算法，功能的指標是否已經達到了發(fā)行版本的標準。目前，測試硬件臺架的搭建，都是按照智能座艙領域的控制器的布置，上下游線束連接。輸入/輸出是否靈敏，算法的誤報率是否滿足要求，各項功能直接是否能協同工作等多方面。對于硬件還涉及各種信號線束的復用和擴展分路，以及是否滿足緊湊的布線要求。根據測試結果，將所有的結果進行梳理，什么地方需要分發(fā)，什么地方需要整合，什么地方還需要增強等將結果反饋給產品經理和研發(fā)部門。01座艙場景測試流程設計實車測試

實車測試包含正常工況測試和復雜工況測試。正常工況測試可以測試座艙在典型場景下的安全性及舒適性，需通過專業(yè)測試工程師使用專業(yè)的測試設備，如駕駛人、目標物、采集設備等完成。復雜工況測試可以測試座艙對連續(xù)場景、復雜使用環(huán)境、突發(fā)意外情況的應對能力等，需要配合數據采集系統(tǒng)、數據分析工具等完成。正常工況測試，除常規(guī)場景測試外，為保證場景的豐富性及覆蓋率，可人為在艙內布置相關場景。座艙場景測試流程實施PART0202座艙場景測試流程實施不同類型的產品測試的方式和重點不一樣，測試流程也會不一樣。即使同樣類型的產品，不同的公司所制訂的測試流程也會不一樣。雖然不同軟件的詳細測試步驟不同，但它們所遵循的最基本的測試流程是一樣的。02座艙場景測試流程實施一、分析測試需求

測試人員在制訂測試計劃之前需要先對產品需求進行分析，以便對要開發(fā)的產品有一個清晰的認識，從而明確測試對象及測試工作的范圍和測試重點。在分析需求時還可以獲取一些測試數據，作為測試計劃的基本依據，為后續(xù)的測試打好基礎。二、制定測試計劃

測試工作貫穿于整個軟件開發(fā)生命周期，是一項龐大而復雜的工作，需要制訂一個完整且詳細的測試計劃作為指導。測試計劃是整個測試工作的導航圖，但它并不是一成不變的，隨著項目推進或需求變更，測試計劃也會不斷發(fā)生改變。02座艙場景測試流程實施三、設計測試用例

測試用例（TestCase）指的是一套詳細的測試方案，包括測試環(huán)境、測試步驟、測試數據和預期結果。

不同的公司會有不同的測試用例模板，雖然它們在風格和樣式上有所不同，但本質上是一樣的，都包括了測試用例的基本要素。02座艙場景測試流程實施四、執(zhí)行測試

執(zhí)行測試時要根據測試用例的優(yōu)先級進行。測試執(zhí)行過程看似簡單，只要按照測試用例完成測試工作即可，但實則并不如此。測試用例的數目非常多，測試人員需要完成所有測試用例的執(zhí)行，每一個測試用例都可能會發(fā)現很多缺陷，測試人員要做好測試記錄與跟蹤，衡量缺陷的質量并編寫缺陷報告。五、編寫測試報告

測試報告是對一個測試活動的總結，對項目測試過程進行歸納，對測試數據進行統(tǒng)計，對項目的測試質量進行客觀評價。座艙場景測試流程管理PART0303座艙場景測試流程管理嚴格按照產品測試管理流程，通過嚴格的產品測試工作，及時發(fā)現問題、解決問題，研發(fā)出高質量的產品。采用適宜的方法對軟件產品的測試過程及測試中發(fā)現的軟件Bug進行全過程的監(jiān)控和跟蹤管理，以保證測試過程的有效性。如果發(fā)現某階段測試沒有實現預定的目標，應進行適當調整或糾正。03座艙場景測試流程管理測試資源管理

測試資源管理主要包括對人力資源、工作環(huán)境、使用設備、技術支持的管理。測試過程中，針對測試進度合理調配測試人員、重新分配測試任務。做好測試環(huán)境的維護，保持測試環(huán)境穩(wěn)定。維護好測試人員使用的機器設備，確保設備正常運轉。03座艙場景測試流程管理測試問題管理

測試問題管理主要是對測試人員在對軟件產品測試過程中，發(fā)現問題的管理，對測試人員測試行為的管理。檢查測試人員是否執(zhí)行測試計劃規(guī)定檢查測試人員是否采用標準的格式記錄Bug，并按規(guī)定的流程提交測試記錄跟蹤發(fā)現的Bug是否及時得到解決，沒有解決的原因是什么針對測試過程遇到的問題，發(fā)現測試計劃、測試案例有遺漏或不對的地方應及時提出優(yōu)化方案保持測試環(huán)境的清潔，規(guī)范測試數據，保證測試結果的準確03座艙場景測試流程管理測試問題管理跟蹤測試進度，合理調配測試資源，及時解決影響測試進度的問題制定應急措施，因某種原因造成項目發(fā)生沖突時，應能及時對測試工作進行調整，盡快制定出有效的解決方案加強測試人員與技術人員的交流與合作，減少內耗，提高工作效率使用測試管理工具，通過使用測試管理工具，可以有效控制、管理和改進測試過程，完善工作流程，及時發(fā)現問題、解決問題和反饋問題；同時可以高效地編寫、查詢和引用測試用例，快速填寫、修改和查詢軟件Bug報告，詳細記錄、跟蹤和管理每個軟件Bug的生命過程，直至排除這個Bug，同時提供相關的分析和統(tǒng)計報表1、查看教材中展示的測試用例，總結測試用例的結構和內容。1、各組派代表闡述資料查詢結果。2、各組就各自的查詢結果進行交流，并分享技巧。隨堂討論結合教材資料與下表提供的資料，制作一份關于音樂界面操作功能（上下曲切換、播放/停止）的測試用例，具體可填入教材所示的工單內。任務實施感謝觀看能力模塊六

掌握智能座艙場景測試技術任務二

認知座艙場景的測試工具在實際開發(fā)環(huán)境中，需要用專門的工具去測試，對于測試工具，不同的團隊均會有不同的測試工具，在完成測試功能分析之后，主管要求你先匯總測試工具功能及使用方法相關資料，為團隊的正式測試工作做準備。任務引入Tasktointroduce01圖像測試工具認知02語音測試工具認知目錄

CONTENTS03汽車智能座艙實訓系統(tǒng)軟件認知圖像測試工具認知PART0101圖像測試工具認知問題一

數據量大、存儲難：錄制數據、閉環(huán)數據、現有的測試集和回灌生成的數據量很大，經常需要不停地轉移，不同使用者來回拷貝，無法有效歸檔，易冗余和丟失。問題二

研發(fā)和測試數據難以一致:測試集、干擾集、自然駕駛、錄制的專項功能測試集、測試和研發(fā)在各自不停地清洗，每個版本需要驗證一致性對齊，異常繁瑣，費時費力。數據管理

座艙數據管理在實際開發(fā)中常面臨以下2個問題:

數據管理的本質是實現物理數據的數字化，通過各種抽象標簽對這些數據從不同維度表達我們的認知。最后像人類的語言一樣，通過不同的組合來表達不同的語義，從而檢索到需要的數據。01圖像測試工具認知數據管理01圖像測試工具認知自動化測試對于自動化測試來說，座艙測試方案從最初的單個重復回灌方式，到自動化回灌，到基于數據驅動的自動化測試方案，越來越受到重視自動化測試技術有良好的可重復性，高并發(fā)和高效率的特點，為各類測試項目顯營提高了測試效率，將測試人員從繁瑣的執(zhí)行中解放了出來。01圖像測試工具認知badcase管理對于badcase管理來說，座艙測試數據主要分為正樣本負樣本和自然駕駛。其中正樣本的badcase是漏報，負樣本和自然駕駛的badcase是誤報。測試場景數據和訓練數據在場景上區(qū)別較大，會造成badcase較多的情況。但badcase并不能明確地確定模型現存缺陷，所以需要先對badcase打上不同的標簽，進行多維度標注。語音測試工具認知PART0202語音測試工具認知

語音測試工具主要是針對影音娛樂系統(tǒng)的語音喚醒、交互、控制及發(fā)聲等功能的測試。主要測試目標包括：復雜工況環(huán)境下，語音交互功能的完整性、可靠性驗證在復雜工況環(huán)境下，語音交互結果與外部控制器之間的有效動作驗證02語音測試工具認知喚醒率測試喚醒語多語種（普通話、方言）的喚醒音頻文件（MP3格式）結果確認喚醒后HMI界面及反饋音（如：我在的/有什么需要幫助嗎？）環(huán)境確認多場景下的背景噪音音頻文件（MP3格式）一、條件準備02語音測試工具認知喚醒率測試二、測試方法流程程序觸發(fā)系統(tǒng)收音：根據系統(tǒng)要求，首先，進行程序觸發(fā)系統(tǒng)收音，有的車機系統(tǒng)可以隨時喚醒則不需要此步驟。播放背景噪音和喚醒音頻：程序控制播放背景噪音和喚醒音頻具體是利用設定好的程序，播放背景噪音，用特定語音命令（喚醒音頻）來進行系統(tǒng)喚醒。設置等待時間：設置等待時間，一般為1秒。畫面檢查與收音對比：喚醒成功后，需要進行畫面檢查（圖像對比）以及收音比對。02語音測試工具認知外部控制測試一、條件準備喚醒語使用多語種（普通話、方言）的設備控制音頻文件（MP3格式）環(huán)境噪音準備多場景下的背景噪音音頻文件，格式為MP3格式。結果確認結果確認是根據文字識別（輸出預想）+HMI進行外部控制的測試確認02語音測試工具認知二、測試方法流程程序觸發(fā)系統(tǒng)收音：根據系統(tǒng)要求，首先，進行程序觸發(fā)系統(tǒng)收音，有的車機系統(tǒng)可以隨時喚醒則不需要此步驟。播放背景噪音和喚醒音頻：程序控制播放背景噪音和喚醒音頻具體是利用設定好的程序，播放背景噪音，用特定語音命令（喚醒音頻）來進行系統(tǒng)喚醒。設置等待時間：設置等待時間，一般為1秒。畫面檢查與收音對比：喚醒成功后，需要進行畫面檢查（圖像對比）以及收音比對。外部控制測試汽車智能座艙實訓系統(tǒng)軟件認知PART0303汽車智能座艙實訓系統(tǒng)軟件認知該系統(tǒng)有10個功能：電子助力轉向系統(tǒng)、車身控制模塊、電池管理系統(tǒng)、車輛控制單元、空調控制系統(tǒng)、智能座艙控制單元、集成測試、駕駛員狀態(tài)監(jiān)控單元、手勢識別控制單元以及語音識別控制單元。03汽車智能座艙實訓系統(tǒng)軟件認知

其中，電子助力轉向系統(tǒng)（ElectricPowerSteering，EPS）是指依靠電機提供輔助扭矩的動力轉向系統(tǒng)。系統(tǒng)內置講解視頻可進行學習，在進行EPS系統(tǒng)故障測試時，需要進行命令輸入和報文查看，具體操作如下：①查看備注開關②命令值填寫“01”③自動生成報文，其中bete7顯示01表示EPS故障④點擊“發(fā)送命令”⑤顯示當前狀態(tài)03汽車智能座艙實訓系統(tǒng)軟件認知

操作成功后可在儀表屏右上方查看EPS系統(tǒng)故障顯示。03汽車智能座艙實訓系統(tǒng)軟件認知集成測試模塊：勾選待測模塊，點擊測試開始，測試時電腦會每隔一段時間隨機輸入命令值，觀察儀表屏和且主/副娛樂顯示屏測試數據。測試模塊包括：汽車速度、遠光燈控制、駕駛員側門控制、擋位控制顯示、動力電池SOC、充電功率顯示、空調風速、室內溫度、室外溫度、總百公里耗能顯示以及續(xù)航里程顯示03汽車智能座艙實訓系統(tǒng)軟件認知

點擊測試結束，可停止測試，點擊歷史記錄會顯示最近的測試數據。1、概括語音測試工具的四類測試方法。1、各組派代表闡述資料查詢結果。2、各組就各自的查詢結果進行交流，并分享技巧。隨堂討論完成CAN信號模擬EPS系統(tǒng)故障測試與汽車儀表屏車門車燈測試，并填寫教材所示工單。任務實施感謝觀看能力模塊六

掌握智能座艙場景測試技術任務三了解座艙場景的測試標準與需求對于智能座艙，硬件是基礎，交互能力（系統(tǒng)）是用戶依賴的關鍵，而應用生態(tài)則是多樣性體驗升級，面對豐富多樣的交互功能，熟悉各類測試需求和標準是十分必要的。作為智能座艙測試工程師，在某項目開發(fā)過程中，為統(tǒng)一測試數據內容，主管要求你查閱測試標準并整理一份座艙交互功能測試需求清單，能夠更好完成測試工作。任務引入Tasktointroduce01座艙交互功能測試需求認知02車載視覺測試標準認知目錄

CONTENTS03車載語音測試標準認知座艙交互功能測試需求認知PART0101座艙交互功能測試需求認知智能座艙功能測試需求

功能測試主要是用于驗證功能是否正確實現，常規(guī)的功能測試有：語音交互測試視覺測試外設交互測試電源適配測試HMI頁面切換測試UI邏輯測試01座艙交互功能測試需求認知智能座艙功能測試需求語音交互測試用于驗證人機語音交互功能，包括語音識別、語音合成、語義識別、多語種識別、多方言識別、語音識別率等測試。視覺測試主要是圖像識別人臉識別測試，需考慮到光線、角度、距離等因素，測試指標有識別率，誤識別率，響應時間等外設交互測試主要是指外置移動U盤測試、智能移動終端測試01座艙交互功能測試需求認知智能座艙功能測試需求電源適配測試主要在不同的電壓環(huán)境、不同供電條件下的功能狀態(tài)測試，用于驗證智能座艙的電源適應能力。HMI頁面切換測試以HMI界面切換設計為基礎，進行正向切換邏輯驗證，包括HMI滑屏切換、界面層級驗證界面元素拖拽界面一致性驗證。UI邏輯測試主要是進行UI界面一致性測試。常見的UI界面切換功能測試有：地圖應用進入/退出測試、音樂進入/退出測試、電話進入/退出測試、天氣進入/退出測試、生活服務進入/退出測試等。性能測試主要是對智能座艙的穩(wěn)定性、可靠性、用戶體驗性等方面展開測試，主要包括：座艙啟動時間、應用啟動時間、不同應用的響應時間、動作響應時間、頁面切換流暢度、接觸的硬件材質耐久可靠性、頁面切換流暢程度等等內容。性能測試更加注重用戶的體驗感，將主觀評價客觀化，通過收集實際數據來進行分析，從而對智能座艙相關產品的應用表現做出評估。01座艙交互功能測試需求認知智能座艙功能測試需求響應時間驗證響應時間作為智能座艙用戶體驗性指標，反映了座艙產品的品質。響應時間測試，測試需求主要有車機冷啟動時間、儀表冷啟動時間、倒車影像冷啟動時間、路徑規(guī)劃冷啟動時間等。頁面流暢度測試主要的測試指標有：最大連續(xù)卡頓幀數、平均幀率、卡頓總幀數、卡頓比率等。01座艙交互功能測試需求認知智能座艙性能測試需求車載視覺測試標準認知PART0202車載視覺測試標準認知專業(yè)評價指標

實際測試過程中，需對不同場景維度以及車內人員的為進行不同的排列組合及遍歷取值，以擴展場景邊界，有效覆蓋測試育區(qū)。在指標方面，下表中的幾個專業(yè)指標會被經常用到。符號英文名解釋FNFalseNegative正樣本被預測為了負樣本的個數，即漏報FPFalsePositive負樣本被預測為了正樣本的個數，即誤報TNTrueNegative既是負樣本又被預測為負樣本的個數TPTruePositive既是正樣本又被預測為正樣本的個數，即檢測正確02車載視覺測試標準認知專業(yè)評測指標

一、Recall（召回率）

也稱查全率，使用正樣本測試集輸出Recall，即在所有正樣本數據集中識別正確個數的比例，以目標檢測為例，我們往往把圖片中的物體作為正例，召回率高代表著模型可以找出圖片中更多的物體。具體計算如下。02車載視覺測試標準認知專業(yè)評測指標

二、Accuracy（準確率）

評測指標中最直觀表示，判斷正確的數據（TP+TN）占總數據的比例。表示有多少比例的樣本預測正確，多用于統(tǒng)計性別識別結果。具體計算如下。02車載視覺測試標準認知專業(yè)評測指標

三、Precision（精確率）

針對模型判斷出的所有正例（TP+FP）而言，其中真正例（TP）占的比例.精確率也叫查準率，還是以目標檢測為例，精確率高表示模型檢測出的物體中大部分確實是物體，只有少量不是物體的對象被當成物體。具體計算如下。車載語音測試標準認知PART0303車載語音測試標準認知序號測試內容測試指標詳細描述1喚醒率喚醒率=R/N*100%成功喚醒次數與喚醒詞總次數之比，假設測試語料中總共嘗試N次喚醒，