汽車智能座艙系統(tǒng)與應(yīng)用 課件 5-3 實(shí)現(xiàn)數(shù)據(jù)的清洗與增強(qiáng)

能力模塊五

掌握智能座艙中數(shù)據(jù)采集與處理技術(shù)的應(yīng)用任務(wù)三

實(shí)現(xiàn)數(shù)據(jù)的清洗與增強(qiáng)在座艙視覺模塊的開發(fā)過程中，直接抓取到的圖像數(shù)據(jù)往往不能直接進(jìn)行數(shù)據(jù)訓(xùn)練和使用，主管要求你對(duì)其先進(jìn)行數(shù)據(jù)清洗和數(shù)據(jù)增強(qiáng)，完成數(shù)據(jù)整理工作。作為智能座艙開發(fā)助理，你需掌握數(shù)據(jù)清洗和增強(qiáng)的方法，有助于后續(xù)理解深度學(xué)習(xí)智能座艙的開發(fā)流程。任務(wù)引入Tasktointroduce01深度學(xué)習(xí)數(shù)據(jù)清洗與增強(qiáng)概述02深度學(xué)習(xí)數(shù)據(jù)清洗方法目錄

CONTENTS03深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法04了解深度學(xué)習(xí)本地訓(xùn)練部署深度學(xué)習(xí)數(shù)據(jù)清洗與增強(qiáng)概述PART0101深度學(xué)習(xí)數(shù)據(jù)清洗與增強(qiáng)概述數(shù)據(jù)在采集完之后，往往包含著噪聲、缺失數(shù)據(jù)、不規(guī)則數(shù)據(jù)等各種問題，因此需要對(duì)其進(jìn)行清洗和整理工作。例如，用搜索引擎采集貓的圖片，采集到的數(shù)據(jù)可能會(huì)存在非貓的圖片，這時(shí)候就需要人工或者使用相關(guān)的檢測算法來去除不符合要求的圖片。一般來說，數(shù)據(jù)清洗的原理為：利用有關(guān)技術(shù)，如統(tǒng)計(jì)方法、數(shù)據(jù)挖掘方法、模式規(guī)則方法等將臟數(shù)據(jù)轉(zhuǎn)換為滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。01深度學(xué)習(xí)數(shù)據(jù)清洗與增強(qiáng)概述數(shù)據(jù)增廣是一種常用的增加訓(xùn)練樣本的手段，圖像增廣在對(duì)訓(xùn)練圖像進(jìn)行一系列的隨機(jī)變化之后，生成相似但不同的訓(xùn)練樣本，從而擴(kuò)大了訓(xùn)練集的規(guī)模。此外，應(yīng)用圖像增廣的原因是，隨機(jī)改變訓(xùn)練樣本可以減少模型對(duì)某些屬性的依賴，從而提高模型的泛化能力。例如，我們可以以不同的方式裁剪圖像，使感興趣的對(duì)象出現(xiàn)在不同的位置，減少模型對(duì)于對(duì)象出現(xiàn)位置的依賴。我們還可以調(diào)整亮度、顏色等因素來降低模型對(duì)顏色的敏感度。深度學(xué)習(xí)數(shù)據(jù)清洗的方法PART02

填充缺失數(shù)據(jù)工作通常以替代值填補(bǔ)的方式進(jìn)行，它可以通過多種方法實(shí)現(xiàn)，如均值填補(bǔ)法使用數(shù)據(jù)的均值作為替代值。然而，該方法忽略了數(shù)據(jù)不一致問題，并且沒有考慮屬性之間的關(guān)系，屬性間的關(guān)聯(lián)性在缺失值估計(jì)過程中非常重要。02深度學(xué)習(xí)數(shù)據(jù)清洗的方法缺失數(shù)據(jù)處理

在數(shù)據(jù)挖掘方法中，關(guān)鍵是挖掘?qū)傩灾g的關(guān)系，當(dāng)進(jìn)行缺失值替代時(shí)，利用這些關(guān)系非常重要。由此觀點(diǎn)出發(fā)，填補(bǔ)的目的在于估計(jì)正確的替代值，并避免填充偏差問題。如果擁有合適的填補(bǔ)方法，則能得到高質(zhì)量的數(shù)據(jù)，數(shù)據(jù)挖掘結(jié)果也會(huì)得到改善。02深度學(xué)習(xí)數(shù)據(jù)清洗的方法對(duì)多數(shù)據(jù)源和單數(shù)據(jù)源數(shù)據(jù)進(jìn)行集成時(shí)，多個(gè)記錄代表同一實(shí)體的現(xiàn)象經(jīng)常存在，這些記錄稱為重復(fù)記錄。同時(shí)，有些記錄并非完全重復(fù)，其個(gè)別字段存在一定差別，但表示的卻是同一對(duì)象，此類記錄即為相似重復(fù)記錄。相似重復(fù)記錄檢測是數(shù)據(jù)清洗研究的重要方面，在信息集成系統(tǒng)中，重復(fù)記錄不僅導(dǎo)致數(shù)據(jù)冗余，浪費(fèi)了網(wǎng)絡(luò)帶寬和存儲(chǔ)空間，還提供給用戶很多相似信息，起到誤導(dǎo)作用。該類問題的解決主要基于數(shù)據(jù)庫和人工智能的方法。相似重復(fù)對(duì)象檢測

異常數(shù)據(jù)指數(shù)據(jù)庫或數(shù)據(jù)倉庫中不符合一般規(guī)律的數(shù)據(jù)對(duì)象又稱為孤立點(diǎn)。異常數(shù)據(jù)可能由執(zhí)行失誤造成，也可能因設(shè)備故障而導(dǎo)致結(jié)果異常。異常數(shù)據(jù)可能是去掉的噪聲，也可能是含有重要信息的數(shù)據(jù)單元。02深度學(xué)習(xí)數(shù)據(jù)清洗的方法異常數(shù)據(jù)處理

在數(shù)據(jù)清洗中，異常數(shù)據(jù)的檢測也十分重要。異常數(shù)據(jù)的探測主要有基于統(tǒng)計(jì)學(xué)、基于距離和基于偏離3種方法?？梢圆捎脭?shù)據(jù)審計(jì)的方法實(shí)現(xiàn)異常數(shù)據(jù)的自動(dòng)化檢測，該方法也稱為數(shù)據(jù)質(zhì)量挖掘（DQM）。02深度學(xué)習(xí)數(shù)據(jù)清洗的方法數(shù)據(jù)邏輯錯(cuò)誤指數(shù)據(jù)集中的屬性值與實(shí)際值不符，或違背了業(yè)務(wù)規(guī)則或邏輯。如果數(shù)據(jù)源中包含錯(cuò)誤數(shù)據(jù)，相似重復(fù)記錄和缺失數(shù)據(jù)的清洗將更加復(fù)雜。在實(shí)際信息系統(tǒng)中，對(duì)于具體應(yīng)用采用一定的方法解決數(shù)據(jù)邏輯錯(cuò)誤問題，具有實(shí)際意義。不合法的屬性值是一種常見的數(shù)據(jù)邏輯錯(cuò)誤。邏輯錯(cuò)誤檢測02深度學(xué)習(xí)數(shù)據(jù)清洗的方法多包含大量空數(shù)據(jù)值的列，如個(gè)人對(duì)某些敏感信息回避，故意漏填部分信息包含過多或者過少的單一狀態(tài)的列，如一對(duì)一關(guān)系的列，或者僅包含一個(gè)值的列遠(yuǎn)離或超出某列正態(tài)分布的記錄，如出現(xiàn)負(fù)工資和課程零學(xué)時(shí)的問題不符合特定格式的行，如不同的日期格式同一記錄的不同屬性比較時(shí)，缺失意義的列，如客戶選購某產(chǎn)品的日期早于該顧客的出生日期不一致數(shù)據(jù)

多數(shù)據(jù)源數(shù)據(jù)集成時(shí)，由于不同數(shù)據(jù)源對(duì)同一現(xiàn)實(shí)事物可能存在不一致的表示，從而產(chǎn)生不一致的是數(shù)據(jù)。不一致數(shù)據(jù)一般通過手工或者自動(dòng)化方式檢查。常見的不一致數(shù)據(jù)有：深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法PART0303深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法幾何變化類

（一）翻轉(zhuǎn)

翻轉(zhuǎn)圖像通常不會(huì)改變對(duì)象的類別，這是最早且最廣泛使用的圖像增廣方法之一。翻轉(zhuǎn)的方式有左右翻轉(zhuǎn)與上下翻轉(zhuǎn)。

使用下述代實(shí)現(xiàn)左右翻轉(zhuǎn)，圖片各有50%的幾率向左或向右翻轉(zhuǎn)，翻轉(zhuǎn)后演示效果圖如圖所示。03深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法幾何變化類上下翻轉(zhuǎn)的代碼如下，與左右翻轉(zhuǎn)相同的是，圖像各有50%的幾率向上或向下翻轉(zhuǎn)。03深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法幾何變化類

（二）裁剪

隨機(jī)裁剪一個(gè)面積為原始面積10%到100%的區(qū)域，該區(qū)域的寬高比從0.5～2之間隨機(jī)取值。然后，區(qū)域的寬度和高度都被縮放到200像素。03深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法幾何變化類

通過對(duì)圖像進(jìn)行隨機(jī)裁剪，使物體以不同的比例出現(xiàn)在圖像的不同位置。這也可以降低模型對(duì)目標(biāo)位置的敏感性。03深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法幾何變化類旋轉(zhuǎn)：旋轉(zhuǎn)操作是對(duì)翻轉(zhuǎn)的進(jìn)一步提升，一般以圖像中心為旋轉(zhuǎn)中心進(jìn)行隨機(jī)旋轉(zhuǎn)（有正負(fù)角度約束），以此獲得更多形態(tài)的圖像數(shù)據(jù)?？s放變形：按照設(shè)定的比例縮小或放大圖像數(shù)據(jù)，但該操作會(huì)改變圖像大小，存在失真問題，但全卷積網(wǎng)絡(luò)對(duì)于尺度沒有嚴(yán)格要求。仿射：仿射類操作包括視覺變換操作和分段仿射操作，前者通過對(duì)圖像應(yīng)用隨機(jī)的四點(diǎn)透視變換加以實(shí)現(xiàn)，后者則通過移動(dòng)圖像中點(diǎn)網(wǎng)格上的點(diǎn)及點(diǎn)周圍區(qū)域加以實(shí)現(xiàn)。03深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法顏色變化類

我們可以改變圖像顏色的四個(gè)方面：亮度（brightness）、對(duì)比度（contrast）、飽和度（saturation）和色調(diào)（hue）。

03深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法顏色變化類

隨機(jī)更改圖像的亮度代碼如下，隨機(jī)改變值是為原始圖像的50%到150%之間，(brightness=0.5)。03深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法顏色變化類

我們也可以隨機(jī)更改圖像的色調(diào)。了解深度學(xué)習(xí)本地訓(xùn)練部署PART04一、軟件連通

點(diǎn)擊汽車智能座艙系統(tǒng)實(shí)訓(xùn)臺(tái)中的教學(xué)系統(tǒng)，選擇“手勢識(shí)別控制單元”（如圖5-3-7所示），進(jìn)入模塊頁面后，點(diǎn)擊實(shí)例測試，打開攝像頭，點(diǎn)擊“建立通訊連接”，將軟件與python進(jìn)行通訊連接。04了解深度學(xué)習(xí)本地訓(xùn)練部署軟件連接與內(nèi)置數(shù)據(jù)集實(shí)力測試二、內(nèi)置數(shù)據(jù)集實(shí)例測試

在軟件內(nèi)部，已經(jīng)嵌入與手勢識(shí)別相關(guān)的18類數(shù)據(jù)集，其中包括安靜、打電話、OK、拳頭、兩指發(fā)誓、手勢1-5、停止、搖滾、贊成等常見手勢。在連通成功后可以直接進(jìn)行測試。04了解深度學(xué)習(xí)本地訓(xùn)練部署軟件連接與內(nèi)置數(shù)據(jù)集實(shí)力測試04了解深度學(xué)習(xí)本地訓(xùn)練部署一、制作數(shù)據(jù)集單個(gè)行為數(shù)據(jù)集的制作過程是：①打開攝像頭②填寫該行為的名稱（如打電話）③拍照截取該照片④數(shù)據(jù)類別默認(rèn)放置在train中⑤點(diǎn)擊“確認(rèn)使用改數(shù)據(jù)”。自主創(chuàng)建與訓(xùn)練模型04了解深度學(xué)習(xí)本地訓(xùn)練部署二、數(shù)據(jù)集管理

新創(chuàng)建的圖片數(shù)據(jù)可以在“數(shù)據(jù)集管理”頁面中觀察到，左側(cè)欄為圖片數(shù)據(jù)的默認(rèn)路徑：DataBase->AGR->train->（新創(chuàng)建的行為名稱）->圖片名稱。在圖片名稱上，點(diǎn)擊右鍵，可對(duì)新建的圖片進(jìn)行復(fù)制和刪除。右側(cè)為新拍攝的測試圖片。自主創(chuàng)建與訓(xùn)練模型04了解深度學(xué)習(xí)本地訓(xùn)練部署三、訓(xùn)練模型

這一步驟主要是對(duì)自主創(chuàng)建/篩選出來的模型進(jìn)行訓(xùn)練，整體操作頁面如左圖所示，訓(xùn)練模型的過程如下圖所示。自主創(chuàng)建與訓(xùn)練模型04了解深度學(xué)習(xí)本地訓(xùn)練部署自主創(chuàng)建與訓(xùn)練模型四、模型訓(xùn)練測試

測試環(huán)節(jié)與內(nèi)置的數(shù)據(jù)集測試的操作步驟相同，點(diǎn)擊頁面左邊的“實(shí)例測試”，在模型選用上選擇