4.2-機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注《智能機(jī)器人技術(shù)應(yīng)用》

項(xiàng)目四機(jī)械臂色塊分揀深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練創(chuàng)靈實(shí)驗(yàn)平臺機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)二職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注掌握精靈標(biāo)注助手標(biāo)注工具使用，在Window10上安裝圖片標(biāo)注工具；學(xué)習(xí)并了解目標(biāo)檢測圖像標(biāo)注要求；掌握語音識別關(guān)鍵字匹配；掌握標(biāo)注數(shù)據(jù)轉(zhuǎn)換，使用圖片標(biāo)注工具進(jìn)行相應(yīng)分類圖片標(biāo)注，并能夠自行編寫Python腳本，自動(dòng)化處理標(biāo)注數(shù)據(jù)。掌握精靈標(biāo)注助手標(biāo)注工具使用掌握目標(biāo)檢測圖像標(biāo)注要求掌握標(biāo)注數(shù)據(jù)轉(zhuǎn)換職業(yè)能力目標(biāo)01實(shí)驗(yàn)?zāi)康膶?shí)驗(yàn)內(nèi)容職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注

此任務(wù)要求同學(xué)們掌握精靈標(biāo)注助手標(biāo)注工具使用，在Window10上安裝圖片標(biāo)注工具；學(xué)習(xí)并了解目標(biāo)檢測圖像標(biāo)注要求；掌握標(biāo)注數(shù)據(jù)轉(zhuǎn)換，使用圖片標(biāo)注工具進(jìn)行相應(yīng)分類圖片標(biāo)注，并能夠自行編寫Python腳本，自動(dòng)化處理標(biāo)注數(shù)據(jù)。任務(wù)描述任務(wù)要求掌握精靈標(biāo)注助手標(biāo)注工具使用，完成工具安裝；掌握目標(biāo)檢測圖像標(biāo)注要求，學(xué)習(xí)如何對圖像數(shù)據(jù)進(jìn)行類型標(biāo)注；標(biāo)注數(shù)據(jù)并完成數(shù)據(jù)轉(zhuǎn)換。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)分析思考一下，數(shù)據(jù)標(biāo)注在生活中還應(yīng)用于哪些方面？根據(jù)自己的了解，為什么要將標(biāo)注數(shù)據(jù)進(jìn)行轉(zhuǎn)換后再進(jìn)行模型訓(xùn)練？任務(wù)分析與計(jì)劃03任務(wù)計(jì)劃表項(xiàng)目名稱創(chuàng)靈實(shí)驗(yàn)平臺任務(wù)名稱機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注計(jì)劃方式自主設(shè)計(jì)計(jì)劃要求請用6個(gè)計(jì)劃步驟來完整描述出如何完成本次任務(wù)序號任務(wù)計(jì)劃1

2

3

4

5

6

通過上面的思考，你是否對本任務(wù)要完成的工作有所了解？讓我們一起來制訂完成本次任務(wù)的實(shí)施計(jì)劃吧！任務(wù)分析與計(jì)劃03職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注04知識儲備數(shù)據(jù)標(biāo)注2目標(biāo)檢測1標(biāo)注數(shù)據(jù)轉(zhuǎn)換3什么是目標(biāo)檢測？04

目標(biāo)檢測，也叫目標(biāo)提取，是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割。它將目標(biāo)的分割和識別合二為一，其準(zhǔn)確性和實(shí)時(shí)性是整個(gè)系統(tǒng)的一項(xiàng)重要能力。尤其是在復(fù)雜場景中，需要對多個(gè)目標(biāo)進(jìn)行實(shí)時(shí)處理時(shí)，目標(biāo)自動(dòng)提取和識別就顯得特別重要。目標(biāo)檢測04目標(biāo)檢測常用的評價(jià)指標(biāo)有：交并比，準(zhǔn)確率，精度，召回率，F(xiàn)PR，F(xiàn)1-Score，PR曲線-AP值，ROC曲線-AUC值，mAP值。交并比：檢測結(jié)果的矩形框與樣本標(biāo)注的矩形框的交集與并集的比值。準(zhǔn)確率：最常見的評價(jià)指標(biāo)，就是被檢測正確的樣本數(shù)除以所有的樣本數(shù)。精度：真正的正樣本數(shù)除以預(yù)測為正樣本的樣本數(shù)。召回率：預(yù)測正確的正樣本數(shù)除以所有真正的正樣本數(shù)。FPR：指實(shí)際負(fù)例中，錯(cuò)誤的判斷為正例的比例。F1-Score：精確率和召回率的調(diào)和平均數(shù)，最大為1，最小為0。PR曲線-AP值：精度與召回率的曲線，以精度為縱坐標(biāo)，召回率為橫坐標(biāo)，AP值也稱為平均準(zhǔn)確率，是對不同召回率點(diǎn)上的準(zhǔn)確率進(jìn)行平均，在PR曲線圖上表現(xiàn)為PR曲線下面的面積。AP的值越大，則說明模型的平均準(zhǔn)確率越高。ROC曲線-AUC值：以FPR為橫坐標(biāo)，以TPR(靈敏度)為縱坐標(biāo)。AUC是Areaundercurve的首字母縮寫，即ROC曲線下的面積，介于0和1之間。mAP值：即平均精度均值，指不同召回率下的精度的平均值。目標(biāo)檢測任務(wù)的六大難點(diǎn)與挑戰(zhàn)041.待檢測目標(biāo)尺寸很小，導(dǎo)致占比小，檢測難度大；2.關(guān)于小目標(biāo)檢測的問題，可以參考：深度學(xué)習(xí)檢測小目標(biāo)常用方法；3.待檢測目標(biāo)尺度變化大，網(wǎng)絡(luò)難以提取出高效特征；4.待檢測目標(biāo)所在背景復(fù)雜，噪音干擾嚴(yán)重，檢測難度大；5.待檢測目標(biāo)與背景顏色對比度低，網(wǎng)絡(luò)難以提取出具有判別性的特征；6.各待檢測目標(biāo)之間數(shù)量極度不均衡，導(dǎo)致樣本不均衡；7.檢測算法的速度與精度難以取得良好平衡。04知識儲備213數(shù)據(jù)標(biāo)注標(biāo)注數(shù)據(jù)轉(zhuǎn)換目標(biāo)檢測04什么是數(shù)據(jù)標(biāo)注？

數(shù)據(jù)標(biāo)注是指給原始數(shù)據(jù)（如圖像、視頻、文本、音頻和3D等）添加標(biāo)簽的過程，帶有標(biāo)簽的數(shù)據(jù)被稱為訓(xùn)練數(shù)據(jù)，這些標(biāo)簽形成了數(shù)據(jù)屬于哪一類對象的表示，幫助機(jī)器學(xué)習(xí)模型在未來遇到從未見過的數(shù)據(jù)時(shí)，也能準(zhǔn)確識別數(shù)據(jù)中的內(nèi)容，訓(xùn)練數(shù)據(jù)可以有多種形式，包括圖像、語音、文本或特征，這取決于所使用的機(jī)器學(xué)習(xí)模型和手頭要解決的任務(wù)。它可以是有標(biāo)注的或無標(biāo)注的。當(dāng)訓(xùn)練數(shù)據(jù)被標(biāo)注時(shí)，相應(yīng)的標(biāo)簽被稱為GroundTruth。04數(shù)據(jù)標(biāo)注

圖像數(shù)據(jù)標(biāo)注包括2D包圍框標(biāo)注、多邊形標(biāo)注、語義分割標(biāo)注、關(guān)鍵點(diǎn)標(biāo)注、折線標(biāo)注、立體框標(biāo)注等。語音/音頻數(shù)據(jù)標(biāo)注是對來自人、動(dòng)物、環(huán)境、樂器等的音頻成分進(jìn)行分類和轉(zhuǎn)寫。文本標(biāo)注類型較為豐富，但不論哪種類型，它背后的主要意圖是讓機(jī)器學(xué)習(xí)算法能夠理解文本背后的語義含義。思考一下，如果數(shù)據(jù)集中存在錯(cuò)誤標(biāo)注會(huì)有什么影響？有什么解決方案？04知識儲備213目標(biāo)檢測數(shù)據(jù)標(biāo)注數(shù)據(jù)轉(zhuǎn)換什么是數(shù)據(jù)轉(zhuǎn)換？04

數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)從一種格式或結(jié)構(gòu)轉(zhuǎn)換為另一種格式或結(jié)構(gòu)的過程。數(shù)據(jù)轉(zhuǎn)換對于數(shù)據(jù)集成和數(shù)據(jù)管理等活動(dòng)至關(guān)重要。數(shù)據(jù)轉(zhuǎn)換可以包括一系列活動(dòng)：可以轉(zhuǎn)換數(shù)據(jù)類型，通過刪除空值或重復(fù)數(shù)據(jù)來清理數(shù)據(jù)，豐富數(shù)據(jù)或執(zhí)行聚合，具體取決于項(xiàng)目的需要。請根據(jù)自己的了解，解釋一下我們?yōu)槭裁匆M(jìn)行數(shù)據(jù)轉(zhuǎn)換？這不是會(huì)增加計(jì)算量嗎？為什么要進(jìn)行數(shù)據(jù)轉(zhuǎn)換？04

軟件的全面升級，肯定帶來數(shù)據(jù)庫的全面升級，每一個(gè)軟件對其后面的數(shù)據(jù)庫的構(gòu)架與數(shù)據(jù)的存諸形式都是不相同的，這樣就需要數(shù)據(jù)的轉(zhuǎn)換了。

主要是由于數(shù)據(jù)量的不斷增加，原來數(shù)據(jù)構(gòu)架的不合理，不能滿足各方面的要求。由數(shù)據(jù)庫的更換，數(shù)據(jù)結(jié)構(gòu)的更換，從而需要數(shù)據(jù)本身的轉(zhuǎn)換。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注圖片標(biāo)注205任務(wù)實(shí)施安裝圖片標(biāo)注工具1安裝圖片標(biāo)注工具步驟一：下載精靈標(biāo)注助手安裝包可到上下載對應(yīng)window10版本的安裝包，或使用實(shí)驗(yàn)提供的資源包里的安裝包進(jìn)行安裝安裝圖片標(biāo)注工具步驟一：下載精靈標(biāo)注助手安裝包可到上下載對應(yīng)window10版本的安裝包，或使用實(shí)驗(yàn)提供的資源包里的安裝包進(jìn)行安裝步驟二：安裝精靈標(biāo)注助手雙擊安裝包，選擇我接受，如下圖：步驟三：選擇安裝目錄點(diǎn)擊安裝，進(jìn)行軟件安裝，如下圖安裝圖片標(biāo)注工具步驟三：選擇安裝目錄點(diǎn)擊安裝，進(jìn)行軟件安裝，如下圖。安裝圖片標(biāo)注工具步驟四：打開安裝好的精靈標(biāo)注工具，如下圖。安裝圖片標(biāo)注工具注：可以正常打開安裝后的軟件，則表明安裝成功圖片標(biāo)注205任務(wù)實(shí)施安裝圖片標(biāo)注工具1步驟一：打開安裝好的精靈標(biāo)注工具，如下圖。圖片標(biāo)注步驟二：新建一個(gè)標(biāo)注項(xiàng)目（圖片數(shù)據(jù)在同級目錄下image.rar）圖片標(biāo)注步驟二：新建一個(gè)標(biāo)注項(xiàng)目（圖片數(shù)據(jù)在同級目錄下image.rar）圖片標(biāo)注步驟三：導(dǎo)入要標(biāo)注的圖片(注：導(dǎo)入的圖片路徑不能有中文)，分類值填寫【red,green,yellow,blue】(注：直接填寫單詞，中間使用英文逗號間隔，不需要附帶引號)，點(diǎn)擊創(chuàng)建。圖片標(biāo)注步驟三：導(dǎo)入要標(biāo)注的圖片(注：導(dǎo)入的圖片路徑不能有中文)，分類值填寫【red,green,yellow,blue】(注：直接填寫單詞，中間使用英文逗號間隔，不需要附帶引號)，點(diǎn)擊創(chuàng)建。步驟四：標(biāo)注框選擇后，標(biāo)注信息填寫選擇對應(yīng)的類別，然后按住ctrl+s完成標(biāo)注保存。圖片標(biāo)注步驟五：完成所有的數(shù)據(jù)標(biāo)注后點(diǎn)擊中間的菜單，導(dǎo)出標(biāo)注信息xml文件，如下圖：圖片標(biāo)注導(dǎo)出標(biāo)記信息步驟六：完成所有的數(shù)據(jù)標(biāo)注后點(diǎn)擊中間的菜單，導(dǎo)出標(biāo)注信息xml文件，如下圖：圖片標(biāo)注選擇確定導(dǎo)出步驟七：最后我們要完成我們的數(shù)據(jù)標(biāo)注并檢查，我們要得到我們對應(yīng)分類好的數(shù)據(jù)：

也就是我們設(shè)置的red、green、yellow、blue等顏色分類數(shù)據(jù)，便于我們在下一章使用模型訓(xùn)練工具。圖片標(biāo)注模型訓(xùn)練工具職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)檢查與評價(jià)06序號評價(jià)內(nèi)容評價(jià)標(biāo)準(zhǔn)分值得分1知識運(yùn)用（20%）掌握相關(guān)理論知識，理解本次任務(wù)要求，制定詳細(xì)計(jì)劃，計(jì)劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識，能根據(jù)本次任務(wù)要求、制定合理計(jì)劃（15分）了解相關(guān)理論知識，有制定計(jì)劃（10分）無制定計(jì)劃（0分）2專業(yè)技能（40%）安裝圖片標(biāo)注工具，完成圖片標(biāo)注，并將標(biāo)注結(jié)果導(dǎo)出。（40分）40分

安裝圖片標(biāo)注工具，完成圖片標(biāo)注。（25分）安裝圖片標(biāo)注工具。（15分）沒有完成機(jī)機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注實(shí)驗(yàn)。（0分）3核心素養(yǎng)（20%）具有良好的自主學(xué)習(xí)能力、分析解決問題的能力、整個(gè)任務(wù)過程中有指導(dǎo)他人（20分）20分

具有較好的學(xué)習(xí)能力和分析解決問題的能力，任務(wù)過程中無指導(dǎo)他人（15分）能夠主動(dòng)學(xué)習(xí)并收集信息，有請教他人進(jìn)行解決問題的能力（10分）不主動(dòng)學(xué)習(xí)（0分）4課堂紀(jì)律（20%）設(shè)備無損壞、設(shè)備擺放整齊、工位區(qū)域內(nèi)保持整潔、無干擾課堂秩序（20分）20分

設(shè)備無損壞、無干擾課堂秩序（15分）無干擾課堂秩序（10分）干擾課堂秩序（0分）總得分1、請參照評價(jià)標(biāo)準(zhǔn)完成自評和對其他小組的互評。2、各組請代表分析本組任務(wù)實(shí)施經(jīng)驗(yàn)。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價(jià)06任務(wù)小結(jié)07任務(wù)拓展08任務(wù)二機(jī)器人色塊分揀圖像數(shù)據(jù)集標(biāo)注任務(wù)小結(jié)07

在大家學(xué)習(xí)完本任務(wù)后，是否還有許多為解決的問題？那么接下來我們來進(jìn)行任務(wù)小結(jié)，通過流程圖了解本章學(xué)習(xí)了什么，對相應(yīng)知識進(jìn)行鞏固復(fù)習(xí)，并對下一章機(jī)械臂