項目3 體育運動的姿勢檢測

《體育運動的姿態(tài)檢測》教學(xué)設(shè)計課題：體育運動的姿態(tài)檢測授課對象：中職一年級課型：新授課課時：2~3課時教材分析：教學(xué)內(nèi)容選自《人工智能通識》課程的項目五。該項目共有4個任務(wù)：任務(wù)1是姿態(tài)檢測體驗，通過對瀏覽器進行相關(guān)配置，然后調(diào)用相應(yīng)模型，學(xué)生可自行體驗姿態(tài)檢測，并學(xué)習(xí)相應(yīng)的人工智能基礎(chǔ)知識，例如什么是姿態(tài)檢測、什么是分割掩碼、姿態(tài)檢測的應(yīng)用等知識；任務(wù)2是圖片中的運動姿態(tài)檢測，主要介紹運動姿態(tài)檢測的核心框架——MediaPipe模塊的使用，同時學(xué)生能夠結(jié)合已有的設(shè)計經(jīng)驗，設(shè)計出運動姿態(tài)檢測任務(wù)的實訓(xùn)步驟；任務(wù)3是圖片深蹲姿勢標(biāo)準(zhǔn)檢測器，是針對某一具體動作對任務(wù)2的豐富，學(xué)生需要掌握angle（）函數(shù)與cv2AddChineseText()函數(shù)的使用方法；任務(wù)4是視頻深蹲姿勢標(biāo)準(zhǔn)檢測器，該任務(wù)是對任務(wù)3的拓展，只需對任務(wù)3做一定的修改與拓展，便可將該檢測器的使用面從圖片擴展到視頻層面。通過學(xué)習(xí)本課，學(xué)生可以舉一反三對不同的體育動作或舞蹈動作進行姿態(tài)檢測，同時還可將其擴展到手語識別、手勢控制等領(lǐng)域。學(xué)情分析學(xué)習(xí)心理特征：本課授課對象是智能技術(shù)系機器人專業(yè)高一年級學(xué)生。學(xué)生在學(xué)習(xí)該項目之前，已經(jīng)有過多個項目的學(xué)習(xí)經(jīng)驗，不但具備了識讀、編寫Python程序的能力，同時還對一些比較常用的機器學(xué)習(xí)算法、深度學(xué)習(xí)的TensorFlow框架、計算機視覺領(lǐng)域的基礎(chǔ)知識以及一些項目開發(fā)中常用到的Python庫有了比較深入的理解與應(yīng)用。知識基礎(chǔ)：1．學(xué)生已經(jīng)完成了項目四口罩識別系統(tǒng)的學(xué)習(xí)，同時已經(jīng)對計算機視覺領(lǐng)域中的各種圖像處理技術(shù)有了比較深入的、概念化的理解，但對某些圖像處理技術(shù)如何應(yīng)用到項目開發(fā)中還存在一定的困難，要想突破這個困難，需要相應(yīng)的任務(wù)作依托、需要教師的引導(dǎo)、需要小組的合作。2．大部分學(xué)生自主學(xué)習(xí)能力比較差，但對新鮮事物的探索能力較強，因此將該項目中任務(wù)1的姿態(tài)檢測體驗作為課前準(zhǔn)備階段的學(xué)習(xí)內(nèi)容推送給學(xué)生，使其在體驗姿態(tài)檢測的同時，對該項目的應(yīng)用、技術(shù)需求有一定的了解。3．對任務(wù)2進行升級改造成任務(wù)3時，將關(guān)節(jié)坐標(biāo)的讀取、給圖片增加文字、動作幅度的計算三個環(huán)節(jié)進行合并應(yīng)用時，學(xué)生可能會對程序的識讀存在一定的問題，為此可通過增加批注的方式加深學(xué)生的理解。教學(xué)目標(biāo)知識與技能目標(biāo)：1、能夠安裝Mediapide框架。2、能夠調(diào)用Mediapide框架對圖片、視頻中的運動進行姿態(tài)檢測3、掌握angle（）函數(shù)、cv2AddChineseTest()函數(shù)的使用。4、能夠?qū)ψ藨B(tài)檢測的視頻進行讀取與保存。5、了解姿態(tài)檢測技術(shù)的概念與應(yīng)用領(lǐng)域。6、了解計算機視覺領(lǐng)域中圖像分割技術(shù)的概念及掩碼技術(shù)。過程與方法：使用搜索引擎搜索信息，小組合作討論數(shù)據(jù)分析及數(shù)據(jù)可視化概念及其應(yīng)用。根據(jù)教師發(fā)布的實訓(xùn)任務(wù)書，自主進行爬蟲工具—后羿采集器的安裝與配置。根據(jù)教師發(fā)布的實訓(xùn)任務(wù)書，自主在爬蟲工具中創(chuàng)建數(shù)據(jù)采集任務(wù)，即采集杭州濱江區(qū)的房價。根據(jù)教師發(fā)布的實訓(xùn)任務(wù)書和老師的引領(lǐng)下，完成數(shù)據(jù)的分析與可視化根據(jù)教師發(fā)布的實訓(xùn)任務(wù)書和老師的帶領(lǐng)下，完成隨機森林模型的構(gòu)建和預(yù)測。情感態(tài)度與價值觀：能夠體會到人工智能技術(shù)的奇妙和給生活帶來的樂趣。通過小組合作的方式，培養(yǎng)學(xué)生的主動參與的意識，強化自身的責(zé)任感，以及增強自己的合作能力。教學(xué)重難點教學(xué)重點：MediaPipe模塊的安裝與調(diào)用。教學(xué)難點：關(guān)節(jié)節(jié)點的捕捉與動作幅度的計算教學(xué)方法教法：任務(wù)驅(qū)動法、練習(xí)法學(xué)法：自主學(xué)習(xí)法、小組合作學(xué)習(xí)法教學(xué)準(zhǔn)備教學(xué)環(huán)境：多媒體網(wǎng)絡(luò)計算機房教學(xué)資源：多媒體網(wǎng)絡(luò)計算機，派Lab平臺，PPT課件，微課教學(xué)過程教學(xué)內(nèi)容及過程時間分配設(shè)計意圖一、創(chuàng)設(shè)情景【教師活動】從圖片或者視頻中估計人體姿勢在各種應(yīng)用中發(fā)揮著關(guān)鍵作用，例如智能體育鍛煉教練、手語識別、手勢控制以及VR相關(guān)的各種體感應(yīng)用。在我們?nèi)粘Ｉ钪?，姿態(tài)檢測可以構(gòu)成瑜伽、舞蹈和健身應(yīng)用的基礎(chǔ)。小派同學(xué)希望可以通過深蹲來鍛煉自己腿部的肌肉力量，但是他害怕不標(biāo)準(zhǔn)的姿勢有害無益。所以在這個項目周，我們將逐步跟小派一起，實現(xiàn)一個深蹲標(biāo)準(zhǔn)與否的檢測器。2分鐘該環(huán)節(jié)通過創(chuàng)設(shè)一個生活中真實存在的情景，讓學(xué)生了解姿態(tài)檢測和人工智能。二、任務(wù)分析【教師活動】小派希望可以通過一個神奇的檢測器檢測自己的深蹲姿勢是否標(biāo)準(zhǔn)，那應(yīng)該如何檢測呢，要用到哪些技術(shù)呢？本項目一共可以分為四個子任務(wù)，任務(wù)1呢，我們先不去探討這里面有什么具體的技術(shù)，先去體驗一下姿態(tài)檢測，看看姿態(tài)檢測檢測的到底是什么。任務(wù)2我們來介紹一下MediaPipe模塊的使用，來了解一下姿態(tài)檢測的流程。任務(wù)3是對任務(wù)2的豐富，我們需要掌握angle（）函數(shù)與cv2AddChineseText()函數(shù)的使用方法。任務(wù)4是對任務(wù)3的拓展，會來體驗一下視頻檢測的檢測流程?！緦W(xué)生活動】小組展開討論各小組發(fā)表自己的任務(wù)分析結(jié)果【教師活動】對各小組的討論結(jié)果進行評價，最后進行小結(jié)，得出最后的任務(wù)分析結(jié)果：子任務(wù)一：姿態(tài)檢測體驗子任務(wù)二：圖片中的運動姿態(tài)檢測子任務(wù)三：圖片深蹲姿勢標(biāo)準(zhǔn)檢測器子任務(wù)四：視頻深蹲姿勢標(biāo)準(zhǔn)檢測器3分鐘該環(huán)節(jié)主要是對本節(jié)課的任務(wù)的一個討論分析，在該過程中，讓每個學(xué)生對接下來要完成的任務(wù)進行分析和討論，讓學(xué)生成為課堂的主體，提高學(xué)生的參與感，提升學(xué)生的自主思考能力。三、新知學(xué)習(xí)任務(wù)一：姿態(tài)檢測體驗【教師活動】本任務(wù)是來通過瀏覽器配置來實現(xiàn)網(wǎng)頁版的姿態(tài)檢測。我們先按照猜拳小游戲項目中，安裝好Chrome瀏覽器的插件WebServerforChrome。我們下載本任務(wù)所需的資料，同學(xué)們打開派Lab中的任務(wù)1，從右邊側(cè)邊欄選擇文件夾圖表，點擊文件夾‘data-sets’,下載“姿態(tài)識別.zip”到本地電腦上.【學(xué)生活動】學(xué)生打開網(wǎng)址，下載資料【教師活動】下載好資料后，需要對谷歌瀏覽器就行配置，我們打開谷歌瀏覽器，輸入：chrome://flags/#unsafely-treat-insecure-origin-as-secure。然后將:8887網(wǎng)址復(fù)制到文本框中，再點擊Disable選項卡，選擇Enable。這一步完成之后，打開WebServer，選擇剛剛解壓的文件夾，通過WebServer打開index.html,網(wǎng)頁加載速度取決于電腦配置，請同學(xué)們耐心等待一下。網(wǎng)頁加載完成后，畫面上有幾個可調(diào)節(jié)的參數(shù)，自拍模式是，打開則對相機或者視頻圖片輸入進行垂直翻轉(zhuǎn)處理。模型復(fù)雜度可選0，1，2.標(biāo)記的準(zhǔn)確性和計算延遲通常會隨著模型的復(fù)雜度增加，默認(rèn)為1。平滑標(biāo)點為過濾不同輸入圖像中的地標(biāo)以減少抖動。開啟畫面分割，如果設(shè)置為true，那么除了姿勢界標(biāo)之外嗎，該解決方案還生成分割掩碼。平滑分割的作用是過濾不同輸入圖像的分割掩碼以減少抖動。最小姿態(tài)檢測置信度為人檢測模型中的最小置信度。最小姿態(tài)跟蹤置信度：跟蹤模型的最小置信度直，設(shè)置為更高的可以提高識別的穩(wěn)定性與準(zhǔn)確性，但是會帶來更高的延遲。如果有同學(xué)的攝像頭不可用，可以選擇下載本任務(wù)提供的demo，并上傳至瀏覽器。同學(xué)可以自己動手操作，然后分享一下自己的感受【學(xué)生活動】學(xué)生通過實訓(xùn)任務(wù)書或者派Lab平臺上的實訓(xùn)指南，自行進行姿態(tài)識別體驗并發(fā)表看法。是姿態(tài)檢測體驗，通過對瀏覽器進行相關(guān)配置，然后調(diào)用已經(jīng)制作好的運動姿態(tài)檢測模型，學(xué)生可自行體驗姿態(tài)檢測，并學(xué)習(xí)相應(yīng)的人工智能基礎(chǔ)知識，例如什么是姿態(tài)檢測、什么是分割掩碼、姿態(tài)檢測的應(yīng)用等知識。15分鐘在該環(huán)節(jié)中，通過讓學(xué)生親身體驗姿態(tài)識別的過程，引發(fā)學(xué)生的興趣任務(wù)二：對圖片中的運動姿態(tài)進行檢測剛剛同學(xué)們已經(jīng)體驗了姿態(tài)識別了。本任務(wù)就開始學(xué)習(xí)姿態(tài)識別中的具體的實現(xiàn)過程了。本任務(wù)的目標(biāo)是了解MediaPipe模塊的使用和姿態(tài)檢測的流程首先我們了解MediaPipe模塊。MediaPipe是一款由GoogleResearch開發(fā)并開源的多媒體機器學(xué)習(xí)模型應(yīng)用框架?；趫D形的跨平臺框架，用于構(gòu)建多模式（視頻，音頻和傳感器）應(yīng)用的機器學(xué)習(xí)管道。??MediaPipe可在移動設(shè)備、工作站和服務(wù)器上跨平臺運行，并支持移動GPU加速。使用MediaPipe，可以將應(yīng)用的機器學(xué)習(xí)管道構(gòu)建為模塊化組件的圖形。??在谷歌，一系列重要產(chǎn)品，如、GoogleLens、ARCore、GoogleHome以及，都已深度整合了MediaPipe，并且還支持TensorFlow和TFLite的推理引擎（InferenceEngine），任何TensorFlow和TFLite的模型都可以在MediaPipe上使用。同時，在移動端和嵌入式平臺，MediaPipe也支持設(shè)備本身的GPU加速。同學(xué)們可以通過!pipinstallmediapipe來安裝MediaPipe。【學(xué)生活動】學(xué)生通過實訓(xùn)任務(wù)書或者派Lab平臺上的實訓(xùn)指南，進行MediaPipe的安裝【教師活動】姿態(tài)檢測模型是已經(jīng)訓(xùn)練好的，由于直接從官網(wǎng)進行模型下載比較緩慢，我們的右邊側(cè)欄中提供了這個模型，我們將模型進行壓縮后到指定位置。然后導(dǎo)入一些本節(jié)所需要的包，cv2用來讀取圖片的，numpy用來做運算，util里面有封裝好的函數(shù)，本任務(wù)的姿態(tài)識別會用到里面的函數(shù)，matplotlib用來查看圖片。我們首先讀取待檢測的圖片，使用的函數(shù)是cv2.imread()函數(shù)，然后進行顯示，由于OpenCV讀取的是BGR順序的圖片，我們先將圖片轉(zhuǎn)換為RGB。使用的是轉(zhuǎn)換函數(shù)“cv2.cvtcolor()”,然后使用“plt.show顯示圖片?！笨梢钥吹綀D片中的人物正在做一個下腰的動作。同學(xué)們先嘗試將這張圖片進行顯示?！緦W(xué)生活動】學(xué)生通過實訓(xùn)任務(wù)書或者派Lab平臺上的實訓(xùn)指南，進行M圖片的展示?！窘處熁顒印拷酉聛?，我們調(diào)用make_image函數(shù)進行姿態(tài)檢測。我們將MediaPipePose的檢測過程放入了make_image函數(shù)，所以在這里我們使用了MediaPipe并繪制姿態(tài)標(biāo)點。在這里，我們只要調(diào)用make_image函數(shù)，輸入一張剛讀取的圖像，該函數(shù)返回的是一張檢測完畢并進行了描點的操作，最后通過plt.imshow函數(shù)進行展示。從這張檢測圖上看出，身體的各個關(guān)鍵點已經(jīng)被檢測出來了，請同學(xué)們自行嘗試【學(xué)生活動】學(xué)生通過實訓(xùn)任務(wù)書或者派Lab平臺上的實訓(xùn)指南，進行圖片中運動姿勢的關(guān)鍵點檢測。20分鐘在該環(huán)節(jié)中，通過演示法向同學(xué)們展示了運動姿勢識別的全過程，然后讓學(xué)生自己實踐，模仿訓(xùn)練，加強學(xué)生的動手操作能力。任務(wù)三：對圖片深蹲姿勢標(biāo)準(zhǔn)檢測器【教師活動】上個任務(wù)，我們檢測了運動的姿勢，可以發(fā)現(xiàn)關(guān)節(jié)與關(guān)節(jié)之間是用線連接起來的，小派在進行深蹲鍛煉的過程中，發(fā)現(xiàn)計算機可以進行判斷是否膝蓋彎曲角度低于90°，并以此來判斷深蹲做的是否標(biāo)準(zhǔn)。首先我們?nèi)匀唤鈮何募⒛Ｐ徒鈮旱剿栉恢?，并把相?yīng)的包導(dǎo)入。同學(xué)們打開派lab中的任務(wù)3，在步驟5中，我們該如何根據(jù)三個坐標(biāo)計算關(guān)節(jié)的角度呢？這里是可以通過調(diào)用angle函數(shù)進行角度計算，這個函數(shù)被封裝在util.py文件中，參數(shù)為三個點的坐標(biāo)，返回的是夾角值。同學(xué)們可以通過，自己設(shè)置三個坐標(biāo)，測試一下?！緦W(xué)生活動】學(xué)生輸入三個測試坐標(biāo)，調(diào)用angle函數(shù)計算夾角?！窘處熁顒印课覀円呀?jīng)知道如何通過angle函數(shù)計算三個坐標(biāo)的夾角；有了這個函數(shù)，我們就可以計算人體關(guān)鍵點之間的夾角了。那如果我想在某張圖片上標(biāo)記上夾角的大小，又該如何實現(xiàn)呢？那這個步驟我們就來學(xué)習(xí)如何給圖片添加上文字。我們?我們通過imread讀取圖片，然后進行顏色通道轉(zhuǎn)換。接下來通過調(diào)用cv2AddChineseText()方法在圖片“1.png”的(250,50)的位置上添加文字"添加文字"，并設(shè)置顏色(0,0,0)即黑色。如果大家想要調(diào)制出更多的顏色，可以訪問網(wǎng)站。接下來，我們來讀取關(guān)節(jié)坐標(biāo)，我們先配置MediaPipe的姿態(tài)識別解決方法，得到標(biāo)記姿態(tài)的結(jié)果后，再讀取所有點的坐標(biāo)，然后再通過索引讀取每個位置的坐標(biāo)，計算膝關(guān)節(jié)彎曲角度需要三個的點的坐標(biāo)，而調(diào)用關(guān)節(jié)點需要用到關(guān)節(jié)點的英文名稱，我們將每個關(guān)節(jié)的英文都放在了步驟7中，大家自行查閱。同學(xué)們現(xiàn)在可以進行步驟6、7的練習(xí)，嘗試給圖片添加文字，計算關(guān)節(jié)坐標(biāo)。【學(xué)生活動】學(xué)生動手實操【教師活動】接下來我們將步驟5.6.7進行合并，大家可以想一下為什么要將計算夾角、給圖片添加文字、計算關(guān)節(jié)坐標(biāo)合并在一個compute函數(shù)內(nèi)。這里呢會涉及到make_image函數(shù)，make_image函數(shù)作用的是標(biāo)記關(guān)節(jié)的。我們現(xiàn)將任務(wù)二中的make_image函數(shù)進行升級，使它可以輸入自定義的一些圖像處理函數(shù)，并在完成姿態(tài)檢測后進行處理。接下來我們進行圖片讀取，并將上一個代碼塊中的compute函數(shù)輸入進make()函數(shù)，這樣就可以在對圖像進行姿態(tài)檢測后，繪制我們自己想加上去的內(nèi)容，比如膝蓋彎曲角度。我們讀取一張1的圖片，將該圖片和compute函數(shù)作為參數(shù)傳入make_image_advance函數(shù)中。?步驟六的文字會默認(rèn)為黑色，但是我們可能會希望如果這個深蹲姿勢是標(biāo)準(zhǔn)的，有一些更醒目的提示，比如說亮綠色。反之，如果是不標(biāo)準(zhǔn)的，我們可能希望有一些提醒色，比如黃色。我們預(yù)設(shè)，膝蓋彎曲角度小于90度，則表示深蹲姿勢是標(biāo)準(zhǔn)的，否則就是不標(biāo)準(zhǔn)的，這一步是拓展問題，同學(xué)們可以根據(jù)步驟9進行嘗試?！绢A(yù)設(shè)】這一步是合并姿態(tài)識別和標(biāo)記關(guān)節(jié)坐標(biāo)，適合基礎(chǔ)不太好的同學(xué)直接調(diào)用?！緦W(xué)生活動】學(xué)生動手實操30分鐘在該環(huán)節(jié)中，教師通過演示、任務(wù)驅(qū)動方法，學(xué)生模仿訓(xùn)練的方式進行姿態(tài)的識別的標(biāo)記，演示法帶領(lǐng)學(xué)生姿態(tài)識別的流程與優(yōu)化，任務(wù)驅(qū)動法引導(dǎo)學(xué)生進行舉一反三，鞏固舊知識，并在練習(xí)中發(fā)展問題，解決問題。任務(wù)四：視頻深蹲姿勢標(biāo)準(zhǔn)檢測器【教師活動】前面的任務(wù)中，我們對是對圖片中的姿態(tài)進行識別的，本任務(wù)是對視頻中的深蹲姿勢進行檢測。全部的流程都是一樣的，大家可以回顧圖片姿態(tài)識別的過程，視頻的姿態(tài)識別也是一樣的，將對圖片的處理轉(zhuǎn)換為對視頻的處理就可以了。同樣的，我們傳入make_video函數(shù)，這是已經(jīng)包裝好的視頻深蹲檢測函數(shù)，這里的make_video函數(shù)是將視頻逐幀讀取，再進行處理的，我們設(shè)置每秒查看一次。然后再把視頻處理函數(shù)進行傳入，視頻處理函數(shù)compute的作用是在圖片上顯示當(dāng)前是第幾秒。操作完成后，我們可以通過側(cè)邊欄的文件夾處下載out.mp4進行查看，在人背后的那面墻右上方添加了黑色數(shù)字。在步驟3中我們學(xué)會了再視頻畫面中添加文字，那么想要把深蹲檢測的信息添加到視頻中，就要重新定義一個更加復(fù)雜的compute函數(shù)，如果同學(xué)們在任務(wù)3想出了更符合自己喜好的操作函數(shù)，也可以直接將這個函數(shù)進行替換。同樣的，也是將動作的標(biāo)準(zhǔn)程度進行不同顏色的標(biāo)注。經(jīng)過剛才的講解，同學(xué)們請結(jié)合實訓(xùn)任務(wù)書，實現(xiàn)將深蹲檢測的信息添加到視頻中?！緦W(xué)生活動】學(xué)生動手實操。到現(xiàn)在為止，體育運動的姿態(tài)檢測項目就完成了，整個過程