技術(shù)報(bào)告智能課堂監(jiān)控與分析系統(tǒng)

1、計(jì)劃類別 項(xiàng)目編號(hào) 項(xiàng)目技術(shù)報(bào)告課題名稱 項(xiàng)目主持人 承擔(dān)單位 題目：智能課堂監(jiān)控與分析系統(tǒng)為解決傳統(tǒng)監(jiān)控系統(tǒng)耗時(shí)長(zhǎng)，效率低，可靠性差等問題，本文基于人工智能技術(shù)，對(duì)傳統(tǒng)監(jiān)控系統(tǒng)進(jìn)行改進(jìn)提升，設(shè)計(jì)一個(gè)智能課堂監(jiān)控與分析系統(tǒng)。該系統(tǒng)綜合使用Java編程技術(shù)、圖像視頻處理技術(shù)、機(jī)器學(xué)習(xí)技術(shù)，對(duì)學(xué)生在課堂上的行為表現(xiàn)進(jìn)行智能地識(shí)別與分析，實(shí)現(xiàn)從人工監(jiān)控到智能監(jiān)控的轉(zhuǎn)變，從而大幅提升課堂質(zhì)量管控。關(guān)鍵詞：智能課堂；視頻監(jiān)控；人工智能1 引言（Introduction）課堂監(jiān)控系統(tǒng)是記錄和重現(xiàn)課堂教學(xué)的重要工具1，是一種采用跟蹤技術(shù)來記錄課堂教學(xué)活動(dòng)的系統(tǒng)。智能課堂監(jiān)控與分析系統(tǒng)的創(chuàng)建，是為了更好的提高

2、學(xué)校對(duì)課堂教學(xué)質(zhì)量的管控的重要舉措，而傳統(tǒng)課堂監(jiān)控系統(tǒng)一般由人工監(jiān)控，用于實(shí)時(shí)監(jiān)視課堂教學(xué)情況與突發(fā)事件，無法有效的對(duì)課堂教學(xué)質(zhì)量進(jìn)行評(píng)估。智能課堂監(jiān)控與分析系統(tǒng)以其全新的“主動(dòng)監(jiān)控”模式，從根本上解決了傳統(tǒng)課堂監(jiān)控系統(tǒng)的完全依賴人工監(jiān)控的局限性，大幅提升了課堂監(jiān)控系統(tǒng)的工作效率，節(jié)省了人力資源。通過監(jiān)控視頻中的圖像進(jìn)行自動(dòng)智能分析來對(duì)監(jiān)控進(jìn)行識(shí)別，分類，在此基礎(chǔ)上來分析判斷，從而完成日常管理，做出反饋。2 智能課堂監(jiān)控現(xiàn)狀（Intelligent classroommonitoring）據(jù)調(diào)查顯示，很多高校的課堂監(jiān)控還停留在手工統(tǒng)計(jì)數(shù)據(jù)、手工計(jì)算分析數(shù)據(jù)的層次上，缺乏實(shí)效性的反饋。當(dāng)前很多發(fā)

3、達(dá)國(guó)家高校也建立了相對(duì)完善的課堂監(jiān)控系統(tǒng)，對(duì)課堂教學(xué)活動(dòng)進(jìn)行了深入研究。例如：澳大利亞昆士蘭大學(xué)（The University of Queensland）課堂監(jiān)控系統(tǒng)是對(duì)教師教學(xué)進(jìn)行監(jiān)督，由教學(xué)委員會(huì)進(jìn)行綜合加工、整理評(píng)價(jià)，并對(duì)教師進(jìn)行相應(yīng)指導(dǎo)；美國(guó)耶魯大學(xué)（Yale University）課堂監(jiān)控以考察學(xué)校教學(xué)目標(biāo)、計(jì)劃、大綱、學(xué)生管理等工作，由第三方鑒定機(jī)構(gòu)進(jìn)行考評(píng)；英國(guó)的圣安德魯斯大學(xué)（University of St Andrews）課堂監(jiān)控主要側(cè)重教學(xué)過程，全過程、全方位、全員性監(jiān)控評(píng)估，即教師質(zhì)量監(jiān)控評(píng)估，學(xué)生質(zhì)量監(jiān)控評(píng)估，教學(xué)效果監(jiān)控評(píng)估等2。當(dāng)然，國(guó)內(nèi)高校也有課堂監(jiān)控體系，但

4、以人工為主，對(duì)于數(shù)據(jù)采集統(tǒng)計(jì)，往往消耗數(shù)據(jù)處理時(shí)間，失去時(shí)效性，降低教學(xué)監(jiān)控效果。例如：蘇州市職業(yè)大學(xué)課堂監(jiān)控系統(tǒng)是對(duì)教師行為、學(xué)生行為、教學(xué)特色等內(nèi)容進(jìn)行監(jiān)控分析，只是重點(diǎn)分析課堂教學(xué)，對(duì)教師監(jiān)控、對(duì)板書監(jiān)控、對(duì)多媒體教學(xué)進(jìn)行監(jiān)控、對(duì)學(xué)生活動(dòng)監(jiān)控，但是只能監(jiān)控而已并不能形成智能的分析系統(tǒng)，會(huì)造成評(píng)價(jià)的偏差1；無錫職業(yè)技術(shù)學(xué)院課堂監(jiān)控系統(tǒng)只是對(duì)“學(xué)生信息反饋”“聽評(píng)課反饋”“課堂考勤”等主要功能模塊進(jìn)行整合，實(shí)現(xiàn)了教學(xué)信息實(shí)時(shí)采集、實(shí)時(shí)反饋，動(dòng)態(tài)數(shù)據(jù)智能匯總，同樣也無法做出智能的評(píng)定3；山東技師學(xué)院課堂監(jiān)控系統(tǒng)是通過校園網(wǎng)對(duì)教學(xué)樓課堂實(shí)行有效地監(jiān)控，能夠根據(jù)需要對(duì)存儲(chǔ)圖像時(shí)間進(jìn)行設(shè)定，實(shí)現(xiàn)實(shí)時(shí)

5、錄像、錄像存放、回放、錄像檢索等管理。通過設(shè)計(jì)，輔導(dǎo)員可以不受時(shí)間空間的限制，方便的使用手機(jī)、電腦等終端設(shè)備對(duì)自己所帶班級(jí)進(jìn)行遠(yuǎn)程的紀(jì)律和學(xué)習(xí)督導(dǎo)4。但是實(shí)現(xiàn)對(duì)課堂信息的提取、基礎(chǔ)數(shù)據(jù)的匯總需要人員增添，統(tǒng)計(jì)分析可比性不強(qiáng)，沒有實(shí)現(xiàn)實(shí)時(shí)監(jiān)控1。2.1 傳統(tǒng)視頻監(jiān)控系統(tǒng)的不足目前視頻監(jiān)控已經(jīng)普遍存在，但往往并沒有充分發(fā)揮它實(shí)時(shí)主動(dòng)監(jiān)督的作用?，F(xiàn)存的大部分視頻監(jiān)控系統(tǒng)一般都是通過兩種方法運(yùn)用監(jiān)控的結(jié)果：（1）將攝像機(jī)的拍攝的視頻記錄下來，當(dāng)突發(fā)異常事件之時(shí)，才通過回放所保存的視頻，觀察所發(fā)生的事實(shí)。但是，這時(shí)往往為時(shí)已晚，不利于進(jìn)行預(yù)防和調(diào)整。（2）把多個(gè)視頻監(jiān)控畫面集中到一個(gè)監(jiān)控室內(nèi)，通過監(jiān)控室

6、內(nèi)數(shù)十個(gè)顯示器同時(shí)顯示各個(gè)場(chǎng)景畫面，以供監(jiān)控人員觀看。當(dāng)監(jiān)控人員通過顯示畫而發(fā)現(xiàn)某些異常時(shí)，人工通知相關(guān)人員前去處理。但是，據(jù)調(diào)查顯示，每小時(shí)一個(gè)人能集中注意力的時(shí)間低于20分鐘，另外由于攝像頭較多，往往每個(gè)顯示器都是輪流顯示多個(gè)攝像頭的畫面。因此，通常監(jiān)控人員平均觀看每個(gè)攝像頭的時(shí)間低于每小時(shí)5分鐘，無法有效地進(jìn)行管理5。龐大的視頻數(shù)據(jù)量，由人工實(shí)時(shí)監(jiān)控，所花費(fèi)的代價(jià)是驚人的，效率是非常低下的。總之，裝備帶有一定智能的視頻監(jiān)控系統(tǒng)已經(jīng)是很多行業(yè)的迫切要求。2.2 智能視頻監(jiān)控系統(tǒng)的定義及其優(yōu)點(diǎn)智能視頻監(jiān)控就是在不需要人工干預(yù)情況下，利用計(jì)算機(jī)視覺、數(shù)字圖像處理和視頻圖像分析的方法，對(duì)攝像機(jī)拍

7、攝的視頻圖像序列進(jìn)行自動(dòng)分析，實(shí)現(xiàn)系統(tǒng)對(duì)場(chǎng)景中的舉動(dòng)進(jìn)行識(shí)別判斷。智能視頻監(jiān)控系統(tǒng)和傳統(tǒng)的視頻監(jiān)控系統(tǒng)比較，具有很多的優(yōu)點(diǎn)：（1）無限監(jiān)控。智能視頻監(jiān)控系統(tǒng)能對(duì)所監(jiān)控的畫面進(jìn)行一天24小時(shí)無止息的監(jiān)控，并自動(dòng)分析，提高事件分析的效率并及時(shí)反饋，可及時(shí)查看。（2）提升準(zhǔn)度。智能視頻監(jiān)控系統(tǒng)可以借助強(qiáng)大的視頻處理、分析模塊，能有效地降低漏查和誤查概率。總之，智能化一直是計(jì)算機(jī)視覺的熱點(diǎn)研究問題之一，也是時(shí)代發(fā)展的必然。建設(shè)“智慧課堂”是提升教學(xué)質(zhì)量的新支點(diǎn)和新動(dòng)力，隨著人工智能技術(shù)的迅猛發(fā)展，傳統(tǒng)視頻監(jiān)控系統(tǒng)與人工智能的結(jié)合是大勢(shì)所趨，因此發(fā)展課堂智能監(jiān)控技術(shù)也勢(shì)在必行。傳統(tǒng)課堂監(jiān)控系統(tǒng)由于海量視

8、頻數(shù)據(jù)在人力監(jiān)控資源上的局限性，這種“被動(dòng)式，忽略式”的視頻監(jiān)控模式難以滿足當(dāng)今學(xué)校對(duì)教學(xué)的管控服務(wù)。本文旨在設(shè)計(jì)一個(gè)智能課堂監(jiān)控與分析系統(tǒng)，以建設(shè)高效課堂為中心，利用最新的圖像視頻處理與機(jī)器學(xué)習(xí)技術(shù)對(duì)學(xué)生在課堂上的行為表現(xiàn)進(jìn)行智能地識(shí)別與分析，讓監(jiān)控智能化，讓課堂智慧化。3 智能課堂監(jiān)控與分析系統(tǒng)設(shè)計(jì)（Design of intelligentclassroom monitoring and analysis system）3.1 系統(tǒng)方案總括現(xiàn)如今，教室里安裝的視頻監(jiān)控除了對(duì)課堂教學(xué)情況進(jìn)行監(jiān)控與記錄以外，并不能對(duì)其進(jìn)行有效地分析，在反饋整合上沒有實(shí)現(xiàn)智能化。本文設(shè)計(jì)的智能課堂監(jiān)控與分析系

9、統(tǒng)是一個(gè)結(jié)構(gòu)嚴(yán)謹(jǐn)，時(shí)效性強(qiáng)的系統(tǒng)6，其方案流程為：教室攝像頭定時(shí)截取課堂學(xué)生行為照片并傳入系統(tǒng)后臺(tái)，系統(tǒng)按照以時(shí)間命名的文件夾將其提取、存檔，通過樣本訓(xùn)練的方式得到符合的構(gòu)造方式，智能地對(duì)圖像進(jìn)行自動(dòng)識(shí)別分析，從而對(duì)數(shù)據(jù)進(jìn)行整合，得出一張課堂反饋表，減少人力長(zhǎng)時(shí)間監(jiān)控疲勞的弊端，有助于數(shù)字化校園的建設(shè)與發(fā)展，能有效的提高學(xué)校對(duì)課堂教學(xué)質(zhì)量的管控，推動(dòng)“智慧課堂”的發(fā)展。設(shè)計(jì)了如圖1所示的結(jié)構(gòu)圖。3.2 軟件結(jié)構(gòu)設(shè)計(jì)及功能簡(jiǎn)介系統(tǒng)軟件采用數(shù)據(jù)庫(kù)作為管理系統(tǒng)的后臺(tái)，采用Java開發(fā)工具軟件作為數(shù)據(jù)操作的前臺(tái)，是用戶和計(jì)算機(jī)交流的人-機(jī)接口管理軟件7。按照智能課堂監(jiān)控與分析系統(tǒng)的架構(gòu)，設(shè)計(jì)了如圖2所

10、示的功能模塊。由圖可知，智能課堂監(jiān)控與分析系統(tǒng)是依托監(jiān)控系統(tǒng)對(duì)學(xué)生在課堂上課行為表現(xiàn)（如睡覺、玩手機(jī)、認(rèn)真聽課等）的海量數(shù)據(jù)的采集，通過課堂行為動(dòng)作識(shí)別模塊中的機(jī)器學(xué)習(xí)的方法對(duì)采集的圖像進(jìn)行智能的識(shí)別與分類，并在此基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行智能的評(píng)估，實(shí)時(shí)數(shù)字化反饋學(xué)生課堂行為，不受時(shí)間空間的限制，提高信息整合能力。（1）課堂行為監(jiān)控模塊實(shí)時(shí)監(jiān)控是對(duì)學(xué)生課堂行為的一個(gè)提醒，能夠起到一個(gè)督促的作用。教學(xué)檢查中教務(wù)處、系部檢查人員可以不受地點(diǎn)限制地完成對(duì)課堂的檢查，完成對(duì)課堂狀況的判斷，可以更加如實(shí)掌握學(xué)生的課堂表現(xiàn)，對(duì)學(xué)生和學(xué)校都能有促進(jìn)作用。（2）課堂行為動(dòng)作識(shí)別模塊作為系統(tǒng)的核心模塊，該模塊顯得尤為重

11、要。通常所說的圖像識(shí)別，是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解，以識(shí)別各種不同模式的目標(biāo)和對(duì)象的技術(shù)。但是在實(shí)際行為圖像處理過程中，經(jīng)常會(huì)出現(xiàn)奇怪現(xiàn)象，如端正坐姿的睡覺、遮擋性的玩手機(jī)等行為都對(duì)系統(tǒng)識(shí)別有很大的影響，圖像與現(xiàn)實(shí)所出現(xiàn)的差異也在所難免，通過海量原型的比對(duì)，從而得出較為正確可靠的信息資源。實(shí)現(xiàn)課堂行為識(shí)別的方法多樣，我們選擇的是基于人工智能行為識(shí)別的條件下利用Python進(jìn)行深度學(xué)習(xí)設(shè)計(jì)、開發(fā)，封裝圖像數(shù)據(jù)庫(kù)，對(duì)其進(jìn)行檢測(cè)分析，判斷學(xué)生課堂的行為舉動(dòng)，通過機(jī)器學(xué)習(xí)的方法能有效地做出反饋，改進(jìn)學(xué)校管理學(xué)生的模式，提升學(xué)校的教學(xué)質(zhì)量。借助計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理功能，反饋出各個(gè)班級(jí)學(xué)生的

12、上課狀態(tài)、上課風(fēng)貌，快速分析識(shí)別更準(zhǔn)確地得出數(shù)據(jù)結(jié)論，使得圖像信息數(shù)字化，從而可以更方便地理解判斷。（3）智能評(píng)價(jià)模塊將一節(jié)課45分鐘分為三段（每15分鐘一段），每一段進(jìn)行單獨(dú)評(píng)分。設(shè)定各個(gè)時(shí)段聽課效率占比大于75%為優(yōu)秀，占比大于50%小于75%的為良好，占比小于50%的為聽課效率較差的狀況（聽課效率=認(rèn)真聽課的人數(shù)/班級(jí)總?cè)藬?shù)）。最后依據(jù)分段評(píng)分情況，按照一時(shí)段前15分鐘占比三成，二時(shí)段中間15分鐘占比四成，三時(shí)段末15分鐘占比三成的評(píng)分標(biāo)準(zhǔn)累加完成對(duì)各班該節(jié)課最后得分的評(píng)估（設(shè)一時(shí)段、二時(shí)段、三時(shí)段聽課率分別為X1、X2、X3，則最后評(píng)分=X3*30%+X2*40%+X3*30%）。學(xué)校

13、可以基于分析結(jié)果在后期的探討中給予各個(gè)班教學(xué)更中肯的評(píng)價(jià)，也可以以此作為評(píng)優(yōu)的考核標(biāo)準(zhǔn)。本文重點(diǎn)是將人工智能技術(shù)應(yīng)用于智能課堂監(jiān)控與分析系統(tǒng)中，該系統(tǒng)源于計(jì)算機(jī)視覺，融合了圖像處理技術(shù)，模式識(shí)別等技術(shù)，這些技術(shù)已經(jīng)越來越受到外界的關(guān)注。同時(shí)，利用已有的教室監(jiān)控資源，降低成本，發(fā)揮團(tuán)隊(duì)和師資的強(qiáng)大力量去努力實(shí)現(xiàn)教育教學(xué)的可視化管理。4 實(shí)現(xiàn)效果（Achieved results）4.1 系統(tǒng)主界面當(dāng)用戶啟動(dòng)軟件后，進(jìn)入智能課堂監(jiān)控與分析系統(tǒng)主界面，主界面設(shè)置了四個(gè)窗口（實(shí)時(shí)監(jiān)控、信息管理、數(shù)據(jù)查詢、設(shè)置），可以根據(jù)不同的需求開啟不同的窗口，如圖3所示。4.2 實(shí)時(shí)監(jiān)控軟件對(duì)攝像頭所監(jiān)控的數(shù)據(jù)進(jìn)行

14、同步傳輸，直接成像進(jìn)入系統(tǒng)，可以隨時(shí)了解各班學(xué)生課堂表現(xiàn)，從而可以及時(shí)的做出提醒和改進(jìn)，如圖4所示。4.3 自動(dòng)截圖與分類軟件對(duì)該攝像頭下產(chǎn)生的數(shù)據(jù)進(jìn)行分類并自動(dòng)截圖保存至本地，系統(tǒng)可以根據(jù)圖片顯示進(jìn)行管理，也可方便有據(jù)查看課堂行為，如圖5所示。4.4 數(shù)據(jù)查詢用戶可以選擇性地對(duì)各個(gè)年級(jí)、各個(gè)專業(yè)、各個(gè)班級(jí)進(jìn)行課堂行為表現(xiàn)查詢，依據(jù)自由選擇導(dǎo)出各班的課堂結(jié)果分析，如圖7所示。5 結(jié)論（Conclusion）課堂教學(xué)是素質(zhì)教育的主要陣地，是教師和學(xué)生教與學(xué)活動(dòng)相互的直接表現(xiàn)。課堂行為動(dòng)作監(jiān)控可以全方位跟蹤學(xué)生學(xué)習(xí)，本文智能課堂監(jiān)控與分析系統(tǒng)充分結(jié)合了智能識(shí)別技術(shù)、計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)，為教學(xué)質(zhì)量提供真實(shí)有效的依據(jù)。本文所涉及的人工智能機(jī)器識(shí)別中的行為識(shí)別作為當(dāng)下最熱門的技術(shù)之一，應(yīng)用層面廣博。本文的研究和設(shè)計(jì)成果可以為各個(gè)高校課堂學(xué)生行為管理提供有益的借鑒和參考。但是行為識(shí)別程序在實(shí)際應(yīng)用時(shí)，識(shí)別準(zhǔn)確率還有待提高，需要進(jìn)一步研究完善。參考文獻(xiàn)（References）1 樊凌，戴雯惠，唐寅.基于智能跟蹤的課堂教學(xué)監(jiān)控系統(tǒng)的探索與研究C.International Conference on Education Technology & Training，2010.2 黃健榮.梧州學(xué)院課堂教學(xué)質(zhì)量監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)D.電子科技大學(xué)，2013.3 徐金鳳，張路遙