主動式實驗課程成績預(yù)警系統(tǒng)及其效果評估

1、    主動式實驗課程成績預(yù)警系統(tǒng)及其效果評估    摘要：針對現(xiàn)有教學(xué)信息系統(tǒng)在學(xué)生課外學(xué)習(xí)主動性促進方面存在的不足，設(shè)計并實現(xiàn)了一種可針對學(xué)生實驗課程成績進行主動式預(yù)警的系統(tǒng)。該系統(tǒng)根據(jù)學(xué)生以往實驗報告及教師批閱信息，利用貝葉斯分類器對學(xué)生實驗課程最終考核成績提前作出預(yù)測并及時發(fā)出預(yù)警，以督促學(xué)生在課外更加主動地學(xué)習(xí)。將該機制應(yīng)用于c程序設(shè)計實驗教學(xué)改革中，結(jié)果表明，該系統(tǒng)能在結(jié)課前有效預(yù)測學(xué)生最終考核成績，且啟用成績預(yù)警后，學(xué)生及格率相比從前提高了12%以上。關(guān)鍵詞：實驗教學(xué)，成績預(yù)警，貝葉斯分類器，互聯(lián)網(wǎng)+基金項目：廣西高等教育改革工程項目（20

2、17jga188）；桂林電子科技大學(xué)java程序設(shè)計院級精品課程項目（c99jwe08sx08）0引言我國高校正進行著新一輪以工程認(rèn)證為動力、持續(xù)推進教學(xué)改革的浪潮。此次改革倡導(dǎo)的obe（outcome-based education）理念已深入人心，其核心是“以學(xué)生為中心”。課程改革是教學(xué)改革的落腳點，而實驗課程又是課程改革的關(guān)鍵一環(huán)。當(dāng)前，在高校壓縮課堂學(xué)時的大趨勢下，實驗課程往往成為學(xué)時壓縮的重點。如何在課堂學(xué)時有限的情況下改善實驗教學(xué)效果，成為實驗教學(xué)改革的重點問題。解決該問題的關(guān)鍵需要回到“以學(xué)生為中心”這一根本原則上，達(dá)到“教為不教，學(xué)為學(xué)會”1。為此，要設(shè)法引導(dǎo)學(xué)生自己愿意學(xué)、主

3、動學(xué)。由于實驗課堂學(xué)時通常有限，因此實驗教學(xué)改革的關(guān)鍵在于課外。以我校c程序設(shè)計實驗為例，該門課程只有16個學(xué)時，學(xué)生很難在這么短的時間內(nèi)掌握程序求解過程中的問題分析、程序編寫、錯誤糾正等基本方法和思路，唯有在課外投入足夠多的時間，方能達(dá)成課程目標(biāo)。為提高學(xué)生課外學(xué)習(xí)的積極性，近年來各高校紛紛推進基于“互聯(lián)網(wǎng)+”的教學(xué)信息系統(tǒng)2-4以及基于信息系統(tǒng)的教學(xué)模式5-10。這些改革舉措主要是從教學(xué)資源共享、師生互動兩個層面上為師生提供便利，使學(xué)生隨時隨地都能進行課外學(xué)習(xí)，并能與任課教師進行交流。這些信息系統(tǒng)確實在一定程度上提高了教學(xué)效率，對提升學(xué)生學(xué)習(xí)興趣起到了一定作用，但這類系統(tǒng)在促進學(xué)生學(xué)習(xí)積極

4、性方面仍然有待改善，主要體現(xiàn)在缺乏對學(xué)生學(xué)習(xí)結(jié)果的預(yù)測，以及建立在結(jié)果預(yù)測上的行為預(yù)警，也即缺乏“目標(biāo)導(dǎo)向”，而這也正是obe理念的關(guān)鍵之一。近年來，國內(nèi)外不少高校積極探索如何對學(xué)生學(xué)業(yè)與課程成績進行預(yù)測，并據(jù)此改善教學(xué)，即“學(xué)習(xí)預(yù)警”。學(xué)習(xí)預(yù)警是指按照一定標(biāo)準(zhǔn)綜合評估學(xué)生的背景信息、學(xué)習(xí)行為、考試成績等因素，按照評估結(jié)果向?qū)W生、教師等發(fā)出提示信號，并及時提供有效且針對性強的干預(yù)建議11。如胡樹煜12介紹了錦州醫(yī)科大學(xué)根據(jù)實踐經(jīng)驗制定的一套符合醫(yī)科學(xué)業(yè)特點的學(xué)業(yè)預(yù)警管理辦法12；韓麗娜13以某班學(xué)生某門課程學(xué)習(xí)信息數(shù)據(jù)為挖掘?qū)ο?，采用貝葉斯分類模型進行成績預(yù)測，準(zhǔn)確率達(dá)到83%；陳子健等14從

5、教育數(shù)據(jù)中挖掘影響在線學(xué)習(xí)者學(xué)業(yè)成績的影響因素，并基于集成學(xué)習(xí)方法構(gòu)建學(xué)業(yè)成績預(yù)測模型；劉毓等15提出基于遺傳神經(jīng)網(wǎng)絡(luò)的預(yù)測模型，利用基礎(chǔ)課程成績預(yù)測目標(biāo)課程成績；yao16從數(shù)千名學(xué)生智能卡中收集縱向行為數(shù)據(jù)，提出3種主要行為判別因素：勤奮、有序和睡眠模式，依據(jù)這3種行為模式進行學(xué)生學(xué)業(yè)成績預(yù)測，建立一個基于學(xué)習(xí)排名算法的多任務(wù)預(yù)測框架，用于學(xué)業(yè)成績預(yù)測。上述關(guān)于學(xué)習(xí)成績預(yù)測的研究主要還是針對學(xué)業(yè)，而非特定課程，且側(cè)重于預(yù)測方法論，鮮有文獻就該預(yù)警行為對教學(xué)效果的影響（實際上是對學(xué)生課外學(xué)習(xí)積極性的影響）進行評估。針對這一問題，本文利用自行開發(fā)且已投入使用多年的實驗教學(xué)信息管理系統(tǒng)收集的學(xué)生

6、課外實驗報告相關(guān)信息，設(shè)計并實現(xiàn)了能夠?qū)嶒炚n程最終成績進行預(yù)測的樸素貝葉斯分類器，在此基礎(chǔ)上實現(xiàn)了一個主動式成績預(yù)警子系統(tǒng)，最后以c程序設(shè)計實驗教學(xué)為例，評估該系統(tǒng)的實際應(yīng)用效果。1基于樸素貝葉斯分類器的成績預(yù)警1.1樸素貝葉斯分類器基本原理樸素貝葉斯分類器17假設(shè)對所有已知類別c（cy，y=ckk=1，2，n），事例所有已知的d個屬性（a1，a2，ad）相互獨立?；谶@一假設(shè)，若已知類先驗概率p（c）、類條件概率p（xi|c）（xi為屬性ai上的取值，即ai=xi），則可根據(jù)事例屬性向量的觀測值x=x1，x2，xd，利用樸素貝葉斯公式預(yù)測該事例所屬類別為：樸素貝葉斯分類器訓(xùn)練過程就是基于訓(xùn)

7、練集d估計p（c）和p（xic）。令dc表示d中類別為c樣本組成的集合，且事例屬性全為離散屬性，考慮dc中未出現(xiàn)ai=xi的情況（這會導(dǎo)致預(yù)測錯誤），則使用拉普拉斯修正后，p（c）和p（xi|c）的估計公式為：式中，表示dc中在ai上取值為c的樣本組成的集合，ni表示ai上取不同值的個數(shù)，|.|表示集合樣本個數(shù)，可見樸素貝葉斯分類器意義明確，通過簡單統(tǒng)計即可得到結(jié)果，因而易與數(shù)據(jù)庫查詢相結(jié)合，相比svm、神經(jīng)網(wǎng)絡(luò)等分類器更容易集成到現(xiàn)有系統(tǒng)。因此，樸素貝葉斯分類器已應(yīng)用于現(xiàn)有教學(xué)信息系統(tǒng)中18-20。1.2成績預(yù)測樸素貝葉斯分類器設(shè)計本節(jié)以程序設(shè)計類實驗課程為例，在本文自行開發(fā)的實驗教學(xué)信息系

8、統(tǒng)所能實現(xiàn)的范圍內(nèi)，討論用于實驗課程最終成績預(yù)測的樸素貝葉斯分類器設(shè)計。在該應(yīng)用背景下，前述事例對應(yīng)的是“學(xué)生學(xué)習(xí)某實驗課程”。要應(yīng)用貝葉斯分類器，須確定類別集y和與y關(guān)聯(lián)的屬性集aii=1，2，d，下面對此作進一步分析。1.2.1類別集與屬性集確定由于高校大多采用ae五級評分制（若為分?jǐn)?shù)，可通過簡單判別轉(zhuǎn)換為五級制）。因此，待預(yù)測的學(xué)生成績類別集y=c1=a，c2=b，c3=c，c4=d，c5=e。如何設(shè)計屬性集（或特征向量）是構(gòu)造成績預(yù)測貝葉斯分類器的關(guān)鍵。這組屬性應(yīng)該是信息系統(tǒng)中可追蹤，且能夠反映學(xué)生課外學(xué)習(xí)積極性的因素。本文對自行開發(fā)的實驗教學(xué)信息管理系統(tǒng)中記錄的信息進行分析，歸納出如

9、表1所示的一組屬性：a1反映學(xué)生提交實驗報告的積極性，a2反映教師對學(xué)生實驗報告的評價，兩個屬性從不同角度反映了學(xué)生課外在這門實驗課上的學(xué)習(xí)積極性。若學(xué)生在a1上表現(xiàn)非常積極，且在a2上也得到較好評價，則說明學(xué)生課外學(xué)習(xí)積極性很高。有a2佐證，可避免a1的片面性，有a1存在，可以防止教師評價主觀性太強帶來的誤差。表1用于實驗課程最終成績預(yù)測的屬性選擇屬性標(biāo)識描述取值范圍a1學(xué)生提交實驗報告的積極性3（非常積極）、2（積極性一般）、1（不太積極）、0（缺交報告）a2教師對學(xué)生實驗報告的評價5（a）、4（b）、3（c）、2（d）、1（e）、0（缺交報告）1.2.2屬性觀察值計算表1中的a2可直接將

10、教師對實驗報告的批改結(jié)果作為觀測值，比較容易計算。這里重點討論a1屬性值計算。在實際信息系統(tǒng)中，a1這類較為模糊的屬性無法直接觀察到，但可通過系統(tǒng)記錄的實驗報告提交時間間接計算得到，即根據(jù)時間信息設(shè)定一種計算規(guī)則，得到相對客觀的計算結(jié)果。本文設(shè)定計算規(guī)則如下：假設(shè)課程規(guī)定學(xué)生總共需提交的實驗報告次數(shù)為m，對于第k（k=1，2，m）次報告，假設(shè)其在所有應(yīng)提交報告中的權(quán)重為，教師布置第k次報告任務(wù)的起止時間分別為tk（start）、tk（end），某學(xué)生第k次實驗報告的提交時間為tk，則其在完成第k次實驗報告過程中的積極性按如下公式計算：式中，days（t1，t2）是指用天數(shù)（精確到小數(shù)點后2位有

11、效數(shù)字）表示的t1、t2兩個時刻的間隔。上述計算的基本思想是將第k次報告提交起止時間根據(jù)需要分為連續(xù)的3段，每一段對應(yīng)一個屬性取值，交作業(yè)時間早代表積極性高。該學(xué)生在屬性a1的取值x1為：假設(shè)學(xué)生在完成第q次實驗后（qm）就想預(yù)測自己本門課的最終成績，則將式中第一個公式修改為：1.2.3樸素貝葉斯分類器訓(xùn)練與測試用于成績預(yù)測的貝葉斯分類器訓(xùn)練目標(biāo)是估計式中的類先驗概率和類條件概率。待估計的類先驗概率有p（ck）（k=1，2，5）共5個；對于a1，待估計的類條件概率有p（x1=nck）（n=0，1，3，k=1，2，5）共20個；對于a2，待估計的類條件概率有p（x2=nck）（n=0，1，5，k

12、=1，2，5）共30個，即：通過對給定數(shù)據(jù)集d的訓(xùn)練，要估計出55個概率值，還要對模型進行評估。本文采用“留一法”劃分訓(xùn)練集和測試集，訓(xùn)練與測試步驟如下：step 1：從數(shù)據(jù)庫中查詢?nèi)我鈊個學(xué)生在選定實驗課（已經(jīng)結(jié)課）上的實驗報告提交及批改記錄、課程最終成績記錄。step 2：將step 1查詢到的d條信息按上述計算規(guī)則轉(zhuǎn)換為訓(xùn)練需要的屬性組類別標(biāo)簽值記錄集d。step 3：使用“留一法”劃分訓(xùn)練集和測試集，即訓(xùn)練和測試次數(shù)共d次，第k（k=1，2，d）次取d中第k個樣例作為測試集，其余d-1個樣例作為訓(xùn)練集，使用公式估計出以上55個量。假設(shè)在d次測試中，有m次預(yù)測正確，則正確率的估計值為m/

13、d。上述模型中的55個估計量可存儲在表格中，預(yù)測時只需查詢表格，以提高預(yù)測速度。同時，程序可每隔一段時間根據(jù)數(shù)據(jù)庫中的新增數(shù)據(jù)更新這些估計量，以提高分類器的泛化性能。1.3成績預(yù)警執(zhí)行流程基于樸素貝葉斯分類器的成績預(yù)測機制可由學(xué)生自己請求觸發(fā)，也可在學(xué)生登錄查看課程相關(guān)信息時，由系統(tǒng)根據(jù)實際情況（如學(xué)生成績可能不及格）自動觸發(fā)。分類器根據(jù)學(xué)生當(dāng)前實驗報告提交情況及批閱成績，預(yù)測其課程最終成績類別，并依據(jù)預(yù)測結(jié)果發(fā)出相應(yīng)學(xué)習(xí)指導(dǎo)信息，該機制工作流程如圖1所示。圖1成績預(yù)警機制工作流程2教學(xué)改革試驗與分析以我校非計算機專業(yè)學(xué)生c程序設(shè)計實驗課程的成績預(yù)測為例，開展相應(yīng)教學(xué)改革試驗，對上述樸素貝葉斯

14、分類器實際性能與基于貝葉斯分類器的成績預(yù)警機制在實驗教學(xué)中的效果分別進行評估。2.1分類器性能評估與分析隨機選取20142017級共20000人（排除重修學(xué)生）在筆者開發(fā)的“實驗教學(xué)信息管理系統(tǒng)”（該系統(tǒng)已投入使用長達(dá)8年）中的實驗報告提交記錄及最終成績記錄，按照上文所述方法和步驟，最終得到容量為20000、帶類別標(biāo)簽的數(shù)據(jù)集d。在d上使用“留一法”進行模型訓(xùn)練與評估，估計器性能評估結(jié)果如表2所示（權(quán)重：wk=0.125）。表2樸素貝葉斯分類器在不同課程進度階段預(yù)測準(zhǔn)確率分析 單位：%q=1q=2q=3q=4q=5q=6q=7q=8=m53.258.369.177.379.783.183.58

15、4.6在表2中，q表示基于前n次實驗數(shù)據(jù)的預(yù)測結(jié)果，q反映課程進度。從該結(jié)果可以看出，當(dāng)q較小時，即課程進度越靠前，預(yù)測越不準(zhǔn)確。因為學(xué)生在課程開始階段可能學(xué)習(xí)不夠認(rèn)真，但在后續(xù)階段端正了學(xué)習(xí)態(tài)度，從而較好地達(dá)成了學(xué)習(xí)目標(biāo)。第3次課程以后，能夠更加準(zhǔn)確地預(yù)測學(xué)生最終成績。因為通過之前的多次觀測，已能夠較好地記錄到學(xué)生課外對于本門課程的學(xué)習(xí)主動性，因此預(yù)測準(zhǔn)確率得到了較大提升。接近課程結(jié)課的幾次實驗估計準(zhǔn)確率則達(dá)到83%以上，且較為接近，說明所依賴的屬性值計算結(jié)果已經(jīng)較為準(zhǔn)確地反映了學(xué)生本門課程的課外學(xué)習(xí)表現(xiàn)。2.2預(yù)警機制對教學(xué)效果影響評估與分析隨機從2018級選課學(xué)生中選取200人，再將20

16、0人隨機分為a、b、c、d共4組（各50人），a組啟用預(yù)警機制，其余3組不啟用預(yù)警機制。4組學(xué)生在結(jié)課時，分別統(tǒng)計本組所有人、排名前10、排名中間20、排名最后20人的最終成績平均值以及各組在a1、a2上的平均值（本組所有人屬性值之和/本組人數(shù)），結(jié)果如表3所示。表3成績預(yù)警對教學(xué)效果影響評估結(jié)果對比表3各組統(tǒng)計結(jié)果，分析可知：（1）啟用成績預(yù)警的分組，c程序設(shè)計實驗課程最終成績平均分比其它組別高9分左右，而及格率比未啟用預(yù)警的組別高出至少12%，說明啟用基于貝葉斯分類器的預(yù)警機制確實在一定程度上提升了教學(xué)效果。（2）不同組別在排名前10平均成績這一項上相差不大，在排名后20平均成績統(tǒng)計項上相

17、差最大，啟用成績預(yù)警的組別比未啟用預(yù)警的組別平均分至少高出13分，說明啟用基于貝葉斯分類器的預(yù)警機制對于成績較差學(xué)生學(xué)習(xí)主動性的提升效果更加明顯。另外，啟用成績預(yù)警機制的組在a1、a2屬性上的均值明顯高于其它組，說明成績預(yù)警機制可有效提高學(xué)生的課外學(xué)習(xí)積極性。3結(jié)論與展望基于實驗教學(xué)信息系統(tǒng)中記錄的學(xué)生實驗報告完成情況，以課程最終成績等級為類別標(biāo)簽，設(shè)計并實現(xiàn)了能夠在結(jié)課前對學(xué)生最終成績進行預(yù)測的樸素貝葉斯分類器，給出該分類器所依賴屬性集的計算法則，并以c程序設(shè)計實驗為例，通過教學(xué)改革實驗，對所設(shè)計分類器的預(yù)測準(zhǔn)確率與基于該分類器預(yù)警機制的教學(xué)效果分別進行評估。結(jié)果表明，本文提出的分類器能夠有

18、效預(yù)測學(xué)生最終成績?；谠摲诸惼鞯念A(yù)警機制能提升學(xué)生課外學(xué)習(xí)積極性，從而能較為顯著地提高課程達(dá)成度。然而，本文的課程預(yù)警功能相對粗放，在精度上仍有提升空間。下一步工作是繼續(xù)提高課程成績預(yù)測準(zhǔn)確率，并探討如何基于更大的教學(xué)數(shù)據(jù)集，使用新方法發(fā)現(xiàn)（如深度學(xué)習(xí)）與課程成績有關(guān)聯(lián)的因素（如先修課程成績），并構(gòu)建更精確的成績預(yù)測模型，提供更精準(zhǔn)的學(xué)習(xí)指導(dǎo)及預(yù)警信息。參考文獻：1李志義.“水課”與“金課”之我見j.中國大學(xué)教學(xué)，2018（12）：24-29.2謝敏.“互聯(lián)網(wǎng)+教育”背景下的教學(xué)智慧研究d.長春：吉林大學(xué)，2016.3楊曉，施於人，王國超.“互聯(lián)網(wǎng)+實驗教學(xué)”的建設(shè)問題研究j.現(xiàn)代教育技術(shù)，

19、2016（7）：106-112.4wang z, chen c, guo b, et al. internet plus in chinaj. it professional, 2016, 18（3）: 5-8.5孫丹丹，史曉東.基于“微實驗”的翻轉(zhuǎn)課堂教學(xué)模式探索j.實驗技術(shù)與管理，2019，36（3）：56-58.6華馳，顧曉燕.“互聯(lián)網(wǎng)+”背景下的實驗實訓(xùn)教學(xué)體系設(shè)計j.實驗技術(shù)與管理，2016（3）：172-176.7周沖.基于“互聯(lián)網(wǎng)+”的混合式教學(xué)分析j.陰山學(xué)刊（自然科學(xué)版），2017（2）：1-3.8李松，劉秀琴.“互聯(lián)網(wǎng)+”大學(xué)物理實驗教學(xué)體系構(gòu)建j.實驗技術(shù)與管理，2017（1）：172-174.9劉駿飛.淺談互聯(lián)網(wǎng)+背景下的課堂教學(xué)改革j.赤峰學(xué)院學(xué)報：自然科學(xué)版，2016（5）：243-244.10王竹立，李小玉，林津.智能手機與“互聯(lián)網(wǎng)+”課堂信息技術(shù)與教學(xué)整合的新思維、新路徑j(luò).遠(yuǎn)程教育雜志，2015（4）：14-21.11macfadyen l p, dawson s. mining lms data to develop an “early warning system”for educators: a proof of conceptj. computers and education, 2010