MOOC學習結(jié)果預(yù)測指標探索與學習群體特征分析_1

1、    mooc學習結(jié)果預(yù)測指標探索與學習群體特征分析    摘要：高輟學率與低參與度是mooc面臨的一個主要問題。根據(jù)學習結(jié)果預(yù)測，及時開展有效的教學干預(yù)是改善此問題的途徑之一。當前基于mooc學習行為數(shù)據(jù)進行結(jié)果預(yù)測主要以次數(shù)分析為主，較少探索其他行為指標；在預(yù)測算法上以回歸分析為主，缺少不同預(yù)測算法效果的比較分析。以edx平臺上一門mooc課程的學習行為數(shù)據(jù)為研究對象進行的探索研究發(fā)現(xiàn)：學習結(jié)果預(yù)測的主要參照行為指標組合為視頻學習次數(shù)、文本學習次數(shù)、評價參與時長、評價參與次數(shù)和論壇主題發(fā)起數(shù)；學習次數(shù)的預(yù)測效果要好于學習時長，并與學習時長和學習次數(shù)

2、結(jié)合后的預(yù)測效果接近；bp神經(jīng)網(wǎng)絡(luò)預(yù)測準確率要優(yōu)于決策樹和樸素貝葉斯網(wǎng)絡(luò)，且預(yù)測準確率與樣本數(shù)量呈正相關(guān)；而在課程學習模塊的預(yù)測比較上，評價模塊和文本模塊的學習行為數(shù)據(jù)預(yù)測率較高，互動模塊預(yù)測率最低。研究還發(fā)現(xiàn)，mooc學習群體包含三類，分別是以視頻學習和學習評價為主、以互動交流為輔的學習群體；以視頻學習和文本學習為主、以評價參與為輔的學習群體，以及以文本學習和學習評價為主、以互動交流為輔的學習群體。關(guān)鍵詞：mooc，學習行為數(shù)據(jù)，學習結(jié)果預(yù)測，預(yù)測指標，學習群體特征一、研究緣起當前國內(nèi)外越來越多的高校參與mooc課程建設(shè)并發(fā)布各自的特色課程，學習者在課程內(nèi)容上有了更多的選擇權(quán)，但高輟學率和低

3、參與度仍是當前mooc課程所面臨的一個主要問題（hew et al.，2014）。而基于學習者前期和中期的課程學習行為數(shù)據(jù)進行學習結(jié)果預(yù)測，并依據(jù)分析結(jié)果調(diào)整教學策略和教學內(nèi)容以開展有效的教學干預(yù)，可以改善學習參與度和學習結(jié)果。與此同時，學習分析研究已經(jīng)由初期的理論探討逐步走向?qū)嵺`探索和成果轉(zhuǎn)化。在學習分析研究中，基于學習行為數(shù)據(jù)進行學習結(jié)果預(yù)測是學習分析和教育數(shù)據(jù)挖掘研究學術(shù)群體中關(guān)注的一項重要議題（liñán et al.，2015）。而在數(shù)據(jù)的選擇上，學習分析研究正從關(guān)注大數(shù)據(jù)轉(zhuǎn)向有意義數(shù)據(jù)的探索（merceron et al.，2016）。如何抓取到學習活動信息流中

4、的關(guān)鍵行為數(shù)據(jù)并解析出學習者的個性學習行為特征是今后研究中要解決的一個問題（u.s. department of education，2015）。mooc廣泛的學習參與群體和多樣化的學習行為數(shù)據(jù)使其成為學習分析研究的一個重要對象。如何基于mooc學習行為數(shù)據(jù)有效預(yù)測學生的學習結(jié)果，并依據(jù)學習群體特征提供差異化的學習服務(wù)以改善學習參與度成為亟待解決的問題。本研究基于edx平臺的一門mooc課程學習行為數(shù)據(jù)，探索能夠有效預(yù)測學習結(jié)果的數(shù)據(jù)類型和行為指標，并分析學生的群體學習特征，為學習結(jié)果預(yù)測分析和教學干預(yù)提供指導和參照。二、文獻綜述國內(nèi)關(guān)于mooc學習行為研究主要集中在學習行為影響因素分析、基于

5、學習行為數(shù)據(jù)分析學習效果、學習成績預(yù)測、學習行為評價等方面。比較有代表性的研究有：賈積有等以coursera平臺上的6門北京大學mooc課程學習行為數(shù)據(jù)為分析對象，探索在線時間、觀看視頻和網(wǎng)頁次數(shù)、瀏覽和下載講義次數(shù)、論壇發(fā)帖數(shù)與學習成績之間的關(guān)系（賈積有等，2014）。李曼麗等以“學堂在線”平臺的“電路原理”課程數(shù)據(jù)為基礎(chǔ)，對mooc學習者的課程學習動機、課程參與度、課程注冊時間與課程完成度等進行分析（李曼麗等，2015）。郝巧龍等用clementine構(gòu)建mooc成績預(yù)測，并依托智慧樹平臺“數(shù)據(jù)結(jié)構(gòu)”課程的行為數(shù)據(jù)通過回歸分析驗證模型的有效性（郝巧龍等，2016）。國外關(guān)于mooc學習行為

6、的研究包括mooc學習成敗和保留率的影響因素分析、學習動機和學習行為對mooc完成度的影響、學習表現(xiàn)預(yù)測研究、學習情境在mooc學習中的重要性分析等。如：laxmisha rai等從學習者角色、個人支持和人為干預(yù)、高困難度和自我動機、學習環(huán)境、職業(yè)需求、教師和學校聲望、實時反饋等方面分析了mooc學習成敗的因素（rai et al.，2016）。bart pursel等基于mooc學習者的人口學數(shù)據(jù)、學習行為和課程互動數(shù)據(jù)，采用邏輯斯回歸分析探索這些數(shù)據(jù)變量如何表征課程完成度（pursel et al.，2016）。paula barba等以coursera平臺上的“宏觀經(jīng)濟學”課程學習者為研

7、究對象，分析以個人興趣、掌握方法目標與應(yīng)用價值為主的學習動機和以視頻點擊與測評提交數(shù)為測量方式的學習參與在學習表現(xiàn)預(yù)測上的重要性（barba et al.，2016）。在學習者參與mooc學習的數(shù)量變化上，研究表明第一周課程教學之后，學習者參與的數(shù)量會急劇下降（hill，2013），因此suhang jiang等研究者以學習者第一周的mooc課程作業(yè)表現(xiàn)和社交互動數(shù)據(jù)為分析對象，并使用邏輯斯回歸作為分類器，預(yù)測學習者獲得課程證書的概率（jiang et al.，2014）。從國內(nèi)外已有研究可以看出，研究者已經(jīng)基于mooc常見的學習行為數(shù)據(jù)進行學習成效分析，探索課程學習成敗的內(nèi)在和外在因素，并對

8、學習者最終學習表現(xiàn)進行預(yù)測。然而，在數(shù)據(jù)分析和預(yù)測上還存在以下幾方面的不足：（1）學習行為數(shù)據(jù)中以次數(shù)分析為主，應(yīng)用時間分析較少，兩者之間未統(tǒng)一在一個學習分析層面上，對于各自的預(yù)測效果還尚不清晰；（2）在預(yù)測算法上以回歸分析為主，而采用機器學習模式的預(yù)測方法較少，且缺少不同預(yù)測算法效果的比較分析；（3）對有效預(yù)測學習結(jié)果的行為指標探索較少，學習行為數(shù)據(jù)較多，需要找到反映學習結(jié)果的關(guān)鍵行為指標為學習分析提供參照。針對上述問題，本研究以mooc課程學習模塊為分類依據(jù)，以學習行為數(shù)據(jù)指標為中心，探索學習時長和學習次數(shù)的預(yù)測效果、課程學習模塊的預(yù)測效果、有效學習結(jié)果預(yù)測指標的提取及其計算方程、學習者的

9、群體學習行為特征等內(nèi)容，試圖為基于mooc的學習行為分析和教學設(shè)計提供有益的啟示。三、研究設(shè)計1.研究問題當前mooc平臺能夠記錄學習者的鼠標點擊流數(shù)據(jù)，而在這些數(shù)據(jù)中時長和次數(shù)是兩項重要的數(shù)據(jù)類型。基于學習過程行為數(shù)據(jù)探索能夠反映學習結(jié)果的有效數(shù)據(jù)類型，分析指標和群體行為特征有助于開展針對性的學習干預(yù)，改善學習者參與度并降低輟學率。因此，本研究的問題包括以下三方面：（1）在學習行為數(shù)據(jù)中，學習時長和學習次數(shù)統(tǒng)計哪種方式更能較為準確地預(yù)測學習結(jié)果？哪類課程學習模塊數(shù)據(jù)預(yù)測效果較好？（2）各類學習行為數(shù)據(jù)與學習結(jié)果有怎樣的相關(guān)性？哪些行為指標能夠較好地預(yù)測學習結(jié)果？基于有效學習指標如何得出可計算

10、的學習結(jié)果預(yù)測計算方程？（3）在課程內(nèi)容學習上，學習者可以分為哪幾類學習群體？這些群體表現(xiàn)出怎樣的學習行為特征？2.研究樣本與方法研究選取edx上的一門mooc課程“introduction to engineering and engineering mathematics”為研究對象。該課程是由university of texas at arlington大學工程學院pranesh b. aswath教授發(fā)起，由alan bowling、panos shiakolas、william e. dillon、r. stephen gibbs等研究者參與講授的一門工程類基礎(chǔ)專業(yè)課程。該課程于2

11、015年5月12號在edx平臺上線發(fā)布，并于同年8月10號結(jié)束授課，課程持續(xù)14周。該課程的設(shè)計目標是為高中學生和大學新生提供工程領(lǐng)域的梗概，以幫助他們在工程學上決策自己的職業(yè)生涯。課程授課語言是英語，免費向世界范圍內(nèi)學習者開放。課程成績評價方式包括每周練習測驗（占總成績40%）、課后作業(yè)（占總成績40%）、綜合期末考試（占總成績20%）。練習測驗主要是選擇題，由系統(tǒng)平臺自動評閱打分，課后作業(yè)和綜合期末作業(yè)由同伴互評和教師評閱打分確定。在課程數(shù)據(jù)的使用權(quán)上，已獲得university of texas at arlington機構(gòu)審核委員會（institutional review board

12、，irb）的使用批準和課程負責人授權(quán)，準許使用剔除學生個人信息的數(shù)據(jù)。在數(shù)據(jù)選取上，研究基于edx平臺上記錄的鼠標點擊流數(shù)據(jù)抽取與行為分析指標有關(guān)的時長和次數(shù)統(tǒng)計數(shù)據(jù)。由于平臺上涵蓋微視頻、文本學習材料、互動論壇、學習評價等學習模塊和材料，因此學習者的行為活動數(shù)據(jù)也涉及上述學習活動模塊。而在學習行為數(shù)據(jù)上除時長和次數(shù)等較為常見數(shù)據(jù)外，還有倍速播放、跳幀觀看、停留軌跡等信息。這些數(shù)據(jù)是學習者為獲取所需知識和理解內(nèi)容產(chǎn)生的附屬行為，反映的是學習風格和學習偏好行為特征，其對學習結(jié)果是否產(chǎn)生普遍影響尚不確定。此外，這些數(shù)據(jù)在量化計算上缺少統(tǒng)一標準，因此暫不納入預(yù)測分析指標中。綜上所述，提取的學習行為指

13、標包括視頻學習時長（vd）、視頻學習次數(shù)（vf）、文本學習時長（td）、文本學習次數(shù)（tf）、互動參與時長（id）、互動參與次數(shù)（if）、評價參與時長（ed）、評價參與次數(shù)（ef）、論壇發(fā)帖數(shù)（pc）、主題發(fā)起數(shù)（tc）、回復數(shù)（rc）、點贊數(shù)（vf）等。在數(shù)據(jù)預(yù)處理上，研究者對學習時長設(shè)定一個閾值，即超過該閾值的被認定為離開學習任務(wù)，處于非學習狀態(tài)。設(shè)定該值的原因是考慮到學習者在網(wǎng)絡(luò)學習中的認知行為習慣，即在某一具體知識點中通常不會較長時間一直停留不動，而學習時間較長可能是由于學習者離開學習任務(wù)進行其他網(wǎng)絡(luò)活動以及學習者關(guān)掉瀏覽器但未注銷賬號造成。在時間閾值設(shè)定和估計上，grabe和sigl

14、er使用多種啟發(fā)式探索進行時間估計，所有超過3分鐘的學習行為時間將被替換成2分鐘，在選擇題的操作行為時間上最高設(shè)定為90秒，每一個模塊最后活動時間被估計成60秒（grabe et al.，2002）。ryan baker將超過80秒的活動時間認定為脫離活動行為時間（baker，2007）。vitomir kovanovic等通過對不同時間估計進行對比分析，認為短時間的時間估計和閾值設(shè)定對分析結(jié)果并沒有產(chǎn)生顯著影響，反而會對長時間學習者的活動行為分析進行干擾，進而影響分析結(jié)果；通過實際對比分析發(fā)現(xiàn)將單周模塊時間估計閾值設(shè)定為1800秒可以在不影響分析結(jié)果的前提下盡可能還原學習者的行為狀態(tài)，發(fā)現(xiàn)學

15、習者之間的行為差異（kovanovi et al.，2015）。因此，本研究將每周模塊學習行為時間閾值設(shè)定為1800秒，超過該時間的學習活動時間將被替換。在有效數(shù)據(jù)的提取上，研究采用兩種方式采集數(shù)據(jù)樣本：一是選取實際參與學習模塊的學習者行為數(shù)據(jù)，剔除在各項學習活動中數(shù)據(jù)均為0的樣本，最終獲得8804條大樣本數(shù)據(jù)；二是選取各個學習模塊中均有學習者參與活動的數(shù)據(jù)樣本，獲得1631條小樣本數(shù)據(jù)。通過大小樣本數(shù)據(jù)的分析，比較不同預(yù)測算法的準確率。在研究方法上，分別采用預(yù)測分類算法、屬性選擇、多元回歸分析和聚類方法對數(shù)據(jù)進行分析。其中預(yù)測分類算法用于分析學習時長和學習次數(shù)在學習結(jié)果上的預(yù)測準確率；屬性選

16、擇用于選取能夠預(yù)測學習結(jié)果的有效學習行為分析指標；多元回歸分析用于計算有效學習行為指標與學習結(jié)果之間的回歸系數(shù)；聚類分析用于探索學習者的群體行為特征。在研究工具上，選擇機器學習分析工具weka，采用有監(jiān)督學習方式對數(shù)據(jù)集進行預(yù)測分析；spss對數(shù)據(jù)樣本進行顯著性差異分析和多元回歸分析。3.研究過程整個研究過程包括以下6步：（1）采用r工具對edx平臺上記錄的原始數(shù)據(jù)進行格式化，并提取不同學習模塊中的學習時長、學習次數(shù)和論壇互動數(shù)。（2）對每周課程內(nèi)容的學習時長進行處理，超過設(shè)定閾值的樣本數(shù)據(jù)將被替換成1800秒，最后統(tǒng)計學習者的學習時長總和。（3）選擇決策樹、樸素貝葉斯網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)等三種

17、具有代表性的預(yù)測分類算法，比較學習時長和學習次數(shù)在學習結(jié)果預(yù)測上的準確率，并分析不同預(yù)測分類算法的效果；在此基礎(chǔ)上分析不同學習模塊在學習結(jié)果預(yù)測上的效果。（4）采用屬性選擇，分析不同學習行為分析指標在學習結(jié)果預(yù)測上的權(quán)重順序以及準確預(yù)測學習結(jié)果的有效指標組合。（5）采用多元回歸分析有效學習結(jié)果預(yù)測指標的回歸系數(shù)，并生成學習結(jié)果預(yù)測計算方程。（6）采用聚類方法分析學習行為的群體特征，探索不同群組學生的學習表現(xiàn)和行為特征。四、研究結(jié)果分析1.學習時長與學習次數(shù)的預(yù)測比較如前所述，學習時長和學習次數(shù)是mooc學習行為活動中的兩種主要數(shù)據(jù)類型，本部分主要分析哪種數(shù)據(jù)類型更能有效預(yù)測學習結(jié)果以及不同預(yù)測

18、分類算法的預(yù)測效果。在學習結(jié)果的評判上，由于預(yù)測分析算法是以標稱型屬性作為預(yù)測的類別變量，因此這里以學習者是否獲得課程證書作為最終成績判定。在樣本均值的差異比較上，因時長數(shù)值遠高于次數(shù)值，故這里不作兩種類型指標的顯著性差異分析。為了了解不同數(shù)據(jù)類型獨立和綜合預(yù)測效果，在分析學習時長和次數(shù)的預(yù)測準確率時，對所有行為指標進行分析以作為參照，預(yù)測評估策略選擇十折交叉驗證，分析結(jié)果見表1。預(yù)測準確率的誤差通過均方根誤差值（root mean squared error，rmse）來評判。該值通過樣本離散程度來反映預(yù)測的精密度，其值越小表示測量精度越高。在預(yù)測準確率上，大樣本預(yù)測值要高于小樣本預(yù)測值，說

19、明預(yù)測準確率與樣本數(shù)量呈正相關(guān)，各指標的rmse值介于0.07400.1608，測量精度較高。在數(shù)據(jù)類型的預(yù)測準確度上，學習次數(shù)的預(yù)測效果要好于學習時長，特別是在小樣本分析條件下，平均預(yù)測準確率較高，且rmse值較低。學習時長和學習次數(shù)的整體預(yù)測效果與學習次數(shù)較為接近。在預(yù)測分析算法的比較上，盡管小樣本分析條件下樸素貝葉斯網(wǎng)絡(luò)在學習時長的預(yù)測準確率要高于決策樹，但整體而言bp神經(jīng)網(wǎng)絡(luò)預(yù)測準確率最高，決策樹的預(yù)測效果要好于樸素貝葉斯網(wǎng)絡(luò)。2.課程學習模塊的預(yù)測比較分析mooc教學設(shè)計者為學習者提供了不同類型的學習材料和支持服務(wù)。為了了解不同學習模塊在學習結(jié)果預(yù)測上的效果，研究按學習者參與的活動模

20、塊劃分學習行為數(shù)據(jù)。由于不同模塊中涵蓋的指標類型數(shù)據(jù)一樣，因此在進行預(yù)測分析之前需要檢驗各模塊樣本數(shù)據(jù)之間是否存在顯著性差異。通過對大樣本的均值統(tǒng)計分析可知，各模塊均值由高到低排序為文本、視頻、評價和互動，而小樣本均值排序為文本、評價、視頻和互動。在顯著性差異比較上，采用相依樣本t檢驗對不同樣本量下的模塊變量進行分析，結(jié)果見表2。在大樣本分析情境下，各模塊變量差異的95%置信區(qū)間未包含0這個數(shù)值，應(yīng)拒絕虛無假設(shè)h1：1=2，接受對立假設(shè)h0：12，且顯著性檢驗概率值p<0.05，表示模塊之間有顯著性差異存在。在小樣本分析情境下，文本模塊和評價模塊的置信區(qū)間涵蓋0，顯著性檢驗概率值p=0.110>0.05，表示兩者之間無顯著性差異存在。整體而言，除小樣本中的文本和評價模塊無顯著性差異之外，各模塊變量均有顯著性差異，適合對其進行學習結(jié)果預(yù)測分析。在預(yù)測算法選擇上，由于bp神經(jīng)網(wǎng)絡(luò)算法的學習速度較慢且訓練失敗的可能性較大，基于前面比較分析結(jié)果采用決策樹作為預(yù)測分析算法，分析結(jié)果見表3。在整體預(yù)測準確率上，大樣本要高于小樣本數(shù)據(jù)，這一結(jié)果與前面分析一致。