基于機(jī)器學(xué)習(xí)技術(shù)分析課堂提問的認(rèn)知水平

1、基于機(jī)器學(xué)習(xí)技術(shù)分析課堂提問的認(rèn)知水平摘要提問被廣泛認(rèn)為是一種有效的教學(xué)策略，在教師與學(xué)生的相互交流之間存在著各種用途。在教育實(shí)踐中，教師對課堂提問的分析具有特殊的效益。本文通過分析將老師的問題按照布魯姆的分類自動(dòng)分類到不同的認(rèn)知水平的有效性，從而探討了機(jī)器學(xué)習(xí)技術(shù)有效性。更具體地說，本文利用三種最有效的機(jī)器學(xué)習(xí)的分類技術(shù)：K-最近鄰，貝葉斯和支持向量機(jī)的三種方法。這樣，一個(gè)數(shù)據(jù)集的問題經(jīng)過收集和分類，并且按照布魯斯分類。經(jīng)過預(yù)處理步驟應(yīng)用到一個(gè)適合于機(jī)器學(xué)習(xí)技術(shù)問題。使用這個(gè)數(shù)據(jù)集，三種機(jī)器學(xué)習(xí)技術(shù)的性能就被評估。結(jié)果表明，K最近鄰和貝葉斯性能相媲美，向量機(jī)在F1和精度性能優(yōu)越。此外，結(jié)果還

2、表明，機(jī)器學(xué)習(xí)技術(shù)對于代表問題的特征的數(shù)量顯示出不同程度的敏感性問題。1.引言在教育領(lǐng)域，提問被廣泛認(rèn)為是一種有效的教學(xué)策略。它是師生互動(dòng)的主導(dǎo)模式，占總互動(dòng)的近80%。自蘇格拉底時(shí)代，提問被用來鼓勵(lì)學(xué)生使用更高層次的思維過程。目前，教師每天問多達(dá)300到400個(gè)問題，所以提問仍然是最經(jīng)常使用的教師教學(xué)干預(yù)手段。鑒于教師課堂提問對教學(xué)的重要性，對這些問題的分析已被廣泛研究。一些研究人員發(fā)現(xiàn)開發(fā)出一套可以分類問題的分類集會(huì)對教學(xué)很有幫助。現(xiàn)在已經(jīng)有了許多分類系統(tǒng)，其中大部分是完全由認(rèn)知過程所需的回答問題的類別的基礎(chǔ)上進(jìn)行分類的。這些系統(tǒng)包括在不論語境分類問題的背景下數(shù)量有限的一般類別，而其他分類

3、系統(tǒng)開發(fā)了一個(gè)特定的課程，如一個(gè)對由美術(shù)教師提出的問題進(jìn)行分類的系統(tǒng)。布魯斯分類是最突出的問題分類系統(tǒng)的代表，它是由本杰明.布魯斯提出，在他的努力，把思想行為分類成三個(gè)領(lǐng)域：認(rèn)知（精神技能），情感（情感或情感領(lǐng)域的增長）和運(yùn)動(dòng)（手動(dòng)或物理技能）。認(rèn)知領(lǐng)域因其在中學(xué)和中學(xué)后教育的適用性受到重視。在認(rèn)知領(lǐng)域，布魯斯確定了六個(gè)不同的學(xué)習(xí)層次，并且根據(jù)層次結(jié)構(gòu)進(jìn)行了組織。認(rèn)知方面的六大類如下：知識：注重記憶，識別信息；理解：專注于組織思想、信息的解釋和翻譯；應(yīng)用：重點(diǎn)利用細(xì)節(jié)和原則解決問題；分析：專注于尋找潛在的組織和一個(gè)整體的劃分；合成：專注于一個(gè)想法組合，以形成新的東西，創(chuàng)造一些獨(dú)特的無論是口頭上

4、或身體上；評價(jià)：專注于對問題作出判斷，解決差距或分歧。在教學(xué)實(shí)踐中，問題的有效使用依賴于教師的能力，由老師決定他提問問題的布魯斯認(rèn)知水平（BCL）。不幸的是，對教師提問的研究已經(jīng)表明，這種技能通常是不太有效的。在這些研究中，它已經(jīng)表明，教師在各級教育往往問需要記憶的問題，很少問需要反思的問題。這可以歸因于缺乏提問的分類。因此，為了提高教師的提問能力，基于BCL來分析他們提出的問題是至關(guān)重要的。這樣的分析結(jié)果，可以用于教師專業(yè)發(fā)展和評估教師的水平，也可以幫助師生互動(dòng)。為了更好的教學(xué)和學(xué)習(xí)，分析教師的提問至關(guān)重要，本文提出了一種嘗試，利用多種機(jī)器學(xué)習(xí)技術(shù)，將這個(gè)過程自動(dòng)化?？紤]到教育機(jī)構(gòu)的電子學(xué)習(xí)

5、系統(tǒng)的迅速普及，這個(gè)過程的自動(dòng)化是很有吸引力的。從這些系統(tǒng)中產(chǎn)生的大量的數(shù)據(jù)，使得手動(dòng)管理它非常困難，因此，機(jī)器學(xué)習(xí)的技術(shù)是來操縱它們是非常有前途的手段。本文的其余部分組織如下。第2節(jié)評論有關(guān)的作品。3節(jié)是利用ML自動(dòng)分類問題概述。第4節(jié)介紹了所獲得的結(jié)果，第5節(jié)進(jìn)行討論。第6節(jié)是為結(jié)論。2相關(guān)作品在教育的文獻(xiàn)中，教師課堂提問的研究受到了很大的關(guān)注，因?yàn)樗鼈兲峁┝艘粋€(gè)信息來源，可以用來研究教學(xué)的各個(gè)方面。因此，文學(xué)作品的研究主要集中于對教師提出的問題的用途分析。例如，分析教師的問題已被用來研究教師的提問方式，是用來培養(yǎng)學(xué)生的技能和批判性思維，而不是在學(xué)習(xí)和回憶。也已被用來研究教師的問題對學(xué)生行

6、為的影響。從計(jì)算的角度來看，將問題自動(dòng)按照BCL分類可以定義為按照問題的內(nèi)容自動(dòng)匹配到某一個(gè)確定的布魯斯認(rèn)知水平。顯然，這項(xiàng)任務(wù)可以被看作是文本分類的一種特殊形式。也就是說，與典型的文本分類問題相比，它具有特定領(lǐng)域的特點(diǎn)。更具體地說，在一個(gè)典型的文本分類問題中，每一個(gè)文檔都包含幾百個(gè)單詞，然而，在問題分類中，每一個(gè)問題通常包含不到50個(gè)單詞，從而引起了一個(gè)不足。問題的缺乏，預(yù)計(jì)將影響機(jī)器學(xué)習(xí)技術(shù)性能。在文獻(xiàn)中，很少有作品被報(bào)道。在人工神經(jīng)網(wǎng)絡(luò)，即反向傳播神經(jīng)網(wǎng)絡(luò)，分類問題轉(zhuǎn)化為三個(gè)難度級別，簡單，中等，和困難。此外，查詢文本的相關(guān)性的五維特征向量，平均詞頻，問題和答案的長度，詞頻分布，文本中的

7、問題和答案的分布作為輸入到BP神經(jīng)網(wǎng)絡(luò)。結(jié)果計(jì)算得到F1值是近78%。在決策樹中，根據(jù)決策樹的困難，構(gòu)建了一個(gè)自動(dòng)分類的電子學(xué)習(xí)考試庫。因此，電子學(xué)習(xí)系統(tǒng)可以是根據(jù)個(gè)人背景適合于每個(gè)學(xué)習(xí)者選擇問題。設(shè)計(jì)了一種針對特定關(guān)鍵詞問題的自動(dòng)分類器設(shè)計(jì)。問題分類是一個(gè)有趣的工作。在這項(xiàng)工作中，一個(gè)適應(yīng)性強(qiáng)的學(xué)習(xí)輔助工具，用于管理問題銀行的問題，到預(yù)定義的類進(jìn)行分類，并正確檢索的問題，通過指定的類和/或難度級別。這些作品的一個(gè)共同的方面是，他們根據(jù)難度分級的問題。3. 方法論一般而言，目前的文本分類的趨勢主要是密集的使用機(jī)器學(xué)習(xí)技術(shù)。理想的用機(jī)器學(xué)習(xí)技術(shù)設(shè)計(jì)文本分類系統(tǒng)需要四個(gè)主要步驟：文本表示，特征選擇

8、，分類建設(shè)和分類測試。在文本表示步驟中，使用文本表示方法將文本映射到適于后續(xù)步驟的緊湊表示中。在特征選擇步驟中，原始集的特征子集由特征的選擇方法選擇。在分類器的構(gòu)造步驟中，機(jī)器學(xué)習(xí)分類器通過對人工分類下的一組文本的特征觀察自動(dòng)創(chuàng)建。在分類器的測試步驟，通過搜集到一個(gè)新的未知的文字來測試分類器的性能。因?yàn)閱栴}分類是文本分類的一個(gè)實(shí)例，這些步驟也適用。下面的小節(jié)描述使用ML解決問題分類問題轉(zhuǎn)化為線性的四個(gè)步驟。3.1. 問題描述基本上，問題文本不能直接用機(jī)器學(xué)習(xí)技術(shù)解釋，因此，利用轉(zhuǎn)換程序映射一個(gè)問題Qi文本到緊湊的表示，其內(nèi)容需要統(tǒng)一適用。代表一個(gè)問題Qi的常見的方法是作一個(gè)特征權(quán)重<W1

9、jWtj>矢量，這不是一組特征（有時(shí)稱為特征）出現(xiàn)在至少一個(gè)問題至少發(fā)生一次，0<wj<1表示特征T對問題Q的貢獻(xiàn)率。權(quán)重可以是二進(jìn)制權(quán)重（1表示存在0表示特征不存在）；或基于非二進(jìn)制的分類器構(gòu)造算法。非二進(jìn)制重量最常見的形式，使用標(biāo)準(zhǔn)的TFIDF函數(shù)，其定義為在ITr|表示在訓(xùn)練集的數(shù)量問題，#(TK,QJ)表示發(fā)生在QJ的Tk次數(shù)，#TR(TK)是指特征Tk的頻率，也就是TK在問題中的發(fā)生次數(shù)。為了應(yīng)用上述表示,一個(gè)預(yù)處理的問題，應(yīng)適用于包括：減少問題文本來減少字符。標(biāo)點(diǎn)符號的去除：所有類型的標(biāo)點(diǎn)符號從問題中刪除。標(biāo)記：令牌是一個(gè)極大的非空白字符序列。在這個(gè)過程中，純粹的

10、數(shù)字令牌被丟棄。分析：令牌被波特詞干分析器分析。一個(gè)問題的文本預(yù)處理后，特征加權(quán)按方程1計(jì)算，長度歸一化應(yīng)用如下帶新特征的權(quán)重的向量被輸入到隨后的步驟。3.2. 特征選擇給定一個(gè)特征集包含一組訓(xùn)練集的問題的所有特征，特征的選擇是從原始特征集選，這樣的一個(gè)只有最具代表性的特征子集。一個(gè)計(jì)算更簡單的選擇方法根據(jù)一個(gè)函數(shù)接收的最高得分選擇一個(gè)子集的特征，例如，檢索詞頻率(TF)，這衡量一個(gè)特征對分類任務(wù)的重要性。3.3. 分類器構(gòu)造在分類器構(gòu)造步驟中，一般的歸納過程會(huì)通過觀察一組文本的特征自動(dòng)生成一個(gè)分類的一個(gè)給定的組Ci,稱為訓(xùn)練集，手動(dòng)分類為Ci或?qū)＜疫M(jìn)行分類Ci。從這些看出，歸納的過程，一個(gè)新

11、的未知的文本應(yīng)收集的特點(diǎn)有分類Ci。對于大多數(shù)機(jī)器學(xué)習(xí)的技術(shù)，這一步可以通過使用一個(gè)目前可用的工具。3.4. 分類評價(jià)機(jī)器學(xué)習(xí)分類器對一類線性分類的有效性可以通過一些措施進(jìn)行評價(jià)。這些措施的計(jì)算基本上取決于所獲得的應(yīng)急表。應(yīng)急表主要包括以下值A(chǔ):系統(tǒng)按照布魯斯分類正確分類的問題數(shù)目。B:系統(tǒng)按照布魯斯分類錯(cuò)誤分類的問題數(shù)目。C:屬類但系統(tǒng)沒有正確布魯斯分類的數(shù)目。D:系統(tǒng)正確的沒有分配到BCLS的問題數(shù)量。以下是用于評估機(jī)器學(xué)習(xí)分類性能的常用的措施。精度（P）：如果一個(gè)隨機(jī)問題被分類在Ci下，這個(gè)決定是正確的。它可以被看作是分類器的“穩(wěn)健程度”的相對于類。公式是P=A（3）B召回（R）：如果一

12、個(gè)隨機(jī)的問題應(yīng)該被分類到Ci下，這項(xiàng)定是采取。它可以被看作是相對于該類的分類的程度的完整性。公式是R=-（4）ACF0測量：這是一次召回和精度的諧波平均值，對于0=1,如下F_2RP1R+P準(zhǔn)確性（ACC）：個(gè)分類的準(zhǔn)確性+的定義如下A-D/+占+E7+萬除了這些對分類器的措施，分類的有效性可以通過宏觀平均值（所有類未加權(quán)平均效率）和微觀平均值（從每類列聯(lián)表的總和計(jì)算的有效性）進(jìn)行評估。4. 實(shí)驗(yàn)結(jié)果本節(jié)介紹了從一系列的實(shí)驗(yàn)中獲得的結(jié)果。以此進(jìn)行評估不同的機(jī)器學(xué)習(xí)技術(shù)的性能。此外，從被認(rèn)為是作為一個(gè)基線的以規(guī)則為基礎(chǔ)的方法。在所有的機(jī)器學(xué)習(xí)技術(shù)實(shí)驗(yàn)中，基于TF的特征選擇方法已經(jīng)使用。更確切地說

13、，每種機(jī)器學(xué)習(xí)技術(shù)基于TF的選擇已經(jīng)嘗試了不同數(shù)量。在每一個(gè)實(shí)驗(yàn)中，所選擇的特征被用來在第3.1節(jié)所描述的問題表示。結(jié)果已在隨后的部分中，但在對這些結(jié)果的描述之前，問題數(shù)據(jù)集的簡要說明已經(jīng)給出。4.1.問題集在Najran大學(xué)在一些課程講座收集了一系列的問題。問題已通過手動(dòng)與教育專家來對每一個(gè)問題分配一個(gè)合適的類。問題的子集是隨機(jī)選擇的，選擇的問題是均勻分布在線性約束下的（即每個(gè)bcl100例）。所收集的數(shù)據(jù)集已被處理為在第4.1節(jié)中所述，并分為訓(xùn)練集（70%的數(shù)據(jù)集）和測試集（30%的數(shù)據(jù)集）。訓(xùn)練集和測試集的大小分別為420和180。表1顯示了其問題樣本。表1:問題數(shù)據(jù)集實(shí)例BCL問題實(shí)例

14、知識（Kn）確定計(jì)算機(jī)的標(biāo)準(zhǔn)組件理解（Co）詳細(xì)描述圖形應(yīng)用（Ap）計(jì)算圓面積分析（An）將瀑布模型與原型模型進(jìn)行比較。合成（Sy）開發(fā)基于活動(dòng)的網(wǎng)絡(luò)評價(jià)（Ev）對給定數(shù)據(jù)的不同圖形表示的有效性進(jìn)行評估4.2.基于規(guī)則的方法基于規(guī)則的方法是上世界八十年代最為流行的自動(dòng)分類方法，以規(guī)則為基礎(chǔ)的方法的問題分類通常由一組手動(dòng)定義的邏輯規(guī)則。每個(gè)規(guī)則是一個(gè)分離的條款對于一個(gè)給定的BCL包含一組預(yù)定義特征的條件。一個(gè)給定的問題是，當(dāng)且僅當(dāng)它滿足一定的BCL分類下的規(guī)則，即，當(dāng)且僅當(dāng)它滿足至少一個(gè)在其條款。使用規(guī)則為基礎(chǔ)的問題分類方法的結(jié)果顯示在表2。表2:基于規(guī)則的方法的性能BCLAcc?FlKji0.

15、7&30.466Co0.8610.627Ap心4Ari0.850.509SyEv0.8560.552Macro-Av0-830.544Micro-Av0.8280.5234.3.k-近鄰從這一系列的實(shí)驗(yàn)中得到的結(jié)果示于表3。宏觀平均值和微觀平均值F1結(jié)果表明KNN獲得最佳的性能時(shí)，用于問題表示特征的TF>5。KNN的結(jié)果與基于規(guī)則的方法的結(jié)果比較，證實(shí)了ML技術(shù)對問題分類的有效性。表3：K近鄰性能BCLTF>1TF>2TF>3TFE4Ac:F】AccFiAccFiAccFiAccFiKn0.8720.531C.S830.604Ol?QOD.66"Q.S

16、M0.66Q.S890.66Co0.9280.7720.9330.786019170期0,9170.7170l9】l0.733ApQ.S610.4190.&工Q.4S9Ol87S0.500d.B720.439Cl辭20.51LAn0.92S0.7450.7201922MS0.960.S73a弼i0>6SSy0.S8905650衛(wèi)工Q.51L019060.6670.R舛0.627a?0.717Ey0.S940.6420.900Q.6790l?2.20.500.9：0.7&4O.R?40.612Maera-Av0.S950.6120.眈0.64DOl?Q0.674Q.90S0

17、.610則0.6S5Micro-AvQ.S950.622O.R98Q.65D01斷0.6S20.9080.6S20則0.6S9BCL7F>67F>7TF>TF工9T¥>10AceFiAccFiAccFiAccFiA£CFiKnQ.S440.5630.&44Q.60J720.4SI0.7610.4S20.7610.4S2Co0.9110.867Q.53S0.S6"0.5560.RG0.5560.R5OOJ09Ap0.856Q.45S0.K610.49D0.&0.292Q.S2S0.311Q.R390.326An0.9330.7

18、690.939QJ760.S890.524Q.R720.465ClS720.439Sy0.9110.7140.6940.67R0.8330.444Q.K220.407Q.S2S0.392EyQ.S440.4170.瞅0.4550.8330.167Q.B22Q.ILL0L8170.108Macro-AvQ.S83Q.6DD詢903910.S340.411d.B290.3S9Q.S280.376Micro-Av0.SS3Q.6D40.辭90.5970.S340.42SQ.K290.413Q.S2S0.400表4：NB的性能BCLTF>TF>j>47F>5A-ctFiAceF

19、iActF|ArcF,AccFiKn0.8780.450邛0.5000.S610L4680.8670.5QQ就0.553CoQJ110.704D.91I0.7420.900D.7IQ0.8890.66as8J0.656Ap0.86103590.894i.5Q.S940L55SQ.S7S0.450as70.176An。脈0.7230.956<1.8520.961D.S730.961Q.S6S0.956<1,852Sy0.8890.524D.90D0.640Q.S940.642Q.9110.692019110.692Ev19170.6gl0.9220.720Q.933D77S0.933

20、0.7780.9060.679Macro-Av0.8970.57j0.91D0.669Q9HD.671Q.9060.6590.9030.651Micfd-Ay0.8970.5&7Q.91D0.6S0Q航D.6320.9D60.671Q.90j0.660BCLFF>6>77T>S此gTF>10AteFiAceFiActFiArcF,AccFiKn0.K940.612Q.S830.5710.K44013640.8500.3720.S440.263CoO.S720.596Q.S720.5S20.&56015190.S610.545a貼60.536ApQ.87S

21、0.421Q.S830.462Q.S56012780.8560.2QlS560278AnQJ44O.SQ&0.95D0.S240.9110l6360,9】10.6360.9060.605Sy0.K940.642D.SM0.627Q甜I0.4440.S440.364dS2&0.205Ev0.8670.455Q.S830匚Q遼ai58Q.8I70.1OSQlSl7OJOSMacro-Av。驅(qū)Q.SM0.596Q瀕014000.856Q.3S4a0J32Micro-Av0.8920.601Q.SW0.604QMS0l4H0.8560.402低0J534.4. 樸素貝葉斯樸素貝葉斯是一

22、種有效的概率分類方法，已應(yīng)用于文本分類中。它的基本思想是詞和類的聯(lián)合概率的來估計(jì)給定問題的類的概率。樸素貝葉斯方法是最早用于文本分類的分類器算法，是一種統(tǒng)計(jì)學(xué)分類方法，它基于貝葉斯決策論并且基于此項(xiàng)獨(dú)立的假設(shè)，不同屬性對分類結(jié)果的影響是獨(dú)立的。從這一系列的實(shí)驗(yàn)中得到的結(jié)果示于表4。結(jié)果表明，在貝葉斯方法中F1的表現(xiàn)最好時(shí)，用于問題表示特征的TF>3是。他們還表明，對于ACC，NB獲得最佳的性能時(shí)，用于問題表示特征的TF>2。此外，NB的結(jié)果與KNN的結(jié)果比較，無論所選擇的特征的數(shù)目如何，這兩種方法顯示了相差不多的性能。4.5. 支持向量機(jī)支持向量機(jī)是Vapnik等提出的一種新的學(xué)習(xí)

23、方法，它是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無錯(cuò)誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力。支持向量機(jī)的最大特點(diǎn)是根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則，以最大化分類間隔構(gòu)造最優(yōu)分類超平面來提高學(xué)習(xí)機(jī)的泛化能力較好地解決了高維數(shù)、非線性、局部極小點(diǎn)等問題，在訓(xùn)練樣本數(shù)目相對較少的情況下也能取得很好的分類效果對于分類問題，支持向量機(jī)算法根據(jù)區(qū)域中的樣本計(jì)算該區(qū)域的決策曲面，由此確定該區(qū)域中未知樣本的類別。所得到的結(jié)果示于表5。表5：支持向量機(jī)的性能TF>3>化47F>5ActFi

24、AfFiAccFiAccFiAccFiKr.O.S«7a4780.8780.5600.SS3D.5SS儷gD.478am0.627Co0.939Q側(cè)二QMQ.?2S0.755DJS40.667APQ.WD.90D0.57L0.8K9a彌DJ68OL昭90.545An0.956a8460.9610.S680670.S890.956D.S4619500.SZ4sy0.9000.9280.7350.9220.7310期DM119170706Ey0.9170.6670.9280.7230.922QJOS0.9Q6D.6670L9Q50.622Macro-AyW7a辺0.9230.711呵90

25、.6990.9160,622Q卿0.665Micro-Av0.9070.6380.9230.7P0.91907070.916D.638OL剜0.669BCLTF>77f>8化9TF>10AccFiAccF,ArcF,AccFiAccFiKn0.9110.6920.8940.6420.S61D.46S0.85DD.47118500J72CoQ6150.SS30.6040.872誠0.85DD.491US720徳Ap0.S7S04500.8780.4500.8670,ij30.861D2S618500JS2Ar.0.9500.S240.9330.7300.9220.6%儷3D4S2am04S2S)0.922017200.9060.6530.900D.5250.8670.45518330286Ev0.872陽砧0.8440.2630.8KD.D570.81/D.05708220.000Macro-Ay0.9040.8900.5600.8730,4400.85503701852QJI4Micro-Ay0.9040.6390.89003770,873D.4870.855DJS9Q椚20J44結(jié)果表明，對于ACC和F1特征，當(dāng)TF>2時(shí)，SVM的性能最好。另一個(gè)結(jié)論是，支持向