數(shù)據(jù)驅(qū)動的小學語文句式測評工具研究-以三余閱讀APP為依托

數(shù)據(jù)驅(qū)動的小學語文句式測評工具研究* 以三余閱讀APP為依托摘要：隨著大數(shù)據(jù)和人工智能等技術(shù)的快速發(fā)展，數(shù)據(jù)驅(qū)動的學習診斷與能力測評成為教育領(lǐng)域的研究熱點。針對小學生句式測評忽視閱讀、寫作等實際運用場景的現(xiàn)狀，文章以自然語言理解技術(shù)中的句式語料庫構(gòu)建和句式自動識別算法為技術(shù)基礎(chǔ)，設(shè)計了數(shù)據(jù)驅(qū)動的小學語文句式測評工具。之后，文章以三余閱讀APP為依托,實現(xiàn)了此工具的數(shù)據(jù)采集、智能分析與診斷、結(jié)果可視化呈現(xiàn)等三大功能。最后，文章通過算法實驗驗證了此工具對句式的識別基本達到了預(yù)期的效果，并通過可用性調(diào)查發(fā)現(xiàn)此工具的接受度較高。文章設(shè)計的數(shù)據(jù)驅(qū)動的小學語文句式測評工具可對小學生的語文句式掌握情況進行智能測評，不僅彌補了低頻次、規(guī)范化測試的缺陷，而且為語文知識與能力的動態(tài)、持續(xù)測評提供了理論和實踐支持。關(guān)鍵詞：數(shù)據(jù)驅(qū)動；句式測評；小學語文；測評工具；三余閱讀APP隨著大數(shù)據(jù)、人工智能等新技術(shù)的飛速發(fā)展，智慧學習環(huán)境不斷優(yōu)化，學習過程中生成的各類數(shù)據(jù)信息被存儲記錄，這為智能化學習評價提供了新的契機［I基于數(shù)據(jù)對學生的學習情況進行分析，進而對學生的能力和素養(yǎng)加以診斷測量，正成為相關(guān)領(lǐng)域探討的熱點［2］。在語言學中，句子是能夠表達一個相對完整意思的語言單位，恰當?shù)厥褂镁涫娇蓪⒉煌恼Z義信息連接起來組成更大的語言單位［3］。在語文學習中，句式是提高小學生閱讀理解能力與寫作能力的重要前提和基礎(chǔ)，現(xiàn)行的義務(wù)教育語文課程標準也對中小學生的句式習得提出了具體要求?；诖?，運用新興技術(shù)對小學生的句式掌握水平進行動態(tài)的個性化測評研究便提上了日程。本研究嘗試運用自然語言理解技術(shù)，從數(shù)據(jù)驅(qū)動的技術(shù)視角設(shè)計并實現(xiàn)自動測評小學生句式掌握水平的工具,以期為智能測評小學生語文學習的過程狀態(tài)提供借鑒。一數(shù)據(jù)驅(qū)動的小學語文句式自動測評的技術(shù)基礎(chǔ)當前，小學語文句式測評大多采用規(guī)范化測試題目，如辨認句式、改正句式、句式造句等［4］。脫離語言運用情境的測試不僅枯燥而且片面，無法評測出學生對句式的綜合運用能力。數(shù)據(jù)驅(qū)動的句式測評是解決上述問題的一種途徑，即首先對小學生在語文學習中產(chǎn)生的數(shù)據(jù)信息加以分析和挖掘，再以一定的算法程序?qū)W生句式掌握狀態(tài)進行個性化的自動測評診斷，可同時考慮知識的運用情境和學生的過程狀態(tài)。自然語言理解技術(shù)中的句式語料庫構(gòu)建和句式自動識別算法，為實現(xiàn)數(shù)據(jù)驅(qū)動的句式測評提供了技術(shù)基礎(chǔ)。語料庫是一種大規(guī)模的電子文本集合，存放著在語言實際應(yīng)用中出現(xiàn)的語言材料［5］，構(gòu)建小學生句式語料庫是實現(xiàn)數(shù)據(jù)驅(qū)動的句式測評的基礎(chǔ)。目前，常用的句式語料庫有漢語復句語料庫［6］和清華漢語樹庫的漢語句法樹庫［7］，但因其語料源多為報紙、雜志等社會媒體材料，故而與

小學生語文學習場景的適配度不高。借鑒已有句式語料庫的語句標識規(guī)范，本研究將小學語文教材作為語料源，以義務(wù)教育語文課程標準的要求為依據(jù)，構(gòu)建了小學語文句式語料庫，其語料中標識的年級特征信息可為句式識別后的智能測評提供判斷依據(jù)。句式自動識別多采用基于規(guī)則的方法和基于統(tǒng)計的方法［8］:①基于規(guī)則的方法是先識別檢測對象的關(guān)系詞，再檢索相應(yīng)的句式約束規(guī)則，最后根據(jù)約束規(guī)則與檢測對象的匹配情況，自動識別檢測對象所屬的句式類型。該方法以句式的本體知識庫和規(guī)則庫作為計算基礎(chǔ)［9］。本體知識庫是句式庫，也是建立規(guī)則庫的前提和基礎(chǔ)。胡金柱等［10］提出，可從“關(guān)系詞的選取來源”“關(guān)系詞的典型性分類”“關(guān)系詞特征字段的設(shè)立”等方面建立句式庫。規(guī)則庫是為句式判定提供約束條件的文本合集，是計算機自動識別句式的主要依據(jù)。胡金柱等［11］歸納出字面約束、關(guān)系標記位置約束、分句位置約束等12種約束規(guī)則；楊進才等［12］將語法中的依存關(guān)系所形成的7類約束條件加入規(guī)則庫，將字面特征與語法特征相結(jié)合來提高識別率。②基于統(tǒng)計的方法是用大量語料對模型（如貝葉斯網(wǎng)絡(luò)［⑶、神經(jīng)網(wǎng)絡(luò)［14］［15］等）進行訓練，再用訓練后的模型對文本進行自動識別。目前，基于統(tǒng)計的方法尚沒有針對小學語文的專用句式語料庫，故本研究采用了較為成熟的基于規(guī)則的方法進行小學語文句式的自動識別。智能分析

掌握水平的輸入U基于規(guī)姻的

句式自動識別算法數(shù)據(jù)處理◎還。O[cos'!分句 tpwTjpwT|pwT|pwT]......|w』槌獲取

基礎(chǔ)數(shù)據(jù)讀動

閱活過程數(shù)據(jù)智能分析

掌握水平的輸入U基于規(guī)姻的

句式自動識別算法數(shù)據(jù)處理◎還。O[cos'!分句 tpwTjpwT|pwT|pwT]......|w』槌獲取

基礎(chǔ)數(shù)據(jù)讀動

閱活過程數(shù)據(jù)閱i圭活動數(shù)闔寫作表達數(shù)癰多源數(shù)據(jù)集存儲?基本數(shù)據(jù)年級信息'圖1數(shù)據(jù)驅(qū)動的小學語文句式測評工具設(shè)計框架基的句式自動S?法調(diào)用——二數(shù)據(jù)驅(qū)動的小學語文句式測評工具的設(shè)計數(shù)據(jù)驅(qū)動的小學語文句式測評工具以小學語文各年級句式的掌握目標作為參照，對小學生在閱讀平臺上留下的過程性句式運用數(shù)據(jù)進行動態(tài)采集、自動識別和分析挖掘，自動且個性化地診斷小學生句式的學習情況，并對測評結(jié)果予以可視化反饋?；诖耍狙芯繕?gòu)建了包含語料庫構(gòu)建、基礎(chǔ)數(shù)據(jù)獲取、掌握水平的智能分析、個性化診斷反饋四個環(huán)節(jié)的數(shù)據(jù)驅(qū)動的小學語文句式測評工具的設(shè)計框架，如圖1所示。1小學語文句式語料庫的構(gòu)建本研究選擇部編版《小學語文》1?6年級、共12本教材作為語料來源，以人工檢索句式的方式構(gòu)建了小學語文句式語料庫：先以人工方式對12本小學語文教材中出現(xiàn)的句式進行檢索和整理，共獲得1765條語料數(shù)據(jù)，語料信息包括年級、教材冊次、頁碼、句式類型、具體關(guān)系詞等5個字段。然后，依據(jù)語料庫中的具體關(guān)系詞字段對每種關(guān)系詞出現(xiàn)的總次數(shù)進行統(tǒng)計，剔除總次數(shù)＜3的關(guān)系詞及其語料，構(gòu)建出的小學語文句式語料庫共收錄59個關(guān)系詞，分屬于“并列”“遞進”“選擇”“轉(zhuǎn)折”“因果”“假設(shè)”“條件”等7種句式。最后，以關(guān)系詞在本年級此類句式中出現(xiàn)的占比作為權(quán)重，來優(yōu)化小學語文句式語料庫，句式權(quán)重的計算如公式（1）所示。其中，g表示某年級，Wg為某關(guān)系詞在g年級同類句式中的權(quán)重，Countjtem（某關(guān)系詞）表示該關(guān)系詞在g年級教材中出現(xiàn)的次數(shù)，Count（該關(guān)系詞所屬句式的所有關(guān)系詞）表示此類句式的所有關(guān)系詞在g年級教材中出現(xiàn)的總次數(shù)。優(yōu)化后得到的小學語文句式語料庫（部分）如表1所示。表1小學語文句式語料庫F（部分）年級冊次頁碼句式關(guān)系詞權(quán)重具體文本—上冊63因果因為1我最喜歡冬天，因為冬天可以堆雪人。二上冊104假設(shè)如果 就 0.9如果你愿意和好，就放一只風箏吧！三下冊41遞進不但 而且 0.3這座橋不但精巧，而且美觀。四上冊22并列一邊 一邊 0.1它一邊飛，一邊從嘴里發(fā)出一種聲音。2句式測評基礎(chǔ)數(shù)據(jù)居的獲取Countjtem〈某關(guān)系詞）Count:（該關(guān)系詞所屬句式的所有關(guān)系詞）公式（1）學生在閱讀平臺上進行語文學習時會留下多種數(shù)據(jù)，如閱讀過程中對相關(guān)句式進行批注、摘抄而形成的閱讀活動數(shù)據(jù)，在寫作和討論等活動中使用各種句式進行語言表達而形成的寫作表達數(shù)據(jù)等。其中，閱讀數(shù)據(jù)代表學生處于知道或領(lǐng)會的層級，而寫作數(shù)據(jù)表明學生達到運用層級，可見這兩類數(shù)據(jù)能在不同程度上反映學生的句式知識掌握水平與運用能力。根據(jù)Bloom對認知領(lǐng)域的目標分類［16］，知識的運用比知識的領(lǐng)會所處的認知層級更高，而寫作數(shù)據(jù)能在更大程度上體現(xiàn)學生的句式掌握程度，故對數(shù)據(jù)進行多源融合時，寫作數(shù)據(jù)的占比應(yīng)更高一些。此外，考慮到不同年級對于句式的掌握目標不同，故多源數(shù)據(jù)集中也會記錄年級信息數(shù)據(jù)。3基于規(guī)則的句式掌握水平智能分析在構(gòu)建多源數(shù)據(jù)集的基礎(chǔ)上，句式掌握水平智能分析可分為數(shù)據(jù)處理和基于規(guī)則的句式自動識別算法兩個部分。由于句式自動識別算法需要分句維度的數(shù)據(jù)信息，因此需先對輸入文本進行分句數(shù)據(jù)處理，再為基于規(guī)則的句式自動識別算法建立句式庫和規(guī)則庫。句式庫是對句式的信息加以形式化表征，是句式自動識別的本體知識庫，以關(guān)系類別、組配情況（單用、搭配）、組配位置（前呼f、后應(yīng)b）、組配對象、搭配形式（同形1、異形0）、能否易位（能1、否0）等6類特征字段對句式表征。規(guī)則庫是明確判定句式的約束條件，是計算機自動識別不同句式的依據(jù)。以《漢語復句研究》為參考［17］，本研究從以下四個方面對規(guī)則進行描述：①字面約束是對字面特征進行約束，如某句式前后能否出現(xiàn)特定字詞；②分句位置約束，指對搭配關(guān)系詞所在分句間距離的約束；③關(guān)系標記位置約束，指搭配關(guān)系詞能否位于同一分句；④分句數(shù)目約束，指對分句的數(shù)量進行限制。4句式測評個性化診斷反饋句式掌握水平智能分析的結(jié)果是獲得某句式關(guān)系詞在學生以往讀寫活動中出現(xiàn)的次數(shù)，其取值范圍為［0,+8］。由于無法通過此數(shù)據(jù)獲悉學生對該句式的掌握水平，故采用Sigmoid函數(shù)來計算學生掌握某一關(guān)系詞的概率，以此判斷其句式掌握情況。函數(shù)表達式如公式（2）所示。其中，z表示某一關(guān)系詞的出現(xiàn)次數(shù)，e為自然常數(shù)，b仞表示學生掌握這一關(guān)系詞的概率。E=YZ~— 公式⑵Sigmoid函數(shù)能夠計算特定輸入值屬于1的概率大小，當概率大于某一值時，就將其劃分為一類。Sigmoid函數(shù)值域為（0,1），根據(jù)數(shù)據(jù)結(jié)果進行多次迭代和調(diào)整后，將0.6、0.8設(shè)為劃分閾值：值大于0.8,認為學生已掌握此句式；值處于0.6?0.8之間，認為學生對此句式的掌握有待鞏固；值小于0.6,則認為學生未掌握此句式。為進一步呈現(xiàn)學生對某類句式的掌握程度，將學生的關(guān)系詞掌握水平與該關(guān)系詞的權(quán)重值相乘，得到學生對此類句式的掌握水平，并將其記錄在學生測評檔案庫中。個性化診斷結(jié)果出來后，將以可視化的形式反饋給學生。三數(shù)據(jù)驅(qū)動的小學語文句式測評工具的功能1功能設(shè)計對應(yīng)圖1所示設(shè)計框架中的基礎(chǔ)數(shù)據(jù)獲取、掌握水平智能分析、個性化診斷反饋三個環(huán)節(jié),數(shù)據(jù)驅(qū)動的小學語文句式測評工具主要提供數(shù)據(jù)采集、智能分析與診斷、結(jié)果可視化呈現(xiàn)三大功能：①數(shù)據(jù)采集。數(shù)據(jù)驅(qū)動的小學語文句式測評工具首先需要記錄學生的年級信息，同時采集學生在各類讀寫活動中的過程數(shù)據(jù)，如閱讀活動數(shù)據(jù)、寫作表達數(shù)據(jù)等。與此同時，學生的年級信息和句式測評結(jié)果也會被記錄在多源數(shù)據(jù)集中。②智能分析與診斷。在采集各類數(shù)據(jù)的基礎(chǔ)上，數(shù)據(jù)驅(qū)動的小學語文句式測評工具利用基于規(guī)則的句式掌握水平智能分析和個性化診斷方法，對學生的句式掌握水平予以測評。③結(jié)果可視化呈現(xiàn)。為使測評結(jié)果更加簡潔、直觀,學生的句式掌握水平采用進度條的形式予以呈現(xiàn)，學生進入工具首頁即可查看。此外，學生點擊各類句式進入某類句式界面后還可以查看不同關(guān)系詞的具體掌握情況，其中“已掌握”“待鞏固，，“未掌握，，三種情況分別以綠色、黃色、紅色進行標識。以此掌握情況為依據(jù)，學生詳情界面還進一步對測評結(jié)果予以分類呈現(xiàn)。為了進一步輔助教學，數(shù)據(jù)驅(qū)動的小學語文句式測評工具還為教師提供所有年級所需掌握句式的詳情列表，用戶以教師身份進入工具首頁便可在教師詳情界面進行查看。2功能實現(xiàn)本研究團隊在自主研發(fā)的三余閱讀APP中，實現(xiàn)了數(shù)據(jù)驅(qū)動的小學語文句式測評工具的三大功能。三余閱讀APP是北京師范大學未來教育高精尖創(chuàng)新中心研發(fā)的支持泛在學習環(huán)境下內(nèi)

容與活動融合、課內(nèi)和課外融合、線上和線下融合的一款移動閱讀軟件，能夠?qū)W生在語文學習和閱讀活動中生成的各類讀寫活動數(shù)據(jù)進行采集、分析與反饋：①在數(shù)據(jù)采集部分，數(shù)據(jù)驅(qū)動的小學語文句式測評工具自動提取三余閱讀APP中“批注”“摘抄”“小作家”“討論區(qū)”等模塊中的文本數(shù)據(jù)，同時采集學生的年級信息。②在智能分析與診斷部分，數(shù)據(jù)驅(qū)動的小學語文句式測評工具利用已開發(fā)的基于規(guī)則的句式掌握水平智能分析和個性化診斷方法，對學生的句式掌握水平予以測評。③在結(jié)果可視化呈現(xiàn)部分，數(shù)據(jù)驅(qū)動的小學語文句式測評工具依據(jù)學生或教師的不同用戶身份，為學生呈現(xiàn)句式掌握整體情況的測評結(jié)果和各關(guān)系詞掌握情況的詳細信息，為教師呈現(xiàn)其所教年級的所有句式和句式關(guān)系詞的具體信息。在三余閱讀APP中，體現(xiàn)數(shù)據(jù)驅(qū)動的小學語文句式測評工具三大功能的部分句式測評界面如圖2所示。其中，圖2(a)、(b)、((b)、(c)為學生界面圖2(d)為教師界面。并列句詳情句式測評(a)(b)(S)...(C)并列句詳情句式測評(a)(b)(S)...(C)wwas-/(d)圖2三余閱讀APP中的句式測評工具界面(部分)四數(shù)據(jù)驅(qū)動的小學語文句式測評工具的應(yīng)用效果為檢驗數(shù)據(jù)驅(qū)動的小學語文句式測評工具的應(yīng)用效果，本研究同時進行了算法實驗驗證和可用性調(diào)查。表2算法在7種句式上的實驗結(jié)果類別并列遞進選擇轉(zhuǎn)折因果假設(shè)條件整體精準率84.6%89.3%90.0%93.9%89.4%83.3%95.0%90.6%召回率97.1%89.3%90.0%90.6%88.6%100.0%95.0%91.3%F1值90.4%89.3%90.0%92.2%89.0%90.9%95.0%90.9%①算法實驗驗證：本研究米用精準率(Precision)、召回率(Recall)和F1值(Fl-Measure)等計算機領(lǐng)域的常用指標［18］，來測評數(shù)據(jù)驅(qū)動的小學語文句式測評工具中句式自動識別算法的質(zhì)量。其中，精準率反映算法的查準率，召回率反映算法的查全率；而F1值是精準率和召回率的調(diào)和平均數(shù)，一般情況下如果F1值較高，就說明該實驗方法比較有效。本研究選擇三余閱讀APP中的439條真實用戶數(shù)據(jù)作為測試語料對算法進行檢測，得到算法在7種句式上的實驗結(jié)果（如表2所示）：整體句式識別的精準率和召回