網(wǎng)絡題庫系統(tǒng)的設計與實現(xiàn) - 教育技術通訊

1、網(wǎng)絡題庫系統(tǒng)的設計與實現(xiàn) 余勝泉、何克抗（北京師范大學現(xiàn)代教育技術研究所，100875）一、前言題庫（ITEM BANK）是“按照一定的教育測量理論，在計算機系統(tǒng)中實現(xiàn)的某個學科題目的集合”，它是嚴格遵循教育測量理論，在精確的數(shù)學模型基礎上建立起來教育測量工具2。建立題庫是一個復雜的系統(tǒng)工程，首先要建立系統(tǒng)的數(shù)學模型，然后確定試題的屬性指標以及試題的組成結構，再組織大批量的優(yōu)秀學科教師編寫試題。為了保證這些試題的科學性和有效性，還要組織大量的被試樣本，進行抽樣測試，對試題參數(shù)標注的有效性進行校正，一個相對完整的基于經(jīng)典測量理論的題庫系統(tǒng)，需要成千上萬道試題，編寫和測試這些試題的工作量是無比巨大

2、的，是一般單位所不能承擔的。在國家有關項目的支持下，我們國家陸續(xù)建立了一系列實用的題庫系統(tǒng)，如高等教育基礎學科系列題庫、勞動部職業(yè)技能鑒定題庫、國家醫(yī)學水平考試題庫、基礎教育系列題庫等。這些系統(tǒng)，有的由國家機關控制，有的作為商品出售，產(chǎn)生了巨大的經(jīng)濟與社會效益。但隨著這些系統(tǒng)的運行，也出現(xiàn)了很多的的問題，首先是封閉運行，缺乏開放性。由于題庫是一個精密的測量工具，其維護、管理、更新、數(shù)據(jù)統(tǒng)計與分析都是由專業(yè)人士來進行的，故基本上都是由某一重要的大機關封閉運行，其它普通的中小單位，無法支付龐大的購買和維護費用，很難有機會使用，這樣，國家投入大量資金建立的權威性題庫，只局限于某些權威單位使用，不能得

3、到廣泛的普及，無法真正在教學過程中發(fā)揮其應有的作用。另外，封閉運行無法得到廣泛的使用和參與，對于題庫的修訂和校正缺乏數(shù)據(jù)基礎，使得提高整個題庫數(shù)據(jù)質(zhì)量較為困難。其次，重視組卷功能，輕視教育測量功能。題庫作為一個教育測量工具，它不僅僅是只有試題管理和組卷的功能，它更重要的功能是收集測試數(shù)據(jù)，并對這些測試數(shù)據(jù)進行統(tǒng)計與分析，發(fā)現(xiàn)題庫中所存在的問題，發(fā)現(xiàn)教師教學過程中的問題，發(fā)現(xiàn)學生學習過程中的問題。這些問題都隱藏在考試分數(shù)的后面，題庫系統(tǒng)應該通過分析考試數(shù)據(jù)，發(fā)掘信息，提供給教師以更多的教學過程信息。隨著Internet的出現(xiàn)和廣泛使用，WEB使得實現(xiàn)廣泛的網(wǎng)絡共享、集中的安全控制和友好的使用界面

4、達到了完美的統(tǒng)一。這為解決題庫系統(tǒng)運行中存在的一些問題提供了新的可能。目前，我們在已有開發(fā)單機題庫系統(tǒng)的基礎上，成功地開發(fā)了一個基于WEB的通用題庫系統(tǒng)，該系統(tǒng)在一個WEB站點上運行，通過瀏覽器訪問，它提供了傳統(tǒng)單機題庫系統(tǒng)不具備的一些特點：集中管理，共享使用：由于題庫對試題的質(zhì)量要求較高，都是由統(tǒng)一的權威機構來進行維護和管理，一般試題的增、刪、改都是通過專家確認后進行的，分散運行的題庫，一般都無法保持一個專家群體，故一般題庫無法更新，通過任課教師的自主修訂，容易導致題庫總體質(zhì)量下降。但題庫同時要具備廣泛的使用才真正具有價值。對于單機題庫來說，這是一對不可調(diào)和的矛盾，基于WEB的題庫則可以達到

5、完美的統(tǒng)一。由權威機構建立一個WEB站點，統(tǒng)一管理和控制試題庫，經(jīng)過授權的用戶，可以通過瀏覽器自由使用，包括組卷、測試、評價等等。開放使用開放建設：通過網(wǎng)絡，可以廣泛征集試題和實施大范圍的抽樣測試，用戶只要通過瀏覽器連上網(wǎng)絡，便可方便使用題庫，包括提交試題，參加測試等，用戶提交的試題，經(jīng)專家審訂后，便可正式納入題庫中，參與測試的成績，集中存儲到樣本數(shù)據(jù)庫中，通過試題參數(shù)校正程序的統(tǒng)計與分析，可校正試題參數(shù)的估值誤差。通過網(wǎng)絡來征集試題和組織抽樣測試，可以大大減輕建立題庫的成本、縮短建立題庫的時間、提高題庫的運行質(zhì)量。集中存儲測試數(shù)據(jù)：通過網(wǎng)絡運行題庫，進行聯(lián)機測試和評價，可以集中保存測試數(shù)據(jù)，

6、通過數(shù)據(jù)挖掘、統(tǒng)計與分析，用以校正試題參數(shù)的估值錯誤，剔除不良試題，保證試題質(zhì)量。全面服務：提供全面的組卷、考試、自測、評卷、統(tǒng)計與分析、輔導等全面的評價服務，使得基于網(wǎng)絡的無紙化考試成為可能。個人自測可以使學生根據(jù)自己的學習特點，進行有針對性的輔導與練習。的統(tǒng)計與分析功能強大，可揭示全方位的教學過程信息，幫助教師發(fā)現(xiàn)教學過程中的問題。簡單易用：用戶只要通過瀏覽器，連上網(wǎng)絡，便可在圖形用戶界面的引導下，輕松使用，無需復雜的配置、安裝和管理，大大降低了對題庫使用者的技術要求。二、基本結構與功能本題庫軟件體系結構采用瀏覽器/服務器（B/S）網(wǎng)絡計算模式，采用三層體系結構，即包括數(shù)據(jù)庫系統(tǒng)、應用服務

7、器、客戶瀏覽器三部分。其結構示意圖如圖1所示：數(shù)據(jù)庫服務器端采用的是大型商業(yè)數(shù)據(jù)庫系統(tǒng)（SQL Server），這有利于提高大批量數(shù)據(jù)（如用戶計費數(shù)據(jù)）的吞吐時間，使整個系統(tǒng)管理規(guī)范化，數(shù)據(jù)的完整性、安全性得到保障。應用服務器端采用可擴展的通用組件對象模型計算模式（COM），采用分模塊層次結構，多模塊分立，允許系統(tǒng)進行分布式并行處理來提高系統(tǒng)的工作效率。各功能模塊之間通過TCPIP、HTTP、RMI等多種協(xié)議進行消息和數(shù)據(jù)交換。用戶運行環(huán)境為標準的中文瀏覽器環(huán)境（Netscape4.0或以上版本或IE4.0或以上版本，不需要特殊的插件），硬件環(huán)境不限，包括PC機、手持式電腦、電視機頂置盒和網(wǎng)絡

8、電腦等，只要能夠運行基本的瀏覽器軟件就可以。該系統(tǒng)目前提供的功能有：1考試遠程考試組卷：教師通過在瀏覽器中輸入相應的組卷參數(shù)（主要參數(shù)有：試卷標題、考試時間、總題數(shù)、滿分值、曝光時間、考察的知識點，平均難度、平均區(qū)分度、題型結構等），如圖2所示。系統(tǒng)自動組出一份符合要求的試卷及其標準答案，試卷以兩種方式呈現(xiàn)：一種是以HTML的方式，將一份試卷形成一個HTML文件顯示。在這種方式下，教師可通過查詢的方式在線修改試題，若想使用組卷結果，直接打印或者另存為HTML文件；一種是RTF文件的方式，自動形成的試卷以RTF文件的方式打包，供教師下載使用。組成滿意的試卷后，可以存成正式的考卷，供學生考試用。圖

9、2 組卷主界面遠程聯(lián)機考試：學生選擇已經(jīng)組好，并指定要考試的試卷，調(diào)出該試卷，系統(tǒng)在瀏覽器中以HTML的方式呈現(xiàn)該試卷，并通過表單來輸入試卷答案，學生提交答卷后，系統(tǒng)將學生答案存入學生檔案之中，教師在閱卷時，可以調(diào)出學生的答卷記錄進行批閱。遠程聯(lián)機閱卷：教師通過網(wǎng)絡批改學生考過的試卷。教師登錄后，選擇要批閱的試卷，再選擇參加考試的學生，調(diào)出該學生的考卷及答案，客觀題由系統(tǒng)自動判別，非客觀題由教師判定給分，教師確認提交后，判卷信息便存入學生的檔案之中?？荚嚱Y果查詢：學生登錄后，選擇自己考過的試卷，便可調(diào)出該試卷，顯示出該試卷的內(nèi)容、標準答案、學生的答卷記錄、教師的評分情況等。2統(tǒng)計與分析試卷統(tǒng)計

10、屬性：包括試卷的信度、效度、平均難度；考生群體的最高分、最低分、各個分數(shù)段的積累人數(shù)、平均分、標準差；各個考生的原始分數(shù)和經(jīng)過轉(zhuǎn)換后的分數(shù)。折線圖和直方圖的呈現(xiàn)方式可以直觀地表示出學生在各個分數(shù)段的分布情況，以及學生成績是否符合正態(tài)分布，異常試題的警告，如考試中全對或全錯的試題，及時提出警告。題目分析和知識點情況分析：包括題目難度、區(qū)分度、迷惑答案效力、知識點上的歸一化得分。每個題目都對應著要考查的一個或多個知識點以及在知識點上的認知結果分類，分析結果的呈現(xiàn)方式采用表格和圖形結合的辦法，既直觀形象，又有精確數(shù)值的支持。學生情況分析：（1）幫助學生澄清對分數(shù)的認識：對于學生的某一次考試，選擇參加

11、這次考試的全體學生中的不同樣本范圍并計算出量表，就可以按照量表轉(zhuǎn)換公式得到這個學生的原始分數(shù)在不同的樣本范圍的轉(zhuǎn)換分數(shù)。對這個分數(shù)的解釋可以幫助學生確定自己在所感興趣的群體中處于什么樣的位置，并正確認識這種位置：它讓學生明白分數(shù)的含義是相對的，而不是絕對的；單純的分數(shù)并不能說明全部問題。（2）獲知學生變化趨勢：學生如果希望知道自己是否進步了，就需要按時間軸作一個關于考試成績的歷史追蹤。由于直接比較原始分數(shù)是沒有意義的，我們將它們轉(zhuǎn)換成的標準分數(shù)、百分等級分數(shù)等相比較，就能夠得出是前進還是后退的結論。（3）學生知識和能力的分析：題庫系統(tǒng)與學生之間通過聯(lián)機測試界面進行交互，計算機記錄并分析學生有意

12、義的反應信息，通過對這些反應信息的分析，可以很多有價值的教學過程信息。對學生的分析有兩個維度，即知識內(nèi)容和認知能力。由于每道題目都考查了某個（或多個）知識點和認知分類，因此通過分析學生在題目上的表現(xiàn)，就可以知道學生在知識點上達到教學目標的范圍和程度，得到知識點掌握情況和能力發(fā)展情況。分析結果可以用于生成針對學生個人的指導語，提示學生在哪些方面已經(jīng)達到教學要求，哪些還需要加強訓練；可以為學生準備有關的教學材料，包括錯答題目的例題講解和題目所考查的知識點的教學目標的說明性材料，以幫助學生糾正錯誤理解和觀念、找到并鞏固自身的薄弱環(huán)節(jié)。（4）激勵學生的學習：通過與樣本適度的比較，并對比較結果作出合理的

13、解釋，可以激發(fā)學生學習的動力。3自測個人聯(lián)機測試：學生可以針對自己學習特點，輸入組卷參數(shù)（參數(shù)項與教師組卷不同，只能抽出客觀題），形成針對性的練習試卷，并可讓學生進行聯(lián)機測試，學生提交所做的試卷后，系統(tǒng)將自動評閱，并給出標準答案，對做錯的試題給出詳細解答。4題庫管理試題查詢、添加、修改和刪除。遠程收集試題：各地教師可通過網(wǎng)絡提交試題，提交后試題存儲在一個緩沖試題庫中，自動形成標準的RTF文檔，供學科專家審查修改，然后批量錄入題庫。預置組卷策略：對于一些常見的考試組卷，可以預置一些常用的組卷策略，教師組卷時可以選擇現(xiàn)成的組卷策略，無需重復輸入復雜的參數(shù)便可組卷。5系統(tǒng)工具：注冊管理、系統(tǒng)設置、專

14、家確認等功能。三、組卷策略在題庫系統(tǒng)建設中，試題質(zhì)量控制與參數(shù)設置、組卷策略是最重要的兩個環(huán)節(jié)；題庫建成后，我們需要輸入一些查詢參數(shù)，系統(tǒng)將根據(jù)這些參數(shù)抽出最適合要求的試題，組成能夠?qū)嶋H使用的試卷，定義這種查詢參數(shù)以及對這些參數(shù)進行變換算法，我們稱之為組卷策略。組卷策略的實質(zhì)是將對人比較直觀明了的組卷參數(shù)變換成計算機能夠直接操作的試題屬性項，然后根據(jù)這些屬性項，在題庫中抽取試題組成試卷。因此，完整的組卷策略應該由三部份組成：試題屬性項定義、組卷參數(shù)的定義、變換算法的說明。根據(jù)組卷方式和評價的類型不同，我們可以將組卷策略劃分三大類型：智能組卷、相對評價組卷、絕對評價組卷。下面我將對第一種組卷策略

15、作簡要說明5。智能組卷只需要設置試卷的一些整體屬性參數(shù)和題型結構參數(shù)，便可以組出一份滿意的試卷，它對題目的知識點難度分布沒有特殊要求，只設平均難度和平均區(qū)分度參數(shù)，參數(shù)設置簡單直觀，其組卷步驟為：1 設置總體參數(shù)：試卷標題、考試時間、總題數(shù)、滿分值、曝光時間、考察的知識點、平均難度、平均區(qū)分度；2設置題型比例表，示例值見表1，檢查約束條件，生成最終組卷參數(shù)原型表，表的格式見表1；表1：題型比例表題型試題數(shù)分數(shù)考察知識點A1020(1)(6)(5)B520(2)(4)N15(3)注：表中數(shù)據(jù)為示例數(shù)據(jù)，A、BN 表示有（n）個題型。3題型與知識點分布對應：根據(jù)題型比例表，來計算某知識點某類題型所

16、出的試題數(shù)，并預寫最終組卷參數(shù)表（填寫參數(shù)表的知識點列）；變換公式為：題型比例表某知識點某類題型所出的試題數(shù)=題型比例表某類題型的試題數(shù) DIV（整除） 該類題型的考察的知識點數(shù) + Random（題型比例表某類題型的試題數(shù) MOD（取余） 該類題型的考察的知識點數(shù)） 4試卷難度比例的分配：在平均難度計算模式表中隨機取一模式值，得出這份試卷的試題的難度比例，將此難度比例變換成最終組卷參數(shù)表中的難度級別參數(shù)。變換算法如下所示（用類PASCAL語言描述）： 變量說明：n：難度的等級數(shù)，這里為5；Nn：表示各難度級別的比例值，n的取值范圍是1難度的等級數(shù)；m：題型比例表中試題的題型數(shù)；Mm：某一類題

17、型，m的取值范圍為1題型比例表中試題的題型數(shù)；num：某類題型所占的題數(shù)；j、tmp：中間變量； 算法說明：j=mSortMn(num) (將題型按題數(shù)多少從多到少排列)WHILE j0 doBEGIN IF numn THEN IF NnSn THEN Extract(n, Sn) (此類題型抽n道題，第n道題的難度比例為Sn（Sn為題型分數(shù)比），若NnSn，則此題型不抽) Nn=Nn-Sn num=num-n Else WriteLeftMn(num) （將此題型記錄在剩余試題表中) SortLeftMn(num) （并按剩余試題的多少從多到少排列） End if SortMn(num)

18、（將題型按題數(shù)多少從多到少排列） j=j-1ENDHandleRemainItem(num)（按比例分配剩余的試題）5試卷區(qū)分度比例的分配：在平均區(qū)分度計算機模式表中隨機取一模式值，得出這份試卷的試題的區(qū)分度比例，并將此區(qū)分度比例變換成最終組卷參數(shù)表中的區(qū)分度級別參數(shù)，由于在組卷時，區(qū)分度參數(shù)與其它參數(shù)（如難度，知識點等等）無很強關聯(lián)關系，故采用與平均難度類似的隨機比例分配的形式。6形成最終抽題的組卷參數(shù)表通過以上幾步變換步驟，形成最終的組卷參數(shù)表，如表2所示，最終抽取試題的組卷條件都是通過該表生成。表2：最終組卷參數(shù)表試題編號題型難度等級區(qū)分度等級認知分類知識點1A難中了解（1）2A難優(yōu)理解

19、（4）在實際組卷時，每道試題選取的條件為：l 曝光時間參數(shù)：曝光時間定義的曝光時間l 試題編號參數(shù)：試題編號已抽出的試題編號l 抽題時的最終條件為：最終組卷參數(shù)表中的每一項（表與表中的每一項為與的關系，不包括試題編號）AND 曝光時間定義的曝光時間 AND試題編號已抽出的試題編號。若某個條件抽出的試題數(shù)大于一道，則從抽出的試題中隨機取一道，若抽不出試題，則順次取消的控制條件為：曝光時間、認知分類、區(qū)分度；若仍抽不出試題，則難度進行最小程度的變化（變一級）、若還抽不出試題，則在考察的知識點中抽隨機知識點值。四、展望目前，本系統(tǒng)已經(jīng)基本建成，正在試運行階段，基本的功能都已經(jīng)具備，但在如下幾個方面，

20、我們?nèi)匀恍枰鲞M一步的研究和開發(fā)。1與基于網(wǎng)絡的遠程教學平臺進行無縫集成目前，國內(nèi)基于網(wǎng)絡的遠程教學正處于迅速崛起的發(fā)展階段，迫切需要一個能夠很好地支持教師教學、學生學習的專用遠程教學平臺，相關的研究正在進展之中。在遠程教學支持平臺上，作業(yè)、考試、自我練習與測試是非常重要的一環(huán)。本系統(tǒng)具備了組卷、布置作業(yè)、提交作業(yè)、聯(lián)機批閱作業(yè)、自我練習與測試等多項功能，可以為遠程教學提供強有力的支持?，F(xiàn)在是一個獨立的系統(tǒng)，我們今后將把各個功能模塊拆分，并與網(wǎng)絡課程緊密整合，無縫的集成到遠程教學支持平臺中。2加強統(tǒng)計與分析功能，提供更加豐富的教學測量指標分析目前，本系統(tǒng)只提供了一些基本的統(tǒng)計與分析功能，如平均

21、分、方差、等級量表、難度等。這些指標還不能揭求教學過程的全貌，還需要進一步地引入新的測量指標，并詳細闡述它在教育中所代表的含義，如知識點的掌握度、頻數(shù)分布圖、學生把應曲線等等，為了給沒有教育測量背景的教師和學生參考，還將制作測量指標的應用案例，說明如何在實際教學過程中應用這些指標。3引進項目反應理論，實施遠程自適應測試以項目反應理論（IRT）為基礎的自適應測驗是根據(jù)每個學生的不同情況，用幾組不同的試題來測量學生能力水平的一種測驗。在自適應測驗中，考試系統(tǒng)向應試學生提出一個或幾個試題，并對學生答題進行判斷，根據(jù)學生答題情況，再從題庫中選擇最適合于測量學生個體的題目。通過這種方式，使試題與應試學生的能力水平相符合，向他們提出的題目，既不太容易，也不太難，可以為估測學生的能力提供最大的信息量。自適應測驗比常規(guī)測驗具