對(duì)程序課程的一個(gè)可靠的考試題系統(tǒng)的評(píng)估中文翻譯

對(duì)程序課程的一個(gè)可靠的考試系統(tǒng)的評(píng)估Torbj?rnJonsson,PouriaLoghmaniandSiminNadjm-TehraniDepartmentofComputerandInformationScienceLink?pingUniversity{torjo,poulo,simin}@ida.liu.se摘要：本文是我們對(duì)程序課程的一個(gè)可靠的考試系統(tǒng)的經(jīng)驗(yàn)描述。我們簡(jiǎn)要描述這個(gè)系統(tǒng)的結(jié)構(gòu)和把這個(gè)系統(tǒng)的真實(shí)測(cè)試狀態(tài)的評(píng)估的結(jié)果呈現(xiàn)出來。一些細(xì)節(jié)因素從網(wǎng)上的學(xué)生和測(cè)試者中學(xué)習(xí)，在響應(yīng)時(shí)間和他們親身體驗(yàn)的影響下，他們所采用的方法和考試形式是否自然性。介紹：像有經(jīng)驗(yàn)的程序課程教師，我們發(fā)現(xiàn)了使用程序課程傳統(tǒng)考試形式的缺點(diǎn)。學(xué)生學(xué)程序是通過實(shí)驗(yàn)課的練習(xí)，但最后評(píng)估他們能力和考試成績(jī)的卻是采用紙和筆代替電腦。判斷學(xué)生在個(gè)人生涯中不會(huì)不使用這種模式制作程序，我們考慮到這不是個(gè)正確的方法。在****大學(xué)的計(jì)算機(jī)科學(xué)系，每年大約有1000名學(xué)生在不同的教育性程序下教12門基礎(chǔ)程序課程。這篇文章論述了程序課程在教育上的新的看法，能提供給任何程序語言、不同類型的學(xué)生和教育程序。這個(gè)想法是基于廣大學(xué)生圍繞不同考試形式的個(gè)人成績(jī)，最有用和有效的反饋選擇考試方式使用的考試形式的可靠性的基礎(chǔ)準(zhǔn)則。我們相信能通過把方法的選擇和經(jīng)過估價(jià)附加的效率相結(jié)合來改善我們學(xué)習(xí)程序的質(zhì)量。特別的，我們相信它能把考試過程****一些年來，我們?cè)谝恍┰囼?yàn)性課程對(duì)學(xué)生們進(jìn)行了廣泛的計(jì)算機(jī)輔助考試的測(cè)試實(shí)驗(yàn)——對(duì)這種類型的考試的一個(gè)可靠的考試形式。然而，這種考試形式因?yàn)橛?jì)算機(jī)必要環(huán)境的支持不充分并沒有預(yù)想的那樣更加廣泛的流傳。去年，所有的學(xué)生和測(cè)試教師都連接到了一個(gè)新開發(fā)的可靠的考試系統(tǒng)（AES）。這個(gè)過程，經(jīng)過通信和分級(jí)被環(huán)境支持。這篇文章我們描述了這個(gè)考試系統(tǒng)和對(duì)這個(gè)考試系統(tǒng)和其他一些有關(guān)的考試**相比較的最初評(píng)價(jià)。這個(gè)課程的問題覆蓋了Ada程序和被第一年和第二年的學(xué)生**。在去年我們對(duì)AES進(jìn)行了評(píng)估。這個(gè)儀器用來評(píng)估存在的一系列問題在通過對(duì)231個(gè)學(xué)生3個(gè)月和4次考試解決。在第1部分我們描述為什么我們提議考試的種類為編程的路線是最適當(dāng)?shù)牟⑶遗c一些相關(guān)系統(tǒng)比較。第2部分包括考試系統(tǒng)的一個(gè)簡(jiǎn)要的技術(shù)描述，包括它的結(jié)構(gòu)設(shè)計(jì)。在第3部分我們描述怎么計(jì)算機(jī)系統(tǒng)，那在網(wǎng)上處理考試過程，必須由在每條特殊路線設(shè)定的規(guī)則增添。第4部分在第5部分包括我們的評(píng)估方法和由評(píng)估結(jié)果跟隨。第6部分結(jié)束本文。1次考試形式每個(gè)考試方法有使它更或較不適當(dāng)對(duì)一個(gè)特殊路線設(shè)置的具體特征。H？kanOswaldsson在當(dāng)前考試系統(tǒng)的發(fā)展之前在我們的部門學(xué)習(xí)了可能的考試形式的范圍的一條典型的編程路線。當(dāng)考試幾個(gè)方式可以被考慮作為有效的手段為改進(jìn)的學(xué)會(huì)(即在家任務(wù)、口試跟隨設(shè)計(jì)任務(wù)的等等)時(shí)，沒有結(jié)合需要對(duì)于一個(gè)summative評(píng)估的許多考試類型，以導(dǎo)致學(xué)會(huì)的不充分反饋。與我們當(dāng)前教的很大數(shù)量的學(xué)生結(jié)合，一個(gè)理想的考試設(shè)置的設(shè)計(jì)是一項(xiàng)真實(shí)地富挑戰(zhàn)性任務(wù)。工作在Dawson-Howe旁邊是帶領(lǐng)計(jì)算機(jī)支持進(jìn)入編程任務(wù)評(píng)估和管理的過程。對(duì)自動(dòng)化的考試系統(tǒng)的需要變得恰當(dāng)。在90年代后期期間以出現(xiàn)距離和生活長學(xué)會(huì)。例如，在英國的函授大學(xué)有企圖到交換學(xué)生任務(wù)和他們的(隨后)更正由稽查通過MS-Word文件。然而，可利用的報(bào)告(即工作在Price和Petre旁邊)在一次網(wǎng)上地道考試集中管理舒適為路線任務(wù)和分級(jí)，而不是師范反饋。幾位作者近年來報(bào)告關(guān)于自動(dòng)評(píng)估系統(tǒng)，主要集中系統(tǒng)和學(xué)生的結(jié)果的技術(shù)現(xiàn)狀的介紹根據(jù)分級(jí)。當(dāng)我們分享這些研究小組的志向并且進(jìn)行相似的研究時(shí)，我們的焦點(diǎn)在正式評(píng)估怎樣學(xué)生察覺考試環(huán)境。另外我們學(xué)習(xí)了怎么他們是受因素的影響的具體到地道考試，怎么系統(tǒng)性能和稽查的網(wǎng)上行為在學(xué)生影響被察覺的裝載和其他這樣方面。學(xué)生帳戶老師帳戶檢查考試處理傳訊統(tǒng)計(jì)AES設(shè)計(jì)被劃分成多排：客戶排、中間排(包括一個(gè)或更多次級(jí)排)和后端排。分成設(shè)計(jì)入排允許我們選擇適當(dāng)?shù)募夹g(shù)為一個(gè)特定情況。多技術(shù)可能甚而用于提供同一項(xiàng)服務(wù)用不同的情況。例如，HTML頁、JSP頁和獨(dú)立應(yīng)用程序可能所有用于客戶排?？蛻襞?中間排 后端排2AES的技術(shù)描述AES使用J2EE平臺(tái)開發(fā)。這代表一個(gè)唯一標(biāo)準(zhǔn)為實(shí)施和部署復(fù)雜企業(yè)應(yīng)用。通過一個(gè)開放過程，J2EE被設(shè)計(jì)符合大范圍企業(yè)應(yīng)用程序要求，包括發(fā)行具體機(jī)制例如傳訊系統(tǒng)、可測(cè)量性和模塊化。客戶根據(jù)模型看法控制器(MVC)應(yīng)用建筑學(xué)，在應(yīng)用之內(nèi)分離功能的三個(gè)分明形式： 模型在應(yīng)用在數(shù)據(jù)代表數(shù)據(jù)的結(jié)構(gòu)，并且有特殊用途的操作。 看法訪問數(shù)據(jù)從模型并且指定怎么應(yīng)該提出那數(shù)據(jù)?？捶ㄔ贏ES包括提供看法功能的獨(dú)立應(yīng)用程序。控制器翻譯對(duì)模型的用戶動(dòng)作并且選擇根據(jù)用戶首選項(xiàng)的適當(dāng)?shù)目捶?。AES被設(shè)計(jì)作為一套松散接合的模塊，內(nèi)部緊耦合。編組功能入模塊提供綜合化在合作的類之間，分離偶爾地互相提到的類。模塊設(shè)計(jì)支持設(shè)計(jì)目標(biāo)軟件將是可再用的。每個(gè)模塊有定義了模塊的功能要求并且提供地方最新組分也許聯(lián)合的一個(gè)接口。AES包括模塊為：圖2.1：AES設(shè)計(jì)。每一三排在設(shè)計(jì)的一個(gè)具體角色。客戶排負(fù)責(zé)對(duì)提出數(shù)據(jù)對(duì)用戶，互動(dòng)與用戶和溝通與系統(tǒng)的其他排。在這種情況下客戶排是系統(tǒng)的唯一的部分可看見對(duì)用戶。AES客戶排包括與其他排聯(lián)絡(luò)通過明確定義的接口的主要一個(gè)獨(dú)立應(yīng)用程序。根據(jù)JMS的一種針對(duì)消息的方法(Java傳訊系統(tǒng))被選擇照料通信在客戶排和中間排之間。中間排負(fù)責(zé)對(duì)所有處理介入的企業(yè)JavaBeans。企業(yè)JavaBeans是延伸服務(wù)器執(zhí)行有特殊用途的功能的軟件元件。這些組分和他們的容器之間的接口在企業(yè)JavaBeans規(guī)格被定義。他們包含的容器提供服務(wù)給企業(yè)JavaBeans事例，例如控制交易，處理的安全，穿線或者合并和處理堅(jiān)持，在其他高級(jí)系統(tǒng)任務(wù)中的其他資源。后端排是系統(tǒng)信息基礎(chǔ)設(shè)施。這排包括可能是有用的一個(gè)或更多關(guān)系數(shù)據(jù)庫管理系統(tǒng)和潛在地其他信息財(cái)產(chǎn)，即中央大學(xué)路線結(jié)果管理系統(tǒng)(LADOK)。EIS排也強(qiáng)制執(zhí)行安全并且提供可測(cè)量性。后端排提供映射現(xiàn)有數(shù)據(jù)和軟件的層數(shù)應(yīng)用資源到AES里設(shè)計(jì)用一個(gè)實(shí)施中立方式。系統(tǒng)被分離入五不同功能層數(shù)，中的每一以它自己的責(zé)任和它自己的API。這些層數(shù)橫跨三不同排完全被分裂。堅(jiān)持層數(shù)，例如，提供機(jī)制必要永久地保存對(duì)象狀態(tài)。它提供基本的CRUD(創(chuàng)造，讀，更新，刪除)服務(wù)并且應(yīng)付對(duì)象對(duì)關(guān)系映射的問題。這導(dǎo)致一個(gè)更加靈活和更加可維護(hù)的系統(tǒng)，即層數(shù)可以改變沒有作用對(duì)其他層數(shù)，只要API依然是恒定。3次考試設(shè)定考試系統(tǒng)只是考試過程的一份。第二個(gè)部分是設(shè)定(規(guī)則)我們有為學(xué)生。我們嘗試了幾個(gè)設(shè)定在一定數(shù)量的歲月期間(使用一個(gè)原型為系統(tǒng)5-6年)。3.1第一個(gè)設(shè)定第一個(gè)版本允許學(xué)生使用計(jì)算機(jī)寫節(jié)目而不是寫在紙。我們發(fā)現(xiàn)這個(gè)方法是改善，因?yàn)槲覀儧]有必須讀“難認(rèn)”文本，并且遞交的解答可能之后被測(cè)試。等級(jí)根據(jù)正確地解決的鍛煉的數(shù)量。一個(gè)問題與這個(gè)集合-是所有仍然分級(jí)必須完成，在完成了之后檢查。大多學(xué)生在解答等待送直到高潮性檢查。3.2第二個(gè)設(shè)定我們的意圖將有考試，學(xué)生在幾分鐘內(nèi)應(yīng)該有一個(gè)反應(yīng)從稽查，并且等級(jí)被給了學(xué)生的地方，當(dāng)他們離開檢查。我們?cè)趲追昼妰?nèi)也打算提供學(xué)生以得到反應(yīng)的可能性為每鍛煉，因此他們可能改正一種幾乎正確解答。我們今天使用)的第二個(gè)設(shè)定(根據(jù)正確地解決的鍛煉的數(shù)字和需要的時(shí)間解決他們。給一定數(shù)量的最后期限。如果學(xué)生想要高等級(jí)他或她在一個(gè)被預(yù)先指定的期限之內(nèi)必須解決一定數(shù)量的鍛煉。當(dāng)前考試過程跟隨幾步：1. 學(xué)生送一個(gè)考試要求鍛煉到稽查。2. 稽查能退回以下結(jié)果之一。 通過-解答是正確的。 殘缺不全-解答有錯(cuò)誤，并且必須改正。使新的企圖后是可能的。?出故障-解答是不正確的，并且學(xué)生不允許繼續(xù)在這鍛煉工作。3.每考試企圖和結(jié)果對(duì)期終考試等級(jí)將貢獻(xiàn)，并且學(xué)生是消息靈通的他/她的當(dāng)前成績(jī)。如果學(xué)生在一另外的鍛煉遞交一個(gè)新的考試請(qǐng)求他或她可以到達(dá)高級(jí)。這個(gè)考試過程被建立入我們的當(dāng)前AES，但規(guī)則(期限等)可以為分開的路線被改變。這使系統(tǒng)靈活。期限和分級(jí)在這個(gè)系統(tǒng)被測(cè)試那里的路線是三鍛煉在每檢查，并且不同的成績(jī)的要求是： 為等級(jí)5(優(yōu)秀)學(xué)生必須完成：o 3鍛煉正確在3個(gè)小時(shí)或o 2鍛煉正確在2個(gè)小時(shí) 為等級(jí)4(非常好)學(xué)生必須完成：o 2鍛煉正確在3個(gè)小時(shí)或o 1鍛煉正確在1.5小時(shí) 為等級(jí)3(通過)學(xué)生必須完成：o 1鍛煉正確在4個(gè)小時(shí)在檢查期間，上述設(shè)定與AES支持一起提供我們機(jī)會(huì)分級(jí)學(xué)生。解決了一鍛煉他們到達(dá)了的學(xué)生是消息靈通的等級(jí)。如果他們滿意對(duì)那個(gè)等級(jí)他們可以離開檢查(許多學(xué)生在一個(gè)到二個(gè)小時(shí)以后離開，當(dāng)他們有等級(jí)4或5)時(shí)。學(xué)生問題在普通的計(jì)算機(jī)輔助的檢查，一定數(shù)量的問題由學(xué)生遞交，答復(fù)可能或者被分類如個(gè)人或如感興趣為所有學(xué)生?；槟軟Q定他或她是否將寄發(fā)答復(fù)到整體小組學(xué)生或到一名具體學(xué)生。問題的數(shù)量似乎是相對(duì)地恒定的在檢查(大約每5分鐘的2-5個(gè)問題期間)。在檢查的起點(diǎn)期間，多數(shù)問題被送，可以解釋用事實(shí)學(xué)生詢問具體事關(guān)于鍛煉，并且那里是更多學(xué)生在的開頭部分檢查。提議或認(rèn)同企圖在普通的計(jì)算機(jī)輔助的檢查我們有很大數(shù)量的考試請(qǐng)求從學(xué)生。我們?cè)诒?.1能看我們有一相對(duì)地高頻率在期間從30分鐘到3個(gè)小時(shí)。在那以后，大多學(xué)生離開(他們比時(shí)間)的3不可能以后得到高級(jí)。在最后期限附近我們能看考試嘗試經(jīng)常出現(xiàn)，但不更經(jīng)常。但是，考試請(qǐng)求增量導(dǎo)致更多工作為稽查。這可能導(dǎo)致在響應(yīng)時(shí)間(等待時(shí)間的增量為學(xué)生)。4個(gè)評(píng)估方法當(dāng)前系統(tǒng)的發(fā)展在夏天開始了2001年并且通過冬天2001/2002繼續(xù)了。當(dāng)我們開始測(cè)試這個(gè)系統(tǒng)我們想要作為測(cè)試?yán)右粭l路線與很大數(shù)量的學(xué)生。我們的一門基礎(chǔ)課在編程每年有大約270名學(xué)生，因此是我們的第一個(gè)選擇。大約180這些學(xué)生是產(chǎn)業(yè)管理工程學(xué)學(xué)生，并且休息是技術(shù)生物學(xué)生。我們的統(tǒng)計(jì)根據(jù)他們的第一次考試在這條路線，在2002年3月發(fā)生。我們?cè)谶@條路線也使用再拿檢查做一項(xiàng)新的研究與新的套問題。這個(gè)評(píng)估在2002年5月完成。在這二項(xiàng)研究，學(xué)生直接地在檢查以后填裝了查詢表。最后的查詢表有二份。第一個(gè)部分是主要問題，答復(fù)以大方的本體格式。第二個(gè)部分包括問題以被稱的答復(fù)(等級(jí)到五，不同意-同意，更壞-改善)。第一個(gè)部分用于三個(gè)評(píng)估。更加廣泛的查詢表與二份為最后評(píng)估僅使用了(即為二最后檢查)。附錄顯示最后的查詢表。查詢表的兩個(gè)類型是匿名的，并且查詢表被填裝了，在分級(jí)為檢查之后完成。當(dāng)他們填裝了查詢表，學(xué)生已經(jīng)接受了他們的等級(jí)。我們相信這在學(xué)生邊提供可觀性措施。我們?yōu)闄z查也使用記錄文件從AES得到統(tǒng)計(jì)趨向關(guān)于等級(jí)，性別，反應(yīng)時(shí)間為問題各自認(rèn)同企圖在其他中(參見第5部分)。5個(gè)評(píng)估結(jié)果不幸地幾乎所有學(xué)生沒有早先經(jīng)驗(yàn)與紙基于編程的考試，因此回復(fù)不可能為與那個(gè)考試形式的比較使用。然而，我們使用反應(yīng)詳細(xì)學(xué)習(xí)其他問題(特別地零件與時(shí)間有關(guān)或注重因素)。首先，在請(qǐng)求送的學(xué)生(問題或認(rèn)同企圖)和時(shí)期為反應(yīng)多頻繁多久是？第二，多么恰當(dāng)考試系統(tǒng)由學(xué)生接受？第三個(gè)問題是比較由等級(jí)在性別之間。查詢表的反應(yīng)速度是相當(dāng)好。我們有四檢查在評(píng)估期間以以下反應(yīng)速度：檢查66個(gè)學(xué)生(75.7%)檢查4:18答復(fù)105個(gè)學(xué)生(82.8%)檢查3:50答復(fù)112個(gè)學(xué)生(67.8%)檢查2:87答復(fù)1:76答復(fù)22名學(xué)生(81.8%)前三張查詢表做了在第一個(gè)考試場(chǎng)合為學(xué)生，并且第四你在再拿考試做了，所有學(xué)生是學(xué)生沒有等級(jí)從更加早期的檢查。5.1事件在考試期間事件，問題和考試請(qǐng)求的數(shù)量，延長了4個(gè)小時(shí)考試會(huì)議可以是看的一有趣公尺的。在查詢表被表明的主要消極因素是時(shí)間壓力或重音的感覺。17%大方的本體答復(fù)有與這個(gè)因素的一些連接。從一個(gè)技術(shù)觀點(diǎn)我們對(duì)發(fā)現(xiàn)也感興趣系統(tǒng)的容量是充分的。所以我們?cè)诿繖z查總結(jié)了互作用的數(shù)量發(fā)生。圖5.1：學(xué)生事件(問題和考試請(qǐng)求)在檢查期間。在表5.1我們能看問題的數(shù)量是高在的開頭部分考試，但我們有問題事件在整考試時(shí)間期間?？荚囌?qǐng)求的數(shù)量是相對(duì)時(shí)間。有幾個(gè)請(qǐng)求在第一半小時(shí)，并且那前二個(gè)小時(shí)為稽查是繁忙的。請(qǐng)求率相當(dāng)高，當(dāng)我們到達(dá)期限為等級(jí)時(shí)(特別是4個(gè)小時(shí)極限)。從一個(gè)技術(shù)觀點(diǎn)系統(tǒng)性能在上述裝載之下是充分的。要學(xué)習(xí)重音的學(xué)生經(jīng)驗(yàn)由于等待時(shí)間我們計(jì)算等待答復(fù)到問題和各自考試請(qǐng)求的認(rèn)同的平均。We也看極端價(jià)值。它結(jié)果那為最短的回答的時(shí)間是30秒和最長的6分鐘的問題。對(duì)應(yīng)數(shù)字為認(rèn)同企圖分別為1分鐘和10分鐘?；プ饔玫牡谝粋€(gè)類型采取了2分鐘和42秒和第二個(gè)類型3分鐘和31秒平均為一特殊檢查。學(xué)生反應(yīng)，從查詢表，在這時(shí)間是等待一分鐘或是可接受的二為一個(gè)答復(fù)在問題和那等待一個(gè)結(jié)果在考試請(qǐng)求的幾分鐘是順利。基于這個(gè)看法我們認(rèn)為，等待時(shí)間不是一個(gè)貢獻(xiàn)的因素到學(xué)生體驗(yàn)的重音。5.2采納由學(xué)生學(xué)生反應(yīng)表明了巨大支持為這個(gè)考試形式。退回查詢表的94.5%學(xué)生更喜歡這個(gè)考試形式對(duì)傳統(tǒng)紙和鉛筆檢查。許多大方的本體答復(fù)提到了考試形式是緊挨一個(gè)現(xiàn)實(shí)情景并且是正面的關(guān)于可能性編寫和測(cè)試(94個(gè)這樣的評(píng)論的一個(gè)總數(shù))。在檢查，關(guān)于考試形式的定量問題增加到查詢表，1617名學(xué)生回答說這個(gè)形式是離一個(gè)現(xiàn)實(shí)情況較近與其他考試形式比較。多數(shù)學(xué)生認(rèn)為自己匿名的