外文翻譯對程序課程的一個可靠的考試系統(tǒng)的評估

1、對程序課程的一個可靠的考試系統(tǒng)的評估一、摘要本文是我們對程序課程的一個可靠的考試系統(tǒng)的經(jīng)驗(yàn)描述。我們簡要描述這個系統(tǒng)的結(jié)構(gòu)和把這個系統(tǒng)的真實(shí)測試狀態(tài)的評估的結(jié)果呈現(xiàn)出來。一些細(xì)節(jié)因素從網(wǎng)上的學(xué)生和測試者中學(xué)習(xí)在響應(yīng)時間和他們親身體驗(yàn)的影響下，他們所采用的方法和考試形式是否自然性。二、介紹像有經(jīng)驗(yàn)的程序課程教師，我們發(fā)現(xiàn)了使用程序課程傳統(tǒng)考試形式的缺點(diǎn)。學(xué)生學(xué)程序是通過實(shí)驗(yàn)課的練習(xí)，但最后評估他們能力和考試成績的卻是采用紙和筆代替電腦。判斷學(xué)生在個人生涯中不會不使用這種模式制作程序我們考慮到這不是個正確的方法。在大學(xué)的計(jì)算機(jī)科學(xué)系，每年大約有1000名學(xué)生在不同的教育性程序下教12門基礎(chǔ)程序課程

2、。這篇文章論述了程序課程在教育上的新的看法，能提供給任何程序語言、不同類型的學(xué)生和教育程序。這個想法是基于廣大學(xué)生圍繞不同考試形式的個人成績，最有用和有效的反饋選擇考試方式使用的考試形式的可靠性的基礎(chǔ)準(zhǔn)則。我們相信能通過把方法的選擇和經(jīng)過估價附加的效率相結(jié)合來改善我們學(xué)習(xí)程序的質(zhì)量。特別的，我們相信它能把考試過程呈現(xiàn)得更加完美。一些年來，我們在一些試驗(yàn)性課程對學(xué)生們進(jìn)行了廣泛的計(jì)算機(jī)輔助考試的測試實(shí)驗(yàn)一刃這種類型的考試的一個可靠的考試形式。然而，這種考試形式因?yàn)橛?jì)算機(jī)必要環(huán)境的支持不充分并沒有預(yù)想的那樣更加廣泛的流傳。去年，所有的學(xué)生和測試教師都連接到了一個新開發(fā)的可靠的考試系統(tǒng)AES。這個過

3、程，經(jīng)過通信和分級被環(huán)境支持。這篇文章我們描述了這個考試系統(tǒng)和對這個考試系統(tǒng)和其他一些有關(guān)的考試內(nèi)容相比較的最初評價。這個課程的問題覆蓋了Ada程序和被第一年和第二年的學(xué)生評價。在去年我們對AES進(jìn)行了評估。這個儀器用來評估存在的一系列問題在通過對231個學(xué)生3個月和4次考試解決。在第1部分我們描述為什么我們提議考試的種類為編程的路線是最適當(dāng)?shù)牟⑶遗c一些相關(guān)系統(tǒng)比較。第2部分包括考試系統(tǒng)的一個簡要的技術(shù)描述，包括它的結(jié)構(gòu)設(shè)計(jì)。在第3部分我們描述怎么計(jì)算機(jī)系統(tǒng)，那在網(wǎng)上處理考試過程，必須由在每條特殊路線設(shè)定的規(guī)則增添。第4部分在第5部分包括我們的評估方法和由評估結(jié)果跟隨。第6部分結(jié)束本文。1.考

4、試形式每個考試方法有使它更或較不適當(dāng)對一個特殊路線設(shè)置的具體特征。在當(dāng)前考試系統(tǒng)的發(fā)展之前在我們的部門學(xué)習(xí)了可能的考試形式的范圍的一條典型的編程路線。當(dāng)考試幾個方式可以被考慮作為有效的手段為改進(jìn)的學(xué)會（即在家任務(wù)、口試跟隨設(shè)計(jì)任務(wù)的等等）時，沒有結(jié)合需要對于一個summative評估的許多考試類型以導(dǎo)致學(xué)會的不充分反饋。與我們當(dāng)前教的很大數(shù)量的學(xué)生結(jié)合，一個理想的考試設(shè)置的設(shè)計(jì)是一項(xiàng)真實(shí)地富挑戰(zhàn)性任務(wù)。工作在Dawson-Howe旁邊是帶領(lǐng)計(jì)算機(jī)支持進(jìn)入編程任務(wù)評估和管理的過程。對自動化的考試系統(tǒng)的需要變得恰當(dāng)。在90年代后期期間以出現(xiàn)距離和生活長學(xué)會。例如，在英國的函授大學(xué)有企圖到交換學(xué)生任

5、務(wù)和他們的（隨后）更正由稽查通過MS-Word文件。然而，可利用的報(bào)告（即工作在Price和Petre旁邊）在一次網(wǎng)上地道考試集中管理舒適為路線任務(wù)和分級，而不是師范反饋。幾位作者近年來報(bào)告關(guān)于自動評估系統(tǒng)，主要集中系統(tǒng)和學(xué)生的結(jié)果的技術(shù)現(xiàn)狀的介紹根據(jù)分級。當(dāng)我們分享這些研究小組的志向并且進(jìn)行相似的研究時，我們的焦點(diǎn)在正式評估怎樣學(xué)生察覺考試環(huán)境。另外我們學(xué)習(xí)了怎么他們是受因素的影響的具體到地道考試，怎么系統(tǒng)性能和稽查的網(wǎng)上行為在學(xué)生影響被察覺的裝載和其他這樣方面。例如：學(xué)生帳戶老師帳戶檢查考試處理傳訊統(tǒng)計(jì)2. AES設(shè)計(jì)被劃分成多排，客戶排、中間排（包括一個或更多次級排）和后端排。分成設(shè)計(jì)入

6、排允許我們選擇適當(dāng)?shù)募夹g(shù)為一個特定情況。多技術(shù)可能甚而用于提供同一項(xiàng)服務(wù)用不同的情況。例如：HTML頁、JSP頁和獨(dú)立應(yīng)用程序可能所有用于客戶排。客戶排中間排后端排AES的技術(shù)描述AES使用J2EE平臺開發(fā)，這代表一個唯一標(biāo)準(zhǔn)為實(shí)施和部署復(fù)雜企業(yè)應(yīng)用。通過一個開放過程,J2EE被設(shè)計(jì)符合大范圍企業(yè)應(yīng)用程序要求，包括發(fā)行具體機(jī)制例如傳訊系統(tǒng)、可測量性和模塊化。客戶根據(jù)模型看法控制器（MVC）應(yīng)用建筑學(xué)，在應(yīng)用之內(nèi)分離功能的三個分明形式。（1）模型在應(yīng)用在數(shù)據(jù)代表數(shù)據(jù)的結(jié)構(gòu)，并且有特殊用途的操作。（2）看法訪問數(shù)據(jù)從模型并且指定怎么應(yīng)該提出那數(shù)據(jù)?？捶ㄔ贏ES包括提供看法功能的獨(dú)立應(yīng)用程序。（3）

7、控制器翻譯對模型的用戶動作并且選擇根據(jù)用戶首選項(xiàng)的適當(dāng)?shù)目捶?。AES被設(shè)計(jì)作為一套松散接合的模塊，內(nèi)部緊耦合。編組功能入模塊提供綜合化在合作的類之間，分離偶爾地互相提到的類。模塊設(shè)計(jì)支持設(shè)計(jì)目標(biāo)軟件將是可再用的，每個模塊有定義了模塊的功能要求并且提供地方最新組分也許聯(lián)合的一個接口，每一三排在設(shè)計(jì)的一個具體角色?？蛻襞咆?fù)責(zé)對提出數(shù)據(jù)對用戶，互動與用戶和溝通與系統(tǒng)的其他排。在這種情況下客戶排是系統(tǒng)的唯一的部分可看見對用戶。AES客戶排包括與其他排聯(lián)絡(luò)，通過明確定義的接口的主要一個獨(dú)立應(yīng)用程序。根據(jù)JMS的一種針對消息的方法（Java傳訊系統(tǒng)）被選擇照料通信在客戶排和中間排之間。中間排負(fù)責(zé)對所有處理

8、介入的企業(yè)JavaBeans,企業(yè)JavaBeans是延伸服務(wù)器執(zhí)行有特殊用途的功能的軟件元件。這些組分和他們的容器之間的接口在企業(yè)JavaBeans規(guī)格被定義。他們包含的容器提供服務(wù)給企業(yè)JavaBeans事例。例如控制交易，處理的安全穿線或者合并和處理堅(jiān)持，在其他高級系統(tǒng)任務(wù)中的其他資源。后端排是系統(tǒng)信息基礎(chǔ)設(shè)施。這排包括可能是有用的一個或更多關(guān)系數(shù)據(jù)庫管理系統(tǒng)和潛在地其他信息財(cái)產(chǎn)，即中央大學(xué)路線結(jié)果管理系統(tǒng)（LADOK）。EIS排也強(qiáng)制執(zhí)行安全并且提供可測量性，后端排提供映射現(xiàn)有數(shù)據(jù)和軟件的層數(shù)。應(yīng)用資源到AES里設(shè)計(jì)用一個實(shí)施中立方式，系統(tǒng)被分離入五不同功能層數(shù)中的每一以它自己的責(zé)任和

9、它自己的API。這些層數(shù)橫跨三不同排完全被分裂。例如，提供機(jī)制必要永久地保存對象狀態(tài)。它提供基本的CRUD（創(chuàng)造讀更新刪除）服務(wù)并且應(yīng)付對象對關(guān)系映射的問題。這導(dǎo)致一個更加靈活和更加可維護(hù)的系統(tǒng)，即層數(shù)可以改變沒有作用對其他層數(shù)，只要API依然是恒定。3. 次考試設(shè)定考試系統(tǒng)只是考試過程的一份，第二個部分是設(shè)定（規(guī)則）我們有為學(xué)生。我們嘗試了幾個設(shè)定在一定數(shù)量的歲月期間（使用一個原型為系統(tǒng)5-6年）。3.1第一個設(shè)定第一個版本允許學(xué)生使用計(jì)算機(jī)寫節(jié)目而不是寫在紙。我們發(fā)現(xiàn)這個方法是改善，因?yàn)槲覀儧]有必須讀難認(rèn)”文本，并且遞交的解答可能之后被測試。等級根據(jù)正確地解決的鍛煉的數(shù)量，一個問題與這個集

10、合-是所有仍然分級必須完成，在完成了之后檢查，大多學(xué)生在解答等待送直到高峰期檢查。3.2第二個設(shè)定我們的意圖將有考試，學(xué)生在幾分鐘內(nèi)應(yīng)該有一個反應(yīng)從稽查，并且等級被給了學(xué)生的地方。當(dāng)他們離開檢查。我們在幾分鐘內(nèi)也打算提供學(xué)生以得到反應(yīng)的可能性為每鍛煉，因此他們可能改正一種幾乎正確解答。我們今天使用的第二個設(shè)定，根據(jù)正確地解決的鍛煉的數(shù)字和需要的時間解決他們。給一定數(shù)量的最后期限。如果學(xué)生想要高等級他或她在一個被預(yù)先指定的期限之內(nèi)必須解決一定數(shù)量的鍛煉。3.2.1 當(dāng)前考試過程跟隨三步：1.2.3.（1）（2）（3）（4）（5）學(xué)生送一個考試要求鍛煉到稽查。稽查能退回以下結(jié)果之一。通過-解答是正

11、確的，殘缺不全-解答有錯誤，并且必須改正，使新的企圖后是可能的，出故障-解答是不正確的，并且學(xué)生不允許繼續(xù)在這鍛煉工作。每考試企圖和結(jié)果對期終考試等級將貢獻(xiàn)，并且學(xué)生是消息靈通的他/她的當(dāng)前成績。如果學(xué)生在一另外的鍛煉遞交一個新的考試請求他或她可以到達(dá)高級。這個考試過3個小時或2個小時，為等級4（非常好）學(xué)生必須完成3個小時或1.5小時，為等級3（通過）學(xué)生必須完成4個小時。程被建立入我們的當(dāng)前AES,但規(guī)則（期限等）可以為分開的路線被改變。這使系統(tǒng)靈活，期限和分級，在這個系統(tǒng)被測試那里的路線是三鍛煉在每檢查，并且不同的成績的要求是，為等級5（優(yōu)秀）學(xué)生必須完成：鍛煉正確在鍛煉正確在鍛煉正確在

12、鍛煉正確在鍛煉正確在在檢查期間，上述設(shè)定與AES支持一起提供我們機(jī)會分級學(xué)生。解決了一鍛煉他們到達(dá)了的學(xué)生是消息靈通的等級。如果他們滿意對那個等級他們可以離開檢查（許多學(xué)生在一個到二個小時以后離開，當(dāng)他們有等級4或5）時。3.2.2 學(xué)生問題在普通的計(jì)算機(jī)輔助的檢查，一定數(shù)量的問題由學(xué)生遞交，答復(fù)可能或者被分類如個人或如感興趣為所有學(xué)生?；槟軟Q定他或她是否將寄發(fā)答復(fù)到整體小組學(xué)生或到一名具體學(xué)生。問題的數(shù)量似乎是相對地恒定的在檢查（大約每5分鐘的2-5個問題期間）。在檢查的起點(diǎn)3.1能看我們（他們比時間）的3但是，考期間，多數(shù)問題被送，可以解釋用事實(shí)學(xué)生詢問具體事關(guān)于鍛煉，并且那里是更多學(xué)生

13、在的開頭部分檢查。在普通的計(jì)算機(jī)輔助的檢查我們有很大數(shù)量的考試請求從學(xué)生。我們在表有一相對地高頻率在期間從30分鐘到3個小時。在那以后，大多學(xué)生離開不可能以后得到高級。在最后期限附近我們能看考試嘗試經(jīng)常出現(xiàn)，但不更經(jīng)常。試請求增量導(dǎo)致更多工作為稽查。這可能導(dǎo)致在響應(yīng)時間（等待時間的增量為學(xué)生3.2.3 4個評估方法當(dāng)我們開始當(dāng)前系統(tǒng)的發(fā)展在夏天開始了2001年并且通過冬天2001/2002繼續(xù)了。測試這個系統(tǒng)我們想要作為測試?yán)右粭l路線與很大數(shù)量的學(xué)生。我們的一門基礎(chǔ)課在編程每年有大約270名學(xué)生，因此是我們的第一個選擇。大約180這些學(xué)生是產(chǎn)業(yè)管理工程學(xué)學(xué)生，并且休息是技術(shù)生物學(xué)生。我們的統(tǒng)

14、計(jì)根據(jù)他們的第一次考試在這條路線，在2002年3月發(fā)生。我們在這條路線也使用再拿檢查做一項(xiàng)新的研究與新的套問題。這個評估在2002年5月完成。在這二項(xiàng)研究，學(xué)生直接地在檢查以后填裝了查詢表，最后的查詢表有二份。第一個部分是主要問題，答復(fù)以大方的本體格式，第二個部分包括問題以被稱的答復(fù)（等級到五，不同意-同意，更壞-改善），第一個部分用于三個評估，更加廣泛的查詢表與二份為最后評估僅使用了（即為二最后檢查）。附錄顯示最后的查詢表，查詢表的兩個類型是匿名的，并且查詢表被填裝了，在分級為檢查之后完成。當(dāng)他們填裝了查詢表，學(xué)生已經(jīng)接受了他們的等級，我們相信這在學(xué)生邊提供可觀性措施。我們?yōu)闄z查也使用記錄文

15、件從AES得到統(tǒng)計(jì)趨向關(guān)于等級、性別、反應(yīng)時間為問題各自認(rèn)同企圖在其他中（參見第5部分）。3.2.4 5個評估結(jié)果不幸地幾乎所有學(xué)生沒有早先經(jīng)驗(yàn)與紙基于編程的考試，因此回復(fù)不可能為與那個考試形式的比較使用。然而，我們使用反應(yīng)詳細(xì)學(xué)習(xí)其他問題（特別地零件與時間有關(guān)或注重因素）。首先，在請求送的學(xué)生（問題或認(rèn)同企圖）和時期為反應(yīng)多頻繁多久是；第二，多么恰當(dāng)考試系統(tǒng)由學(xué)生接受；第三個問題是比較由等級在性別之間。查詢表的反應(yīng)速度是相當(dāng)好，我們有四檢查在評估期間以下反應(yīng)速度，檢查66個學(xué)生（75.7%）檢查4:18答復(fù)105個學(xué)生（82.8%）檢查3:50答復(fù)112個學(xué)生（67.8%）檢查2:87答復(fù)1

16、:76答復(fù)22名學(xué)生（81.8%）。前三張查詢表做了在第一個考試場合為學(xué)生，并且第四你在再拿考試做了，所有學(xué)生是學(xué)生沒有等級從更加早期的檢查。4. 事件在考試期間事件、問題和考試請求的數(shù)量，延長了4個小時考試會議可以是看的一有趣公尺的。在查詢表被表明的主要消極因素是時間壓力或重音的感覺。17%大方的本體答復(fù)有與這個因素的一些連接。從一個技術(shù)觀點(diǎn)我們對發(fā)現(xiàn)也感興趣系統(tǒng)的容量是充分的。所以我們在每檢查總結(jié)了互作用的數(shù)量發(fā)生。我們能看問題的數(shù)量是高在的開頭部分考試，但我們有問題事件在整考試時間期間?？荚囌埱蟮臄?shù)量是相對時間，有幾個請求在第一半小時，并且那前二個小時為稽查是繁忙的。請求率相當(dāng)高，當(dāng)我們

17、到達(dá)期限為等級時（特別是4個小時極限）。從一個技術(shù)觀點(diǎn)系統(tǒng)性能在上述裝載之下是充分的，要學(xué)習(xí)重音的學(xué)生經(jīng)驗(yàn)由于等待時間我們計(jì)算等待答復(fù)到問題和各自考試請求的認(rèn)同的平均。我們也看極端價值，它結(jié)果那為最短的回答的時間是30秒和最長的6分鐘的問題。對應(yīng)數(shù)字為認(rèn)同企圖分別為1分鐘和10分鐘?；プ饔玫牡谝粋€類型采取了2分鐘和42秒和第二個類型3分鐘和31秒平均為一特殊檢查。學(xué)生反應(yīng)，從查詢表，在這時間是等待一分鐘或是可接受的，二為一個答復(fù)在問題和那等待一個結(jié)果在考試請求的幾分鐘是順利?；谶@個看法我們認(rèn)為，等待時間不是一個貢獻(xiàn)的因素到學(xué)生體驗(yàn)的重音。5. 采納由學(xué)生學(xué)生反應(yīng)表明了巨大支持為這個考試形式，

18、退回查詢表的94.5%學(xué)生更喜歡這個考試形式對傳統(tǒng)紙和鉛筆檢查。許多大方的本體答復(fù)提到了考試形式是緊挨一個現(xiàn)實(shí)情景并且是正面的關(guān)于可能性編寫和測試（94個這樣的評論的一個總數(shù)）。在檢查，關(guān)于考試形式的定量問題增加到查詢表，16、17名學(xué)生回答說這個形式是離一個現(xiàn)實(shí)情況較近與其他考試形式比較。多數(shù)學(xué)生認(rèn)為自己匿名的關(guān)于稽查在檢查期間。6. 3等級比較（男性女性）我們在第一次考試在路線做了比較等級在學(xué)生的男性末端女性小組之間。我們使用正常化的數(shù)字，因此我們可以直接地比較圖，等級為女性學(xué)生低于等級在平均為男性學(xué)生。我們是否是對公尺的此感興趣發(fā)現(xiàn)考試形式是性別中立的，當(dāng)它結(jié)果我們不可能總結(jié)這個結(jié)論。然

19、而，一可能解說是在采取路線之前編程了的大多學(xué)生是男性。區(qū)別的另一個方面在等級上的可能是我們有二個不同小組學(xué)生在這條路線小組以女性學(xué)生（技術(shù)生物）一個大比例在他們期間，讀路線在他們第一年期間，并且另一個小組讀路線第二年。學(xué)生在第二該年可能有更好的研究習(xí)性并且是更加老練的和有更加理論的知識。第三個方面是小組以女性學(xué)生一個更高的比率只有這條編程的路線如強(qiáng)制在整體教育規(guī)劃。另一個小組學(xué)生在這條路線有更多路線在之后編程并且是可能被刺激學(xué)習(xí)和到達(dá)高級，這個問題是明顯的點(diǎn)為進(jìn)一步研究6個結(jié)論和持續(xù)的工作。本文總結(jié)了早經(jīng)驗(yàn)與一個地道考試系統(tǒng)為編程的路線?？荚囅到y(tǒng)和考試設(shè)置的當(dāng)前正式評估提供我們以一定數(shù)量的洞察

20、在系統(tǒng)的有效率作為一個工具為學(xué)會和為評估。當(dāng)初始評價是正面的并且指向往這個考試方法的成功為學(xué)生的多數(shù)時，輸入從學(xué)生開放新的方向?yàn)檠芯亢托碌南敕P(guān)于怎樣改進(jìn)環(huán)境。工作的前途是一個新的自動校正系統(tǒng)的綜合化入我們的網(wǎng)上和離線學(xué)生評估和暴露環(huán)境在學(xué)生，特別地已經(jīng)有紙和鉛筆檢查經(jīng)驗(yàn)的那些的多數(shù)。AbstractThispaperdescribesourexperiencewithanauthenticexaminationsystemforprogrammingcourses.Webrieflydescribethearchitectureofthesystem,andpresentresultsofe

21、valuatingthesysteminrealexaminationsituations.Someofthefactorsstudiedindetailaretheon-lineinteractionsbetweenthestudentsandexaminers,theresponsetimesandtheireffectsonthepressureexperiencedbystudent,theacceptanceofthemethodamongthestudents,andwhethertheexaminationformisgender-neutral.IntroductionAsex

22、periencedteachersinprogrammingcourseswehavenoticedthedrawbacksinthetraditionalexaminationformusedinprogrammingcourses.Thestudentslearntoprogramvialaboratoryexercises,butthefinalevaluationoftheirabilitiesandthegradingoftheexaminationareinaformthatusespaperandpeninsteadofcomputers.Consideringthatthest

23、udentwillneverusethismodeforproducingaprogramthroughtheprofessionallife,weconsiderthistobenotasuitablemethod.AttheDepartmentofComputerScienceatLink?pingUniversity12fundamentalprogrammingcoursesforapproximately1000studentsindifferenteducationalprogramsaretaughtannually.Thispaperdealswithanewpedagogic

24、alviewintheseprogrammingcourses,whichcanbeappliedtoanyprogramminglanguage,typeofstudentandeducationalprogram.Theideaisbasedonextensivestudiesarounddifferentexaminationforms,whereindividualgrading,efficientandusefulfeedbackandtheauthenticityoftheexaminationformareusedasbasiccriteriaforthechoiceofexam

25、inationmethod.Webelievethatthechoiceofmethodtogetherwiththeaddedefficiencyintheassessmentprocessimprovesthequalityofourstudyprogrammes.Inparticular,webelievethatitwillchangetheexaminationprocessfromasummativetoanormativeassessmentoccasion1.Foranumberofyearswehaveexperimentedwithtestingthestudentsvia

26、computer-aidedexaminationsinsomepilotcourses-anauthenticexaminationformforthistypeofcourse.However,thisexaminationformhasnotbecomemorewidespreadduetoinsufficientsupportforthecomputerenvironmentnecessaryforthiskindofexamination.Duringthepastyearanewauthenticexaminationsystem(AES)hasbeendeveloped,wher

27、eallthestudentsandtheexaminingteachersareconnectedtothesamesystem.Theprocess,includingcommunicationandgrading,issupportedbythisenvironment.Inthispaperwedescribetheexaminationsystemandourinitialevaluationsofthissysteminanumberofrelativelylargeexaminationsessions.Thecoursesinquestioncovered.Duringthep

28、astyearwehaveevaluatedtheAES.Theinstrumentsusedfortheevaluationconsistedofquestionnairesfilledby231studentsoveraperiodof3monthsand4examinations.Thepaperisorganisedasfollows.Insection1wedescribewhythetypeofexaminationweproposeisthemostappropriateforprogrammingcoursesandcomparetosomerelatedsystems.Sec

29、tion2includesabrieftechnicaldescriptionoftheexaminationsystems,includingitsarchitecturaldesign.Insection3wedescribehowthecomputersystem,thatmanagestheexaminationprocessonline,hastobeaugmentedbyrulessetupineachparticularcourse.Section4coversourevaluationmethodsandisfollowedbyevaluationresultsinsectio

30、n5.Section6concludesthepaper.1.ExaminationformsEveryexaminationmethodhasspecificcharacteristicsthatmakeitmoreorlessappropriatetoaparticularcoursesetting.H?kanOswaldssonstudiedtherangeofpossibleexaminationformsforatypicalprogrammingcoursepriortothedevelopmentofthecurrentexaminationsysteminourdepartme

31、nt5.Whileseveralmodesofexaminationcanbeconsideredaseffectivemeansforenhancedlearning(e.g.homeassignments,oralexaminationsfollowingadesignassignment,etc),therearenotmanyexaminationtypesthatcombinetheneedforasummativeassessment,withadequatefeedbacktoinducelearning.Combinedwiththelargenumberofstudentst

32、hatwearecurrentlyteaching,designofanidealexaminationsettingisatrulychallengingtask.TheworkbyDawson-Howeisanearlyattempttobringcomputersupportintotheprocessofprogrammingassignmentevaluationandadministration2.Theneedforautomatedexaminationsystemshasbecomemorepertinentduringthelate90'swiththeadvent

33、ofdistanceandlifelonglearning.Forexample,attheOpenUniversityinUKtherehavebeenattemptstoexchangestudentassignments,andtheir(subsequent)correctionandassessmentbyexaminersviaMSWorddocuments8.However,theavailablereports(e.g.theworkbyPriceandPetre)concentrateontheeaseofadministrationforcourseassignmentan

34、dgrading,ratherthanthepedagogicalfeedbackinanon-lineauthenticexamination.Inrecentyearsseveralauthorsreportonautomaticassessmentsystems,mostlyconcentratingonpresentationofthetechnicalaspectsofthesystemandtheresultsofthestudentsintermsofgrading4,5,7,8.Whilewesharetheaspirationoftheseresearchteamsandco

35、nductsimilarstudies,ourfocushasbeenontheformalevaluationofhowthestudentsperceivedtheexaminationenvironment.Inadditionwehavestudiedhowtheywereaffectedbyfactorsspecifictoauthenticexaminations,howthesystemperformanceandtheexaminers'on-linebehaviouraffectstheperceivedloadonthestudent,andothersuchasp

36、ects.StudentaccountsTeacheraccountsExamsExaminationProcessingMessagingStatisticsTheAESdesignisdividedintomultipletiers:theClienttier,theMiddletier(consistingofoneormoresub-tiers),andtheBackendtier(seefigure2.1).Partitioningthedesignintotiersallowsustochoosetheappropriatetechnologyforagivensituation.

37、Multipletechnologiescanevenbeusedtoprovidethesameserviceindifferentsituations.Forexample,HTMLpages,JSPpages,andstandaloneapplicationscanallbeusedintheclienttier.EnterpriseBeansMessageDrivenBeansClientTierMiddleTierBackendTier2.TechnicaldescriptionoftheAESAEShasbeendevelopedusingtheJ2EEplatform.Thisr

38、epresentsasinglestandardforimplementinganddeployingcomplexenterpriseapplications.Havingbeendesignedthroughanopenprocess,J2EEmeetsawiderangeofenterpriseapplicationrequirements,includingdistribution-specificmechanismssuchasmessagingsystem,scalabilityandmodularity.(1)TheclientsarebasedontheModel-View-C

39、ontroller(MVC)applicationarchitecture,whichseparatesthreedistinctformsoffunctionalitywithintheapplication:(2)TheModelrepresentsthestructureofthedataintheapplication,aswellasapplication-specificoperationondata.TheViewaccessesdatafromthemodelandspecifieshowthatdatashouldbepresented.ViewsintheAESconsis

40、tofstand-aloneapplicationsthatprovideviewfunctionality.TheControllertranslatesuseractionsonthemodelandselectstheappropriateviewbasedonuserpreferences.TheAESisdesignedasasetoflooselycoupledmodules,whicharetightlycoupledinternally.Groupingfunctionalityintomodulesprovidesintegrationbetweenclassesthatco

41、operate,yetdecouplesclassesthatrefertoeachotheroccasionally.Modulardesignsupportsthedesigngoalthatsoftwarewillbereusable.Eachmodulehasaninterfacethatdefinesthemodule'sfunctionalrequirementsandprovidesaplacewherelatercomponentsmaybeintegrated.TheAESincludesmodulesfor:Eachofthethreetiersplaysaspec

42、ificroleinthedesign.TheClienttierisresponsibleforpresentingdatatotheuser,interactingwiththeuser,andcommunicatingwiththeothertiersofthesystem.InthiscasetheClienttieristheonlypartofthesystemvisibletotheuser.TheAESClienttierconsistsmainlyofastand-aloneapplicationthatcommunicateswiththeothertiersthrough

43、well-definedinterfaces.Amessage-orientedapproachbasedonJMS(JavaMessagingSystem)hasbeenchosentotakecareofthecommunicationbetweentheClienttierandtheMiddletier.TheMiddletierisresponsibleforanyprocessinginvolvingEnterpriseJavaBeans.EnterpriseJavaBeansaresoftwarecomponentsthatextendserverstoperformapplic

44、ationspecificfunctionality.TheinterfacebetweenthesecomponentsandtheircontainersisdefinedintheEnterpriseJavaBeansspecification.ThecontainersprovideservicestotheEnterpriseJavaBeansinstancestheycontain,suchascontrollingtransactions,managingsecurity,threadorotherresourcepooling,andhandlingpersistence,am

45、ongotherhigh-levelsystemtasks.TheBackendtieristhesysteminformationinfrastructure.Thistierincludesoneormorerelationaldatabasemanagementsystemsandpotentiallyotherinformationassetsthatcouldbeuseful,e.g.thecentraluniversitycourseresultsadministrationsystem(LADOK).TheEIStieralsoenforcessecurityandofferss

46、calability.TheBackendtierprovidesalayerofsoftwarethatmapsexistingdataandapplicationresourcesintothedesignofAESinanimplementationneutralway.Thesystemisseparatedintofivedifferentfunctionallayers,eachwithitsownresponsibilitiesanditsownAPI.Theselayersarephysicallysplitacrossthethreedifferenttiers.Theper

47、sistencelayer,forexample,providesthemechanismsnecessarytopermanentlysaveobjectstate.ItprovidesbasicCRUD(create,read,update,delete)servicesandalsodealswiththeobject-to-relationalmappingissues.Thisleadstoamoreflexibleandmaintainablesystem,e.g.layerscanbechangedwithnoeffectonotherlayers,aslongastheAPIr

48、emainsconstant.7.Examinationset-upTheexaminationsystemisonlyonepartoftheexaminationprocess.Thesecondpartistheset-up(therules)wehaveforthestudents.Wehavetriedafewset-upsoveranumberofyears(usingaprototypeforthesystemfor5-6years).7.1. Thefirstset-upThefirstversionallowedthestudentstowritetheprogramsusi

49、ngacomputerinsteadofwritingonpaper.Wefoundthismethodtobeanimprovementbecausewedidnothavetoread"illegible"textsandthesubmittedsolutionscouldbetestedafterwards.Gradeswerebasedonthenumberofcorrectlysolvedexercises.Aproblemwiththisset-upwasthatallthegradingstillhadtobedoneaftertheexamwasfinish

50、ed.Mostofthestudentswaitedtosendinthesolutionsuntilthelastminuteoftheexam.7.2. Thesecondset-upOurintentionwastohaveanexaminationwherethestudentsshouldhavearesponsefromtheexaminer(s)withinafewminutesandwheregradesweregiventothestudentswhentheylefttheexam.Wealsointendedtoprovidethestudentwiththepossib

51、ilityofgettingaresponseforeachexercisewithinafewminutes,sotheycouldcorrectanearlycorrectsolution.Thesecondset-up(whichweusetoday)isbasedonbothnumberofcorrectlysolvedexercisesandtheamountoftimetakentosolvethem.Anumberofdeadlinesaregiven.Ifthestudentwantsahighgradehe/shehastosolveanumberofexerciseswit

52、hinapre-specifiedtimelimit.Thecurrentexaminationprocessfollowsafewsteps:1. Thestudentsendsanexaminationrequestforanexercisetotheexaminer(s).2. Theexaminerscanreturnoneofthefollowingresults.Passed-thesolutioniscorrect.Incomplete-thesolutionhaserrors,andmustbecorrected.It'spossibletomakeanewattemp

53、tlater.-Fail-thesolutionisincorrectandthestudentisnotallowedtocontinuetoworkonthisexercise.Everyexaminationattemptandtheresultwillcontributetothefinalexamgrade,andthestudentisinformedofhis/hercurrentgrade.Ifthestudentsubmitsanewexaminationrequestonanadditionalexercisehe/shecanreachahighergrade.Thise

54、xaminationprocessisbuiltintoourcurrentAES,buttherules(timelimitsetc.)canbechangedforseparatecourses.Thismakesthesystemflexible.TimelimitsandgradingInthecoursesthissystemwastestedtherewerethreeexercisesineachexamandtherequirementsfordifferentgradeswere:Forthegrade5(excellent)thestudentmustcomplete:o3

55、exercisescorrectin3hoursoro2exercisescorrectin2hoursForthegrade4(verygood)thestudentmustcomplete:o2exercisescorrectin3hoursoro1exercisecorrectin1.5hoursForthegrade3(passed)thestudentmustcomplete:o1exercisecorrectin4hoursTheaboveset-uptogetherwiththeAESsupportgivesustheopportunitytogradethestudentsdu

56、ringtheexam.Studentswhohavesolvedanexerciseareinformedofthegradetheyhavereached.Iftheyaresatisfiedwiththatgradetheycanleavetheexam(manystudentsleaveafteronetotwohourswhentheyhavegrade4or5).StudentquestionsInanordinarycomputer-aidedexam,anumberofquestionsaresubmittedbythestudents,wheretheanswercaneit

57、herbeclassifiedaspersonalorasinterestingforallstudents.Theexaminercandecideifhe/shewillsendtheanswertothewholegroupofstudentsorjusttoaspecificstudent.Thenumberofquestionsseemstoberelativelyconstantduringtheexam(approximately2-5questionsper5minutes).Mostquestionsaresentinduringthebeginningoftheexam,w

58、hichcanbeexplainedbythefactthatthestudentsaskaboutspecificthingspertainingtotheexercisesandthattherearemorestudentsinthebeginningoftheexam.Submission/approvalattemptsInanordinarycomputer-aidedexamwehavealargenumberofexaminationrequestsfromthestudents.Aswecanseeinfigure3.1wehavearelativelyhighfrequen

59、cyintheperiodfrom30minutesto3hours.Afterthat,mostofthestudentsleave(theycan'tgetahighergradethan3afterthattime).Aroundthedeadlineswecanseethattheexaminationattemptsappearmoreoften,butnotsignificantlymoreoften.Still,theincreaseofexaminationrequestsleadstomoreworkfortheexaminers.Thiscanresultinanincreaseintheresponsetime(waitingtimeforthestudent).4EvaluationmethodsThedevelopmen