網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)與實(shí)現(xiàn)

1、    網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)與實(shí)現(xiàn)    摘要：目前我國網(wǎng)絡(luò)課程的評(píng)價(jià)指標(biāo)體系的可操作性不強(qiáng)，因而限制了其進(jìn)一步的推廣和完善。針對(duì)這鑒國外在線課程評(píng)價(jià)標(biāo)準(zhǔn)的研制思路，結(jié)合國內(nèi)外學(xué)者的研究成果，在分析網(wǎng)絡(luò)課程特性的基礎(chǔ)上提出了新的網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系；運(yùn)用層次分析法確定了各級(jí)指標(biāo)的權(quán)重，通過驗(yàn)證、檢測(cè)形成了包含4個(gè)維度、26個(gè)二級(jí)指標(biāo)的在線評(píng)價(jià)指標(biāo)體系。實(shí)驗(yàn)結(jié)果表明，在線評(píng)價(jià)指標(biāo)體系的權(quán)重評(píng)判的一致性程度理想，評(píng)價(jià)體系具有很強(qiáng)的操作性和開放性。關(guān)鍵詞：網(wǎng)絡(luò)課程，評(píng)價(jià)體系，設(shè)計(jì)，實(shí)現(xiàn)一、引言教育部提出了“實(shí)施現(xiàn)代遠(yuǎn)程教育工程，形成開放式教育網(wǎng)絡(luò)

2、，構(gòu)建終身學(xué)習(xí)體系”1，“建立和完善繼續(xù)教育制度，適應(yīng)終身學(xué)習(xí)和知識(shí)更新的需要。依托現(xiàn)代遠(yuǎn)程教育網(wǎng)絡(luò)開設(shè)高質(zhì)量的網(wǎng)絡(luò)課程，實(shí)現(xiàn)跨越時(shí)空的教育資源共享”2等一系列有力舉措。這些政策極大地調(diào)動(dòng)了遠(yuǎn)程教育工作者建設(shè)網(wǎng)絡(luò)課程的積極性，掀起了我國網(wǎng)絡(luò)課程建設(shè)的高潮。2002年教育部信息化標(biāo)準(zhǔn)技術(shù)委員會(huì)發(fā)布了關(guān)于網(wǎng)絡(luò)課程評(píng)價(jià)的教育信息化技術(shù)標(biāo)準(zhǔn)網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（標(biāo)準(zhǔn)草案征求意見稿），但這個(gè)規(guī)范在權(quán)重賦值等方面還不夠完善。一個(gè)科學(xué)的評(píng)價(jià)指標(biāo)體系，其構(gòu)建一般應(yīng)包括確定評(píng)價(jià)指標(biāo)、確定指標(biāo)權(quán)重、確定指標(biāo)標(biāo)準(zhǔn)三方面的內(nèi)容。3以往的網(wǎng)絡(luò)課程評(píng)價(jià)大多是對(duì)學(xué)習(xí)者學(xué)習(xí)成果的評(píng)價(jià)，本研究的側(cè)重點(diǎn)主要針對(duì)教學(xué)內(nèi)容、學(xué)習(xí)資源和寓

3、于內(nèi)容之中的教學(xué)策略和學(xué)習(xí)策略的評(píng)價(jià)，從系統(tǒng)論的角度出發(fā)，對(duì)涉及學(xué)生、教師、學(xué)習(xí)資料、網(wǎng)絡(luò)教學(xué)支撐系統(tǒng)、學(xué)習(xí)支持與服務(wù)系統(tǒng)中的各個(gè)部分的關(guān)聯(lián)情況和綜合性能進(jìn)行評(píng)價(jià)。4研究者通過對(duì)大量文獻(xiàn)資料的查閱與分析，總結(jié)國外網(wǎng)絡(luò)課程評(píng)價(jià)標(biāo)準(zhǔn)具有以下幾個(gè)特點(diǎn)：突出了交互的重要性。在網(wǎng)絡(luò)課程中，不僅師生之間在空間上是分離的，學(xué)習(xí)者之間也是分離的。重視對(duì)創(chuàng)設(shè)學(xué)習(xí)環(huán)境的情況的評(píng)價(jià)。網(wǎng)絡(luò)課程絕不是簡(jiǎn)單地把黑板、講臺(tái)、教材、圖書館搬到網(wǎng)上。網(wǎng)絡(luò)雖然是虛擬的，但人們卻可以通過這種虛擬把實(shí)質(zhì)存在的內(nèi)容乃至關(guān)系映射出來。教學(xué)管理與支持的評(píng)價(jià)內(nèi)容占很大比重。我國的“全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)教育技術(shù)分技術(shù)委員會(huì)”制定了一系

4、列與網(wǎng)絡(luò)教育密切相關(guān)的規(guī)范和標(biāo)準(zhǔn)，其中網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范被放在“教育管理”一類里，這說明評(píng)價(jià)具有監(jiān)督與管理的功能。技術(shù)方面的評(píng)價(jià)內(nèi)容比較少。國外標(biāo)準(zhǔn)與國內(nèi)構(gòu)建的評(píng)價(jià)標(biāo)準(zhǔn)明顯不同的一個(gè)特點(diǎn)就是在技術(shù)方面規(guī)定的評(píng)價(jià)內(nèi)容和權(quán)重比較少。這些標(biāo)準(zhǔn)主要的權(quán)重都集中在教學(xué)方面，重視網(wǎng)絡(luò)課程的可用性評(píng)價(jià)。標(biāo)準(zhǔn)實(shí)施的商業(yè)化。這是國外標(biāo)準(zhǔn)最突出的特點(diǎn)。標(biāo)準(zhǔn)制定出來了，如果不能得到廣泛使用，也就沒有什么價(jià)值。國外一般的做法是成立認(rèn)證中心。e-learning courseware certification（數(shù)字學(xué)習(xí)課件認(rèn)證）的制定者美國培訓(xùn)與發(fā)展協(xié)會(huì)(astd)作為國際化的培訓(xùn)協(xié)會(huì)，在網(wǎng)上建立了全套的網(wǎng)上認(rèn)證遞單系

5、統(tǒng)，以“幫助用戶做購買決策，幫助廠家增強(qiáng)市場(chǎng)競(jìng)爭(zhēng)力，全面提高e-learning課程質(zhì)量”為口號(hào)，接收所有人的申請(qǐng)，提供價(jià)值不菲的課程評(píng)估，每門課程的評(píng)估費(fèi)用根據(jù)課程教學(xué)時(shí)間長短而定。因?yàn)榫W(wǎng)上課程評(píng)估需要專家的參與，并不能完全成為生產(chǎn)線操作，所以成本會(huì)很高。而且，這些指標(biāo)是取得好的教學(xué)效果的必要條件，但不是充分條件，最好將其作為引導(dǎo)性的規(guī)范，而不是營利性的產(chǎn)品?？疾煲陨纤榻B的網(wǎng)絡(luò)課程評(píng)價(jià)研究，研究者發(fā)現(xiàn)，國外的大部分網(wǎng)絡(luò)課程評(píng)價(jià)方案關(guān)注的是學(xué)習(xí)環(huán)境或網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)，并非對(duì)網(wǎng)絡(luò)課程本身的評(píng)價(jià)?！熬W(wǎng)絡(luò)課程”似乎是中國教育界特有的稱謂，在國外相關(guān)的文獻(xiàn)資料中我們只能看到類似的一些概念，如在線課程(o

6、nline course)、基于網(wǎng)絡(luò)的課程(web-based course)等。所以對(duì)于網(wǎng)絡(luò)課程本身來說，依舊缺乏標(biāo)準(zhǔn)或質(zhì)量認(rèn)證體系。同時(shí)，不能直接奉行“拿來主義”，中國有自己的國情和網(wǎng)絡(luò)教育發(fā)展的特點(diǎn)，在參考國外資料的同時(shí)，應(yīng)該進(jìn)行本土化的改造工作，融入具有中國教育特色的內(nèi)容和先進(jìn)的教育教學(xué)評(píng)價(jià)理論，使之更適合評(píng)價(jià)我們自己的網(wǎng)絡(luò)課程。目前除評(píng)價(jià)標(biāo)準(zhǔn)、指標(biāo)體系的建立之外，評(píng)價(jià)實(shí)施的過程也存在一些問題：一是評(píng)價(jià)者單一，一般都是在教育部門進(jìn)行統(tǒng)一評(píng)估時(shí)，參與者提交自己的課程，然后由組織者聘請(qǐng)遠(yuǎn)程教育專家采用商定的統(tǒng)一指標(biāo)體系進(jìn)行評(píng)價(jià)。這樣的方式忽略了使用網(wǎng)絡(luò)課程的學(xué)習(xí)者和教師的使用感受和意見，而

7、課程的科學(xué)性也需要本學(xué)科的專家來鑒定，這種只采用遠(yuǎn)程教育專家評(píng)價(jià)的方式顯然不夠全面和公正。二是評(píng)價(jià)方法主要采用量化評(píng)價(jià)法，缺少定性評(píng)價(jià)和分析。由于考慮到可操作性和客觀性，大多采用指標(biāo)量表進(jìn)行評(píng)價(jià)，以避免主觀隨意性，但是這種量表不能反映出指標(biāo)體系之外的內(nèi)容，不能廣泛地收集意見和建議。如何協(xié)調(diào)好主觀和客觀的關(guān)系，明確定性分析和定量分析的比例，設(shè)計(jì)出既避免主觀隨意性又能收集廣泛意見的評(píng)價(jià)指標(biāo)體系，是目前網(wǎng)絡(luò)課程評(píng)價(jià)工作的重點(diǎn)和難點(diǎn)。本研究的評(píng)價(jià)標(biāo)準(zhǔn)依據(jù)的是美國密歇根虛擬大學(xué)（michigan virtual university）制定的一套在線教學(xué)設(shè)計(jì)( online instruction des

8、ign)評(píng)價(jià)標(biāo)準(zhǔn)，以下簡(jiǎn)稱mvu-oid標(biāo)準(zhǔn)。5該標(biāo)準(zhǔn)認(rèn)為，在評(píng)價(jià)任何一門網(wǎng)絡(luò)課程以前，首先要確定這門網(wǎng)絡(luò)課程的開放程度如何，不同的開放程度將導(dǎo)致不同的課程呈現(xiàn)方式，因而也應(yīng)有不同的評(píng)價(jià)方式。除了理念之外，這套標(biāo)準(zhǔn)最大的特點(diǎn)就是具有很強(qiáng)的可操作性和實(shí)用性，開發(fā)者把它做成excel電子數(shù)據(jù)表，簡(jiǎn)便易用，評(píng)價(jià)者只需到相應(yīng)的網(wǎng)址注冊(cè)即可免費(fèi)獲得該評(píng)價(jià)工具。教學(xué)要素包含目標(biāo)、解釋、例證、實(shí)踐、反饋和評(píng)估；強(qiáng)調(diào)績效對(duì)于學(xué)習(xí)過程的重要性；開發(fā)者把真實(shí)的學(xué)習(xí)看作可測(cè)量的而且必須被測(cè)量，所有在線教學(xué)活動(dòng)應(yīng)該能夠通過測(cè)試來發(fā)現(xiàn)它們是否有效。比如從“你是否喜歡這個(gè)課程”到“你在關(guān)于你是否學(xué)習(xí)了某些東西的評(píng)價(jià)方面得

9、了多少分”的改變。需要指出的是，mvu-oid標(biāo)準(zhǔn)中的教學(xué)設(shè)計(jì)與通常所說的教學(xué)設(shè)計(jì)有所不同。傳統(tǒng)意義上的教學(xué)設(shè)計(jì)一般是指教學(xué)需求分析、學(xué)習(xí)者分析、教學(xué)內(nèi)容分析、策略選擇、媒體選擇、評(píng)價(jià)工具制定、實(shí)行評(píng)價(jià)和修改等步驟和過程。但mvu-oid評(píng)價(jià)工具中的教學(xué)設(shè)計(jì)評(píng)價(jià)更多是從網(wǎng)絡(luò)課程在學(xué)生完成預(yù)期學(xué)習(xí)目標(biāo)上的輔助和指導(dǎo)作用出發(fā)的，而且這些指標(biāo)與課程的目標(biāo)直接相關(guān)。6二、mvu-oid標(biāo)準(zhǔn)分析（一）維度和一級(jí)指標(biāo)mvu-oid包含四個(gè)維度，即技術(shù)性(t)、可及性(a)、可用性(u)和教學(xué)設(shè)計(jì)(id)。7每個(gè)維度下又包含若干一級(jí)指標(biāo)。技術(shù)性維度包含三個(gè)一級(jí)指標(biāo)，分別是t1（技術(shù)要求的確定）、t2（學(xué)習(xí)者

10、技能的確定）、t3（技術(shù)的功能性）?？杉靶跃S度包含a1（基本內(nèi)容）、a2（表格和框架）、a3（媒體）三個(gè)一級(jí)指標(biāo)?？捎眯跃S度包含五個(gè)一級(jí)指標(biāo)，分別是u1（界面的一致性）、u2（學(xué)習(xí)者支持）、u3（導(dǎo)航的有效性和高效性）、u4（圖形和多媒體的功能）、u5（交流的整合）。教學(xué)設(shè)計(jì)維度包含十三個(gè)一級(jí)指標(biāo)，分別是f（回憶事實(shí)）、e（回憶元素）、c1（回憶概念）、c2（辨認(rèn)概念）、c3（應(yīng)用概念）、k1（回憶任務(wù)）、k2（辨認(rèn)任務(wù)）、k3（執(zhí)行任務(wù)）、p1（回憶原理）、p2（辨認(rèn)原理）、p3（應(yīng)用原理）、m（產(chǎn)生方法）、s（產(chǎn)生解決方案）。（二）二級(jí)指標(biāo)mvu-oid中的24個(gè)一級(jí)指標(biāo)又細(xì)分為107個(gè)二

11、級(jí)指標(biāo)，幾乎考慮到了每個(gè)細(xì)節(jié)問題。由于篇幅有限，研究者以技術(shù)性維度為例，展示其設(shè)計(jì)的二級(jí)指標(biāo)，如表1。二級(jí)指標(biāo)的評(píng)分采用5點(diǎn)評(píng)分，5分最高，3分居中，1分最差。（三）關(guān)于權(quán)重mvu-oid根據(jù)各個(gè)一級(jí)指標(biāo)在一門課程里發(fā)揮作用的重要性不同給出了不同的權(quán)重分配。權(quán)重分為三級(jí)：m（mild，輕微）、s（serious，重要）、f（fatal，相當(dāng)重要）。開發(fā)者對(duì)其中一些一級(jí)指標(biāo)的權(quán)重有明確的規(guī)定：t2、t3、u2、u4以及全部的可及性一級(jí)指標(biāo)均無權(quán)重；u1的權(quán)重為輕微，u3的權(quán)重為重要。教學(xué)設(shè)計(jì)的全部一級(jí)指標(biāo)權(quán)重均為重要。另外，還有兩個(gè)一級(jí)指標(biāo)（t1和u5）的權(quán)重開發(fā)者沒有規(guī)定，而是留待評(píng)價(jià)者自行規(guī)

12、定。以t1.3為例，說明是：“任何水平的聲卡和音箱都可以滿足要求，權(quán)重為輕微；要求高級(jí)的聲卡、音箱或要求附加的聲音設(shè)備，權(quán)重為重要?！边@里的權(quán)重給得是否準(zhǔn)確，在相當(dāng)程度上會(huì)影響到最終的評(píng)價(jià)結(jié)果的精確性，如表2。三、網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)與實(shí)現(xiàn)本研究希望借鑒mvu的研究思路，創(chuàng)建一套簡(jiǎn)便易行的網(wǎng)絡(luò)課程評(píng)價(jià)指標(biāo)體系。（一）網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)整個(gè)指標(biāo)體系的確立分為兩個(gè)階段。第一階段，利用文獻(xiàn)綜述法和內(nèi)容分析法充分調(diào)研國內(nèi)國外在不同時(shí)期構(gòu)建的較有代表性的評(píng)價(jià)標(biāo)準(zhǔn)，從中選取有借鑒意義的內(nèi)容，并綜合不同評(píng)價(jià)標(biāo)準(zhǔn)中共同強(qiáng)調(diào)的內(nèi)容，以此確定新指標(biāo)體系的基本維度。在此基礎(chǔ)上，再用理論推演法擬

13、出二級(jí)指標(biāo)，形成初步完整的框架。在初步整理出指標(biāo)體系的原始框架后，對(duì)有關(guān)的文字表述進(jìn)行修正或厘清，以避免表達(dá)不清、有歧義或含義不全等問題。然后，再反復(fù)與本專業(yè)的教師及研究生討論各項(xiàng)指標(biāo)的必要性及針對(duì)性，經(jīng)過多次討論，確定表3中呈現(xiàn)的評(píng)價(jià)指標(biāo)體系。在各個(gè)具體指標(biāo)的評(píng)價(jià)上采取5級(jí)評(píng)分標(biāo)準(zhǔn)，完全符合標(biāo)準(zhǔn)為5分，完全不符合標(biāo)準(zhǔn)為1分，中間分?jǐn)?shù)代表符合標(biāo)準(zhǔn)的不同中間程度。這樣，整體評(píng)價(jià)結(jié)果的滿分為5分。我們將4.5分以上評(píng)定為“優(yōu)”，將4 0分以上評(píng)定為“良”，將3.o分以上評(píng)定為“中”，將3.0分以下評(píng)定為“差”。第二階段，采用問卷調(diào)查法在較大范圍內(nèi)對(duì)指標(biāo)體系框架進(jìn)行多次討論和修改。討論的參與者包括部

14、分專家教授、網(wǎng)絡(luò)課程授課教師以及使用網(wǎng)絡(luò)課程的學(xué)習(xí)者等各類人員，他們從各自不同的角度來討論初步確定的指標(biāo)體系框架是否科學(xué)合理，是否需要修改，需要怎樣修改，等等。（二）網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系的實(shí)現(xiàn)評(píng)價(jià)指標(biāo)體系確定以后，接下來就需要確定權(quán)重。權(quán)重也稱權(quán)數(shù)，是指某一項(xiàng)指標(biāo)在整個(gè)指標(biāo)體系中的重要性程度。在本研究中，采用層次分析法，通過專家評(píng)判法確定權(quán)重。在小范圍內(nèi)請(qǐng)專家對(duì)各級(jí)指標(biāo)進(jìn)行重要性的比較，從而確定權(quán)重賦值的規(guī)則，如表4。匯總結(jié)果后整理出如下所示的判斷矩陣。首先是各維度的判斷矩陣及其歸一化處理結(jié)果，如表5、表6所示。由歸一矩陣算得max=4.222，則ci=（-n）（n-)=0.074，查隨機(jī)

15、一致性指標(biāo)，可知rl為0.90。故而cr=ci/r1=0.082<0.1，表明權(quán)重的判斷具有理想的內(nèi)部一致性，如表7。cr=0.082<0.1，表明權(quán)重評(píng)判的一致性程度理想，接下來，對(duì)課程內(nèi)容與資源維度的二級(jí)指標(biāo)權(quán)重進(jìn)行分析計(jì)算，如表8。對(duì)判斷矩陣進(jìn)行歸一處理，獲得歸一矩陣，如表9。由歸一矩陣算得max=5.184，則ci=（一n）（n-l）=0.046，查隨機(jī)一致性指標(biāo)，可知rl為1.12。故而cr=ci/r1=0.041<0.1，表明權(quán)重評(píng)判的一致性程度理想。然后，對(duì)教學(xué)設(shè)計(jì)維度的二級(jí)指標(biāo)權(quán)重加以分析計(jì)算，如表10。對(duì)判斷矩陣進(jìn)行歸一處理，獲得歸一矩陣，如表11。由歸一矩

16、陣算得max=7.138，則ci=（-n）（n-1）=0.023，查隨機(jī)一致性指標(biāo)，可知r1為1.32。故而cr=ci/r1=0.017<0.1，表明權(quán)重評(píng)判的一致性程度理想。接下來計(jì)算學(xué)習(xí)管理維度的權(quán)重，如表12。對(duì)判斷矩陣進(jìn)行歸一處理，獲得歸一矩陣，如表13。由歸一矩陣算得max=5.189，則ci=（-n）（n-l）=0.047查隨機(jī)一致性指標(biāo)，可知rl為1.12。故而cr=gi/r1=0.042<0.1，表明權(quán)重評(píng)判的一致性程度理想。最后，計(jì)算網(wǎng)絡(luò)技術(shù)維度的權(quán)重，如表14。對(duì)判斷矩陣進(jìn)行歸一處理，獲得歸一矩陣，如表15。由歸一矩陣算得max=9.672，則ci=（-n）（n

17、-1）=0.084，查隨機(jī)一致性指標(biāo)，可知r1為1.45。故而cr=ci/r1=0.058<0.1，表明權(quán)重評(píng)判的一致性程度理想。最后，我們將上述權(quán)重的評(píng)定結(jié)果加以整理，形成本研究所得的網(wǎng)絡(luò)課程評(píng)價(jià)指標(biāo)體系，如表16。四、檢測(cè)與評(píng)價(jià)為了檢驗(yàn)開發(fā)出來的評(píng)價(jià)指標(biāo)體系的有效性和適用性，本研究隨機(jī)選擇了10門網(wǎng)絡(luò)課程（10門課程依次命名為a、b、c、d、e、f、g、h、i、j）進(jìn)行評(píng)價(jià)。選擇方法是在百度搜索網(wǎng)頁中輸入“網(wǎng)絡(luò)課程”作為關(guān)鍵詞，在搜索結(jié)果中隨機(jī)打開一些網(wǎng)絡(luò)課程，最終找到了以下10門網(wǎng)絡(luò)課程，它們均可以遠(yuǎn)程訪問。然后，由兩位教育評(píng)價(jià)方面的專家使用本研究開發(fā)的評(píng)價(jià)指標(biāo)體系獨(dú)立進(jìn)行評(píng)價(jià)，然

18、后對(duì)比評(píng)價(jià)結(jié)果，以此來檢驗(yàn)本評(píng)價(jià)指標(biāo)體系的信度和效度。a“大學(xué)計(jì)算機(jī)基礎(chǔ)”、b“計(jì)算機(jī)網(wǎng)絡(luò)”、c“教育學(xué)”、d“中國舞蹈”、e“高中語文”、f“大學(xué)體育”、g“網(wǎng)站網(wǎng)頁初學(xué)”、h“網(wǎng)站設(shè)計(jì)與網(wǎng)頁制作”、i“電子政務(wù)”、j“教育技術(shù)學(xué)導(dǎo)論”。兩位評(píng)價(jià)者分別稱之為評(píng)價(jià)者1和評(píng)價(jià)者2。其中，評(píng)價(jià)者1的評(píng)價(jià)結(jié)果如表17所示。從評(píng)價(jià)者1的結(jié)果匯總表反映的情況來看，10門網(wǎng)絡(luò)課程的質(zhì)量參差不齊2門課程評(píng)價(jià)結(jié)果為“差”（分別是“高中語文”“網(wǎng)站設(shè)計(jì)與網(wǎng)頁制作”），4門課程評(píng)價(jià)結(jié)果為“中”（分別是“大學(xué)計(jì)算機(jī)基礎(chǔ)”“教育學(xué)”“大學(xué)體育”和“網(wǎng)站網(wǎng)頁初學(xué)”），3門課程評(píng)價(jià)結(jié)果為“良”（分別是“計(jì)算機(jī)網(wǎng)絡(luò)”“中國

19、舞蹈”和“電子政務(wù)”），1門課程評(píng)價(jià)結(jié)果為“優(yōu)”（“教育技術(shù)學(xué)導(dǎo)論”），而“教育技術(shù)學(xué)導(dǎo)論”也是這10門課程中唯一的一門國家級(jí)精品課程。下面是評(píng)價(jià)者2對(duì)10門課程評(píng)價(jià)結(jié)果的匯總表。如表18。從評(píng)價(jià)者2的結(jié)果匯總表反映的情況來看，10門網(wǎng)絡(luò)課程的質(zhì)量同樣參差不齊，但是具體情況與評(píng)價(jià)者1的結(jié)果略有出入-2門課程評(píng)價(jià)結(jié)果為“差”（分別是“高中語文”“網(wǎng)站設(shè)計(jì)與網(wǎng)頁制作”），4門課程評(píng)價(jià)結(jié)果為“中”（分別是“大學(xué)計(jì)算機(jī)基礎(chǔ)”“教育學(xué)”“大學(xué)體育”和“網(wǎng)站網(wǎng)頁初學(xué)”），2門課程評(píng)價(jià)結(jié)果為“良”（分別是“中國舞蹈”和“電子政務(wù)”），2門課程評(píng)價(jià)結(jié)果為“優(yōu)”（分別是“計(jì)算機(jī)網(wǎng)絡(luò)”和“教育技術(shù)學(xué)導(dǎo)論”）。對(duì)照兩位評(píng)價(jià)者的評(píng)價(jià)結(jié)果，可以看到二者具有較高的一致性：從評(píng)價(jià)等級(jí)來看，有9門課程的評(píng)價(jià)等級(jí)相同，只有“計(jì)算機(jī)網(wǎng)絡(luò)”課程被評(píng)價(jià)者1評(píng)為“良”，被評(píng)價(jià)者2評(píng)為“優(yōu)”。具體到最終結(jié)果的分?jǐn)?shù)上，每門課程的得分其實(shí)也只有細(xì)微的差異。這樣的結(jié)果表明：第一，評(píng)價(jià)體系中的每個(gè)指標(biāo)提供的評(píng)價(jià)標(biāo)準(zhǔn)是清晰具體的，便于評(píng)價(jià)者理解；第二，每個(gè)指標(biāo)提供的評(píng)價(jià)標(biāo)準(zhǔn)是客觀的，便于評(píng)價(jià)者操作。所以，這一步的檢測(cè)工作表明本研究研制的評(píng)價(jià)指標(biāo)體系具有較好的可操作性。五、總結(jié)與展望評(píng)價(jià)研究要想取得實(shí)質(zhì)性的突破，必須采用開放研究的思路，采用理論與實(shí)證交互循環(huán)的思路。本研究正是遵循該研究思路，在總結(jié)有關(guān)前人研究的基礎(chǔ)上，采用文獻(xiàn)分析法和