遠(yuǎn)程教育項(xiàng)目評(píng)價(jià)策略和方法(上)

1、    遠(yuǎn)程教育項(xiàng)目評(píng)價(jià)策略和方法(上)    摘要根據(jù)遠(yuǎn)程教育項(xiàng)目廣泛開展的現(xiàn)實(shí)情況，本文介紹了當(dāng)前國(guó)際上遠(yuǎn)程教育項(xiàng)目評(píng)價(jià)的策略和方法，包括折衷策略以及由其衍生的6c評(píng)價(jià)法、aeiou評(píng)價(jià)法及這些方法的應(yīng)用實(shí)例，希望本研究成果能有助于促進(jìn)我國(guó)遠(yuǎn)程教育項(xiàng)目評(píng)價(jià)的系統(tǒng)性、有效性和科學(xué)性。關(guān)鍵詞遠(yuǎn)程教育項(xiàng)目，評(píng)價(jià)，6c評(píng)價(jià)法，aeiou評(píng)價(jià)法近年來(lái)得益于信息技術(shù)的發(fā)展和廣泛應(yīng)用，遠(yuǎn)程教育在世界各國(guó)、各地區(qū)得到大力開展和積極發(fā)展，并產(chǎn)生了大量的、各種各樣的遠(yuǎn)程教育項(xiàng)目。為了確保遠(yuǎn)程教育項(xiàng)目有效、有序的開展，國(guó)際遠(yuǎn)程教育界已經(jīng)形成了一些成熟、系統(tǒng)的評(píng)價(jià)策略和方法

2、，因此，本文通過(guò)對(duì)相關(guān)文獻(xiàn)的分析和綜述，介紹了折衷主義的評(píng)價(jià)策略及其衍生的兩種評(píng)價(jià)方法，希望能對(duì)我國(guó)遠(yuǎn)程教育項(xiàng)目的評(píng)價(jià)有所借鑒。遠(yuǎn)程教育項(xiàng)目及其評(píng)價(jià)的必要性遠(yuǎn)程教育項(xiàng)目泛指所有根據(jù)一定目標(biāo)設(shè)計(jì)和實(shí)施的、有計(jì)劃的、有組織的遠(yuǎn)程教育課程計(jì)劃、遠(yuǎn)程教育實(shí)踐項(xiàng)目、遠(yuǎn)程教育培訓(xùn)活動(dòng)、遠(yuǎn)程教育推廣應(yīng)用項(xiàng)目和遠(yuǎn)程教育技術(shù)應(yīng)用項(xiàng)目等。這些項(xiàng)目按照主持機(jī)構(gòu)的行政級(jí)別可分為國(guó)際、國(guó)家、地區(qū)、機(jī)構(gòu)等的項(xiàng)目；按照項(xiàng)目的教育層次可分為基礎(chǔ)教育、高等教育、職業(yè)教育等的項(xiàng)目；按照進(jìn)行目的可分為學(xué)歷教育、培訓(xùn)認(rèn)證、技術(shù)應(yīng)用、教學(xué)改革等的項(xiàng)目。但是無(wú)論如何進(jìn)行分類，遠(yuǎn)程教育項(xiàng)目都應(yīng)具備以下共同特點(diǎn)：明確的目標(biāo)、清楚的計(jì)劃、組織

3、合理的項(xiàng)目機(jī)構(gòu)、正常的運(yùn)作、有明顯效果、充足并使用合理的資金，以及系統(tǒng)的項(xiàng)目管理。如果一個(gè)遠(yuǎn)程教育項(xiàng)目不具備這些特點(diǎn)，可能會(huì)造成人財(cái)物的浪費(fèi)，使參與項(xiàng)目的投資者和學(xué)習(xí)者的利益受到損害，特別是那些投資大、影響范圍大、涉及人員多的遠(yuǎn)程教育項(xiàng)目。因此，為了保證項(xiàng)目能具備以上特點(diǎn)必須依靠科學(xué)、系統(tǒng)的評(píng)價(jià)策略和方法。在美國(guó)，國(guó)家及各州政府都出巨資建立遠(yuǎn)程教育的基礎(chǔ)設(shè)施，并推動(dòng)遠(yuǎn)程教育在全國(guó)(州)的開展和進(jìn)行，如在愛荷華州及南達(dá)科他州相繼開展的明星學(xué)校遠(yuǎn)程教育項(xiàng)目都是持續(xù)進(jìn)行多年、耗資數(shù)百萬(wàn)美元的大型遠(yuǎn)程教育項(xiàng)目。在中國(guó)，正在進(jìn)行的現(xiàn)代遠(yuǎn)程教育試點(diǎn)工程、農(nóng)村中小學(xué)現(xiàn)代遠(yuǎn)程教育工程、中國(guó)和聯(lián)合國(guó)兒童基金會(huì)聯(lián)

4、合開展的遠(yuǎn)程教育項(xiàng)目“姊妹學(xué)?！表?xiàng)目等也都是具有相當(dāng)規(guī)模和影響，并動(dòng)用了大量人力、物力和財(cái)力資源的遠(yuǎn)程教育項(xiàng)目。那么，這些項(xiàng)目是否按照項(xiàng)目目標(biāo)和計(jì)劃進(jìn)行，項(xiàng)目的具體進(jìn)展情況如何，出現(xiàn)了什么樣的問題，應(yīng)該做什么調(diào)整，項(xiàng)目帶來(lái)了什么樣的效益，項(xiàng)目進(jìn)行中發(fā)生了什么突發(fā)問題和意外情況，如何確定項(xiàng)目是否取得成效，如何確保項(xiàng)目資金和人才資源合理利用等等。這些問題的答案都無(wú)法僅僅通過(guò)簡(jiǎn)單的回答、調(diào)查、項(xiàng)目進(jìn)行者單方面的報(bào)告、項(xiàng)目進(jìn)行中的一些數(shù)字而得到，但它們又是項(xiàng)目開展過(guò)程中和項(xiàng)目結(jié)束總結(jié)時(shí)對(duì)項(xiàng)目進(jìn)行評(píng)價(jià)必須掌握的問題。怎樣才能準(zhǔn)確和客觀地了解這些問題呢?通過(guò)文獻(xiàn)調(diào)研發(fā)現(xiàn)，現(xiàn)在國(guó)際上常用的方法是進(jìn)行折衷主義

5、的、持續(xù)的、系統(tǒng)的項(xiàng)目評(píng)價(jià)，經(jīng)過(guò)多年的發(fā)展和實(shí)踐以后，有關(guān)研究者已經(jīng)總結(jié)出了一定的策略和方法，并很好地應(yīng)用在了各種規(guī)模和類型的遠(yuǎn)程教育項(xiàng)目的評(píng)價(jià)中。遠(yuǎn)程教育項(xiàng)目評(píng)價(jià)的策略和方法在英國(guó)開放大學(xué)，項(xiàng)目評(píng)價(jià)是指系統(tǒng)地調(diào)查某個(gè)遠(yuǎn)程教育項(xiàng)目的優(yōu)點(diǎn)和價(jià)值，以及它們與其它可選方案相比可能帶來(lái)的提升等系列活動(dòng)。在其項(xiàng)目的評(píng)價(jià)過(guò)程中有兩種可選的策略。第一種策略是傳統(tǒng)的、實(shí)證主義、經(jīng)驗(yàn)主義的策略，這種策略試圖應(yīng)用物理學(xué)的方法和過(guò)程進(jìn)行項(xiàng)目評(píng)價(jià)；第二種策略是一種折衷的評(píng)價(jià)策略，這種策略綜合使用質(zhì)性和量性的研究方法進(jìn)行遠(yuǎn)程教育項(xiàng)目的評(píng)價(jià)。傳統(tǒng)的評(píng)價(jià)策略使用的是實(shí)驗(yàn)方法，通過(guò)實(shí)驗(yàn)來(lái)決定遠(yuǎn)程教育項(xiàng)目的效力。其實(shí)這種評(píng)價(jià)策

6、略從一開始起就已經(jīng)是根據(jù)評(píng)價(jià)者心目中的基本要求來(lái)進(jìn)行的了。首先，評(píng)價(jià)者精確地選出進(jìn)行比較的樣本，建立了必需的控制，變量也是從要收集的數(shù)據(jù)中選取出來(lái)的；然后，選取和設(shè)計(jì)對(duì)變量進(jìn)行客觀測(cè)試的方案，并在項(xiàng)目實(shí)施之前、之中和之后不斷地收集數(shù)據(jù)；最后，評(píng)價(jià)者會(huì)根據(jù)這些數(shù)據(jù)進(jìn)行分析，完成評(píng)價(jià)報(bào)告。這種評(píng)價(jià)策略的結(jié)果常常是對(duì)從兩個(gè)或更多個(gè)不同組別學(xué)習(xí)者處所收集到的數(shù)據(jù)進(jìn)行比較，例如通過(guò)對(duì)遠(yuǎn)程學(xué)習(xí)者與接受常規(guī)教育的學(xué)習(xí)者進(jìn)行比較，然后總結(jié)出遠(yuǎn)程教育活動(dòng)的作用。最近，在英國(guó)開放大學(xué)等機(jī)構(gòu)，人們開始使用另外一種策略評(píng)價(jià)遠(yuǎn)程教育項(xiàng)目。這種策略的提倡者堅(jiān)持一個(gè)基本的觀點(diǎn)：即反對(duì)傳統(tǒng)的量化評(píng)價(jià)過(guò)程和方法，而在評(píng)價(jià)活動(dòng)中

7、加入更多對(duì)全局進(jìn)行了解和觀察的自然方法。這種評(píng)價(jià)策略通常使用聚焦小組、訪談、觀察和文獻(xiàn)收集調(diào)研等方法收集評(píng)價(jià)的信息，從而獲得對(duì)與遠(yuǎn)程教育活動(dòng)相關(guān)的事物更多層次、更多維度、更多方面的理解。woodley和kirkwood(1986)將遠(yuǎn)程教育項(xiàng)目的評(píng)價(jià)總結(jié)為一種相當(dāng)折衷的過(guò)程，即通過(guò)利用各種與遠(yuǎn)程教育項(xiàng)目需要和評(píng)價(jià)活動(dòng)相匹配的方法和過(guò)程來(lái)完成評(píng)價(jià)。從實(shí)踐的立場(chǎng)來(lái)看，現(xiàn)在的評(píng)價(jià)大多采用這種綜合質(zhì)性和量性研究的方法來(lái)進(jìn)行的。當(dāng)然，評(píng)價(jià)活動(dòng)中仍然需要進(jìn)行數(shù)據(jù)收集及統(tǒng)計(jì)分析，但同時(shí)也需要理解觀點(diǎn)和聆聽不同的看法。遠(yuǎn)程教育評(píng)價(jià)活動(dòng)要與項(xiàng)目的需要相匹配。目前，綜合運(yùn)用質(zhì)性和量性研究方法的評(píng)價(jià)方法主要有兩種：

8、6c評(píng)價(jià)法和aeiou評(píng)價(jià)法，下面分別對(duì)它們進(jìn)行介紹。6c評(píng)價(jià)法6c評(píng)價(jià)法(six categories of evaluation)是指對(duì)評(píng)價(jià)項(xiàng)目的具體行為、效力、效果、項(xiàng)目目標(biāo)、方針和組織情況等六個(gè)范疇來(lái)進(jìn)行評(píng)價(jià)。(simonson et al.，2003)6c評(píng)價(jià)法所需要的信息都可以從遠(yuǎn)程教育項(xiàng)目的各項(xiàng)活動(dòng)中獲得。1)具體行為的評(píng)量具體行為的評(píng)量方法是指對(duì)項(xiàng)目中各種人、事、物有關(guān)的數(shù)字進(jìn)行計(jì)算分析。項(xiàng)目進(jìn)行中行政管理的記錄和文件都可以提供關(guān)于人、事、物的有效數(shù)據(jù)。這方面要了解的問題有：·開發(fā)了多少課程？·為多少學(xué)生提供了服務(wù)？·有多少學(xué)生存在流失的可能性?2

9、)效力的評(píng)量效力的評(píng)量與對(duì)項(xiàng)目具體行為的調(diào)查是非常相關(guān)的。通常行政上的記錄能成為提供效力評(píng)價(jià)信息的資源。這方面要了解的問題有：·有多少學(xué)生成功地完成了課程的學(xué)？·學(xué)生的平均學(xué)習(xí)量有多少？·參加后續(xù)課程的學(xué)生有多少？·課程學(xué)習(xí)的花費(fèi)是多少？·學(xué)費(fèi)是多少?3)效果的評(píng)量足夠的學(xué)習(xí)測(cè)量通常被認(rèn)為是測(cè)量遠(yuǎn)程教育項(xiàng)目學(xué)習(xí)效果的一個(gè)最重要的方法。通常，評(píng)價(jià)者通過(guò)與學(xué)習(xí)者進(jìn)行訪談來(lái)了解他們學(xué)業(yè)和學(xué)習(xí)的情況，并了解學(xué)習(xí)者對(duì)遠(yuǎn)程教育活動(dòng)的感覺和理解。通過(guò)郵件進(jìn)行調(diào)查是從學(xué)習(xí)者那里收集關(guān)于學(xué)習(xí)效果方面信息的另一個(gè)有效方法，其它測(cè)量效果的方法還有學(xué)生借款文件的文檔、

10、課程使用情況和課程材料被其他機(jī)構(gòu)使用的情況等。另外，附加課程中學(xué)生的注冊(cè)情況，某課程推出后有了系列類似課程等情況也能說(shuō)明遠(yuǎn)程教育活動(dòng)的效果。4)項(xiàng)目目標(biāo)的評(píng)量一些遠(yuǎn)程教育項(xiàng)目詳細(xì)地說(shuō)明了項(xiàng)目目標(biāo)，包括教什么內(nèi)容，教什么人，教到什么程度等。對(duì)這類信息的收集主要是要了解項(xiàng)目目標(biāo)在多大范圍內(nèi)得到實(shí)現(xiàn)。遠(yuǎn)程教育項(xiàng)目最普通的一個(gè)目標(biāo)就是要為遠(yuǎn)程學(xué)習(xí)者所準(zhǔn)備的，而不是為普通學(xué)生準(zhǔn)備的，對(duì)學(xué)習(xí)者進(jìn)行調(diào)查和測(cè)量可以獲得這方面的信息。5)方針措施的評(píng)量對(duì)方針措施的評(píng)價(jià)通常利用市場(chǎng)研究的表格來(lái)進(jìn)行。對(duì)預(yù)期學(xué)生和職員的調(diào)查可用于決定社會(huì)對(duì)某遠(yuǎn)程教育項(xiàng)目和活動(dòng)的需求。方針措施的評(píng)量活動(dòng)也包括監(jiān)控。通過(guò)了解學(xué)生參與情況

11、可以了解學(xué)費(fèi)是否太高，項(xiàng)目是否提供了合適的課程，課程進(jìn)行中是否存在阻礙和不足(如缺乏計(jì)算機(jī)或沒有圖書館)。有時(shí)對(duì)方針政策的評(píng)價(jià)能用來(lái)判斷項(xiàng)目是否成功，可通過(guò)對(duì)那些低成就的人和那些某個(gè)項(xiàng)目中不合格學(xué)生進(jìn)行調(diào)查。方針政策評(píng)價(jià)的目的是決定是否需要某些過(guò)程，是否需要對(duì)其做改變，或是否需要發(fā)展新的方針政策。6)組織機(jī)構(gòu)的評(píng)量評(píng)價(jià)一個(gè)遠(yuǎn)程教育機(jī)構(gòu)內(nèi)部的組織機(jī)構(gòu)和運(yùn)行程序是很必要的。評(píng)價(jià)者經(jīng)常需要監(jiān)控課程發(fā)展的過(guò)程或遠(yuǎn)程教育項(xiàng)目發(fā)送的過(guò)程，以幫助這個(gè)機(jī)構(gòu)運(yùn)作得更高效。這個(gè)范疇的評(píng)價(jià)要求進(jìn)行實(shí)地考察、訪談，有時(shí)還可以采用閱讀關(guān)鍵負(fù)責(zé)人工作日志的方法來(lái)收集有關(guān)信息。aeiou評(píng)價(jià)法aeiou評(píng)價(jià)法是從項(xiàng)目的責(zé)任

12、履行(accountability)、成效(effectiveness)、作用(1mpact)、組織 (organizational context)和未曾預(yù)料到的結(jié)果(unanticipated consequences)等五個(gè)方面來(lái)評(píng)價(jià)一個(gè)遠(yuǎn)程教育項(xiàng)目的實(shí)施。sweeney(1995)提倡對(duì)遠(yuǎn)程教育項(xiàng)目評(píng)價(jià)要用一種折衷的評(píng)價(jià)策略，這種策略也得到了渥爾遜和桑德斯(worthen & sanders，1987)的支持。aeiou評(píng)價(jià)法就是這樣一種動(dòng)態(tài)、折衷的評(píng)價(jià)方法，它允許評(píng)價(jià)者根據(jù)項(xiàng)目的實(shí)際情況有計(jì)劃地安排評(píng)價(jià)過(guò)程。此外，aeiou評(píng)價(jià)方法提供了能進(jìn)行有效評(píng)價(jià)所必須掌握的一系列關(guān)鍵問

13、題的框架。有的評(píng)價(jià)計(jì)劃常常只包含這個(gè)框架中的部分內(nèi)容，而一個(gè)全面的評(píng)價(jià)計(jì)劃則應(yīng)該包含這個(gè)框架中的全部?jī)?nèi)容。一個(gè)全面的評(píng)價(jià)通常包含以下五方面的內(nèi)容：1)責(zé)任履行即項(xiàng)目策劃者是否按照他們的計(jì)劃開展了項(xiàng)目。這是評(píng)價(jià)一個(gè)項(xiàng)目或一門課程的第一步，其目的是決定一個(gè)項(xiàng)目的目標(biāo)或各項(xiàng)行動(dòng)計(jì)劃是否已完了。在了解這個(gè)方面的情況時(shí)，常用的方式是通過(guò)讓對(duì)象回答“是”或“否”的問題來(lái)獲取資料，另外也要收集一些關(guān)于人、事和活動(dòng)的數(shù)字。常詢問以下問題來(lái)測(cè)定項(xiàng)目的責(zé)任履行情況：·是否召開過(guò)次數(shù)適當(dāng)?shù)陌嗉?jí)會(huì)議？·有多少學(xué)生注冊(cè)參加遠(yuǎn)程教育項(xiàng)目？·印制了多少項(xiàng)目資料?分發(fā)了多少?實(shí)施方法：有關(guān)信息通常是從項(xiàng)目行政管理的記錄中獲取的，項(xiàng)目負(fù)責(zé)人通常被要求提供用于說(shuō)明項(xiàng)目目標(biāo)和各項(xiàng)具體活動(dòng)完成情況的、不同層次的文件和資料。有時(shí)，評(píng)價(jià)者也會(huì)對(duì)參與項(xiàng)目的普通工作人員訪談以獲取有關(guān)數(shù)據(jù)和資料。2)成效即項(xiàng)目進(jìn)行得如何。這方面的評(píng)價(jià)試圖了解項(xiàng)目活動(dòng)的進(jìn)行情況。成效問題的評(píng)價(jià)通常要關(guān)注項(xiàng)目參與者有關(guān)的態(tài)度和知識(shí)。顯然，成績(jī)、成就測(cè)試和態(tài)度調(diào)查都可作為評(píng)價(jià)手段。評(píng)價(jià)者通常會(huì)要求評(píng)估課程材料和課程講授過(guò)程，從而決定這些項(xiàng)目或課程的質(zhì)量和效力。學(xué)生對(duì)課程的評(píng)價(jià)也常用于提供來(lái)自參與者的反饋和意見。這方面的評(píng)價(jià)中常見的問題有：·正在參加遠(yuǎn)程教育項(xiàng)目的參與者對(duì)