楔形評定理論在美國學(xué)生學(xué)業(yè)評價中的應(yīng)用

楔形評定理論在美國學(xué)生學(xué)業(yè)評價中的應(yīng)用

近年來，美國的學(xué)生評估改革取得了深入的進展，并建立了許多新的學(xué)生評估方法。2001年,美國評價基金委員會出版了《了解學(xué)生所知道的:教育評定的科學(xué)和設(shè)計》(KnowingWhatStudentsKnow:TheScienceandDesignofEducationalAssessment)一書,其中介紹了“三角形評定”(AssessmentTriangle)框架,為各種學(xué)生學(xué)業(yè)評價提供了一個革新性的普遍適用的評定模式。“三角形評定”在實踐中得到了廣泛的應(yīng)用和衍生。此后,在理查德·曬爾森和瑪利亞·愛瑞斯麗(RichardJ.Shavelson&MariaAraceli)等人共同撰寫的《學(xué)業(yè)評定新方法的評價》(EvaluatingNewApproachestoAssessmentLearning)一文中,他們將“三角形評定”模式加以改進,構(gòu)建了“正方形評定”(AssessmentSquare)的學(xué)生學(xué)業(yè)評價模式。相比較“三角形評定”來看,“正方形評定”中各個要素的設(shè)計更加合理、科學(xué),在教育評價實踐中的可操作性也更強。一、研究方法和模型建立在前,從事“正方形評定”模式由構(gòu)建、評定、觀察和解釋4個要素組成,分析方法主要有概念分析、邏輯分析、認知分析及定量和定性分析。各要素與分析方法緊密關(guān)聯(lián),從而使整個評價過程形成一個類似于“正方形”的封閉循環(huán)系統(tǒng)(見圖1)。(一)這四個基本要素的含義1.問題空間中的求解方式“構(gòu)建”(construct)是對所要測量的內(nèi)容進行操作性定義,也就是對所要評價的內(nèi)容加以細化,以達到可觀測的程度。例如,教師在對學(xué)生的問題解決策略進行評價時,首先要對問題解決策略給出操作性定義,主要涉及四個方面:1)理解問題或形成問題表征;2)在問題空間中搜索解決問題的方式;3)搜索與問題有關(guān)的信息;4)監(jiān)控或評價問題解決的進程。該環(huán)節(jié)是整個評價設(shè)計的起點,直接引導(dǎo)其他的要素,“評定”、“觀察”、“解釋”等環(huán)節(jié)都要以此為依據(jù)?！皹?gòu)建”解決了以往評價中的一個難題。在對學(xué)生的學(xué)習(xí)狀況進行評價時,評價者不僅要對學(xué)生已掌握的知識和技能有具體的理解,還要對學(xué)生的認知能力構(gòu)成及其發(fā)展規(guī)律有清晰的認識。然而,認知能力的發(fā)展有時是外顯的,有時是內(nèi)隱的,人們對內(nèi)隱的認知能力發(fā)展情況往往難以把握。理查德·曬爾森和瑪利亞·愛瑞斯麗等人采用的“構(gòu)建”方式,能夠有效地解決這一問題。由于對評價內(nèi)容給出了可觀測的定義,評價也就不會由于認知發(fā)展的內(nèi)隱性而受到限制。同時,“構(gòu)建”使“正方形評定”不像傳統(tǒng)評定那樣從預(yù)先設(shè)定的目標出發(fā),而是以認知科學(xué)和學(xué)習(xí)理論為基礎(chǔ),把對評價內(nèi)容做出操作性定義作為評定設(shè)計的起點。2.操作情境下的操作情境,引導(dǎo)學(xué)生進行“構(gòu)建”操作“評定”(assessment)是指評價者通過具體的任務(wù)引出、獲得和記錄學(xué)生行為表現(xiàn)的系統(tǒng)過程,是對已經(jīng)構(gòu)建的操作性定義所進行的物理操作(physicalmanifestation),也就是說,一旦完成了“構(gòu)建”步驟,評價者就要設(shè)計具體的任務(wù)情境,讓學(xué)生在其中展現(xiàn)各方面的知識和技能?！霸u定”在整個評價過程中至關(guān)重要,因為評價者要根據(jù)學(xué)生在實際問題情境中的表現(xiàn),尋找事實性證據(jù),檢測由評價任務(wù)激發(fā)出來的學(xué)生行為是否與所構(gòu)建的行為描述相一致。3.構(gòu)建有利于學(xué)生正確的學(xué)習(xí)過程,促進信息的分析和比較,是開展學(xué)習(xí)任務(wù)的證據(jù)“觀察”(observation)即評價者在學(xué)生完成任務(wù)的過程中收集和總結(jié)相關(guān)的學(xué)生行為表現(xiàn)的過程。在這一環(huán)節(jié)中收集和總結(jié)到的各種信息和證據(jù),可以是數(shù)據(jù)形式的定量證據(jù),也可以是描述性的定性證據(jù)。例如,教師可以通過評價量表中的分數(shù),或者使用具體的記錄,來呈現(xiàn)學(xué)生在完成學(xué)習(xí)任務(wù)過程中的實際反應(yīng)?！坝^察”和“評定”是緊密相聯(lián)的,首先要創(chuàng)設(shè)出一個便于收集證據(jù)的觀察情境,以支持想要得到的有關(guān)學(xué)生知識和技能的相關(guān)推論。同時,評價者要想在“觀察”中收集到更多的有用信息,就要在“評定”中促進學(xué)生在任務(wù)和情境中去說、去做,或者去創(chuàng)造。4.理解實際得到的信息“解釋”(interpretation)是對學(xué)生的實際學(xué)習(xí)行為表現(xiàn)進行推論的過程。評價者要理解實際得到的信息,以便對學(xué)生的學(xué)習(xí)行為做出判斷,得出結(jié)論。在這一過程中,要綜合經(jīng)過邏輯分析和認知分析得出的信息,總結(jié)定量和定性的證據(jù),確保結(jié)論的真實性和準確性,使整個評價過程真正促進學(xué)生的發(fā)展,并能改進教師的教學(xué)。(二)這四種分析方法的作用“正方形評定”不僅描述了學(xué)生學(xué)業(yè)評價的四個基本要素,還概括出了實際應(yīng)用中從一個要素向另一個要素過渡所采用的四種分析方法。1.“構(gòu)建”的操作定義在“正方形評定”中,從“構(gòu)建”進行到“評定”,要應(yīng)用“概念分析”與“邏輯分析”兩種方法?！案拍罘治觥笔歉鶕?jù)所“構(gòu)建”的操作性定義來確定學(xué)生的學(xué)習(xí)任務(wù)和問題領(lǐng)域。操作性定義能夠指出評價將對學(xué)生的哪些方面進行評價,學(xué)生要在評價任務(wù)中表現(xiàn)哪些相關(guān)的知識和技能,評價者要以此為依據(jù)來創(chuàng)設(shè)具體的問題情景。例如,要想對學(xué)生的問題解決策略進行評定,教師可以設(shè)計一個科學(xué)實驗任務(wù),使學(xué)生在實驗過程中表現(xiàn)出與問題解決策略的四項操作性定義相對應(yīng)的行為。2.評價者要分析問題情境在“概念分析”中,評價者設(shè)計出具體的問題或任務(wù),而“邏輯分析”就是找出由這些任務(wù)引起的學(xué)生行為反應(yīng)與操作性定義相一致的邏輯證據(jù)。即在評價任務(wù)設(shè)計完成之后,學(xué)生開始接觸任務(wù)或問題之前,評價者要分析問題情境所激發(fā)的學(xué)習(xí)行為或相關(guān)反應(yīng)是否能夠反映出所要評價的內(nèi)容。例如,評價者要預(yù)期學(xué)生在設(shè)計科學(xué)實驗的過程中,能否反映出問題解決策略的4個方面內(nèi)容。評價者使用“邏輯分析”找出不一致的原因,可以對所構(gòu)建的操作性定義和概念分析中設(shè)計的學(xué)習(xí)任務(wù)加以改進。只有通過“概念分析”和“邏輯分析”,評價者才能判斷“評定”中學(xué)生的學(xué)習(xí)表現(xiàn)與所“構(gòu)建”的操作性定義是否一致。所以,這兩種分析方法的運用使“評定”和“構(gòu)建”銜接了起來。3.“構(gòu)建”或“操作”設(shè)定“邏輯分析”是在學(xué)生沒有進行實際操作之前進行的一種預(yù)期。而“認知分析”則是要找出由任務(wù)或問題引起的學(xué)生行為與所“構(gòu)建”的操作性定義相一致的事實性證據(jù)。學(xué)生的實際表現(xiàn)是難以預(yù)料的,有些是與測試內(nèi)容無關(guān)的。在“評定”之后,需要根據(jù)學(xué)生在任務(wù)中的真實表現(xiàn)進行“認知分析”。然后,評價者在“觀察”中才會有所側(cè)重,更準確地捕捉到關(guān)于學(xué)生實際表現(xiàn)的信息。4.有助于更好地分析學(xué)習(xí)過程,確保結(jié)論的準確性“定量和定性分析”是評價者根據(jù)在“觀察”中獲得的定量和定性的證據(jù),對學(xué)生的學(xué)習(xí)情況進行解釋,并做出判斷的過程。通過觀察、收集和總結(jié)所得到的相關(guān)信息與證據(jù)是多種多樣的,只有對其進行科學(xué)的分析,才能確保在“解釋”環(huán)節(jié)得出準確、恰當?shù)慕Y(jié)論。從圖1中我們可以看出,在“解釋”環(huán)節(jié)中,對學(xué)生的學(xué)習(xí)行為得出結(jié)論,并不意味著評價過程完全結(jié)束,還要對結(jié)論的合理性和準確性做進一步的考查,以便改進和完善下一階段更高層次的評價。所以,在具體的評價實踐中,“正方形評定”所支撐的真實教育評價活動并不是簡單的線形過程,而是一個螺旋上升的循環(huán)發(fā)展過程。二、從學(xué)生評價到學(xué)評價:“東南角”評價模式的應(yīng)用“正方形評定”的理論框架不僅可以應(yīng)用在學(xué)生評價活動的設(shè)計上,更重要的是,還可以幫助人們更好地理解和分析現(xiàn)行的學(xué)生評價活動,進而對其成效做出判定。正因為如此,我們可以將其看作是一種元評價模式。理查德·曬爾森和瑪利亞·愛瑞斯麗等人應(yīng)用該模式,對美國近年來應(yīng)用較為廣泛的國際評價項目——TIMSS中的科學(xué)測試題進行了分析和元評價,以此來詮釋“正方形評定”模式是如何在學(xué)生評價實踐中被應(yīng)用的。他們對TIMSS科學(xué)試題的元評價大致分為以下幾個步驟。(一)有針對性的知識分類在對TIMSS試題進行評價之前,理查德·曬爾森和瑪利亞·愛瑞斯麗等人將科學(xué)測試中考核的知識分為四種:1)“陳述性知識”(DeclarativeKnowledge,knowingthat),主要涉及科學(xué)定義和科學(xué)事實,大部分以術(shù)語、概念、描述與數(shù)據(jù)的形式呈現(xiàn)。例如,“混合物是由兩種或兩種以上的物質(zhì)混合而成的”,“在1標準大氣壓下,水的沸點是100攝氏度”;2)“程序性知識”(ProcedureKnowledge,knowinghow),主要涉及完成一項任務(wù)時具體的實踐步驟和過程中應(yīng)遵守的規(guī)則等,例如,“如何測量出一個物體的密度”;3)“綱要性知識”(SchematicKnowledge,knowingwhy),主要用來解釋事物發(fā)生的原因,如“為什么在不同季節(jié)里我們會看到不同的月相”;4)“策略性知識”(StrategicKnowledge,knowingwhen,whereandhow),是最高層次的知識,涵蓋了前三種知識。人們使用策略性知識能夠選擇進行某種行動的恰當時機,再根據(jù)任務(wù)的特點來決定應(yīng)用什么知識,建立哪些任務(wù)目標,并能夠控制和監(jiān)督整個認知過程。這種以學(xué)科內(nèi)容為基礎(chǔ)的知識分類框架看似簡單,卻可以用來幫助評價者確定元評價的維度,引導(dǎo)之后對試題的分析,指出現(xiàn)行的測試題測量了學(xué)生哪些方面的知識?！案拍罘治觥睘橄乱浑A段對試題特點及試題與所“構(gòu)建”的科學(xué)知識定義的一致性進行邏輯分析和認知分析奠定了基礎(chǔ)。(二)任務(wù)與認知的關(guān)系在對學(xué)生解答試題的實際表現(xiàn)進行認知分析之前,理查德·曬爾森和瑪利亞·愛瑞斯麗等人對TIMSS科學(xué)試題中的多項選擇題、簡答題及表現(xiàn)性評價試題進行了“邏輯分析”。試題的元評價主要是檢驗試題的質(zhì)量。高質(zhì)量的試題能讓學(xué)生的認知、動作和情感與試題中的任務(wù)和要求之間建立起恰當?shù)穆?lián)系。學(xué)生在遇到適宜的評價任務(wù)時,自己能夠創(chuàng)設(shè)出一個智力問題空間(mentalproblemspace),并在該空間里去完成任務(wù),解決問題。在學(xué)生沿著解決問題的途徑前行時,任務(wù)會為學(xué)生提供新的機會。邏輯分析就是對任務(wù)要求和學(xué)生的認知反應(yīng)之間的對應(yīng)性進行檢驗。依據(jù)科學(xué)知識的操作性定義,理查德·曬爾森和瑪利亞·愛瑞斯麗等人按照以下四個維度對試題進行了邏輯分析:1)任務(wù)要求,即試題要求學(xué)生做什么;2)認知要求,即學(xué)生在完成任務(wù)的過程中經(jīng)歷哪些認知過程,以及他們?nèi)绾芜\用所學(xué)知識來分析試題;3)問題的開放性,即學(xué)生在解答試題時的自由程度;4)復(fù)雜性,即試題的難易程度。在上述每一個維度當中,都有多項具體的指標,通過權(quán)衡試題的各維度指標,并分析結(jié)果,可以判斷出試題主要是對何種知識(陳述性知識、程序性知識、綱要性知識和策略性知識)進行測量的。(三)利用“言語表達法”進行思維過程的分析許多學(xué)生問題解決的途徑都是非預(yù)期的,他們的實際表現(xiàn)經(jīng)常會出乎評價者的意料,因此,僅僅對試題進行邏輯分析是不夠的,還需要進行事實性判斷?！罢J知分析”主要是對測試所引起的實際認知活動進行分析,是檢驗試題效果的最主要方式?？梢允褂枚喾N方法,其中最有代表性的方法是“言語表達法”(verbalizationorthink-aloud)。這種方法要求學(xué)生個體通過回憶來展現(xiàn)認知活動,用言語表達他們完成任務(wù)的整個過程,評價者將他們的言語表達記錄下來。在對學(xué)生的思維過程進行分析時,這些材料會提供重要的信息和證據(jù)。理查德·曬爾森和瑪利亞·愛瑞斯麗等人應(yīng)用“言語表達法”,對TIMSS科學(xué)測試題引起的學(xué)生認知活動進行了分析。具體步驟為:1)向?qū)W生介紹研究的目的,解釋“言語表達法”,以便學(xué)生能夠積極參與;2)通過學(xué)生的語言表達和研