語言測試第一課

語言測試目錄第1章語言測試初探ChapterOnePrimaryExplorationofLanguageTestingIPrimaryExplorationofLanguageTesting

Whatislanguagetesting?Whytotest?Whattotest?Howtotest?Whatislanguage?DefinitionofLanguageLanguageisasystemofarbitraryvocalsymbolsusedforhumancommunication.語言的定義許國璋先生認(rèn)為把語言定義成交際工具不夠科學(xué),至少不夠嚴(yán)謹(jǐn).他對(duì)語言的定義做了如下概括:語言是人類特有的一種符號(hào)系統(tǒng).語言的功能：當(dāng)它作用于人與人之間的關(guān)系的時(shí)候,它是表達(dá)相互反應(yīng)的中介;

當(dāng)它作用于人與客觀世界的關(guān)系的時(shí)候,它是認(rèn)知事物的工具;

當(dāng)它作用于文化的時(shí)候,它是文化的載體和容器.語言測試的定義測試是對(duì)行為樣本的客觀的標(biāo)準(zhǔn)化的測量---劉潤清和韓寶成引Anastasi(1982）語言測試是對(duì)受試者語言樣本的客觀的標(biāo)準(zhǔn)化的測量抽樣Testee命題，預(yù)試（trial),實(shí)施（administration)，評(píng)分，第2章語言測試的類型2.1從用途的角度區(qū)分2.2從分?jǐn)?shù)參照框架的角度區(qū)分2.3從評(píng)分方式的角度區(qū)分2.4從結(jié)構(gòu)的角度區(qū)分2.5從綜合與分離的角度區(qū)分2.6從規(guī)模的角度區(qū)分各類測驗(yàn)的特點(diǎn)

A成績測驗(yàn)B能力傾向測驗(yàn)C水平測驗(yàn)D診斷測驗(yàn)E分班測驗(yàn)測驗(yàn)特點(diǎn)及類型依據(jù)所測能力信息指向標(biāo)準(zhǔn)化程度規(guī)模語言理論一般語言水平現(xiàn)在—將來最高最大

教學(xué)內(nèi)容不一定過去可以較高可以很大認(rèn)知理論學(xué)習(xí)潛能將來可以較高可以很大教學(xué)內(nèi)容現(xiàn)有水平將來不高不大教學(xué)內(nèi)容現(xiàn)有水平過去—將來低小依據(jù)所測能力信息指向標(biāo)準(zhǔn)化程度規(guī)模水平測驗(yàn)語言理論一般語言水平將來？最高最大成績測驗(yàn)教學(xué)內(nèi)容不一定過去可以較高可以很大傾向測驗(yàn)認(rèn)知理論學(xué)習(xí)潛能將來可以較高可以很大安置測驗(yàn)教學(xué)內(nèi)容現(xiàn)有水平將來不高不大診斷測驗(yàn)教學(xué)內(nèi)容現(xiàn)有水平過去-將來低小各類測驗(yàn)的特點(diǎn)常模參照性測試平均分、標(biāo)準(zhǔn)差、標(biāo)準(zhǔn)分、正態(tài)分布圖常模參照和標(biāo)準(zhǔn)參照的區(qū)別

┏━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━┓┃┃常模參照┃標(biāo)準(zhǔn)參照┃┣━━━━━━╋━━━━━━━━━━━━╋━━━━━━━━━━━━┫┃測驗(yàn)的性質(zhì)┃一般語言能力或水平┃特定的語言點(diǎn)┃┠──────╂────────────╂────────────┨┃分?jǐn)?shù)解釋的┃相對(duì)的：某被試和其他┃絕對(duì)的：被試的成績和┃┃性質(zhì)┃被試比較┃預(yù)先制定的內(nèi)容比較┃┠──────╂────────────╂────────────┨┃分?jǐn)?shù)的分布┃以平均分為中心的正態(tài)┃不考慮分布┃┃┃分布┃┃┠──────╂────────────╂────────────┨┃測驗(yàn)的目的┃區(qū)分所有被試的能力┃看被試掌握了多少教學(xué)┃┃┃┃內(nèi)容┃┠──────╂────────────╂────────────┨┃測驗(yàn)的內(nèi)容┃被試不知道或很少知道┃被試完全知道┃┗━━━━━━┻━━━━━━━━━━━━┻━━━━━━━━━━━━┛

第3章信度什么是信度信度和效度的關(guān)系是什么信度的計(jì)算方法：CTS-理論，G-理論，IR-理論CTS-理論X＝Xt

＋Xeobservedscoretruescoreerror

觀察分?jǐn)?shù)真分?jǐn)?shù)隨機(jī)誤差r=Xt/XCTS-理論真分?jǐn)?shù)與誤差分?jǐn)?shù)平行試卷法CTS-理論

真分?jǐn)?shù)與誤差分?jǐn)?shù)

Xt=X-Xe

在一次測量中，被試觀察分?jǐn)?shù)的方差等于其真分?jǐn)?shù)方差與誤差分?jǐn)?shù)方差之和。

Sx2=St2+Se2CTS-理論

r=St2/Sx2Sx2=St2+Se2兩邊同除以Sx21=St2/Sx2+Se2/Sx2r=1-Se2/Sx2CTS-理論中的誤差什么是誤差誤差的分類：1、隨機(jī)誤差2、系統(tǒng)誤差3、抽樣誤差誤差的來源（一）測驗(yàn)自身引起的誤差主要來源于測驗(yàn)的編制過程，其中項(xiàng)目取樣影響最大。（二）施測過程引起的誤差1、測試環(huán)境2、測試時(shí)間3、主試因素4、意外干擾5、評(píng)分記分（三）測試對(duì)象引起的誤差1、應(yīng)試動(dòng)機(jī)2、測驗(yàn)焦慮3、測驗(yàn)經(jīng)驗(yàn)4、練習(xí)效應(yīng)5、反應(yīng)傾向6、生理變因真分?jǐn)?shù)（一）含義真分?jǐn)?shù)是指測量沒有誤差時(shí)所得到的真值。其操作定義是無數(shù)次測量結(jié)果的平均值。測量越多則越接近真分?jǐn)?shù)，但無法消除系統(tǒng)誤差。四、真分?jǐn)?shù)及其假設(shè)經(jīng)典測驗(yàn)理論假設(shè)：觀察分?jǐn)?shù)（記為X）與真分?jǐn)?shù)（T）之間是一種線性關(guān)系，并相差一個(gè)隨機(jī)誤差（記為E）

X＝T＋Eobservedscoretruescoreerror

觀察分?jǐn)?shù)真分?jǐn)?shù)隨機(jī)誤差

CTT的數(shù)學(xué)模型四、真分?jǐn)?shù)及其假設(shè)

根據(jù)CTT模型，我們可以引申出3個(gè)相關(guān)聯(lián)的假設(shè)公理：用平行的測驗(yàn)反復(fù)測量足夠多此后，觀察分?jǐn)?shù)的平均值會(huì)接近真分?jǐn)?shù)，或者說：隨機(jī)誤差的平均數(shù)是零

E（X）＝T，E（E）＝0?；騒＝T，E＝0。四、真分?jǐn)?shù)及其假設(shè)真分?jǐn)?shù)與隨機(jī)誤差之間相關(guān)為0。ρ（T，E）＝0。各平行測驗(yàn)的誤差分?jǐn)?shù)之間無相關(guān)/零相關(guān),ρ（E1，E2）＝0CTS-理論

平行試卷相關(guān)性和誤差方差的計(jì)算信度類型由于誤差的來源信度的可分為：這種分類是基于信度的傳統(tǒng)定義-真分?jǐn)?shù)理論。1）重測信度（再測信度）：考慮的誤差來源是時(shí)間取樣。2）復(fù)本信度(對(duì)等信度）：考慮的誤差來源是內(nèi)容取樣。3)同質(zhì)性信度（內(nèi)部一致性系數(shù)）：考慮的是測驗(yàn)內(nèi)容是否異質(zhì)。分半信度：它考慮的誤差來源也是內(nèi)容取樣，它與復(fù)本信度的差別是：分半信度考查一個(gè)測驗(yàn)內(nèi)容的兩半題目測量的是否是同一個(gè)心理特點(diǎn)行為。項(xiàng)目方差信度4）評(píng)分員信度：考慮的誤差來源是評(píng)分者。G理論G理論幾個(gè)基本概念：⑴測量目標(biāo)，即測量所要描述和研究的那個(gè)心理特質(zhì)；解決“測什么”的問題⑵測量側(cè)面(facet)，是指影響測量過程和測量結(jié)果的各種內(nèi)外在因素，一個(gè)測量側(cè)面就是某一方面的測量條件；涉及到“怎么測”⑶測量情境則是由測量目標(biāo)和測量側(cè)面構(gòu)成的。顯然測量的側(cè)面是測量誤差的重要來源，它對(duì)測量的信度有重要的影響。項(xiàng)目回應(yīng)理論常用來描述試題特性的主要參數(shù)是難易度指數(shù)(FacilityIndex)“b”,區(qū)分度指數(shù)（DiscriminationIndex）“a”，和猜測系數(shù)（GuessingCoefficient）“c”。Ir理論

Ir理論影響信度的因素1）試卷的長度。2）試卷的難度和方差。3）分?jǐn)?shù)段的確定。4）系統(tǒng)性因素。5）考生能力差異。6）項(xiàng)目區(qū)分度和數(shù)量。7）測試時(shí)間的多少。第四章效度內(nèi)容效度效標(biāo)關(guān)聯(lián)效度理論效度（構(gòu)念效度、結(jié)構(gòu)效度、實(shí)驗(yàn)效度；認(rèn)知效度，weir2008）試后效度（測試的反撥作用）P=0P=1-1-2-301234-4P=0.41y=0.3891-P=0.59IICentralTendency2.1Mode2.2Median2.3Mean2.1Mode（眾數(shù)）

一組數(shù)據(jù)中出現(xiàn)次數(shù)最多的數(shù)值例如：1，2，3，3，4的眾數(shù)是3。例如：1，2，2，3，3，4的眾數(shù)是2和3。還有，如果所有數(shù)據(jù)出現(xiàn)的次數(shù)都一樣，那么這組數(shù)據(jù)沒有眾數(shù)。例如：1，2，3，4，5沒有眾數(shù)。2.2Median（中位數(shù)）中數(shù)是指位于一組數(shù)據(jù)中較大一半與較小一半中間位置的那個(gè)數(shù)。如果數(shù)據(jù)個(gè)數(shù)為奇數(shù)，則取序列為第(N+1)／2的那個(gè)數(shù)據(jù)為中數(shù)，如：4、7、8、9、10、11、12、13、14(N=9)(N+1)／2=5，序列第五的數(shù)據(jù)是10，則該組數(shù)據(jù)的中數(shù)是10。2.2Median（中位數(shù)）如果數(shù)據(jù)個(gè)數(shù)為偶數(shù)，則取序列中第N/2和N/2+1

這兩個(gè)數(shù)的平均數(shù)為中數(shù)，如

2、3、5、7、8、10、15、19(N=8)

序列為N／2=4者是7，序列為N／2+1=5者為8，則其中數(shù)為(7+8)／2＝7.5。

中數(shù)不受極大值與極小值的影響，而決定中數(shù)的關(guān)鍵是居中的那幾個(gè)數(shù)據(jù)的數(shù)值大小。2.3Mean（平均數(shù)）平均數(shù)是指在一組數(shù)據(jù)中所有數(shù)據(jù)之和再除以數(shù)據(jù)的個(gè)數(shù)。平均數(shù)容易受極端數(shù)據(jù)的影響。例如，院長和書記的工資。中位數(shù)和眾數(shù)這兩個(gè)統(tǒng)計(jì)量的特點(diǎn)都是能夠避免極端數(shù)據(jù)，但缺點(diǎn)是沒有完全利用數(shù)據(jù)所反映出來的信息。IIIDispersionHowscatteredthedataare.不知道一組數(shù)據(jù)的離散程度，只知道一組數(shù)據(jù)的集中趨勢有時(shí)是誤導(dǎo)的。如兩個(gè)街區(qū)各有20個(gè)家庭，平均收入都是$20萬街區(qū)1每個(gè)家庭與平均數(shù)的差異都很小街區(qū)2有3個(gè)家庭收入在$

100萬，其他17個(gè)在$6萬左右這時(shí)需要表示離散程度的數(shù)據(jù)來描述這組數(shù)字。IIIDispersion3.1Range3.2Variance3.3Standarddeviation3.1Range(全距）全距指一組數(shù)據(jù)中最高分與最低分之差。R=最大數(shù)-最小數(shù)全距大數(shù)據(jù)分布分散全距小數(shù)值分布相對(duì)集中缺點(diǎn)：兩級(jí)有異常值時(shí)全距不可靠A：79797980818181B：5060708090100110RangeofA=81-79=2RangeofB=110-50=60測試的開發(fā)與設(shè)計(jì)BritishCouncilAssessment第二部分1、確定考試類別2、確定考試內(nèi)容3、確定考試題型4、確定試卷結(jié)構(gòu)5、制定考試細(xì)目表6、命題及編輯試卷

——編寫試卷語言測試的總體設(shè)計(jì)第二部分考試目的不同，試卷的內(nèi)容、要求也不一樣。1、確定考試類別2、確定考試內(nèi)容3、確定考試題型（1）根據(jù)測試目的選擇題型（2）縱橫結(jié)合，確定題型是否有效（3）考慮被試的能力范圍（1）多項(xiàng)選擇題（2）是非題、判斷題（3）配對(duì)題語言測試的總體設(shè)計(jì)第二部分語言測試的總體設(shè)計(jì)第二部分語言測試的總體設(shè)計(jì)第二部分語言測試的總體設(shè)計(jì)第二部分語言測試的總體設(shè)計(jì)第二部分語言測試的總體設(shè)計(jì)4、確定試卷結(jié)構(gòu)首先，要確定試卷各部分的比例；其次，是研究每一部分有多少題目才能保證測試起碼的效度；第三，題目數(shù)確定了，還要看時(shí)間是否夠。第二部分語言測試的總體設(shè)計(jì)5、制定考試細(xì)目表知識(shí)理解應(yīng)用分析綜合總計(jì)比重時(shí)間（分）語法10102012.520詞匯202012.560閱讀404025綜合填空202012.520聽力353521.930寫作252515.630總計(jì)30751020251601001606、命題及編輯試卷整個(gè)命題過程包括選材、編寫試題、審題等環(huán)節(jié)。命題原則：先出容易的題，后出現(xiàn)較難的題目；題型相同的題應(yīng)放在一起；客觀題在前，主觀題在后。規(guī)模大、影響大的測試在正式實(shí)施前還要進(jìn)行試測，以驗(yàn)證試卷有沒有缺失，要不要作一些改動(dòng)等。命題要求：效度、信度，注意試題的難度和區(qū)分度等。第二部分語言測試的總體設(shè)計(jì)第二部分語言測試的總體設(shè)計(jì)1.區(qū)分度：指一個(gè)題目對(duì)于鑒別被試的水平所起的作用有多大。（1）區(qū)分度指數(shù)（極端分組法）：27%D=（高分組答對(duì)此題人數(shù)-低分組答對(duì)此題人數(shù)）/高分組或低分組人數(shù)。例題：P326-327。D在-1―+1之間，一般要求在0.3左右。特點(diǎn)：簡便；不夠精確題目分析的方法難度的形成知識(shí)的綜合程度試題的呈現(xiàn)形式試題提問的思維跨度有用信息的提取難度第二部分語言測試的總體設(shè)計(jì)試題的難易度第二部分語言測試的總體設(shè)計(jì)2.難易度：指某個(gè)題目的答對(duì)率，即答對(duì)某題目的被試占全部參加測試的被試的比例。

p=答對(duì)此題人數(shù)/總?cè)藬?shù)，范圍應(yīng)在0.2-0.8之間。

平均難易度（一個(gè)測試的各個(gè)題目的難易度相加，再除以題目的數(shù)量），宜在0.5左右。

特別要求：被試的同質(zhì)性題目分析報(bào)表題目編號(hào)：IT98CR-107標(biāo)準(zhǔn)答案：A題目質(zhì)量：不合格題目正文107.大學(xué)生們十分感動(dòng)。A.激動(dòng)B.感激C.震動(dòng)D.感慨一年級(jí)組考生數(shù)：173難易度：0.1053區(qū)分度：0.0180選項(xiàng)人數(shù)平均分?jǐn)?shù)雙列相關(guān)點(diǎn)雙列相關(guān)

A2620.810.02760.0180B9521.82-0.2921-0.2324C1916.260.41800.2493D3219.220.15280.1050E117.500.19070.0048報(bào)告人：XX考試中心報(bào)告日期：1998年X月X日題目的修改題目的修改題目分析報(bào)表題目編號(hào)：IT01CR1-107標(biāo)準(zhǔn)答案：A題目質(zhì)量：合格題目正文107.大學(xué)生們十分感動(dòng)。A.震撼B.可憐C.努力D.驕傲一年級(jí)組考生數(shù)：138難易度：0.5036區(qū)分度：0.3976選項(xiàng)人數(shù)平均分?jǐn)?shù)雙列相關(guān)點(diǎn)雙列相關(guān)

A7021.630.49830.3976B518.600.07770.0317C3417.350.30690.2243D2817.360.28190.1976E117.000.67100.1648報(bào)告人：XX考試中心報(bào)告日期：2002年X月X日用語表達(dá)：注意準(zhǔn)確規(guī)范試卷格式：注意整齊美觀試題內(nèi)容：注意科學(xué)無誤知識(shí)點(diǎn)覆蓋面廣、重點(diǎn)突出難度、比例和區(qū)分度適宜設(shè)計(jì)的題目是否如實(shí)地反映出考試細(xì)目表中的內(nèi)容和要求？題目的要求是否明白無誤？試題前后是否有提示？題目的難度是否適中？題目的覆蓋面是否夠廣？第二部分語言測試的總體設(shè)計(jì)第三部分語言測試質(zhì)量評(píng)估第三部分語言測試質(zhì)量評(píng)估第三部分1.信度2.效度3.真實(shí)性4.互動(dòng)性

5.可行性

6.后效作用語言測試質(zhì)量評(píng)估第三部分1.信度信度（reliability）指同一個(gè)卷面和難易程度相同的試題用于水平基本相同的測試對(duì)象，測試結(jié)果是否基本相同。閱卷員信度，閱卷員自身信度2.效度效度（validity）指測試的有效程度，也就是測試的內(nèi)容和方法是否達(dá)到了測試目的。要求：該測的當(dāng)測，不該測的盡量不涉及；是否有缺漏或出現(xiàn)偏題、怪題；代表性、準(zhǔn)確度和覆蓋面如何。類型：構(gòu)念效度、內(nèi)容效度、表面效度、預(yù)測效度，方法效度語言測試質(zhì)量評(píng)估第三部分3.真實(shí)性

語言測試的真實(shí)性指目標(biāo)語言使用任務(wù)特征(targetlanguageusetask)與測試任務(wù)特征(testtask)的一致程度。目標(biāo)語言使用任務(wù)指通過測試所要預(yù)測的被試者在將來工作中為達(dá)到一定目的在特定場合用所學(xué)語言所進(jìn)行的一系列活動(dòng)。測試任務(wù)指能夠考察、預(yù)測、判斷被試者在將來工作中目標(biāo)語言使用能力的最佳測試方式。語言測試質(zhì)量評(píng)估第三部分交互性指被試者在完成一件測試任務(wù)(testtask)時(shí)所涉及到的個(gè)人特征類型(individualcharacteristics)及程度。與語言測試最有關(guān)的個(gè)人特征主要有：語言能力(languageability其中包括語言知識(shí)languageknowledge、策略能力strategiccompetence或稱元認(rèn)知策略metacognitivestrategies)話題知識(shí)(topicalknowledge)情感圖式(affectiveschemata)4.互動(dòng)性語言測試質(zhì)量評(píng)估第三部分可行性主要指考試在現(xiàn)實(shí)的條件下能否行得通，即可操作性，主觀愿