測(cè)試效及其驗(yàn)證方法實(shí)用教案

1、教學(xué)(jio xu)目標(biāo)1.了解整體效度觀的主要思想2.整體效度觀3.測(cè)試辯論(binln)法4.圖爾明模型5.了解累進(jìn)效度觀的主要思想6.測(cè)試辯論(binln)模型的邏輯錯(cuò)誤及成因7.累進(jìn)辯論(binln)法8.累進(jìn)效度觀第1頁(yè)/共26頁(yè)第一頁(yè)，共27頁(yè)。整體(zhngt)效度觀主 要 時(shí) 期 ： 2 0 世 紀(jì) 8 0 年 代 中 期 ( z h n g q ) 以 后基 本 觀 點(diǎn) ： 整 體 多 維 性驗(yàn) 證 方 法 ： 理 性 辯 論辯 論 框 架 ： 圖 爾 明 模 型第2頁(yè)/共26頁(yè)第二頁(yè)，共27頁(yè)。定義(dngy) 教育與心理測(cè)驗(yàn)標(biāo)準(zhǔn)（1985） Validity refers

2、 to the appropriateness, meaningfulness and usefulness of the specific inferences made form test scores. （從考分中推理出來(lái)的特定結(jié)論的恰當(dāng)性、意義性和有用性） 教育與心理測(cè)驗(yàn)標(biāo)準(zhǔn)（1999） Validity refers to the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of tests. （證據(jù)和理論支持測(cè)試使用所

3、需的考分解釋( jish)的程度）第3頁(yè)/共26頁(yè)第三頁(yè)，共27頁(yè)。解讀(ji d)（效度概念的內(nèi)涵） 整體多維性 整體概念：構(gòu)念效度整體效度，即效度（不存在類(lèi)別之分） 多維互補(bǔ)：之前(zhqin)不同類(lèi)別的效度同一整體的不同維度（相互補(bǔ)充、相互依存，為整體效度提供證據(jù)） 重心轉(zhuǎn)移 不再是測(cè)試本身固有的屬性，而在于分?jǐn)?shù)的解釋和使用，包括分?jǐn)?shù)解釋的合理性、使用決策的恰當(dāng)性和使用后果的裨益性 不再是“有”或“無(wú)”的問(wèn)題，而是“程度”問(wèn)題 不再是單一指標(biāo)，而是綜合評(píng)判 不再是抽象數(shù)值，而是理性結(jié)論 不再由公式計(jì)算，而應(yīng)邏輯推理無(wú)所謂效度系數(shù)(xsh)之說(shuō)第4頁(yè)/共26頁(yè)第四頁(yè)，共27頁(yè)。Validi

4、ty Model (Messick 1988: 42)1. An inductive summary of convergent and discriminant evidence that the test scores have a plausible meaning or construct interpretation, 2. An appraisal of the value implications of the test interpretation3. A rationale and evidence for the relevance of the construct and

5、 the utility of the scores in particular applications4.An appraisal of the potential social consequences of the proposed use and of the actual consequences when used第5頁(yè)/共26頁(yè)第五頁(yè)，共27頁(yè)。Interpretive Argument (IA, Kane 1992)(轉(zhuǎn)引(zhun yn)自McNamara & Roever, 2006: 25) IA: Score interpretation and use第6頁(yè)

6、/共26頁(yè)第六頁(yè)，共27頁(yè)。Assessment Argument (Mislevy et al. 2003) Evidence-centered Design (ECD)第7頁(yè)/共26頁(yè)第七頁(yè)，共27頁(yè)。Evidence-based Validation (Weir 2005)第8頁(yè)/共26頁(yè)第八頁(yè)，共27頁(yè)。Assessment Use Argument (AUA, Bachman & Palmer 2010)第9頁(yè)/共26頁(yè)第九頁(yè)，共27頁(yè)。Logical Structure of IA, ECD, AUAIA, based on Kane (1990, 1992)ECD, Mi

7、slevy et al. (2003: 15)AUA, Bachman (2005: 15)Alternative Explanation orRival HypothesisRebuttal DataRebuttal BackingMost questionable assumption第10頁(yè)/共26頁(yè)第十頁(yè)，共27頁(yè)。Logical Problems of ECDClaimWarrantBackingDataRebuttalAlternative第11頁(yè)/共26頁(yè)第十一頁(yè)，共27頁(yè)。Logical Problems of AUA1Data：Jim is going to the hosp

8、ital.Claim：Jim is sick.(Warrant)：People often go to the hospital when they are sick.sincesoRebuttal：Jim could be visiting someone who is in the hospital.Rebuttal Backing：Jim is visiting his partner in the hospital.Counterclaim：Jim is not sick.unlessSupports(Bachman & Palmer, 2010, p. 97)What if

9、Jim is attending a meeting in the hospital, not visiting anyone in particular?What if he is seeing the doctor himself as well?If we already know Jim is visiting his partner in the hospital, do we still need to go through all these steps?!第12頁(yè)/共26頁(yè)第十二頁(yè)，共27頁(yè)。Logical Problems of AUA2Claim: Malissa wasp

10、aid time and a half.Data: Malissa worked overtime.Rebuttal: Malissa is in an exempt category.Rebuttal Backing: Malissas personnel file indicates that she is not in an exempt category.Warrant: All Employers who work overtime must be paid time and a half.Backing: According toUS labor law .Rejectsunles

11、ssinceso(Bachman & Palmer, 2010, p. 98)Can it still be called Rebuttal Backing if it rejects the Rebuttal?第13頁(yè)/共26頁(yè)第十三頁(yè)，共27頁(yè)。The Toulmin Model (Toulmin 1958, 2003)DSo, Q, CSinceWUnlessROn account ofBHarry was born in BermudaSo, presumably, Harry is a British subjectA man born in Bermuda will gen

12、erally be a British subjectBoth his parents were aliens/He has become a naturalized American/The following statutes and other legal provisions:(rare and exceptional conditions)(properly worded qualifier)presumablyRational logic(readily available facts or truth)(highly probable assumption)可以忽略：例外不足以威

13、脅聲明的整體(zhngt)合理性；必須忽略：追究例外即為陷入死循環(huán)不容置疑：假定性理由應(yīng)不證自明，或已事先(shxin)證明不可省略：結(jié)論通常(tngchng)不是絕對(duì)的，應(yīng)該根據(jù)反駁的可能性選用一個(gè)恰當(dāng)?shù)南薅ㄔ~限定聲明的語(yǔ)氣強(qiáng)度或成立條件客觀存在：事實(shí)性支撐應(yīng)可隨時(shí)奉取，而無(wú)需爭(zhēng)辯理性推理：以一般情況下都可以接受的假定性理由為前提，結(jié)論應(yīng)該具有合理性第14頁(yè)/共26頁(yè)第十四頁(yè)，共27頁(yè)。IA、ECD和AUA共同的邏輯錯(cuò)誤(cuw)及其產(chǎn)生根源錯(cuò)誤(cuw)根源 結(jié)構(gòu)修改 增加了反駁的證據(jù) 刪除了限定詞 模型誤解 將假設(shè)稱(chēng)為聲明（因?yàn)闆](méi)有聲明的模型就不能稱(chēng)為辯論模型） 將反駁由必須忽略的特殊例

14、外替換為不可忽略的反面解釋?zhuān)榱讼|(zhì)疑和異議） 將辯論雙方(shungfng)都應(yīng)該遵循的邏輯推理過(guò)程誤解為雙方(shungfng)的爭(zhēng)辯過(guò)程 反駁誤用 用反駁來(lái)論證聲明而不是限定聲明邏輯錯(cuò)誤 自相矛盾先聲明后論證，即先作出聲明后又說(shuō)自己的聲明不一定成立 強(qiáng)調(diào)論證反駁，但在論證反駁時(shí)又不得不放棄論證反駁 不具理性明知聲明不一定成立，也要強(qiáng)行作出聲明（將假設(shè)作為聲明提出）對(duì)反駁的論證，既不講理由也不顧反駁（又一次強(qiáng)行做出結(jié)論） 無(wú)限循環(huán) 反駁不可窮盡，甚至不可預(yù)知聲明的反駁的反駁正是聲明自身第15頁(yè)/共26頁(yè)第十五頁(yè)，共27頁(yè)。So, presumablyAnne is one of Jack

15、s sistersAnne now has red hairSinceAny sister of Jacks may be taken to have red hairOn account of the fact thatAll his sisters have previously been observed to have red hairUnlessAnne has dyed/gone white/lost her hair 圖爾明對(duì)三段論的批判(p pn) 大前提存在歧義，既可以是假定，也可是(ksh)事實(shí)，因此三段論不能區(qū)分真假辯論。 結(jié)論非是即否，容不得例外，因此三段論在日常辯論中

16、應(yīng)用價(jià)值不大。Element Example 1 Example 2（p.115） Minor Premise Socrates is a man Anne is one of Jacks sisters Major Premise All men are mortal All Jacks sisters have red hair Conclusion Socrates is mortal So, Anne has red hair 例1以假定為大前期，結(jié)論為對(duì)未來(lái)或未知的推理，因此可爭(zhēng)可辯；例2的大前提為事實(shí)(shsh)，結(jié)論實(shí)為大前提事實(shí)(shsh)的重復(fù)，而不是推理的結(jié)果，因此無(wú)可爭(zhēng)辯

17、。如對(duì)事實(shí)(shsh)存在質(zhì)疑，爭(zhēng)辯沒(méi)有必須，擺出事實(shí)(shsh)即可（如把Anne叫到跟前，頭發(fā)顏色自知）。第16頁(yè)/共26頁(yè)第十六頁(yè)，共27頁(yè)?；趫D爾明模型(mxng)的AUA示例A: Jim is going to the hospital, so he is probably sick. (since people often go to the hospital when they are sick, unless they are visiting someone who is in the hospital) B: Jim is going to the hospital to

18、 visit his partner, so he cant possibly be sick himself. (since people are usually not sick themselves when they are visiting someone, unless they are seeing the doctor themselves)A: Jim is seeing the doctor himself as well, so he must be sick. 可見(jiàn)(kjin)，限定詞是圖爾明模型與三段論的唯一的顯性差別，沒(méi)有限定詞，圖爾明模型也成了三段論，這正是圖爾明

19、所批判的。IA、ECD和AUA中，限定詞都已被刪除，且所謂的“聲明”實(shí)為假設(shè)。因此，三個(gè)模型實(shí)質(zhì)上并不是辯論模型，也不是所謂的論證模型，因?yàn)榧词箤ⅰ奥暶鳌备臑榧僭O(shè)，但如何檢驗(yàn)假設(shè)仍然不得而知。第17頁(yè)/共26頁(yè)第十七頁(yè)，共27頁(yè)。累進(jìn)(lijn)效度及累進(jìn)(lijn)辯論法主 要 時(shí) 期 ： 最 新 提 出 （ 2 0 1 1 ）基 本 觀 點(diǎn) ( g u n d i n ) ： 層 級(jí) 累 進(jìn) 觀驗(yàn) 證 方 法 ： 累 進(jìn) 辯 論 法辯 論 框 架 ： 累 進(jìn) 辯 論 模 型第18頁(yè)/共26頁(yè)第十八頁(yè)，共27頁(yè)。定義(dngy) 測(cè)試數(shù)據(jù)對(duì)測(cè)試目標(biāo)構(gòu)念的體現(xiàn)(txin)程度Developin

20、gTaskConstructScoreSpecificationPurpose/ConsqResponseCriterionA PosterioriA PrioriReferencingUsingDsgn/InvstgAdministratingScoringn效度是相對(duì)于測(cè)試環(huán)節(jié)而言的。每個(gè)環(huán)節(jié)的結(jié)果(ji gu)數(shù)據(jù)，而不僅僅是測(cè)后分?jǐn)?shù)，都應(yīng)該充分體現(xiàn)測(cè)試的目標(biāo)構(gòu)念n當(dāng)前環(huán)節(jié)的效度是所有前任環(huán)節(jié)效度層級(jí)累進(jìn)的結(jié)果(ji gu)，并對(duì)所有后續(xù)環(huán)節(jié)的效度產(chǎn)生影響。n累進(jìn)意味著一個(gè)環(huán)節(jié)的效度最大不大于最薄弱前任環(huán)節(jié)的效度；一個(gè)環(huán)節(jié)的效度不可接受，所有后續(xù)環(huán)節(jié)都沒(méi)有效度可言。層級(jí)累進(jìn)觀說(shuō)明：1.

21、累進(jìn)辯論可以始于任何一個(gè)環(huán)節(jié)，只要有理由相信前任環(huán)節(jié)是有效的，否則永遠(yuǎn)找不到起始點(diǎn)。2. 效度雖是“程度”問(wèn)題，但只要達(dá)到可以接受的程度，測(cè)試就是“有效”的，否則即為“無(wú)效”。3. 測(cè)試效度自然是測(cè)試固有的屬性，而不屬于數(shù)據(jù)的解釋或使用，否則就是解釋效度或使用效度。第19頁(yè)/共26頁(yè)第十九頁(yè)，共27頁(yè)。CriterionConsequenceScoreResponseTaskSpecification1. Comparability2. Reference Value3. Predictability4. 1. Beneficence2. Fairness3. Ethics4. 1. Reli

22、ability2. Item Quality3. Language level4. 1. Relevancy2. Authenticity3. Interactiveness4. 1. Correctness2. Representativeness3. Sufficiency4. 1. Clarity2. Specificity3. Practicability4. HypothesisPlanningExecutingClaimConstruct累進(jìn)(lijn)辯論法由果及因：詳細(xì)(xingx)列舉問(wèn)題明確提出假設(shè)由因及果：逐一檢驗(yàn)假設(shè)做出理性(lxng)結(jié)論第20頁(yè)/共26頁(yè)第二十頁(yè)，共

23、27頁(yè)。累進(jìn)辯論模型：理性辯論與科學(xué)調(diào)查(dio ch)的有機(jī)整合DataClaimSinceWarranton account of BackingHypothesisUnlessRebuttalSoQualifierAnalysis(evidential?)(c=1-)(/)(p)YN(H0|H1)()n基礎(chǔ)部分：理性辯論，確保模型(mxng)本質(zhì)上仍然屬于辯論模型(mxng)（統(tǒng)計(jì)分析的設(shè)計(jì)、實(shí)施和解讀都離不開(kāi)邏輯推理）n擴(kuò)展部分：假設(shè)檢驗(yàn)，用于處理復(fù)雜數(shù)據(jù)并得出有說(shuō)服力的結(jié)論（邏輯推理僅適用于數(shù)據(jù)簡(jiǎn)單明了、理由顯而易見(jiàn)的情況）不會(huì)陷入死循環(huán)只要理由充分(chngfn)，無(wú)需假設(shè)檢驗(yàn)（可

24、避免濫用）一次假設(shè)檢驗(yàn)，必然得出結(jié)論（需避免誤用）第21頁(yè)/共26頁(yè)第二十一頁(yè)，共27頁(yè)。DH0H1YNp?D=p: probabilityH0: There is no significant difference.H1: The difference is significant.: significance level (e.g. 0.05, 0.1, 0.01)DC0WBRQ(a)DC1WBRQe.g. D=0.8C0: There is no significant differenceR=Type II error ()e.g. D=0.0C1: The difference is

25、 significantR=Type I error ()W=1-=0.95 (confidence level); B=Empirical data (e.g. statistics)Q=at the significance level of (b)(c)假設(shè)檢驗(yàn)結(jié)果(ji gu)解讀第22頁(yè)/共26頁(yè)第二十二頁(yè)，共27頁(yè)。證實(shí)(zhngsh)與證偽InterpretationEvidenceCCWBRWBR(D)JustifyingFalsifyingQQ(D)正面解釋與反面解釋?zhuān)河欣跍y(cè)試的解釋為正面解釋?zhuān)粗礊榉疵娼忉尅Ｂ暶髋c反聲明：聲明既可以是正面解釋?zhuān)部梢允欠疵娼忉?。也就是說(shuō)，聲明并不等于正面解釋?zhuān)绰暶饕嗖坏扔诜疵娼忉尅ＷC據(jù)與反面證據(jù)：證據(jù)只會(huì)“支持”而不會(huì)“拒絕”聲明。所謂反面證據(jù)，實(shí)際上是支持反聲明的證據(jù)。證實(shí)與證偽：證偽實(shí)際上是通過(guò)(tnggu)證實(shí)反聲明來(lái)間接實(shí)現(xiàn)的。正面解釋和反面解釋的內(nèi)容是確定的。研究問(wèn)題一旦確定，正面與反面解釋隨之確定；聲明與反聲明的內(nèi)容是不確定的，反聲明依賴(lài)于聲明而存在，沒(méi)有聲明也就無(wú)所謂反聲明。只有研究結(jié)果產(chǎn)生(chnshng)以后，聲明和反聲明才會(huì)出現(xiàn)。第23頁(yè)/共26頁(yè)第二十三頁(yè)，共27頁(yè)。循環(huán)(xnhun)與遞歸Executing(Q = Hypothesis)(Q = Claim)Q Q 1-1Q 1-