效度與系統(tǒng)誤差

效度與系統(tǒng)誤差第1頁，共38頁，2023年，2月20日，星期五一個(gè)現(xiàn)實(shí)的問題?1997年1月，湖北省政府宣布從社會(huì)各界公開招聘36名廳、局級(jí)干部(均為副職)。經(jīng)過各種測(cè)驗(yàn)與測(cè)評(píng),36名干部從4000

多名候選者中脫穎而出,如期上任。?其中使用的測(cè)驗(yàn)技術(shù)包括：結(jié)構(gòu)化面試,評(píng)價(jià)中心,紙筆考試(專業(yè)知識(shí))等。?你從測(cè)驗(yàn)學(xué)的角度將如何看待這一舉措？不考慮政治因素。一.效度的概念第2頁，共38頁，2023年，2月20日，星期五你如何解釋下述現(xiàn)象？一個(gè)很聰明的孩子,測(cè)得智商是80分一個(gè)學(xué)習(xí)很好的學(xué)生,考試成績(jī)?yōu)?0分一個(gè)人緣很好的人,人際關(guān)系測(cè)量低于常模值第3頁，共38頁，2023年，2月20日，星期五根據(jù)智力測(cè)驗(yàn)分?jǐn)?shù)作出推斷的例子

?得這個(gè)分?jǐn)?shù)的人能順利完成醫(yī)學(xué)院的學(xué)業(yè)?得這個(gè)分?jǐn)?shù)的人可能成為最令人滿意的工程師?得這個(gè)分?jǐn)?shù)的人極有可能從工廠里偷東西第4頁，共38頁，2023年，2月20日，星期五測(cè)量效度=測(cè)量的準(zhǔn)確性、有效性效度是一個(gè)測(cè)驗(yàn)?zāi)軌驕y(cè)量其所要測(cè)量的特質(zhì)的準(zhǔn)確程度(theextentordegreetowhichthetestmeasureswhatitwasdesignedtomeasure)。?或根據(jù)測(cè)驗(yàn)分?jǐn)?shù)做出的推斷的正確性。即：這個(gè)測(cè)驗(yàn)測(cè)的是什么？這個(gè)測(cè)驗(yàn)測(cè)得準(zhǔn)不準(zhǔn)？?一個(gè)測(cè)驗(yàn)的效度不止一個(gè),不存在一個(gè)一般的效度,因?yàn)橐粋€(gè)測(cè)驗(yàn)可能測(cè)的是一個(gè)非常寬泛的概念,如智力,根據(jù)測(cè)驗(yàn)分?jǐn)?shù)可以做出許多推斷。第5頁，共38頁，2023年，2月20日，星期五效度的概念理解1、效度是一個(gè)相對(duì)的概念。效度是相對(duì)于一定的測(cè)量目的而言的。效度不是一個(gè)全或無的概念。2、效度是系統(tǒng)誤差和隨機(jī)誤差的綜合反映。3、效度不是直接可以測(cè)量到的，判斷一個(gè)測(cè)驗(yàn)是否有效要從多方面搜集證據(jù)，從證據(jù)去推論測(cè)驗(yàn)的效度(猶如法庭上收集證據(jù)一樣)。第6頁，共38頁，2023年，2月20日，星期五測(cè)量學(xué)中的效度概念?與測(cè)量目的有關(guān)的真實(shí)變異(或有效變異)在實(shí)測(cè)值變異中的比例?即

rXY=SV2/SX2第7頁，共38頁，2023年，2月20日，星期五對(duì)同一測(cè)驗(yàn)之有效與無效的推斷?使用MMPI你可以對(duì)患有心理障礙的人做出有效推斷，但不能對(duì)“正常人”做出有效推斷。?尺子可以用來度量長(zhǎng)度,但不能用來度量重量,即便每次度量的結(jié)果都完全一樣。第8頁，共38頁，2023年，2月20日，星期五效度與信度關(guān)系(1)高效度,高信度(2)高信度,低效度(3)低信度,低效度信度是效度的必要而非充分條件

?rXY=SV2/SX2=(SX2-SI2-SE2)/SX2=1-SI2/SX2-SE2/SX2=rXX-SI2/SX2?SI2

≥0?rxy≤

rxx第9頁，共38頁，2023年，2月20日，星期五信度的平方根為效度的最高限即

?rXYmax=rXY/(rXX*rYY)1/2?1.0≥rXY/(rXX*rYY)1/2?rXY≤(rXX*rYY)1/2?rXY≤(rXX)1/2一個(gè)測(cè)驗(yàn)的效度總是受它的信度所制約第10頁，共38頁，2023年，2月20日，星期五效度的種類證明一個(gè)測(cè)驗(yàn)是有效的(validation),必須保證在以下三方面均是有效的

?內(nèi)容(content)?效標(biāo)關(guān)聯(lián)或?qū)嵶C(criterion-relatedorempirical)?構(gòu)想或結(jié)構(gòu)(construct)不能只獨(dú)立地保證一方面。

構(gòu)想效標(biāo)關(guān)聯(lián)內(nèi)容第11頁，共38頁，2023年，2月20日，星期五1.內(nèi)容效度(ContentValidity)及其估計(jì)

內(nèi)容效度指測(cè)驗(yàn)實(shí)際測(cè)到的內(nèi)容與所要測(cè)量的內(nèi)容之間的吻合程度。?基本前提:測(cè)驗(yàn)試題應(yīng)為所欲測(cè)內(nèi)容或行為范圍的有效性樣本。?基本條件：

1)每個(gè)試題應(yīng)與所界定內(nèi)容或行為范圍有適度相關(guān)

2)測(cè)驗(yàn)內(nèi)容應(yīng)能確切涵蓋所界定對(duì)象之范圍

3)試題分配應(yīng)能反映范圍內(nèi)各種變項(xiàng)或成分所應(yīng)占的比重

4)保證有一定的題量?主要用于建構(gòu)或評(píng)價(jià)成就測(cè)驗(yàn)?依賴專家判斷(基于邏輯)—定性分析?其他估計(jì)方法:復(fù)本法再測(cè)法經(jīng)驗(yàn)法二.效度的估計(jì)第12頁，共38頁，2023年，2月20日，星期五內(nèi)容效度與表面效度Facevalidity:表面看起來測(cè)驗(yàn)內(nèi)容與測(cè)驗(yàn)?zāi)康牡囊恢滦猿潭取Ｊ芯蛲ㄋ诇y(cè)驗(yàn)多有高的表面效度，但它不能保證測(cè)量的正確性。對(duì)表面效度的要求

最高水平測(cè)驗(yàn):高;典型行為測(cè)驗(yàn):低提高表面效度可以起到“包裝”的作用內(nèi)容效度適用于領(lǐng)域參照測(cè)驗(yàn)成就測(cè)驗(yàn)職業(yè)(選拔與分類)測(cè)驗(yàn)不適用：智力與人格為什么?——基于任務(wù)目標(biāo)的分析第13頁，共38頁，2023年，2月20日，星期五2.構(gòu)想效度(constructValidity)及其估計(jì)

構(gòu)想效度是指測(cè)驗(yàn)對(duì)理論上的構(gòu)想或特質(zhì)的測(cè)量程度。例如:

一個(gè)測(cè)驗(yàn)在多大程度上測(cè)量了“幸福感”(責(zé)任感、自主性等等)？這個(gè)面試(interview)測(cè)量了人際技能了嗎？第14頁，共38頁，2023年，2月20日，星期五構(gòu)想效度估計(jì)方法:假設(shè)驗(yàn)證與實(shí)驗(yàn)操作內(nèi)容效度和效標(biāo)關(guān)聯(lián)效度都體現(xiàn)了構(gòu)想效度考察已知組別的分?jǐn)?shù)—測(cè)驗(yàn)內(nèi)法如,將一個(gè)藝術(shù)能力測(cè)驗(yàn)施測(cè)兩組人,藝術(shù)系和法律系學(xué)生。二者的差別？考察一個(gè)新測(cè)量與測(cè)量同一構(gòu)想的現(xiàn)有測(cè)量的關(guān)系—測(cè)驗(yàn)間法如，計(jì)算兩個(gè)藝術(shù)能力測(cè)驗(yàn)的相關(guān)?發(fā)展(年齡)變化如,藝術(shù)能力隨年齡而變嗎??實(shí)驗(yàn)(干預(yù))研究如,力圖提高藝術(shù)能力的干預(yù)措施確實(shí)提高了在藝術(shù)能力測(cè)量上的分?jǐn)?shù)了嗎？第15頁，共38頁，2023年，2月20日，星期五一組度量的因素分析如，有20個(gè)藝術(shù)能力測(cè)驗(yàn),但這些測(cè)驗(yàn)只測(cè)量了藝術(shù)能力的兩個(gè)共同特質(zhì)：創(chuàng)造力和靈巧性。這些共同特質(zhì)稱為因素相容(聚合)效度(convergentvalidation)

如，一個(gè)藝術(shù)能力測(cè)驗(yàn)與其他藝術(shù)能力測(cè)驗(yàn)、創(chuàng)造力測(cè)驗(yàn)以及去當(dāng)?shù)厮囆g(shù)博物館的頻率等有高相關(guān)區(qū)分效度(discriminantvalidation)

如，一個(gè)藝術(shù)能力測(cè)驗(yàn)與耐力(力量)測(cè)驗(yàn)或與去體育館的頻率等沒有相關(guān)第16頁，共38頁，2023年，2月20日，星期五因素分析(Factoranalysis,FA)一種多變量統(tǒng)計(jì)法。目的是降維,即用更少量的因素概括解釋許多相互關(guān)聯(lián)的變量。(科學(xué)的吝嗇率)例如：假設(shè)你有一個(gè)包括四個(gè)部分的成就測(cè)驗(yàn)閱讀理解詞匯數(shù)學(xué)計(jì)算數(shù)學(xué)推理你可能猜想,閱讀理解和詞匯都測(cè)量了言語技能,數(shù)學(xué)計(jì)算和數(shù)學(xué)推理都測(cè)量了數(shù)學(xué)技能。要知道你的想法是否正確,你首先需要計(jì)算他們彼此之間的相關(guān)。第17頁，共38頁，2023年，2月20日，星期五多特質(zhì)-多方法矩陣

(multitrait-multimethodmatrix)例證P74Campbell&Fiske(1959)提出的方法,它將相容效度和區(qū)分效度兩種方法結(jié)合起來驗(yàn)證構(gòu)想效度的方法。假設(shè)我們測(cè)量了三種心理特質(zhì)：

A：人格的支配性

B：社會(huì)敏感性

C：成就動(dòng)機(jī)假設(shè)我們測(cè)量這些心理特質(zhì)使用了四種不同的方法方法1：自陳量表方法2：投射測(cè)驗(yàn)方法3：同伴評(píng)定方法4：情境問卷這樣就可以獲得一個(gè)9*16的相關(guān)矩陣：參見教材P74第18頁，共38頁，2023年，2月20日，星期五多種特質(zhì)-多種方法的矩陣說明：實(shí)線三角形對(duì)角線上的相關(guān)系數(shù)是采用相同方法測(cè)量相同特質(zhì)，是兩次測(cè)量的信度系數(shù)；在虛線三角形對(duì)角線上的相關(guān)系數(shù)，是采用不同方法測(cè)量相同特質(zhì)（相容效度），它們的數(shù)值越大說明測(cè)量的效度越好；實(shí)線三角形中的相關(guān)系數(shù)是采用相同方法測(cè)量不同特質(zhì)的結(jié)果（區(qū)分效度），它們的數(shù)值越小說明測(cè)量的效度越好；虛線三角形中的相關(guān)系數(shù)，是采用不同方法測(cè)量不同特質(zhì)的結(jié)果。一個(gè)結(jié)構(gòu)效度良好的測(cè)驗(yàn)，矩陣的相關(guān)系數(shù)情況應(yīng)該是：信度系數(shù)>相容效度系數(shù)>區(qū)分效度系數(shù)>虛線三角形中的相關(guān)系數(shù)。如果有相反的情況，表明結(jié)構(gòu)效度不佳。第19頁，共38頁，2023年，2月20日，星期五3.實(shí)證效度(效標(biāo)關(guān)聯(lián)效度)(Criterion-relatedvalidation)

指一個(gè)測(cè)驗(yàn)對(duì)處于特定情境中的個(gè)體的行為預(yù)測(cè)的準(zhǔn)確性。即將測(cè)驗(yàn)分?jǐn)?shù)與希望做出推斷的行為聯(lián)系起來(求相關(guān))。

?希望做出推斷的行為或被預(yù)測(cè)的行為是檢驗(yàn)測(cè)驗(yàn)有效性的標(biāo)準(zhǔn),簡(jiǎn)稱效標(biāo)(Criterion)?測(cè)驗(yàn)=預(yù)測(cè)源

?行為=效標(biāo)

?效標(biāo)效度是基于數(shù)據(jù)的(databased)

一個(gè)選拔測(cè)驗(yàn)與工作績(jī)效的相關(guān)一個(gè)成就測(cè)驗(yàn)與年級(jí)的相關(guān)一個(gè)誠(chéng)實(shí)測(cè)驗(yàn)與偷竊的相關(guān)第20頁，共38頁，2023年，2月20日，星期五兩種效標(biāo)關(guān)聯(lián)效度

?預(yù)測(cè)效度(predictive

validity)：

測(cè)驗(yàn)對(duì)未來表現(xiàn)預(yù)測(cè)得有多好

如:他會(huì)患焦慮癥嗎？

?同時(shí)效度(concurrent

validity)：

測(cè)驗(yàn)對(duì)目前表現(xiàn)預(yù)測(cè)得有多好

(現(xiàn)有狀態(tài))

如:他患有焦慮癥嗎？二者的一個(gè)重要差別是進(jìn)行測(cè)驗(yàn)(即預(yù)測(cè)源)與進(jìn)行效標(biāo)測(cè)量之間的時(shí)間?不同時(shí)間=預(yù)測(cè)效度?同一時(shí)間=同時(shí)效度第21頁，共38頁，2023年，2月20日，星期五方法不同

?

預(yù)測(cè)效度

學(xué)生參加高考,有些人上了北師大

以后,將他們的平均學(xué)業(yè)成績(jī)與高

考分?jǐn)?shù)求相關(guān)

這個(gè)相關(guān)稱為效度系數(shù)

如果二者相關(guān)很高,那么高考成績(jī)

對(duì)預(yù)測(cè)大學(xué)平均學(xué)業(yè)成績(jī)來說有高

效度?同時(shí)效度

已經(jīng)上了北師大的學(xué)生參加高考,同時(shí)收集他們的平均學(xué)業(yè)成績(jī)計(jì)算測(cè)驗(yàn)分?jǐn)?shù)與學(xué)業(yè)表現(xiàn)的相關(guān)?二者的差別時(shí)間被測(cè)驗(yàn)的人群動(dòng)機(jī)和經(jīng)驗(yàn)第22頁，共38頁，2023年，2月20日，星期五終極效標(biāo)和實(shí)際效標(biāo)?預(yù)測(cè)源(predictor)是指用于預(yù)測(cè)效標(biāo)的任何東西(如高考,認(rèn)知能力測(cè)驗(yàn))?終極效標(biāo)(ultimatecriterion)是你要測(cè)量的東西(如在大學(xué)中的潛力,勝任工作)?實(shí)際效標(biāo)(actualcriterion)是你實(shí)際測(cè)量的東西(如專門針對(duì)高考的學(xué)習(xí)策略上的技能加上大學(xué)中的潛力,每周的產(chǎn)量與次品率)?理想狀況：實(shí)際效標(biāo)=終極效標(biāo)第23頁，共38頁，2023年，2月20日，星期五常見的效標(biāo)

?學(xué)業(yè)成就：

學(xué)科成績(jī),學(xué)歷,獲獎(jiǎng)

?等級(jí)評(píng)定：

?臨床診斷

?特殊訓(xùn)練成績(jī)培訓(xùn)?實(shí)際的工作表現(xiàn)

產(chǎn)量、治愈率、違規(guī)次數(shù)等?對(duì)團(tuán)體的區(qū)分(人口統(tǒng)計(jì)學(xué)變量)

年齡,種族,疾病類型?其他現(xiàn)成的測(cè)驗(yàn)第24頁，共38頁，2023年，2月20日，星期五效標(biāo)和效標(biāo)測(cè)量

效標(biāo)的定義效標(biāo)測(cè)量:觀念效標(biāo)和效標(biāo)測(cè)量

好的效標(biāo)測(cè)量應(yīng)符合以下幾個(gè)條件：

1）有效性（關(guān)聯(lián)性）

2）可靠性

3）客觀性（抗偏性）：產(chǎn)生效標(biāo)測(cè)量中偏差的主要原因在于效標(biāo)污染

4）實(shí)用性（可得性）第25頁，共38頁，2023年，2月20日，星期五效標(biāo)效度的估計(jì)方法

相關(guān)法分組法預(yù)期表法命中率法功利率法第26頁，共38頁，2023年，2月20日，星期五常用方法：1、相關(guān)法測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)之間的相關(guān)系數(shù)（1）（2）（3）選擇團(tuán)體獲得測(cè)驗(yàn)分?jǐn)?shù)獲得效標(biāo)分?jǐn)?shù)根據(jù)分?jǐn)?shù)性質(zhì)不同采用不同相關(guān)計(jì)算法（1）積差相關(guān)系數(shù)（2）二列相關(guān)系數(shù)（3）四分相關(guān)系數(shù)（4）φ相關(guān)系數(shù)（5）列聯(lián)相關(guān)系數(shù)（4）求相關(guān)系數(shù)第27頁，共38頁，2023年，2月20日，星期五2、分組法根據(jù)被試的效標(biāo)行為表現(xiàn)，將他們分為不同的組別（團(tuán)體），如果這些組在測(cè)驗(yàn)分?jǐn)?shù)上有顯著性差異，則說明該測(cè)驗(yàn)的效度高。第28頁，共38頁，2023年，2月20日，星期五3、預(yù)期表預(yù)期表法是將預(yù)測(cè)源分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)制成雙維圖表，并將每個(gè)變量按水平分成若干檔次，這個(gè)經(jīng)驗(yàn)型的預(yù)期表可以不用計(jì)算相關(guān)系數(shù)或其他統(tǒng)計(jì)數(shù)據(jù)，而只要有頻數(shù)和百分比。第29頁，共38頁，2023年，2月20日，星期五例：下表是由若干個(gè)工作候選人在職業(yè)選擇測(cè)驗(yàn)中得分的聯(lián)合頻數(shù)分布構(gòu)成，表中還呈現(xiàn)了其工作領(lǐng)導(dǎo)在雇員他們6個(gè)月之后給這些候選人的等級(jí)評(píng)定。第30頁，共38頁，2023年，2月20日，星期五預(yù)期表績(jī)效評(píng)定職業(yè)選擇測(cè)驗(yàn)分?jǐn)?shù)1234567896~100100/167/291~95100/282/536/486~90100/194/850/333/411/281~85100/485/1048/722/54/176~80100/688/1263/1631/134/2第31頁，共38頁，2023年，2月20日，星期五4、命中率法決策結(jié)果決策過程關(guān)于個(gè)體的信息策略接受拒絕將會(huì)成功將會(huì)失敗可能成功可能失敗第32頁，共38頁，2023年，2月20日，星期五成功失敗真正的表現(xiàn)水平拒絕（預(yù)測(cè)失?。┙邮埽A(yù)測(cè)成功）命中（正確的消極）命中（正確的積極）失誤（錯(cuò)誤的消極）失誤（錯(cuò)誤的積極）第33頁，共38頁，2023年，2月20日，星期五總命中率（基率，baserate）表示被認(rèn)為潛在成功的人的百分比命中/（命中+失誤）*100%正命中率（選擇比率，selectionratio）表示決策制定者在其決策中的選擇程度正確的積極/預(yù)測(cè)成功人數(shù)*100%當(dāng)測(cè)驗(yàn)用于提高工作或?qū)W習(xí)效率時(shí)，應(yīng)重視正命中率；當(dāng)強(qiáng)調(diào)維護(hù)社會(huì)公平時(shí)，則應(yīng)重視總命中率。第34頁，共38頁，2023年，2月20日，星期五5、功利率法對(duì)使用測(cè)驗(yàn)的投入和產(chǎn)出進(jìn)行比較，這種效度