第六章經(jīng)典測驗(yàn)理論-效度

第六章經(jīng)典測驗(yàn)理論——效度一、什么是效度？rxy=Sv2/Sx2從公式看效度也是一個(gè)理想的概念實(shí)際中我們是通過尋求測驗(yàn)工具之外的一些證據(jù)間接來證明或檢驗(yàn)一個(gè)測驗(yàn)的有效性第六章經(jīng)典測驗(yàn)理論——效度一、什么是效度？1、效度是個(gè)相對(duì)概念一種測量工具的效度只是對(duì)一定得測量目的有效有效也是一定程度上到相對(duì)有效2、效度是測量的隨機(jī)誤差和系統(tǒng)誤差的綜合反映3、判斷一個(gè)測量是否有效要從多方面來收集證據(jù)第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型內(nèi)容效度（contentvalidity）與內(nèi)容相關(guān)的證據(jù)構(gòu)想效度（constructvalidity）/結(jié)構(gòu)效度結(jié)構(gòu)相關(guān)的證據(jù)效標(biāo)效度（criterion-relatedvalidity）效標(biāo)相關(guān)的證據(jù)

3種效度分類不是涇渭分明，而是在許多方面互相重疊的，互相聯(lián)系，互相支持的。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型1、內(nèi)容效度內(nèi)容效度指一個(gè)測驗(yàn)實(shí)際測到的內(nèi)容與所要測量的內(nèi)容之間的一致程度。實(shí)際上是說題目取樣的代表性問題。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型判斷內(nèi)容效度的方法：a.專家評(píng)判法：請(qǐng)有關(guān)專家對(duì)測驗(yàn)題目與原定內(nèi)容的吻合程度作出判斷。看題目是否代表了規(guī)定的內(nèi)容。由于這種方法主要依據(jù)專家權(quán)威門頭腦中的邏輯分析和思考，所以內(nèi)容效度有時(shí)也叫邏輯效度。這是一種定性的方法。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型b.經(jīng)驗(yàn)法：即通過實(shí)踐來檢驗(yàn)效度。比如智力，高年級(jí)比低年級(jí)的水平要高，這是大家的經(jīng)驗(yàn)，如果測驗(yàn)分?jǐn)?shù)也是隨著年紀(jì)的升高而增加，那么，你這就和大家的實(shí)踐經(jīng)驗(yàn)一致，我們就說測驗(yàn)是有內(nèi)容效度的第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型c、復(fù)本信度（定量法）克倫巴赫用兩個(gè)取自同樣內(nèi)容范圍的各自獨(dú)立的測驗(yàn)的得分的相關(guān)系數(shù)（復(fù)本信度）來作為內(nèi)容效度的數(shù)量化指標(biāo)，如果相關(guān)高，證明他們具有內(nèi)容效度，若相關(guān)低，則至少有一份測驗(yàn)缺乏內(nèi)容效度，這是用統(tǒng)計(jì)學(xué)方法來確定測驗(yàn)內(nèi)容效度的一種嘗試第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型編制任何測驗(yàn)都要考慮內(nèi)容效度，這樣可以先從測驗(yàn)內(nèi)容上最小化誤差對(duì)測量結(jié)果的影響內(nèi)容效度主要應(yīng)用于學(xué)績測驗(yàn)和成就測驗(yàn)，他們主要測量被試掌握某種技能或?qū)W習(xí)某門課程所達(dá)到的程度內(nèi)容效度也適合某些用于選拔和分類的職業(yè)測驗(yàn)。這種測驗(yàn)主要考察實(shí)際工作需要的知識(shí)和技能。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型表面效度（surfacevalidity）被試主觀上覺得測驗(yàn)有效的程度內(nèi)容效度是說內(nèi)行專家對(duì)測驗(yàn)題目的判斷實(shí)際上，表面效度不能被認(rèn)為是嚴(yán)格的效度概念。但是，我們?cè)诰幹屏勘?、評(píng)價(jià)量表時(shí)要考慮到這個(gè)內(nèi)容。因?yàn)楸砻嫘Ф葧?huì)涉及到被試者的動(dòng)機(jī)，進(jìn)而影響到測量效果。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型最佳行為測驗(yàn)（能力和成就測驗(yàn)），最好能讓被試意識(shí)到題目在測驗(yàn)什么心理內(nèi)容，否則被試動(dòng)機(jī)不強(qiáng)。典型行為測驗(yàn)（如人格、態(tài)度測驗(yàn)），最好不讓被試意識(shí)到量表項(xiàng)目具體測驗(yàn)什么，這樣才可能測到真實(shí)的反應(yīng)。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型2、效標(biāo)效度/實(shí)證效度效標(biāo)效度反映的是測驗(yàn)預(yù)測個(gè)體在某種情境下行為表現(xiàn)的有效性程度。因?yàn)樾?biāo)效度需要有實(shí)際的證據(jù)，所以也叫實(shí)證效度效標(biāo)：衡量一個(gè)測驗(yàn)是否有效的外在標(biāo)準(zhǔn)。通常是我們要預(yù)測的行為表現(xiàn)。測驗(yàn)就被稱為預(yù)測源效度系數(shù)：測驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)的相關(guān)系數(shù)第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型根據(jù)效標(biāo)資料搜集的時(shí)間不同

a.預(yù)測效度（predictivevalidity），其效標(biāo)資料須在測驗(yàn)之后根據(jù)將來實(shí)際成績來確定。需要經(jīng)過一段時(shí)間才能搜集到效標(biāo)資料。主要是在人員的選拔和安置工作時(shí)，常用的是訓(xùn)練成績和實(shí)際工作中的表現(xiàn)

b.同時(shí)效度（concurrentvalidity），效標(biāo)資料與測驗(yàn)分?jǐn)?shù)可同時(shí)收集。學(xué)習(xí)成績、教師評(píng)定、臨床檢查等第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型什么是好的效標(biāo)？（四個(gè)條件）

a、有效性，效標(biāo)必須是有效的標(biāo)準(zhǔn)

b、可靠性，效標(biāo)要具有相對(duì)穩(wěn)定性

c、客觀性，當(dāng)效標(biāo)是主觀標(biāo)準(zhǔn)時(shí)，要注意效標(biāo)污染所謂效標(biāo)污染就是被試的效標(biāo)成績由于評(píng)定者知道其測驗(yàn)成績而受到影響

d、實(shí)用性，一個(gè)好的效標(biāo)應(yīng)該是經(jīng)濟(jì)、省時(shí)、省事我們實(shí)際中經(jīng)常使用的效標(biāo)有：實(shí)際的工作成就、學(xué)習(xí)成績、臨床表現(xiàn)、主觀的等級(jí)評(píng)定和其他有效測驗(yàn)的成績第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型效標(biāo)效度可用方法估計(jì)：a.相關(guān)法：計(jì)算測驗(yàn)分?jǐn)?shù)（預(yù)測源分?jǐn)?shù)）與效標(biāo)測量分?jǐn)?shù)的相關(guān)系數(shù)。b.區(qū)分法：被試接受測驗(yàn)后，過一段時(shí)間，再根據(jù)效標(biāo)測量分?jǐn)?shù)的高低將被試分為兩組，返過來比較兩組被試原先測驗(yàn)分?jǐn)?shù)（預(yù)測源分?jǐn)?shù)）的差異，如果兩組被試預(yù)測源分?jǐn)?shù)的差異顯著，說明該測驗(yàn)有較高效度c.命中率第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型3、構(gòu)想效度/結(jié)構(gòu)效度構(gòu)想效度指測驗(yàn)?zāi)軌驕y量到理論上的構(gòu)想或特質(zhì)的程度。（一）、確定構(gòu)想效度的基本步驟確定構(gòu)想效度的基本步驟是，首先從某一理論出發(fā)或者提出關(guān)于某一心理特質(zhì)的假設(shè)，然后設(shè)計(jì)和編制測驗(yàn)并進(jìn)行施測，最后對(duì)測驗(yàn)的結(jié)果采用相關(guān)或因素分析等方法進(jìn)行分析，驗(yàn)證測驗(yàn)結(jié)果與理論假設(shè)的相符程度，即測驗(yàn)在多大程度上正確地驗(yàn)證了編制測驗(yàn)的理論構(gòu)想。

第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型構(gòu)想效度的確定方法分為測驗(yàn)內(nèi)方法和測驗(yàn)間方法1、測驗(yàn)內(nèi)方法測驗(yàn)內(nèi)法這類方法主要是通過研究測驗(yàn)內(nèi)部結(jié)構(gòu)，如測驗(yàn)的內(nèi)容以及題目間的關(guān)系等來分析測驗(yàn)的構(gòu)想效度。

第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型a、內(nèi)部一致性：測驗(yàn)的內(nèi)部一致性可以為我們提供測驗(yàn)內(nèi)部結(jié)構(gòu)有效的證據(jù)。就是說，可以判斷測驗(yàn)究竟測量的是不是同一特質(zhì)。對(duì)內(nèi)部一致性進(jìn)行估計(jì)的指標(biāo)主要有克龍巴赫α系數(shù)、分半相關(guān)、項(xiàng)目與總分相關(guān)、分測驗(yàn)與總分相關(guān)、項(xiàng)目間相關(guān)等等第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型b、分測驗(yàn)之間的相關(guān)當(dāng)一個(gè)構(gòu)念由兩個(gè)或兩個(gè)以上的分測驗(yàn)來測量時(shí)，分測驗(yàn)分別代表著該構(gòu)念的一個(gè)維度或一個(gè)組成部分，這就要求分測驗(yàn)之間相關(guān)不能太高，以保證各自的相對(duì)獨(dú)立性；同時(shí)，因?yàn)榉譁y驗(yàn)都是對(duì)同一構(gòu)念的測量，所以分測驗(yàn)之間的相關(guān)又不能過低第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型2．測驗(yàn)間法通過對(duì)幾個(gè)測驗(yàn)的比較研究，找出它們所測的共同特質(zhì)，這樣便可確定這些測驗(yàn)是否具有構(gòu)想效度。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型c.相容效度（congruentvalidity）：求一個(gè)新測驗(yàn)與一已有測驗(yàn)的相關(guān)（若無已有測驗(yàn)，用部分有關(guān)系的測驗(yàn)代替）

比如，我們編制了一個(gè)人格量表，經(jīng)檢驗(yàn)，和已有的能有效測量人格的量表（如16pf）有高度的正相關(guān)，說明我們的量表也可以測量人格，有較高的效度。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型d.會(huì)聚效度和區(qū)分效度會(huì)聚效度又稱為求同效度，基本思想是，如果兩個(gè)測驗(yàn)測得是同一種特質(zhì)，即使使用不同的方法進(jìn)行測量，他們之間的相關(guān)也應(yīng)該很高，區(qū)分效度也稱為求異效度，其基本思想是，如果兩個(gè)測驗(yàn)測量的是不同特質(zhì)，即使用同樣的方法進(jìn)行測量，他們之間的相關(guān)也很低。第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型e.因素效度：建立構(gòu)想效度最為常用的方法，通過對(duì)一測驗(yàn)的項(xiàng)目進(jìn)行因素分析，找到影響測驗(yàn)分?jǐn)?shù)的共同因素，每個(gè)項(xiàng)目在共同因素上的負(fù)荷量（即每個(gè)項(xiàng)目與共同因素的相關(guān)），稱做測驗(yàn)的因素效度

第六章經(jīng)典測驗(yàn)理論——效度二、效度的類型構(gòu)想效度促使研究者把著眼點(diǎn)放在提出假設(shè)、檢驗(yàn)假設(shè)上，使得測驗(yàn)成為理論研究的重要工具，而不再只是實(shí)際決策的輔助工具，從而使測驗(yàn)有了更廣闊的發(fā)展前景。構(gòu)想效度的主要缺點(diǎn)是，有些構(gòu)想概念模糊，沒有一致的定義，確定效度時(shí)沒有明確的操作步驟。第六章經(jīng)典測驗(yàn)理論——效度三、信度和效度的關(guān)系高信度是高效度得必要條件，但不是充分條件，低信度一定低效度，信度高不一定效度高，高信度可能有高效度，也可能低信度，反之，高效度是高信度得充分條件，高效度一定會(huì)有高信度效度不會(huì)大于信度的平方根，如信度，效度最大第六章經(jīng)典測驗(yàn)理論——效度四、影響效度的因素

嚴(yán)格的說，凡是與測量目的無關(guān)的因素都會(huì)影響測量的效度，一切產(chǎn)生誤差的環(huán)節(jié)都可能影響到效度：1、測驗(yàn)工具/測驗(yàn)本身2、測驗(yàn)實(shí)施過程3、被試的狀態(tài)4、效標(biāo)的好壞5、信度的影響第六章經(jīng)典測驗(yàn)理論——效度五、提高效度的方法1、控制系統(tǒng)誤差系統(tǒng)誤差是影響測驗(yàn)效度的主要因素。儀器不準(zhǔn)題目和指導(dǎo)語有暗示性答案按排不當(dāng)(被試可以猜測)第六章經(jīng)典測驗(yàn)理論——效度五、提高效度的方法2、精心編制測題和測驗(yàn)量表:首先測題內(nèi)容要適合測驗(yàn)?zāi)康钠浯?，測題要清楚明了，用語要讓被試?yán)斫猓帕杏梢椎诫y。第三，測題的難度和區(qū)分度要合適。

第六章經(jīng)典測驗(yàn)理論——效度五、提高效度的方法3、嚴(yán)格按照測驗(yàn)程序進(jìn)行測量，防止測量誤差例如：要嚴(yán)格按照測驗(yàn)手冊(cè)