效度概念的演進、新進展及效度的估計方法

效度概念的演進、新進展及效度的估計方法一、效度概念的演進及其新進展

效度作為對測驗工具的質(zhì)量進行評價的一個非常重要的指標，經(jīng)歷了一個歷史的演進過程。伴隨著測量理論和實踐的發(fā)展，效度由一個單薄的相關(guān)系數(shù)發(fā)展成為一個內(nèi)涵豐富的、多維的概念系統(tǒng)。之所以稱其為概念系統(tǒng)是因為它涉及的不再只是測驗的某一個方面或環(huán)節(jié)，而是包括了測驗全過程的多個方面，從測驗編制所依據(jù)的理論到測驗內(nèi)容本身，從分數(shù)解釋的價值內(nèi)涵到測驗實施可能帶來的社會后果，效度的概念已經(jīng)逐漸演變成為一個對整個測驗過程的質(zhì)量進行全面監(jiān)控的體系。效度概念的變遷不僅反映了測量理論本身的發(fā)展，而且表明人們對測驗的全過程所采取的態(tài)度越來越謹填、客觀和科學，以及越來越精確的要求。1.效度概念發(fā)展的第一個階段：相關(guān)即有效2.效度概念發(fā)展的第二個階段：效度有多種類型3.效度概念發(fā)展的第三個階段：效度是一元且多維的（一）第一階段：相關(guān)即有效

時間：20世紀50年代之前主要代表人物：HullBinghamGuilfordGu1Liksen。主要觀點：相關(guān)即有效。Bingham(1937):測驗的成績與采用其它客觀方法進行度量所得結(jié)果之間的相關(guān)就是效度。Guilford(1946):只要一個測驗與某事物相關(guān)，那么對于該事物來說它就是有效的。

（二）第二階段：效度有多種類型

時間：20世紀50年代到70年代。不同的學者針對不同性質(zhì)的測驗或測驗過程的不同方面，提出了效度的多種類型。1.內(nèi)容效度測驗最早用途，是評定個體在指定的內(nèi)容領(lǐng)域已經(jīng)學會了什么——成就測驗。而評價成就測驗，一般是把測驗內(nèi)容與測驗所要評定的內(nèi)容領(lǐng)域相比較。2.效標效度測驗發(fā)展到第二階段，重點轉(zhuǎn)向預測?，F(xiàn)在或?qū)砟硞€時候，不同的個體在一定的情境中會怎樣反應?同一個體在不同的指定情境中又會怎樣反應?3.結(jié)構(gòu)效度測驗發(fā)展到第三階段，出現(xiàn)兩種主要趨向:(1)加強理論研究;(2)心理學理論與通過經(jīng)驗和實驗的假設檢驗之間密切聯(lián)系。這兩種趨向使人們認識到結(jié)構(gòu)在描述和理解人類行為中的重要性，測驗的編制必須考慮結(jié)構(gòu)效度。

1954年，美國心理學會《關(guān)于心理測驗和診斷的技術(shù)建議》一書對當時流行的各種效度概念進行了歸納概括，列舉了四種類型的效度:①預測效度②同時效度③構(gòu)想效度④內(nèi)容效度1966年，美國心理學會、美國教育研究學會和國家教育測量委員會聯(lián)合出版的《教育與心理測驗的標準和指南》中，將效度類型進一步簡化為：①效標關(guān)聯(lián)效度②構(gòu)想效度③內(nèi)容效度該階段的特點：出現(xiàn)了各種與特定測驗目的相聯(lián)系的效度類型。特點：美中效度都與特定的目的相聯(lián)系——人們普遍認為，不同的測驗有不同的效度要求，比如成就測驗更重視內(nèi)容效度，能力測驗強調(diào)效標關(guān)聯(lián)效度，而人格測驗則突出構(gòu)想效度等。（三）第三階段：效度是一元且多維的

時間：20世紀70年代到現(xiàn)在

1.兩大特點

①不同效度類型統(tǒng)合起來，逐漸形成一個統(tǒng)一而豐富的概念。

效度只有一個，但證明效度的證據(jù)卻可以來自很多方面，可以從內(nèi)容、效標以及構(gòu)想等多種渠道尋求支持。構(gòu)想效度反映了效度概念最為本質(zhì)的要求，其他效度都是統(tǒng)攝于其下的。它已經(jīng)成為一個統(tǒng)合各方面效度證據(jù)的綜合性概念。

②對效度本身解釋力的反思。泛泛地談論某一測量工具的效度是不負責任的，因為效度指的是事實和理論對由測驗分數(shù)所得解釋的支持程度。被評估的是對測驗成績所作的解釋，而不是測驗本身。

在這階段，作出突出貢獻的是美國學者SamMessick，他于1989年提出的效度理論，極大地深化和推動了人們對效度概念的認識和理解。SamMessick認為，效度是一種總體性的、評價性的判斷，代表了理論原理在多大程度上證明了由測驗成績所得解釋的充分性和恰當性。將效度劃分為多種類型的傳統(tǒng)做法得到的效度是支離破碎的、不完整的，而且這種做法缺乏對測驗成績的價值內(nèi)涵和社會后果的考慮。新的、一元的效度概念將這些方面統(tǒng)合起來組成一個更為全面的構(gòu)想效度理論。2.構(gòu)想效度的六個方面——SamMessick的效度理論

第一，內(nèi)容方面。主要涉及內(nèi)容的相關(guān)性和代表性兩個問題。第二，實在性方面(thesubstantiveaspect)。即測驗應保證所引發(fā)生的心理加工過程有代表性，應該提供實驗證據(jù)證明被試在任務完成過程中確實運用了設想的心理加工過程。第三，結(jié)構(gòu)方面。要求測驗的評分模式與待測構(gòu)想的內(nèi)在結(jié)構(gòu)相一致。即評分模式應該最大程度的反映行為表現(xiàn)背后所隱含的結(jié)構(gòu)關(guān)系。第四，概括化方面，即分數(shù)意義的適用范圍和界限。第五，外部方面。即測驗成績與其它測驗結(jié)果之間的關(guān)系在多大程度上反映了待測構(gòu)想的理論預期。(輻合型的相關(guān)模式和區(qū)分型的相關(guān)模式)。第六，后果方面。該方面關(guān)注測驗使用的價值含義和社會含義，旨在收集用于評價分數(shù)解釋和使用結(jié)果方面的各種證據(jù)。構(gòu)想效度的這六個方面緊緊圍繞著測驗的各個環(huán)節(jié)展開。收集效度證據(jù)的來源包括但并不限于:基于測驗內(nèi)容的證據(jù)、基于反應過程的證據(jù)、基于內(nèi)部結(jié)構(gòu)的證據(jù)、基于測驗分數(shù)與其它變量之間關(guān)系的證據(jù)，基于測驗后果的證據(jù)?？傊?，收集構(gòu)想效度證據(jù)的過程就是對測驗從編制到解釋、再到使用后果的整個程序進行拷問的過程，測驗的方方面面都得到了檢驗?；仡櫺Ф雀拍畹难葑儦v史，我們不難發(fā)現(xiàn):對于效度的確認從最初作為研究過程最后環(huán)節(jié)的相關(guān)檢驗發(fā)展為一個持續(xù)不斷的動態(tài)過程。運用各種技術(shù)不斷地評價、質(zhì)疑和檢查由測驗結(jié)果所作推論和解釋的有效性成為整個研究過程中不可或缺的組成部分。

對于這一歷程，我們可以從研究內(nèi)容和研究方法兩個角度加以總結(jié)：一方面，效度研究所包括的內(nèi)容越來越豐富：從測驗與效標之間的簡單相關(guān)到多種效度類型，再到一元且多維的構(gòu)想效度，現(xiàn)階段的效度已經(jīng)足以容納所有可能為分數(shù)的解釋提供支持的證據(jù)。另一方面，隨著研究內(nèi)容的豐富化，研究方法也日益多樣化。不但要有統(tǒng)計學的方法以及專家的判斷，甚至引人了認知心理學的方法和生理心理學的方法作為支撐。構(gòu)想效度所涉及諸多方面的不同性質(zhì)要求綜合運用多種定性的和定量的方法加以解決。這也是近些年來越來越多的學者倡導量的研究和質(zhì)的研究并重的原因之一。二、如何分析測驗的內(nèi)容效度

在分析內(nèi)容效度時，應當特別注意以下三個問題：

1.僅僅檢查測驗內(nèi)容，尚不足以建立測驗的內(nèi)容效度（1）這里涉及到對項目總體進行合適取樣的問題。務必系統(tǒng)分析測驗所要測量的行為領(lǐng)域，以便弄清測驗項目是否以恰當?shù)谋壤ㄋ械膬?nèi)容。人們很容易偏重于行為領(lǐng)域中比較適合于編制客觀性項目的那一類內(nèi)容。（2）內(nèi)容效度中的“內(nèi)容”必須是廣義的。例如，教育測驗應該不僅包括學科知識內(nèi)容，而且包括各種教學目標，例如應用原理、解釋數(shù)據(jù)以及事實知識等。（3）內(nèi)容效度取決于什么。內(nèi)容效度不是簡單地取決于項目內(nèi)容的表面的適當性，而是取決于個體對測驗項目的反應與所考慮的行為領(lǐng)域的實質(zhì)性對應關(guān)系。（一）分析內(nèi)容效度應注意的問題

2.測驗所取樣的行為領(lǐng)域不宜過于概化例如，一個拼寫測驗，采用多項選擇題，它當然可以測量識別拼對和拼錯單詞的能力，但是不能理所當然地假設這個測驗也測量正確聽寫的能力、作文中的拼錯率以及其他方面的拼寫能力。

3.測驗分數(shù)中可能包括無關(guān)因素例如，一個測量數(shù)學能力的測驗，可能過度受到言語理解能力的影響，或者一個測量機械能力的測驗，也可能過度受到完成簡單日常工作的速度的影響。

1.邏輯法（專家判斷）2.統(tǒng)計法①克侖巴赫法②再測法3.經(jīng)驗法

（二）內(nèi)容效度的評估方法

1.內(nèi)容效度特別適用于教育成就測驗據(jù)此能夠回答成就測驗的效度的兩個基本問題:測驗覆蓋了規(guī)定的知識和技能的代表性樣本嗎?測驗分數(shù)不受無關(guān)因素的影響嗎?內(nèi)容效度尤其適合于領(lǐng)域參照測驗。領(lǐng)域參照測驗的分數(shù)，一般以內(nèi)容意義來解釋，因此內(nèi)容效度顯然是有效使用這類測驗的必要條件。

（三）內(nèi)容效度的應用2.內(nèi)容效度也適用于某些對員工進行選拔和分類的職業(yè)測驗如果測驗內(nèi)容是取自實際工作，或者是實際工作所需要的知識和技能時，內(nèi)容效度尤為合適。美國從八十年代起，廣泛采用這種方法來編制聯(lián)邦政府和州政府公務員測驗

3.內(nèi)容效度通常并不適合于能力傾向測驗和人格測驗雖然編制任何測驗都應該考慮測驗內(nèi)容的恰當性和代表性。但是，相比成就測驗，能力傾向測驗和人格測驗與所取樣的行為領(lǐng)域的內(nèi)在相似性大為降低。所以，這些測驗的內(nèi)容只能顯示某些假設，而這種假設指導測驗編制者選擇某種內(nèi)容來測量規(guī)定的心理屬性。為了建立測驗效度，需要采用效標效度和結(jié)構(gòu)效度的方法在經(jīng)驗上證實這類假設。三、如何分析測驗的效標效度（一）效標效度的含義與種類

1.含義定義：測驗對效標預測的有效性理想效標的條件:①有效性。②可靠性。③操作性。④實用性。

2.種類：同時效度和預測效度美國心理學會在1985年制定的《測驗標準》中，根據(jù)效標和測驗之間的時間關(guān)系，把效標效度再分為同時效度(concurrentvalidity)和預測效度(predictivevalidity)。美國心理學會前主席、當代著名心理學家安妮.安娜斯塔西(AnneAnastasi)指出，預測效度和同時效度之間的邏輯區(qū)分，不是根據(jù)時間而是根據(jù)測驗目標。測驗的同時效度多用于診斷現(xiàn)在的狀態(tài)，而測驗的預測效度則預測將來的結(jié)果。

一個測驗有多少種具體用途，理論上就可以根據(jù)多少種效標進行效度分析。安娜斯塔西在1997年把它們分為以下7種類型。

1.學業(yè)成就(academicachievement)對一般智力測驗進行效度分析時，最常用的一種效標是學業(yè)成就。正是出于這種原因，往往把智力測驗更確切地描述為學業(yè)能力傾向的測量。用作效標度量的具體指標包括在校成績、成就測驗分數(shù)、升級或畢業(yè)記錄、某種榮譽或獎勵，以及教師對學生的智力評定等。種種學業(yè)成就指標，提供從小學一年級到大學和研究生的所有教育水平的效標數(shù)據(jù)，它們也可以用于某些多重能力傾向測驗和人格測驗的效標。

（二）七種效標類型2.特殊訓練課程成績(performanceinspecializedtraining)

特殊能力傾向測驗的常用效標是特殊訓練課程的成績。例如：機械能力傾向測驗可以根據(jù)工藝課程的期終成績進行效度分析。在音樂或美術(shù)學院的成績，也可以用來對音樂或美術(shù)能力傾向測驗進行效度分析。訓練成績作為效標，其具體指標可以是完成訓練后所實施的成就測驗的成績、正式評定的等級、指導教師的評定、成功完成訓練或被中途淘汰等。

3.實際工作表現(xiàn)(jobperformance)

對于許多測驗目的來說，最令人滿意的效標度量是實際工作表現(xiàn)的追蹤記錄。這種效標：主要用于特殊能力測驗的效度分析；有時也用于一般智力測驗和人格測驗的效度分析；也常用于具體工作的專門化測驗。所謂的“工作”，在水平和種類上大不相同，包括商業(yè)工作、工業(yè)工作、專業(yè)工作、軍事工作等。即使名稱相同的工作，其性質(zhì)在不同的組織中也有所差異，所以采用工作效標來分析效度時，不僅應該報告所用的具體的效標度量，而且應該報告員工從事的工作的職責。

4.對照組(contrastedsoups)對照組一般是一個合成效標，它反映日常生活中累積的、不可控制的選擇影響。這種效標最終是根據(jù)某特定團體之內(nèi)的幸存者與淘汰者。例如，把音樂學院學生的分數(shù)與未經(jīng)選擇的大學生的分數(shù)相比較，就可以得出音樂能力傾向測驗的效度。當然，選取對照組，可以根據(jù)任何效標，例如學校成績、評定或工作表現(xiàn)，只要選擇效標度量分布的兩端就行。在人格測驗的效度分析中，也經(jīng)常使用對照組方法。例如：分析一個社交特質(zhì)測驗的效度，可以把推銷員的測驗分數(shù)與工程技術(shù)員的測驗分數(shù)相比較；興趣測驗經(jīng)常采用各種不同職業(yè)對照組進行效度分析；態(tài)度測驗有時也采用其他對照組進行效度分析，例如政治團體、宗教團體、地理團體，以及眾所周知在某些問題上代表不同觀點的特別團體。

5.精神病診斷((psychiatricdiagnosis)精神病診斷既是人格測驗選擇項目的基礎，也是人格測驗效度分析的證據(jù)。精神病診斷應該是根據(jù)長期的觀察和詳盡的個案史，而不是根據(jù)倉促的會談或檢查，這樣就有理由認為，在表示個體情緒狀態(tài)方面，精神病診斷確是一種令人滿意的效標。

6.評定((ratings)評定包括學校教師、專業(yè)課程的指導教師、工作單位的管理人員等作出的某些評定。另外還有學校咨詢?nèi)藛T對學生的評定，或由同學、同一俱樂部成員以及其他團體會員作出的評定。評定不僅只是獲得學業(yè)成績、專業(yè)訓練的成績、工作成功等效標資料的一種輔助方法，而且評定本身就是一種重要的效標度量。在這種情況下，評定并不局限于評價具體成就，還包括觀察者關(guān)于心理測驗所要測量的某種特質(zhì)而作出的個人判斷。因此，可以根據(jù)誠實、支配性、創(chuàng)造力、領(lǐng)導能力等特性，來評定效度樣本的被試。評定幾乎可以用于每一類測驗的效度分析，特別適用于人格測驗，因為人格測驗的客觀性效標難以找到。當然，應該嚴格控制條件，想方設法減少常見的判斷誤差，以提高評定的精確性。

7.先前己有的測驗((previouslyavailabletests)一個新測驗同先前己有的測驗的相關(guān)，也經(jīng)常作為測驗效度的證據(jù)。如果新測驗比先前測驗更簡單、更省時，就完全可以把先前測驗作為一種效標的度量。紙筆測驗可以用先前己有的操作測驗作為效標。同樣，團體測驗可以用個別測驗作為效標。例如，《斯坦福—比內(nèi)量表》反復作為各種團體智力測驗的效度分析的效標。

20世紀90年代以來，美國心理學界普遍重視心理測驗的效標效度分析。首先確定某種學習或工作的主要結(jié)構(gòu)，然后選擇或編制心理測驗，而測驗的分數(shù)一定要評定所需結(jié)構(gòu)，這樣就能卓有成效地研究心理測驗的效標效度。筆者認為，這點值得我國教育學和心理學界有關(guān)人員的關(guān)注、思考和借鑒。四、如何分析測驗的結(jié)構(gòu)效度（一）發(fā)展變化(developmentalchanges)

發(fā)展變化是指年齡差異，即測驗分數(shù)是否隨著實際年齡的增長而增加。一般認為各種能力在兒童期隨年齡而增加，如果測驗有效，測驗分數(shù)也應該隨年齡而增加。年齡差異效標特別適合于智力測驗，斯—比測驗即為一例。年齡差異效標不適合于那些年齡變化不一致或不明確的心理機能。例如，人格測驗就很少使用年齡差異效標。年齡差異只是智力測驗結(jié)構(gòu)效度的必要條件而不是充分條件。因此，如果測驗分數(shù)沒有隨著年齡而增加，這個結(jié)果明確表明測驗不是能力樣本的有效測量;另一方面，如果證明測驗測量了隨著年齡而增加的某種東西，這并不能準確界定測驗所包括的領(lǐng)域。解釋年齡差異效標應該注意該測驗特定的文化背景。由于不同的文化培養(yǎng)和發(fā)展不同的行為特性，因而，一種文化背景下某種行為的年齡差異效標，不能假設普遍適用于其他文化背景。（二）與其他測驗的相關(guān)(correlationswithothertests)

一個新測驗與類似的己有測驗之間的相關(guān)，有時可以用來證明新測驗與其他測驗大體測量相同的行為領(lǐng)域。與效標效度中得出的相關(guān)不同，這些相關(guān)應該適度，而不是太高。如果新測驗與己有測驗的相關(guān)太高，而又沒有另外的優(yōu)點，例如簡單或易于實施，那么就沒有必要編制這個新測驗。與其他測驗的相關(guān)還有另一種用途，就是表示新測驗相對不受某些無關(guān)因素的影響。例如人格測驗與一般智力測驗或閱讀理解測驗之間，不應該有高相關(guān)。因此，與這些測驗的相關(guān)，可以作為人格測驗的間接證據(jù)或反證。在這種情況下，高相關(guān)會使測驗效度受到懷疑。然而，低相關(guān)本身也不能保證測驗效度。（三）因素分析((factoranalysis)

因素分析的基本思想是，根據(jù)測驗的相關(guān)系數(shù)表把變量分組，使得同一組的變量間的相關(guān)較高，不同組的變量間的相關(guān)較低;每組變量就代表一個因素即基本結(jié)構(gòu)。因素分析的主要目的是，將用于描述每個被試表現(xiàn)的變量的數(shù)目，從最初較多的分測驗數(shù)目減少到幾種因素，從而簡化對行為的描述。因素效度實際上是該測驗與一組測驗所共有的特性的相關(guān)，這組變量包括測驗資料和非測驗資料，因此可以利用其他的效標度量來探究一個特定測驗的因素組成，并定義它所測量的共同特質(zhì)。（四）內(nèi)部一致性(internalconsistency)內(nèi)部一致性方法尤其適合于人格測驗的效度分析。這種方法中的效標恰恰是自身測驗的總分。有時也采用對照組方法的一種改變形式，即根據(jù)測驗總分來選取高分組和低分組，然后比較高分組和低分組在每個項目上的成績。如果高分組的通過率沒有顯著大于低分組，則該項目無效。相關(guān)方法也可用于這種目的。例如，可以計算每個項目上“通過或失敗”與測驗總分的二列相關(guān)，只保留與測驗顯著相關(guān)的那些項目。許多智力測驗由若干分測驗組成，例如詞匯、理解、積木、拼圖等，內(nèi)部一致性效標的另一種用法是分測驗分數(shù)與測驗總分的相關(guān)，與總分相關(guān)太低的分測驗應淘汰或修改。（五）幅合效度和區(qū)別效度(convergentanddiscriminantvalidity)坎貝爾(D.T.Campbell,1960)指出，為了證實結(jié)構(gòu)效度，我們必須表明，一個測驗不僅與理論上應該相關(guān)的那些變量具有高相關(guān)，而且與理論上應該區(qū)別的那些變量具有低相關(guān)?？藏悹柡头扑箍?D.W.Fiske)把前者稱為幅合效度，把后者稱為區(qū)別效度。例如，一個數(shù)量推理測驗與后來數(shù)學課成績的較高的相關(guān)，就是幅合效度;而同一個測驗與閱讀理解測驗分數(shù)的較低的相關(guān)，則為區(qū)別效度。區(qū)別效度特別適用于人格測驗的效度分析，因為無關(guān)變量會以多種方式影響人格測驗的分數(shù)。