效度和效度檢驗

1、 效度和效度檢驗 Validity and Validation1關(guān)于效度和效度檢驗的問題效度的概念效度的性質(zhì)效度檢驗的前提效度的證據(jù)效度檢驗的設(shè)計2效度的概念現(xiàn)行美國教育和心理測試標準一書對效度作出了如下定義： Validity is a unitary concept. Although evidence may be accumulated in many ways, validity always refers to the degree to which that evidence supports the inferences that are made from the scor

2、es. The inferences regarding specific uses of a test are validated, not the test itself. 效度是一個統(tǒng)一的概念，盡管我們可以以不同的方式收集關(guān)于效度的證據(jù)，效度總是指證據(jù)支持我們從考試成績所作出的各種推測的程度，效度檢驗檢驗的是對考試的使用所作的推測，而不是考試本身。 3美國教育和心理測量協(xié)會（1985）： Validity means the degree to which the appropriateness,meaningfulness, and usefulness of the specific

3、 inferences made from the test scores. 效度是指根據(jù)考試分數(shù)所作出的特定的推測的適當、有意義和有用程度。 效度的概念4效度的性質(zhì)效度指的是考試結(jié)果解釋的合理性，它不是指考試本身。我們有時出于方便，說“考試的效度”，實際上正確的說法是對考試結(jié)果所做的解釋的效度。效度是就程度而言的，不是要么有效，要么無效。因此，不要說考試結(jié)果有效或無效，而應(yīng)該從確定程度的類型的角度來考慮效度，如高效度、中等效度和低效度。效度總是與考試結(jié)果的解釋或某種特殊的用途有關(guān)。世界上沒有對所有目的都有效的考試。在討論效度時，必須考慮對考試結(jié)果所做出的專門解釋或用途?？荚嚱Y(jié)果對做出的每個不

4、同的解釋都有不同的效度。5效度的性質(zhì)效度是一個統(tǒng)一的概念。美國心理測量學(xué)會在“教育和心理測量標準”一書中，已經(jīng)拋棄了多種效度的傳統(tǒng)概念，將效度看作是以各種不同類型的證據(jù)為基礎(chǔ)的統(tǒng)一的概念。效度是一個總體的評價判斷。它要求用各種證據(jù)并且從后效影響的角度來判斷考試結(jié)果解釋和使用的合理性和合適性程度。6效度與信度概念的辨析假設(shè)有一道試題： 水稻的莖不能加粗的主要原因是莖內(nèi)沒有（ ）。 A. 形成層 B. 維管束 C. 木纖維 D. 韌皮纖維 假設(shè)試題具有下列問題：1、有點科學(xué)性問題2、考查牽涉到了化學(xué)知識3、考查了學(xué)生沒有學(xué)過的內(nèi)容4、部分考生抄了別人的正確答案提問：這些問題說明這道試題是信度有問題

5、， 還是效度有問題？7效度檢驗的前提條件 考試評價的目的要與考試機構(gòu)的任務(wù)和價值觀相適應(yīng) 考試應(yīng)該有利于高校選拔合格的新生；有利于促進中學(xué)推進素質(zhì)教育有利于培養(yǎng)學(xué)生的創(chuàng)新精神和實踐能力要明確地確定或描述要測量的心理結(jié)構(gòu)（知識、能力或其他特征），對分數(shù)或其他評價結(jié)果要作出的解釋。測量目標和行為標準確定結(jié)構(gòu)的特征是需要謹慎，只能將考試技術(shù)能夠測量的特征或行為包括在結(jié)構(gòu)的特征描述之中，不能測量的特征不能包括在其中結(jié)構(gòu)的特征一旦確定，就是排它的、武斷的。確定所要收集的證據(jù)的類型和數(shù)量8效度的證據(jù)考試內(nèi)容考生的應(yīng)答過程評分標準與定義的心理結(jié)構(gòu)及其行為標準的一致性考試的內(nèi)部結(jié)構(gòu)考試與效標（標準）的關(guān)系9考

6、試內(nèi)容方面的證據(jù)確定每道試題測量的行為目標，涉及到內(nèi)容領(lǐng)域那些內(nèi)容；比較考試的內(nèi)容結(jié)構(gòu)與學(xué)科內(nèi)容領(lǐng)域的結(jié)構(gòu)是否一致。收集證據(jù)的方法考試機構(gòu)自己對照考試規(guī)范或考試大綱進行檢查發(fā)放問卷調(diào)查表給學(xué)科教師或?qū)＜疫M行調(diào)查 由專家按照詳細的一系列標準給每道試題和整張考卷進行定量打分或定性評價 效度的證據(jù)內(nèi)容10效度的證據(jù)考生的應(yīng)答過程 考試是從認知心理學(xué)的角度來看待考試結(jié)果反映考生心理結(jié)構(gòu)的程度，也就是說從考察學(xué)生回答問題時發(fā)生的心理過程或思維過程的角度來看待結(jié)構(gòu)效度的。使用某些問題或試題來測量思維能力時，需要問題或試題能夠引發(fā)考生進行一定的思維活動，這個活動反過來引發(fā)考生顯示出我們希望考生顯示的行為。只

7、有在這樣的情況下，問題才是有效的，得到的結(jié)果才能是考生某一心理結(jié)構(gòu)的測度。分析考生答題的思維過程的主要方法包括調(diào)查問卷分析計算機模擬分析面談記錄分析11評分標準與定義的心理結(jié)構(gòu) 及其行為標準的一致性 命題時制定的評分標準應(yīng)該與定義的心理結(jié)構(gòu)及其行為標準相一致具體評分時，評分標準的細化應(yīng)該以行為標準的表現(xiàn)出來與否為得分步驟，而不一定是以做出來一步給多少分。有可能做出來的兩步都是一個行為表現(xiàn)。12考試與效標的關(guān)系效度檢驗過程中，我們還要收集另外一類證據(jù)或信息，這就是能夠證明我們的考試結(jié)果與某個其他的“標準”之間關(guān)系的證據(jù)或信息，這個“標準”與我們的考試測量了考生相同的能力，我們將這個標準稱為效標。

8、效標應(yīng)該是反映考生行為的另外一個考試的結(jié)果。 與效標相關(guān)的證據(jù)研究的考試分數(shù)與效標考試的分數(shù)相聯(lián)系效標實際上是考生的某種行為表現(xiàn)，考生在該行為上的得分，可以用來預(yù)測未來。高中階段學(xué)習(xí)的效果中考大學(xué)階段的學(xué)習(xí)效果高考13考試與效標的關(guān)系研究考試與效標之間的相關(guān)關(guān)系根據(jù)研究考試的結(jié)果預(yù)測未來考試的結(jié)果方式線性回歸預(yù)測14考試與效標的關(guān)系X-考試 Y-效標x-待檢驗的考試樣本 y-效標考試樣本s-待檢驗的考試樣本標準差S-待檢驗的考試總體標準差rxy-待檢驗的考試樣本 與效標考試樣本間的相關(guān)關(guān)系 研究考試與效標之間的相關(guān)關(guān)系根據(jù)研究考試的結(jié)果預(yù)測未來考試的結(jié)果方式線性回歸預(yù)測15考試與效標的關(guān)系效標

9、考試的類型預(yù)期效標估計同期效標估計預(yù)期效標估計用分數(shù)來預(yù)測將來的行為獲取效標測試的相關(guān)系數(shù)對所有相關(guān)的考生進行測試等待一定的合理的時間收集效標測試的分數(shù)計算相關(guān)系數(shù)16考試與效標的關(guān)系同期效標估計檢查與同期考試的相關(guān)關(guān)系檢查能力水平不同的考生，在兩個考試中考試結(jié)果的差別。效標應(yīng)該是同樣類型的考試。所謂同樣類型的考試是與我們研究的考試測量相同的能力或心理結(jié)構(gòu)的考試，如果沒有這個前提，我們就失去了把二者間的相關(guān)關(guān)系解釋為效度證據(jù)的基礎(chǔ)。17考試的內(nèi)部結(jié)構(gòu)考試的結(jié)構(gòu)方面的證據(jù)考試的結(jié)構(gòu)方面的證據(jù)是要證明考試測量它所設(shè)計測量的心理結(jié)構(gòu)的精確程度結(jié)構(gòu)方面的證據(jù)的收集是一不斷的過程。不同測量目標或行為目標

10、之間的相關(guān)關(guān)系不同測量目標或行為目標的因子分析實驗設(shè)計。18考試的內(nèi)部結(jié)構(gòu)考試的結(jié)構(gòu)方面的證據(jù)不同測量目標或行為目標之間的相關(guān)關(guān)系不同行為變量之間的相關(guān)關(guān)系不同行為變量與考試總分之間的相關(guān)關(guān)系。不同行為變量與考試總分減去相應(yīng)變量分數(shù)后的相關(guān)不同測量目標或行為目標的因子分析19Thank You20考試內(nèi)容證據(jù)收集量表舉例21考試內(nèi)容證據(jù)收集量表舉例22考試內(nèi)容證據(jù)收集量表舉例專家姓名： 日期： 說 明：閱讀表中每一條行為目標，閱讀相應(yīng)試題及其評分標準，檢查試題及其評分標準與測量的行為目標是否一致，并按照以下標準進行評分： +1=試題與行為目標一致或高度一致 0=試題與行為目標大致一致 -1=試

11、題與行為目標不一致如果對試題與行為目標的一致性有任何評價意見，請寫在相應(yīng)的欄目中。目標1：理解文章的主要內(nèi)容。試題 評 分 評 價 意 見試題65 _ _試題66 _ _ 試題69 _ _ 目標2：歸納文章的主旨大意。試題63 _ _ 試題67 _ _ 試題73 _ _ 23考生應(yīng)答過程分析調(diào)查問卷表 24考生應(yīng)答過程分析面談分析 崇明島開發(fā)前景良好的可再生能源是_（單項選擇）A水能 B風(fēng)能 C核能 D地熱能考試結(jié)束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：1、崇明島沒有核電站，選項C不對；沒有聽說崇明島有地熱資源，選項D也不對；崇明島地處長江口，靠近東海，水資源非常豐富

12、，因此，當時選擇A為正確。2、崇明島沒有核電站，選項C不對；聽說崇明島有溫泉浴場，因此當時選擇D正確。3、核能不是可再生能源，選項C不對；現(xiàn)在上海有很多溫泉浴場，估計崇明也有，因此當時選擇D正確。 25考生應(yīng)答過程分析面談分析 崇明島開發(fā)前景良好的可再生能源是_（單項選擇）A水能 B風(fēng)能 C核能 D地熱能考試結(jié)束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：4、崇明島地處長江口，水資源非常豐富，因此，當時選擇A為正確。5、核能不是可再生能源，選項C不對；上海鄉(xiāng)土地理書上沒有介紹過上海豐富的地熱資源，選項D也不對；崇明島地勢平緩，島內(nèi)沒有大的河流，不會有豐富的水能資源，因此，選

13、項A也不對；那么只有選項B是正確的。26考生應(yīng)答過程分析面談分析 崇明島開發(fā)前景良好的可再生能源是_（單項選擇）A水能 B風(fēng)能 C核能 D地熱能考試結(jié)束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：6、核能不是可再生能源，選項C不對；上海鄉(xiāng)土地理書上沒有介紹過上海豐富的地熱資源，選項D也不對；崇明島地勢平緩，島內(nèi)沒有大的河流，不會有豐富的水能資源，因此，選項A也不對；崇明島地處長江口，長江與東海交匯處，島內(nèi)地勢平緩，附近沒有高山等阻擋，風(fēng)能應(yīng)該比較豐富，因此，選項B是正確的。27考生應(yīng)答過程分析面談分析 崇明島開發(fā)前景良好的可再生能源是_（單項選擇）A水能 B風(fēng)能 C核能 D

14、地熱能設(shè)計這一試題是想了解考生“分析、解釋各類地理事物的空間結(jié)構(gòu)、聯(lián)系及其發(fā)展變化規(guī)律”的能力”。從考查的行為目標看，顯然只有第6種思維活動是正確的思維過程。第1到4思維活動，反映了考生這方面能力還有欠缺；第5項思維活動，只是從應(yīng)試技巧的角度，排除了其他三種選擇，但并沒有真正理解為什么風(fēng)能是崇明島開發(fā)前景良好的可再生能源。盡管其回答是正確的，但這一題上的結(jié)果并不能作為其這方面能力的標志。28根據(jù)測量的行為目標的表現(xiàn)水平賦分 某市2004年底有住房面積1200萬平方千米，計劃從2005年起，每年拆除20萬平方千米的舊住房。假定該市每年新建住房面積是上年住房面積的5%。（1）分別求2005年底和2

15、006年底的住房面積；（2）求2024年底的住房面積。（計算結(jié)果以萬平方米為單位，且精確到0.01）2005年底的住房面積為： 3分2006年底的住房面積為： 3分2024年底的住房面積為： 4分 4分29根據(jù)測量的行為目標的表現(xiàn)水平賦分2005年底的住房面積為： 3分2006年底的住房面積為： 3分2024年底的住房面積為： 4分 4分分析解決問題的能力計算能力123寫出求和公式1分寫列出求和算式2分正確計算出結(jié)果3寫出求和公式1寫出求和算式230根據(jù)測量的行為目標的表現(xiàn)水平賦分25（8分）雞蛋不能放進微波爐加熱，否則雞蛋會爆炸。但直接把雞蛋放在鍋里用水煮是不會爆炸的。你如何解釋這現(xiàn)象？【內(nèi)

16、容領(lǐng)域】物質(zhì)科學(xué)/運動與相互作用【行為目標】理解科學(xué)原理 【難度】0.4【題型】簡單題31根據(jù)測量的行為目標的表現(xiàn)水平賦分32根據(jù)測量的行為目標的表現(xiàn)水平賦分33根據(jù)測量的行為目標的表現(xiàn)水平賦分12從溫度的高低來分析 例1：因為微波爐是直接加熱的，很容易使雞蛋溫度過高而爆炸。而用水煮是間接加熱的，而且水的沸點是1000C，不會對雞蛋造成過度加熱。 例2：因為微波爐中的溫度超過1000C，而水中煮最多1000C，所以不會爆炸。19其他部分正確的回答。34根據(jù)測量的行為目標的表現(xiàn)水平賦分35根據(jù)測量的行為目標的表現(xiàn)水平賦分72水是濕的或微波爐內(nèi)是干的，所以爆炸 例1：因為水是液體，而微波爐內(nèi)是干熱

17、的氣體，所以雞蛋放進去可能會爆炸。 例2：因為雞蛋在微波爐煮時太干，所以雞蛋會爆炸，而雞蛋在水中煮時四周都有水。79其他錯誤回答 例1：因為生雞蛋是液體，雞蛋熟后是固體，放進微波爐煮，生變熟后物體膨脹，所以爆炸，但放入水中煮是水的沸騰煮熟雞蛋的。 例2：因為在微波爐里沒水，是像真空一樣的，而且雞蛋又有殼，而在水里煮是可以的。 例3：鍋里帶有油、水，使雞蛋滑，鍋受熱也均勻。而微波爐中，它只能燒到一面，而另一面則是生的，產(chǎn)生了溫度差。36根據(jù)測量的行為目標的表現(xiàn)水平賦分37不同行為變量之間的相關(guān)關(guān)系基本思想考試的每一個行為變量測量的是同一測量目標的不同的方面，它們之間既相互有聯(lián)系，又有區(qū)別，它們對

18、測量考生在所考學(xué)科方面的知識與技能、方法與能力都可以做出貢獻。 一般判別要求一般認為考試不同行為變量的相關(guān)關(guān)系不應(yīng)太高，也不應(yīng)太低，一般應(yīng)該在0.3到0.6。如果兩個部分的相關(guān)系數(shù)相當高，如0.85或0.9，就可以懷疑這兩部分是否測量了相同的行為目標。 38不同行為變量 與考試總分之間的相關(guān)關(guān)系 基本思想總分應(yīng)該是考試的測量目標的更加一般的測度，每一行為變量都應(yīng)該對測量目標做出較大的貢獻 。 一般的判別要求某一行為變量與考試總分間的相關(guān)關(guān)系應(yīng)該比較高，一般應(yīng)在0.7以上。 39不同行為變量與考試總分 減去相應(yīng)變量分數(shù)后的相關(guān)關(guān)系 基本思想考試總分中包含了考試各個行為變量的貢獻，某一行為變量與總分的相關(guān)關(guān)系實際上也受到該行為變量自相關(guān)的影響，獲得的相關(guān)系數(shù)可能偏大?；谶@個考慮，一種常見的做法就是：計算某一行為變量與總分的相關(guān)系數(shù)時，從總分中刪除該行為變量的分數(shù)。一般的判別要求不同行為變量與考試總分減去相應(yīng)變量分數(shù)后的相關(guān)關(guān)系 ，如果仍然能在0.7以上就很好了。 40內(nèi)部結(jié)構(gòu)方面的證據(jù) 變量之間的相關(guān)關(guān)系41因子分析（Factor Analysis） 因子分析的基本思想用少數(shù)的假設(shè)變量來代替觀察的變量。用因