項(xiàng)目反應(yīng)理論及其應(yīng)用

1、 項(xiàng)目反應(yīng)理論及其應(yīng)用項(xiàng)目反應(yīng)理論及其應(yīng)用中國(guó)水利水電出版社 概化理論n凡測(cè)量都有誤差，誤差可能來(lái)自測(cè)量工具的不標(biāo)準(zhǔn)或不適合所測(cè)量的對(duì)象，也可能來(lái)自工具的使用者沒(méi)有掌握要領(lǐng)，也可能是測(cè)量條件和環(huán)境所造成，也可能是測(cè)量對(duì)象不合作所引起?？傊a(chǎn)生測(cè)量誤差的原因是多種多樣的，而CTT理論僅以一個(gè)E就概括了所有的誤差，并不能指明哪種誤差或在總誤差中各種誤差的相對(duì)大小如何。這樣對(duì)于測(cè)量工具和程序的改革沒(méi)有明確的指導(dǎo)意義，只能根據(jù)主試自己的理解去控制一些因素，針對(duì)性并不強(qiáng)。鑒于此種情況，二十世紀(jì)六十至七十年代初，克倫巴赫(Cronbach)等人提出了概化理論(Generalizability Theory

2、)簡(jiǎn)稱GT理論。nGT理論的基本思想是，任何測(cè)量都處在一定的情境關(guān)系之中，應(yīng)該從測(cè)量的情境關(guān)系中具體地考察測(cè)量工作，提出了多種真分?jǐn)?shù)與多種不同的信度系數(shù)的觀念，并設(shè)計(jì)了一套方法去系統(tǒng)辯明與實(shí)驗(yàn)性研究多種誤差方差的來(lái)源。并用“全域分?jǐn)?shù)”(Universe Score)代替“真分?jǐn)?shù)”(True Score) ， 用“概括化系數(shù)， G系數(shù)”(Generalizability Coefficent)代替了“信度”(Reliabilty)。n概化理論認(rèn)為，測(cè)量的總方差可以分解為代表目標(biāo)測(cè)量的方差成分和構(gòu)成誤差的種種方差成分。測(cè)量工作中要加以認(rèn)識(shí)和予應(yīng)用的心理特質(zhì)水平是測(cè)量目標(biāo)。而構(gòu)成測(cè)量條件與具體情境關(guān)

3、系的因素，稱為測(cè)量側(cè)面(Facets of Measurement)。如學(xué)生閱讀能力測(cè)驗(yàn)， 其目的是對(duì)學(xué)生閱讀能力的測(cè)量，因此，閱讀能力就成為測(cè)量目標(biāo)，除此外試題的水平和評(píng)分者等因素也會(huì)影響測(cè)驗(yàn)的總變異。這兩個(gè)因素就是測(cè)量側(cè)面。這里對(duì)學(xué)生閱讀能力的測(cè)量是在雙側(cè)面情境的條件下進(jìn)行的。測(cè)量側(cè)面中的單個(gè)事例叫側(cè)面的水平，如有兩個(gè)評(píng)分者甲和乙，則評(píng)分者這一側(cè)面就有兩個(gè)水平。測(cè)量側(cè)面又分為隨機(jī)側(cè)面和固定側(cè)面。隨機(jī)側(cè)面是指測(cè)量側(cè)面中所包含的各水平中是類似水平的隨機(jī)樣本，而非固定不變的側(cè)面，如大規(guī)?？荚囍性u(píng)分者每次都有可能不同，由這樣變化的評(píng)分者所組成的測(cè)量側(cè)面就稱為隨機(jī)側(cè)面。固定側(cè)面是指在各次實(shí)施中測(cè)量側(cè)

4、面的所在水平一直保持不變的測(cè)量側(cè)面，如標(biāo)準(zhǔn)化的心理測(cè)驗(yàn)中測(cè)驗(yàn)的項(xiàng)目總是一樣，這樣的側(cè)面就叫固定側(cè)面。n因此，進(jìn)行測(cè)驗(yàn)的標(biāo)準(zhǔn)化就是對(duì)某些測(cè)量側(cè)面進(jìn)行固定。固定測(cè)量側(cè)面可以減少測(cè)量誤差，但卻會(huì)使測(cè)量目標(biāo)變得更為局限。比如，把閱讀理解題定為對(duì)科技說(shuō)明文，這時(shí)，所測(cè)的特質(zhì)就不再是一般的閱讀理解能力，而是特定的對(duì)科技說(shuō)明文的理解能力了。這樣，測(cè)驗(yàn)所得的分?jǐn)?shù)就不能再推廣到原來(lái)那么寬廣的范圍了。n概化理論強(qiáng)調(diào)，測(cè)量目標(biāo)是具體的，并不是絕對(duì)固定不變的。因而全域分?jǐn)?shù)也就不固定，可以有多種。一方面，當(dāng)固定側(cè)面時(shí)，側(cè)面本身會(huì)轉(zhuǎn)化為測(cè)量目標(biāo)的一部分（如對(duì)一般閱讀理解能力的測(cè)量轉(zhuǎn)變?yōu)閷?duì)科技說(shuō)明文的測(cè)量），測(cè)量目標(biāo)要局限

5、化；另一方面，當(dāng)測(cè)量中考察目的與應(yīng)用需要改變時(shí)，測(cè)量目標(biāo)對(duì)象就可能完全轉(zhuǎn)移。比如，當(dāng)作文考試結(jié)果是要對(duì)考生作判斷時(shí)，測(cè)量目標(biāo)就是考生的作文能力，若要把評(píng)分嚴(yán)與評(píng)分寬的評(píng)分者區(qū)分開(kāi)，評(píng)分者的能力就成了測(cè)量目標(biāo)，也即測(cè)量目標(biāo)就完全發(fā)生了轉(zhuǎn)移。顯然，測(cè)量目標(biāo)不同時(shí)，標(biāo)志測(cè)量目標(biāo)的分?jǐn)?shù)也就不同。測(cè)量目標(biāo)在具體關(guān)系條件下的分?jǐn)?shù)叫全域分?jǐn)?shù)。這樣，有時(shí)對(duì)同一批測(cè)量資料來(lái)說(shuō)，當(dāng)測(cè)量工作的具體關(guān)系變化時(shí)全域分?jǐn)?shù)也會(huì)變。即同一測(cè)驗(yàn)資料就可能有多種全域分?jǐn)?shù)。n概化理論把全域分?jǐn)?shù)方差對(duì)總變差的比稱為為概括力系數(shù)（簡(jiǎn)稱G系數(shù)）。而總方差可以分成全域分?jǐn)?shù)方差(2 (p)和誤差分?jǐn)?shù)方差(2()，如果測(cè)驗(yàn)是常模參照性測(cè)驗(yàn)，則

6、G系數(shù)E2是評(píng)價(jià)測(cè)驗(yàn)穩(wěn)定性程度的最佳指標(biāo):n即: E2=(2(p)/ 2(p) +(2()n若該測(cè)驗(yàn)是標(biāo)準(zhǔn)參照性測(cè)驗(yàn)，則其依存性j指標(biāo)是測(cè)驗(yàn)穩(wěn)定一致性的最好指標(biāo)。nj=(2(p)/ 2(p) +(2()n上兩式中，誤差方差2()可能是很多項(xiàng)的和，如上例中考生的閱讀理解能力的方差是標(biāo)志測(cè)量目標(biāo)的方差，即為全域分?jǐn)?shù)方差記為(2(p)，而試題、評(píng)分者及三個(gè)主效應(yīng)間的交互作用方差（共有7種方差成分）都不應(yīng)包括在全域分?jǐn)?shù)方差之中，作為誤差方差(2()的一部分，是構(gòu)成總方差的成分之一。由此可見(jiàn)，當(dāng)全域分?jǐn)?shù)方差不變，而誤差分?jǐn)?shù)方差增大時(shí)，概括力系數(shù)值降低，信度降低。反之，當(dāng)全域分?jǐn)?shù)方差增大，而誤差分?jǐn)?shù)方差不

7、變，則概括力系數(shù)增大，信度提高。所以，隨著測(cè)量情境關(guān)系的變化，測(cè)量目標(biāo)與側(cè)面的變動(dòng)，概括力系數(shù)即信度也就會(huì)不同。同一批資料就可能有多種不同含義與取值的概括力系數(shù)。一般說(shuō)來(lái)，增大概括力系數(shù)的方法有兩種：第一種是，固定測(cè)量側(cè)面（如固定試題）。第二種是增加側(cè)面所包含的水平數(shù)（如增加試題或評(píng)分者數(shù)目）。(漆書(shū)青,1993)n概化理論是用方差分析的方法來(lái)全面估計(jì)出各種方差成分的相對(duì)大小，并可直接比較其大小。雖然真分?jǐn)?shù)理論也可以分別地估出某一方差成分的大小，如代表試題側(cè)面的內(nèi)部一致性系數(shù)，代表評(píng)分者側(cè)面的評(píng)分者信度等，正因?yàn)槭菃为?dú)估出的，這些值之間不能直接比較，也只有對(duì)主效應(yīng)作估計(jì)，而不能對(duì)交互作用進(jìn)行估

8、計(jì)。而概化理論卻能做到這一點(diǎn)。它既能估計(jì)出主效應(yīng)，也能估計(jì)出交互作用效應(yīng)，并能對(duì)各估計(jì)值的大小進(jìn)行直接比較。在概化理論中，理論估出各方差成分相對(duì)大小的過(guò)程，叫概化理論的概括分研究階段或稱G研究階段。n概化理論并不內(nèi)靜止地分析各種誤差來(lái)源，還要在G研究的基礎(chǔ)上，通過(guò)實(shí)驗(yàn)性研究，進(jìn)一步考察不同測(cè)驗(yàn)設(shè)計(jì)條件下的概括力系數(shù)的變化狀況，如固定側(cè)面或增加側(cè)面水平下的變化狀況，從而探求到最佳的控制誤差的方法，作出最佳的設(shè)計(jì)決策，從而改進(jìn)測(cè)驗(yàn)的內(nèi)容、方式方法提供了有價(jià)值的信息。這一階段稱作決策研究或稱D研究階段。nGT在研究測(cè)量誤差方面有更大的優(yōu)越性，它能針對(duì)不同測(cè)量情境估計(jì)測(cè)量誤差的多種來(lái)源，為改善測(cè)驗(yàn)，提

9、高測(cè)量質(zhì)量有用的信息。其缺陷是統(tǒng)計(jì)計(jì)算相當(dāng)繁雜，如果借助一些統(tǒng)計(jì)分析軟件可以解決這一問(wèn)題。GT理論目前在我國(guó)還處于實(shí)驗(yàn)研究階段，在面試、考核等主觀性測(cè)評(píng)中有一些應(yīng)用(劉遠(yuǎn)我,張厚粲,1998)目錄1 項(xiàng)目反應(yīng)理論概述2 項(xiàng)目反應(yīng)模型的參數(shù)估計(jì)3 項(xiàng)目和測(cè)驗(yàn)的信息函數(shù)4 項(xiàng)目反應(yīng)理論的應(yīng)用9.1 項(xiàng)目反應(yīng)理論概述9.1.1 項(xiàng)目反應(yīng)理論的產(chǎn)生9.1.2 項(xiàng)目反應(yīng)理論的含義9.1.3 項(xiàng)目反應(yīng)理論的發(fā)展9.1.4 項(xiàng)目反應(yīng)理論基礎(chǔ)模型例舉項(xiàng)目反應(yīng)理論的產(chǎn)生 1經(jīng)典測(cè)量理論的局限和不足，其不足表現(xiàn)在以下幾方面：n按經(jīng)典測(cè)量理論所求出的難度、區(qū)分度、信度和效度等質(zhì)量指標(biāo)，嚴(yán)重依賴于樣本，樣本的代表性好

10、壞直接影響著這些參數(shù)。 項(xiàng)目反應(yīng)理論的產(chǎn)生 n經(jīng)典測(cè)量理論中測(cè)驗(yàn)信度的估計(jì)是真分?jǐn)?shù)方差與測(cè)驗(yàn)總方差之比，但這是建立在兩個(gè)前提假設(shè)的基礎(chǔ)之上，即個(gè)體的測(cè)驗(yàn)總分僅線性分解為真分?jǐn)?shù)和誤差分?jǐn)?shù)兩部分，并且這兩個(gè)部分是相互獨(dú)立的。n經(jīng)典測(cè)量理論認(rèn)為人的測(cè)驗(yàn)總分是這個(gè)人在些特質(zhì)上的真分?jǐn)?shù)和測(cè)量誤差之和。 n經(jīng)典測(cè)驗(yàn)理論多是使用匹配和隨機(jī)化來(lái)進(jìn)行誤差控制 。項(xiàng)目反應(yīng)理論的產(chǎn)生 2項(xiàng)目反應(yīng)理論的產(chǎn)生 自1904年斯皮爾曼首次提出經(jīng)典測(cè)量理論以來(lái)，經(jīng)典測(cè)量理論為心理與教育測(cè)驗(yàn)的發(fā)展很好地服務(wù)了100多年，可其自身的不足和缺陷使得人們?cè)谀承y(cè)量的實(shí)際問(wèn)題前束手無(wú)策。 項(xiàng)目反應(yīng)理論的含義 項(xiàng)目反應(yīng)理論也稱項(xiàng)目特征曲

11、線理論或潛在特質(zhì)理論，它是依據(jù)一定的數(shù)學(xué)模型，用項(xiàng)目特征參數(shù)估計(jì)潛在特質(zhì)的一種測(cè)量理論。該理論中最重要的兩個(gè)基本概念是“潛在特質(zhì)”和“項(xiàng)目特征曲線”。 項(xiàng)目反應(yīng)理論的含義 項(xiàng)目特征曲線項(xiàng)目反應(yīng)理論的發(fā)展 雖然早期的項(xiàng)目反應(yīng)模型主要是單維度模型而且更強(qiáng)調(diào)雙岐項(xiàng)目模式（如拉希模型和三參數(shù)邏輯斯蒂模型），而如今一些多維度項(xiàng)目反應(yīng)模型也逐步發(fā)展起來(lái)，向其他項(xiàng)目模式的拓展使得它能應(yīng)用于更多的領(lǐng)域。今天，項(xiàng)目反應(yīng)理論模型已發(fā)展出了等級(jí)量表模型、分部評(píng)分模型和多重選項(xiàng)計(jì)分模型等等。 項(xiàng)目反應(yīng)理論基礎(chǔ)模型例舉 邏輯斯蒂模型有單參數(shù)、雙參數(shù)及三參數(shù)之分，其函數(shù)表達(dá)式分別為：()1( )1iiDbPe()1( )

12、1iiiDabPe（9-1） （9-2） 項(xiàng)目反應(yīng)理論基礎(chǔ)模型例舉 （9-3） ()1( )1iiiiiDabcPce 式中， 表示能力為的被試在項(xiàng)目上正確作答的概率； 表示被試的能力； 表示項(xiàng)目 的難度參數(shù)； 表示自然對(duì)數(shù)之底=2.71828； D表示量表因D=1.7； 表示項(xiàng)目 的區(qū)分度參數(shù)； 表示項(xiàng)目 的偽隨機(jī)水平參數(shù)，習(xí)慣稱猜測(cè)參數(shù)。 上述三個(gè)模型中以三參數(shù)邏輯斯蒂模型應(yīng)用最為廣泛。( )iPibieiaiici9.2 項(xiàng)目反應(yīng)模型的參數(shù)估計(jì) 9.2.1 項(xiàng)目參數(shù)已知的能力參數(shù)估計(jì)9.2.2 聯(lián)合極大似然估計(jì)9.2 項(xiàng)目反應(yīng)模型的參數(shù)估計(jì) 項(xiàng)目反應(yīng)理論用項(xiàng)目特征曲線表示被試的潛在特質(zhì)與

13、其對(duì)項(xiàng)目的正確反應(yīng)的概率之間的關(guān)系，再用一定的數(shù)學(xué)模型擬合項(xiàng)目特征曲線，從而為估計(jì)被試的潛在特質(zhì)奠定了基礎(chǔ)。 項(xiàng)目參數(shù)已知的能力參數(shù)估計(jì) 將題目參數(shù)已知的測(cè)驗(yàn)施測(cè)后，我們要根據(jù)被試所得分?jǐn)?shù)矩陣估計(jì)出被試的能力（特質(zhì)）參數(shù)，為了方便，首先考慮一個(gè)被試。 若能力（特質(zhì)）水平為的被試在第題上的反應(yīng)變量為，如果為1或0取值的二分變量，則該被試在第 題上的答對(duì)率為： i項(xiàng)目參數(shù)已知的能力參數(shù)估計(jì) 式中 =1 ，其中 由（9-3）式確定 1(/ )iiUUiiiP UP Q（9-4） iQiPiP聯(lián)合極大似然估計(jì) 若有N個(gè)被試，經(jīng)過(guò)n個(gè)試題的測(cè)試，根據(jù)作答的反應(yīng)矩陣，我們可以應(yīng)用聯(lián)合極大似然方法，同時(shí)，估

14、計(jì)出所有被試的能力（特質(zhì)）水平和所有試題的參數(shù)值 ， ， 。iaibic9.3 項(xiàng)目和測(cè)驗(yàn)的信息函數(shù)9.3.1 項(xiàng)目信息函數(shù)9.3.2 測(cè)驗(yàn)信息函數(shù)9.3.3 項(xiàng)目反應(yīng)理論參數(shù)計(jì)算軟件IRTP簡(jiǎn)介項(xiàng)目信息函數(shù) 項(xiàng)目信息函數(shù)通常的定義為： 從公式（9-11）可以看出，在項(xiàng)目信息函數(shù)中，每個(gè)項(xiàng)目所提供的信息量是被試特質(zhì)水平的函數(shù)，因而項(xiàng)目信息函數(shù)值隨被試能力取值的不同而不同。 2( )( ,)( )( )iiiiPIUPQ（9-11） 測(cè)驗(yàn)信息函數(shù) 測(cè)驗(yàn)信息函數(shù)是項(xiàng)目反應(yīng)理論中非常有用的一個(gè)特征，它能從根本上告訴研究者一項(xiàng)測(cè)驗(yàn)在整個(gè)能力分?jǐn)?shù)范圍內(nèi)對(duì)被試能力水平進(jìn)行估計(jì)的精確程度。 21( )( )

15、( )( )NiiiiPIPQ（9-12） 項(xiàng)目反應(yīng)理論參數(shù)計(jì)算軟件IRTP簡(jiǎn)介 IRTP主要具有如下功能：n可同時(shí)計(jì)算IRT二級(jí)評(píng)分項(xiàng)目和多級(jí)評(píng)分項(xiàng)目的項(xiàng)目參數(shù)及考生的能力參數(shù)，并將能力參數(shù)轉(zhuǎn)換成人們習(xí)慣的“分?jǐn)?shù)”。n可繪制項(xiàng)目特征曲線、項(xiàng)目信息函數(shù)曲線、測(cè)驗(yàn)分?jǐn)?shù)分布直方圖、最優(yōu)分?jǐn)?shù)分布直方圖和能力分?jǐn)?shù)分布直方圖等各種相關(guān)圖形。 n可對(duì)邏輯斯蒂模型和測(cè)驗(yàn)數(shù)據(jù)集進(jìn)行卡方擬合檢驗(yàn)。n可計(jì)算經(jīng)典測(cè)量理論的項(xiàng)目參數(shù)（難度、區(qū)分度）、信度系數(shù)以及測(cè)驗(yàn)標(biāo)準(zhǔn)誤。9.4 項(xiàng)目反應(yīng)理論的應(yīng)用 9.4.1 題庫(kù)建設(shè)9.4.2 題目參數(shù)等值9.4.3 標(biāo)準(zhǔn)參照性測(cè)驗(yàn)的編制題庫(kù)建設(shè) 1命題與參數(shù)估計(jì)（1）命題 （2

16、）項(xiàng)目參數(shù)估計(jì)2模型資料擬合性檢驗(yàn)（1）單維性檢驗(yàn)（2）數(shù)據(jù)模型擬合性檢驗(yàn)（3）參數(shù)不變性檢驗(yàn)（4）題庫(kù)項(xiàng)目分布合理性檢驗(yàn)題庫(kù)建設(shè) 3選題策略 項(xiàng)目反應(yīng)理論指導(dǎo)下的選題策略有兩種：n自動(dòng)組卷的選題策略n自適應(yīng)測(cè)驗(yàn)的選題策略。 題目參數(shù)等值 題庫(kù)的題量很大，項(xiàng)目參數(shù)的估計(jì)都要分批進(jìn)行，在不同批次獲得的參數(shù)值，一定要使用等值技術(shù)轉(zhuǎn)換到同一量表系統(tǒng)上去。在項(xiàng)目反應(yīng)理論中，由于題目參數(shù)估計(jì)具有跨群體不變性和潛在特質(zhì)參數(shù)估計(jì)具有可選擇性，使來(lái)自不同群體施測(cè)的題目參數(shù)可以用參數(shù)等值方法將它們統(tǒng)一于同一個(gè)單位系統(tǒng)中，這就保證了題目參數(shù)的準(zhǔn)確性。題目參數(shù)等值 等值有多種設(shè)計(jì) ：n隨機(jī)等值設(shè)計(jì) n平衡單組設(shè)計(jì) n等值采用鉚測(cè)驗(yàn)非對(duì)等組設(shè)計(jì) 標(biāo)準(zhǔn)參照性測(cè)驗(yàn)的編制 項(xiàng)目反應(yīng)理論可以直接有效地指導(dǎo)標(biāo)