基于聯(lián)結(jié)主義的連續(xù)記分IRT模型的項(xiàng)目參數(shù)和被試能力估計(jì)

基于聯(lián)結(jié)主義的連續(xù)記分IRT模型的項(xiàng)目參數(shù)和被試能力估計(jì)

4.4減少項(xiàng)目參數(shù)的測(cè)試誤差的實(shí)驗(yàn)

從表2的數(shù)據(jù)可以看出，上述方法對(duì)于θ的估計(jì)已經(jīng)達(dá)到了較好的精度，但對(duì)于a、b和c的估計(jì)誤差仍然比較大。于是再用增加訓(xùn)練模式的方法來(lái)試圖減少測(cè)試誤差。上述在訓(xùn)練第二組神經(jīng)網(wǎng)絡(luò)時(shí)，是用“第一矩陣”中的每一列作為模式的輸入，該矩陣共有45列，相應(yīng)于第一組的45個(gè)項(xiàng)目?，F(xiàn)在將這組項(xiàng)目擴(kuò)大，即增加到60個(gè)，75個(gè)，90個(gè)和105個(gè)，這些項(xiàng)目的參數(shù)都是用蒙特卡羅方法產(chǎn)生的。然后，拿第一組25個(gè)被試的θ值和它們起反應(yīng)，用產(chǎn)生的反應(yīng)矩陣和相應(yīng)的項(xiàng)目參數(shù)作為訓(xùn)練模式，對(duì)30個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并重復(fù)上述步驟4和步驟5，得到在各種不同數(shù)量的訓(xùn)練模式條件下的a、b和c的單個(gè)模式測(cè)試誤差的平均數(shù)M和標(biāo)準(zhǔn)差SD，如表3所示。從表中數(shù)據(jù)可以看出，隨著訓(xùn)練項(xiàng)目數(shù)的增加，對(duì)項(xiàng)目參數(shù)a、b和c的測(cè)試誤差都有明顯降低，當(dāng)項(xiàng)目數(shù)達(dá)到105時(shí)，基本上已經(jīng)可以接受參數(shù)估計(jì)的結(jié)果了。

附圖

從上面的討論可以看出，在該計(jì)算機(jī)模擬實(shí)驗(yàn)中，共有兩組被試，第一組被試是用于能力測(cè)試模式的，第二組被試是用于能力訓(xùn)練模式的；該實(shí)驗(yàn)中有三組項(xiàng)目，其中的第二組項(xiàng)目是第一組的一部分，第一組項(xiàng)目用于項(xiàng)目參數(shù)訓(xùn)練和能力測(cè)試模式的，第三組項(xiàng)目是用于項(xiàng)目參數(shù)測(cè)試模式的，第二組項(xiàng)目是用于能力訓(xùn)練模式的；該實(shí)驗(yàn)中有三個(gè)反應(yīng)矩陣，其中的第一矩陣又被分為左、右兩個(gè)部分，左部分是由被抽取出來(lái)的第二組項(xiàng)目產(chǎn)生的，右部分是由其余項(xiàng)目產(chǎn)生的，第二矩陣的“行”作為能力訓(xùn)練模式，第一矩陣的“行”作為能力測(cè)試模式，第一矩陣的“列”作為項(xiàng)目參數(shù)訓(xùn)練模式，第三矩陣的“列”作為項(xiàng)目參數(shù)測(cè)試模式。4.5實(shí)際測(cè)驗(yàn)中的被試能力和項(xiàng)目參數(shù)估計(jì)步驟小結(jié)

上述的實(shí)驗(yàn)是在計(jì)算機(jī)模擬的情況下了產(chǎn)生的各組被試能力和項(xiàng)目參數(shù)，在實(shí)際的測(cè)驗(yàn)情況中，可以按照以下步驟來(lái)進(jìn)行測(cè)驗(yàn)編制以及被試能力和項(xiàng)目參數(shù)估計(jì)：

(1)在已知項(xiàng)目參數(shù)的題庫(kù)中取出若干個(gè)項(xiàng)目（類似于上述模擬實(shí)驗(yàn)中的第二組項(xiàng)目，這些項(xiàng)目可以是二值記分的，它可以事先通過(guò)BILOG等估計(jì)得到），再加上自行編制的、未知參數(shù)的若干項(xiàng)目（類似于上述模擬實(shí)驗(yàn)中第三組項(xiàng)目），混合后組成實(shí)際的測(cè)驗(yàn)試卷。

(2)用這一試卷對(duì)一組真實(shí)的被試（類似于上述模擬實(shí)驗(yàn)中的第一組被試）進(jìn)行測(cè)試，得到一組實(shí)際的結(jié)果。

(3)用蒙特卡羅方法產(chǎn)生一組被試的能力值（類似于上述模擬實(shí)驗(yàn)中的第二組被試），令它和真實(shí)試卷中的已知項(xiàng)目參數(shù)的那部分項(xiàng)目（類似于上述模擬實(shí)驗(yàn)中的第二組項(xiàng)目）起反應(yīng)，得到反應(yīng)矩陣（類似于上述模擬實(shí)驗(yàn)中的第二矩陣）。

(4)用這一矩陣和這組蒙特卡羅方法產(chǎn)生的被試能力值組成能力訓(xùn)練模式，對(duì)一組神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

(5)用真實(shí)的測(cè)驗(yàn)結(jié)果矩陣的每一行作為一個(gè)模式的輸入部分，輸入上述經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，其輸出就是真實(shí)被試的能力估計(jì)值。

(6)運(yùn)用蒙特卡羅方法產(chǎn)生一組項(xiàng)目參數(shù)，根據(jù)上述的模擬實(shí)驗(yàn)，大約要有100個(gè)項(xiàng)目的參數(shù)，令真實(shí)被試的能力估計(jì)值和它們起反應(yīng)，得到一個(gè)反應(yīng)矩陣（類似于上述模擬實(shí)驗(yàn)中的第一矩陣右部分）。用這個(gè)矩陣中的每一列和相應(yīng)的蒙特卡羅方法產(chǎn)生的項(xiàng)目參數(shù)組成訓(xùn)練模式，對(duì)另一組神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使之具有估計(jì)項(xiàng)目參數(shù)的功能。

(7)將這一經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)真實(shí)測(cè)驗(yàn)中未知參數(shù)的那部分項(xiàng)目（類似于上述模擬實(shí)驗(yàn)中的第三組項(xiàng)目）進(jìn)行參數(shù)估計(jì)，從而得到這些項(xiàng)目的參數(shù)估計(jì)值。

至此，就把實(shí)際的被試能力和項(xiàng)目參數(shù)估計(jì)出來(lái)了。對(duì)照上述模擬實(shí)驗(yàn)的圖1，其中的第一矩陣左部分和第三矩陣是由真實(shí)測(cè)驗(yàn)的數(shù)據(jù)產(chǎn)生的，第一矩陣的右部分和第二矩陣是用蒙特卡羅方法產(chǎn)生的。5討論5.1該方法的優(yōu)點(diǎn)

(1)提出了一種全新的IRT項(xiàng)目參數(shù)和被試能力的估計(jì)方法，以往的方法都是建立在統(tǒng)計(jì)基礎(chǔ)上的，而該方法則是建立在聯(lián)結(jié)主義理論（人工神經(jīng)網(wǎng)絡(luò)）基礎(chǔ)上的。

(2)以往的方法多數(shù)只能對(duì)二值記分的IRT模型進(jìn)行參數(shù)估計(jì)，本研究中的方法則可以對(duì)連續(xù)記分的IRT模型進(jìn)行參數(shù)估計(jì)。由于人工神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的學(xué)習(xí)功能，因此從理論上講，它也可以用于等級(jí)記分和二值記分的IRT模型，當(dāng)然，這有待于進(jìn)一步的實(shí)驗(yàn)研究。

(3)本研究中用于估計(jì)被試能力的樣本只有25人，用于估計(jì)項(xiàng)目參數(shù)的樣本只有15個(gè)項(xiàng)目，都屬于比較小的樣本，這說(shuō)明該方法可以用于小樣本的情況，這是以往方法所不能解決的。雖然在對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)可能要用到較多的訓(xùn)練模式，但這些模式是可以用蒙特卡羅方法產(chǎn)生的，并不要擴(kuò)大實(shí)際的測(cè)驗(yàn)樣本。

(4)在使用一般的統(tǒng)計(jì)方法處理小樣本的數(shù)據(jù)時(shí)，確實(shí)存在著參數(shù)估計(jì)的可靠性問(wèn)題，但是本實(shí)驗(yàn)的研究表明，在運(yùn)用與統(tǒng)計(jì)方法完全不同的聯(lián)結(jié)主義（人工神經(jīng)網(wǎng)絡(luò)）方法處理數(shù)據(jù)時(shí)，就有可能克服這一困難。這是什么原因呢？在對(duì)人工神經(jīng)網(wǎng)絡(luò)理論進(jìn)行深入探討以后[15～17]，可以發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)在對(duì)IRT參數(shù)進(jìn)行估計(jì)時(shí)，并不是一開(kāi)始就直接根據(jù)原始數(shù)據(jù)來(lái)估計(jì)參數(shù)，而是先對(duì)一組神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使它們首先具備了這方面的知識(shí)，然后再用訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)對(duì)IRT參數(shù)進(jìn)行估計(jì)，這種參數(shù)估計(jì)的可靠性如何，并不取決于被估計(jì)的樣本的大小，而是取決于對(duì)這些神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的樣本的數(shù)量、質(zhì)量以及神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和算法。在這其中，訓(xùn)練模式是研究者運(yùn)用蒙特卡羅方法產(chǎn)生的，它本身并不是一個(gè)小樣本，而是一個(gè)比較大的樣本；產(chǎn)生這些數(shù)據(jù)的模型就是IRT模型本身，因此數(shù)據(jù)本身的質(zhì)量是有保證的。關(guān)于神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，在大多數(shù)情況下是要通過(guò)預(yù)測(cè)和調(diào)整學(xué)習(xí)率等參數(shù)來(lái)確定隱含層的數(shù)量和其中每一層的神經(jīng)元的數(shù)量，但由于本研究采用的是級(jí)聯(lián)相關(guān)模型，它可以根據(jù)反傳誤差的大小自動(dòng)地調(diào)整網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和聯(lián)結(jié)權(quán)重，因此可以自動(dòng)地建立優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)，不再需要考慮學(xué)習(xí)率等問(wèn)題；另外在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，本研究的程序設(shè)計(jì)也使得只有誤差達(dá)到預(yù)定的很小的數(shù)值時(shí)，訓(xùn)練過(guò)程才停止，這就保證了被訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)是較高質(zhì)量的。由此可見(jiàn)，聯(lián)結(jié)主義（人工神經(jīng)網(wǎng)絡(luò)）模型是采用了和一般統(tǒng)計(jì)技術(shù)完全不同的思路和方法，它對(duì)IRT參數(shù)估計(jì)的可靠性主要不是取決于被估計(jì)樣本的大小，而是依賴于經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的質(zhì)量，因此我們只要采取一定的措施將神經(jīng)網(wǎng)絡(luò)訓(xùn)練好，就有可能對(duì)小樣本的IRT數(shù)據(jù)進(jìn)行可靠的參數(shù)估計(jì)。5.2需要進(jìn)一步研究的問(wèn)題

(1)首先是在編制測(cè)驗(yàn)時(shí)，需要一部分已知項(xiàng)目參數(shù)的二值記分題目，這對(duì)于已經(jīng)建立題庫(kù)的學(xué)科來(lái)說(shuō)是可以做到的，但對(duì)于尚未建立題庫(kù)的學(xué)科，就無(wú)法運(yùn)用這一方法。雖然可以用BILOG等軟件對(duì)有關(guān)的二值記分項(xiàng)目進(jìn)行參數(shù)估計(jì)，但如果沒(méi)有BILOG等軟件又該怎么辦呢？要解決這個(gè)問(wèn)題，需要構(gòu)造更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，筆者目前正在構(gòu)造“基于知識(shí)的級(jí)連相關(guān)模型”，并試圖用它解決這一困難，實(shí)驗(yàn)結(jié)果將另文闡述。

(2)該方法要求實(shí)際的測(cè)驗(yàn)中有一部分作為錨題的項(xiàng)目是已知參數(shù)的，那么這一部分錨題至少應(yīng)該是多少項(xiàng)目呢？它們占整個(gè)測(cè)驗(yàn)的比例至少要達(dá)到多少呢？本實(shí)驗(yàn)表明若錨題數(shù)量為15，它們?cè)谡麄€(gè)測(cè)驗(yàn)中所占比例為三分之一，就可獲得良好結(jié)果，那么少于15個(gè)項(xiàng)目行不行？低于三分之一的比例行不行？筆者也正在作進(jìn)一步的實(shí)驗(yàn)。

(3)本研究中用蒙特卡羅方法產(chǎn)生虛擬的被試能力和項(xiàng)目參數(shù)，那么它們的分布應(yīng)該是什么形式為最好？人工神經(jīng)網(wǎng)絡(luò)的理論認(rèn)為是均勻分布為最好，因此在本研究中采用了均勻分布。但是在對(duì)實(shí)際數(shù)