語言測試專家組成試卷的智力活動(dòng)

語言測試專家組成試卷的智力活動(dòng)

在大規(guī)模的計(jì)算機(jī)網(wǎng)絡(luò)化考試（ibt）中，基于大主題的高速智能編程技術(shù)非常重要，并且很難滿足當(dāng)前考試的需求。那么,計(jì)算機(jī)能否模仿人類語言測試專家的組卷行為來協(xié)助人完成這項(xiàng)工作呢?讓我們先來分析一下在考試命題實(shí)踐中,語言學(xué)家們是如何完成組卷工作的吧,從中或許可以洞察到人類在解決這一問題時(shí)的大概認(rèn)知過程。組成目標(biāo)試卷這項(xiàng)工作是在擁有一定數(shù)量的備用試題的基礎(chǔ)上展開的,現(xiàn)在人們通常把這些備用試題按規(guī)則存放在一起,并稱之為“題目庫(ItemPool)”。完成組卷任務(wù)的標(biāo)志是得到一份命題專家滿意的試卷。所以,我們的語言測試專家在開始工作之前首先要明確兩個(gè)問題:第一,組成的目標(biāo)試卷是個(gè)什么樣的格式。這包括試卷的能力結(jié)構(gòu)、能力結(jié)構(gòu)板塊內(nèi)題目的類型和數(shù)量等內(nèi)容。第二,目標(biāo)試卷的能力測量目標(biāo)和測量精度有什么樣的要求。這個(gè)問題描述是目標(biāo)任務(wù)屬性的。其次,語言測試專家還要知道,待組成的目標(biāo)試卷所依據(jù)的題目庫是如何建構(gòu)的,題庫的容量有多大,題目參數(shù)有哪些等。這些問題則是關(guān)于試卷組成這項(xiàng)工作的工作素材或物質(zhì)基礎(chǔ)的。人類在充分了解上述信息后,就會(huì)開始思維活動(dòng),并形成一個(gè)工作計(jì)劃,然后按自己的構(gòu)思具體實(shí)施試卷組成的認(rèn)知活動(dòng)。整個(gè)組卷過程會(huì)受到認(rèn)知結(jié)構(gòu)中的所謂“原認(rèn)知”的監(jiān)控,并可能隨時(shí)調(diào)整預(yù)定的工作程序,直到取得自己感到滿意的結(jié)果為止。通俗來講,就是一般都會(huì)先按剛性的要求差不多是隨機(jī)地拼出一份或者幾份符合要求的試卷草稿;然后,再按照彈性約束和自己的理解、偏好等對(duì)草稿試卷進(jìn)行步步優(yōu)化,直到搞出自己感覺滿意的試卷為止。比如,大學(xué)英語考試的命題,第一步是由分布在全國高校教學(xué)第一線的很多命題人員獨(dú)立地命出可能多達(dá)幾十份的試卷草稿,這些試卷草稿的題目質(zhì)量參差不齊;然后第二步,是把這些試卷草稿交給更加富有命題經(jīng)驗(yàn)的考試委員來處理,考試委員集中一段時(shí)間在這些初級(jí)試卷的基礎(chǔ)上拼出2～4份合格的目標(biāo)試卷來?？荚囄瘑T會(huì)的成卷工作又主要分為3個(gè)動(dòng)作:第1個(gè)動(dòng)作是將全卷分為聽力、閱讀和綜合3個(gè)模塊分頭工作,每個(gè)模塊的人在一起仔細(xì)分析這個(gè)模塊里的每一道題目,好的題目保留,差的題目替換或做小的修改,這樣反反復(fù)復(fù),最后會(huì)形成若干份他們認(rèn)為符合要求的該模塊的試題。第2個(gè)動(dòng)作是用各個(gè)模塊提供的試題拼出完整的目標(biāo)試卷。這一次全部命題委員一起工作,把各個(gè)模塊提供的題目反復(fù)調(diào)動(dòng)搭配(注意,3個(gè)模塊內(nèi)部并不做改動(dòng)),形成不同的目標(biāo)試卷。第3個(gè)動(dòng)作是全體委員對(duì)已形成的幾份目標(biāo)試卷作綜合評(píng)價(jià),得出是否符合大學(xué)英語四、六級(jí)命題要求的判斷。如果大家都認(rèn)為滿意了,命題工作完成,否則,要重復(fù)上述3個(gè)動(dòng)作,直到搞出符合要求的目標(biāo)試卷為止。顯然,用以上這么簡短的文字來描述試卷組成這么復(fù)雜的人類智力活動(dòng)是遠(yuǎn)遠(yuǎn)不夠的,只是由于本文的篇幅將主要用在解釋“遺傳算法”的工作原理上,故不能對(duì)此展開更為詳細(xì)的討論。下面首先來介紹著名的遺傳算法。1遺傳算法的基本原理生物的進(jìn)化是一個(gè)奇妙的優(yōu)化過程,它通過選擇淘汰,突然變異,基因遺傳等生物進(jìn)化現(xiàn)象來產(chǎn)生適應(yīng)環(huán)境變化的優(yōu)良物種。遺傳算法(GeneticAlgorithm,簡稱GA)就是由生物進(jìn)化思想啟發(fā)得出的一種目標(biāo)問題解的全局優(yōu)化算法。遺傳算法的概念最早是由BagleyJ.D在1967年提出的,而開始遺傳算法理論和方法的系統(tǒng)性研究則是由Michigan大學(xué)的J.H.Holland于1975年才開始的。當(dāng)時(shí),其主要目的是說明自然和人工系統(tǒng)的自適應(yīng)過程。遺傳算法在本質(zhì)上是一種不依賴具體問題性質(zhì)的直接搜索方法。如今,遺傳算法在模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、圖像處理、機(jī)器學(xué)習(xí)、工業(yè)優(yōu)化控制、自適應(yīng)控制、生物科學(xué)、社會(huì)科學(xué)等方面都得到了廣泛應(yīng)用。遺傳算法的基本思想是基于達(dá)爾文的進(jìn)化論和孟德爾的遺傳學(xué)說。達(dá)爾文進(jìn)化論最重要的是“適者生存”原理。它認(rèn)為每一物種在發(fā)展中越來越適應(yīng)環(huán)境。物種每個(gè)個(gè)體的基本特征由后代所繼承,但后代又會(huì)產(chǎn)生一些不同于父代的新變化。在環(huán)境變化時(shí),只有那些適應(yīng)環(huán)境的個(gè)體特征方能保留下來。孟德爾遺傳學(xué)說最重要的是“基因遺傳”原理。它認(rèn)為遺傳以密碼方式存在于細(xì)胞中,并以基因形式包含在生物染色體內(nèi)。每個(gè)基因有特殊的位置并控制某種特殊性質(zhì);所以,每個(gè)基因產(chǎn)生的個(gè)體對(duì)環(huán)境具有某種適應(yīng)性。基因突變和基因雜交可產(chǎn)生更適應(yīng)于環(huán)境的后代個(gè)體。經(jīng)過存優(yōu)去劣的自然淘汰,適應(yīng)性高的基因結(jié)構(gòu)得以保存下來。遺傳算法把問題的解表示成“染色體”,在計(jì)算機(jī)程序設(shè)計(jì)中經(jīng)常是用一個(gè)二進(jìn)制編碼的串來表示。并且在執(zhí)行遺傳算法之前,給出一群染色體,也即假設(shè)解。然后,把這些假設(shè)解置于問題的環(huán)境中,并按適者生存的原則,從中選擇出較適應(yīng)環(huán)境的染色體進(jìn)行復(fù)制,再通過交叉,變異過程產(chǎn)生更適應(yīng)環(huán)境的新一代染色體群。這樣,一代一代進(jìn)化,最后就會(huì)得到最適應(yīng)環(huán)境的一個(gè)染色體,它就是問題的最優(yōu)解。遺傳算法是由進(jìn)化論和遺傳學(xué)原理而產(chǎn)生的一種問題解的直接搜索優(yōu)化方法。根據(jù)進(jìn)化術(shù)語,對(duì)群體執(zhí)行的操作有三種:(1)選擇這是從群體中選擇出較適應(yīng)環(huán)境的個(gè)體。這些選中的個(gè)體用于繁殖下一代。故有時(shí)也稱這一操作為再生或復(fù)制。由于在選擇用于繁殖下一代的個(gè)體時(shí),是根據(jù)個(gè)體對(duì)環(huán)境的適應(yīng)度而決定其繁殖數(shù)量的,有時(shí)也稱為非均勻再生(Differentialreproduction)。(2)交叉這是在選中用于繁殖下一代的個(gè)體中,對(duì)兩個(gè)不同的個(gè)體的相同位置的基因進(jìn)行交換,從而產(chǎn)生新的個(gè)體。(3)變異這是在選中的個(gè)體中,對(duì)個(gè)體中的某些基因執(zhí)行異向轉(zhuǎn)化。在二進(jìn)制串中如果某位基因?yàn)?,產(chǎn)生變異時(shí)就是把它變成0;反之亦然。2大學(xué)英語考試目標(biāo)題型和題型變遷正如前言中所述,在組卷之前必須清楚地知道任務(wù)的屬性,主要是目標(biāo)試卷結(jié)構(gòu)和題型的說明。在目前的大學(xué)英語考試中,書面考試的試卷結(jié)構(gòu)包括聽力理解(35%)、閱讀理解(35%)、綜合填空(10%)和書面表達(dá)(30%)4個(gè)部分。正在使用的題型有:選擇題(含4選1的選擇題、2選1的判斷題和其他混合選擇題)、聽寫填空題、簡短問答題、語篇改錯(cuò)題、翻譯題等。對(duì)于口語能力的測量,大學(xué)英語考試專門設(shè)計(jì)了一套基于“2對(duì)3”(即同一場考試有2名考官考3名學(xué)生)的交互式口語能力測驗(yàn)。新的試卷結(jié)構(gòu)和題型相比2006年改革前有了很大的變化。目標(biāo)試卷的這種結(jié)構(gòu)變遷體現(xiàn)的是語言測試學(xué)家對(duì)語言能力看法的改變,它既與新的語言理論的發(fā)展和流行有關(guān),也與語言教學(xué)實(shí)踐的現(xiàn)實(shí)需求有關(guān)。目前的這種變化體現(xiàn)了測試專家對(duì)英語聽、說、讀、寫能力的同等重視,而且在題型設(shè)計(jì)時(shí),注重篇章的整體性理解和語言輸出能力的考查。但這個(gè)問題仍不是本文的研究重點(diǎn),在此也不多做討論。典型的大學(xué)英語考試試卷結(jié)構(gòu)可以描述如下。為了使試卷結(jié)構(gòu)更加簡潔,綜合填空題(Cloze)被合并到閱讀理解當(dāng)中,一般認(rèn)為,Cloze主要是在對(duì)篇章的閱讀理解的基礎(chǔ)上完成的,語篇的理解錯(cuò)誤將直接導(dǎo)致選擇錯(cuò)誤。(1)對(duì)話生活對(duì)話包括4～5個(gè)左右的話語篇章。其中2個(gè)學(xué)習(xí)、生活對(duì)話,2個(gè)學(xué)術(shù)講座報(bào)告。題型搭配通常是:對(duì)話用選擇題或者聽寫填空題;學(xué)術(shù)講座報(bào)告用復(fù)合聽寫題、簡短問答題,都聽3遍。(2)閱讀理解為35%包括5～6個(gè)左右話語篇章。題型搭配通常是:用“Cloze1篇+簡短問答題4篇”或者“語篇改錯(cuò)題1篇+簡短問答題4篇”。(3)書面表演30%翻譯和材料作文。3本研究的內(nèi)容目標(biāo)試卷是在試題庫的基礎(chǔ)上通過反復(fù)挑選、多次評(píng)價(jià)才最后確定下來的。因此,說明試題庫的結(jié)構(gòu)、庫容和題目參數(shù)等對(duì)計(jì)算機(jī)解決問題來說是非常重要的。在本研究中,使用了一個(gè)庫容大約5000題的大學(xué)英語題目庫,整個(gè)題目庫又分成聽、說、讀、寫四個(gè)子庫。四個(gè)子庫中的所有題目都有22個(gè)題目參數(shù)。包括:題目名稱、題目題型說明、題目的難度、題目的區(qū)分度、題目篇章的體裁、題目篇章的詞匯統(tǒng)計(jì)量、題目篇章的知識(shí)內(nèi)容、題目篇章的可讀性指標(biāo)、題目篇章的能力測試目標(biāo)等重要信息。所有題目和參數(shù)都存放在一個(gè)關(guān)系數(shù)據(jù)庫中。要特別提醒注意的是,在早期的題庫中題目主要是一個(gè)一個(gè)獨(dú)立存在的,每個(gè)題目所測量的能力目標(biāo)也相對(duì)單一,并且以選擇題為主?，F(xiàn)在,本研究中的很多題目都是基于一個(gè)較長的語篇,而且每個(gè)語篇下有多個(gè)題目。這種基于語篇的語言測試安排對(duì)試卷組成產(chǎn)生了重大影響。所以,在題目庫存放結(jié)構(gòu)中,篇章是作為一個(gè)“題目塊(Itemchunk)”而整體存放的,篇章下的所有題目和篇章不可分開。隨之而來的就有一個(gè)測量技術(shù)上的問題:一個(gè)篇章后面有幾個(gè)題目,題目塊的參數(shù)如何估計(jì)。筆者認(rèn)為,題目塊應(yīng)該有著與單個(gè)題目同樣的統(tǒng)計(jì)參數(shù)特征:只有一個(gè)難度參數(shù),一個(gè)區(qū)分度參數(shù)(假設(shè)題目庫采用兩參數(shù)模型)。在本研究中題目塊的參數(shù)計(jì)算方法如下:(1)題目塊的IRT難度參數(shù)bmi計(jì)算方法題目組塊的難度參數(shù)等于其屬下的題目參數(shù)的加權(quán)平均數(shù)。權(quán)重由題目的區(qū)分度決定。即,bmi=∑wibi/m(wi表示加權(quán)系數(shù),wi=ai/∑ai)(2)題目塊的IRT區(qū)分度參數(shù)ami計(jì)算方法題目組塊的區(qū)分度參數(shù)等于其屬下的題目區(qū)分度的算術(shù)平均數(shù)。即,ami=∑ai/m至于筆者為什么采用這種計(jì)算方法,以及這種計(jì)算方法的合理性論證,請(qǐng)讀者參考參考文獻(xiàn)10中提到的資料。4目標(biāo)檢出函數(shù)法中論哲學(xué)減序法可以組成一種集明顯的混合式,即求取數(shù)字卷下面把組成目標(biāo)試卷的組卷任務(wù)描述為一個(gè)數(shù)學(xué)問題:(1)假設(shè)有一個(gè)庫容為n道題目的試題庫(先不妨假設(shè)題庫中的題目或題目塊之間都是相互獨(dú)立的),現(xiàn)在的任務(wù)是要從中挑出k道題目(k<n)組成一份試卷。顯然,從數(shù)學(xué)組合上說,可以組成不同的試卷Cnk份,記為X。其中的一份試卷,可以表示為:Xi=(x1?x2???xn)Xi=(x1?x2???xn)上式中,xn=1/0,分別表示這道題目是否選中。因此,Xi中共有k個(gè)1,其它的值都為0。從遺傳算法角度看,Xi可以看作目標(biāo)試卷的一個(gè)個(gè)體(也可稱之為一條染色體),或者說是問題的一個(gè)可行解。決策變量X則稱為問題的解空間。(2)假設(shè)組成目標(biāo)試卷是要符合一定的預(yù)設(shè)條件的,因此,試卷組成問題就演變?yōu)?在問題的解空間中尋找一個(gè)(或幾個(gè))符合這些條件約束的特定解。這也就是數(shù)學(xué)中常見的解的優(yōu)化問題。5目標(biāo)題型和程序雖然一般認(rèn)為語言能力測試都要包括聽、說、讀、寫四個(gè)部分,但大學(xué)英語考試的作文每次只寫一個(gè)題目,還談不上優(yōu)化,而口語考試也是單獨(dú)命題。本文為了使主要的研究問題得以簡化,假設(shè)目標(biāo)試卷中只包含聽力理解和閱讀理解這兩個(gè)部分。本研究設(shè)計(jì)出如下的遺傳算法程序來解決試卷的自動(dòng)組成問題,請(qǐng)讀者同時(shí)參考遺傳算法框圖1:(1)啟動(dòng)配置隨機(jī)生成M個(gè)個(gè)體(一個(gè)個(gè)體代表一份試卷),組成一個(gè)初始的種群,經(jīng)過t代進(jìn)化后,才產(chǎn)生了符合約束條件的個(gè)體(即目標(biāo)試卷)。(2)基礎(chǔ)工作設(shè)計(jì)假設(shè)題庫中有聽力理解類篇章m篇,閱讀理解類篇章n篇。則可以設(shè)計(jì)一個(gè)長度為(m+n)的基因座,在m和n之間可以設(shè)計(jì)為交叉點(diǎn)。(3)以大數(shù)據(jù)的核心定義,有以下簡稱“2”從題目反應(yīng)理論(IRT)觀點(diǎn)來看,判斷一份試卷是否適應(yīng)性好,主要是看它對(duì)該考試所面向的標(biāo)準(zhǔn)考生(Thestandardtest-taker)是否提供了足夠大的信息量。其中,標(biāo)準(zhǔn)考生的能力水平可以人為設(shè)定,一般可以設(shè)為試卷難度的參照點(diǎn),通常也叫零點(diǎn)(θ0=0)。比如說,如果是考試設(shè)定了一個(gè)及格線,那末,θ0就經(jīng)常設(shè)在及格線附近,以達(dá)到考試在這一點(diǎn)上能提供最大信息量的測試目標(biāo)。題目反應(yīng)理論認(rèn)為,試卷的信息量I(θ0)等于試卷中所有題目信息量i(θ0)的總和(特別地,題目塊信息量也等于下屬題目信息量之和),而試卷的測量誤差SE(θ0)就等于試卷信息量的算術(shù)平方根的倒數(shù)。這些聯(lián)系用數(shù)學(xué)公式表示如下:題目信息量:Ii(θ0)=(Pi′)2/(PiQi)(其中,Pi表示能力為θ0的考生答對(duì)題目i的概率,Pi′是Pi的倒數(shù),Qi=1-Pi)試卷的信息量:I(θ0)=∑Ii(θ0)試卷的測量誤差:SE(θ0)=1/SQRT(I(θ0))因此,把試卷的信息函數(shù)設(shè)計(jì)為遺傳算法的適應(yīng)度函數(shù)是非常恰當(dāng)?shù)?這樣,不但試卷的信息函數(shù)跟試卷的基因表達(dá)形成了一一對(duì)應(yīng)的關(guān)系,同時(shí)又是衡量試卷質(zhì)量的重要指標(biāo)。(4)“最優(yōu)保存策略”的應(yīng)用交叉算子:在種群內(nèi)部以設(shè)定的概率(pc)隨機(jī)交換不同個(gè)體的聽力理解和閱讀理解部分(相當(dāng)于對(duì)不同分測驗(yàn)的題目進(jìn)行全局的調(diào)配,也可以稱為全局搜索。注意,這里用的是單點(diǎn)交叉技術(shù),當(dāng)目標(biāo)試卷不只兩個(gè)模塊時(shí),將會(huì)使用多點(diǎn)交叉技術(shù))。變異算子:從題庫中以設(shè)定的概率(pm)隨機(jī)選一道題目來替換個(gè)體內(nèi)同一模塊同種題型的某一個(gè)題目(相當(dāng)于在分測驗(yàn)的內(nèi)部進(jìn)行局部優(yōu)化,也可以稱為局部搜索)。選擇算子:將符合語言學(xué)要求的、適應(yīng)能力強(qiáng)(即試卷信息量大)的個(gè)體復(fù)制到下一個(gè)種群。應(yīng)用“輪盤賭(ProportionalModel)”與“最優(yōu)保存策略(ElitistModel)”結(jié)合起來完成選擇過程。輪盤賭的選擇策略是各個(gè)體被選中復(fù)制的概率與其適應(yīng)度大小成正比。設(shè)群體的大小為M,個(gè)體i的適應(yīng)度為Fi,則個(gè)體i被選中復(fù)制的概率為:pi=Fi/∑Fi(i=1,2,…,M)可見,適應(yīng)度越高的個(gè)體被選中的概率也越大;反之,適應(yīng)度越低的個(gè)體被選中的概率也越小。為了保證適應(yīng)度最好的個(gè)體肯定能復(fù)制到下一代,可以使用最優(yōu)保存策略,即當(dāng)前群體中的適應(yīng)度最高的個(gè)體不參與交叉和變異運(yùn)算,而是直接用它來替換本代群體中經(jīng)過交叉、變異等遺傳操作所產(chǎn)生的適應(yīng)度最低的個(gè)體。但要注意,最優(yōu)保存策略容易使某個(gè)局部最優(yōu)的個(gè)體不易被淘汰掉反而快速擴(kuò)散,使得算法的全局搜索能力不強(qiáng)。(5)傳統(tǒng)考試模式的特性遺傳算法的終止準(zhǔn)則或者說收斂條件,應(yīng)該考慮兩個(gè)方面因素:一個(gè)是適應(yīng)度函數(shù)要達(dá)到試卷的測量精度的最低要求(可稱之為統(tǒng)計(jì)學(xué)約束);另一個(gè)是,試卷的內(nèi)容方面的要求,包括詞匯量,篇章的難度,題型,總分限制等(可稱之為語言學(xué)約束)。這些與語言學(xué)有關(guān)的約束和統(tǒng)計(jì)學(xué)約束相結(jié)合,會(huì)形成一個(gè)綜合準(zhǔn)則。試卷測量精度方面的統(tǒng)計(jì)學(xué)要求可以稱為剛性約束,即,選中題目組成的試卷在特定“能力水平”上(比如說θ0=0時(shí))的“信息量”I(θ0)最小值要求。或者說測量標(biāo)準(zhǔn)誤差達(dá)到指定的測量精度。語言測試內(nèi)容有關(guān)的要求可以稱為彈性約束,即,試卷的詞匯量、詞匯密度、語法難度、能力目標(biāo)、題型、題目的曝光率等方面的要求。相對(duì)于以前以選擇題為主的考試來說,現(xiàn)在這種主要基于語篇的語言測試模式,在語言測試內(nèi)容方面有關(guān)的要求有許多特性,概括起來主要有以下幾個(gè)方面:首先,傳統(tǒng)試卷的題目“知識(shí)內(nèi)容平衡”和題目的“能力目標(biāo)平衡”問題,可以不再進(jìn)入剛性約束條件。因?yàn)椤爸饔^題組塊”主要是為了測量綜合的能力目標(biāo),而語篇的語言知識(shí)也非常豐富,不需要過多考慮這種平衡問題。其次,由于現(xiàn)在題目泄露頻繁,也可以不考慮“題目的曝光率”問題,而是轉(zhuǎn)而設(shè)定語篇在使用次數(shù)超過規(guī)定限制后,自動(dòng)禁用。傳統(tǒng)的“題型和試卷的總分限制”也不是一個(gè)問題,因?yàn)楦鞣N測驗(yàn)題型是相對(duì)固定的,在語篇的框架下試卷的分?jǐn)?shù)安排也具有極大的伸縮性?，F(xiàn)在要考慮的關(guān)鍵問題是:一個(gè)試卷中應(yīng)包含的語篇的數(shù)量和長度、語篇的語言質(zhì)量和認(rèn)知難度;還有語篇的語言真實(shí)性、任務(wù)的交際真實(shí)性以及題型對(duì)教學(xué)的反撥作用等。根據(jù)實(shí)際情況,一般可以設(shè)定,當(dāng)進(jìn)化的群體中出現(xiàn)1～5個(gè)個(gè)體的適應(yīng)度函數(shù)達(dá)到了規(guī)定的要求時(shí),可以停止遺傳計(jì)算。顯然,這幾個(gè)個(gè)體就是自動(dòng)生成的目標(biāo)試卷,他們的測量精度都已達(dá)到測試設(shè)計(jì)者的要求。接著要做的工作是,評(píng)價(jià)它們是否符合測試專家的語言學(xué)方面的要求(與語言本身和語言教學(xué)都有關(guān)),如果其中至少有一份試卷滿意了,任務(wù)就算完成了;否則,要重新計(jì)算。特別地,如果專家的主觀判斷也可以量化,那么,語言學(xué)方面的要求的判定也可以交給計(jì)算機(jī)去做,否則就只能人工判斷了。筆者的意見是,一份重要的試卷,不能完全依靠計(jì)算機(jī)來決定。比如語言的語感、文化內(nèi)涵、篇章的文風(fēng)、修辭以及意識(shí)形態(tài)的東西,計(jì)算機(jī)目前還無能為力;更別說與考試對(duì)象的那種交互影響了。這些方面的特征只有從事大學(xué)英語教學(xué)和評(píng)價(jià)的一線專家才知道合適不合適。還需要特別提醒注意的一個(gè)問題是,決定試卷的生成能否順利成功的因素,除了算法是否科學(xué)和有效外,還有一個(gè)更重要、更實(shí)質(zhì)性的東西,就是題庫中題目的數(shù)量和質(zhì)量。如果庫容太小,或者其中的題目質(zhì)量很差,再高明的計(jì)算機(jī)算法也是不能生成合格的目標(biāo)試卷的。當(dāng)目標(biāo)試卷全部由選擇題組成時(shí),由于題目之間相互獨(dú)立而且組成試卷的題目總量大幅增加,這時(shí)遺傳算法的組卷效果可以達(dá)到最佳。只是隨著語言教學(xué)和測試?yán)碚摰陌l(fā)展,這種類型的測試被廣泛詬病,已不多見了,中國的大學(xué)英語考試也已進(jìn)入主要基于語篇的交際語言能力測試時(shí)代,所以本文也是適應(yīng)這一新形勢而提出了基于題目塊的遺傳算法組卷技術(shù),但整個(gè)算法顯然對(duì)全選擇題試卷也完全適用。6遺傳算法運(yùn)行參數(shù)本研究使用了一個(gè)大約5000道主觀性試題的大學(xué)英語題目庫,并用遺傳算法來自動(dòng)生成了一份目標(biāo)試卷,目標(biāo)試卷的結(jié)構(gòu)和計(jì)算經(jīng)過參見表1。目標(biāo)試卷要求有聽力理解4篇,閱讀理解篇章5篇,標(biāo)準(zhǔn)考生能力水平定為θ0=0,測量誤差要小于0.35。從遺傳算法運(yùn)行參數(shù)設(shè)定可以看出:初始試卷一次生成了80份。設(shè)定的交叉概率Pc=0.2,比較大;變異概率Pm=0.05,很小。這兩種概率值的不同設(shè)定表現(xiàn)為聽力理解部分和閱讀理解部分在不同試卷間被頻繁調(diào)換,而在聽力理解部分和閱讀理解部分內(nèi)部,篇章的替換則非常謹(jǐn)慎。在經(jīng)過不超過100次遺傳進(jìn)化后,實(shí)際上得到了5份符合統(tǒng)計(jì)要求的目標(biāo)試卷,表中僅列出了其中的一份試卷(含機(jī)器編碼和篇章文件名),根據(jù)篇章文件名命題員可以輕松獲得其Word文件。整個(gè)計(jì)算在奔騰4序列機(jī)器上(256M內(nèi)存),不到1分鐘時(shí)間即可完成。7遺傳算法在實(shí)際問題中的應(yīng)用遺傳算法的操作對(duì)象是一組可行解,而非單個(gè)可行解,搜索的路線有多條,因此其計(jì)算具有隱含的并行性,這與人類的思維方式非常相似。遺傳算法最后所得的解是多個(gè),其中最好的幾個(gè)解往往差別并不大,這對(duì)試卷組成問題來說,是一種非常好的解決方案,在保證測量精度的前提