英語(yǔ)專業(yè)em4質(zhì)量問(wèn)卷調(diào)查與分析

英語(yǔ)專業(yè)em4質(zhì)量問(wèn)卷調(diào)查與分析

作為一門(mén)應(yīng)用語(yǔ)言學(xué)的分支，英語(yǔ)教學(xué)和學(xué)習(xí)離不開(kāi)科學(xué)的考試觀念和方法。相反，考試也在英語(yǔ)教學(xué)和學(xué)習(xí)中發(fā)揮著重要的抑制作用。因?yàn)橛⒄Z(yǔ)測(cè)試關(guān)系到每位教師、學(xué)生以及與測(cè)試相關(guān)的使用者。從某種意義上來(lái)說(shuō),測(cè)試既是對(duì)學(xué)生學(xué)習(xí)程度的檢測(cè),也是對(duì)教師教學(xué)成敗的檢驗(yàn)。因此,在中國(guó)這樣一個(gè)歷來(lái)極為重視考試并且以應(yīng)試教育為主的國(guó)家,它在很大程度上在某些地方已經(jīng)成為整個(gè)教、學(xué)過(guò)程的指揮棒,深刻地影響著教師的教和學(xué)生的學(xué),即考什么,就教什么。比如,在有些中小學(xué)校,英語(yǔ)口語(yǔ)和聽(tīng)力技能的訓(xùn)練被擱置在一邊,整個(gè)教學(xué)活動(dòng)圍繞著語(yǔ)法和試卷進(jìn)行,很多學(xué)生是通過(guò)做試卷來(lái)學(xué)英語(yǔ)的,高校的英語(yǔ)教學(xué)也不容樂(lè)觀。作為全國(guó)唯一的測(cè)量英語(yǔ)專業(yè)學(xué)生基礎(chǔ)階段英語(yǔ)水平的大規(guī)模標(biāo)準(zhǔn)化考試,高校英語(yǔ)專業(yè)四級(jí)考試(TEM4)在評(píng)估英語(yǔ)專業(yè)學(xué)生的基礎(chǔ)能力水平中占有不可替代的地位,很多學(xué)校將TEM4通過(guò)率作為教師評(píng)定職稱和晉級(jí)的標(biāo)準(zhǔn),很多用人單位也將TEM4證書(shū)作為選拔人才的依據(jù),因而學(xué)生十分看中TEM4成績(jī),有些學(xué)生在考試中鋌而走險(xiǎn),頻頻作弊,有些甚至不惜重金請(qǐng)人代考。從這個(gè)意義上說(shuō),TEM4實(shí)際上已經(jīng)成為一項(xiàng)高風(fēng)險(xiǎn)的考試,因此,對(duì)其質(zhì)量的考查就顯得尤為重要。一項(xiàng)不科學(xué)的考試不但會(huì)毀掉一些考生的前途,也會(huì)在很大程度上誤導(dǎo)教學(xué),一項(xiàng)考試只有具有較高的質(zhì)量才能真正發(fā)揮其作用。衡量和評(píng)價(jià)考試質(zhì)量的最重要的指標(biāo)是信度和效度,因此,我們的調(diào)查問(wèn)卷選取了與這這兩個(gè)指標(biāo)最密切相關(guān)的一些內(nèi)容:試卷難度、區(qū)分度、題目數(shù)量等,這些調(diào)查項(xiàng)目分試卷總體和聽(tīng)寫(xiě)、聽(tīng)力理解、完型填空、語(yǔ)法和詞匯、閱讀理解以及寫(xiě)作等六個(gè)分測(cè)驗(yàn)進(jìn)行。同時(shí),考慮到考生的總體差異,在調(diào)查問(wèn)卷中我們還編制了一些考查考生基本情況的項(xiàng)目,如考生考試次數(shù)、考試動(dòng)機(jī)、考生對(duì)考試的自我評(píng)價(jià)以及對(duì)考試結(jié)果的自我預(yù)測(cè)等。一、問(wèn)卷的回收我們選取了我校英語(yǔ)專業(yè)二年級(jí)以上學(xué)生430人參加此次問(wèn)卷調(diào)查,剔除填寫(xiě)不合乎要求的問(wèn)卷(當(dāng)考生沒(méi)做答的題目超過(guò)10個(gè)時(shí),我們有理由懷疑該考生反應(yīng)的可靠性),回收有效問(wèn)卷384份。二、考生對(duì)tem4難度的評(píng)價(jià)此項(xiàng)調(diào)查問(wèn)卷由47道題構(gòu)成,都是多項(xiàng)選擇題,每題都采用5級(jí)評(píng)分制,考生只能選擇一個(gè)答案。1-7題分別考查考生對(duì)TEM4試卷總體和聽(tīng)寫(xiě)、聽(tīng)力理解、完型填空、語(yǔ)法和詞匯、閱讀理解以及寫(xiě)作等六個(gè)分測(cè)驗(yàn)難度的評(píng)價(jià),選項(xiàng)為:A.非常難,B.比較難,C.一般,D.比較容易,E.非常容易。8-14題分別考查考生對(duì)TEM4試卷總體和六個(gè)分測(cè)驗(yàn)區(qū)分度的評(píng)價(jià),選項(xiàng)為:A.非常具有區(qū)分度,B.比較有區(qū)分度,C.一般,D.沒(méi)有區(qū)分度,E.非常沒(méi)有區(qū)分度。15-21題分別考查考生對(duì)TEM4試卷總體和六個(gè)分測(cè)驗(yàn)題目數(shù)量的評(píng)價(jià),選項(xiàng)為:A.非常多,B.比較多,C.很合適,D.不多,E.非常少。22-28題分別考查考生對(duì)TEM4試卷總體和六個(gè)分測(cè)驗(yàn)效度的評(píng)價(jià),選項(xiàng)為:A.能真實(shí)考查考生的實(shí)際水平,B.基本能考查考生的實(shí)際水平,C.不清楚,D.不太能考查考生的實(shí)際水平,E.完全不能考查考生的實(shí)際水平。29題涉及考生考試次數(shù)(A.3次以上,B.3次,C.2次,D.1次,E.沒(méi)參加過(guò))。30題是關(guān)于TEM4對(duì)考生英語(yǔ)學(xué)習(xí)影響力的評(píng)價(jià):TEM4能有助于提高你的英語(yǔ)水平嗎?選項(xiàng)為:A.幫助非常大,B.幫助比較大,C.說(shuō)不清楚,D.幫助比較小,E.基本沒(méi)有幫助。31-34題涉及考生參加TEM4動(dòng)機(jī)的四個(gè)維度:檢驗(yàn)英語(yǔ)水平,父母或畢業(yè)要求,從眾心理,找工作。選項(xiàng)為:A.非常贊成,B.贊成,C.不贊成也不反對(duì),D.反對(duì),E.非常反對(duì)。35-48題為考生對(duì)TEM4總體和六個(gè)分測(cè)驗(yàn)的自我評(píng)價(jià)以及對(duì)考試結(jié)果的自我預(yù)測(cè),選項(xiàng)為:A.非常好,B.比較好,C.一般,D.不太好,E.非常不好。三、結(jié)果與分析通過(guò)對(duì)回收的384份有效問(wèn)卷進(jìn)行統(tǒng)計(jì)分析,我們發(fā)現(xiàn):(一)考生對(duì)寫(xiě)作過(guò)程的態(tài)度題目難度決定某題對(duì)某一被試群體是否適用,它也決定該題在某一試卷中的取舍(Henning,2001)。它是分析題目特征的關(guān)鍵因素,也影響考試的信度。如果某題或某次考試對(duì)某一被試群體太難,它就失去了意義。考生對(duì)TEM4試卷總體和聽(tīng)寫(xiě)、聽(tīng)力理解、完型填空、語(yǔ)法和詞匯、閱讀理解以及寫(xiě)作等六個(gè)分測(cè)驗(yàn)難度的評(píng)價(jià)從難到易依次為試卷總體(45%),聽(tīng)寫(xiě)(24.3%)、聽(tīng)力理解(19.5%)、完型填空(16.6%)、閱讀理解(14.4%)、寫(xiě)作(13.8%)、語(yǔ)法和詞匯(11.4%)。其中,聽(tīng)寫(xiě)、閱讀理解、完型填空都有近半數(shù)的考生認(rèn)為偏難,其中尤以聽(tīng)寫(xiě)被認(rèn)為是所有分測(cè)驗(yàn)里最難的。也有超過(guò)半數(shù)的考生認(rèn)為寫(xiě)作、語(yǔ)法和詞匯兩項(xiàng)比較容易。這和我們的實(shí)踐經(jīng)驗(yàn)基本一致。平時(shí)的教學(xué)經(jīng)驗(yàn)也告訴我們,聽(tīng)寫(xiě)和聽(tīng)力理解過(guò)程中的語(yǔ)速、生詞(短語(yǔ)或句子)、背景知識(shí)以及考生對(duì)聽(tīng)寫(xiě)和聽(tīng)力理解的產(chǎn)出等對(duì)考生的影響極大,比如,考生聽(tīng)懂了聽(tīng)寫(xiě)和聽(tīng)力理解原文,但寫(xiě)不出來(lái)或回答不了問(wèn)題。而影響完型填空和閱讀理解的最大障礙是考生的語(yǔ)篇能力以及考試的時(shí)間因素。由于語(yǔ)法和詞匯項(xiàng)較少受語(yǔ)篇的影響,而考生又積累了一定的詞匯量,因而這部分對(duì)考生影響不大。但考生對(duì)作文的反應(yīng)出乎我們的意料。平時(shí),考生的寫(xiě)作并不理想,存在主謂、性數(shù)格的不一致,修飾語(yǔ)錯(cuò)位,句子不完整,懸垂修飾語(yǔ),詞語(yǔ)亂用,一個(gè)簡(jiǎn)單句出現(xiàn)多個(gè)謂語(yǔ)動(dòng)詞,累贅以及意思表達(dá)不連貫等問(wèn)題。其原因主要是考生還沒(méi)有意識(shí)到自己存在的問(wèn)題,只要他們認(rèn)為自己寫(xiě)完了作文規(guī)定的字?jǐn)?shù),就覺(jué)得自己的寫(xiě)作能力還不錯(cuò)。(二)區(qū)分度及tem4難度的評(píng)價(jià)除難度外,區(qū)分度是試題的另一個(gè)最重要的特征,它能有效地區(qū)分被試的能力水平(王孝玲,2004)?？忌鷮?duì)TEM4區(qū)分度的評(píng)價(jià)和對(duì)TEM4難度的評(píng)價(jià)一致?？忌鷮?duì)聽(tīng)寫(xiě)、聽(tīng)力理解、完型填空、語(yǔ)法和詞匯、閱讀理解以及寫(xiě)作等六個(gè)分測(cè)驗(yàn)區(qū)分度的評(píng)價(jià)從高到低依次為聽(tīng)寫(xiě)(25.4%)、聽(tīng)力理解(18.7%)、完型填空(16.3%)、閱讀理解(15.2%)、寫(xiě)作(13.9%)、語(yǔ)法和詞匯(11.5%),對(duì)TEM4試卷總體的區(qū)分度評(píng)價(jià)約為53%。(三)考生對(duì)閱讀理解題的認(rèn)知一般來(lái)說(shuō),一項(xiàng)考試的題目數(shù)量越多,其信度越高,因此,題目數(shù)量是影響,也是考查信度的一個(gè)重要指標(biāo)(張凱,2002)。在此次問(wèn)卷調(diào)查中,考生對(duì)六個(gè)分測(cè)驗(yàn)題目數(shù)量的評(píng)價(jià)存在顯著差異,他們對(duì)語(yǔ)法和詞匯題目數(shù)量的滿意程度最高,近62%的考生選擇了“很合適”;近45%的考生認(rèn)為聽(tīng)力理解和完型填空題目數(shù)量“很合適”,但也有約21%的考生認(rèn)為聽(tīng)力理解和完型填空題目數(shù)量“比較多”;考生對(duì)閱讀理解題有點(diǎn)排斥,因?yàn)榧s43%的考生選擇了“比較多”,近11%的考生選擇了“非常多”,沒(méi)有考生選擇“很合適”和“非常少”兩項(xiàng),也有很多考生反映他們的閱讀理解沒(méi)有做完;57%的考生認(rèn)為聽(tīng)寫(xiě)和寫(xiě)作題量“很合適”,也有22%的考生認(rèn)為這兩題“不多”。認(rèn)為T(mén)EM4試卷總題量“很合適”的為36%,認(rèn)為“非常多”和“比較多”的分別占25%和23%,沒(méi)有考生選擇“非常少”。這表明,考生認(rèn)為,TEM4題目數(shù)量偏多,在此意義上,與其說(shuō)影響考生答題的重要因素是題目難度,還不如說(shuō)是速度。其中,閱讀理解花費(fèi)他們的答題時(shí)間較長(zhǎng),也最容易讓他們疲勞。從考生對(duì)TEM4試卷總題量的反應(yīng)來(lái)看,也符合他們平時(shí)的學(xué)習(xí)狀況、答題情況和英語(yǔ)水平。(四)考生對(duì)tem4測(cè)試效度的評(píng)價(jià)效度是衡量考試質(zhì)量的最重要的指標(biāo)之一,它指考試是否測(cè)出了或在多大程度上測(cè)出了它想測(cè)的東西(Heaton,2000)。此次問(wèn)卷中的22-28題分別考查考生對(duì)TEM4試卷總體和六個(gè)分測(cè)驗(yàn)效度的評(píng)價(jià)。從考生的反應(yīng)來(lái)看,他們對(duì)六個(gè)分測(cè)驗(yàn)效度的評(píng)價(jià)都是積極態(tài)度>中間態(tài)度>消極態(tài)度,對(duì)TEM4試卷總體效度的評(píng)價(jià)則是中間態(tài)度>積極態(tài)度>消極態(tài)度。其中,聽(tīng)寫(xiě)和聽(tīng)力理解的效度評(píng)價(jià)是最高的(22%和21%),完型填空(19%)、閱讀理解(17%)、寫(xiě)作(13%)、語(yǔ)法和詞匯(8%)次之。雖然考生認(rèn)為聽(tīng)寫(xiě)難度較大,但他們?nèi)匀徽J(rèn)為這個(gè)題目能有效地考查考生的聽(tīng)寫(xiě)水平。其它五個(gè)分測(cè)驗(yàn)的效度評(píng)價(jià)符合我們的期望值,因?yàn)檫@些題型相對(duì)來(lái)說(shuō)能鼓勵(lì)猜測(cè),并不能真正代表學(xué)生的能力。(五)考生自己的項(xiàng)目評(píng)估1.考生參加tem4的原因關(guān)于參加TEM4的動(dòng)機(jī),“同意”或“非常同意”“找工作”的考生占69%,其次為“檢驗(yàn)英語(yǔ)水平”,“父母或畢業(yè)要求”和“從眾心理”;也有31%的考生選擇了“反對(duì)”或“非常反對(duì)”“檢驗(yàn)英語(yǔ)水平”,這從另一側(cè)面佐證了相當(dāng)一部分考生學(xué)習(xí)英語(yǔ)和參加TEM4的目的并不是自發(fā)的,而是來(lái)自就業(yè)的壓力,這也從約24%的考生參加了2次以上的TEM4可以反映出來(lái)。而且,這一結(jié)論與考生對(duì)第30題的反應(yīng)也高度一致:約60%的考生選擇了中間和消極選項(xiàng),即“說(shuō)不清楚”,“幫助比較小”,和“基本沒(méi)有幫助”。所以,我們有理由相信,不是積極、主動(dòng)學(xué)習(xí)英語(yǔ)的學(xué)生,他們對(duì)參加TEM4的動(dòng)機(jī)評(píng)價(jià)和關(guān)于TEM4對(duì)考生英語(yǔ)學(xué)習(xí)影響力的評(píng)價(jià)都持不樂(lè)觀的態(tài)度。2.積極選題所含的消極性通過(guò)考查考生對(duì)自身各項(xiàng)英語(yǔ)語(yǔ)言技能的評(píng)價(jià)和對(duì)自己參加TEM4成績(jī)的預(yù)測(cè),我們發(fā)現(xiàn),考生選擇“一般”的超過(guò)半數(shù)。在對(duì)自身各項(xiàng)英語(yǔ)語(yǔ)言技能的評(píng)價(jià)中,只有語(yǔ)法和詞匯項(xiàng)的“非常好”和“比較好”超過(guò)消極選項(xiàng)“不太好”和“非常不好”,而聽(tīng)寫(xiě)、聽(tīng)力理解和完型填空的選項(xiàng)都是消極選項(xiàng)超過(guò)積極選項(xiàng),尤以聽(tīng)寫(xiě)的消極選項(xiàng)最多。考生對(duì)自己參加TEM4成績(jī)的預(yù)測(cè)評(píng)價(jià)與技能評(píng)價(jià)一致:只有約19%的考生認(rèn)為自己的聽(tīng)寫(xiě)成績(jī)“非常好”和“比較好”,選擇“不太好”和“非常不好”的達(dá)到51%,同樣,預(yù)測(cè)自己語(yǔ)法和詞匯成績(jī)“非常好”和“比較好”的最多,達(dá)58%。這說(shuō)明,考生對(duì)自己語(yǔ)言技能和TEM4成績(jī)預(yù)測(cè)的評(píng)價(jià)與對(duì)TEM4各分測(cè)驗(yàn)難度的評(píng)價(jià)一致,多數(shù)考生都認(rèn)為自己的聽(tīng)寫(xiě)技能最薄弱,而語(yǔ)法和詞匯技能相對(duì)要優(yōu)秀一些,因而對(duì)聽(tīng)寫(xiě)成績(jī)的預(yù)測(cè)就不太樂(lè)觀。四、考生對(duì)tem4質(zhì)量評(píng)價(jià)的評(píng)價(jià)通過(guò)對(duì)TEM4的考生問(wèn)卷調(diào)查,我們發(fā)現(xiàn),盡管對(duì)TEM4的難度、區(qū)分度、題目數(shù)量、效度等還有不勝滿意之處,他們對(duì)TEM4試卷總體和各分測(cè)驗(yàn)的評(píng)價(jià)持積極態(tài)度的還是占多數(shù),結(jié)論如下:1.考生普遍認(rèn)為T(mén)EM4偏難,其中尤以聽(tīng)寫(xiě)和聽(tīng)力理解最難。但我們對(duì)試卷的分析結(jié)果發(fā)現(xiàn),學(xué)生認(rèn)為較難的測(cè)驗(yàn),如聽(tīng)力理解和完型填空未必如此,而學(xué)生認(rèn)為較易的測(cè)驗(yàn),如寫(xiě)作等也未必容易。這說(shuō)明,考生的感覺(jué)和試題的實(shí)際難度并不完全等價(jià);2.接近半數(shù)的考生認(rèn)為T(mén)EM4題目數(shù)量多,特別是閱讀理解材料較長(zhǎng),花費(fèi)他們答題的時(shí)間也相對(duì)較長(zhǎng),也最容易讓他們疲勞,有些學(xué)生反映他們的閱讀理解沒(méi)完成,這和考生平時(shí)的學(xué)習(xí)狀況、答題情況和英語(yǔ)水平一致;3.對(duì)TEM4區(qū)分度和效度的評(píng)價(jià),絕大多數(shù)考生都持積極態(tài)度,認(rèn)為它能有效區(qū)分能力水平不同的考生,并能測(cè)出考生的真實(shí)水平;4.考生考試動(dòng)機(jī)越積極(選擇“檢驗(yàn)英語(yǔ)水平”和“學(xué)英語(yǔ)興趣”越多者),其成績(jī)預(yù)測(cè)越樂(lè)觀,其對(duì)TEM4區(qū)分度和效度的評(píng)價(jià),以及對(duì)TEM4對(duì)考生英語(yǔ)學(xué)習(xí)影響力的評(píng)價(jià)也越積極;5.平時(shí)英語(yǔ)水平高的考生,其自我評(píng)價(jià)就高,其成績(jī)預(yù)測(cè)就更樂(lè)觀,或者