自制思辨能力量具的修訂及信效度檢驗(yàn)

自制思辨能力量具的修訂及信效度檢驗(yàn)

時(shí)間與數(shù)據(jù)分析2008年，文秋芳等人申請(qǐng)了國家社會(huì)科學(xué)基金項(xiàng)目“中國外語學(xué)生思維能力現(xiàn)狀”（編號(hào)08by026），以研究中國外語學(xué)生和其他文科學(xué)生的思維能力。2008年5月課題組構(gòu)建了思辨能力量具的理論框架,后將其發(fā)表在《外語界》2009年第1期上(文秋芳等2009:37-43)。2008年6月課題組就思辨能力客觀性量具的構(gòu)建開展了先導(dǎo)研究(文秋芳等2010:55-58)。該研究設(shè)計(jì)了60道題,將其分為兩套題型和數(shù)量相同、難易度相近的A卷與B卷,測(cè)試時(shí)間為50分鐘。參加測(cè)試的是來自3所不同學(xué)校一、二、三年級(jí)英語與非英語專業(yè)750名文科學(xué)生,其中約一半學(xué)生用A卷,一半學(xué)生用B卷。課題組分析了測(cè)試題的難易度、區(qū)分度與信度,并進(jìn)行了因子分析,還就量具的構(gòu)建與先導(dǎo)研究結(jié)果咨詢了心理測(cè)量、心理學(xué)、哲學(xué)、應(yīng)用語言學(xué)領(lǐng)域6位專家的意見?？傮w結(jié)論是,構(gòu)建量具的理論框架與思路符合研究規(guī)范,但有一半以上題目的區(qū)分度未達(dá)到要求,總體難易度偏低,題型不夠豐富,同時(shí)參加先導(dǎo)研究的樣本不夠大,也不具典型性。據(jù)此,我們進(jìn)一步閱讀文獻(xiàn),修訂現(xiàn)有量具,接著用新量具在更大更典型的樣本中進(jìn)行測(cè)試。本文將報(bào)告對(duì)新量具信效度檢驗(yàn)的結(jié)果。全文分為3部分:第一部分報(bào)告新量具的結(jié)構(gòu)與內(nèi)容,第二部分介紹新量具的測(cè)試過程,第三部分報(bào)告并解釋新量具難易度、區(qū)分度、內(nèi)部一致性分析結(jié)果以及效度證據(jù)。1.老量具中各題型的合并新量具包括40道題,其中25道題來源于先導(dǎo)研究所用的量具(本文簡(jiǎn)稱為老量具),新增15道題。我們把老量具中的10種題型合并為6類,同時(shí)新增了4種題型。表1列出了10種新題型的名稱以及每種題型所包含的題目數(shù)。前6種題型源于老量具,具體例子見文秋芳等(2010)所撰寫的論文“我國外語類大學(xué)生思辨能力客觀性量具構(gòu)建的先導(dǎo)研究”。表2列出了增加新題型的理由及對(duì)新題型內(nèi)容的說明1。2.新標(biāo)準(zhǔn)的嘗試2.1創(chuàng)建普通高校2770名被測(cè)學(xué)生來自12所高校的81個(gè)班級(jí),其中有3所“985”學(xué)校,3所“211”學(xué)校,3所省部共建的省屬本科院校,2所省屬普通高校,1所2004年專升本院校。本課題先導(dǎo)研究只涉及其中3所學(xué)校的750人,參加本次研究的人數(shù)增加了2.69倍,學(xué)校數(shù)增加了3倍,學(xué)校類型也變得多樣化,涵蓋外語類、綜合類、理工類、財(cái)經(jīng)類、師范類學(xué)校,涉及的文科專業(yè)有17個(gè)。我們認(rèn)為本樣本應(yīng)該具有較好的代表性(見表3)。2.2個(gè)人承擔(dān)一個(gè)班級(jí)除了課題組的4名老師外,我們還邀請(qǐng)了70名教師協(xié)助組織測(cè)試。一般情況下由兩名教師負(fù)責(zé)一個(gè)班級(jí)。測(cè)試前,我們向這些教師詳細(xì)解釋了測(cè)試要求、流程與應(yīng)注意的問題,同時(shí)還印發(fā)了書面測(cè)試指導(dǎo)語,以便在12個(gè)學(xué)校81個(gè)班級(jí)中統(tǒng)一測(cè)試要求。2.3建立學(xué)生測(cè)試指導(dǎo)語本次測(cè)試與先導(dǎo)研究測(cè)試不同的地方有兩處。第一增加了題量,但答題時(shí)間從50分鐘縮短到45分鐘,目的在于提高量具的難度。第二,本次測(cè)試前我們將研究目的如實(shí)告知被試,原因是先導(dǎo)研究訪談數(shù)據(jù)表明學(xué)生渴望了解自己的思辨水平。下面是我們印發(fā)給組織者的測(cè)試指導(dǎo)語。在動(dòng)員學(xué)生配合做題時(shí),請(qǐng)按如下要點(diǎn)說明:(1)本測(cè)試來源于一個(gè)國家級(jí)課題。該課題研究大學(xué)生思維能力現(xiàn)狀,并通過測(cè)試找到問題所在,對(duì)高校今后開設(shè)該類型的課程有重大意義。測(cè)試題目由課題組成員編制。(2)思維能力對(duì)一個(gè)人的成長非常重要,也是目前各種就業(yè)、選拔型考試(如公務(wù)員考試等)涉及的內(nèi)容。本測(cè)試有助于學(xué)生了解自己的思維能力現(xiàn)狀,并相應(yīng)進(jìn)行有意識(shí)的訓(xùn)練和提高。(3)我們承諾評(píng)分結(jié)束后為每個(gè)被試提供成績(請(qǐng)學(xué)生一定配合寫上名字和學(xué)號(hào))。2.4信度指標(biāo)的計(jì)算我們?cè)贓XCEL中分別輸入12所學(xué)校的數(shù)據(jù),然后合并、整理,糾正數(shù)據(jù)輸入錯(cuò)誤。數(shù)據(jù)整理完后,我們從項(xiàng)目分析(itemanalysis)入手,列出每題選項(xiàng)的選擇分布情況,然后計(jì)算難易度與區(qū)分度,再計(jì)算量具中40道題的內(nèi)部一致性作為信度指標(biāo)。難易度計(jì)算的公式是:P=得分/滿分;區(qū)分度計(jì)算公式是:D=P1(27%高分組難易度)-P2(27%低分組難易度)(Brown2006:68)。為尋找量具效度的證據(jù),我們運(yùn)用單因素方差檢驗(yàn),比較不同類型學(xué)校、不同年級(jí)學(xué)生測(cè)試平均成績的差異,分析了部分學(xué)校英語專業(yè)四級(jí)考試成績與思辨測(cè)試成績的相關(guān)情況。3.研究結(jié)果3.1新量具的區(qū)分度分布表4列出了每個(gè)題目的難易度、區(qū)分度以及總體難易度、區(qū)分度與內(nèi)部一致性信度?？傮w來說,新量具比老量具有了顯著改進(jìn)。它的平均難易度為.61,即學(xué)生答題的總體正確率為61%,比老量具下降了11%;區(qū)分度達(dá)到.31,比老量具提高了.03;內(nèi)部一致性信度也有了一定改進(jìn),Alpha系數(shù)達(dá)到.70,比老量具中的A卷高.06,比B卷高.02,符合統(tǒng)計(jì)要求。一份試卷應(yīng)該由難易度不等的題目按一定比例組成,理想的難度均值是.50(李筱菊1997:274)。表5列出了新老量具試題難易度的分組情況以及理想比例(李筱菊1997:274)。雖然新量具比老量具的難易度有所改進(jìn),但與理想比例相比,似乎還有必要減少高于.70這個(gè)難易度段的題目數(shù)量,增加低于.29這個(gè)難易度段的題目數(shù)量。導(dǎo)致高難度題目數(shù)量不夠的原因也可能是參加測(cè)試學(xué)校的類型分布不夠均衡,特別是近年來專升本的院校數(shù)量較少。如果增加這一類學(xué)校的數(shù)量,量具的難易度可能就達(dá)到了要求。當(dāng)然這一推測(cè)需要實(shí)證數(shù)據(jù)支持。與難易度值相似,區(qū)分度值也在0至1之間。表6列出了新老量具試題的區(qū)分度分組情況以及評(píng)價(jià)區(qū)分度好壞的一般標(biāo)準(zhǔn)(Brown2006:75)。很明顯,新量具中符合區(qū)分度要求的題目比例達(dá)到了62.5%,比老量具增加了19.1%,需要?jiǎng)h除題目的比例從30.0%下降到10.0%。根據(jù)表6,新量具中仍舊有27.5%的題目需要修改。我們有必要進(jìn)一步查看這11道題的各個(gè)選項(xiàng)的設(shè)置情況。從表7我們發(fā)現(xiàn)一個(gè)最明顯的問題是,干擾項(xiàng)的作用不均衡,有的幾乎未起到干擾作用。第二個(gè)問題是,需要進(jìn)一步分析第25、30、33、34、38題為什么有幾十、甚至上百學(xué)生未回答。初步解釋是,這些是新題型,學(xué)生一般不熟悉,需要花費(fèi)力氣理解答題的指導(dǎo)語,部分學(xué)生不愿意多動(dòng)腦筋,進(jìn)而選擇放棄答題。3.2不同類型學(xué)校學(xué)生的思辨水平的差異我們?cè)谙葘?dǎo)研究中已經(jīng)說明了因子分析結(jié)果不能成為本量具的效度證據(jù),本研究只能從其他方面尋找證據(jù)來檢驗(yàn)本量具的效度2。我們的證據(jù)來源于3個(gè)假設(shè)。第一,不同類型學(xué)校的學(xué)生應(yīng)該具有不同的思辨水平,因此本量具測(cè)到的成績應(yīng)能區(qū)分不同類型學(xué)校,也就是說“985”、“211”學(xué)校學(xué)生的總體思辨水平應(yīng)該高于省部共建的省屬本科院校學(xué)生,省部共建的省屬本科院校學(xué)生的水平應(yīng)該高于省屬普通高校學(xué)生,省屬普通高校學(xué)生的水平又應(yīng)該高于新近專升本院校的學(xué)生。第二,不同年級(jí)學(xué)生的思辨水平應(yīng)該具有差異,因此本量具測(cè)到的成績應(yīng)能區(qū)分不同年級(jí)的學(xué)生,即三年級(jí)學(xué)生的思辨測(cè)試成績好于二年級(jí)學(xué)生,二年級(jí)學(xué)生的成績又好于一年級(jí)。第三,思辨水平應(yīng)該對(duì)英語專業(yè)四級(jí)考試成績產(chǎn)生積極影響,因此本量具測(cè)得的成績應(yīng)與英語專業(yè)四級(jí)考試成績呈正相關(guān)。如果上述3個(gè)假設(shè)都能得到驗(yàn)證,本量具就有了系列效度證據(jù)。下面我們將逐一驗(yàn)證上述假設(shè)。3.2.1類學(xué)校學(xué)生思辨水平總體差異分析表8列出了12所學(xué)校學(xué)生思辨測(cè)試的平均成績與標(biāo)準(zhǔn)差。這12所學(xué)校成績的排序基本驗(yàn)證了我們先前的假設(shè)。如果能將12所學(xué)校的名稱列出來,這個(gè)假設(shè)的檢驗(yàn)就極其容易。然而出于對(duì)測(cè)試學(xué)校情況保密的需要,我們將這些學(xué)校分為5類后進(jìn)行統(tǒng)計(jì)比較。第一類為教育部直屬第一梯隊(duì)3,第二類為其余的“211”學(xué)校,第三類為省部共建的省屬院校,第四類為省屬普通高校,第五類為近年內(nèi)專升本院校。從平均分來看,只有某些二類學(xué)校的順序排在三類學(xué)校之后,其他基本上符合類別的排序,即類別越高,成績?cè)礁摺Ｏ旅嫖覀儗⑦\(yùn)用單因素方差分析考察5類學(xué)校學(xué)生思辨水平總體差異情況,并進(jìn)行兩兩配對(duì)比較,以考察每兩類之間的差異是否達(dá)到顯著性水平。表9列出了5類學(xué)校的描述性數(shù)據(jù)、兩兩配對(duì)比較以及總體差異比較的情況。除第二類學(xué)校學(xué)生以外,其他4類學(xué)校學(xué)生思辨水平測(cè)試成績的變化均呈線性趨勢(shì),即隨著學(xué)校類別的提高,思辨成績也隨之增高。5類學(xué)校之間的總體差異達(dá)到.000顯著性水平(F=212.95)。兩兩配對(duì)比較的結(jié)果是,除二～三類學(xué)校外,其他3對(duì)比較(一～二類學(xué)校,三～四類學(xué)校,四～五類學(xué)校)均顯示顯著性差異。巧合的是,這3對(duì)呈現(xiàn)顯著性差異的學(xué)校,差異都在7.45到7.85之內(nèi)。導(dǎo)致二類與三類學(xué)校無顯著性差異的可能原因是,國家確定“211”學(xué)校首先著眼于國家經(jīng)濟(jì)發(fā)展與學(xué)科布局的需要,繼而考慮的是學(xué)校發(fā)展的整體實(shí)力。換句話說,確定“211”學(xué)校的因素很多,生源質(zhì)量有時(shí)可能不是首要因素。就參加本次測(cè)試的院校來看,個(gè)別“211”學(xué)校地處我國中西部,生源質(zhì)量并不比某些省部共建的省屬院校好。這可能是導(dǎo)致二類學(xué)校與三類學(xué)校的配對(duì)比較未出現(xiàn)顯著性差異的原因。3.2.2教育影響學(xué)生思辨能力發(fā)展的單因素分析表10列出了12所高校3個(gè)不同年級(jí)學(xué)生思辨能力測(cè)試的平均成績以及單因素方差分析結(jié)果。從平均數(shù)來看,3個(gè)年級(jí)學(xué)生的思辨能力確實(shí)隨著年級(jí)的升高而增強(qiáng),標(biāo)準(zhǔn)差隨著年級(jí)的升高而降低。換句話說,高等教育對(duì)學(xué)生思辨能力的提高產(chǎn)生了積極影響,同時(shí)有利于縮小學(xué)生之間的差異。3個(gè)年級(jí)之間的差異達(dá)到.000顯著性水平(F=14.61)。但單因素方差分析結(jié)果表明,一、二年級(jí)學(xué)生之間的差異不具統(tǒng)計(jì)意義,二、三年級(jí)學(xué)生之間以及一、三年級(jí)學(xué)生之間的差異分別達(dá)到.001和.000的顯著性水平。這一結(jié)果似乎表明大學(xué)生思辨能力變化的關(guān)鍵時(shí)期是二年級(jí)到三年級(jí)之間,比較符合學(xué)生的實(shí)際情況。剛進(jìn)入高校的第一年是調(diào)整期,學(xué)生需花費(fèi)氣力適應(yīng)大學(xué)的學(xué)習(xí)與生活,第二年才是大學(xué)生活的真正開始。3.2.3英專四級(jí)考試成績本次思辨能力測(cè)試于2008年11月舉行。用于本次研究的英語專業(yè)四級(jí)考試于2008年4月舉行,成績于2008年9月公布。本次相關(guān)分析只涉及兩種測(cè)試均參加的06級(jí)學(xué)生。參加思辨能力測(cè)試的學(xué)校有12所,提供英專四級(jí)考試成績的有11所學(xué)校。表11列出了11所學(xué)校325名學(xué)生的英語專業(yè)四級(jí)考試成績與思辨能力測(cè)試成績的平均分、標(biāo)準(zhǔn)差、總體差異及兩種測(cè)試成績的相關(guān)系數(shù)。11所學(xué)校的兩種測(cè)試總平均成績都在.000水平上呈現(xiàn)顯著性差異。兩種成績呈正相關(guān),其系數(shù)為.26,在.000水平上具有統(tǒng)計(jì)意義,但相關(guān)程度不算高。這一結(jié)果并未出乎我們的意料。英語專業(yè)四級(jí)考試涉及語音、語法、詞匯知識(shí)與聽、讀、寫技能,更多測(cè)試的是英語語言基本功,而思辨能力測(cè)試以母語為中介,考查的是分析、推理與評(píng)價(jià)技能。我們認(rèn)為,