北京市高考公平性實證研究

北京市高考公平性實證研究

全國普通高校統(tǒng)一招生考試（以下簡稱高中）是為不同類型的高校選拔新生而設計的考試，是典型的選拔形式。高考的公平性是考試成績能否為考生認可接受、能否為高校使用、能否為社會承認的基本前提和核心問題。一、考生個人的綜合能力表現(xiàn)為一般而言,在考試的整個過程中,從考試設計開發(fā)、組織實施直到通知考生成績各個環(huán)節(jié),對不同群體考生或是對所有考生個人都能夠一視同仁、公平對待,考試各個環(huán)節(jié)不存在只對部分考生產(chǎn)生影響的其他相關因素,考試結果只反映考生個人在該項考試中知識與能力達到的相對水準,就認為這項考試是公平的。(一)限制考生適用社會屬性高考是為高校選拔新生設立的考試,是國家考試。對考生報考條件進行限定性要求,包括對考生性別、年齡、民族、教育背景、戶籍所在地等的限定性要求,是在一定歷史條件下對生源選拔范圍的規(guī)定,是當時國家教育政策的一個方面。當前,高考對考生報考條件的限定,是在現(xiàn)實社會背景條件下,依從于相關國家政策而產(chǎn)生的。隨著我國經(jīng)濟社會和教育的改革發(fā)展,對考生報考條件的限定也在不斷進行調整,因此其公平性是一個“過程”,無法也不可能提出一個不變的“標準”。在我國,高考的社會屬性往往決定著對考生報考條件的限制。因此,只能將考生報考條件一一列出,描述其限定性規(guī)定,并將這些限定性規(guī)定放在高考的整個背景條件下考察,對政策制定的出發(fā)點、操作過程、實際效果進行分析,只要符合國家相關的現(xiàn)行法律、政策規(guī)定,一般就可認為是公平的。(二)提案的公正性1.內容不是“強制性”考試大綱(考試說明)是高考命題的內容標準,應提前公布。高考各科試題所涉及的考試內容不應超出考試大綱。2.提交材料的公平題目素材不能違背國家法律法規(guī),不能使部分考生群體對其產(chǎn)生無關考試的過激反應。3.提交實體的規(guī)范性考試題目的表達須符合學術技術規(guī)范、符合語言規(guī)范,試卷的版面設計須符合出版印刷規(guī)范。4.須有對題載體的保密規(guī)定在整個命題過程中須有對命題教師、工作人員等所有涉密人員的保密規(guī)定;須有對題目載體的保密管理規(guī)定;一旦發(fā)生或發(fā)現(xiàn)失密,根據(jù)發(fā)生失密的時間、過程及影響范圍,須有要求盡快提交對考試公平性影響分析報告的規(guī)定。(三)保證考試的公平性試卷印制須在完全封閉的工作環(huán)境中進行,對所有工作人員須有不得與工作環(huán)境外進行任何形式的信息交換的相關規(guī)定;試卷的運輸、保管必須符合國家保密法中的相應規(guī)定;從考試開始直至考試結束前,在任何情況下試卷及試卷內容不得以任何方式傳輸至考場外,并應有相應規(guī)定。這些保密規(guī)定,都是為在這一環(huán)節(jié)保證高考的公平性而設的。這一環(huán)節(jié)一旦出現(xiàn)問題,應有規(guī)定要求盡快提交關于失密行為的發(fā)生時間、過程、波及范圍、程度以及對高考公平性影響的評估報告。(四)考生違規(guī)使用司法程序維護考試的公平性所有考生在統(tǒng)一規(guī)定的時間、空間按照統(tǒng)一規(guī)定的要求順利參加了考試,考試的實施過程就是公平的?？荚噷嵤┻^程的公平與否,一是看相關管理規(guī)定是否完整嚴密;二是看是否發(fā)生影響考試順利實施的事件?？荚噷嵤┻^程中相關管理規(guī)定一般分為三類:一是對考試工作人員的約束;二是對考生在考場行為的約束;三是各種關于考試操作過程的技術規(guī)范?？键c(或考場)發(fā)生影響考試正常進行的事件,根據(jù)其原因一般可分為四類:一是考生的個人行為;二是考試工作人員失誤;三是考試工作人員有預謀、有組織的舞弊;四是考生參與的有組織的舞弊。對考試公平性影響的判定,主要視上述四類事件涉及考生人數(shù)的多少,確定如何對個別考生或對局部考點(或考場)考生做出相應處理,以維護考試的公平性。但就高考的社會影響而言,考試工作人員有預謀、有組織的舞弊行為,無論涉及考生人數(shù)多少,性質都涉嫌刑事犯罪,須通過司法程序處理,以維護考試的公平性。對于因考試工作人員失誤造成考試不能正常實施的,應按照突發(fā)事件應急處理預案,在最快時間內明確補救措施,防止事態(tài)擴大,并視情況在一定范圍公開有關信息,以維護考試的公平性。(五)數(shù)登統(tǒng)環(huán)節(jié)的邏輯校驗考試的評分誤差實際上是不可完全避免的,在評卷過程中維護考試的公平性主要在于控制閱卷的隨機誤差和系統(tǒng)誤差。對隨機誤差的控制主要通過遴選閱卷教師、強化閱卷教師的責任心以及加強分數(shù)登統(tǒng)環(huán)節(jié)的邏輯校驗來實現(xiàn)。對閱卷過程中系統(tǒng)誤差的控制,目前主要有三點:一是加強對評卷系統(tǒng)的操作數(shù)據(jù)進行邏輯校驗;二是組織閱卷教師認真研究評分標準并通過試評把握評分細則;三是通過網(wǎng)上閱卷,對不同閱卷教師及同一閱卷教師時常隨機發(fā)放“測評卷”,監(jiān)測教師閱卷過程中對評分細則的把握情況。相對于原來的人工組織閱卷,網(wǎng)上閱卷已經(jīng)形成一套嚴密的管理辦法,閱卷教師主觀誤差也在相當程度上得到了控制。但對于無法事先給出標準答案的主觀題目(例如作文),目前還需進一步研究提出考生分數(shù)離散程度的合理范圍,研究確定科學合理的雙評控制差值閾限。(六)個客觀合理性判斷考試的目的是為了給被試特定的心理特征一個客觀合理的判斷。對一次高考而言,就是給每名考生一個分數(shù),但這個分數(shù)是否客觀合理,要從整體、局部、個體三個層面來判定。1.成績復核和邏輯校驗相結合高考成績公布前應專門組織人力抽取若干考生答卷(包括網(wǎng)上閱卷的電子檔案)進行成績復核,同時應進行各種組合的邏輯校驗,防止發(fā)生系統(tǒng)操作和設置失誤,導致較大面積的成績失實。2.與其他亞群體考生成績的對比分析不同性別、民族、地區(qū)的亞群體考生的考試成績,在與其他亞群體考生或考生整體的成績進行對比分析時,有時會呈現(xiàn)出較顯著的差異。對于這種差異,應該有合理具體的解釋,并判定其對考生公平性的影響。3.同一道考試不同亞群體考生的得分差異對考試題目公平性的判定,主要是對同一道試題不同亞群體考生的得分差異進行檢驗。如果差異顯著,應給出合理解釋,并判定是否影響考試的公平性。4.考生的個人表現(xiàn)考生對本人高考成績的真實性有懷疑,有權向有關部門提出復查。這也是高考公平性的具體體現(xiàn)。二、分析北京全國統(tǒng)一高考的公正性(一)限制正式入學考生適用市場的必要性2009年,北京市共有8.8萬名考生參加高考,按照教育部的統(tǒng)一規(guī)定,北京市高考對考生的性別、年齡、民族、教育背景均無限定性要求。對報名條件的限定性要求有兩項:第一項是考生當前身份,限制具有高等學歷教育資格的高校在校生和高級中等教育學校非應屆畢業(yè)的在校生報考,這主要是為了維護正常的教學考試秩序,并以考試機會的均等體現(xiàn)公平;限制既往以弄虛作假手段報名并違規(guī)參加高考以及有嚴重考試作弊行為的人員報考,其本身就是為了更好地營造誠信公平的考試環(huán)境;限制因觸犯刑法已被有關部門采取強制措施或正在服刑者報考,這是維護國家法律的尊嚴。第二項就是只限北京市正式戶口考生報考,這是多年來國家高考政策及北京市地方戶籍政策使然。至于北京戶籍考生與外地戶籍考生參加高考的公平性主要是國家招生計劃分配體制的公平性問題,而非報考的公平,不在本分析范圍之內。(二)考試時間、過程及保密性試題命制的依據(jù)為《普通高等學校招生全國統(tǒng)一考試北京卷考試說明》,其發(fā)布時間為2009年3月,考試時間為2009年6月。試題命制的規(guī)范性:符合各相關學科的技術規(guī)范,符合語言規(guī)范。試卷的印刷板式:符合考試說明中的相關要求,符合印刷規(guī)范。試題命制過程中的保密性:所有命題教師及工作人員均簽有保密書;集中命題直至考試結束。北京市2009年全國統(tǒng)一高考命題期間沒有發(fā)生試題泄密事件。(三)考試中心評估試卷在命題入闈地點初步形成印刷版式后直至考試結束,整個過程按照國家保密法絕密級要求進行保密管理。印制:印刷場所、設備、材料、印刷工作人員均處于封閉環(huán)境中。試卷運輸:專車專人,并配備公安人員押車,由印刷廠直接運到各區(qū)縣考試中心保密室。試卷保管:各區(qū)縣建有已通過驗收符合存放國家絕密級文件要求的專用保密室,24小時專人值守,試卷進出保密室按管理規(guī)定交接。試卷在開考前兩天專車運至各區(qū)縣保密室,沿途由公安民警押運。試卷使用過程:考試當天相關科目試卷開考前兩小時由區(qū)縣保密室運至各考點,考點設有臨時專用保密室,當天考試結束后各區(qū)縣考試中心將答卷直接運至各相關閱卷點。試卷在考點及考場使用過程中始終處于考點工作人員或考場監(jiān)考人員的視線之內。北京市2009年高考試卷在印制、運輸、保管及使用過程中未發(fā)生任何失密。(四)考生違規(guī)處理方面有關考試的各項管理規(guī)定齊備、明確、可操作性強,對考試工作人員、考生及考試實施的操作過程均有相應的管理規(guī)定,基本做到了考點所有人員(工作人員及考生)的行為都在規(guī)定范圍之內。考試過程中沒有發(fā)生因工作人員失誤造成的考試延誤、少數(shù)考生重考等事件;沒有發(fā)現(xiàn)考試工作人員舞弊行為;沒有發(fā)現(xiàn)考生參與的有組織的群體舞弊事件;沒有發(fā)現(xiàn)替考、利用通訊工具作弊、雷同試卷等作弊考生。發(fā)現(xiàn)考生個人作弊行為(夾帶紙條)4人,發(fā)現(xiàn)考生違紀帶有手機15人(未形成作弊事實),均按相關規(guī)定予以處理。北京市2009年高考考試過程對所有考生都是公平的。(五)采用網(wǎng)上概況的卷方式在評卷過程中,評卷管理規(guī)定嚴密;評卷教師遴選嚴格;試評階段重復2次,并進行測試以判定閱卷教師對評分細則的掌握情況;評卷方式除數(shù)學外均采用網(wǎng)上閱卷;加大“測試卷”的發(fā)放密度,監(jiān)測教師的評卷質量;合理確定教師閱卷的數(shù)量及工作時間,利用人工樣卷校驗網(wǎng)上閱卷的系統(tǒng)設置。2009年高考成績公布后,對于一些認為考試成績有疑問的考生,各區(qū)縣考試中心應考生要求提供了查詢相應科目各小題得分的服務,對查詢結果沒有考生持有異議。北京市2009年高考評卷過程及結果對所有考生都是公平的。(六)成績測試程序評卷結束后考試成績公布前,對數(shù)據(jù)庫記錄的考試分數(shù)與卷面成績的吻合程度進行了復核,重在防止出現(xiàn)系統(tǒng)操作數(shù)據(jù)誤差導致大面積或局部考生成績失實。人工抽樣檢驗:每科隨機間隔抽出50份試卷,由人工對卷面每個題目記載的成績或電子檔案中已錄的每個題目的成績復檢,與成績數(shù)據(jù)庫的記錄核對。邏輯校驗:主觀題、客觀題各自得分比例相差懸殊考生的數(shù)量及分布情況是否合理;各科目得分比例相差懸殊考生的數(shù)量及分布情況是否合理;各科目總分分布及難度值與命題預計有較大偏差時,是否有合理解釋。經(jīng)過抽樣檢驗和邏輯校驗,北京市2009年公布的高考成績與實際評分結果完全吻合。(七)影響公平性的因素考試題目的公平性主要是判斷每道考試題目的背景材料或題目素材是否使不同亞群體考生產(chǎn)生與考試無關的過激反應,使他們受到與考試無關的一些因素的影響,不能公平應試。這類問題一般多發(fā)生在人文學科試題。判定是否影響公平性主要基于兩點:一是在某亞群體考生中是否有一定數(shù)量的考生專門對某一題目提出質疑;二是對題目進行統(tǒng)計學分析檢驗,用數(shù)據(jù)實證。對于前者,北京市2009年高考后沒有考生就某道試題提出訴求;對于后者,基于高考數(shù)據(jù)的保密性,本文下面僅以北京市某年高考英語科目的試題為例,進行不同亞群體的公平性實證分析。(八)第一部分研究設計試題的亞群體公平性通常從性別、民族、地區(qū)等維度分析。由于北京市歷史上沒有明顯的少數(shù)民族聚集地區(qū),不同民族考生基本上都是在北京市統(tǒng)一的大環(huán)境下成長的,所以本研究只選取性別、城鄉(xiāng)兩個維度,從測驗內部一致性信度、試題功能差異兩方面進行試題的亞群體公平性驗證。本研究使用的是北京市某年英語高考數(shù)據(jù),試卷滿分為150分。試卷共有四種題型,分別是:聽力、英語知識、閱讀和寫作,可以將其看成試卷的四個內容維度,具體的題型分布以及不同題型的加權情況如表1所示。1.區(qū)內一致性信度信度是指測量結果的穩(wěn)定性程度,它能夠反映考試的隨機誤差大小。本研究采用同質性信度(homogeneityreliability),也被稱為內部一致性信度,它可以用來說明考試內部所有題目之間的一致性程度。同質性信度高說明考試所測的內容或特質的相似性高。研究中選取了某年北京市理科生的英語高考數(shù)據(jù),其中男、女生分別為37802名和30886名,城區(qū)考生38344名,郊區(qū)考生39326名,分別作為性別、城鄉(xiāng)的研究樣本。研究中使用SPSS17.0對樣本的總體和各個亞群體的考試內部一致性信度(ɑ系數(shù))進行分析?？傮w、男生組、女生組、城區(qū)和郊區(qū)的內部一致性信度系數(shù)如表2所示。從表2可以看出,在考試的總卷角度,不論是考試樣本總體還是某個亞群體內部一致性均較高,基本達到了0.900的較高信度(郊區(qū)的內部一致性系數(shù)最低,但也達到了0.866)。這說明對于不同亞群體而言,該考試的測試內容都有較高的一致性。考試各個維度的內部一致性信度系數(shù)在男生組、女生組,以及樣本總體考生組之間的差異不大,說明不同性別在考試四個維度內的一致性較高,內部一致性沒有大的差異。城區(qū)和郊區(qū)在4個維度上的差異要比男女生亞群體之間的差異大,城區(qū)考生的測驗內部一致性更好。但是這種差異對于郊區(qū)的考生來說不是一個公平問題,這很可能是由于郊區(qū)學生的差異小于城區(qū)的學生所致。因為北京市中考后學生形成分流,郊區(qū)優(yōu)秀初中生考入城區(qū)的重點高中,而成績較差的郊區(qū)考生高考時又選取了單考單招的入學方式,這樣參加高考的郊區(qū)考生的差異性較小,從而導致其測驗的內部一致性信度系數(shù)低于城區(qū)考生。性別、城郊亞群體的測驗內部一致性信度較高說明了對于不同亞群體而言測量的特質都具有較高的一致性,因此考試從總體上來說,對性別、城郊亞群體是公平的。2.英語試卷中dif的分布試題功能差異(DifferentialItemFunctioning,DIF)是試圖通過統(tǒng)計方法識別題目偏差的一種方法。通常,試題功能差異結果可作為測驗開發(fā)者進行題目公平性判斷的一個重要的標準。本研究從男、女、城、郊亞群體中各隨機抽取了1500名左右考生作為各組的代表性樣本進行DIF分析。其中男生和女生分別為1540名和1504名,城區(qū)和郊區(qū)考生分別為1472名和1484名。DIF分析采用IRT雙參數(shù)的面積法和似然比檢測法(IRTLikelihoodRatioTest,IRT_LRDIF),使用IRTLRDIF(v.2.0b)軟件進行DIF分析。最終得到不同亞群體中存在的試題功能差異一致性(1)的題目如表3、表4所示。從表3可以看出,總體上,本次英語試卷中檢測出的性別間存在DIF的題目共13道,其中,有6道題目有利于男生,7道題目有利于女生。從各知識結構部分看,知識部分有利于男生的題目較多,而閱讀部分有利于女生的題目較多。從表4可以看出,總體上,本次英語試卷中檢測出城郊間存在DIF的題目共21道,其中,有11道題目有利于城區(qū),10道題目有利于郊區(qū)。從各知識結構部分看,聽力部分和知識部分有利于城區(qū)考生的題目較多,而閱讀部分有利于郊區(qū)考生的題目較多。通過上述分析可以看出,本次英語試卷中,在不同亞群體之間整個考試的題目存在一定程度的試題功能差異。在性別、城郊之間,總體上說,其有利于不同群體的題目數(shù)基本上相當。最后,雖然本次分析檢測出一定比例的存在DIF的題目,但還不能說明本次英語考試在考試內容上不公平,而是僅僅在統(tǒng)計上檢驗出了一些試題與其他試題存在差異。針對檢測出存在DIF的題目,有研究者已經(jīng)指出:“如果能夠斷定一個試題實際所測的內容正是考試所希望測到的內容,即便該試題具有較高的DIF,也應該保留”。進一步的公平性分析還需要相關學科領域的專家,結合自己的相關知識和經(jīng)驗,分析存在DIF的題目所測的內容是否與考試所要測試的內容一致,分析存在DIF的題目所測量的內容是否可能對某一群體不利,并判斷其在整體上是否達到了平