學(xué)生學(xué)業(yè)成就研究：基于國際大型教育測評項(xiàng)目TIMSS梁貫成

學(xué)生學(xué)業(yè)成就研究：

基于國際大型教育測評項(xiàng)目TIMSS香港大學(xué)健泰基金教授（數(shù)學(xué)教育）梁貫成2016年8月24日重慶西南大學(xué)「現(xiàn)代統(tǒng)計(jì)分析方法與應(yīng)用」高級研修班

什么是TIMSS?TIMSS:

從第三屆國際數(shù)學(xué)及科學(xué)研究(ThirdInternationalMathematicsandScienceStudy)到國際數(shù)學(xué)及科學(xué)趨勢研究(TrendsinInternationalMathematicsandScienceStudy)國際教育成就評價(jià)協(xié)會(IEA-InternationalAssociationfortheEvaluationofEducationalAchievement)主辨透過測試及問卷,測量國際上學(xué)生在數(shù)學(xué)及科學(xué)成績的狀況,了解影響成績的不同因素第三屆國際數(shù)學(xué)及科學(xué)研究(1995年)歷史上最大型的比較研究;測試小三,小四,初中一,初中二及高中三學(xué)生;超過40國家,五十萬學(xué)生參加;在國際上有重大影響38國家/地區(qū),十八萬初中二學(xué)生參加;測量1999年的成績,并1999與1995年的差異(約有1/3試題為共通題)第三屆國際數(shù)學(xué)及科學(xué)跟進(jìn)研(TIMSS-R)–1999年國際數(shù)學(xué)及科學(xué)趨勢研究(2003年)49國家/地區(qū),超過二十六萬小四及初中二學(xué)生參加;約有1/3試題與1999年的測試為共通題國際數(shù)學(xué)及科學(xué)趨勢研究(2007年)59國家/地區(qū),超過四十二萬小四及初中二學(xué)生參加;約有1/3試題與2003年的測試為共通題國際數(shù)學(xué)及科學(xué)趨勢研究(2011年)63(+14)國家/地區(qū),超過六十萬小四及初中二學(xué)生參加初中45(+14)國家/地區(qū),小學(xué)52(+7)國家/地區(qū)約有1/3試題與2007年的測試為共通題參加TIMSS2011的國家/地區(qū)ArmeniaAustraliaAustriaAzerbaijanBahrainBelgium(Flemish)BotswanaChileChineseTaipeiCroatiaCzechRepublicDenmarkEnglandFinlandGeorgiaGermanyMacedoniaMalaysiaMaltaMoroccoTheNetherlandsNewZealandNorthernIrelandNorwayOmanPalestinianNat’lAuth.PolandPortugalQatarRomaniaRussianFederationSaudiArabiaSerbiaSingaporeSlovakRepublicSloveniaSouthAfricaSpainSwedenSyrianArabRepublicThailandTunisiaTurkeyUkraineUnitedArabEmiratesUnitedStatesYemenGhanaHondurasHongKongSARHungaryIndonesiaIran,IslamicRep.ofIrelandIsraelItalyJapanJordanKazakhstanKorea,Rep.ofKuwaitLebanonLithuaniaTIMSS1995TIMSS1995TrendsinInternationalMathematicsandScienceStudy(TIMSS)2007TrendsinInternationalMathematicsandScienceStudy(TIMSS)2007Primary4MathematicsTrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Primary4Mathematics(first15countries)TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Secondary2MathematicsTrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Secondary2Mathematics(first15countries)InternationalBenchmarksTrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Primary4(first20countries)InternationalBenchmarksTrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Secondary2(first20countries)小四學(xué)生喜歡數(shù)學(xué)的程度

(國際平均=48%)

TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011初中二學(xué)生喜歡數(shù)學(xué)的程度

(國際平均=26%)TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011初中二學(xué)生對數(shù)學(xué)的重視程度

(國際平均=46%)TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011小四學(xué)生對數(shù)學(xué)學(xué)習(xí)的自信心

(國際平均=34%)

TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011初中二學(xué)生對數(shù)學(xué)學(xué)習(xí)的自信心

(國際平均=14%)

TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011討論上述的結(jié)果，需要什么數(shù)據(jù)？要搜集這些數(shù)據(jù)，我們要采取甚么研究方法？我們?nèi)绾伪ＷC研究結(jié)果準(zhǔn)確?如何保證研究結(jié)果準(zhǔn)確?考慮五個(gè)問題:比較甚么？比較的對象是誰？如何比較？如何分析測量結(jié)果？如何保證數(shù)據(jù)質(zhì)量?

1.比較什么？例： 何謂數(shù)學(xué)？何謂成績？何謂課程？理論框架-三個(gè)層次的課程：預(yù)期課程（intendedcurriculum）實(shí)施課程（implementedcurriculum）實(shí)現(xiàn)課程（attainedcurriculum）實(shí)現(xiàn)課程的三個(gè)方面：內(nèi)容表現(xiàn)觀感預(yù)期課程(國家/地區(qū))社會文化背景實(shí)施課程(班)實(shí)現(xiàn)課程(學(xué)生)個(gè)人背景學(xué)校及社區(qū)背景內(nèi)容維度(2011)初二數(shù)代數(shù)幾何數(shù)據(jù)的表達(dá),分析及概率小四數(shù)幾何圖形與度量數(shù)據(jù)表達(dá)認(rèn)知維度

(2011)知識

Knowing(recall,recognize,compute,retrieve,measure,classify)應(yīng)用Applying(select,represent,model,implement,solveroutineproblems)推理Reasoning(analyze,generalize,synthesize,justify,solvenon-routineproblems)預(yù)期課程:內(nèi)容2.比較的對象是誰？年齡與年級研究單位國家、學(xué)校、班級、老師、學(xué)生所需總體（desiredtargetpopulation），定義或有效總體（definedoreffectivetargetpopulation）與樣本（sample）抽樣方法兩階段層化聚點(diǎn)抽樣精確度與抽樣量3.

如何比較？測量工具問卷（國家、學(xué)校、老師、學(xué)生）試卷大綱及教材分析需要甚么數(shù)據(jù)？總分不同范疇的分?jǐn)?shù)技能層次試卷試題的類形多項(xiàng)選擇題、短答題、長答題、實(shí)踐測試試題的選擇測試藍(lán)圖、預(yù)試、學(xué)科專家意見、試卷的整體考慮試題的設(shè)計(jì)試題群、不同的試題小冊子試題的翻譯文化差異與文化適應(yīng)內(nèi)容多項(xiàng)選擇題短答題長答題總題數(shù)分?jǐn)?shù)整數(shù)19512528分?jǐn)?shù)與比例15242128測量、估算與數(shù)感16312021數(shù)據(jù)陳述、分析與概率8221215幾何122-1414規(guī)律、關(guān)系與函數(shù)91-1010總數(shù)8915810216TIMSS1995數(shù)學(xué)測試藍(lán)圖

內(nèi)容維度(2011)初二數(shù)

(30%)代數(shù)

(30%)幾何

(20%)數(shù)據(jù)的表達(dá),分析及概率(20%)小四數(shù)

(50%)幾何圖形與度量

(35%)數(shù)據(jù)表達(dá)(15%)認(rèn)知維度

(2011)小四知識

(40%)應(yīng)用

(40%)推理

(20%)初二知識

(35%)應(yīng)用

(40%)推理

(25%)知識

Knowing應(yīng)用Applying推理Reasoning4.如何分析測量結(jié)果？例： 取得七十分的學(xué)生是否必定比取得六十五分的學(xué)生好？如何處理題目的不同難度？如何解決不同學(xué)生做不同試題的問題？短答題與長答題的批改兩位數(shù)字編碼IRT標(biāo)度5.如何保證數(shù)據(jù)質(zhì)量?規(guī)范化的搜集數(shù)據(jù)方法詳細(xì)的操作指南搜集數(shù)據(jù)和編碼訓(xùn)練雙重計(jì)分和數(shù)據(jù)再輸入試題的翻譯兩個(gè)或以上翻譯、逆翻譯試題的統(tǒng)計(jì)資料數(shù)據(jù)清洗國際質(zhì)量監(jiān)控員

結(jié)語TIMSS作為一個(gè)大型的,量的(quantitative)的跨國比較研究,必定有其限制其結(jié)果有其可信性,但對剖釋問題的根源,一定不會很深入TIMSS不是另一項(xiàng)數(shù)學(xué)競賽,我們不應(yīng)太著重國家的排名它乃一面鏡子，幫助我們自我了解強(qiáng)弱TIMSS的研究團(tuán)隊(duì),已經(jīng)盡了最大努力,讓這面鏡子把現(xiàn)象反影得最清楚和準(zhǔn)確但是單是數(shù)據(jù)是沒用的,研究結(jié)果還是需要有智慧的人去詮釋和應(yīng)用的結(jié)語(2)為甚么要花那么多工夫,做那么麻煩的事情?為了保證數(shù)據(jù)結(jié)果準(zhǔn)確研究乃真理的追求不論我們作大型跨國研究抑或小型課堂研究,嚴(yán)緊的研究方法背后的原則都類同做研究時(shí),至少應(yīng)知道有些甚么我們因各樣限制而沒有做的「知之為知之,不知為不知,是知也。」謝謝!TIMSS國際報(bào)告可從

http://t

下載聯(lián)絡(luò)資料香港大學(xué)教育學(xué)院梁貫成電郵:frederickleung@hku.hk

什么是PISA?PISA（ProgrammeforInternationalStudentAssessment）(國際學(xué)生評估項(xiàng)目的縮寫）是一項(xiàng)由經(jīng)濟(jì)合作與發(fā)展組織（OrganizationforEconomicCo-operationandDevelopment，OECD）統(tǒng)籌的學(xué)生能力國際評估計(jì)劃。主要對接近完成基礎(chǔ)教育的15歲學(xué)生進(jìn)行評估，測試學(xué)生們能否掌握參與社會所需要的知識與技能PISA

評估內(nèi)容第一次PISA評估于2000年首次舉辦，此后每3年舉行一次。評估主要分為3個(gè)領(lǐng)域：閱讀素養(yǎng)、數(shù)學(xué)素養(yǎng)及科學(xué)素養(yǎng)，由這3項(xiàng)組成一評估循環(huán)核心，在每一個(gè)評核周期里，有2/3的時(shí)間會對其中一項(xiàng)領(lǐng)域進(jìn)行深入評估，其他兩項(xiàng)則進(jìn)行綜合評測。PISA

評估方式PISA會在各個(gè)國家中抽取4500到10000名初三與高一為主的15歲學(xué)生擔(dān)任調(diào)查對象，以測試學(xué)生是否能夠掌握社會所需的知識與技能。因此，試題著重于應(yīng)用及情境化。受測學(xué)生必須靈活運(yùn)用學(xué)科知