Mosaic™byACT®社會情緒學習篩選器技術(shù)手冊

Mosaic?byACT?社會情緒學習篩選器技術(shù)手冊ii 2 2 3 4 5 CI CI?Mosaic?byACT社會情緒學習篩選器技術(shù)手冊iii?表列表Table2.1.評估技能，定義和與五大和CASEL能力的一致性。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。8 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。初中篩查器與學校相關(guān)結(jié)果測量的相關(guān)性.16表3.10.學段差 17表3.11.性別差異的方差分析結(jié)果........................................18 21表3.14.中學篩查器與BFI-10量表的相關(guān)性............. 23表3.15.中學篩查器與學校相關(guān)結(jié)果測量的相關(guān)性............................23表3.16.篩查器量表與BESSI-20技能和特質(zhì)量表之間的相關(guān)性 27表3.19.性別差異的方差分析結(jié)果.................................. 28表3.20.種族/Ethnicity差異的方差分析結(jié)果..............................29 數(shù)字列表 5 CI CI?1Mosaic?by?1第一章導言各項技能的概述和各種題型的描述，以及評估得分方法和成績報告方式的說明。此外，它還報告了每種評估版本的可靠性和有效性研究摘要。以下是主要要點和發(fā)現(xiàn)的總結(jié)，后續(xù)部分則提篩查器測量持續(xù)努力、與他人相處能力和保持冷靜。初中和高中的篩查器除了測量持續(xù)努力、與他人相處能力和保持冷靜外，還測量開放思維和社會連接。每個篩查器還評估兩個?小學篩查器使用基于圖像的李克特項目衡量社交情感技能，并使用基于文本的衡量學校氛圍。中學和高中篩查器則使用強制選擇項目衡量社交情感技能，并使用基于文本?學校會收到一份包含單個學生數(shù)據(jù)的花名冊報告和一個學校匯總報告。每個社領域，學生會獲得1（發(fā)展中）到4（掌握）的成績。個人和匯總報告會標記出任何類別中得?篩選器規(guī)模在所有樣本中均表現(xiàn)出可靠性和有效性。每種形式均發(fā)現(xiàn)了趨 CI CI?2Mosaic?by?2第2章篩選器概述OSAIC?由ACT提供。?社交情感學習評估提供了對學生技能和對學校氛圍感知的全面評估，附帶詳盡的報告（參見ACT，2021），篩選器提供了每個領域?qū)W生技能的快線完成時間約為5-7分鐘。此外，它還包括兩個匯總級別的報告，社會情感技能是指對適應教育和工作場所環(huán)境以及成功表現(xiàn)至關(guān)重要的人際交往、自我調(diào)節(jié)和任務相關(guān)的行為（Casillas等，2015）。這些技能與重要的生活結(jié)果有關(guān)，如學業(yè)成就（例如， ,2008）。此外，研究表明，這些技能比以前認為的更具可塑性，既可以通過自然的時間變化s等，2017）來改變。元分析數(shù)據(jù)顯示，學生可以通過基于學校的社交情感學習干預措施提高這素的研究，但我們?yōu)榱撕啙嵑颓逦褂昧薃CT整體框架中適應的社會情感技能標簽。表1提供了工作場所和各種有價值的結(jié)果方面的實用性；b)支持來自許多國家、文化和語言；c) CI CI?3Mosaic?by?3。篩選員技能五大對齊CASEL對齊技能定義持續(xù)努力責任心?自我管理決策學生的行為如何表現(xiàn)出勤奮，努力、組織、自我控制，并遵守規(guī)則宜人?社會意識?關(guān)系技巧決策學生的行為如何表現(xiàn)出仁慈，友善、機智和積極互動和與他人合作維護情緒穩(wěn)定性?自我意識?自我管理學生的行為如何證明相對平靜、寧靜和管理情緒的能力有效地保持開放開放性經(jīng)驗社會意識學生的行為如何演示開放-頭腦和好奇心關(guān)于各種各樣的想法，經(jīng)驗社會聯(lián)系?自我意識?關(guān)系技巧學生的行為如何表現(xiàn)出樂觀，社會上的自信情況和偏好用于社會互動除了測量社交情感技能外，所有版本的評估還測量兩個學校環(huán)境維度：與學校人員的關(guān)系和學），。重要的是，這些維度也與社交情感技能有關(guān)，最近的一項研究發(fā)現(xiàn)，關(guān)系和安全與學生的動 CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊42.4.1小學評估基礎評估使用李克特量表測評三個社會情感技能（持續(xù)努力、與他人相處和保持冷靜）以及兩個學校氛圍維度（與學校人員的關(guān)系和學校安全）。所有項目均通過在線評估進行，所有回答基于圖像的利克特項目衡量社會情感技能。學生會看到一張圖片和描述與每項社會情感技能相關(guān)行為的文字說明。學生使用4點量表來評估每張圖片是否能準確描述他們自己，并且他們通常如何表現(xiàn)。圖1.1包含了一個衡量社會情感技能的樣本基于圖像的利克特項目。衡量學校環(huán)境感2.4.2初中和高中評估中學生版本的Screener測查五項社會情感技能 CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊5人員與學校安全）。社會情感技能通過強制選擇項目進行衡量，學校氣候感知通過李克特量表強制選擇項目衡量的社會情感技能是基于文本的。學生會遇到三個陳述，每個陳述代表一種不同的社會情感技能。他們需要選擇哪個陳述最符合自己，哪個最不符合自己，以及哪個介于兩者之間?？偣渤尸F(xiàn)了30個項目，分為10組三元選擇題。圖1.。衡量學校氛圍感知的李克特項目也是基于文本的，學生根據(jù)自己的認同程度對每個陳述進行篩選器得分是基于常態(tài)化的，根據(jù)大量測試者的切點來確定。標準化分數(shù)源自手冊中描述的每個高中1,077）。以下是基于評分水平所依據(jù)的標準樣本中得出的相應分數(shù)情感技能和學校氛圍領域可以收到以下四種之一的分數(shù)：?篩選器還包含一個針對發(fā)展中學生的指標。如果學生在社交情感技能或?qū)W校氛圍的任何部分獲得 CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊6這些等級分數(shù)在名冊報告和學校綜合報告中有所體現(xiàn)。名冊報告包括學生身份識別和人口統(tǒng)計信息、每項社交情感技能和學校氛圍領域的等級分數(shù)，以及表示學生在社交情感技能或?qū)W校氛圍感 CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊7第三章可靠性和有效性證據(jù)3.1.1樣品可靠性與有效性分析采用了兩個樣本進行。第一個樣本來自美國各地小學的1,（簡稱小學樣本1，ESSample1）。小學樣本1的統(tǒng)計特征見表3.1。僅納入了完成評估且標記為粗心作答（例如，所有注意力檢查項均缺失或回答無變化）的學生參與分析。人口統(tǒng)計變量學生學生36830.5%42535.2%41334.2%61351.1%性別54345.3%55<0.1%<0.1%不愿回應393.2%美洲印第安人或阿拉斯加原住民594.9%亞洲23黑人或非裔美國人15.6%西班牙裔、拉丁裔或西班牙裔8.9%夏威夷原住民或其他太平洋島民<0.1%54345.0%兩個或多個種族786.5%不愿回應15.6%1,206— CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊8人口統(tǒng)計變量學生學生2,06531.7%2,15933.1%2,29835.2%3,08447.3%性別3,09147.4%79不愿回答2684.1%美洲印第安人或阿拉斯加原住民2.7%亞洲2.3%黑人或非裔美國人90213.8%西班牙裔、拉丁裔或西班牙裔1,06416.3%夏威夷原住民或其他太平洋島民320.5%2,27334.9%4737.3%兩個或多個種族4156.4%不愿回應1,03815.9%6,522—3.1.2可靠性3.1.3有效性除了完成關(guān)于社會情感技能和學校氛圍感知的評估項目外，ES樣本1的參與者還完成了兒童五），五大人格因素的量表，并已驗證適用于最低6歲兒童使用。參與者還完成了一個四項目標尺，測量他們對學校的態(tài)度。ACT創(chuàng)建了這個量表，通過將PISA中衡量學生數(shù)學態(tài)度的項目中的數(shù)學語言改為學校語言來實現(xiàn)（OECD，2012年）。學生還被要求報告其總體學業(yè)表現(xiàn)，通過回答。 CI CI?9Mosaic?by?9ES樣本2的學生被要求報告他們在數(shù)學和ELA的成績。由于全國范圍內(nèi)小學的評分標準不統(tǒng)一，學生被提供了四個包含多個標簽的類別，并被要求選擇一個最能描述他們獲得的成績標準的類表3.3展示了ES樣本1中所有社會情感技能得分、BFQ-C量表、學校態(tài)度量表以及學校自我報告學業(yè)表現(xiàn)的整體相關(guān)矩陣。結(jié)果顯示了收斂效度的證據(jù)。每項社會情感技能量表與相應的五大因素維度的相關(guān)性最高，平均相關(guān)系數(shù)為0.51。盡管各量表之間存在中等程度的相關(guān)性，但也存在研究結(jié)果也證明了準則相關(guān)有效性。如預期的那樣，所有社交情感技能與學校校氛圍感知呈正相關(guān)系數(shù)=0.21）。此外，每一種社交情感技能都與處的能力。GPA與學校環(huán)境量表之間的正相關(guān)也復制了先前研究中關(guān)于學術(shù)表現(xiàn)與學校環(huán)境之1123456789————————————————————————————————————————— CI CI?10Mosaic?by?10發(fā)展中指標的標準有效性證據(jù)在篩選器中，學生如果在至少一項社會情感技能或接受社交情感技能發(fā)展評分的學生的學術(shù)表現(xiàn)評級顯著低于沒有發(fā)展評 在ES樣本2中對發(fā)展指標的有效性進行了進一步評估。樣本中的學生中有37%獲得了社交情感A結(jié)果和效應大小。Tukey后驗分析表明，三年級學生在所有量表上的得分顯著高于五年級學生 CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊F(2,6,521)2pMSDMSDMSD單因素方差分析模型被擬合以比較學生自報性別之間的原始量表得分。所有總體模型均達到了如描述性統(tǒng)計和效應大小所示，所有效應大小均從小型到中型不等。Tukey性在持續(xù)努力、與他人相處以及與學校人員的關(guān)系方面得分高于所有其他組（男性、女性和選擇不回應的學生得分顯著高于其他類別學生的得分（所有得分均為（中位數(shù),IF(3,6,518)2pMSDMSDMSDMSD CI CI?Mosaic?byACT社會情緒學習篩選器技術(shù)手冊?按種族/族裔劃分的分組差異 CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊太平洋pMSDMSDMSDMSDMSDMSDMSDMSDMSD?14Mosaic?by?143.2.1樣品初中（MS）樣本1包括來自6至8年級共1人口統(tǒng)計變量學生學生4,93728.7%6,37437.1%5,89134.2%不愿回答4022.3%8,35647.5%性別8,31747.2%另一種性別325不愿回答6053.4%美洲印第安人或阿拉斯加原住民7692.69%亞洲1,3422.28%黑人或非裔美國人1,49113.80%西班牙裔、拉丁裔或西班牙裔2,71016.31%夏威夷原住民或其他太平洋島民600.49%7,90534.85%5587.25%兩個或多個種族1,6846.36%不愿回應1,08415.92%17,603—3.2.2可靠性數(shù)是從排名順序的響應格式中得出的，因此可靠性系數(shù)通常低于利克特項目得出的可靠性系數(shù)= CI CI?15Mosaic?by?153.2.3有效性除了完成評估社會情緒技能和學校氣候感知的項目外，MS樣本1的參與于PISA改編的創(chuàng)造力自我效能問卷（OECD,2022修改后的簡2003）；以及由七名博士級別研究人員開發(fā)的三個關(guān)于批判性思維的問題。學生還需要報們的平均學分績點（GPA）以及參與的課相關(guān)性分析結(jié)果表明，篩選器量表與其他相同構(gòu)建的衡量標準之間的關(guān)系提供了趨同效度的證據(jù)。每項社會情感技能量表與相應的大五人格因素的相關(guān)性最高，平均相關(guān)系數(shù)為盡管各量表之間中度相關(guān)，但也存在差異效度的證據(jù)，非目標構(gòu)建的相關(guān)性平均為0.22。表3123456789————————————————————————-.07—————————————————————這些量表也證明了效標關(guān)聯(lián)有效性。持續(xù)努力量表與學生自報的GP CI CI?16Mosaic?by?16-.29-.32-.01-.16-.11-.35*-.40*-.08-.17-.11-.18發(fā)展中指標的預測有效性證據(jù)果和效應大小。如描述性統(tǒng)計和效應大小所示，所有差異在程度上都很小。Tukey事后 CI CI?17Mosaic?by?17F(2,17,199)pMSDMSDMSD ,但保持開放心態(tài)(p通過描述性統(tǒng)計和y后續(xù)分析表明，女性在維持冷靜與社交聯(lián)系方面的得分顯著高于男性、認同其他性別身份的學他人相處方面得分顯著高于女生、性別身份為其他的學生以及選擇不回應的學生（所有p顯著），不回應的學生在所有三個維度上的得分顯著低于男性和女性學生（所有ps<.05). CI CI?18Mosaic?by?18F(3,17,599)pMSDMSDMSDMSD按種族/族裔劃分的分組差異班牙裔/拉丁美洲學生以及報告自己屬于其他、兩種及以上。此外，被認定為兩個或多個種族的學生的得分顯著高于美國印第安人/阿拉斯加土著學生() CI CI?Mosaic?byACT社會情緒學習篩選器技術(shù)手冊?). CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊20Scale美國阿拉斯加亞洲黑色/美國夏威夷語/太平洋兩個或種族不喜歡F(8,17,594)pMSDMSDMSDMSDMSDMSDMSDMSDMSD持續(xù)2.210.352.320.332.230.372.260.352.180.352.310.352.240.362.280.362.200.3627.690.01<.012.420.402.550.332.330.392.450.362.310.342.530.342.470.382.450.372.460.3762.870.03<.01維護2.070.442.200.452.060.442.090.430.452.190.452.130.442.140.452.100.4429.720.01<.01保持一個開放的心態(tài)2.110.362.180.392.110.372.130.372.020.372.110.372.150.382.150.382.120.376.83<0.01<.01連接2.100.432.150.422.150.422.090.422.050.372.190.442.160.432.140.442.090.4424.270.01<.01關(guān)系與學校人員3.890.974.270.833.930.934.000.884.060.884.230.884.090.893.940.964.010.9650.120.02<.01安全4.420.955.010.714.130.944.450.834.390.894.580.834.590.874.370.934.560.93108.230.05<.01?21Mosaic?by?213.3.1樣品包括771名高中生，他們參與了使用Screener進行的研究研究。高中樣本3包括810名高中生，人口統(tǒng)計變量學生學生7,00538.2%4,82926.3%3,11217.0%3,18917.4%不愿回答8,39945.4%性別性別另一種性別9,27825550.2%不愿回答不愿回答4012.2%美洲印第安人或阿拉斯加6703.6%亞洲5012.7%黑人或非裔美國人1,7039.2%西班牙裔，拉丁裔/a或西班牙起源夏威夷原住民或其他太平洋島民3,3416718.1%0.4%9,99754.0%209兩個或多個種族1,4217.7%不愿回應4082.2%18,502—3.3.2可靠性感技能的得分是從排序反應格式中得出的，因此可靠性系數(shù)通常低于利克特項目（例如，與學 CI CI?22Mosaic?byACT社會情緒學習篩選器技術(shù)手冊?22 3.3.3有效性除了完成評估社會情緒技能和社會氛圍感知的項目外，HS樣本1的參與者還完成了其他幾項測量開發(fā)的與批判性思維相關(guān)的三項內(nèi)容。此外，學生們也被要求報告他們的平均成績點數(shù)（GPA）在HS樣本2中，學生接受了篩查器的社會情感技能部分測試以及包含20個項目簡型的《行為、情感和社會技能量表》第二版（BESSI-20；Soto等，2022）。BESSI-20量表包含了社會情感技能的特質(zhì)測量（即學生在多大程度上表現(xiàn)出相關(guān)技能行為）和社會情感技能的能力測最后，HS樣本3采用了篩檢工具的社會情感技能部分以及由一群擁有博士學位的心理學家開發(fā)的相關(guān)性分析結(jié)果表明，在HS樣本1中，篩選器量表與其他同一構(gòu)建的度量之間存在一致效度的證據(jù)。每項社會情感技能量表與相應的五大人格因素量表的相關(guān)性最高，平均相關(guān)系數(shù)為0.51。盡管各量表總體上具有中等程度的相關(guān)性，但也存在區(qū)分效度的證據(jù)，跨構(gòu)建的相關(guān)性平均 CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊23123456789————————————————————————-.04—————————————————————Thescalesalso展現(xiàn)了與標準相關(guān)的效度證據(jù)。持續(xù)努力量表與學生自我報告的GP-.24-.29-.10-.06-.32*-.37*-.14-.11-.13-.17 CI CI?24Mosaic?by?24表3.16顯示了所有BESSI-20量表和HS樣本2篩選器量表之間的相關(guān)性。篩選器量表與其對應的BESSI-20量表在技能測量方面的平均相關(guān)性為0.49，在特質(zhì)測量方面的平均相關(guān)性為0.47，這表明存在一致效度的證據(jù)。相反，非對角線相關(guān)性的平均值分別為篩選器量表與BESSI-20技能測量之間的0.17以及篩選器量表與BESSI-20特質(zhì)測量之間的0.16，這表明存在區(qū)分效度的證據(jù)?？傮w而言，篩選器量表與BESSI-20量表之間的關(guān)系提供了關(guān)于一致效度和區(qū)分效度的強有力證-.04-.10-.03-.06在HS樣本3中，還進行了相關(guān)性分析以評估構(gòu)念效度和區(qū)分效度（見表3.17）。每個篩查器量表與其BFI-2-S對應量表的相關(guān)性最高，平均相關(guān)系數(shù)為0.53。提供區(qū)分效度證據(jù)的離對角線絕對值相關(guān)系數(shù)平均值為0.17。還對參與者施加了各種單項目標指標，以評估測驗效標效度。這 CI CI?25Mosaic?by?25-.06-.14GPA-.08-.08-.03-.16-.03-.01-.15-.08-.01-.27*-.14-.10在在-.07*-.12*-.02*-.02*-.11*-.00-.12-.28*-.28*-.06-.19-.04-.26*-.03-.09-.18-.03-.28*-.04-.01-.20-.35*-.05-.10 CI CI?26Mosaic?by?26發(fā)展中指標的預測有效性證據(jù)在1,007名學生中，有516名學生的社會情感技能達到估HS樣本4。為了評估子群體差異，使用單因素一元方差分析模型被用于比較不同年級學生的原始量表分數(shù)。保持開放思維、與學校人員的關(guān)得分顯著高于其他所有年級的學生，而十一年級學生在學校安全方面的得分顯著高于十年級學 CI CI?27Mosaic?by?27F(3,18,131)pMSDMSDMSDMSD單因素方差分析模型被用于比較學生自我報告性別類別之間的規(guī)模得分。表3.19包含每個模明，在與他人相處方面，女性的得分顯著高于男性（所有p<.01)。男性分顯著高于女性(p<.01)。選擇另一種性別的學生在保持開放心態(tài)方面得分明顯高于女性1)。在校園安全方面，男性得分顯著高于所有其他群體，而女性得分顯著高于選擇另一性別或 CI CI?28Mosaic?by?28F(3,18,329)pMSDMSDMSDMSD按種族/族裔劃分的分組差異兩種或多種種族，或選擇不回應的學生（所有這些群非裔美國人/非洲裔美國人、白人、其他、兩個或更多種族，或選擇不愿回答的學生（所有）ps CI CIMosaic?byACT?社會情緒學習篩選器技術(shù)手冊29馬賽克刻度美國阿拉斯加亞洲黑色/美國夏威夷語/太平洋兩個或更多種族不喜歡F(8,18,308)pMSDMSDMSDMSDMSDMSDMSDMSDMSD持續(xù)2.310.362.320.362.310.382.320.362.290.352.330.362.350.362.330.362.320.35<0.012.470.332.500.342.450.372.470.352.400.392.490.352.470.362.460.352.440.364.29<0.01<.01維護2.140.442.140.452.140.442.160.442.190.442.170.452.190.402.160.442.140.45<0.01保持一個開放的心態(tài)2.120.382.110.392.110.372.100.372.060.372.100.372.110.332.090.382.090.360.74<0.01連接2.140.442.090.452.130.432.120.442.160.422.150.442.150.402.130.452.110.453.31<0.01<.01關(guān)系與學校人員3.820.924.110.873.860.904.040.864.124.090.883.970.833.910.933.770.9825.640.01<.01安全4.190.844.580.874.080.934.500.864.640.944.380.834.330.874.280.934.1347.830.02<.01?