智能導(dǎo)師系統(tǒng)對(duì)學(xué)業(yè)成就的影響研究：量化元分析的視角_4

1、    智能導(dǎo)師系統(tǒng)對(duì)學(xué)業(yè)成就的影響研究量化元分析的視角    摘要：智能導(dǎo)師系統(tǒng)是運(yùn)用人工智能技術(shù)模擬人類教師輔導(dǎo)行為，為學(xué)習(xí)過(guò)程提供自適應(yīng)的交互反饋，是信息技術(shù)促進(jìn)個(gè)性化學(xué)習(xí)的重要標(biāo)志性產(chǎn)品。然而，在智能導(dǎo)師系統(tǒng)能否改進(jìn)學(xué)業(yè)成就的問(wèn)題上仍然存在著較大爭(zhēng)議。為此，研究主要采用量化元分析方法，針對(duì)1990年以來(lái)國(guó)際上關(guān)于智能導(dǎo)師系統(tǒng)提升學(xué)業(yè)成就的58篇實(shí)證研究進(jìn)行了綜合分析。研究發(fā)現(xiàn)：智能導(dǎo)師系統(tǒng)對(duì)學(xué)業(yè)成就的平均效應(yīng)量為0.492，具有中等的正向提升作用，能將第50個(gè)百分位的學(xué)生成就提高至約第68個(gè)百分位；在不同的學(xué)生特征、發(fā)表特征與研究設(shè)計(jì)特征中都發(fā)現(xiàn)

2、了智能導(dǎo)師系統(tǒng)的正向促進(jìn)作用，其中測(cè)試類型、持續(xù)時(shí)間與樣本量對(duì)平均效應(yīng)量具有顯著的調(diào)節(jié)作用，本地測(cè)試的平均效應(yīng)量大于標(biāo)準(zhǔn)化考試，實(shí)驗(yàn)處理時(shí)間越長(zhǎng)的平均效應(yīng)量越大，而樣本量超過(guò)200后，平均效應(yīng)量顯著下降。建議國(guó)內(nèi)教育技術(shù)領(lǐng)域擴(kuò)大實(shí)證研究規(guī)模，建立規(guī)范、嚴(yán)謹(jǐn)?shù)母深A(yù)規(guī)范與實(shí)踐指南，促進(jìn)學(xué)科領(lǐng)域的健康發(fā)展。關(guān)鍵詞：智能導(dǎo)師系統(tǒng)，元分析，學(xué)業(yè)成就，個(gè)性化學(xué)習(xí)，計(jì)算機(jī)輔助教學(xué)，效應(yīng)量，人工智能，認(rèn)知輔導(dǎo)系統(tǒng)一、引言從孔子私塾式的一對(duì)一啟發(fā)式教學(xué)到現(xiàn)代班級(jí)制度的一對(duì)多授課，從大眾媒體的單向知識(shí)傳播到人工智能的人機(jī)對(duì)話交互，人類輔導(dǎo)學(xué)習(xí)的歷史可謂源遠(yuǎn)流長(zhǎng)，而基于機(jī)器的輔導(dǎo)是學(xué)業(yè)輔導(dǎo)歷史中較晚出現(xiàn)的一種新形式

3、。雖然利用機(jī)器輔助或代替人類個(gè)體開展教學(xué)活動(dòng)的實(shí)踐探索遠(yuǎn)早于數(shù)字電子計(jì)算機(jī)與人工智能的發(fā)明（張志禎，等，2019），但正是電子計(jì)算機(jī)的出現(xiàn)才讓機(jī)器輔導(dǎo)的大規(guī)模探索與應(yīng)用成為現(xiàn)實(shí)。20世紀(jì)50年代開始出現(xiàn)的教學(xué)機(jī)器與程序化教學(xué)系統(tǒng)，基于行為主義學(xué)習(xí)理論，以片段分塊、順序分支的方式呈現(xiàn)事先準(zhǔn)備好的固定教學(xué)內(nèi)容，提供適度的交互反饋并引出后續(xù)學(xué)習(xí)內(nèi)容。這種系統(tǒng)被統(tǒng)稱為計(jì)算機(jī)輔助教學(xué)系統(tǒng)（computer-aided instruction，cai），具有機(jī)械性、程序化、預(yù)設(shè)性與封閉性特征。20世紀(jì)70年代出現(xiàn)了一種新型的機(jī)器輔導(dǎo)系統(tǒng)，它扎根于人工智能理論與認(rèn)知理論，從專家知識(shí)庫(kù)中創(chuàng)建自動(dòng)化的提示與反饋

4、，依據(jù)學(xué)生知識(shí)水平與風(fēng)格提供自適應(yīng)性的精細(xì)化腳手架，被統(tǒng)稱為“智能導(dǎo)師系統(tǒng)”（intelligent tutoring systems，itss）。智能導(dǎo)師系統(tǒng)與純粹的cai有明顯區(qū)別，智能導(dǎo)師系統(tǒng)增強(qiáng)了學(xué)習(xí)環(huán)境的自適應(yīng)能力，具備一定的情境感知、自然語(yǔ)言理解、推理進(jìn)化、智能適應(yīng)和自我學(xué)習(xí)的能力。智能導(dǎo)師系統(tǒng)是按照人類輔導(dǎo)行為的理念來(lái)開發(fā)的（woolf，2009），以幫助具有不同基礎(chǔ)、風(fēng)格與背景的學(xué)生實(shí)現(xiàn)個(gè)性化學(xué)習(xí)。特別是隨著人工智能技術(shù)的不斷發(fā)展，智能導(dǎo)師系統(tǒng)能有效追蹤學(xué)生的知識(shí)水平、學(xué)習(xí)策略、情感狀態(tài)、學(xué)習(xí)風(fēng)格并給予自適應(yīng)的智能輔導(dǎo)等，這可能是人類輔導(dǎo)人員都無(wú)法做到的精細(xì)化水平，但人工智能實(shí)

5、現(xiàn)教學(xué)自動(dòng)化依然會(huì)存在限度（張志禎，等，2019）?，F(xiàn)階段，智能導(dǎo)師系統(tǒng)能否提升學(xué)習(xí)成效？是否比傳統(tǒng)課堂教學(xué)更有效？哪些因素會(huì)影響智能導(dǎo)師系統(tǒng)提升學(xué)業(yè)成就？這些是教育技術(shù)領(lǐng)域需要回答的重要問(wèn)題。二、相關(guān)研究綜述范萊恩（vanlehn，2011）總結(jié)了不同輔導(dǎo)形式對(duì)于提升學(xué)業(yè)成就的影響效應(yīng)，認(rèn)為計(jì)算機(jī)輔助教學(xué)系統(tǒng)比常規(guī)教學(xué)提高約0.3個(gè)標(biāo)準(zhǔn)差，智能導(dǎo)師系統(tǒng)能提高約1個(gè)標(biāo)準(zhǔn)差，而人類輔導(dǎo)被認(rèn)為是最有效的，能提高2個(gè)標(biāo)準(zhǔn)差，即將第50個(gè)百分位的學(xué)生提升至第98個(gè)百分位。這是范萊恩根據(jù)前幾十年的相關(guān)研究所做出的推斷，結(jié)果是否真實(shí)呢？關(guān)于計(jì)算機(jī)輔助教學(xué)系統(tǒng)有效性的觀點(diǎn)還是比較可信的。從元分析的整體視角考

6、察，早期計(jì)算機(jī)輔助教學(xué)系統(tǒng)的影響效應(yīng)量處在0.370.42之間（burns，1981；hartley，1978）。庫(kù)利克等人（kulik，et al.，1991；kulik，1994，2002）持續(xù)開展了多次跟蹤性分析，發(fā)現(xiàn)cai能帶來(lái)0.300.38個(gè)標(biāo)準(zhǔn)差的提升。巴伊拉克塔爾（bayraktar，2001）也發(fā)現(xiàn)cai能為中學(xué)生與大學(xué)生的科學(xué)教育成績(jī)提高0.273個(gè)標(biāo)準(zhǔn)差。最近，索薩等人（sosa，et al.，2011）發(fā)現(xiàn)cai能為大學(xué)生帶來(lái)0.33個(gè)標(biāo)準(zhǔn)差的成績(jī)提升。塔米姆等人（tamim，et al.，2011）針對(duì)25項(xiàng)關(guān)于教學(xué)技術(shù)與系統(tǒng)有效性的元分析進(jìn)行了二次綜述，發(fā)現(xiàn)14個(gè)c

7、ai的平均效應(yīng)量是0.26個(gè)標(biāo)準(zhǔn)差。然而，cai在特定領(lǐng)域的影響差異較大，如在早期閱讀（blok，et al.，2002）中存在偏低的效應(yīng)量（0.19），而在特殊教育領(lǐng)域（kroesbergen，et al.，2003）又具有偏高的效應(yīng)量（0.75）。但從整體上考察，提高約1/3個(gè)標(biāo)準(zhǔn)差是cai影響效應(yīng)較為一致的結(jié)論。關(guān)于人類輔導(dǎo)的有效性難以找到一致的直接證據(jù)。人類輔導(dǎo)提高2個(gè)標(biāo)準(zhǔn)差的觀點(diǎn)來(lái)自于布魯姆的一篇頗具影響力的文章（bloom，1984），他提出了著名的“雙西格瑪（two-sigma）”問(wèn)題，認(rèn)為每個(gè)學(xué)生通過(guò)一對(duì)一的個(gè)性化輔導(dǎo)都能取得2個(gè)標(biāo)準(zhǔn)差的成績(jī)提升。他在實(shí)驗(yàn)中發(fā)現(xiàn)，在無(wú)人輔導(dǎo)的情

8、況下，掌握學(xué)習(xí)小組比常規(guī)教學(xué)小組提高了1.2個(gè)標(biāo)準(zhǔn)差，而有教師輔導(dǎo)的掌握學(xué)習(xí)小組又額外提高了0.8個(gè)標(biāo)準(zhǔn)差，共產(chǎn)生2個(gè)標(biāo)準(zhǔn)差的效應(yīng)。這種改進(jìn)效應(yīng)是人類輔導(dǎo)與掌握學(xué)習(xí)策略混合干預(yù)的結(jié)果，并沒(méi)有單獨(dú)評(píng)估人類輔導(dǎo)的直接效應(yīng)。范萊恩（van-lehn，2011）發(fā)現(xiàn)了人類輔導(dǎo)的改進(jìn)效應(yīng)量為0.79個(gè)標(biāo)準(zhǔn)差，明顯低于布魯姆的結(jié)論。此外，柯恩等人（cohen，et al.，1982）發(fā)現(xiàn)中小學(xué)同伴輔導(dǎo)僅能提高0.4個(gè)標(biāo)準(zhǔn)差，成人輔導(dǎo)能給小學(xué)生成績(jī)帶來(lái)0.3個(gè)標(biāo)準(zhǔn)差的提升（ritter，2009），劉珊珊與楊向東（2015）發(fā)現(xiàn)課外輔導(dǎo)對(duì)學(xué)業(yè)成績(jī)的效應(yīng)量?jī)H為0.27，甚至李佳麗（2017）還發(fā)現(xiàn)一對(duì)一家教補(bǔ)

9、習(xí)對(duì)于小學(xué)生的成績(jī)有顯著的消極影響。這些研究結(jié)論與布魯姆得出的2個(gè)標(biāo)準(zhǔn)差的效果有巨大差異，有待更嚴(yán)謹(jǐn)?shù)暮铣煞治?。智能?dǎo)師系統(tǒng)從誕生起就被賦予實(shí)現(xiàn)個(gè)性化學(xué)習(xí)輔導(dǎo)的期望，然而對(duì)于學(xué)業(yè)成就提升的成效影響至今爭(zhēng)議很大。認(rèn)知輔導(dǎo)系統(tǒng)（cognitive tutor，ct）是美國(guó)k-12廣泛應(yīng)用的一款數(shù)學(xué)智能導(dǎo)師系統(tǒng)，安德森等人（anderson，et al.，1995）發(fā)現(xiàn)早期版本的ct能產(chǎn)生1個(gè)標(biāo)準(zhǔn)差的成績(jī)提升，但利特等人（ritter，et al.，2007）發(fā)現(xiàn)較新版本的ct只能提高0.38個(gè)標(biāo)準(zhǔn)差。按照美國(guó)教育部有效教育策略資料中心（what works clearinghouse，wwc，20

10、17）的標(biāo)準(zhǔn)，認(rèn)為能提高0.25個(gè)標(biāo)準(zhǔn)差就表示有實(shí)質(zhì)性的重要影響，因此，他們認(rèn)為ct具有實(shí)質(zhì)性的重要影響。近年來(lái)，通過(guò)元分析，范萊恩（vanlehn，2011）發(fā)現(xiàn)智能導(dǎo)師系統(tǒng)能平均提高0.76個(gè)標(biāo)準(zhǔn)差。庫(kù)里克與弗萊徹（kulik & fletcher，2016）分析了50項(xiàng)itss應(yīng)用于學(xué)業(yè)改進(jìn)的獨(dú)立研究，發(fā)現(xiàn)能提高0.66個(gè)標(biāo)準(zhǔn)差?，?shù)热耍╩a，et al.，2014）針對(duì)73個(gè)獨(dú)立實(shí)證研究進(jìn)行元分析，發(fā)現(xiàn)其平均效應(yīng)量是0.43個(gè)標(biāo)準(zhǔn)差，且產(chǎn)品類型、對(duì)照組類型、測(cè)試類型等因素的調(diào)節(jié)作用顯著。斯滕貝格·胡與庫(kù)珀（steenbergen-hu & cooper，201

11、4）發(fā)現(xiàn)itss能為大學(xué)生學(xué)業(yè)成績(jī)帶來(lái)0.37個(gè)標(biāo)準(zhǔn)差的提升。然而，美國(guó)教育部有效教育策略資料中心（wwc，2016）另一項(xiàng)綜合評(píng)估報(bào)告發(fā)現(xiàn)，ct的平均效應(yīng)量接近零。斯滕貝格·胡與庫(kù)珀（steenbergen-hu & cooper，2013）的另一項(xiàng)元分析發(fā)現(xiàn)，itss在k-12數(shù)學(xué)科目中只能提高0.05個(gè)標(biāo)準(zhǔn)差，也微不足道。itss是從cai發(fā)展而來(lái)的，能實(shí)現(xiàn)更智能化、個(gè)性化的學(xué)習(xí)輔導(dǎo)。根據(jù)cai能提高1/3個(gè)標(biāo)準(zhǔn)差的基本共識(shí)，itss與傳統(tǒng)教學(xué)比較，應(yīng)該還能額外增加效應(yīng)量。然而，目前針對(duì)itss的有效性評(píng)價(jià)卻是如此缺乏共識(shí)，令人吃驚。如今，人工智能正從1.0走向2.0（

12、潘云鶴，2018），人工智能在教育領(lǐng)域中的應(yīng)用不斷發(fā)展升級(jí)，作為典型的教育類人工智能產(chǎn)品，吸引了越來(lái)越多的社會(huì)關(guān)注，若itss在有效性這個(gè)重要問(wèn)題上不能達(dá)成一個(gè)基本共識(shí)，不利于人工智能在教育領(lǐng)域的規(guī)?；瘧?yīng)用。因此，本研究采用量化元分析方法（quantitative meta-analysis）來(lái)試圖回應(yīng)這個(gè)重要問(wèn)題。三、研究過(guò)程量化元分析（也稱“元分析”）是國(guó)際上廣泛使用的一種合成性實(shí)證研究方法，能針對(duì)一個(gè)主題的多項(xiàng)獨(dú)立實(shí)驗(yàn)研究的結(jié)果進(jìn)行再次合并分析，充分挖掘不同實(shí)驗(yàn)特征對(duì)總體結(jié)果的影響程度，獲得更具普適性的研究結(jié)論。根據(jù)格拉斯等（glass，et al.，1981）關(guān)于元分析的研究，本研究包

13、括文獻(xiàn)準(zhǔn)備、特征編碼、效應(yīng)量計(jì)算與分析和結(jié)果討論四個(gè)階段。（一）文獻(xiàn)準(zhǔn)備1.文獻(xiàn)搜索廣泛搜集關(guān)于智能導(dǎo)師系統(tǒng)的實(shí)驗(yàn)或準(zhǔn)實(shí)驗(yàn)研究，一方面，通過(guò)國(guó)外權(quán)威文獻(xiàn)數(shù)據(jù)庫(kù)（eric，proquest dissertation and theses，sciencedirect，wiley，springerlink）與google學(xué)術(shù)引擎搜索候選文獻(xiàn)，檢索時(shí)用技術(shù)關(guān)鍵詞（如intelligent tutoring system、artificial tutor、pedagogical agents等）與學(xué)業(yè)關(guān)鍵詞（如learning gains、outcome、achievement、performance、

14、improvement、evaluate等）進(jìn)行交叉檢索，限定時(shí)間為1990年1月1日至2018年11月30日），同時(shí)在cnki采用“智能導(dǎo)師系統(tǒng)”“智能輔導(dǎo)”“智能教學(xué)系統(tǒng)”等關(guān)鍵詞進(jìn)行檢索。另一方面，通過(guò)相關(guān)研究的參考文獻(xiàn)進(jìn)行回溯倒查（vanlehn，2011；steenbergen-hu & cooper，2013；kulik & fletcher，2016），對(duì)在學(xué)校應(yīng)用較為廣泛的itss產(chǎn)品進(jìn)行專題搜索（如cognitive tutor、auto-tutor、wwc等）。最后，做初步數(shù)據(jù)處理，剔除軟件開發(fā)報(bào)告、滿意度調(diào)查、技術(shù)優(yōu)化研究等不相關(guān)文獻(xiàn)，最后總共產(chǎn)生了489

15、篇可供進(jìn)一步分析的候選文獻(xiàn)。2.文獻(xiàn)篩選在粗略考察了小部分候選樣本之后，制定了一份文獻(xiàn)篩選標(biāo)準(zhǔn)，入選的候選文獻(xiàn)必須滿足這些條件：采用實(shí)驗(yàn)或準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)，有對(duì)照組與實(shí)驗(yàn)組，且匯報(bào)了兩組前測(cè)無(wú)顯著差異，單組實(shí)驗(yàn)或未報(bào)告前測(cè)無(wú)顯著差異的不予納入。實(shí)驗(yàn)組必須接受了智能導(dǎo)學(xué)系統(tǒng)的干預(yù)實(shí)踐。如今計(jì)算機(jī)輔助教學(xué)系統(tǒng)層出不窮，對(duì)于智能導(dǎo)師系統(tǒng)概念的準(zhǔn)確理解非常關(guān)鍵。cai與itss的主要區(qū)別在于：前者只提供固定的機(jī)械性交互反饋，而后者能在學(xué)習(xí)過(guò)程中提供顆粒更精細(xì)的自適應(yīng)反饋。同時(shí)，根據(jù)范萊恩（vanlehn，2006）提出的itss包含外循環(huán)（outer loop）和內(nèi)循環(huán)（inner loop）的反饋機(jī)制進(jìn)行識(shí)別。對(duì)照組接受了相同內(nèi)容的常規(guī)教與學(xué)，但不能接受其他類型的計(jì)算機(jī)輔助教學(xué)或人類單獨(dú)輔導(dǎo)等。實(shí)驗(yàn)組與對(duì)照組都測(cè)量了知識(shí)、技能等學(xué)業(yè)目標(biāo)，可以是卷面測(cè)試、現(xiàn)場(chǎng)技能評(píng)估、真實(shí)任務(wù)遷移等，但滿意度、情感目標(biāo)的測(cè)量結(jié)果不被接受。被試群體是具有正常需求的學(xué)習(xí)群體，剔除有身心障礙、學(xué)習(xí)障礙的相關(guān)研究，但知識(shí)與能力基礎(chǔ)有差異的相關(guān)研究是可接受的。文獻(xiàn)報(bào)告了必要的數(shù)據(jù)資料，可用于計(jì)算相應(yīng)的效應(yīng)量（effect size）。最后從候選文獻(xiàn)中遴選出58個(gè)符合標(biāo)準(zhǔn)的獨(dú)立研究，可供分析的效應(yīng)量達(dá)83個(gè)，其中部分獨(dú)立研究提供了多個(gè)效應(yīng)量，如表1所