基于多媒體學(xué)習(xí)理論的教學(xué)資源自適應(yīng)研究

基于多媒體學(xué)習(xí)理論的教學(xué)資源自適應(yīng)研究摘要：多媒體學(xué)習(xí)理論原則基于認(rèn)知理論、雙重編碼理論等構(gòu)建起來，我們認(rèn)為它是距離學(xué)習(xí)者最近的學(xué)習(xí)理論；深度學(xué)習(xí)計算思維來源于人的神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)者學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)關(guān)系密切，基于深度學(xué)習(xí)等計算“反哺”服務(wù)學(xué)習(xí)者學(xué)習(xí)、按照學(xué)習(xí)者學(xué)習(xí)心理模型設(shè)計教學(xué)資源、縮短學(xué)習(xí)者到學(xué)習(xí)資源的心理距離。對多媒體學(xué)習(xí)理論原則、深度學(xué)習(xí)相關(guān)方法以及他們之間的適切性等進(jìn)行了研究，提出并論證了基于多媒體學(xué)習(xí)理論原則的教學(xué)資源自適應(yīng)模型和算法設(shè)計過程。關(guān)鍵詞：多媒體學(xué)習(xí)理論；深度學(xué)習(xí)；教學(xué)資源自適應(yīng)1前言多媒體學(xué)習(xí)理論為教學(xué)資源的評價提供了一定的遵循，規(guī)范了教學(xué)資源設(shè)計者的具體行為，現(xiàn)有的研究中主要是實(shí)證研究，即通過一定的教學(xué)資源使用的過程中的評價、問卷反饋來證明多媒體學(xué)習(xí)理論原則的正確性，或者判定教學(xué)資源與原則的偏差等，同時，隨著計算機(jī)技術(shù)的不斷發(fā)展，對圖文聲像教學(xué)資源的計算和評價方法越來越具有可行性，尤其是深度學(xué)習(xí)機(jī)計算理論來源于人的神經(jīng)網(wǎng)絡(luò)啟發(fā)，使用計算機(jī)代替人工完成教學(xué)資源的多媒體學(xué)習(xí)理論原則評價；多媒體學(xué)習(xí)理論眾多原則是否需要同時使用，能否實(shí)現(xiàn)學(xué)生個性化學(xué)習(xí)資源自適應(yīng)推送等問題值得研究。2多媒體學(xué)習(xí)理論原則及其適應(yīng)性、邏輯（1）多媒體學(xué)習(xí)理論原則文章[[]江豐光,王丹,林群,曾繁博.多媒體學(xué)習(xí)理論視角下英語多媒體學(xué)習(xí)資源設(shè)計框架——基于學(xué)齡前兒童英語聽說APP的實(shí)證研究[J].中國電化教育,2015(12):12-17+25.]從梅耶的多媒體學(xué)習(xí)原則中挑選出13種原則[[]RichardE.Mayer.[]江豐光,王丹,林群,曾繁博.多媒體學(xué)習(xí)理論視角下英語多媒體學(xué)習(xí)資源設(shè)計框架——基于學(xué)齡前兒童英語聽說APP的實(shí)證研究[J].中國電化教育,2015(12):12-17+25.[]RichardE.Mayer.?The?Cambridge?Handbook?of?MultimediaLearning[M].?New?York:?Cambridge?University?Press,?2014.基于多媒體學(xué)習(xí)認(rèn)知理論，梅耶一共提出了10條多媒體教學(xué)設(shè)計原則，目的在于充分利用人類有限的認(rèn)知容量，幫助學(xué)習(xí)者積極進(jìn)行認(rèn)知加工——主動選擇信息、組織信息和整合信息，最終實(shí)現(xiàn)意義學(xué)習(xí)。[[]毛偉,盛群力.梅耶多媒體教學(xué)設(shè)計10條原則:依托媒體技術(shù)實(shí)現(xiàn)意義學(xué)習(xí)[J].現(xiàn)代遠(yuǎn)程教育研究,2017(01):26-35.]截至目前，我和我的研究團(tuán)隊在一百多個實(shí)驗(yàn)研究的基礎(chǔ)上總結(jié)出了十二條多媒體教學(xué)設(shè)計原則。[[]王雪,王志軍,韓美琪.技術(shù)環(huán)境下學(xué)習(xí)科學(xué)與教學(xué)設(shè)計的新發(fā)展——[]毛偉,盛群力.梅耶多媒體教學(xué)設(shè)計10條原則:依托媒體技術(shù)實(shí)現(xiàn)意義學(xué)習(xí)[J].現(xiàn)代遠(yuǎn)程教育研究,2017(01):26-35.[]王雪,王志軍,韓美琪.技術(shù)環(huán)境下學(xué)習(xí)科學(xué)與教學(xué)設(shè)計的新發(fā)展——訪多媒體學(xué)習(xí)研究創(chuàng)始人RichardMayer教授[J].中國電化教育,2019(10):8-13+31.（2）多媒體學(xué)習(xí)理論原則適應(yīng)性及邏輯關(guān)系為了解決實(shí)際問題，研究將多媒體學(xué)習(xí)理論（連貫性、信號、冗余、鄰接等）和修辭應(yīng)用到了海報設(shè)計中。[[]RhiannaK.Pedwell,JamesA.Hardy,SusanL.Rowland.Effectivevisualdesignandcommunicationpracticesforresearchposters:Exemplarsbasedonthetheoryandpracticeofmultimedialearningandrhetoric[J].BiochemistryandMolecularBiologyEducation,2017,45(3):]鄧國民等認(rèn)為需要綜合考慮跨媒體教學(xué)信息呈現(xiàn)的特點(diǎn)以及認(rèn)知理論的最新研究成果，對多媒體學(xué)習(xí)理論進(jìn)一步發(fā)展，在原有視聽覺雙通道的基礎(chǔ)上，引入第三條通道———跨媒體信息處理的情境認(rèn)知通道，并提出跨媒體學(xué)習(xí)理論框架。[[]鄧國民,閻婷.面向智能時代的跨媒體學(xué)習(xí)方式、理論與資源環(huán)境——基于國際多媒體學(xué)習(xí)研究的啟示[J].遠(yuǎn)程教育雜志,2019,37(03):61-69.]文東等[[]文東,王玉琴,吳秀園.基于認(rèn)知神經(jīng)科學(xué)視角的多媒體學(xué)習(xí)認(rèn)知理論創(chuàng)新[J].現(xiàn)代遠(yuǎn)程教育研究,2013(03):40-49.[]RhiannaK.Pedwell,JamesA.Hardy,SusanL.Rowland.Effectivevisualdesignandcommunicationpracticesforresearchposters:Exemplarsbasedonthetheoryandpracticeofmultimedialearningandrhetoric[J].BiochemistryandMolecularBiologyEducation,2017,45(3):[]鄧國民,閻婷.面向智能時代的跨媒體學(xué)習(xí)方式、理論與資源環(huán)境——基于國際多媒體學(xué)習(xí)研究的啟示[J].遠(yuǎn)程教育雜志,2019,37(03):61-69.[]文東,王玉琴,吳秀園.基于認(rèn)知神經(jīng)科學(xué)視角的多媒體學(xué)習(xí)認(rèn)知理論創(chuàng)新[J].現(xiàn)代遠(yuǎn)程教育研究,2013(03):40-49.[]Schnotz,W.(2005).AnIntegratedModelofTextandPictureComprehension[A].MayerR.(Ed.).TheCambridgeHandbookofMultimediaLearning[M].NewYork:CambridgeUniversityPress:49-69.雖然多媒體學(xué)習(xí)理論原則在實(shí)踐中遇到了一些問題，但是很多問題還少有研究文獻(xiàn)，如這些原則之間的邏輯關(guān)系是什么？是否需要整體進(jìn)行理解和實(shí)踐？需要使用多少個？是不是原則多樣性即代表學(xué)習(xí)者個性化選擇性？文章[[]楊南昌,羅毛羽.“腳手架”如何變成了“絆腳石”——小學(xué)數(shù)學(xué)中的圖示障礙研究[J].電化教育研究,2021,42(07):114-121.]認(rèn)為圖示障礙發(fā)生在多媒體學(xué)習(xí)理論中詞語和畫面兩個加工通道的不同階段，因此，在編寫圖示例題時，要將“圖文匹配”原則放到首先考慮的重要位置，確保數(shù)學(xué)圖示題中的圖畫與文字形成內(nèi)部理解的一致性。其次，再考慮圖文兩大要素在“選擇—組織—整合”過程中的作用機(jī)制，合理編排圖像內(nèi)容，準(zhǔn)確呈現(xiàn)題目信息，控制無關(guān)信息，減少冗余信息[[]王文智.基于認(rèn)知負(fù)荷理論的多媒體教學(xué)呈現(xiàn)原則探討[J].遠(yuǎn)程教育雜志,2009,17(02):33-37.]，杜絕“帶有答案指向”（過簡）和“含糊不清”（過難）的兩個極端設(shè)計。從上面一些研究看出來，多媒體學(xué)習(xí)理論原則解釋不了實(shí)際情況中遇到的一些問題，是否是沒有充分應(yīng)用原則的先后關(guān)系[NOTEREF_Ref16046\h6]、系統(tǒng)性還是其本身缺陷滿足不了新的教學(xué)形式和問題之間的矛盾，但是可以明確的一點(diǎn)是，基于這些原則特征的多樣性與學(xué)習(xí)者個性化資源需求的多樣性息息相關(guān)，如同原則本身之間沒有給出來因果邏輯、先后關(guān)系一樣，這些與學(xué)習(xí)息息相關(guān)的深層次特性有待深度挖掘。我的多媒體教學(xué)設(shè)計十二條原則也是有時適用，有時也不適用，是有邊界條件的。例如，這十二條原則主要針對低知識經(jīng)驗(yàn)的學(xué)習(xí)者，對高知識經(jīng)驗(yàn)的學(xué)習(xí)者不適用，這是一個非?；镜倪吔鐥l件，當(dāng)然還有很多其他類似的邊界條件；我一直鉆研多媒體教學(xué)設(shè)計的個性化原則(Personalization)以促進(jìn)學(xué)習(xí)者積極主動地參與學(xué)習(xí)過程。[NOTEREF_Ref21929\h3]

在多媒體環(huán)境中信息呈現(xiàn)方式的不同對學(xué)習(xí)者的影響也不盡相同。[[]康誠，周愛保．信息呈現(xiàn)方式與認(rèn)知風(fēng)格對多媒體環(huán)境下學(xué)習(xí)效果的影響［J］．心理科學(xué)2010(6):1397－1400．]、[[]趙翠霞．多媒體學(xué)習(xí)中幫助的呈現(xiàn)方式對學(xué)習(xí)績效的影響［J］.電化教育研究．2013(9)．]、[[]丁道群，羅揚(yáng)眉．認(rèn)知風(fēng)格和信息呈現(xiàn)方式對學(xué)習(xí)者認(rèn)知負(fù)荷的影響［J］.心理學(xué)探新．2009(3):37－40．]、[[[]楊南昌,羅毛羽.“腳手架”如何變成了“絆腳石”——小學(xué)數(shù)學(xué)中的圖示障礙研究[J].電化教育研究,2021,42(07):114-121.[]王文智.基于認(rèn)知負(fù)荷理論的多媒體教學(xué)呈現(xiàn)原則探討[J].遠(yuǎn)程教育雜志,2009,17(02):33-37.[]康誠，周愛保．信息呈現(xiàn)方式與認(rèn)知風(fēng)格對多媒體環(huán)境下學(xué)習(xí)效果的影響［J］．心理科學(xué)2010(6):1397－1400．[]趙翠霞．多媒體學(xué)習(xí)中幫助的呈現(xiàn)方式對學(xué)習(xí)績效的影響［J］.電化教育研究．2013(9)．[]丁道群，羅揚(yáng)眉．認(rèn)知風(fēng)格和信息呈現(xiàn)方式對學(xué)習(xí)者認(rèn)知負(fù)荷的影響［J］.心理學(xué)探新．2009(3):37－40．[]蘭國帥，張一春．合理利用超媒體注釋技術(shù)促進(jìn)英語閱讀理解及詞匯習(xí)得———梅耶多媒體信息設(shè)計“臨近原則”的實(shí)驗(yàn)驗(yàn)證［J］．中國遠(yuǎn)程教育，2013(9):40－45．[]王宇熙,蘭國帥,張一春.媒體類型不同組合方式對大學(xué)生多媒體學(xué)習(xí)效果的影響[J].現(xiàn)代遠(yuǎn)距離教育,2015(02):48-53.（3）多媒體學(xué)習(xí)理論研究實(shí)踐現(xiàn)狀不按照一定的標(biāo)準(zhǔn)和原則設(shè)計教學(xué)資源會產(chǎn)生一些不好的影響。有研究者對北師大版小學(xué)數(shù)學(xué)教材內(nèi)的圖像表征進(jìn)行了細(xì)致研究，指出如果圖像表征運(yùn)用不當(dāng)，就會轉(zhuǎn)移學(xué)生的視線，偏離學(xué)習(xí)目標(biāo)，增加學(xué)習(xí)難度，與要達(dá)到的學(xué)習(xí)效果背道而馳。[[]聶莉.小學(xué)數(shù)學(xué)教材的圖像表征設(shè)計研究[D].桂林：廣西師范大學(xué)，2014.]有研究者表明，不少數(shù)學(xué)插圖確實(shí)存在“負(fù)效應(yīng)”，體現(xiàn)為插圖內(nèi)含信息過多、圖文間不相匹配、相似插圖引發(fā)思維定式等等。[[]劉明.數(shù)學(xué)插圖“負(fù)效應(yīng)”的分析及應(yīng)對策略[J].教學(xué)與管理，2012（11）：46-47.]從分析來看，現(xiàn)有圖示障礙研究更多聚焦于學(xué)習(xí)材料中圖示的圖文組合方面，忽略對閱讀對象本身的關(guān)注。[[]宋振韶.教科書插圖的認(rèn)知心理學(xué)研究[J].北京師范大學(xué)學(xué)報（社會科學(xué)版），2005（6）：24-28.]文章[[]ThomasK.F.Chiu,DanielChurchill.Exploringthecharacteristicsofanoptimaldesignofdigitalmaterialsforconceptlearninginmathematics:Multimedialearningandvariationtheory[J].Computers&Education,2015,82:]基于多媒體學(xué)習(xí)理論和變異理論在數(shù)學(xué)教學(xué)資源設(shè)計中進(jìn)行研究，得出了材料應(yīng)該在主題領(lǐng)域呈現(xiàn)有意義的學(xué)習(xí)信息、不同學(xué)習(xí)信息之間的關(guān)系應(yīng)該建立、材料的呈現(xiàn)應(yīng)設(shè)計為最大限度地提高可用的認(rèn)知能力指Mayer外在認(rèn)知處理）、外觀應(yīng)該具有吸引力等原則。在多媒體教學(xué)過程中，多媒體學(xué)習(xí)理論各種原則表現(xiàn)出了普遍適應(yīng)性和標(biāo)準(zhǔn)依據(jù)。有研究將多媒體學(xué)習(xí)理論（連貫性、信號、冗余、鄰接等）和修辭應(yīng)用到了海報設(shè)計中。文章[[]RhiannaK.Pedwell,JamesA.Hardy,SusanL.Rowland.Effectivevisualdesignandcommunicationpracticesforresearchposters:Exemplarsbasedonthetheoryandpracticeofmultimedialearningandrhetoric[J].BiochemistryandMolecularBiologyEducation,2017,45(3):]首次基于多媒體學(xué)習(xí)原則對公開可用的醫(yī)學(xué)動畫進(jìn)行審查，發(fā)現(xiàn)多余的視覺和聽覺元素以及學(xué)習(xí)者互動的機(jī)會很少，許多動畫沒有遵循推薦的多媒體學(xué)習(xí)原則。[[]CaroleYue,JessieKim,RikkeOgawa,ElenaStark,SaraKim.Applyingthecognitivetheoryofmultimedialearning:ananalysisofmedicalanimations[J].MedicalEducation,2013,47(4):]研究從梅耶的多媒體學(xué)習(xí)理論出發(fā)，對目前市場上的學(xué)齡前兒童英語聽說APP進(jìn)行分析，評測其是否符合多媒體學(xué)習(xí)原則。[]聶莉.小學(xué)數(shù)學(xué)教材的圖像表征設(shè)計研究[D].桂林：廣西師范大學(xué)，2014.[]劉明.數(shù)學(xué)插圖“負(fù)效應(yīng)”的分析及應(yīng)對策略[J].教學(xué)與管理，2012（11）：46-47.[]宋振韶.教科書插圖的認(rèn)知心理學(xué)研究[J].北京師范大學(xué)學(xué)報（社會科學(xué)版），2005（6）：24-28.[]ThomasK.F.Chiu,DanielChurchill.Exploringthecharacteristicsofanoptimaldesignofdigitalmaterialsforconceptlearninginmathematics:Multimedialearningandvariationtheory[J].Computers&Education,2015,82:[]RhiannaK.Pedwell,JamesA.Hardy,SusanL.Rowland.Effectivevisualdesignandcommunicationpracticesforresearchposters:Exemplarsbasedonthetheoryandpracticeofmultimedialearningandrhetoric[J].BiochemistryandMolecularBiologyEducation,2017,45(3):[]CaroleYue,JessieKim,RikkeOgawa,ElenaStark,SaraKim.Applyingthecognitivetheoryofmultimedialearning:ananalysisofmedicalanimations[J].MedicalEducation,2013,47(4):[]郭炯,王晶晶.面向1:1數(shù)字化學(xué)習(xí)的電子教材設(shè)計與開發(fā)研究[J].中國電化教育,2015(03):90-96.現(xiàn)有研究很好的利用了多媒體學(xué)習(xí)理論的成果進(jìn)行實(shí)踐，同時，從以上研究的過程可知：具有人為因素影響大、數(shù)據(jù)量相對較小、歷時較短等特點(diǎn)，從不同角度、不同學(xué)科等進(jìn)行研究，對本質(zhì)性研究缺乏系統(tǒng)性（如教學(xué)資源是否滿足學(xué)習(xí)者的學(xué)習(xí)、遷移、理解全過程連貫、適應(yīng)）和理論指導(dǎo)，計算機(jī)技術(shù)實(shí)現(xiàn)并強(qiáng)化這些過程的研究沒有。3多媒體學(xué)習(xí)理論原則結(jié)合共享子空間學(xué)習(xí)方法在教學(xué)資源評價中的適切性為了評估教學(xué)資源的質(zhì)量，結(jié)合多媒體學(xué)習(xí)理論原則，基于梅耶的多媒體學(xué)習(xí)原則自動根據(jù)計算機(jī)程序給學(xué)習(xí)資源打分，如給每一個ppt打總分，給每一頁ppt打單分，計算該教學(xué)資源PPT符合多媒體學(xué)習(xí)理論原則的程度。為了解決類似這里提到的問題，我們首先需要對計算機(jī)可以識別的文件如單頁P(yáng)PT內(nèi)部的一致性、冗余性等進(jìn)行檢測。這是一個共享子空間學(xué)習(xí)獲得多個模態(tài)間共享的潛在子空間[[]張磊,趙耀,朱振峰.跨媒體語義共享子空間學(xué)習(xí)研究進(jìn)展[J].計算機(jī)學(xué)報,2017,40(06):1394-1421.][]張磊,趙耀,朱振峰.跨媒體語義共享子空間學(xué)習(xí)研究進(jìn)展[J].計算機(jī)學(xué)報,2017,40(06):1394-1421.圖1多媒體學(xué)習(xí)理論原則、共享子空間學(xué)習(xí)方法協(xié)同機(jī)制“公用數(shù)據(jù)集”是“先驗(yàn)知識”（預(yù)訓(xùn)練模型），表示了圖片和文字的一一對應(yīng)關(guān)系，為共享子空間投影后的計算提供標(biāo)準(zhǔn)；該機(jī)制將多媒體學(xué)習(xí)理論原則、共享子空間學(xué)習(xí)方法充分融合，對依托技術(shù)實(shí)現(xiàn)解決教學(xué)資源設(shè)計問題提供有力支持。我們提出來基于多模態(tài)視角的多媒體資源學(xué)習(xí)選擇、組織、整合信息處理模型如下圖2。圖2多模態(tài)資源學(xué)習(xí)選擇、組織、整合信息處理模型雖然Mayer教授的一些研究對計算機(jī)技術(shù)強(qiáng)化學(xué)習(xí)認(rèn)同上有不同觀點(diǎn)，如虛擬現(xiàn)實(shí)學(xué)習(xí)沒有表現(xiàn)出來更好地學(xué)習(xí)效果，但我們認(rèn)為的神經(jīng)科學(xué)、學(xué)習(xí)科學(xué)、教學(xué)科學(xué)和教育實(shí)踐之間的相互關(guān)系圖如1中B。A[[]MayerRE.[]MayerRE.Educationalpsychology’spastandfuturecontributionstothescienceoflearning,scienceofinstruction,andscienceofassessment[J].JournalofEducationalPsychology,2018,110(2):174-179.圖3神經(jīng)科學(xué)、學(xué)習(xí)科學(xué)、教學(xué)科學(xué)和教育實(shí)踐之間的相互關(guān)系圖從圖1、圖2、圖3中的內(nèi)容和涉及到的各種關(guān)系，可以看出來科學(xué)計算的方式越來越更多的強(qiáng)化了學(xué)習(xí)者學(xué)習(xí)和學(xué)習(xí)模式構(gòu)建，可以看出來多媒體學(xué)習(xí)理論原則多樣性可以實(shí)現(xiàn)學(xué)習(xí)者個性化適應(yīng)，提供了學(xué)習(xí)理論基礎(chǔ)；共享子空間學(xué)習(xí)方法（深度學(xué)習(xí)）對識別原則多樣性提供計算標(biāo)準(zhǔn)，對實(shí)現(xiàn)精準(zhǔn)個性化適應(yīng)提供計算基礎(chǔ)，兩者結(jié)合利用在學(xué)習(xí)資源設(shè)計標(biāo)準(zhǔn)計算上具有一定的適切性。4基于多媒體學(xué)習(xí)理論原則的自適應(yīng)教學(xué)資源服務(wù)模式（1）多媒體學(xué)習(xí)理論原則計算基礎(chǔ)我希望新的多媒體教學(xué)設(shè)計原則仍是基于實(shí)證研究產(chǎn)生的；人們會發(fā)現(xiàn)技術(shù)只是活躍在表面，它遠(yuǎn)沒有達(dá)到預(yù)期的效用；我認(rèn)為最重要的是要研究“學(xué)習(xí)”，基于“人是如何學(xué)習(xí)的”開展以學(xué)習(xí)者為中心的教學(xué)設(shè)計，而不是基于技術(shù)能做什么。[NOTEREF_Ref21929\h4]應(yīng)采用定性研究與定量研究相結(jié)合的方式，探索多媒體學(xué)習(xí)環(huán)境下基于過程的學(xué)習(xí)、基于學(xué)習(xí)者認(rèn)知規(guī)律的教學(xué)、基于體驗(yàn)的個性化學(xué)習(xí)，同時借助語言學(xué)、符號學(xué)、藝術(shù)設(shè)計等跨學(xué)科領(lǐng)域的理論，豐富多媒體學(xué)習(xí)研究的理論和方法，提高多媒體學(xué)習(xí)研究的深度和影響力。[[]王志軍,馮小燕.近年來我國多媒體學(xué)習(xí)研究的熱點(diǎn)與發(fā)展趨勢——基于CNKI(2000-2016年)文獻(xiàn)的知識圖譜分析[J].現(xiàn)代教育管理,2017(09):57-63.][]王志軍,馮小燕.近年來我國多媒體學(xué)習(xí)研究的熱點(diǎn)與發(fā)展趨勢——基于CNKI(2000-2016年)文獻(xiàn)的知識圖譜分析[J].現(xiàn)代教育管理,2017(09):57-63.多媒體學(xué)習(xí)指用語詞和畫面共同呈現(xiàn)信息以促進(jìn)學(xué)習(xí)者的學(xué)習(xí)，其中語詞是指以打印文本或講話等言語形式呈現(xiàn)的材料，畫面是指用圖像形式呈現(xiàn)的材料，主要包括靜態(tài)圖形或者動態(tài)圖畫。[[]\o"MayerRE.MultimediaLearning:MultimediaLearning[M].CambridgeUniversityPress,2001."MayerRE.MultimediaLearning:MultimediaLearning[M].CambridgeUniversityPress,2001.]研究認(rèn)為教學(xué)視頻是指旨在幫助人們學(xué)習(xí)特定知識和技能的視頻課程，它可以獨(dú)立的，也可以是一門課程的一部分；其本質(zhì)是由一組連續(xù)的包括靜態(tài)圖形或動態(tài)圖畫的視覺材料和語音或屏幕文本等言語材料組成的多媒體學(xué)習(xí)信息，是多媒體學(xué)習(xí)資源的一種形式；因此，多媒體學(xué)習(xí)的認(rèn)知理論以及多媒體學(xué)習(xí)資源設(shè)計的相關(guān)原則均適用于教學(xué)視頻設(shè)計。[[]卜彩麗,曹婉迎,靳宇,郭佳佳,沈霞娟.教學(xué)視頻設(shè)計的原則、理論基礎(chǔ)與評價工具研究——[]\o"MayerRE.MultimediaLearning:MultimediaLearning[M].CambridgeUniversityPress,2001."MayerRE.MultimediaLearning:MultimediaLearning[M].CambridgeUniversityPress,2001.[]卜彩麗,曹婉迎,靳宇,郭佳佳,沈霞娟.教學(xué)視頻設(shè)計的原則、理論基礎(chǔ)與評價工具研究——基于國外72篇實(shí)證研究的系統(tǒng)綜述[J].現(xiàn)代遠(yuǎn)距離教育,2021(02):35-44.[]王志軍,曹曉靜.數(shù)字化學(xué)習(xí)資源畫面色彩表征影響學(xué)習(xí)注意的研究[J].遠(yuǎn)程教育雜志,2020,38(03):65-75.無論教學(xué)資源是二維還是三維，視頻、色彩等無論它們是如何從外觀的設(shè)計（出于所有促進(jìn)學(xué)習(xí)的目的）“走進(jìn)去”學(xué)習(xí)者的心理，它們都是基本元素在不同維度下的組織與整合，要實(shí)現(xiàn)基于多媒體學(xué)習(xí)理論原則的計算，需要基于原則中提到的基本元素構(gòu)建模型即可。多媒體畫面數(shù)據(jù)的獲取，往往需要各種相關(guān)軟件的搭配使用。[[]王志軍,吳向文,馮小燕,溫小勇.基于大數(shù)據(jù)的多媒體畫面語言研究[J].電化教育研究,2017,38(04):59-65.]有研究實(shí)現(xiàn)了跨媒體聯(lián)合注意機(jī)制，充分利用了多級自適應(yīng)對齊，包括整體圖像和句子之間的全局級、細(xì)粒度補(bǔ)丁之間的局部級以及視覺和文本上下文之間的關(guān)系級。[[]PengY,QiJ,ZhuoY.MAVA:Multi-LevelAdaptiveVisual-TextualAlignmentbyCross-MediaBi-AttentionMechanism[J].IEEETransactionsonImageProcessing,2019,PP(99):1-1.]為我們提供了多模態(tài)資源融合語義識別、多媒體學(xué)習(xí)理論原則的實(shí)現(xiàn)奠定了算法基礎(chǔ)。[]王志軍,吳向文,馮小燕,溫小勇.基于大數(shù)據(jù)的多媒體畫面語言研究[J].電化教育研究,2017,38(04):59-65.[]PengY,QiJ,ZhuoY.MAVA:Multi-LevelAdaptiveVisual-TextualAlignmentbyCross-MediaBi-AttentionMechanism[J].IEEETransactionsonImageProcessing,2019,PP(99):1-1.（2）教學(xué)資源自適應(yīng)服務(wù)模式通過實(shí)證研究多媒體多圖學(xué)習(xí)的自我解釋效應(yīng)，發(fā)現(xiàn)即使是現(xiàn)代高科技的線上學(xué)習(xí)、多媒體學(xué)習(xí)，仍然要不忘教育教學(xué)目標(biāo)與原則，表現(xiàn)出教學(xué)適合性，表明多媒體學(xué)習(xí)不僅是呈現(xiàn)不同學(xué)習(xí)資源，具有多樣化特點(diǎn)，更重要的是其個性化特點(diǎn)，未來的多媒體學(xué)習(xí)有必要多多設(shè)計有助于每位學(xué)生的個性化學(xué)習(xí)資源與學(xué)習(xí)策略。[[]楊翠蓉,蔣安琪,陳衛(wèi)東.尋證多媒體學(xué)習(xí)的自我解釋效應(yīng)[J].蘇州大學(xué)學(xué)報(教育科學(xué)[]楊翠蓉,蔣安琪,陳衛(wèi)東.尋證多媒體學(xué)習(xí)的自我解釋效應(yīng)[J].蘇州大學(xué)學(xué)報(教育科學(xué)版),2021,9(02):58-67.現(xiàn)有的實(shí)證研究得到的結(jié)果往往是普遍性適應(yīng)性問題，很少考慮原則個性化問題，同時不難考慮到多媒體學(xué)習(xí)理論各原則之間的邏輯關(guān)系可以歸結(jié)為學(xué)習(xí)者個性化學(xué)習(xí)問題，我們試圖以個性化為主要目的，來討論原則之間的邏輯關(guān)系的個性化問題：學(xué)習(xí)者需要掌握的知識來源于知識圖譜，知識圖譜決定了學(xué)習(xí)者需要具備的先驗(yàn)知識，自適應(yīng)來源于學(xué)習(xí)者偏好“輸入”和“學(xué)習(xí)”以及對資源的細(xì)化為最小單元（切塊呈現(xiàn)原則），冗余根據(jù)學(xué)習(xí)者自適應(yīng)調(diào)整，資源（文本、視頻、聲音、虛擬學(xué)習(xí)空間）自適應(yīng)組裝，學(xué)習(xí)者學(xué)習(xí)、理解、遷移等不同過程資源冗余設(shè)計自適應(yīng)。我們認(rèn)為，一蹴而就實(shí)現(xiàn)學(xué)習(xí)目標(biāo)有一定的不可預(yù)見性，學(xué)習(xí)資源在“學(xué)習(xí)、理解、遷移”各種不同的階段，學(xué)習(xí)方式應(yīng)該不一樣，即多媒體學(xué)習(xí)理論使用的原則也會有所不同，“上下文”學(xué)習(xí)環(huán)境中，學(xué)習(xí)者根據(jù)學(xué)習(xí)習(xí)慣使用教學(xué)資源。圖4基于多媒體學(xué)習(xí)理論原則的學(xué)習(xí)者教學(xué)資源自適應(yīng)（個性化）服務(wù)模式其中，“自適應(yīng)教學(xué)資源集合”：以知識圖譜的形式涵蓋了學(xué)習(xí)元素、知識點(diǎn)、學(xué)習(xí)進(jìn)度（已學(xué)、未學(xué)、到未學(xué)之間需要的知識點(diǎn)），學(xué)習(xí)者以自身認(rèn)知負(fù)荷（自適應(yīng)“輸入”）匹配相應(yīng)的學(xué)習(xí)資源。（3）基于多媒體學(xué)習(xí)理論原則的教學(xué)資源自適應(yīng)算法設(shè)計在多媒體畫面語言研究中，通過不同畫面要素的可量化屬性組成的數(shù)據(jù)組，可以基本表達(dá)出大多數(shù)多媒體畫面的構(gòu)成情況，有利于對研究內(nèi)容進(jìn)行量化，也有利于畫面數(shù)據(jù)與學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)之間的準(zhǔn)確關(guān)聯(lián)與匹配。[NOTEREF_Ref20968\h22]認(rèn)清和準(zhǔn)確把握多媒體學(xué)習(xí)過程中的瀏覽、檢索、閱讀三種學(xué)習(xí)行為及其相互關(guān)系，對豐富多媒體學(xué)習(xí)的基礎(chǔ)理論，特別是刻畫多媒體學(xué)習(xí)過程和指導(dǎo)多媒體教與學(xué)的活動具有重要意義。[[]李智曄.多媒體學(xué)習(xí)過程的學(xué)習(xí)行為辨析[J].教育研究,2014,35(11):126-130.]上面研究中，多媒體學(xué)習(xí)理論原則、共享子空間學(xué)習(xí)方法為我們計算出來了教學(xué)資源的符合標(biāo)準(zhǔn)情況，接下來基于計算結(jié)果與學(xué)習(xí)者歷史學(xué)習(xí)記錄資源的相應(yīng)結(jié)果進(jìn)行比較。[]李智曄.多媒體學(xué)習(xí)過程的學(xué)習(xí)行為辨析[J].教育研究,2014,35(11):126-130.研究[[]WeiXu,YuhanZhou.Coursevideorecommendationwithmultimodalinformationinonlinelearningplatforms:Adeeplearningframework[J].BritishJournalofEducationalTechnology,2020,51(5):]認(rèn)為文本特征和視頻特征的研究用于課程推薦很少，并實(shí)現(xiàn)視頻課程推薦，提出了一個新的基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)框架。該研究能夠代表多模態(tài)學(xué)習(xí)資源最新的