大數(shù)據(jù)在教育中的應(yīng)用

大數(shù)據(jù)及其在教育中的應(yīng)用陸璟（摘要目前對大數(shù)據(jù)的定義有三種，分別從數(shù)據(jù)體量、復(fù)雜性程度、價值這三個角度來界定,反映了大數(shù)據(jù)三個最主要的特性。大數(shù)據(jù)在教育領(lǐng)域的主要應(yīng)用是教育數(shù)據(jù)挖掘和學(xué)習(xí)分析。今后要加強多個來源的數(shù)據(jù)庫整合，充分利用在線數(shù)據(jù)開展教育輿情分析等研究，在確保數(shù)據(jù)安全的前提下與專業(yè)數(shù)據(jù)公司開展合作。［關(guān)鍵詞］大數(shù)據(jù)數(shù)據(jù)挖掘?qū)W習(xí)分析—、大數(shù)據(jù)的定義和類型1?定義“大數(shù)據(jù)"概念第一次創(chuàng)造出來是在2008年9月4曰，谷歌成立10年前際，《自然》推出了大數(shù)據(jù)專輯?包括8篇大數(shù)據(jù)專題文章加上1篇編者按。雖然該專輯并沒有直接提出大數(shù)據(jù)的定義，但是從互聯(lián)網(wǎng)技術(shù)、網(wǎng)絡(luò)經(jīng)濟學(xué)、超級計算、環(huán)境科學(xué)、生物醫(yī)藥等多個方面介紹了海量數(shù)據(jù)帶來的挑戰(zhàn)。概括而言，科學(xué)研究產(chǎn)生的數(shù)據(jù)集越來越大,并且數(shù)據(jù)越來越復(fù)雜，使得研究人員都轉(zhuǎn)向依靠數(shù)據(jù)挖掘工具、在線的團隊合作（如維基百科和復(fù)雜的可視化技術(shù)。每年的研究數(shù)據(jù)聚合起來形成了大數(shù)據(jù)資源,依靠研究者自身去花大量精力記錄和管理數(shù)據(jù)已經(jīng)跟不上發(fā)展?科學(xué)研究數(shù)據(jù)的長期管理和維護需要有大機構(gòu)的支持。但是政府、社會機構(gòu)對此還沒有充分認識，文化還跟不上數(shù)據(jù)的發(fā)展。這組文章的目的是引起各方面對數(shù)據(jù)管理和分析的重視，指出充分利用數(shù)據(jù)實際上是需要額外建設(shè)大量基礎(chǔ)設(shè)施、需要經(jīng)費和資源支持、需要建立標(biāo)準(zhǔn)、需要工具和培訓(xùn)、需要專業(yè)的數(shù)據(jù)支持服務(wù)的。目前對大數(shù)據(jù)的定義有三種，分別從數(shù)據(jù)體量、復(fù)雜性程度、價值這三個角度來界定什么是大數(shù)據(jù)。第一次提出大數(shù)據(jù)的定義并且估計大數(shù)據(jù)的商業(yè)價值的是全球著名咨詢公司麥肯錫。2011年麥肯錫全球研究院發(fā)布了《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域》，研究了數(shù)據(jù)和文檔的規(guī)模、同時分析了處理這些數(shù)據(jù)能夠釋放出的潛在價值。麥肯錫對大數(shù)據(jù)的定義是從數(shù)據(jù)集的“大體量”人手的:大數(shù)據(jù)是指那些規(guī)模大到傳統(tǒng)的數(shù)據(jù)庫軟件工具已經(jīng)無法采集、存儲、管理和分析的數(shù)據(jù)集。麥肯錫故意采用了主觀的定義，沒有定義多大的數(shù)據(jù)集才是大數(shù)據(jù).所以這個定義中的“大”是動態(tài)的概念。他們的假設(shè)是?隨著技術(shù)的進歩隨著時間的推移,符合大數(shù)據(jù)界定的數(shù)據(jù)集大小也將增加。還有?不同部門對大數(shù)據(jù)的界定也可能不同，這取決于他們通常用什么軟件，以及某個特定產(chǎn)業(yè)的數(shù)據(jù)庫是多大的。在考慮這些因素后，許多部門的大數(shù)據(jù)規(guī)模將從幾十個TB到多個PB（幾千個TBO維基百科采納了麥肯錫的定義，認為大數(shù)據(jù)是一組龐大而復(fù)雜的數(shù)據(jù)集的集合，大且復(fù)雜到難以用現(xiàn)有的數(shù)據(jù)庫管理工具或傳統(tǒng)的數(shù)據(jù)處理應(yīng)用來處理。我國學(xué)界也采用了這一定義。德勤咨詢技術(shù)負責(zé)人羅伯特?福萊對大數(shù)據(jù)的定義是從“復(fù)雜性程度大”人手的。他在2012年提出，過去對大數(shù)據(jù)的界定主要基于規(guī)模，而實際上,規(guī)模并不是常規(guī)數(shù)據(jù)和大數(shù)據(jù)的關(guān)鍵區(qū)別。他對大數(shù)據(jù)的定義是:有用的數(shù)據(jù)源排列數(shù)量巨大?使有用的查詢非常困難，并且?復(fù)雜的相關(guān)關(guān)系使得排除很困難。大數(shù)據(jù)的第一個屬性是復(fù)雜性,大不是數(shù)量大，而是復(fù)雜性更大。例如一架飛機上有10萬個傳感器、產(chǎn)生的數(shù)據(jù)流要查詢起來非常困難?但它的規(guī)?？赡軟]有想象的那么大J小時的飛行中產(chǎn)生的數(shù)據(jù)不到3G。而有些數(shù)據(jù)集很大，例如媒體流，生成量非常大,但是它的結(jié)構(gòu)并不復(fù)雜,現(xiàn)在的捜索引擎和數(shù)據(jù)庫工具可以很快將它解析出來。所以媒體流只是數(shù)據(jù)數(shù)量大，但復(fù)雜性程度卻沒有飛機傳感器產(chǎn)生的數(shù)據(jù)那么大。大數(shù)據(jù)的另一個屬性是很難刪除，使得隱私成為共同關(guān)注的問題。例如、從收費公路數(shù)據(jù)中清除與某個汽車司機相關(guān)聯(lián)的所有數(shù)據(jù)幾乎是不可能的,如果刪除的話，傳感器計數(shù)的汽車數(shù)量將不再與個人的計費記錄匹配?也與公司收到的款項不平衡。我國學(xué)者李國杰也指出，大數(shù)據(jù)往往以復(fù)雜關(guān)聯(lián)的數(shù)據(jù)網(wǎng)絡(luò)這樣一種獨特的形式存在。維克托?邁爾一舍恩伯格在《大數(shù)據(jù)時代》一書中主要從“價值大''的角度來定義大數(shù)據(jù)，他認為大數(shù)據(jù)是當(dāng)今社會所獨有的一種新型的能力:以一種前所未有的方式?通過對海量數(shù)據(jù)進行分析，獲得有巨大價值的產(chǎn)品和服務(wù)，或深刻的洞見。大數(shù)據(jù)是人們在大規(guī)模數(shù)據(jù)的基礎(chǔ)上可以做到的事情,而這些事情在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法完成的?！渡虾Ｍ七M大數(shù)據(jù)研究與發(fā)展行動計劃》對大數(shù)據(jù)的概念做了較全面的概括：大數(shù)據(jù)有三層內(nèi)涵:一是數(shù)據(jù)量巨大、來源多樣和類型多樣的數(shù)據(jù)集;二是新型的數(shù)據(jù)處理和分析技術(shù):三是運用數(shù)據(jù)分析形成價值。2.類型大數(shù)據(jù)可以根據(jù)來源區(qū)分為三種類型。(1科研數(shù)據(jù)。以數(shù)據(jù)為中心的傳統(tǒng)學(xué)科(如基因組學(xué)、蛋白組學(xué)、天體物理學(xué)和腦科學(xué)等的研究產(chǎn)生了越來越多的數(shù)據(jù)。例如，用電子顯微鏡重建大腦中的突觸網(wǎng)絡(luò),1立方毫米大腦的圖像數(shù)據(jù)就超過1PB?！蹲匀弧冯s志最早提出大數(shù)據(jù)概念也是源于科學(xué)研究中產(chǎn)生的大量數(shù)據(jù)。(2互聯(lián)網(wǎng)數(shù)據(jù)。近年來大數(shù)據(jù)的飆升主要還是來自曰常生活，特別是互聯(lián)網(wǎng)公司的服務(wù)。谷歌每天要處理24PB的數(shù)據(jù),Facebook每天更新的照片超過1000萬張[10]住成300TB以上的日志數(shù)據(jù)?百度每天大約要處理幾十個PB的數(shù)據(jù)。(3感知數(shù)據(jù)。傳感網(wǎng)或物聯(lián)網(wǎng)①的蓬勃發(fā)展是大數(shù)據(jù)的又一推動力。進入移動互聯(lián)網(wǎng)時代后，移動平臺的感知功能和基于位置的服務(wù)普及產(chǎn)生了大量感知數(shù)據(jù)，各個城市的視頻監(jiān)控每時每刻都在采集巨量的流媒體數(shù)據(jù)?工業(yè)監(jiān)控也是大數(shù)據(jù)的重要來源?與互聯(lián)網(wǎng)數(shù)據(jù)產(chǎn)生了重疊。科學(xué)實驗是科技人員設(shè)計的?如何采集數(shù)據(jù)、處理數(shù)據(jù)事先都已想好了,不管是檢索還是模式識別，都有一定的規(guī)律可循。而網(wǎng)絡(luò)大數(shù)據(jù)和感知數(shù)據(jù)有許多不同于自然科學(xué)數(shù)據(jù)的特點，包括多源異構(gòu)、交互性、實效性、社會性、突發(fā)性和高噪聲等?不但非結(jié)構(gòu)化數(shù)據(jù)多,而且數(shù)據(jù)的實時性強，大量數(shù)據(jù)都是隨機動態(tài)產(chǎn)生。所以一般而言，社會科學(xué)的大數(shù)據(jù)分析、特別是根據(jù)Web數(shù)據(jù)做經(jīng)濟形勢、安全形勢、社會群體事件的預(yù)測，比科學(xué)實驗的數(shù)據(jù)分析更困難。分析這些新記錄的事件，需要新的技術(shù)來處理非結(jié)構(gòu)化的文本和圖像數(shù)據(jù)、來自多個來源的數(shù)據(jù)、大量的數(shù)據(jù)。3?對幾個問題的理解(1大數(shù)據(jù)的門檻究竟是多少？多大的數(shù)據(jù)才達到大數(shù)據(jù)的門檻是一個隨時間變化的概念，在2011年麥肯錫公司對大數(shù)據(jù)做界定時、由于當(dāng)時傳統(tǒng)數(shù)據(jù)庫有效工作的數(shù)據(jù)大小一般來說在10-100TB,因此10-100TB通常成為大數(shù)據(jù)的門檻。國際數(shù)據(jù)公司(1DC2012年發(fā)表第一份全球大數(shù)據(jù)技術(shù)和服務(wù)市場報告時也把大數(shù)據(jù)的規(guī)模閾值設(shè)在100TB.隨著數(shù)據(jù)庫分析技術(shù)的發(fā)展，大數(shù)據(jù)的門檻也在提高，目前一般認為PB級以上數(shù)據(jù)是大數(shù)據(jù)。而根據(jù)麥肯錫公司的界定,大數(shù)據(jù)的閾值還與行業(yè)部門有關(guān)。據(jù)麥肯錫公司對美國所有1000人以上的公司或單位的數(shù)據(jù)庫估計，截至2009年，美國積累的教育數(shù)據(jù)為269PB.大約為衛(wèi)生數(shù)據(jù)的62%/,只有制造業(yè)(包含離散制造和流程制造在內(nèi)的16%,平均到每個教育單位的數(shù)據(jù)為319TB,其中大量是視頻和音頻數(shù)據(jù)。目前最大的教育國際比較研究PISA項目的結(jié)果數(shù)據(jù)庫只有幾個G如果把已經(jīng)實施的5輪數(shù)據(jù)加起來，再加上計算機輔助測試搜集的原始數(shù)據(jù)?加上個案研究拍攝的視頻數(shù)據(jù)?也只有幾百個G。所以在教育界,TB級的數(shù)據(jù)就可以算大數(shù)據(jù)了。(2只要數(shù)據(jù)庫規(guī)模足夠大就是大數(shù)據(jù)了嗎？大數(shù)據(jù)二海量數(shù)據(jù)+復(fù)雜類型數(shù)據(jù)》用傳統(tǒng)的算法和數(shù)據(jù)庫系統(tǒng)可以處理的海量數(shù)據(jù)不算大數(shù)據(jù)。例如，人口普查數(shù)據(jù)庫、經(jīng)濟普查數(shù)據(jù)庫、教育調(diào)查數(shù)據(jù)庫、心理測驗數(shù)據(jù)庫等等?都有嚴(yán)格的結(jié)構(gòu)，即便各級數(shù)據(jù)、歷年數(shù)據(jù)累積起來達到了較大的規(guī)模?但都是用傳統(tǒng)算法和數(shù)據(jù)庫技術(shù)就能夠處理的，不能算是大數(shù)據(jù)。(3大數(shù)據(jù)的主要特性是什么？大數(shù)據(jù)的主要特性被概括為4個V:體量大(Volume,速度快(Velocity,類型雜(Variety,價值大(Value,還有人提出真實性(Veracity.復(fù)雜性(Complexity。筆者認為,從大數(shù)據(jù)的定義來看?體量大、關(guān)系復(fù)雜、價值大是大數(shù)據(jù)最主要的特性。二、大數(shù)據(jù)在教育領(lǐng)域的主要應(yīng)用美國聯(lián)邦政府教育部技術(shù)辦公室2012年4月10曰發(fā)布《通過教育數(shù)據(jù)挖掘和學(xué)習(xí)分析改進教與學(xué):問題簡介》(以下簡稱《簡介》，指出在教育中有兩個特定的領(lǐng)域會用到大數(shù)據(jù):教育數(shù)據(jù)挖掘和學(xué)習(xí)分析。教育數(shù)據(jù)挖掘應(yīng)用統(tǒng)計學(xué)、機器學(xué)習(xí)和數(shù)據(jù)挖掘的技術(shù)和開發(fā)方法,對教學(xué)和學(xué)習(xí)過程中收集的數(shù)據(jù)進行分析，教育數(shù)據(jù)挖掘檢驗學(xué)習(xí)理論并引導(dǎo)教育實踐。學(xué)習(xí)分析應(yīng)用從信息科學(xué)、社會學(xué)、心理學(xué)、統(tǒng)計學(xué)、機器學(xué)習(xí)和數(shù)據(jù)挖掘的技術(shù)，來分析從教育管理和服務(wù)過程中收集的數(shù)據(jù).學(xué)習(xí)分析創(chuàng)建的應(yīng)用程序直接影響教育實踐。1?教育數(shù)據(jù)挖掘早期的教育數(shù)據(jù)挖掘主要是網(wǎng)站曰志數(shù)據(jù)的挖掘，現(xiàn)在新的計算機技術(shù)支持的交互式學(xué)習(xí)方法和工具（智能輔導(dǎo)系統(tǒng)、仿真、游戲，為量化和收集學(xué)生行為數(shù)據(jù)帶來了新的機會。特別是更加集成、更加模塊化和更加復(fù)雜化的在線學(xué)習(xí)系統(tǒng)提供了更多類型的數(shù)據(jù).其中包含了數(shù)據(jù)挖掘算法需要的許多變量。教育數(shù)據(jù)挖掘能發(fā)現(xiàn)這些數(shù)據(jù)中的模式和規(guī)律?探索建立預(yù)測模型，讓我們重新發(fā)現(xiàn)和預(yù)測學(xué)生如何學(xué)習(xí)。例如,過去對在線課程的評價主要通過課程結(jié)束時的學(xué)生問卷來評價,Hung,J.L-等（2012開發(fā)了一種在線課程評價方法，通過分析一個學(xué)生K-12在線課程的學(xué)生學(xué)習(xí)日志,一共有7539名學(xué)生在883門注冊課程中的23854527份學(xué)習(xí)曰志、結(jié)合學(xué)生人口特征數(shù)據(jù)、課程結(jié)束時對學(xué)生開展的課程評價問卷調(diào)查，對學(xué)生進行分類，發(fā)現(xiàn)高危學(xué)生和高表現(xiàn)的特征，預(yù)測學(xué)生的成績，并研究學(xué)生表現(xiàn)和對課程滿意度的關(guān)系。教育數(shù)據(jù)挖掘最早也是最普遍的應(yīng)用是預(yù)測學(xué)生表現(xiàn)（成績，近年來?教育數(shù)據(jù)挖掘的應(yīng)用已經(jīng)越來越廣泛了，《簡介》將教育數(shù)據(jù)挖掘的目標(biāo)概括為以下4個方面:※通過創(chuàng)建把學(xué)生的知識、動機、元認知和態(tài)度結(jié)合在一起的學(xué)生模型來預(yù)測學(xué)生未來的學(xué)習(xí)行為?！l(fā)現(xiàn)或改進學(xué)科領(lǐng)域的模型,這些模型能夠概括要學(xué)習(xí)的內(nèi)容特點和優(yōu)化的教學(xué)步驟?！芯繉W(xué)習(xí)軟件能夠提供的對不同教學(xué)法支持的效果。※通過建立綜合了學(xué)生模型、領(lǐng)域模型和軟件教學(xué)模型的計算模型，推進關(guān)于學(xué)習(xí)和學(xué)生的科學(xué)知識。2?學(xué)習(xí)分析學(xué)習(xí)分析主要涉及學(xué)業(yè)分析、行為分析和預(yù)測分析的研究和應(yīng)用?！逗喗椤凡杉{了JohnsonetaI(2011對學(xué)習(xí)分析的定義，指的是對學(xué)生學(xué)習(xí)過程中產(chǎn)生的大量數(shù)據(jù)進行解釋?目的是評估學(xué)業(yè)進步、預(yù)測未來表現(xiàn)、發(fā)現(xiàn)潛在問題。數(shù)據(jù)來自學(xué)生的顯性行為，如完成作業(yè)和參加考試;還有學(xué)生的隱性行為，如在線社交，課外活動、論壇發(fā)帖，以及其他一些不直接作為學(xué)生教育進步評價的活動。學(xué)習(xí)分析模型處理和顯示的數(shù)據(jù)幫肋教師和學(xué)校更好地理解教與學(xué)。學(xué)習(xí)分析的目標(biāo)是使教師和學(xué)校創(chuàng)造適合每個學(xué)生需要和能力的教育機會。學(xué)習(xí)分析技術(shù)對于學(xué)生、教師、管理人員、研究人員以及技術(shù)開發(fā)人員均具有重要價值。對于學(xué)生而言，可以從學(xué)習(xí)者行為角度了解學(xué)習(xí)過程的發(fā)生機制,并用來優(yōu)化學(xué)習(xí)，以基于學(xué)習(xí)行為數(shù)據(jù)的分析為學(xué)習(xí)者推薦學(xué)習(xí)軌跡、開展適應(yīng)性學(xué)習(xí)、自我導(dǎo)向?qū)W習(xí)。對于教師和管理人員而言，可以用來評估課程和機構(gòu)、以改善現(xiàn)有的學(xué)?？己朔绞?，并提供更為深入的教學(xué)分析、以便教師在數(shù)據(jù)分析基礎(chǔ)上為學(xué)生提供更有針對性的教學(xué)干預(yù)。對于研究人員而言,可以作為研究學(xué)生個性化學(xué)習(xí)的工具和研究網(wǎng)絡(luò)學(xué)習(xí)過程和效用的工具。對于技術(shù)開發(fā)人員而言，可以優(yōu)化學(xué)習(xí)管理系統(tǒng)。3?教育數(shù)據(jù)挖掘和學(xué)習(xí)分析的區(qū)別從上述應(yīng)用中可以看出?教育數(shù)據(jù)挖掘和學(xué)習(xí)分析有共同之處，例如個別化學(xué)習(xí)、提供反饋，但兩者也有區(qū)別。Romero從4個方面概括了教育數(shù)據(jù)挖掘和學(xué)習(xí)分析的區(qū)別:※技術(shù):學(xué)習(xí)分析最常用的技術(shù)是統(tǒng)計、可視化、系統(tǒng)網(wǎng)絡(luò)架構(gòu)、情緒分析、影響分析、話語分析?概念分析和意義建構(gòu)模型;教育數(shù)據(jù)挖掘最常用的技術(shù)是分類、聚類、貝葉斯模型、關(guān)系挖掘和用模型來發(fā)現(xiàn)數(shù)據(jù)中有意義的信息?！鹪?學(xué)習(xí)分析較多地源于語義網(wǎng)絡(luò)、智能課程和系統(tǒng)干預(yù):教育數(shù)據(jù)挖掘較多地源于教育軟件、學(xué)生建模和預(yù)測課程的結(jié)果。※重點:學(xué)習(xí)分析更重視對數(shù)據(jù)和結(jié)果的描述:教育數(shù)據(jù)挖掘更重視對所采用的數(shù)據(jù)挖掘技術(shù)的描述和比較?！l(fā)現(xiàn):在學(xué)習(xí)分析中，利用人類判斷的是關(guān)鍵.自動化的發(fā)現(xiàn)是用于實現(xiàn)這一目標(biāo)的工具。在教育數(shù)據(jù)挖掘中,自動化的發(fā)現(xiàn)是關(guān)鍵，利用人類判斷是用來完成這個目標(biāo)的工具。三、有關(guān)思考大數(shù)據(jù)不是指單個數(shù)據(jù)庫?而是數(shù)據(jù)庫的集合。單個數(shù)據(jù)庫可能并不大,但是多個來源的數(shù)據(jù)庫集合起來規(guī)模就大了；單個數(shù)據(jù)庫可能只有一種數(shù)據(jù)類型，但多個不同類型的數(shù)據(jù)庫集合起來，傳統(tǒng)數(shù)據(jù)庫就難以處理了；單靠一次考試的成績難以準(zhǔn)確地評價一個學(xué)生的發(fā)展水平，但是結(jié)合態(tài)度、行為和背景因素，結(jié)合總體學(xué)生的表現(xiàn)和其他因素的分布就能夠比較準(zhǔn)確地對每個學(xué)生做出評價了。教育政策制定也是如此，不僅要有教育事業(yè)發(fā)展數(shù)據(jù)，還要結(jié)合經(jīng)費數(shù)據(jù)、人口數(shù)據(jù)、以及學(xué)生表現(xiàn)和學(xué)生家庭社會經(jīng)濟背景數(shù)據(jù)等，才能公平地分配教育資源。所以數(shù)據(jù)庫的集成和共享是大數(shù)據(jù)研究首先要考慮的問題。目前我們的考試數(shù)據(jù)、學(xué)籍?dāng)?shù)據(jù)、教師數(shù)據(jù)、事業(yè)數(shù)據(jù)、經(jīng)費數(shù)據(jù)、人口數(shù)據(jù)、研究數(shù)據(jù)都分散在不同的機構(gòu)和政府部門，很難形成大數(shù)據(jù)，這是需要政府部門統(tǒng)籌考慮解決的問題。目前，“與社會科學(xué)有關(guān)的大數(shù)據(jù)問題，例如輿情分析、情感分析等，許多理論問題過去沒有考慮過，才剛剛開始研究。借肋大數(shù)據(jù)的推理，社會科學(xué)將脫下“準(zhǔn)科學(xué)”的外衣，真正邁進科學(xué)的殿堂。