《分布式數(shù)據(jù)存儲(chǔ)與分析》教學(xué)大綱

《分布式數(shù)據(jù)存儲(chǔ)與分析》教學(xué)大綱課程編號(hào)：13210705英文名稱：DistributedDataStorage&Analysis學(xué)分：3學(xué)時(shí)：總學(xué)時(shí)64學(xué)時(shí)，其中理論32學(xué)時(shí)，實(shí)踐32學(xué)時(shí)先修課程：數(shù)據(jù)庫(kù)原理及應(yīng)用、計(jì)算機(jī)網(wǎng)絡(luò)、面向?qū)ο蟪绦蛟O(shè)計(jì)、數(shù)據(jù)科學(xué)導(dǎo)論課程類別：專業(yè)主干課程授課對(duì)象：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生教學(xué)單位：機(jī)械與電氣工程學(xué)院修讀學(xué)期：第5學(xué)期一、課程描述和目標(biāo)本課程以分布式存儲(chǔ)與分析技術(shù)為主題，旨在讓學(xué)生理解掌握分布式存儲(chǔ)相關(guān)的基礎(chǔ)知識(shí)及核心技術(shù)。掌握大數(shù)據(jù)處理的概念、大數(shù)據(jù)處理架構(gòu)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)和分布并行Map/Reduce編程模型及編程方法等。課程強(qiáng)調(diào)融合云計(jì)算技術(shù)、大數(shù)據(jù)處理技術(shù)和分布并行編程為一體，力圖反映分布式存儲(chǔ)領(lǐng)域的最新成就和發(fā)展趨勢(shì)。學(xué)生除完成基本理論課程學(xué)習(xí)外，課程將通過在分布式系統(tǒng)平臺(tái)上的實(shí)踐，學(xué)習(xí)和掌握分布式存儲(chǔ)的基礎(chǔ)知識(shí)。課程目標(biāo)1從云計(jì)算和大數(shù)據(jù)的基本概念入手，由淺入深學(xué)習(xí)云計(jì)算和大數(shù)據(jù)的各種相關(guān)知識(shí)，讓學(xué)生掌握云計(jì)算和大數(shù)據(jù)的相關(guān)思想。課程目標(biāo)2學(xué)會(huì)云計(jì)算和大數(shù)據(jù)的相關(guān)關(guān)鍵技術(shù)和云部署模式，以及云計(jì)算和大數(shù)據(jù)處理機(jī)制，以梳理知識(shí)脈絡(luò)和要點(diǎn)的方式把握新技術(shù)。要求學(xué)生學(xué)會(huì)分析問題的思想和方法，為更深入地學(xué)習(xí)和今后的實(shí)踐打下良好的基礎(chǔ)。二、課程目標(biāo)對(duì)畢業(yè)要求的支撐關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)權(quán)重指標(biāo)點(diǎn)2-1：能夠應(yīng)用數(shù)學(xué)、自然科學(xué)和工程科學(xué)的基本原理，對(duì)復(fù)雜大數(shù)據(jù)系統(tǒng)工程問題進(jìn)行提煉、定義、建模、分析和評(píng)價(jià)。課程目標(biāo)1H指標(biāo)點(diǎn)3-1：針對(duì)大數(shù)據(jù)系統(tǒng)工程問題，能夠在理解復(fù)雜工程問題的基礎(chǔ)上定義功能、目標(biāo)和限制，并設(shè)計(jì)開發(fā)復(fù)雜工程問題的解決方案。課程目標(biāo)1H指標(biāo)點(diǎn)4-1：能夠通過文獻(xiàn)閱讀和實(shí)驗(yàn)設(shè)計(jì)并采用大數(shù)據(jù)技術(shù)原理，就復(fù)雜工程應(yīng)用中涉及的局部性功能或性能問題進(jìn)行研究，對(duì)結(jié)果或數(shù)據(jù)進(jìn)行分析和解釋。課程目標(biāo)2L指標(biāo)點(diǎn)7-2：能夠理解和評(píng)價(jià)針對(duì)大數(shù)據(jù)工程問題的系統(tǒng)解決方案或工程實(shí)踐對(duì)環(huán)境、社會(huì)可持續(xù)發(fā)展的影響。課程目標(biāo)2M指標(biāo)點(diǎn)10-3：具備一門外國(guó)語的基本聽、說、讀、寫、譯的能力，能夠閱讀計(jì)算機(jī)專業(yè)領(lǐng)域的外文資料，并具備一定的國(guó)際視野，能夠在跨文化背景下進(jìn)行溝通和交流。課程目標(biāo)2M（注：要求課程目標(biāo)與畢業(yè)要求指標(biāo)點(diǎn)應(yīng)是一一對(duì)應(yīng)支撐）三、教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容基本要求及重、難點(diǎn)（含德育要求）學(xué)時(shí)教學(xué)方式對(duì)應(yīng)課程目標(biāo)1課程介紹及大數(shù)據(jù)概述基本要求：了解大數(shù)據(jù)發(fā)展歷程、基本概念、主要影響、應(yīng)用領(lǐng)域、關(guān)鍵技術(shù)、計(jì)算模式和產(chǎn)業(yè)發(fā)展，并闡述了云計(jì)算、物聯(lián)網(wǎng)的概念及其與大數(shù)據(jù)之間的緊密關(guān)系。重點(diǎn)：大數(shù)據(jù)基本概念。難點(diǎn)：云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)之間的關(guān)系。德育要求：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、樂于分享。2線上線下結(jié)合法案例法課程目標(biāo)1課程目標(biāo)22大數(shù)據(jù)處理架構(gòu)Hadoop基本要求：了解Hadoop的發(fā)展歷史、重要特性和應(yīng)用現(xiàn)狀，Hadoop項(xiàng)目結(jié)構(gòu)及其各個(gè)組件，掌握在Linux操作系統(tǒng)下安裝和配置Hadoop。重點(diǎn)：Hadoop結(jié)構(gòu)及其各個(gè)組件。難點(diǎn)：大數(shù)據(jù)處理架構(gòu)。德育要求：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、樂于分享。6演示法引導(dǎo)討論法課程目標(biāo)1課程目標(biāo)23分布式文件系統(tǒng)HDFS基本要求：掌握分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求，Hadoop分布式文件系統(tǒng)HDFS概念、體系結(jié)構(gòu)、存儲(chǔ)原理和讀寫過程。重點(diǎn)：HDFS。難點(diǎn)：文件系統(tǒng)體系結(jié)構(gòu)、存儲(chǔ)原理。德育要求：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、樂于分享。6演示法練習(xí)法課程目標(biāo)1課程目標(biāo)24分布式數(shù)據(jù)庫(kù)HBASE基本要求：了解HBase的由來及其與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別，掌握HBase訪問接口、數(shù)據(jù)模型、實(shí)現(xiàn)原理和運(yùn)行機(jī)制。重點(diǎn)：HBase。難點(diǎn)：分布式數(shù)據(jù)庫(kù)訪問接口、數(shù)據(jù)模型。德育要求：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、樂于分享。6線上線下結(jié)合法引導(dǎo)討論法課程目標(biāo)1課程目標(biāo)25NoSQL數(shù)據(jù)庫(kù)基本要求：了解NoSQL興起的原因，比較NoSQL數(shù)據(jù)庫(kù)與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)的差異；NoSQL數(shù)據(jù)庫(kù)的四大類型以及NoSQL數(shù)據(jù)庫(kù)的三大基石。重點(diǎn)：NoSQL。難點(diǎn)：非結(jié)構(gòu)數(shù)據(jù)庫(kù)和SQL差異。德育要求：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、樂于分享。6演示法案例法課程目標(biāo)1課程目標(biāo)26云數(shù)據(jù)庫(kù)基本要求：了解云數(shù)據(jù)庫(kù)的概念、特性及其與其他數(shù)據(jù)庫(kù)的關(guān)系。重點(diǎn)：云數(shù)據(jù)庫(kù)。難點(diǎn)：云數(shù)據(jù)庫(kù)與其他數(shù)據(jù)庫(kù)關(guān)系。德育要求：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、樂于分享。2演示法引導(dǎo)討論法課程目標(biāo)1課程目標(biāo)27MapReduce編程模型基本要求：了解MapReduce模型，闡述其具體工作流程，并以單詞統(tǒng)計(jì)為實(shí)例介紹MapReduce程序設(shè)計(jì)方法。重點(diǎn)：MapReduce程序設(shè)計(jì)。難點(diǎn)：MapReduce模型。德育要求：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、樂于分享。4線上線下結(jié)合法案例法課程目標(biāo)1課程目標(biāo)2合計(jì)32序號(hào)實(shí)驗(yàn)項(xiàng)目實(shí)驗(yàn)內(nèi)容與要求學(xué)時(shí)類型對(duì)應(yīng)課程目標(biāo)1HDFS編程實(shí)驗(yàn)內(nèi)容：HDFS編程，運(yùn)行實(shí)驗(yàn)數(shù)據(jù)集測(cè)試。實(shí)驗(yàn)要求：必修。4驗(yàn)證課程目標(biāo)12MapReduce編程實(shí)驗(yàn)內(nèi)容：利用MapReduce編程，實(shí)現(xiàn)功能應(yīng)用。實(shí)驗(yàn)要求：必修。4設(shè)計(jì)課程目標(biāo)1課程目標(biāo)23NoSQL編程實(shí)驗(yàn)內(nèi)容：NoSQL編程，實(shí)現(xiàn)部分功能。實(shí)驗(yàn)要求：必修。6設(shè)計(jì)課程目標(biāo)1課程目標(biāo)24HBase分布式數(shù)據(jù)庫(kù)編程實(shí)驗(yàn)內(nèi)容：HBase編程，實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)功能。實(shí)驗(yàn)要求：必修。4設(shè)計(jì)課程目標(biāo)25數(shù)據(jù)分析算法實(shí)驗(yàn)內(nèi)容：k-means的實(shí)際案例；掌握神經(jīng)網(wǎng)絡(luò)的基本思想，實(shí)現(xiàn)應(yīng)用神經(jīng)網(wǎng)絡(luò)分類。實(shí)驗(yàn)要求：必修。8設(shè)計(jì)課程目標(biāo)26數(shù)據(jù)分析應(yīng)用案例實(shí)驗(yàn)內(nèi)容：大數(shù)據(jù)在商業(yè)、投資、保險(xiǎn)、銀行等領(lǐng)域的應(yīng)用案例設(shè)計(jì)與實(shí)現(xiàn)。實(shí)驗(yàn)要求：必修。6設(shè)計(jì)課程目標(biāo)2合計(jì)32注：實(shí)驗(yàn)要求包括必修、選修；實(shí)驗(yàn)類型包括演示、驗(yàn)證、綜合、設(shè)計(jì)等，后兩類占比大于80%。四、課程教學(xué)方法集中講授、小組討論、線上線下結(jié)合法、案例法。五、學(xué)業(yè)評(píng)價(jià)和課程考核（一）考核方式及具體要求1.課程成績(jī)構(gòu)成與要求課程考核注重形成性和終結(jié)性評(píng)價(jià)相結(jié)合，考核內(nèi)容主要由平時(shí)作業(yè)、課程實(shí)驗(yàn)、課程論文、期末大作業(yè)組成，均按百分制計(jì)分，其中平時(shí)作業(yè)成績(jī)占10%、課程實(shí)驗(yàn)成績(jī)占10%、課程論文成績(jī)占20%、期末大作業(yè)成績(jī)占60%。2.課程目標(biāo)達(dá)成考核與評(píng)價(jià)序號(hào)考核方式課程目標(biāo)1（分值）課程目標(biāo)2（分值）合計(jì)1平時(shí)作業(yè)55102課程實(shí)驗(yàn)55103課程論文1010204期末大作業(yè)303060課程目標(biāo)對(duì)應(yīng)分值5050100（二）考核與評(píng)價(jià)標(biāo)準(zhǔn)1.平時(shí)成績(jī)考核與評(píng)價(jià)標(biāo)準(zhǔn)分值觀測(cè)點(diǎn)90-100分70-89分60-69分0-59分平時(shí)作業(yè)按時(shí)完成，90%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握到位。能夠利用理論知識(shí)識(shí)別、分析大數(shù)據(jù)技術(shù)領(lǐng)域相關(guān)專業(yè)問題。按時(shí)完成，70%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握較到位。能夠較好利用理論知識(shí)識(shí)別、分析大數(shù)據(jù)技術(shù)領(lǐng)域相關(guān)專業(yè)問題。延時(shí)完成，60%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握基本到位。利用理論知識(shí)對(duì)大數(shù)據(jù)技術(shù)領(lǐng)域相關(guān)專業(yè)問題有一定的識(shí)別、分析。不交和補(bǔ)交，50%以下的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握有偏差。不能利用理論知識(shí)對(duì)大數(shù)據(jù)技術(shù)領(lǐng)域相關(guān)專業(yè)問題進(jìn)行識(shí)別、分析。課程實(shí)驗(yàn)?zāi)芨鶕?jù)實(shí)驗(yàn)要求自主設(shè)計(jì)實(shí)驗(yàn)方案，有自己的設(shè)計(jì)理念，實(shí)驗(yàn)完成度高，效果好。實(shí)驗(yàn)報(bào)告內(nèi)容完整。能根據(jù)實(shí)驗(yàn)要求自主設(shè)計(jì)實(shí)驗(yàn)方案，有自己的設(shè)計(jì)理念，實(shí)驗(yàn)完成度較高，效果較好。實(shí)驗(yàn)報(bào)告比較完整。能根據(jù)實(shí)驗(yàn)要求自主設(shè)計(jì)實(shí)驗(yàn)方案，實(shí)驗(yàn)完成度一般，效果一般。實(shí)驗(yàn)報(bào)告基本完整?；灸芨鶕?jù)實(shí)驗(yàn)要求自主設(shè)計(jì)實(shí)驗(yàn)方案，實(shí)驗(yàn)完成度較差，效果較差。實(shí)驗(yàn)報(bào)告不完整。課程論文格式規(guī)范，符合課程論文寫作要求；內(nèi)容主題明確，符合課程教學(xué)內(nèi)容，有明確的綜合分析論點(diǎn)。參考文獻(xiàn)充分、正文引用恰當(dāng)，文獻(xiàn)引文格式符合文獻(xiàn)標(biāo)準(zhǔn)；無摘錄摘抄痕跡，能恰當(dāng)運(yùn)用自己的語言組織素材，論點(diǎn)正確。格式符合課程論文寫作要求；主題明確，符合課程教學(xué)內(nèi)容，具較好的綜合分析論點(diǎn)。參考文獻(xiàn)充分、正文能夠較好對(duì)文獻(xiàn)進(jìn)行引用，文獻(xiàn)引文格式基本符合科技期刊論文文獻(xiàn)標(biāo)準(zhǔn)；正文主題大部分運(yùn)用自己的語言組織素材，論點(diǎn)正確。格式符合課程論文寫作要求；主題基本明確，較符合課程教學(xué)內(nèi)容，具較好的綜合分析論點(diǎn)。參考文獻(xiàn)有，文獻(xiàn)引文格式基本符合科技期刊論文文獻(xiàn)標(biāo)準(zhǔn)；正文有部分摘抄，論點(diǎn)分析較清晰。論文格式不符合課程論文要求，能反映部分主題內(nèi)容，論文結(jié)構(gòu)不完整，論點(diǎn)分析不清晰，參考文獻(xiàn)少，正文沒有引用，格式不完全符合科技論文文獻(xiàn)標(biāo)準(zhǔn)。2.期末大作業(yè)考核與評(píng)價(jià)標(biāo)準(zhǔn)分值觀測(cè)點(diǎn)90-100分70-89分60-69分0-59分期末大作業(yè)格式規(guī)范，符合課程大作業(yè)寫作要求；內(nèi)容主題明確，符合課程教學(xué)內(nèi)容，有明確的綜合分析論點(diǎn)。參考文獻(xiàn)充分、正文引用恰當(dāng)，文獻(xiàn)引文格式符合文獻(xiàn)標(biāo)準(zhǔn)；無摘錄摘抄痕跡，能恰當(dāng)運(yùn)用自己的語言組織素材，論點(diǎn)正確。格式符合課程大作業(yè)寫作要求；主題明確，符合課程教學(xué)內(nèi)容，具較好的綜合分析論點(diǎn)。參考文獻(xiàn)充分、正文能夠較好對(duì)文獻(xiàn)進(jìn)行引用，文獻(xiàn)引文格式基本符合科技期刊論文文獻(xiàn)標(biāo)準(zhǔn)；正文主題大部分運(yùn)用自己的語言組織素材，論點(diǎn)正確。格式符合課程大作業(yè)寫作要求；主題基本明確，較符合課程教學(xué)內(nèi)容，具較好的綜合分析論點(diǎn)。參考文獻(xiàn)有，文獻(xiàn)引文格式基本符合科技期刊論文文獻(xiàn)標(biāo)準(zhǔn)；正文有部分摘抄，論點(diǎn)分析較清晰。格式不符合課程大作業(yè)要求，能反映部分主題