《大數(shù)據(jù)管理》課程教學(xué)大綱

《大數(shù)據(jù)管理》教學(xué)大綱一、課程基本信息課程名稱大數(shù)據(jù)管理BigDataManagement課程編碼SCC320611020開(kāi)課院部理學(xué)院課程團(tuán)隊(duì)數(shù)據(jù)科學(xué)團(tuán)隊(duì)學(xué)分2.0課內(nèi)學(xué)時(shí)32講授32實(shí)驗(yàn)0上機(jī)0實(shí)踐0課外學(xué)時(shí)32適用專業(yè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)授課語(yǔ)言中文先修課程數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論、數(shù)據(jù)結(jié)構(gòu)與算法、數(shù)據(jù)庫(kù)原理與應(yīng)用課程簡(jiǎn)介（必修）《大數(shù)據(jù)管理》是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門(mén)必修課。本課程以大數(shù)據(jù)管理中相關(guān)概念和模型為主題，結(jié)合大數(shù)據(jù)管理系統(tǒng)，了解和掌握大數(shù)據(jù)管理過(guò)程和基本方法。通過(guò)本課程的學(xué)習(xí)，學(xué)生自主選擇相關(guān)課題，利用大數(shù)據(jù)管理系統(tǒng)進(jìn)行研究，形成研究報(bào)告。本課程內(nèi)容主要包括大數(shù)據(jù)管理概述、關(guān)系數(shù)據(jù)模型與SQL、鍵值對(duì)數(shù)據(jù)模型、文檔模型與查詢語(yǔ)言、圖模型與類SQL查詢語(yǔ)言，大數(shù)據(jù)管理系統(tǒng)的體系架構(gòu)、數(shù)據(jù)組織與存儲(chǔ)、分布式查詢處理優(yōu)化。這些課程內(nèi)容的學(xué)習(xí)，有助于學(xué)習(xí)后繼大數(shù)據(jù)類相關(guān)課程。"BigDataManagement"isacompulsorycoursefordatascienceandbigdatatechnologymajors.Thiscoursetakestherelatedconceptsandmodelsinbigdatamanagementasthethemeandcombinesbigdatamanagementsystemstounderstandandmasterthebigdatamanagementprocessandbasicmethods.Throughthestudyofthiscourse,studentsindependentlyselectrelatedtopics,usethebigdatamanagementsystemtoconductresearch,andformaresearchreport.Thecontentofthiscoursemainlyincludesanoverviewofbigdatamanagement,relationaldatamodelandSQL,key-valuedatamodel,documentmodelandquerylanguage,graphmodelandSQL-likequerylanguage,architectureofbigdatamanagementsystem,dataorganizationandstorage,distributionQueryprocessingoptimization.Thestudyofthesecoursecontentsishelpfulforlearningthesubsequentbigdatarelatedcourses.負(fù)責(zé)人大綱執(zhí)筆人審核人二、課程目標(biāo)序號(hào)代號(hào)課程目標(biāo)OBE畢業(yè)要求指標(biāo)點(diǎn)任務(wù)自選1M1目標(biāo)1：掌握大數(shù)據(jù)管理中數(shù)據(jù)模型、語(yǔ)言及管理系統(tǒng)中的基本概念和原理。是4.12M2目標(biāo)2：掌握常見(jiàn)非結(jié)構(gòu)化數(shù)據(jù)庫(kù)的原理與應(yīng)用。是4.13M3目標(biāo)3：通過(guò)課程項(xiàng)目的實(shí)踐，完成報(bào)告并答辯，培育團(tuán)隊(duì)溝通和交流的能力和解決實(shí)際問(wèn)題的能力。是6.1,6.24M4目標(biāo)4：能保障課程正常秩序（政治層面、課堂保障層面，非學(xué)生能力層面）否三、課程內(nèi)容序號(hào)章節(jié)號(hào)標(biāo)題課程內(nèi)容/重難點(diǎn)支撐課程目標(biāo)課內(nèi)學(xué)時(shí)教學(xué)方式課外學(xué)時(shí)課外環(huán)節(jié)1第1章第1章數(shù)據(jù)庫(kù)管理系統(tǒng)概述本章重點(diǎn)難點(diǎn)：大數(shù)據(jù)的數(shù)據(jù)特征、大數(shù)據(jù)的應(yīng)用特征、混合負(fù)載系統(tǒng)架構(gòu)、分布式系統(tǒng)架構(gòu)。////21.11.1數(shù)據(jù)管理系統(tǒng)的發(fā)展歷史第一代層次和網(wǎng)狀數(shù)據(jù)庫(kù)系統(tǒng)、第二代關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)、第三代數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、第四代大數(shù)據(jù)管理系統(tǒng)M10.5講授0.5自學(xué)、作業(yè)31.21.2大數(shù)據(jù)管理系統(tǒng)的特征大數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)特征、系統(tǒng)特征、應(yīng)用特征M10.5講授0.5自學(xué)、作業(yè)41.31.3大數(shù)據(jù)管理系統(tǒng)的組成多引擎系統(tǒng)結(jié)構(gòu)、混合負(fù)載系統(tǒng)架構(gòu)、分布式系統(tǒng)架構(gòu)M11講授1自學(xué)、作業(yè)5第2章第2章關(guān)系數(shù)據(jù)模型與SQL本章重點(diǎn)難點(diǎn)：SQL擴(kuò)展語(yǔ)法、SQLonHadoop、常見(jiàn)NoSQL數(shù)據(jù)庫(kù)、常見(jiàn)關(guān)系數(shù)據(jù)庫(kù)。////62.12.1關(guān)系數(shù)據(jù)庫(kù)概述基本概念、基本關(guān)系操作與實(shí)現(xiàn)技術(shù)M1,M21講授1自學(xué)、作業(yè)72.22.2關(guān)系數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)語(yǔ)言SQLSQL基本語(yǔ)法、SQL擴(kuò)展語(yǔ)法M1,M21講授1自學(xué)、作業(yè)82.32.3SQLonHadoopHiveSQL創(chuàng)建表命令、HiveSQL查詢命令M1,M21講授1自學(xué)、作業(yè)92.42.4NoSQL數(shù)據(jù)庫(kù)NoSQL數(shù)據(jù)庫(kù)的特點(diǎn)M1,M21講授1自學(xué)、作業(yè)102.52.5代表性的關(guān)系數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)的發(fā)展、代表性的MPP數(shù)據(jù)庫(kù)、代表性的NewSQL數(shù)據(jù)庫(kù)、基于新硬件技術(shù)的數(shù)據(jù)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)到大數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換相關(guān)方法與技術(shù)M1,M22講授2自學(xué)、作業(yè)11第3章第3章鍵值對(duì)數(shù)據(jù)模型本章重點(diǎn)難點(diǎn)：Dynamo數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作、Redis數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作、BigTable數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作。////123.13.1概述什么是鍵值對(duì)模型、鍵值對(duì)模型應(yīng)用現(xiàn)狀M1,M20.5講授0.5自學(xué)、作業(yè)133.23.2數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作Dynamo、Redis、RAMCloud、BigTableM1,M21.5講授1.5自學(xué)、作業(yè)14第4章第4章文檔模型與查詢語(yǔ)言本章重點(diǎn)難點(diǎn)：XML結(jié)構(gòu)、JSON結(jié)構(gòu)、DOM接口、XQuery、JSONAPI、MongoDB。////154.14.1概述文檔數(shù)據(jù)庫(kù)特點(diǎn)M1,M2,M30.5講授0.5自學(xué)、大作業(yè)164.24.2文檔結(jié)構(gòu)XML結(jié)構(gòu)、JSON結(jié)構(gòu)M1,M2,M31.5講授1自學(xué)、大作業(yè)174.34.3查詢語(yǔ)言DOM接口及應(yīng)用實(shí)例、XQuery及應(yīng)用實(shí)例M1,M2,M31講授1自學(xué)、大作業(yè)184.44.4文檔數(shù)據(jù)庫(kù)舉例eXistdb、MongoDBM1,M2,M31講授0.5自學(xué)、大作業(yè)19第5章第5章圖模型與類SQL查詢語(yǔ)言本章重點(diǎn)難點(diǎn)：屬性圖、圖匹配、圖導(dǎo)航、圖與關(guān)系的復(fù)雜操作、Cypher操作、知識(shí)圖譜。////205.15.1圖的數(shù)據(jù)結(jié)構(gòu)及其形式化定義簡(jiǎn)單圖、標(biāo)簽圖、屬性圖M1,M2,M31講授0.2自學(xué)、大作業(yè)215.25.2圖數(shù)據(jù)操作圖匹配、圖導(dǎo)航、圖與關(guān)系的復(fù)合操作M1,M2,M31講授0.5自學(xué)、大作業(yè)225.35.3圖查詢語(yǔ)言Cypher對(duì)象創(chuàng)建、檢索、圖的更新M1,M2,M32講授0.3自學(xué)、大作業(yè)235.45.4Neo4j圖數(shù)據(jù)庫(kù)Neo4j簡(jiǎn)介、Neo4j應(yīng)用實(shí)例M1,M2,M32講授0.5自學(xué)、大作業(yè)24第6章第6章大數(shù)據(jù)管理系統(tǒng)的體系架構(gòu)本章重點(diǎn)難點(diǎn)：并行與分布式體系架構(gòu)、分布式數(shù)據(jù)庫(kù)體系架構(gòu)、阿里PolarDB分布式數(shù)據(jù)庫(kù)體系架構(gòu)。////256.16.1數(shù)據(jù)庫(kù)系統(tǒng)體系結(jié)構(gòu)的發(fā)展集中式體系結(jié)構(gòu)、客戶-服務(wù)器體系架構(gòu)、并行與分布式體系架構(gòu)簡(jiǎn)介、數(shù)據(jù)庫(kù)系統(tǒng)體系架構(gòu)的相關(guān)概念M1,M21講授1自學(xué)、作業(yè)266.26.2并行數(shù)據(jù)庫(kù)體系架構(gòu)并行數(shù)據(jù)庫(kù)體系架構(gòu)設(shè)計(jì)、IO并行、查詢間與查詢內(nèi)并行、操作間與操作內(nèi)并行M1,M21講授1自學(xué)、作業(yè)276.36.3分布式數(shù)據(jù)庫(kù)體系架構(gòu)分布式事務(wù)系統(tǒng)結(jié)構(gòu)、分布式數(shù)據(jù)庫(kù)中的并發(fā)控制、分布式數(shù)據(jù)庫(kù)設(shè)計(jì)中的折中方案、異構(gòu)與基于云的分布式數(shù)據(jù)庫(kù)、目錄系統(tǒng)M1,M21講授1自學(xué)、作業(yè)286.46.4實(shí)例分析Greenplum分布式數(shù)據(jù)庫(kù)、HAWQ、Impala、AuroraM1,M21講授1自學(xué)、作業(yè)29第7章第7章數(shù)據(jù)組織與存儲(chǔ)本章重點(diǎn)難點(diǎn)：文件系統(tǒng)、非易失內(nèi)存訪問(wèn)模型、哈希索引、基于哈希索引的鍵值存儲(chǔ)系統(tǒng)、JSON文檔存儲(chǔ)、圖存儲(chǔ)。////307.17.1概述數(shù)據(jù)組織與存儲(chǔ)的嵌套關(guān)系、文件系統(tǒng)、數(shù)據(jù)組織帶來(lái)的數(shù)據(jù)映射與放大M1,M2,M30.5講授0.5自學(xué)、大作業(yè)317.27.2硬件訪問(wèn)模型內(nèi)存訪問(wèn)模型、磁盤(pán)訪問(wèn)模型、閃存訪問(wèn)模型、瓦記錄磁盤(pán)訪問(wèn)模型、非易失內(nèi)存訪問(wèn)模型M1,M2,M30.5講授0.5自學(xué)、大作業(yè)327.37.3索引技術(shù)哈希索引、有序索引、哈希-有序符合索引、存在索引M1,M2,M31講授1自學(xué)、大作業(yè)337.47.4鍵值存儲(chǔ)基于哈希索引的鍵值存儲(chǔ)系統(tǒng)、基于LSM樹(shù)索引的鍵值存儲(chǔ)系統(tǒng)、基于B/B+樹(shù)的鍵值存儲(chǔ)系統(tǒng)M1,M2,M31講授1自學(xué)、大作業(yè)347.57.5列存儲(chǔ)列存儲(chǔ)數(shù)據(jù)庫(kù)、HDFS列存儲(chǔ)M1,M2,M31講授1自學(xué)、大作業(yè)357.67.6其他類型存儲(chǔ)文檔存儲(chǔ)、XML文檔存儲(chǔ)、JSON文檔存儲(chǔ)、圖存儲(chǔ)M1,M2,M32講授2自學(xué)、大作業(yè)36第8章第8章分布式查詢處理優(yōu)化本章重點(diǎn)難點(diǎn)：數(shù)據(jù)分布策略、面向關(guān)系數(shù)據(jù)的分布式查詢處理與優(yōu)化。////378.18.1分布式查詢處理概述數(shù)據(jù)分布策略、分布式查詢處理、分布式查詢優(yōu)化技術(shù)M1,M2,M31講授1自學(xué)、大作業(yè)388.28.2面向關(guān)系數(shù)據(jù)的分布式查詢處理概述、分布式關(guān)系數(shù)據(jù)庫(kù)查詢處理、分布式關(guān)系數(shù)據(jù)庫(kù)查詢優(yōu)化、分布式關(guān)系數(shù)據(jù)庫(kù)查詢處理技術(shù)實(shí)例分析M1,M2,M31講授1自學(xué)、大作業(yè)四、考核方式序號(hào)考核環(huán)節(jié)操作細(xì)節(jié)總評(píng)占比1平時(shí)作業(yè)1.每周布置2~3道題目，平均每次課1道題以上。2.成績(jī)采用百分制，根據(jù)作業(yè)完成準(zhǔn)確性、是否按時(shí)上交、是否獨(dú)立完成評(píng)分。3.考核學(xué)生對(duì)大數(shù)據(jù)管理知識(shí)的掌握能力，學(xué)生綜合運(yùn)用所學(xué)知識(shí)分析問(wèn)題、解決問(wèn)題的能力題型主要有分析、設(shè)計(jì)和查詢計(jì)算題。20%2總結(jié)1.使用思維導(dǎo)圖對(duì)每章節(jié)進(jìn)行提煉總結(jié)。2.成績(jī)采用百分制，根據(jù)思維導(dǎo)圖的中心主題、整體布局、關(guān)鍵詞和層級(jí)完成評(píng)分。3.考核學(xué)生對(duì)大數(shù)據(jù)管理知識(shí)的掌握能力、學(xué)習(xí)總結(jié)能力。15%3實(shí)驗(yàn)1.本課程依托大數(shù)據(jù)平臺(tái)，課外完成4~6次實(shí)驗(yàn)。2.成績(jī)采用百分制，根據(jù)實(shí)驗(yàn)完成情況評(píng)分。3.考核學(xué)生基本數(shù)據(jù)模型設(shè)計(jì)、分析和管理能力。15%4考勤刷卡點(diǎn)名5%5大作業(yè)1.本課程要求學(xué)生組隊(duì)自選一個(gè)大數(shù)據(jù)管理系統(tǒng)相關(guān)題目或?qū)嶋H問(wèn)題，并利用Python或Java語(yǔ)言進(jìn)行編程實(shí)現(xiàn)。2.成績(jī)采用百分制，根據(jù)數(shù)據(jù)模型設(shè)計(jì)、分析、管理過(guò)程的完整性和準(zhǔn)確性評(píng)分。3.考核學(xué)生認(rèn)識(shí)和發(fā)現(xiàn)問(wèn)題的能力，以及解決實(shí)際問(wèn)題的能力。40%6課堂表現(xiàn)課堂回答問(wèn)題情況5%五、評(píng)分細(xì)則序號(hào)課程目標(biāo)考核環(huán)節(jié)大致占比評(píng)分等級(jí)1M1平時(shí)作業(yè)50%A-獨(dú)立思考、按時(shí)完成，解題思路清晰、步驟完整、格式合理、答案準(zhǔn)確。B-獨(dú)立思考、按時(shí)完成，解題思路比較清晰、步驟比較完整、格式合理、答案基本準(zhǔn)確。C-基本按時(shí)完成，解題思路比較清晰、步驟比較完整、格式比較合理、答案有少量錯(cuò)誤。D-作業(yè)抄襲，未能按時(shí)完成，解題思路混亂，答案錯(cuò)誤多。2M1總結(jié)50%A-中心主題明確，整體布局合理，關(guān)鍵詞提取精準(zhǔn)、合理、完整，層級(jí)科學(xué)。B-中心主題明確，整體布局合理，關(guān)鍵詞提取比較精準(zhǔn)、合理、完整，層級(jí)科學(xué)。C-中心主題比較明確，整體布局比較合理，關(guān)鍵詞提取比較精準(zhǔn)、合理、完整，層級(jí)亂。D-中心主題不明確，整體布局比較混亂，關(guān)鍵詞提取不精準(zhǔn)、不合理、不完整，層級(jí)亂。3M2實(shí)驗(yàn)100%A-實(shí)驗(yàn)過(guò)程中認(rèn)真完成實(shí)驗(yàn)要求，得到正確的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)報(bào)告格式正確，步驟敘述清楚，正確分析實(shí)驗(yàn)數(shù)據(jù)，從技術(shù)角度優(yōu)選解決方案獲得有效結(jié)論。B-實(shí)驗(yàn)過(guò)程中認(rèn)真完成實(shí)驗(yàn)要求，得到正確的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)報(bào)告格式正確，步驟敘述比較清楚，正確分析實(shí)驗(yàn)數(shù)據(jù)，從技術(shù)角度優(yōu)選解決方案獲得比較有效的結(jié)論。C-實(shí)驗(yàn)過(guò)程中認(rèn)真完成實(shí)驗(yàn)要求，不能得到正確的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)報(bào)告格式正確，步驟敘述清楚，沒(méi)有正確分析實(shí)驗(yàn)數(shù)據(jù)，但是結(jié)合理論分析可以從技術(shù)角度優(yōu)選解決方案獲得有效的結(jié)論。D-實(shí)驗(yàn)過(guò)程中不能完成實(shí)驗(yàn)要求，不能得到正確的實(shí)驗(yàn)結(jié)果，不能從技術(shù)角度優(yōu)選解決方案獲得有效的結(jié)論。4M3大作業(yè)60%A-數(shù)據(jù)庫(kù)設(shè)計(jì)正確，完整實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、模式、查詢等管理過(guò)程，結(jié)果驗(yàn)證正確。B-數(shù)據(jù)庫(kù)設(shè)計(jì)正確，完整實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、模式、查詢等管理過(guò)程，結(jié)果驗(yàn)證比較正確。C-數(shù)據(jù)庫(kù)設(shè)計(jì)正確，比較完整實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、模式、查詢等管理過(guò)程，結(jié)果驗(yàn)證有較少錯(cuò)誤。D-數(shù)據(jù)庫(kù)設(shè)計(jì)有缺陷，部分實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、模式、查詢等管理過(guò)程，結(jié)果驗(yàn)證不完全正確。5M3實(shí)驗(yàn)40%A-實(shí)驗(yàn)過(guò)程中認(rèn)真完成實(shí)驗(yàn)要求，得到正確的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)報(bào)告格式正確，步驟敘述清楚，正確分析實(shí)驗(yàn)數(shù)據(jù)，從技術(shù)角度優(yōu)選解決方案獲得有效結(jié)論。B-實(shí)驗(yàn)過(guò)程中認(rèn)真完成實(shí)驗(yàn)要求，得到正確的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)報(bào)告格式正確，步驟敘述比較清楚，正確分析實(shí)驗(yàn)數(shù)據(jù)，從技術(shù)角度優(yōu)選解決方案獲得比較有效的結(jié)論。C-實(shí)驗(yàn)過(guò)程中認(rèn)真完成實(shí)驗(yàn)要求，不能得到正確的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)報(bào)告格式正確，步驟敘述清楚，沒(méi)有正確分析實(shí)驗(yàn)數(shù)據(jù)，但是結(jié)合理論分析可以從技術(shù)角度優(yōu)選解決方案獲得有效的結(jié)論。D-實(shí)驗(yàn)過(guò)程中不能完成實(shí)驗(yàn)要求，不能得到正確的實(shí)驗(yàn)結(jié)果