(林子雨-2018年新版-大數(shù)據(jù)技術(shù)原理和應(yīng)用)廈門大學本科課程教學大綱

1、 WORD格式可編輯 廈門大學本科課程教學大綱課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用課程代碼英文類別代號CSCI授課對象計算機、軟件工程等信息相關(guān)專業(yè)適用年級本科生大三或大四課程類型通識教育課程課程課型總學分總學時授課討論實驗/上機實踐其他232320000先修課程編程語言一、課程簡介大數(shù)據(jù)技術(shù)入門課程，為學生搭建起通向“大數(shù)據(jù)知識空間”的橋梁和紐帶，以“構(gòu)建知識體系、闡明基本原理、引導初級實踐、了解相關(guān)應(yīng)用”為原則，為學生在大數(shù)據(jù)領(lǐng)域“深耕細作”奠定基礎(chǔ)、指明方向。課程將系統(tǒng)講授大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分

2、布式并行編程模型MapReduce、基于內(nèi)存的大數(shù)據(jù)處理架構(gòu)Spark、大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學和物流等各個領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章節(jié)，安排了入門級的實踐操作，讓學生更好地學習和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。二、培養(yǎng)目標（1） 能夠建立對大數(shù)據(jù)知識體系的輪廓性認識，了解大數(shù)據(jù)發(fā)展歷程、基本概念、主要影響、應(yīng)用領(lǐng)域、關(guān)鍵技術(shù)、計算模式和產(chǎn)業(yè)發(fā)展，并了解云計算、物聯(lián)網(wǎng)的概念及其與大數(shù)據(jù)之間的緊密關(guān)系；（2） 能夠了解Hadoop的發(fā)展歷史、重要特性和應(yīng)用現(xiàn)狀，Hadoop項目結(jié)構(gòu)及其各個組件，并熟練掌握Hadoop平臺的安裝和使用方法；（3）

3、能夠了解分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計需求，掌握Hadoop分布式文件系統(tǒng)HDFS的重要概念、體系結(jié)構(gòu)、存儲原理和讀寫過程，并熟練掌握分布式文件系統(tǒng)HDFS的使用方法；（4） 能夠了解分布式數(shù)據(jù)庫HBase的訪問接口、數(shù)據(jù)模型、實現(xiàn)原理和運行機制，并熟練掌握HBase的使用方法；（5） 能夠了解NoSQL數(shù)據(jù)庫與傳統(tǒng)的關(guān)系數(shù)據(jù)庫的差異、NoSQL數(shù)據(jù)庫的四大類型以及NoSQL數(shù)據(jù)庫的三大基石；基本掌握Redis、MongoDB等NoSQL數(shù)據(jù)庫的使用方法；（6） 能夠了解云數(shù)據(jù)庫的概念、基本原理和代表性產(chǎn)品的使用方法；（7） 能夠熟練掌握分布式編程框架MapReduce的基本原理和編程方

4、法；（8） 能夠了解大數(shù)據(jù)處理架構(gòu)Spark的基本原理和編程方法；能夠了解大數(shù)據(jù)在互聯(lián)網(wǎng)等領(lǐng)域的典型應(yīng)用。三、教學方法（1） 本課程采用理論授課與學生課后上機實踐相結(jié)合，幫助學生更好消化吸收課程知識。（2） 積極踐行O2O教學理念，努力提升教學水平，在大數(shù)據(jù)課程教學方面積極開拓創(chuàng)新，實現(xiàn)線下教學和線上服務(wù)的巧妙結(jié)合。課程主講教師建設(shè)了國內(nèi)高校首個大數(shù)據(jù)課程公共服務(wù)平臺，提供講義PPT、課程習題、學習指南、授課視頻、技術(shù)資料等全方位、一站式免費服務(wù)，幫助學生更好學習大數(shù)據(jù)課程。四、主要內(nèi)容及學時安排 章（或節(jié)）主要內(nèi)容學時安排1介紹大數(shù)據(jù)的基本概念和應(yīng)用領(lǐng)域，并闡述大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的相互關(guān)

5、系22介紹大數(shù)據(jù)處理架構(gòu)Hadoop43分布式文件系統(tǒng)HDFS的基本原理和使用方法44分布式數(shù)據(jù)庫HBase的基本原理和使用方法45NoSQL數(shù)據(jù)庫的概念和基本原理46云數(shù)據(jù)庫的概念和基本原理27分布式并行編程模型MapReduce原理和使用方法48Hadoop架構(gòu)再探討29Spark原理與基礎(chǔ)編程410大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的典型應(yīng)用：推薦系統(tǒng)2合計32五、考核方式與要求（1）平時成績：學生完成上機練習題目，并提交上機實驗報告，實驗報告成績作為平時成績；（2）期末考試：采用筆試，閉卷；（3）最終成績：平時成績和期末考試成績按5:5比例加權(quán)求和。六、選用教材大數(shù)據(jù)技術(shù)原理與應(yīng)用概念、存儲、處理、分

6、析與應(yīng)用林子雨編著，人民郵電出版社，2015年8月，第1版七、參考書目與文獻1 陸嘉恒. Hadoop實戰(zhàn). 機械工業(yè)出版社. 2011年.2 曾大聃, 周傲英(譯). Hadoop權(quán)威指南中文版. 清華大學出版社. 2010年.3 迪米達克 (Nick Dimiduk),卡拉納 (Amandeep Khurana),謝磊. HBase實戰(zhàn)中文版.人民郵電出版社; 第1版 (2013年9月1日)八、課程網(wǎng)站等支持條件課程主講教師建設(shè)了國內(nèi)高校首個大數(shù)據(jù)課程公共服務(wù)平臺，提供講義PPT、課程習題、學習指南、授課視頻、技術(shù)資料等全方位、一站式免費服務(wù)，幫助學生更好學習大數(shù)據(jù)課程，網(wǎng)站地址：九、其它

7、信息大綱制定者：林子雨 大綱審定者： 大綱制定時間：2016年11月XMU Undergraduate Course SyllabusCourse namePrinciples and Applications of Bigdata TechnologyCourse code Category codeCSCIProgrammeComputer Science, Software Engineering. etcSemesterSemester 2, Year 3Course typeBasic Common Courses General Education Courses Discipli

8、nary General Courses Specialized CoursesOther Teaching ProcessesCourse focusLecture Experiment Skill-training PracticalCreditTotal learning hoursLectureTutorialExperimentPracticalOthers232320000PrerequisitesProgramming Language; 1.Course descriptionAn introductory course for bigdata. Knowledge discu

9、ssed in this course include Hadoop, HDFS, HBase, NoSQL, cloud database, MapReduce, Spark, an so on.2. Learning goals(1) To help students to know about the basic knowledge map about bigdata;(2) To study the ecosystem of Hadoop and the installation and usage of Hadoop;(3) To study the well-known distr

10、ibuted file system, i.e. HDFS, including the architecture, storage theory, read-and-write process, programming methods, and so on;(4) To study the distributed database system i.e. HBbase, including the API, data model, implementation theory, and so on;(5) To study NoSQL, including the difference bet

11、ween SQL and NoSQL, CAP theory, BASE theory, NewSQL, and so on;(6) To study the basic concept and theory of cloud databases, and discuss several examples of cloud databases;(7) To study the distributed parallel programming model, i.e., MapReduce, including the shuffle process and programming practic

12、e;(8) To study the main-memory-based computing architecture, i.e., Spark, including the performance comparison between Spark and Hadoop, theory of RDD, programming method, and so on;(9) To study the applications of bigdata in various fields.3.Teaching approaches(1)The course mainly takes the form of

13、 lecture, and also the students are required to program on their own computer to better comprehend the knowledge of bigdata.(2)Large amount of online course resources are also provided to students, including course video, technical literature, ppt, programming guide, and so on.4. Content outline of

14、the courseChapter(Section)ContentLearning hours1The basic concept of bidata; the relationship between bigdata, cloud computing and the Internet of Things.22The architecture and ecosystem of Hadoop43The basic principles and programming method of HDFS44The basic principles and programming method of HB

15、ase45The concept and principle of NoSQL46The concept and principle of cloud database27The distributed parallel programming model, namely MapReduce48To discuss more about Hadoop29The basic principle and programming method of Spark410The application of bigdata in the Internet field, namely recommendin

16、g system.2Total325. Assessment methods and requirementsThe course involves homework and closed-book examination.The final score includes two parts, i.e., homework(50%) and final examination(50%).6.TextbooksZiyu Lin. Principles and Applications of Big Data Technology-Big Data Conception(The first edi

17、tion), Storage, Processing, Analysis and Application. The POSTS & TELECOM PRESS, Aug, 2015.7.ReferencesTom White. Hadoop: The Definitive Guide (3rd edition). The OREILLY PRESS, May 2012.8.Website9.OthersFilled out by: Ziyu Lin Approved by: Date: Nov, 2016廈門大學本科課程大綱填寫說明(Notes)1 須同時填寫課程大綱中文版和英文版。2

18、 課程名稱必須準確、規(guī)范。3 課程代碼：非任課教師填寫。該課程在教務(wù)系統(tǒng)生成后，由學院代為填寫。4 授課對象填寫專業(yè)。5 適用年級填寫可修讀本課程的時間，如本科三年級第一學期。6 課程類型指公共基本課程、通識教育課程、學科通修課程、專業(yè)（或?qū)I(yè)方向）課程、其他教學環(huán)節(jié)。7 課程課型指理論課、實驗課、技能課、實踐課。8 總學時=授課學時+討論學時+實驗學時+上機學時+其他學時9 先修課程是與該課程具有嚴格的前后邏輯關(guān)系，非先修課程則無法學習該課程。10.培養(yǎng)目標不少于150字。11.考核方式包括成績登記方式、成績組成、考核標準等。成績登記方式包括百分制、通過/不通過等。成績組成指各種考核方式占比

19、?？己藰藴手负饬扛黜椏荚u指標得分的基準。12.選用教材和主要參考書要求注明作者、書目、出版社、出版年份。例如，“丹利維爾：民主、官僚制組織和公共選擇，中國青年出版社，2001年?！?3.其它信息指課堂規(guī)范要求等，如課上禁止使用手機、缺勤要求等。14.課程英文類別代號:英文類別代號代號英文說明代號中文說明ANTH:Anthropology人類學類課程；ARCH:Architecture建筑類課程；ARTS:Arts藝術(shù)類；AUTO:Automation自動化類課程；BIOL:Biology生物科學類課程；BUSI:Business Administration工商管理類課程；CHEE:Chemi

20、cal Engineering化工類課程；CHEM:Chemistry化學類課程；CHIN:Chinese中國語言文學類課程；CIVL:Civil Engineering土建類課程；CSCI:Computer Science計算機科學類課程；ECON:Economics經(jīng)濟學類課程；EENG:Electronic Engineering電子工程類課程；ELIN:Electrical Information電氣信息類課程；ELIS:Electronic Information Science電子信息科學類課程；ENGL:English英國語言文學類課程；ENVS:Environmental Science環(huán)境科學類課程；FREN:French法國語言文學類課程；GERM:German德國語言文學類課程；HIST:History歷史學類課程；JAPA:Japanese日本語言文學類課程；JOUR:Journalism新聞傳播類課程；LAWS:Laws法學類課程；MATH:Mathematics數(shù)學類課程；MATL:Material材料類課程；MECH:Machinery機械類課程；MECM:Clini