《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教學(xué)大綱

1、Spark大數(shù)據(jù)技術(shù)與應(yīng)用教學(xué)大綱課程名稱:Spark大數(shù)據(jù)技術(shù)與應(yīng)用課程類別:必修適用專業(yè):大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)總學(xué)分：4.0學(xué)分一、課程的性質(zhì)本課程是為大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)學(xué)生開(kāi)設(shè)的課程。NoSQL數(shù)據(jù)庫(kù)大多具有橫向擴(kuò)展能力強(qiáng)、數(shù)據(jù)模型靈活等特點(diǎn)，在互聯(lián)網(wǎng)、電力、電信、金融以及工業(yè)物聯(lián)網(wǎng)等領(lǐng)域具有廣泛應(yīng)用。作為開(kāi)源軟件，NoSQL數(shù)據(jù)庫(kù)的使用和部署較為簡(jiǎn)單，不需要掌握復(fù)雜的底層技術(shù)原理，適合ICT領(lǐng)域中的各個(gè)專業(yè)人員學(xué)習(xí)和使用。被統(tǒng)稱為 “ NoSQL ”的非關(guān)系型數(shù)據(jù)庫(kù)，大多具有優(yōu)秀的分布式部署能力、橫向擴(kuò)展 能力和靈活的數(shù)據(jù)模型。本課程介紹NoSQL數(shù)據(jù)庫(kù)的起源、基本技

2、術(shù)原理、常見(jiàn)存儲(chǔ)模式等知識(shí)，介紹 HBase、Cassandra MongoDB、Neo4j和Redis等熱門NoSQL軟件的技術(shù)原 理、架構(gòu)特點(diǎn)和使用方法，使學(xué)生掌握常見(jiàn)NoSQL數(shù)據(jù)庫(kù)的部署和使用方法，理解分布式大數(shù)據(jù)系統(tǒng)可能遇到的技術(shù)難題和解決方法，進(jìn)而更深入的理解大數(shù)據(jù)領(lǐng)域的開(kāi)源工具和技術(shù)原理。二、課程的任務(wù)通過(guò)本課程的學(xué)習(xí)，使學(xué)生掌握HBase、Cassandra MongoDB、Neo4j等熱門NoSQL軟件的基本技術(shù)原理、架構(gòu)特點(diǎn)和使用方法。掌握常見(jiàn)NoSQL數(shù)據(jù)庫(kù)的部署和使用方法，理解分布式大數(shù)據(jù)系統(tǒng)可能遇到的技術(shù)難題和解決方法，進(jìn)而更深入的理解大數(shù)據(jù)領(lǐng)域的開(kāi)源工具和技術(shù)原理。

3、三、教學(xué)內(nèi)容及學(xué)時(shí)安排序 號(hào)章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時(shí)1第1章緒論1.1數(shù)據(jù)庫(kù)的相關(guān)概念1.2關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)1.3 NoSQL的起源和特點(diǎn)1.4大數(shù)據(jù)的技術(shù)體系1. 了解數(shù)據(jù)庫(kù)的發(fā)展歷程2. 了解關(guān)系型數(shù)據(jù)庫(kù)遇到的 瓶頸3. 了解NoSQL的起源和基本 特點(diǎn)4. 了解大數(shù)據(jù)的技術(shù)的特點(diǎn) 和技術(shù)體系，以及各個(gè)環(huán)節(jié)所 解決的主要問(wèn)題和解決方式5. 了解NoSQL在大數(shù)據(jù)技術(shù) 體系中的地位和作用22第2章NoSQL數(shù)據(jù)庫(kù)的基本原理2.1關(guān)系型數(shù)據(jù)庫(kù)的重要機(jī)制回顧2.2分布式數(shù)據(jù)管理的特點(diǎn)2.3分布式系統(tǒng)的一致性問(wèn)題2.4 NoSQL的常見(jiàn)存儲(chǔ)模式2.5 NoSQL系統(tǒng)其他相關(guān)技 術(shù)1. 回顧

4、關(guān)系數(shù)據(jù)庫(kù)的重要機(jī) 制，事務(wù)、完整性等。2. 了解關(guān)系型數(shù)據(jù)庫(kù)的分布 式部署方式3. 理解分布式數(shù)據(jù)管理的分 片、多副本等策略和帶來(lái)的問(wèn) 題4. 理解分布式數(shù)據(jù)管理中的 多副本、分布式事務(wù)帶來(lái)的一 致性問(wèn)題5. 掌握NoSQL常見(jiàn)的數(shù)據(jù)存 儲(chǔ)模式6. 了解NoSQL的一些重要相 關(guān)技術(shù)43第3章Hadoop和HDFS簡(jiǎn)介3.1. Hadoop 概述3.2. HDFS 原理3.3. 使用和管理HDFS3.4. Map Reduce 簡(jiǎn)介3.5. HIVE 簡(jiǎn)介1. 了解Hadoop的歷史和特點(diǎn)2. 掌握HDFS的基本原理3. 掌握HDFS部署和操作方法4. 了解Hadoop的其他相關(guān)技 術(shù)特點(diǎn)5

5、4第4章Hbase 基本原理4.1. HBase 概述4.2. HBase的數(shù)據(jù)模型4.3. HBase的拓?fù)浣Y(jié)構(gòu)4.4. HBase 部署4.5子節(jié)點(diǎn)伸縮性管理4.6. Hbase 基本 Shell 操作4.7批量導(dǎo)入導(dǎo)出4.8. 通過(guò)JAVA的訪問(wèn)HBase4.9. 通過(guò) Python 訪問(wèn) HBase1. 了解HBase的歷史和特點(diǎn)2. 掌握HBase的基本數(shù)據(jù)模 型和拓?fù)浣Y(jié)構(gòu)3. 掌握HBase部署和操作方 法4. 掌握 HBase的編程接口和 編程方法105第5章HBase 高級(jí)原理5.1. 水平分區(qū)原理5.2. 列族與Store的相關(guān)原理53數(shù)據(jù)表的基本設(shè)計(jì)原則54 HBase集群

6、的高可用性與 伸縮性5.5. HBase的擴(kuò)展使用1. 掌握HBase的數(shù)據(jù)分區(qū)原 理2. 掌握HBase的列族結(jié)構(gòu)與 讀寫(xiě)機(jī)制3. 了解HBase集群部署與高 可用性方案4. 了解HBase的擴(kuò)展插件56第6章Cassa ndra 原理和使用6.1-6.2 Cassa ndra 基本原理6.3. Cassa ndra部署與配置6.4. CQL語(yǔ)言與cqlsh環(huán)境6.5. CQL數(shù)據(jù)查詢與更新6.6. Cassa ndra的維護(hù)與擴(kuò)展6.7. 通過(guò) JAVA 的訪問(wèn) Cassa ndra6.8. 通過(guò) Python的訪問(wèn)Cassa ndra1. 了解Cassandra的歷史和特占八、2. 掌握

7、Cassandra的基本數(shù)據(jù)模型和拓?fù)浣Y(jié)構(gòu)3. 掌握Cassandra部署和操作 方法4. 掌握Cassandra的編程接口和編程方法87第7章文檔型數(shù)據(jù)庫(kù)原理和使用簡(jiǎn)介7.1-7.2. Mon goDB 的技術(shù)原理7.3. 安裝配置MongoDB7.4. Mo ngoDB 的基本命令行 操作7.5. 地理信息數(shù)據(jù)操作7.6. MongoDB集群化部署7.7. 通過(guò) JAVA 的訪問(wèn)Mo ngoDB7.8. 通過(guò) Python 的訪問(wèn)Mo ngoDB1. 了解MongoDB的歷史和技術(shù)特點(diǎn)2. 掌握MongoDB部署和操作 方法3. 掌握MongoDB的分片和多副本機(jī)制與部署方式4. 掌握MongoDB的編程接口 和編程方法88第8章其他NoSQL數(shù)據(jù)庫(kù)簡(jiǎn)介8.1圖數(shù)據(jù)庫(kù)簡(jiǎn)介8.2 Neo4j的安裝與使用8.3. Redis和內(nèi)存數(shù)據(jù)庫(kù)8.4搜索引擎系統(tǒng)1. 了解Neo4j的技術(shù)特點(diǎn)2. 掌握Neo4j部署和操作方法3. 掌握Neo4j的編程接口與編 程方法（可選）4. 了解Redis