大數(shù)據(jù)課程體系

1、Java基礎JAVA開發(fā)基礎知識Ecli pse開發(fā)環(huán)境 多線程技術Socket網(wǎng)絡技術 Regular Exp ressi onJava反射技術 各種實戰(zhàn)設計模式 面向對象設計原則詳解Java collecti onReflect ionJVM原理與配置、調優(yōu)Java設計模式Linux 大 綱Linux的介紹與安裝VMware Workstation虛擬軟件安裝ubuntu安裝Linux的常用命令Linux系統(tǒng)進程管理常用命令ps、pkill 、top、htop等的使用；Linux啟動流程，運行級別詳解，chkconfig詳解 nano編輯器Linux權限管理：用戶、組Linux權限管理：文

2、件權限r(nóng)wxLinux 網(wǎng)絡管理：hosts,hostname,ifconfig 安裝JDKHadoopHadoo p介紹，發(fā)展史，國內外現(xiàn)狀，未來Hadoop核心組成介紹及 hdfs、map reduce體系結構Hadoop的集群結構Hadoop獨立模式安裝與測試Hadoop啟動與停止SSH安裝與配置Hadoop偽分布式和完全分布式安裝配置HDFS底層工作原理HDFS data node,n ame no de 詳解Hdfs shellHdfs java apiInp utS plit和 Out puts plitBlockSize 配置最少副本數(shù)配置MRf乍業(yè)流程分析編寫Mapper程序

3、編寫Reducer程序 執(zhí)行Map reduce過程Hadoop 核心類講解，RM,NM,NN,DNYARN調度框架事件分發(fā)機制Hadoop底層IPC原理和RPCHadoop的底層google ProtoBuf 的協(xié)議分析分布式數(shù) 據(jù)庫HbaseHBase簡介與RDBM的對比系統(tǒng)架構HBase上 的 Map ReduceHbase核心術語介紹Hbase基本操作HBase Shell以及演示Hbase樹形表設計Hbase 一對多和多對多表設計Hbase調優(yōu)（讀、寫、設計）數(shù)據(jù)倉庫HiveHive簡介Hive集群客戶端簡介HiveQL介紹與SQL的比較數(shù)據(jù)類型外部表和分區(qū)表ddl與CLI客戶端演示

4、 dmi與CLI客戶端演示 select與CLI客戶端演示Operators 和functions 與CLI客戶端演示 Hive server2 與 jdbc用戶自定義函數(shù)（UDF和UDAF的開發(fā)與演示Hive優(yōu)化數(shù)據(jù)遷移 工具Sqoo PSqoop簡介和配置 Sqoop shell常見命令Sqo op導入與導出Flume 分 布式日志框架flume簡介-基礎知識flume安裝與測試flume部者方式flume source相關配置及測試flume sink相關配置及測試flume selector相關配置與案例分析flume Sink P rocessors相關配置和案例分析flume In

5、 terce ptors相關配置和案例分析flume AVRO Clie nt 開發(fā)flume和kafka的整合Zookeeper 開發(fā)Zookee per java api開發(fā)Zookeeper rmi咼可用分布式集群開發(fā)Zookee per redis 咼可用監(jiān)控實現(xiàn)Netty異步io通信框架Zookeeper實現(xiàn)netty 分布式架構的咼可用kafkakafka是什么 kafka體系結構 kafka配置詳解kafka kafka kafka kafkaStormScalascala scala scala scala scala scala scala scala scala scala

6、 scala scala的安裝 的存儲策略 分區(qū)特點 的發(fā)布與訂閱zookeeper協(xié)調管理 java編程操作kafka scala編程操作kafka flume和kafka的整合 Kafka和storm的整合 Storm的基本概念 Storm的應用場景 Storm和Hadoop的對比 Storm集群的安裝的linux環(huán)境準備 zookeeper集群搭建 Storm集群搭建Storm配置文件配置項講解 集群搭建常見問題解決Storm 常用組件和編程 API： Topology、Spout、BoltStorm 分組策略（stream groupings） 使用Strom開發(fā)一個WordCount

7、例子 Storm程序本地模式debug、Storm程序遠程debug Storm事物處理Storm消息可靠性及容錯原理Storm結合消息隊列 Kafka :消息隊列基本概念（P roducer、Co nsume、To pic、 Broker等）、消息隊列Kafka使用場景、Storm結合Kafka編程API Storm Tride nt 概念 Tride nt state原理Tride nt開發(fā)實例Storm DRPC分布式遠程調用）介紹Storm DRPC實戰(zhàn)講解Storm 和 Hadoop 2.x 的整合：Storm on YarnStorm開發(fā)實戰(zhàn)：Kafka+Storm+Hbase+r

8、edis項目實戰(zhàn)，以及多個案例解釋器、變量、常用數(shù)據(jù)類型等 的條件表達式、輸入輸出、循環(huán)等控制結構 的函數(shù)、默認參數(shù)、變長參數(shù)等 的數(shù)組、變長數(shù)組、多維數(shù)組等 的映射、元組等操作 的類，包括bean屬性、輔助構造器、主構造器等 的對象、單例對象、伴生對象、擴展類、apply方法等的包、弓I入、繼承等概念的特質 的操作符 的高階函數(shù) 的集合scala數(shù)據(jù)庫連接Sp ark大數(shù)據(jù)處 理Sp ark Stream ing 實時計算Sp arkMLlib _機器學習DockerSpark簡介與應用場景RDDTran sformati on Actio n Spark 計算 PageRank Lin e

9、age Spark模型簡介Spark緩存策略和容錯處理 寬依賴與窄依賴 Spark配置講解 Spark集群搭建 集群搭建常見問題解決Spark原理核心組件和常用RDD 數(shù)據(jù)本地性 任務調度DAGScheduler TaskScheduler Spark源碼解讀 性能調優(yōu)Spark 和 Hadoop2.x 整合：Spark on Yarn 原理 Spark Streaming :數(shù)據(jù)源和 DStream 無狀態(tài) transformation 與有狀態(tài) transformation Streaming Window 的操作 sp arksql編程實戰(zhàn) spark的多語言操作介紹 回歸算法 分類算法

10、 第四章推薦系統(tǒng) 第五章聚類Kmea ns 基本介紹 vm docker 對比 docker基本架構介紹 unfs cgro up n ames pace 進程虛擬化輕量級虛擬化 docker docker docker docker安裝 鏡像制作 常用命令 鏡像遷移docker pip ework 1docker weave虛擬化KVM虛擬化介紹，虛擬化適用場景等等Qemu Libvirt & KVM安裝 KVM, Qemu, LibvirtQEMU-KVM安裝第一個能上網(wǎng)的虛擬機 Kvm虛擬機nat,網(wǎng)橋基本原理 kvm虛擬機克隆kvm虛擬機vnc配置kvm虛擬機擴展磁盤空間Kvm快照Kvm遷移Java,python,c 語言編程控制kvm云平臺Open Stackopen stack介紹和模塊基本原理分析open stack多節(jié)點安裝部署【a.采用cen tos6.x系統(tǒng)】 Keystone基本原理glanceCin derSwiftNeutro nOpen stack api 二次開發(fā)綜合項目演練1結合基于SSH技術的jee項目一互聯(lián)網(wǎng)大數(shù)據(jù)調查系統(tǒng)，可針對當下流行的 事件進行網(wǎng)絡調查，然后從海量的調查調查問卷中通過大數(shù)據(jù)手段對其進行 分析和匯總，最終對大眾的消費習慣、文化傾向、