大數(shù)據(jù)技術(shù)導論

大數(shù)據(jù)技術(shù)導論讀書筆記模板01思維導圖目錄分析讀書筆記內(nèi)容摘要作者介紹精彩摘錄目錄0305020406思維導圖導論技術(shù)技術(shù)特點大數(shù)據(jù)生命周期讀者數(shù)據(jù)大數(shù)據(jù)習題分析第章可視化系統(tǒng)實驗報告基礎(chǔ)特征數(shù)據(jù)分析實驗本書關(guān)鍵字分析思維導圖內(nèi)容摘要內(nèi)容摘要本書以面向應(yīng)用、面向?qū)崙?zhàn)為指導思想，緊扣企業(yè)技術(shù)人才培養(yǎng)的特點，在知識點講解和實驗中避免復雜的理論，使讀者能快速上手體驗、驗證大數(shù)據(jù)處理的魅力，以激發(fā)讀者的學習興趣。本書覆蓋了大數(shù)據(jù)生命周期中的主要技術(shù)要點，全書共8章，第1章介紹大數(shù)據(jù)的產(chǎn)生和特點及思維的變革，第2章了解大數(shù)據(jù)生態(tài)系統(tǒng)，第3～7章按照大數(shù)據(jù)的生命周期，分別討論大數(shù)據(jù)采集與預(yù)處理、大數(shù)據(jù)管理、大數(shù)據(jù)分析、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用的基本原理和方法，第8章討論大數(shù)據(jù)安全面臨的挑戰(zhàn)。本書可作為本科、高職院校大數(shù)據(jù)技術(shù)或數(shù)據(jù)科學課程的參考書或教材，也可供數(shù)據(jù)科學相關(guān)技術(shù)人員閱讀。目錄分析1.2Linux系統(tǒng)概述1.1揭秘大數(shù)據(jù)第1章概論實驗報告1Linux實驗習題1第1章概論1.1揭秘大數(shù)據(jù)1.1.1大數(shù)據(jù)產(chǎn)生歷史必然1.1.2大數(shù)據(jù)概念和特征1.1.3大數(shù)據(jù)生命周期1.1.4大數(shù)據(jù)與物聯(lián)網(wǎng)、云計算、人工智能1.1.5大數(shù)據(jù)時代的八個重大變革1.2Linux系統(tǒng)概述1.2.1Linux版本1.2.2Linux系統(tǒng)目錄結(jié)構(gòu)1.2.3文本編輯器vi1.2.4文件權(quán)限解讀1.2.5Linux系統(tǒng)常用命令2.1認識Hadoop2.2HDFS2.3MapReduce*2.4Zookeeper第2章大數(shù)據(jù)生態(tài)系統(tǒng)實驗報告2Hadoop實驗習題2第2章大數(shù)據(jù)生態(tài)系統(tǒng)2.2HDFS2.2.1HDFS體系結(jié)構(gòu)2.2.2HDFS存儲原理2.2.3HDFS常用操作2.3MapReduce2.3.1MapReduce邏輯結(jié)構(gòu)2.3.2MapReduce操作案例3.1數(shù)據(jù)3.2數(shù)據(jù)采集3.3數(shù)據(jù)清洗3.4網(wǎng)絡(luò)爬蟲第3章大數(shù)據(jù)采集與預(yù)處理*實驗報告3網(wǎng)絡(luò)爬蟲習題3第3章大數(shù)據(jù)采集與預(yù)處理3.1數(shù)據(jù)3.1.1數(shù)據(jù)是什么3.1.2數(shù)據(jù)分類3.1.3度量和維度3.2數(shù)據(jù)采集3.2.1數(shù)據(jù)采集分類3.2.2數(shù)據(jù)采集方法3.2.3數(shù)據(jù)采集工具3.3數(shù)據(jù)清洗3.3.1數(shù)據(jù)清洗原理3.3.2缺失值和異常數(shù)據(jù)3.3.3數(shù)據(jù)清洗基本操作3.4網(wǎng)絡(luò)爬蟲3.4.1爬蟲簡介*3.4.2論壇爬蟲源代碼分析4.1NoSQL4.2HBase習題4實驗報告4HBase實驗第4章大數(shù)據(jù)管理4.1NoSQL4.1.1NoSQL概述4.1.2鍵值數(shù)據(jù)庫4.1.3圖數(shù)據(jù)庫4.1.4文檔數(shù)據(jù)庫4.1.5列式數(shù)據(jù)庫4.1.6云數(shù)據(jù)庫4.2HBase4.2.1HBase模型4.2.2HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對比分析4.2.3HBase系統(tǒng)架構(gòu)4.2.4HBase常用Shell命令5.1大數(shù)據(jù)分析概述*5.2業(yè)務(wù)理解5.3數(shù)據(jù)認知5.4特征工程第5章大數(shù)據(jù)分析5.5數(shù)據(jù)建模*5.6通用計算引擎Spark5.7大數(shù)據(jù)分析引擎Hive習題5實驗報告5Hive實驗12345第5章大數(shù)據(jù)分析5.1大數(shù)據(jù)分析概述5.1.1數(shù)據(jù)分析原則5.1.2大數(shù)據(jù)分析特點5.1.3大數(shù)據(jù)分析流程5.1.4數(shù)據(jù)分析師基本技能和素質(zhì)*5.1.5大數(shù)據(jù)分析難點*5.2業(yè)務(wù)理解5.2.1什么是業(yè)務(wù)理解5.2.2如何理解業(yè)務(wù)5.2.3數(shù)據(jù)業(yè)務(wù)化5.3數(shù)據(jù)認知5.3.1數(shù)據(jù)變換5.3.2概率分析*5.3.3對比分析*5.3.4細分分析*5.3.5交叉分析5.3.6相關(guān)分析5.4特征工程5.4.1特征工程面臨的挑戰(zhàn)5.4.2特征選擇5.4.3特征提取5.4.4指標設(shè)計5.5數(shù)據(jù)建模5.5.1模型分類5.5.2決策樹5.5.3關(guān)聯(lián)分析5.5.4回歸分析5.5.5聚類分析*5.5.6k-鄰近分類算法KNN*5.6通用計算引擎Spark5.6.1Spark簡介5.6.2Spark與Hadoop差異5.6.3Spark適用場景5.6.4Spark運行模式5.6.5Spark常用術(shù)語5.6.6Spark編程實戰(zhàn)——單詞統(tǒng)計5.7大數(shù)據(jù)分析引擎Hive5.7.1數(shù)據(jù)倉庫概念5.7.2傳統(tǒng)數(shù)據(jù)倉庫的問題5.7.3Hive特征5.7.4Hive系統(tǒng)架構(gòu)5.7.5Hive應(yīng)用案例6.1數(shù)據(jù)可視化基本概念6.2常用圖形6.3數(shù)據(jù)可視化設(shè)計6.4數(shù)據(jù)可視化工具第6章大數(shù)據(jù)可視化6.5基于R語言可視化基礎(chǔ)*實驗報告6可視化實驗習題6第6章大數(shù)據(jù)可視化6.1數(shù)據(jù)可視化基本概念6.1.1為什么要數(shù)據(jù)可視化6.1.2什么是數(shù)據(jù)可視化6.1.3數(shù)據(jù)可視化的作用6.1.4數(shù)據(jù)可視化術(shù)語6.1.5數(shù)據(jù)可視化三要素6.2常用圖形6.2.1餅圖（扇形圖）6.2.2堆積柱形圖6.2.3風玫瑰圖6.2.4柱狀圖6.2.5直方圖6.2.6氣泡圖6.2.7散點圖矩陣6.2.8折線圖6.2.9面積圖6.3數(shù)據(jù)可視化設(shè)計6.3.1數(shù)據(jù)可視化設(shè)計原則6.3.2數(shù)據(jù)可視化=數(shù)據(jù)+設(shè)計+故事6.3.3數(shù)據(jù)可視化圖形選擇建議6.4數(shù)據(jù)可視化工具6.4.1基本工具6.4.2進階工具6.5基于R語言可視化基礎(chǔ)6.5.1基本繪圖命令6.5.2ggplot2繪圖7.1零售行業(yè)大數(shù)據(jù)7.2交通大數(shù)據(jù)7.3醫(yī)療大數(shù)據(jù)習題7第7章大數(shù)據(jù)應(yīng)用7.1零售行業(yè)大數(shù)據(jù)7.1.1沃爾瑪?shù)馁徫锘@分析7.1.2農(nóng)夫山泉用海量照片提升銷量7.2交通大數(shù)據(jù)7.2.1交通擁堵大數(shù)據(jù)分析7.2.2預(yù)測起飛時間7.3醫(yī)療大數(shù)據(jù)7.3.1移動醫(yī)療與個人健康7.3.2基因測序——精準治癌正在成為現(xiàn)實8.1大數(shù)據(jù)安全的重要意義8.2大數(shù)據(jù)面臨的挑戰(zhàn)8.3大數(shù)據(jù)的安全威脅8.4大數(shù)據(jù)與網(wǎng)絡(luò)攻擊監(jiān)測8.5大數(shù)據(jù)安全分析12345第8章大數(shù)據(jù)安全8.6大數(shù)據(jù)安全標準習題88.7大數(shù)據(jù)安全技術(shù)第8章大數(shù)據(jù)安全8.3大數(shù)據(jù)的安全威脅8.3.1大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅8.3.2大數(shù)據(jù)存儲安全威脅8.3.3大數(shù)據(jù)的隱私泄露8.3.4大數(shù)據(jù)的其他安全威脅8.6大數(shù)據(jù)安全標準8.6.1基礎(chǔ)標準類8.6.2平臺和技術(shù)類8.6.3數(shù)據(jù)安全類8.6.4服務(wù)安全類8.6.5應(yīng)用安全類A.1基礎(chǔ)環(huán)境準備A.2安裝JDKA.3安裝HadoopA.4安裝ZookeeperA.