大數(shù)據(jù)處理的基本思想和框架課件高中信息技術(shù)浙教版必修1

4.2.1大數(shù)據(jù)處理的基本思想和框架第四章第四章大數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)來(lái)源于類型多樣、處理速度快等特點(diǎn)，簡(jiǎn)單的表格處理軟件已經(jīng)無(wú)法滿足大數(shù)據(jù)的處理需求，同時(shí)，大數(shù)據(jù)技術(shù)、理論和處理方法也在不斷發(fā)展，為大數(shù)據(jù)的處理提供了越來(lái)越有力的支持。量大速度快，類多價(jià)值低大數(shù)據(jù)的特征★分——將問(wèn)題分解為規(guī)模更小的子問(wèn)題★治——將規(guī)模更小的子問(wèn)題逐個(gè)擊破★合——將已解決的子問(wèn)題合并，最終得出原問(wèn)題的解大數(shù)據(jù)處理思想——分治

開(kāi)發(fā)“羊了個(gè)羊”小程序?qū)懘a畫界面設(shè)計(jì)游戲宣傳計(jì)算機(jī)專業(yè)美術(shù)專業(yè)計(jì)算機(jī)專業(yè)新媒體專業(yè)成果分治思想大數(shù)據(jù)處理分類大數(shù)據(jù)處理靜態(tài)數(shù)據(jù)流數(shù)據(jù)圖數(shù)據(jù)★靜態(tài)數(shù)據(jù)：在處理時(shí)已收集完成、在計(jì)算式不會(huì)發(fā)生改變的數(shù)據(jù)

★流數(shù)據(jù)：是指不間斷地、持續(xù)地到達(dá)的實(shí)時(shí)數(shù)據(jù)，隨著時(shí)間的流逝，流數(shù)據(jù)的價(jià)值也隨之降低，通過(guò)實(shí)時(shí)分析計(jì)算可以得到更有價(jià)值的分析的結(jié)果.★圖數(shù)據(jù)：以社交網(wǎng)絡(luò)、道路交通等數(shù)據(jù)為例的眾多以圖為數(shù)據(jù)呈現(xiàn)形式的數(shù)據(jù)，或者轉(zhuǎn)化為圖之后再進(jìn)行分析靜態(tài)數(shù)據(jù)——批處理Hadoop是一個(gè)運(yùn)行于計(jì)算機(jī)集群上的分布式系統(tǒng)基礎(chǔ)架構(gòu)，適用于靜態(tài)數(shù)據(jù)的批處理計(jì)算。Spark與hadoop相似，應(yīng)用較廣的開(kāi)源分布式計(jì)算架構(gòu)。Spark啟用了內(nèi)存存儲(chǔ)中間結(jié)果，運(yùn)行速度比hadoop快。批處理計(jì)算HDFS數(shù)據(jù)以文件的形式、用多副本保存在不同的存儲(chǔ)節(jié)點(diǎn)中，并進(jìn)行分布式管理容錯(cuò)性高，可以部署在廉價(jià)的機(jī)器中應(yīng)用：云盤、網(wǎng)盤HBase功能：采用基于列的存儲(chǔ)方式，用于存儲(chǔ)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具有良好的橫向擴(kuò)展能力，可管理PB級(jí)的大數(shù)據(jù)，是BigTable的開(kāi)源實(shí)現(xiàn)。特點(diǎn)：高可靠、高性能、可伸縮、分布式Hbase(數(shù)據(jù)存儲(chǔ)與管理)分布式并行計(jì)算模型MapReduceMapReduce主要用于處理大規(guī)模數(shù)據(jù)集的并行運(yùn)算，由Map（映射）和Reduce（歸納）兩部分組成。它的核心思想就是將任務(wù)分解并發(fā)到多個(gè)節(jié)點(diǎn)上進(jìn)行處理，最后匯總輸出。批處理計(jì)算不間斷地、持續(xù)地到達(dá)的實(shí)時(shí)數(shù)據(jù)。流數(shù)據(jù)的價(jià)值會(huì)隨著時(shí)間的流逝而降低。

對(duì)采集的數(shù)據(jù)實(shí)時(shí)分析和計(jì)算并反饋實(shí)時(shí)結(jié)果。經(jīng)處理系統(tǒng)或處理完成的數(shù)據(jù)流直接丟棄或存儲(chǔ)用戶可以實(shí)時(shí)查詢最新數(shù)據(jù)分析結(jié)果，數(shù)據(jù)不斷更新，實(shí)時(shí)推薦給用戶流計(jì)算應(yīng)用：廣告推送、個(gè)性化推薦、實(shí)時(shí)交通流計(jì)算軟件：Heron、Storm、Streams、S4、Puma流數(shù)據(jù)——流計(jì)算

流處理系統(tǒng)處理的是實(shí)時(shí)的數(shù)據(jù)，而傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)處理的是預(yù)先存儲(chǔ)好的靜態(tài)數(shù)據(jù)。用戶通過(guò)流處理系統(tǒng)獲取的一般是實(shí)時(shí)結(jié)果，而傳統(tǒng)的數(shù)據(jù)處理方式獲取的都是過(guò)去某一個(gè)歷史時(shí)刻的快照。流處理系統(tǒng)會(huì)實(shí)時(shí)地把生成的結(jié)果不斷的推動(dòng)給用戶，傳統(tǒng)數(shù)據(jù)需要用戶主動(dòng)查詢才能獲取數(shù)據(jù)。混合平臺(tái)（批處理&流計(jì)算）的整合縮短了批處理與流處理之間的切換延時(shí)時(shí)間，有利于減少系統(tǒng)的開(kāi)銷，降低使用成本。傳統(tǒng)數(shù)據(jù)與流數(shù)據(jù)現(xiàn)實(shí)世界中以圖形式展現(xiàn)的數(shù)據(jù)。如社交網(wǎng)絡(luò)、道路交通等。圖處理軟件：Pregel、GraphX

圖數(shù)據(jù)——圖計(jì)算練一練1.下列關(guān)于流數(shù)據(jù)的描述不正確的是（

）

A.數(shù)據(jù)在處理時(shí)已經(jīng)采集完成

B.數(shù)據(jù)價(jià)值隨著時(shí)間的流逝降低

C.實(shí)時(shí)分析流數(shù)據(jù)可以得到更有價(jià)值的結(jié)果

D.可以采用流計(jì)算進(jìn)行實(shí)時(shí)分析A練一練2.下列關(guān)于Hadoop架構(gòu)的描述正確的是（

）A.是一個(gè)對(duì)大數(shù)據(jù)進(jìn)行聚合式處理的基礎(chǔ)軟件框架B.不能運(yùn)行于大規(guī)模計(jì)算機(jī)集群上C.采用NTFS文件系統(tǒng)管理數(shù)據(jù)文件D.采用MapReduce編程模型處理大規(guī)模數(shù)據(jù)集D練一練2.下列關(guān)于Hadoop架構(gòu)的描述正確的是（

）A.是一個(gè)對(duì)大數(shù)據(jù)進(jìn)行聚合式處理的基礎(chǔ)軟件框架

B.不能運(yùn)行于大規(guī)模計(jì)算機(jī)集群上C.采用NTFS文件系統(tǒng)管理數(shù)據(jù)文件D.采用MapReduce編程模型處理大規(guī)模數(shù)據(jù)集D練一練3.下列軟件主要用于進(jìn)行流計(jì)算的有（

）

A.Hadoop

B.Storm

C.Pregel

D.SparkB練一練4.實(shí)時(shí)處理與批處理整合的優(yōu)勢(shì)有（

）①可以在同一個(gè)平臺(tái)做