云計(jì)算與大數(shù)據(jù)技術(shù) 課件6.1大數(shù)據(jù)簡(jiǎn)介

大數(shù)據(jù)概述6.1認(rèn)知大數(shù)據(jù)互聯(lián)網(wǎng)上的電商平臺(tái)、移動(dòng)互聯(lián)網(wǎng)上的微博、微信、自媒體、物聯(lián)網(wǎng)上的各種傳感器，醫(yī)療行業(yè)的醫(yī)療影像、公安系統(tǒng)的安全監(jiān)控、交通影像、車聯(lián)網(wǎng)等都是產(chǎn)生大量數(shù)據(jù)的地方，這些數(shù)據(jù)以文件、圖片、視頻等形式存在。大數(shù)據(jù)主要包含兩個(gè)層面的意思：一個(gè)層面是大數(shù)據(jù)來(lái)源多、體量大、類型多；另一個(gè)層面是大數(shù)據(jù)的技術(shù)，即從各種各樣類型的數(shù)據(jù)中，快速獲取有價(jià)值信息的技術(shù)。大數(shù)據(jù)的定義大數(shù)據(jù)（BigData）是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，它具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低的特點(diǎn)。大數(shù)據(jù)具有4V特點(diǎn)，即Volume（體量大）、Velocity（處理速度快）、Variety（數(shù)據(jù)類型多）、Value（價(jià)值密度低、商業(yè)價(jià)值高）。大數(shù)據(jù)特點(diǎn)大數(shù)據(jù)具有4V特點(diǎn)，即Volume（體量大）、Velocity（處理速度快）、Variety（數(shù)據(jù)類型多）、Value（價(jià)值密度低、商業(yè)價(jià)值高）。大數(shù)據(jù)系統(tǒng)架構(gòu)從大數(shù)據(jù)的兩層含義可以發(fā)現(xiàn)，需要一個(gè)非常規(guī)的大數(shù)據(jù)系統(tǒng)完成大數(shù)據(jù)的采集、存儲(chǔ)、處理分析和展示，從而快速獲取有價(jià)值的信息。大數(shù)據(jù)系統(tǒng)能夠支持海量的數(shù)據(jù)存儲(chǔ)和快速的大數(shù)據(jù)計(jì)算，其核心理念是實(shí)現(xiàn)并行化存儲(chǔ)和計(jì)算、規(guī)模經(jīng)濟(jì)和虛擬化。大數(shù)據(jù)系統(tǒng)架構(gòu)分布式系統(tǒng)可以滿足以上大數(shù)據(jù)系統(tǒng)的需求（1）并行化

在一個(gè)計(jì)算資源處理不了的情況，可以使用多個(gè)計(jì)算資源同時(shí)處理，實(shí)現(xiàn)海量的存儲(chǔ)和計(jì)算及快速的處理和計(jì)算的顯式需求。分布式存儲(chǔ)和計(jì)算是云計(jì)算的特點(diǎn)，決定了云計(jì)算是大數(shù)據(jù)系統(tǒng)的基礎(chǔ)。大數(shù)據(jù)系統(tǒng)架構(gòu)分布式系統(tǒng)可以滿足以上大數(shù)據(jù)系統(tǒng)的需求（2）規(guī)模經(jīng)濟(jì)

一次性投入成本高，可以通過(guò)大規(guī)模的應(yīng)用用戶分?jǐn)偝杀?，總體平均成本低。規(guī)模經(jīng)濟(jì)是云服務(wù)本身的特點(diǎn)，也是它的終極目標(biāo)。（3）虛擬化

多種多樣的軟硬件設(shè)備放在一起不好管理，可以通過(guò)虛擬化技術(shù)進(jìn)行抽象，封裝復(fù)雜的實(shí)現(xiàn)和簡(jiǎn)單易用的接口調(diào)用。大數(shù)據(jù)系統(tǒng)架構(gòu)隨著存儲(chǔ)成本的下降和云計(jì)算提供的彈性計(jì)算能力的增強(qiáng)，越來(lái)越多的大數(shù)據(jù)應(yīng)用場(chǎng)景需要采用基于云計(jì)算的大數(shù)據(jù)系統(tǒng)架構(gòu)大數(shù)據(jù)系統(tǒng)架構(gòu)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)技術(shù)起源于搜索引擎應(yīng)用，目前它的主要應(yīng)用場(chǎng)景依然是互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)領(lǐng)域。電商行業(yè)是最早將大數(shù)據(jù)應(yīng)用于商品推薦和營(yíng)銷活動(dòng)優(yōu)化或精準(zhǔn)營(yíng)銷（淘寶、拼多多）的，可以根據(jù)消費(fèi)者的習(xí)慣提前生產(chǎn)物料并進(jìn)行物流管理，這樣有利于社會(huì)的精細(xì)化生產(chǎn)。同時(shí)，大數(shù)據(jù)還有其他互聯(lián)網(wǎng)應(yīng)用，最常見(jiàn)的應(yīng)用包括計(jì)算廣告（依據(jù)用戶和內(nèi)容數(shù)據(jù)動(dòng)態(tài)決定廣告投放策略和定價(jià)）、內(nèi)容