大數(shù)據(jù)模板課件

大數(shù)據(jù)模板課件123大數(shù)據(jù)概述大數(shù)據(jù)4V特性相關(guān)領(lǐng)域應(yīng)用4相關(guān)技術(shù)架構(gòu)目錄123大數(shù)據(jù)概述大數(shù)據(jù)4V特性相關(guān)領(lǐng)域應(yīng)用4相關(guān)技術(shù)架構(gòu)目錄1大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)生的背景什么是大數(shù)據(jù)大數(shù)據(jù)時代1大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)生的背景數(shù)據(jù)量級變化大數(shù)據(jù)產(chǎn)生背景數(shù)據(jù)量級不斷增加|根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜|

大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長TBPBZBEB數(shù)據(jù)量級變化大數(shù)據(jù)產(chǎn)生背景數(shù)據(jù)量級不斷增加|根據(jù)IDC地球上至今的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進(jìn)TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達(dá)到了1.8ZB。

而有市場研究機(jī)構(gòu)預(yù)測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達(dá)到35.2ZB（1ZB=10億TB）說明互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。1GB（Gigabyte）=1024MB1TB（Terabyte）=1024GB1PB（Petabyte）=1024TB1EB（Exabyte）=1024PB1ZB（Zettabyte）=1024EB地球上至今的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進(jìn)TB時大數(shù)據(jù)時代變化數(shù)據(jù)在web2.0的時代，人們從信息的被動接受者變成了主動創(chuàng)造者全球每秒鐘發(fā)送2.9百萬封電子郵件，每天會有2.88萬個小時的視頻上傳到Y(jié)outube，推特上每天發(fā)布5千萬條消息量級每月網(wǎng)民在Facebook上要花費(fèi)7千億分鐘，發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EBGoogle上每天需要處理24PB的數(shù)據(jù)…大數(shù)據(jù)時代變化數(shù)據(jù)在web2.0的時代，人們從信息的被動接數(shù)結(jié)多樣性大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。facebook社交網(wǎng)絡(luò)…淘寶、ebuy電子商務(wù)…微博、Apps移動互聯(lián)…數(shù)結(jié)多樣性大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一2大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度Value速度Velocity2大數(shù)據(jù)的4V特性體量Volume數(shù)據(jù)結(jié)構(gòu)海量存儲能力讀寫速度實(shí)時大數(shù)據(jù)分析hadoophbasesparkstrom數(shù)據(jù)結(jié)構(gòu)海量存儲能力讀寫速度實(shí)時大數(shù)據(jù)分析hadoophba大數(shù)據(jù)典型特性——存儲能力變化▲

數(shù)據(jù)量不斷增加，存儲能力也隨之不斷增強(qiáng)存儲能力大數(shù)據(jù)典型特性——存儲能力變化▲數(shù)據(jù)量不斷增加，存儲能力也大數(shù)據(jù)典型特性——讀寫速度提升▲與云計算相結(jié)合的大數(shù)據(jù)存儲速度顯著提升數(shù)據(jù)體量讀寫速度讀寫速度大數(shù)據(jù)典型特性——讀寫速度提升▲與云計算相結(jié)合的大數(shù)據(jù)存儲速大數(shù)據(jù)典型特性——多樣性發(fā)展▲數(shù)據(jù)結(jié)構(gòu)更加復(fù)雜，呈多樣性發(fā)展數(shù)據(jù)結(jié)構(gòu)多樣性大數(shù)據(jù)典型特性——多樣性發(fā)展▲數(shù)據(jù)結(jié)構(gòu)更加復(fù)雜，呈多樣性發(fā)展1234體量Volume多樣性Variety價值密度Value速度Velocity4V特性從非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長，比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍，是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍，總數(shù)據(jù)量的80~90%大數(shù)據(jù)的異構(gòu)和多樣性，多種形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)），無模式或者模式不明顯，不連貫的語法或句義大量的不相關(guān)信息對未來趨勢與模式的可預(yù)測分析，深度復(fù)雜分析，機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報告等）實(shí)時分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見影而非事后見效1234體量Volume多樣性Variety價值密度Valu3相關(guān)領(lǐng)域應(yīng)用3相關(guān)領(lǐng)域應(yīng)用軍事①建設(shè)公共基礎(chǔ)設(shè)施應(yīng)該如何選址？②怎樣有效提高公眾生活安全水平？③人口土地、資源利用如何優(yōu)化？④自然災(zāi)害、霧霾情況怎樣最大化去改善？⑤城市交通擁堵情況怎么去解決？合理規(guī)劃很重要食品安全消費(fèi)行業(yè)金融服務(wù)電子商務(wù)氣象交通環(huán)保醫(yī)療衛(wèi)生軍事①建設(shè)公共基礎(chǔ)設(shè)施應(yīng)該如何選址？合理規(guī)劃很重要食品安全消軍事食品安全消費(fèi)行業(yè)金融服務(wù)電子商務(wù)氣象交通環(huán)保醫(yī)療衛(wèi)生軍事食品安全消費(fèi)行業(yè)金融服務(wù)電子商務(wù)氣象交通環(huán)保醫(yī)療衛(wèi)生VS優(yōu)化城市實(shí)時交通信息：利用社交網(wǎng)絡(luò)和天氣數(shù)據(jù)來優(yōu)化最新的交通情況智能城市系統(tǒng)：自動通知消防、公安、醫(yī)院等，迅速到達(dá)現(xiàn)場處理自然災(zāi)害預(yù)測：實(shí)時監(jiān)測、對潛在危機(jī)做出快速響應(yīng)，通過衛(wèi)星和遙感技術(shù),遠(yuǎn)程獲取災(zāi)區(qū)情況，制定合理救援計劃智慧城市建設(shè)：宏觀調(diào)控人口、環(huán)境、土地資源利用等，做高效的城市規(guī)劃建設(shè)正確方式VS優(yōu)化實(shí)時交通信息：利用社交網(wǎng)絡(luò)和天氣數(shù)據(jù)來優(yōu)化最正確VS改善生活穿戴的裝備：根據(jù)睡眠模式、熱量消耗、心率等時刻監(jiān)控健康狀況提高醫(yī)療和研發(fā)：迅速解碼DNA，結(jié)合海量病例迅速制定最優(yōu)治療方案改善安全和執(zhí)法：國家實(shí)時監(jiān)控恐怖主義，企業(yè)防御網(wǎng)絡(luò)攻擊，警察利用社交、公共資源數(shù)據(jù)來匹配犯罪人員信息，捕捉罪犯正確方式VS改善穿戴的裝備：根據(jù)睡眠模式、熱量消耗、心率等正確用戶行為數(shù)據(jù)用戶消費(fèi)數(shù)據(jù)用戶社交等UGC數(shù)據(jù)培亞馬遜、SMG、淘寶信用卡中心、螞蟻金服谷歌地圖、大眾點(diǎn)評、美團(tuán)等APP的自動定位系統(tǒng)互聯(lián)網(wǎng)金融數(shù)據(jù)支付寶、陸金所用戶地理位置數(shù)據(jù)互聯(lián)網(wǎng)大數(shù)據(jù)簡單羅列幾個行業(yè)fackbook、新浪用戶行為數(shù)據(jù)用戶消費(fèi)數(shù)據(jù)用戶社交等UGC數(shù)據(jù)培亞馬遜、SMG合理使用大數(shù)據(jù)大數(shù)據(jù)之提高經(jīng)濟(jì)策略金融服務(wù)電子商務(wù)消費(fèi)行業(yè)根據(jù)用戶的喜好、交易記錄并制定權(quán)重匹配商品，提供準(zhǔn)確的推送根據(jù)不同地域、不同年齡段的人群的消費(fèi)情況及生活習(xí)慣，制定提供最優(yōu)服務(wù)的計劃結(jié)合熱點(diǎn)、題材、政策和歷史數(shù)據(jù)及趨勢分析，制定良好的方向合理使用大數(shù)據(jù)大數(shù)據(jù)之提高經(jīng)濟(jì)策略金融服務(wù)電子商務(wù)消費(fèi)行業(yè)根4相關(guān)技術(shù)云計算列數(shù)據(jù)庫實(shí)時分析hadoop生態(tài)集群4相關(guān)技術(shù)云計算數(shù)據(jù)庫數(shù)據(jù)靈活低價格高性能數(shù)據(jù)靈活非關(guān)系型（列）數(shù)據(jù)庫數(shù)據(jù)靈活低價格高性能數(shù)據(jù)靈活非關(guān)系型（列）性能對比優(yōu)點(diǎn)缺點(diǎn)優(yōu)點(diǎn)缺點(diǎn)易理解使用方便支持sql易于維護(hù)價格昂貴不能自動切片固定表結(jié)構(gòu)讀寫性能差高并發(fā)讀寫需求讀寫性能高基于鍵值對無耦合數(shù)據(jù)存儲格式豐富價格低大多免費(fèi)不提供sql支持學(xué)習(xí)成本高BI支持弱關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫NoSql場景不同效果也不同，目前NoSql是最為合適大數(shù)據(jù)發(fā)展的關(guān)系型數(shù)據(jù)庫：Mysql、Oracle、SQserver等非關(guān)系型數(shù)據(jù)庫：Hbase、MongoDB、Redis等性優(yōu)點(diǎn)缺點(diǎn)優(yōu)點(diǎn)缺點(diǎn)易理解價格昂貴不提供sql支持關(guān)系型數(shù)據(jù)云計算移動電話PCsTVsPDAsGPS導(dǎo)航汽車電子設(shè)備智能家電iPhoneDCs傳感器。。。我們已經(jīng)進(jìn)入一個無處不網(wǎng)、無時不網(wǎng)的時代！云計算（cloudcomputing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法，用戶通過電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心，按自己的需求進(jìn)行運(yùn)算。云移動電話PCsTVsPDAsGPS導(dǎo)航汽車電子設(shè)備智能家電大數(shù)據(jù)與云計算云計算與大數(shù)據(jù)的關(guān)系是靜與動的關(guān)系，前者強(qiáng)調(diào)的是計算、存儲能力；大數(shù)據(jù)需要處理大數(shù)據(jù)的能力（數(shù)據(jù)獲取、清洗、轉(zhuǎn)換、存儲、分析、統(tǒng)計等能力），其實(shí)就是強(qiáng)大的計算能力和數(shù)據(jù)存儲能力。大數(shù)據(jù)必須采用云端分布式架構(gòu)對海量數(shù)據(jù)進(jìn)行分布式存儲、分布式處理。云計算為大數(shù)據(jù)資源、大數(shù)據(jù)挖掘提供技術(shù)設(shè)施大數(shù)據(jù)挖掘?yàn)樵朴嬎憬ㄔO(shè)和運(yùn)作提供決策相互關(guān)聯(lián)性大數(shù)據(jù)與云計算云計算與大數(shù)據(jù)的關(guān)系是靜與動的關(guān)系，相互關(guān)聯(lián)性大數(shù)據(jù)之實(shí)時分析是指對規(guī)模巨大的數(shù)據(jù)進(jìn)行分析，利用大數(shù)據(jù)技術(shù)高效的快速完成分析，達(dá)到近似實(shí)時的效果，更及時的反映數(shù)據(jù)的價值和意義。大數(shù)據(jù)之是指對規(guī)模巨大的數(shù)據(jù)進(jìn)行分析，利用大數(shù)據(jù)技術(shù)高效的快近實(shí)時的數(shù)據(jù)分析，是傳統(tǒng)架構(gòu)的50-1000倍高效的響應(yīng)速度在當(dāng)今互聯(lián)網(wǎng)顯得極為重要

實(shí)時大數(shù)據(jù)分析spark實(shí)時分析框架共性：開源的分布式系統(tǒng)，具有低延遲、可擴(kuò)展和容錯性諸多優(yōu)點(diǎn)流式實(shí)時分析框架storm近實(shí)時的數(shù)據(jù)分析，是傳統(tǒng)架構(gòu)的50-1000倍高效的響應(yīng)速度Hadoop集群什么是hadoop?集群又是什么？是編程語言嗎？作用？設(shè)計理念？跟大數(shù)據(jù)有什么關(guān)系？Hadoop集群什么是hadoop?是編程語言嗎？作用？跟大Hadoop是開源平臺,本身不是數(shù)據(jù)庫,但可處理非結(jié)構(gòu)化數(shù)據(jù)這點(diǎn)關(guān)系數(shù)據(jù)庫很難做到j(luò)ava、android等程序是用來做交互的，而hadoop是用來做計算的Hadoop是開源平臺,本身不是數(shù)據(jù)庫,但可處理非結(jié)構(gòu)哪些公司在使用Hadoop哪些公司在使用Hadoop為什么使用Hadoop小型機(jī)小型機(jī)VPSVPSVPSVPS存儲陣列數(shù)據(jù)移動EMC存儲OracleIBM磁盤IO瓶頸帶寬瓶頸計算瓶頸cpucpu基于共享存儲和高性能計算的架構(gòu)。大型機(jī)和小型機(jī)的差別存儲陣列和普通硬盤的差別IO,穩(wěn)定性。IO能力和機(jī)器數(shù)量成非正比計算能力和機(jī)器數(shù)量成正比scale-up(縱向擴(kuò)展)為什么使用Hadoop小型機(jī)小型機(jī)VPSVPSVPSVPS存集群思路引入一戶人家，家里有很多的田，他需要牛來耕地，他要怎么來決策耕田的問題呢？一只普通的牛體力有限，很快就不行了換一只昂貴的身材健碩的牛呢？還是體力有限，很快就又不行了最后他想到一個辦法：如果找一群普通的牛，事實(shí)不會又便宜又高效呢？集群的概念就是這么得來的集群思路引入一戶人家，家里有很多的田，他需要牛來耕地，他要怎特性HDFS:HadoopDistributedFileSystem

分布式文件系統(tǒng)MapReduce：分布式運(yùn)算框架YARN:YetAnotherResourceNegotiator資源管理調(diào)度系統(tǒng)特HDFS:HadoopDistributedFile生態(tài)圈生問題：怎樣存儲海量數(shù)據(jù)？HDFS分布式文件系統(tǒng)兩個思想十分重要1.切分2.分裝問題：怎樣存儲海量數(shù)據(jù)？HDFS分布式文件系統(tǒng)兩個思想十分MapReduce介紹MapReduce=Map（拆分）+Reduce（合并、排序）MapReduce介紹MapReduce=Map（拆分大數(shù)據(jù)時代來臨一切真相將會展現(xiàn)在我們面前大數(shù)據(jù)時代來臨一切真相將會展現(xiàn)在我們面前大數(shù)據(jù)模板課件大數(shù)據(jù)模板課件123大數(shù)據(jù)概述大數(shù)據(jù)4V特性相關(guān)領(lǐng)域應(yīng)用4相關(guān)技術(shù)架構(gòu)目錄123大數(shù)據(jù)概述大數(shù)據(jù)4V特性相關(guān)領(lǐng)域應(yīng)用4相關(guān)技術(shù)架構(gòu)目錄1大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)生的背景什么是大數(shù)據(jù)大數(shù)據(jù)時代1大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)生的背景數(shù)據(jù)量級變化大數(shù)據(jù)產(chǎn)生背景數(shù)據(jù)量級不斷增加|根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜|

大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長TBPBZBEB數(shù)據(jù)量級變化大數(shù)據(jù)產(chǎn)生背景數(shù)據(jù)量級不斷增加|根據(jù)IDC地球上至今的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進(jìn)TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達(dá)到了1.8ZB。

而有市場研究機(jī)構(gòu)預(yù)測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達(dá)到35.2ZB（1ZB=10億TB）說明互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。1GB（Gigabyte）=1024MB1TB（Terabyte）=1024GB1PB（Petabyte）=1024TB1EB（Exabyte）=1024PB1ZB（Zettabyte）=1024EB地球上至今的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進(jìn)TB時大數(shù)據(jù)時代變化數(shù)據(jù)在web2.0的時代，人們從信息的被動接受者變成了主動創(chuàng)造者全球每秒鐘發(fā)送2.9百萬封電子郵件，每天會有2.88萬個小時的視頻上傳到Y(jié)outube，推特上每天發(fā)布5千萬條消息量級每月網(wǎng)民在Facebook上要花費(fèi)7千億分鐘，發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EBGoogle上每天需要處理24PB的數(shù)據(jù)…大數(shù)據(jù)時代變化數(shù)據(jù)在web2.0的時代，人們從信息的被動接數(shù)結(jié)多樣性大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。facebook社交網(wǎng)絡(luò)…淘寶、ebuy電子商務(wù)…微博、Apps移動互聯(lián)…數(shù)結(jié)多樣性大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一2大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度Value速度Velocity2大數(shù)據(jù)的4V特性體量Volume數(shù)據(jù)結(jié)構(gòu)海量存儲能力讀寫速度實(shí)時大數(shù)據(jù)分析hadoophbasesparkstrom數(shù)據(jù)結(jié)構(gòu)海量存儲能力讀寫速度實(shí)時大數(shù)據(jù)分析hadoophba大數(shù)據(jù)典型特性——存儲能力變化▲

數(shù)據(jù)量不斷增加，存儲能力也隨之不斷增強(qiáng)存儲能力大數(shù)據(jù)典型特性——存儲能力變化▲數(shù)據(jù)量不斷增加，存儲能力也大數(shù)據(jù)典型特性——讀寫速度提升▲與云計算相結(jié)合的大數(shù)據(jù)存儲速度顯著提升數(shù)據(jù)體量讀寫速度讀寫速度大數(shù)據(jù)典型特性——讀寫速度提升▲與云計算相結(jié)合的大數(shù)據(jù)存儲速大數(shù)據(jù)典型特性——多樣性發(fā)展▲數(shù)據(jù)結(jié)構(gòu)更加復(fù)雜，呈多樣性發(fā)展數(shù)據(jù)結(jié)構(gòu)多樣性大數(shù)據(jù)典型特性——多樣性發(fā)展▲數(shù)據(jù)結(jié)構(gòu)更加復(fù)雜，呈多樣性發(fā)展1234體量Volume多樣性Variety價值密度Value速度Velocity4V特性從非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長，比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍，是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍，總數(shù)據(jù)量的80~90%大數(shù)據(jù)的異構(gòu)和多樣性，多種形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)），無模式或者模式不明顯，不連貫的語法或句義大量的不相關(guān)信息對未來趨勢與模式的可預(yù)測分析，深度復(fù)雜分析，機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報告等）實(shí)時分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見影而非事后見效1234體量Volume多樣性Variety價值密度Valu3相關(guān)領(lǐng)域應(yīng)用3相關(guān)領(lǐng)域應(yīng)用軍事①建設(shè)公共基礎(chǔ)設(shè)施應(yīng)該如何選址？②怎樣有效提高公眾生活安全水平？③人口土地、資源利用如何優(yōu)化？④自然災(zāi)害、霧霾情況怎樣最大化去改善？⑤城市交通擁堵情況怎么去解決？合理規(guī)劃很重要食品安全消費(fèi)行業(yè)金融服務(wù)電子商務(wù)氣象交通環(huán)保醫(yī)療衛(wèi)生軍事①建設(shè)公共基礎(chǔ)設(shè)施應(yīng)該如何選址？合理規(guī)劃很重要食品安全消軍事食品安全消費(fèi)行業(yè)金融服務(wù)電子商務(wù)氣象交通環(huán)保醫(yī)療衛(wèi)生軍事食品安全消費(fèi)行業(yè)金融服務(wù)電子商務(wù)氣象交通環(huán)保醫(yī)療衛(wèi)生VS優(yōu)化城市實(shí)時交通信息：利用社交網(wǎng)絡(luò)和天氣數(shù)據(jù)來優(yōu)化最新的交通情況智能城市系統(tǒng)：自動通知消防、公安、醫(yī)院等，迅速到達(dá)現(xiàn)場處理自然災(zāi)害預(yù)測：實(shí)時監(jiān)測、對潛在危機(jī)做出快速響應(yīng)，通過衛(wèi)星和遙感技術(shù),遠(yuǎn)程獲取災(zāi)區(qū)情況，制定合理救援計劃智慧城市建設(shè)：宏觀調(diào)控人口、環(huán)境、土地資源利用等，做高效的城市規(guī)劃建設(shè)正確方式VS優(yōu)化實(shí)時交通信息：利用社交網(wǎng)絡(luò)和天氣數(shù)據(jù)來優(yōu)化最正確VS改善生活穿戴的裝備：根據(jù)睡眠模式、熱量消耗、心率等時刻監(jiān)控健康狀況提高醫(yī)療和研發(fā)：迅速解碼DNA，結(jié)合海量病例迅速制定最優(yōu)治療方案改善安全和執(zhí)法：國家實(shí)時監(jiān)控恐怖主義，企業(yè)防御網(wǎng)絡(luò)攻擊，警察利用社交、公共資源數(shù)據(jù)來匹配犯罪人員信息，捕捉罪犯正確方式VS改善穿戴的裝備：根據(jù)睡眠模式、熱量消耗、心率等正確用戶行為數(shù)據(jù)用戶消費(fèi)數(shù)據(jù)用戶社交等UGC數(shù)據(jù)培亞馬遜、SMG、淘寶信用卡中心、螞蟻金服谷歌地圖、大眾點(diǎn)評、美團(tuán)等APP的自動定位系統(tǒng)互聯(lián)網(wǎng)金融數(shù)據(jù)支付寶、陸金所用戶地理位置數(shù)據(jù)互聯(lián)網(wǎng)大數(shù)據(jù)簡單羅列幾個行業(yè)fackbook、新浪用戶行為數(shù)據(jù)用戶消費(fèi)數(shù)據(jù)用戶社交等UGC數(shù)據(jù)培亞馬遜、SMG合理使用大數(shù)據(jù)大數(shù)據(jù)之提高經(jīng)濟(jì)策略金融服務(wù)電子商務(wù)消費(fèi)行業(yè)根據(jù)用戶的喜好、交易記錄并制定權(quán)重匹配商品，提供準(zhǔn)確的推送根據(jù)不同地域、不同年齡段的人群的消費(fèi)情況及生活習(xí)慣，制定提供最優(yōu)服務(wù)的計劃結(jié)合熱點(diǎn)、題材、政策和歷史數(shù)據(jù)及趨勢分析，制定良好的方向合理使用大數(shù)據(jù)大數(shù)據(jù)之提高經(jīng)濟(jì)策略金融服務(wù)電子商務(wù)消費(fèi)行業(yè)根4相關(guān)技術(shù)云計算列數(shù)據(jù)庫實(shí)時分析hadoop生態(tài)集群4相關(guān)技術(shù)云計算數(shù)據(jù)庫數(shù)據(jù)靈活低價格高性能數(shù)據(jù)靈活非關(guān)系型（列）數(shù)據(jù)庫數(shù)據(jù)靈活低價格高性能數(shù)據(jù)靈活非關(guān)系型（列）性能對比優(yōu)點(diǎn)缺點(diǎn)優(yōu)點(diǎn)缺點(diǎn)易理解使用方便支持sql易于維護(hù)價格昂貴不能自動切片固定表結(jié)構(gòu)讀寫性能差高并發(fā)讀寫需求讀寫性能高基于鍵值對無耦合數(shù)據(jù)存儲格式豐富價格低大多免費(fèi)不提供sql支持學(xué)習(xí)成本高BI支持弱關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫NoSql場景不同效果也不同，目前NoSql是最為合適大數(shù)據(jù)發(fā)展的關(guān)系型數(shù)據(jù)庫：Mysql、Oracle、SQserver等非關(guān)系型數(shù)據(jù)庫：Hbase、MongoDB、Redis等性優(yōu)點(diǎn)缺點(diǎn)優(yōu)點(diǎn)缺點(diǎn)易理解價格昂貴不提供sql支持關(guān)系型數(shù)據(jù)云計算移動電話PCsTVsPDAsGPS導(dǎo)航汽車電子設(shè)備智能家電iPhoneDCs傳感器。。。我們已經(jīng)進(jìn)入一個無處不網(wǎng)、無時不網(wǎng)的時代！云計算（cloudcomputing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法，用戶通過電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心，按自己的需求進(jìn)行運(yùn)算。云移動電話PCsTVsPDAsGPS導(dǎo)航汽車電子設(shè)備智能家電大數(shù)據(jù)與云計算云計算與大數(shù)據(jù)的關(guān)系是靜與動的關(guān)系，前者強(qiáng)調(diào)的是計算、存儲能力；大數(shù)據(jù)需要處理大數(shù)據(jù)的能力（數(shù)據(jù)獲取、清洗、轉(zhuǎn)換、存儲、分析、統(tǒng)計等能力），其實(shí)就是強(qiáng)大的計算能力和數(shù)據(jù)存儲能力。大數(shù)據(jù)必須采用云端分布式架構(gòu)對海量數(shù)據(jù)進(jìn)行分布式存儲、分布式處理。云計算為大數(shù)據(jù)資源、大數(shù)據(jù)挖掘提供技術(shù)設(shè)施大數(shù)據(jù)挖掘?yàn)樵朴嬎憬ㄔO(shè)和運(yùn)作提供決策相互關(guān)聯(lián)性大數(shù)據(jù)與云計算云計算與大數(shù)據(jù)的關(guān)系是靜與動的關(guān)系，相互關(guān)聯(lián)性大數(shù)據(jù)之實(shí)時分析是指對規(guī)模巨大的數(shù)據(jù)進(jìn)行分析，利用大數(shù)據(jù)技術(shù)高效的快速完成分析，達(dá)到近似實(shí)時的效果，更及時的反映數(shù)據(jù)的價值和意義。大數(shù)據(jù)之是指對規(guī)模巨大的數(shù)據(jù)進(jìn)行分析，利用大數(shù)據(jù)技術(shù)高效的快近實(shí)時的數(shù)據(jù)分析，是傳統(tǒng)架構(gòu)的50-1000倍高效的響應(yīng)速度在當(dāng)今互聯(lián)網(wǎng)顯得極為重要

實(shí)時大數(shù)據(jù)分析spark實(shí)時分析框架共性：開源的分布式系統(tǒng)，具有低延遲、可擴(kuò)展和容錯性諸多優(yōu)點(diǎn)流式實(shí)時分析框架storm近實(shí)時的數(shù)據(jù)分析，是傳統(tǒng)架構(gòu)的50-1000倍高效的響應(yīng)速度Hadoop集群什么是hadoop?集群又是什么？