大數(shù)據(jù)技術(shù)原理與應(yīng)用計(jì)算機(jī)專業(yè)

1、大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 第一第一章章 大數(shù)據(jù)概述大數(shù)據(jù)概述大數(shù)據(jù)技術(shù)原理與應(yīng)用大數(shù)據(jù)技術(shù)原理與應(yīng)用http:/ 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 提綱1.1 大數(shù)據(jù)時(shí)代大數(shù)據(jù)時(shí)代1.2 大數(shù)據(jù)概念大數(shù)據(jù)概念1.3 大數(shù)據(jù)的影響大數(shù)據(jù)的影響1.4 大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的應(yīng)用1.5 大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)1.6 大數(shù)據(jù)計(jì)算模式大數(shù)據(jù)計(jì)算模式1.7 大數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)產(chǎn)業(yè)1.8 大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系歡迎訪問大數(shù)據(jù)技術(shù)原理與應(yīng)用教材官方網(wǎng)站：http:/ （2015年6月第1版）廈門大學(xué) 林子雨 編著，人民郵電出版社ISBN:978-7-1

2、15-39287-9大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.1大數(shù)據(jù)時(shí)代大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.1.1第三次信息化浪潮根據(jù)IBM前首席執(zhí)行官郭士納的觀點(diǎn)，IT領(lǐng)域每隔十五年就會(huì)迎來一次重大變革信息化浪潮信息化浪潮發(fā)生時(shí)間發(fā)生時(shí)間標(biāo)志標(biāo)志解決問題解決問題代表企業(yè)代表企業(yè)第一次浪潮1980年前后個(gè)人計(jì)算機(jī)信息處理Intel、AMD、IBM、蘋果、微軟、聯(lián)想、戴爾、惠普等第二次浪潮1995年前后互聯(lián)網(wǎng)信息傳輸雅虎、谷歌、阿里巴巴、百度、騰訊等第三次浪潮2010年前后物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)信息爆炸將涌現(xiàn)出一批新的市場(chǎng)標(biāo)桿企業(yè)表表1-1 三次信息化浪潮三次

3、信息化浪潮大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.1.2信息科技為大數(shù)據(jù)時(shí)代提供技術(shù)支撐圖1-1 存儲(chǔ)價(jià)格隨時(shí)間變化情況1. 存儲(chǔ)設(shè)備容量不斷增加存儲(chǔ)設(shè)備容量不斷增加大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.1.2信息科技為大數(shù)據(jù)時(shí)代提供技術(shù)支撐圖1-3 CPU晶體管數(shù)目隨時(shí)間變化情況2. CPU處理能力大幅提升處理能力大幅提升 大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.1.2信息科技為大數(shù)據(jù)時(shí)代提供技術(shù)支撐圖1-4 網(wǎng)絡(luò)帶寬隨時(shí)間變化情況3. 網(wǎng)絡(luò)帶寬不斷增加網(wǎng)絡(luò)帶寬不斷增加大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.1.3數(shù)據(jù)產(chǎn)生方式

4、的變革促成大數(shù)據(jù)時(shí)代的來臨圖1-5 數(shù)據(jù)產(chǎn)生方式的變革大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.1.4 大數(shù)據(jù)的發(fā)展歷程階段階段時(shí)間時(shí)間內(nèi)容內(nèi)容第一階段：萌芽期上世紀(jì)90年代至本世紀(jì)初隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫技術(shù)的逐步成熟，一批商業(yè)智能工具和知識(shí)管理技術(shù)開始被應(yīng)用，如數(shù)據(jù)倉庫、專家系統(tǒng)、知識(shí)管理系統(tǒng)等。第二階段：成熟期本世紀(jì)前十年Web2.0應(yīng)用迅猛發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)大量產(chǎn)生，傳統(tǒng)處理方法難以應(yīng)對(duì)，帶動(dòng)了大數(shù)據(jù)技術(shù)的快速突破，大數(shù)據(jù)解決方案逐漸走向成熟，形成了并行計(jì)算與分布式系統(tǒng)兩大核心技術(shù)，谷歌的GFD和MapReduce等發(fā)數(shù)據(jù)技術(shù)受到追捧，Hadoop平臺(tái)開始大行其道第三階

5、段：大規(guī)模應(yīng)用期2010年以后大數(shù)據(jù)應(yīng)用滲透各行各業(yè)，數(shù)據(jù)驅(qū)動(dòng)決策，信息社會(huì)智能化程度大幅提高表1-2 大數(shù)據(jù)發(fā)展的三個(gè)階段大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.2大數(shù)據(jù)概念大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.2.1數(shù)據(jù)量大n根據(jù)IDC作出的估測(cè)，數(shù)據(jù)一直都在以每年50%的速度增長(zhǎng)，也就是說每?jī)赡昃驮鲩L(zhǎng)一倍（大數(shù)據(jù)摩爾定律）n人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量n預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，相較于2010年，數(shù)據(jù)量將增長(zhǎng)近30倍大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.2.2數(shù)據(jù)類型繁多n 大數(shù)據(jù)是由結(jié)構(gòu)

6、化和非結(jié)構(gòu)化數(shù)據(jù)組成的 10%的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在數(shù)據(jù)庫中 90%的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相關(guān)n 非結(jié)構(gòu)化數(shù)據(jù)類型多樣 郵件、視頻、微博 位置信息、鏈接信息 手機(jī)呼叫、網(wǎng)頁點(diǎn)擊 “長(zhǎng)微博”大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.2.3處理速度快p 從數(shù)據(jù)的生成到消耗，時(shí)間窗口非常小，可用于生成決策的時(shí)間非常少p 1秒定律：這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.2.4價(jià)值密度低價(jià)值密度低，商業(yè)價(jià)值高價(jià)值密度低，商業(yè)價(jià)值高以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒，但是具有很高的商業(yè)價(jià)值大數(shù)據(jù)

7、技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.3大數(shù)據(jù)的影響大數(shù)據(jù)對(duì)科學(xué)研究、思維方式和社會(huì)發(fā)展都具有重要而深遠(yuǎn)的影響。在科學(xué)研究方面，大數(shù)據(jù)使得人類科學(xué)研究在經(jīng)歷了實(shí)驗(yàn)、理論、計(jì)算三種范式之后，迎來了第四種范式數(shù)據(jù)在思維方式方面，大數(shù)據(jù)具有“全樣而非抽樣、效率而非精確、相關(guān)而非因果”等三大顯著特征，完全顛覆了傳統(tǒng)的思維方式在社會(huì)發(fā)展方面，大數(shù)據(jù)決策逐漸成為一種新的決策方式，大數(shù)據(jù)應(yīng)用有力促進(jìn)了信息技術(shù)與各行業(yè)的深度融合，大數(shù)據(jù)開發(fā)大大推動(dòng)了新技術(shù)和新應(yīng)用的不斷涌現(xiàn)在就業(yè)市場(chǎng)方面，大數(shù)據(jù)的興起使得數(shù)據(jù)科學(xué)家成為熱門職業(yè)在人才培養(yǎng)方面，大數(shù)據(jù)的興起，將在很大程度上改變中國高校信息技術(shù)相關(guān)專業(yè)

8、的現(xiàn)有教學(xué)和科研體制大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.4大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)無處不在，包括金融、汽車、零售、餐飲、電信、能源、政務(wù)、醫(yī)療、體育、娛樂等在內(nèi)的社會(huì)各行各業(yè)都已經(jīng)融入了大數(shù)據(jù)的印跡大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.5大數(shù)據(jù)關(guān)鍵技術(shù)表1-5 大數(shù)據(jù)技術(shù)的不同層面及其功能技術(shù)層面技術(shù)層面功能功能數(shù)據(jù)采集利用ETL工具將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等，抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)；或者也可以把實(shí)時(shí)采集的數(shù)據(jù)作為流計(jì)算系統(tǒng)的輸入，進(jìn)行實(shí)時(shí)處理分析數(shù)據(jù)存

9、儲(chǔ)和管理利用分布式文件系統(tǒng)、數(shù)據(jù)倉庫、關(guān)系數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫等，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)的存儲(chǔ)和管理數(shù)據(jù)處理與分析利用分布式并行編程模型和計(jì)算框架，結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析；對(duì)分析結(jié)果進(jìn)行可視化呈現(xiàn)，幫助人們更好地理解數(shù)據(jù)、分析數(shù)據(jù)數(shù)據(jù)隱私和安全在從大數(shù)據(jù)中挖掘潛在的巨大商業(yè)價(jià)值和學(xué)術(shù)價(jià)值的同時(shí)，構(gòu)建隱私數(shù)據(jù)保護(hù)體系和數(shù)據(jù)安全體系，有效保護(hù)個(gè)人隱私和數(shù)據(jù)安全大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.6大數(shù)據(jù)計(jì)算模式大數(shù)據(jù)計(jì)算模式大數(shù)據(jù)計(jì)算模式解決問題解決問題代表產(chǎn)品代表產(chǎn)品批處理計(jì)算針對(duì)大規(guī)模數(shù)據(jù)的批量處理MapRed

10、uce、Spark等流計(jì)算針對(duì)流數(shù)據(jù)的實(shí)時(shí)計(jì)算Storm、S4、Flume、Streams、Puma、DStream、Super Mario、銀河流數(shù)據(jù)處理平臺(tái)等圖計(jì)算針對(duì)大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計(jì)算大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分析Dremel、Hive、Cassandra、Impala等表1-3 大數(shù)據(jù)計(jì)算模式及其代表產(chǎn)品大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.7大數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)產(chǎn)業(yè)是指一切與支撐大數(shù)據(jù)組織管理和價(jià)值發(fā)現(xiàn)相關(guān)的企業(yè)經(jīng)濟(jì)活動(dòng)的集合產(chǎn)業(yè)鏈環(huán)節(jié)產(chǎn)業(yè)鏈環(huán)節(jié)包含內(nèi)容包含內(nèi)容

11、IT基礎(chǔ)設(shè)施層包括提供硬件、軟件、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施以及提供咨詢、規(guī)劃和系統(tǒng)集成服務(wù)的企業(yè)，比如，提供數(shù)據(jù)中心解決方案的IBM、惠普和戴爾等，提供存儲(chǔ)解決方案的EMC，提供虛擬化管理軟件的微軟、思杰、SUN、Redhat等數(shù)據(jù)源層大數(shù)據(jù)生態(tài)圈里的數(shù)據(jù)提供者，是生物大數(shù)據(jù)（生物信息學(xué)領(lǐng)域的各類研究機(jī)構(gòu)）、交通大數(shù)據(jù)（交通主管部門）、醫(yī)療大數(shù)據(jù)（各大醫(yī)院、體檢機(jī)構(gòu)）、政務(wù)大數(shù)據(jù)（政府部門）、電商大數(shù)據(jù)（淘寶、天貓、蘇寧云商、京東等電商）、社交網(wǎng)絡(luò)大數(shù)據(jù)（微博、微信、人人網(wǎng)等）、搜索引擎大數(shù)據(jù)（百度、谷歌等）等各種數(shù)據(jù)的來源數(shù)據(jù)管理層包括數(shù)據(jù)抽取、轉(zhuǎn)換、存儲(chǔ)和管理等服務(wù)的各類企業(yè)或產(chǎn)品，比如分布式文件系

12、統(tǒng)（如Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、數(shù)據(jù)庫和數(shù)據(jù)倉庫（Oracle、MySQL、SQL Server、HBase、GreenPlum等）數(shù)據(jù)分析層包括提供分布式計(jì)算、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析等服務(wù)的各類企業(yè)或產(chǎn)品，比如，分布式計(jì)算框架MapReduce、統(tǒng)計(jì)分析軟件SPSS和SAS、數(shù)據(jù)挖掘工具Weka、數(shù)據(jù)可視化工具Tableau、BI工具（MicroStrategy、Cognos、BO）等等數(shù)據(jù)平臺(tái)層包括提供數(shù)據(jù)分享平臺(tái)、數(shù)據(jù)分析平臺(tái)、數(shù)據(jù)租售平臺(tái)等服務(wù)的企業(yè)或產(chǎn)品，比如阿里巴巴、谷歌、中國電信、百度等數(shù)據(jù)應(yīng)用層

13、提供智能交通、智慧醫(yī)療、智能物流、智能電網(wǎng)等行業(yè)應(yīng)用的企業(yè)、機(jī)構(gòu)或政府部門，比如交通主管部門、各大醫(yī)療機(jī)構(gòu)、菜鳥網(wǎng)絡(luò)、國家電網(wǎng)等大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領(lǐng)域最新的技術(shù)發(fā)展趨勢(shì)，三者相輔相成，既有聯(lián)系又有區(qū)別大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8.1云計(jì)算云計(jì)算實(shí)現(xiàn)了通過網(wǎng)絡(luò)提供可伸縮的、廉價(jià)的分布式計(jì)算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時(shí)隨地獲得所需的各種IT資源圖1-7 云計(jì)算的服務(wù)模式和類型 1. 云計(jì)算概念云計(jì)算概念大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系

14、林子雨 1.8.1云計(jì)算云計(jì)算關(guān)鍵技術(shù)包括：虛擬化、分布式存儲(chǔ)、分布式計(jì)算、多租戶等2. 云計(jì)算關(guān)鍵技術(shù)云計(jì)算關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8.1云計(jì)算云計(jì)算數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施，包括刀片服務(wù)器、寬帶網(wǎng)絡(luò)連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置等數(shù)據(jù)中心是云計(jì)算的重要載體，為云計(jì)算提供計(jì)算、存儲(chǔ)、帶寬等各種硬件資源，為各種平臺(tái)和應(yīng)用提供運(yùn)行支撐環(huán)境3. 云計(jì)算數(shù)據(jù)中心云計(jì)算數(shù)據(jù)中心大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8.1云計(jì)算政務(wù)云上可以部署公共安全管理、容災(zāi)備份、城市管理、應(yīng)急管理、智能交通、社會(huì)保障等應(yīng)用，通過集約化建設(shè)、管

15、理和運(yùn)行，可以實(shí)現(xiàn)信息資源整合和政務(wù)資源共享，推動(dòng)政務(wù)管理創(chuàng)新，加快向服務(wù)型政府轉(zhuǎn)型教育云可以有效整合幼兒教育、中小學(xué)教育、高等教育以及繼續(xù)教育等優(yōu)質(zhì)教育資源，逐步實(shí)現(xiàn)教育信息共享、教育資源共享及教育資源深度挖掘等目標(biāo)中小企業(yè)云能夠讓企業(yè)以低廉的成本建立財(cái)務(wù)、供應(yīng)鏈、客戶關(guān)系等管理應(yīng)用系統(tǒng)，大大降低企業(yè)信息化門檻，迅速提升企業(yè)信息化水平，增強(qiáng)企業(yè)市場(chǎng)競(jìng)爭(zhēng)力醫(yī)療云可以推動(dòng)醫(yī)院與醫(yī)院、醫(yī)院與社區(qū)、醫(yī)院與急救中心、醫(yī)院與家庭之間的服務(wù)共享，并形成一套全新的醫(yī)療健康服務(wù)系統(tǒng)，從而有效地提高醫(yī)療保健的質(zhì)量4. 云計(jì)算應(yīng)用云計(jì)算應(yīng)用大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8.1云計(jì)算 云計(jì)

16、算產(chǎn)業(yè)作為戰(zhàn)略性新興產(chǎn)業(yè)，近些年得到了迅速發(fā)展，形成了成熟的產(chǎn)業(yè)鏈結(jié)構(gòu)，產(chǎn)業(yè)涵蓋硬件與設(shè)備制造、基礎(chǔ)設(shè)施運(yùn)營、軟件與解決方案供應(yīng)商、基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺(tái)即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）、終端設(shè)備、云安全、云計(jì)算交付/咨詢/認(rèn)證等環(huán)節(jié)圖1-8 云計(jì)算產(chǎn)業(yè)鏈5. 云計(jì)算產(chǎn)業(yè)云計(jì)算產(chǎn)業(yè)大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8.2物聯(lián)網(wǎng)物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局部網(wǎng)絡(luò)或互聯(lián)網(wǎng)等通信技術(shù)把傳感器、控制器、機(jī)器、人員和物等通過新的方式聯(lián)在一起，形成人與物、物與物相聯(lián)，實(shí)現(xiàn)信息化和遠(yuǎn)程管理控制1. 物聯(lián)網(wǎng)概念物聯(lián)網(wǎng)概念圖1-9 物聯(lián)網(wǎng)體系架構(gòu)

17、大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8.2物聯(lián)網(wǎng)物聯(lián)網(wǎng)中的關(guān)鍵技術(shù)包括識(shí)別和感知技術(shù)（二維碼、RFID、傳感器等）、網(wǎng)絡(luò)與通信技術(shù)、數(shù)據(jù)挖掘與融合技術(shù)等2. 物聯(lián)網(wǎng)關(guān)鍵技術(shù)物聯(lián)網(wǎng)關(guān)鍵技術(shù)圖1-10 矩陣式二維碼 圖1-11 采用RFID芯片的公交卡 圖1-12 不同類型的傳感器 大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8.2物聯(lián)網(wǎng)物聯(lián)網(wǎng)已經(jīng)廣泛應(yīng)用于智能交通、智慧醫(yī)療、智能家居、環(huán)保監(jiān)測(cè)、智能安防、智能物流、智能電網(wǎng)、智慧農(nóng)業(yè)、智能工業(yè)等領(lǐng)域，對(duì)國民經(jīng)濟(jì)與社會(huì)發(fā)展起到了重要的推動(dòng)作用3.物聯(lián)網(wǎng)應(yīng)用物聯(lián)網(wǎng)應(yīng)用大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨

18、1.8.2物聯(lián)網(wǎng)完整的物聯(lián)網(wǎng)產(chǎn)業(yè)鏈主要包括核心感應(yīng)器件提供商、感知層末端設(shè)備提供商、網(wǎng)絡(luò)提供商、軟件與行業(yè)解決方案提供商、系統(tǒng)集成商、運(yùn)營及服務(wù)提供商等六大環(huán)節(jié)圖1-8 物聯(lián)網(wǎng)產(chǎn)業(yè)鏈4.物聯(lián)網(wǎng)產(chǎn)業(yè)物聯(lián)網(wǎng)產(chǎn)業(yè)大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 1.8.3大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領(lǐng)域最新的技術(shù)發(fā)展趨勢(shì)，三者既有區(qū)別又有聯(lián)系圖1-9 大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)之間的關(guān)系大數(shù)據(jù)技術(shù)原理與應(yīng)用 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 本章小結(jié)本章介紹了大數(shù)據(jù)技術(shù)的發(fā)展歷程，并指出信息科技的不斷進(jìn)步為大數(shù)據(jù)時(shí)代提供了技術(shù)支撐，數(shù)據(jù)產(chǎn)生方式的變革促成了大數(shù)據(jù)時(shí)代的來臨大數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)類型繁多、處理速度快、價(jià)值密度低等特點(diǎn)，統(tǒng)稱“4V”。大數(shù)據(jù)對(duì)科學(xué)研究、思維方式、社會(huì)發(fā)展、就業(yè)市場(chǎng)和人才培養(yǎng)等方面，都產(chǎn)生了重要的影響，深刻理解大數(shù)據(jù)的這些影響，有助于我們更好把握學(xué)習(xí)和應(yīng)用大數(shù)據(jù)的方向大數(shù)據(jù)在金融、汽車、零售、餐飲、電信、能源、政務(wù)、醫(yī)療、體育、娛樂等在內(nèi)的社會(huì)各行各業(yè)都得到了日益廣泛的應(yīng)用，深刻地改變著我們的社會(huì)生產(chǎn)和日常生活大數(shù)據(jù)并非單一的數(shù)據(jù)或技術(shù)，而是數(shù)據(jù)和大數(shù)據(jù)技術(shù)的綜合體。大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和管理、數(shù)據(jù)處理與分析、數(shù)據(jù)安全和隱私保護(hù)等幾個(gè)層面的內(nèi)容大數(shù)據(jù)產(chǎn)業(yè)包括IT基礎(chǔ)設(shè)施層