大數(shù)據(jù)及其相關(guān)新興技術(shù)

大數(shù)據(jù)及其相關(guān)新興技術(shù)

BigDataandIt’sRelatedEmergingTechnologies2014年8月陳國良深圳大學(xué)計算機與軟件學(xué)院Version1:07/2013...Version8:08/20142摘要：大數(shù)據(jù)、物聯(lián)網(wǎng)和云計算是新一代信息技術(shù)發(fā)展中的華彩樂章。物聯(lián)網(wǎng)使成千上萬的網(wǎng)絡(luò)傳感器嵌入到現(xiàn)實世界中，云計算為物聯(lián)網(wǎng)產(chǎn)生的海量數(shù)據(jù)提供了存儲空間和在線處理，而大數(shù)據(jù)則讓海量數(shù)據(jù)產(chǎn)生了價值。本報告，首先介紹大數(shù)據(jù)世界和大數(shù)據(jù)潮流；其次講解什么是大數(shù)據(jù)和大數(shù)據(jù)的一般處理流程；接著介紹產(chǎn)生大數(shù)據(jù)來源之一的物聯(lián)網(wǎng)的產(chǎn)生、發(fā)展及其系統(tǒng)架構(gòu)；然后講述大數(shù)據(jù)與云計算的關(guān)系和兩者的異同點；最后在簡介高性能計算與高性能計算機的基礎(chǔ)上，闡述了在大數(shù)據(jù)面前高性能計算本身所面臨的技術(shù)挑戰(zhàn)等。目錄3大數(shù)據(jù)浪潮洶涌澎湃1.1大數(shù)據(jù)世界1.2大數(shù)據(jù)潮流1.3什么是大數(shù)據(jù)1.4變革思維研究大數(shù)據(jù)1.5大數(shù)據(jù)的價值1.6大數(shù)據(jù)的管理1.7大數(shù)據(jù)時代的產(chǎn)業(yè)界情況大數(shù)據(jù)引領(lǐng)社會、經(jīng)濟和科技發(fā)展2.1大數(shù)據(jù)對國家社會的作用2.2大數(shù)據(jù)推動國民經(jīng)濟發(fā)展2.3大數(shù)據(jù)促進科技發(fā)展2.4大數(shù)據(jù)應(yīng)用及實例大數(shù)據(jù)的處理流程3.1大數(shù)據(jù)的采集與預(yù)處理3.2大數(shù)據(jù)的傳輸3.3大數(shù)據(jù)的存儲3.4大數(shù)據(jù)的處理3.5大數(shù)據(jù)的展現(xiàn)大數(shù)據(jù)與物聯(lián)網(wǎng)4.1物聯(lián)網(wǎng)4.2物聯(lián)網(wǎng)的發(fā)展歷程4.3大數(shù)據(jù)與物聯(lián)網(wǎng)大數(shù)據(jù)與云計算5.1什么是云計算5.2大數(shù)據(jù)與云計算的關(guān)系5.3大數(shù)據(jù)與云計算的不同點高性能計算與高性能計算機6.1什么是高性能計算6.2高性能計算機系統(tǒng)舉例6.3高性能計算應(yīng)用高性能計算面臨大數(shù)據(jù)的挑戰(zhàn)7.1計算模型的轉(zhuǎn)變7.2系統(tǒng)結(jié)構(gòu)的轉(zhuǎn)變7.3編程模型的轉(zhuǎn)變7.4應(yīng)用方式的轉(zhuǎn)變7.5其他方面的轉(zhuǎn)變結(jié)論8.1從量變到質(zhì)變8.2各領(lǐng)風(fēng)騷十?dāng)?shù)年1、大數(shù)據(jù)浪潮洶涌澎湃1.1大數(shù)據(jù)世界網(wǎng)絡(luò)連接的世界涌現(xiàn)出大數(shù)據(jù)互聯(lián)網(wǎng)和社交網(wǎng)產(chǎn)生的數(shù)據(jù)：現(xiàn)代網(wǎng)絡(luò)社會中，人們在通過電子郵件、維基、微博、博客、娛樂節(jié)目、網(wǎng)上購物、銀行交易、股票數(shù)據(jù)等進行互動和交易，每個人在分享網(wǎng)上數(shù)據(jù)的同時，又在不斷制造數(shù)據(jù)。無線移動互聯(lián)網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)：移動智能終端接入互聯(lián)網(wǎng)就形成了移動互聯(lián)網(wǎng)，它雖兼具了通信網(wǎng)之“隨時、隨地、隨身”和互聯(lián)網(wǎng)之“共享、開放、交互”的優(yōu)勢，但仍面臨著海量數(shù)據(jù)通信對網(wǎng)絡(luò)帶寬帶來的巨大負(fù)擔(dān)；而移動互聯(lián)網(wǎng)的無線接入網(wǎng)絡(luò)使得數(shù)據(jù)流量劇增，迫使網(wǎng)絡(luò)運營商不斷增加基站數(shù)和進一步挖掘頻譜利用率；網(wǎng)絡(luò)應(yīng)用和服務(wù)的多元化使得傳統(tǒng)的微觀小尺度（分組級和數(shù)據(jù)幀級）的業(yè)務(wù)規(guī)律分析無法從宏觀上描述業(yè)務(wù)特征規(guī)律。物聯(lián)網(wǎng)上采集和觀測數(shù)據(jù)：在遍布全球各地的移動傳感器、無線傳感器、空間遙感器、射頻識讀器和攝像、照相機等各種采集和觀測數(shù)據(jù)設(shè)備，都在時時、處處捕獲大量諸如位置數(shù)據(jù)、傳感數(shù)據(jù)、衛(wèi)星圖像數(shù)據(jù)、氣象數(shù)據(jù)等。社會發(fā)布的信息數(shù)據(jù)：現(xiàn)代社會中，政府、企事業(yè)、行業(yè)等機關(guān)部門都不斷地向社會發(fā)布政務(wù)信息、公共服務(wù)信息、衛(wèi)生保健信息、社會保險信息、科技教育信息、安全預(yù)警信息、金融服務(wù)信息、證據(jù)投資信息等數(shù)據(jù)。41、大數(shù)據(jù)浪潮洶涌澎湃大科學(xué)工程產(chǎn)生了大數(shù)據(jù)*大型強子碰撞（LHC：LargeHadronCollider）試驗：美國大數(shù)據(jù)研究計劃中專門列出尋找希格斯粒子（被稱為“上帝粒子”）的LHC實驗。據(jù)說至少要1萬億個事例中才可能找出一個希格斯粒子。在發(fā)生碰撞時，LHC檢測器（Detector）在一秒鐘內(nèi)能捕獲到其臨近0.4億（40million）個快照。當(dāng)LHC試驗時，約有1.5億個傳感器（Sensor）每秒傳遞數(shù)據(jù)0.4億次，大約每秒近6.0億碰撞。如果所有的傳感器數(shù)據(jù)均記錄在LHC中，則在重復(fù)之前每天將近有500EB（E=1018）數(shù)據(jù)流量，幾乎是世界上所有其他資源的200倍。*希格斯粒子以2013年諾貝爾獎獲主之一現(xiàn)年84歲的英國科學(xué)家彼得·希格斯命名。他在1964年曾預(yù)言玻色子粒子的存在。時隔50年之后，被總部設(shè)在瑞士日內(nèi)瓦的歐洲核子研究中心LHC實驗項目所證實。因為諾貝爾獎至多3人分享，所以歐洲核子研究中心參與發(fā)現(xiàn)這種粒子的數(shù)以千計的研究人員就成了無名英雄了。*參與“上帝粒子”項目的28歲小伙子，計昊爽，合肥廬江人，畢業(yè)于中國科學(xué)技術(shù)大學(xué)，后去美國威斯康辛大學(xué)讀博士。他是歐洲核子研究組織（CERN）團隊成員，他在計算和實驗證明出“上帝粒子”存在功不可沒。他首次計算得到了5倍西格瑪（Sigma）的顯著度，有99.9999%的可信度表明了該粒子的存在。這在科學(xué)界被認(rèn)為已經(jīng)證明了上帝粒子的存在。斯隆數(shù)字天空勘探（SDSS：SloanDigitalSkySurvey）計劃：從2008年開始收集天文數(shù)據(jù)，并且每晚以200GB的速率繼續(xù)收集，到2012年，SDSS已積累了超過140TB的信息?；驕y序：2013年全球至少有30萬個人類個體基因組被全部或部分測序，這就意味著將會產(chǎn)生30Pb的序列數(shù)據(jù)，至少需要相當(dāng)150PB的存儲和分析計算能力。51、大數(shù)據(jù)浪潮洶涌澎湃新技術(shù)新應(yīng)用催生的大數(shù)據(jù)新技術(shù)：傳感技術(shù)、新型通信技術(shù)、物聯(lián)網(wǎng)技術(shù)等高速發(fā)展，讓人們感知的東西很多；人與人、人與機器、機器與機器時刻都在互聯(lián)互動；新的獲取、搜索、發(fā)現(xiàn)和分析工具更使人們獲得更豐富的數(shù)據(jù)。新應(yīng)用：物聯(lián)網(wǎng)（使成千上萬的網(wǎng)絡(luò)傳感器嵌入到現(xiàn)實世界中）和云計算（為海量數(shù)據(jù)提供了存儲空間和在線處理）等新型應(yīng)用更使得數(shù)據(jù)激增。大數(shù)據(jù)發(fā)展的主要推動力大數(shù)據(jù)推動者是企業(yè)界：企業(yè)界的經(jīng)濟效益推動了大數(shù)據(jù)的發(fā)展。IBM、Oracle、微軟、谷歌、亞馬遜、Facebook等跨國巨頭是大數(shù)據(jù)處理技術(shù)的主要推動者。O’Reilly公司斷言：數(shù)據(jù)是下一個“IntelInside”，未來屬于將數(shù)據(jù)轉(zhuǎn)換成產(chǎn)品的公司和人們。大數(shù)據(jù)主要消費者是網(wǎng)民：近年來大數(shù)據(jù)驟增主要還是來自人們的日常生活（圖片、視頻、音樂等），特別是互聯(lián)網(wǎng)公司的服務(wù)。傳感網(wǎng)和物聯(lián)網(wǎng)等相關(guān)技術(shù)催生了大數(shù)據(jù)的蓬勃發(fā)展。61、大數(shù)據(jù)浪潮洶涌澎湃1.2大數(shù)據(jù)潮流大數(shù)據(jù)時代大數(shù)據(jù)的價值21世紀(jì)數(shù)據(jù)的價值有可能等同于20世紀(jì)的石油，但石油資源會不斷耗盡，而數(shù)據(jù)會隨應(yīng)用不斷增長，呈“無限增長”的趨勢。信息經(jīng)濟早期，數(shù)據(jù)只作為一種“資源”；后來人們逐漸把它視為一種“資產(chǎn)”；而現(xiàn)今數(shù)據(jù)卻成了一種“能力”，是企業(yè)的核心競爭力。大數(shù)據(jù)成了國際業(yè)界熱門話題21世紀(jì)是個數(shù)據(jù)為王的時代，每個人都必須“用數(shù)據(jù)說話”，誰擁有了數(shù)據(jù)，誰就有了話語權(quán)。大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)之后的IT界又一次顛覆性技術(shù)變革。2012年世界經(jīng)濟論壇發(fā)布了“BigData,BigImpact”的報告，闡述了大數(shù)據(jù)對農(nóng)業(yè)、金融、醫(yī)療、健康、教育等發(fā)展帶來了新機遇。71、大數(shù)據(jù)浪潮洶涌澎湃大數(shù)據(jù)研究計劃美國“大數(shù)據(jù)研發(fā)創(chuàng)新”計劃計劃概況：2012年3月，美國Obama政府宣布了“BigDataResearch

andDevelopmentInitiative”計劃，探討如何利用大數(shù)據(jù)分析來應(yīng)對政府所面臨的一些重大問題。該計劃由跨6個部門的84個大數(shù)據(jù)項目組成，總投資共$200million（2億美元）。計劃目的：通過抽取知識和洞察大而復(fù)雜的數(shù)據(jù)，改進工作能力；通過創(chuàng)新，加速科學(xué)和工程發(fā)現(xiàn)的步伐；增強國家安全和改觀國民教育現(xiàn)狀與面貌等。計劃落實實施：除了投放2億美元資金外，政府希望工業(yè)界、大學(xué)、非盈利企事業(yè)單位加入聯(lián)邦政府，利用大數(shù)據(jù)所提供的機遇?？偨y(tǒng)號召：“allhandsondeck”（各就各位，全體出場），共同努力。在此形勢下，美國有些公司已為大學(xué)提供大數(shù)據(jù)方面的研究項目與資金；大學(xué)已開設(shè)大數(shù)據(jù)的課程，為培養(yǎng)下一代“數(shù)據(jù)科學(xué)家”做準(zhǔn)備等。日本“新ICT戰(zhàn)略研究”計劃計劃發(fā)起：2012年7月日本推出“新ICT戰(zhàn)略研究計劃”，在新一輪IT振興計劃中日本政府把大數(shù)據(jù)發(fā)展作為國家層面戰(zhàn)略提出。這是日本新啟動的2011年大地震一度擱置的政府ICT戰(zhàn)略研究。計劃關(guān)注點：所推出的新的綜合戰(zhàn)略“活力ICT日本”，“提升日本競爭力，大數(shù)據(jù)應(yīng)用不可缺少”，重點在大數(shù)據(jù)的應(yīng)用所需的云計算、傳感器、社會化媒體等智能技術(shù)開發(fā)，大數(shù)據(jù)將為新醫(yī)療技術(shù)開發(fā)、交通擁堵的緩解等帶來方便和貢獻。81、大數(shù)據(jù)浪潮洶涌澎湃英國“聚焦大數(shù)據(jù)和節(jié)能計算”計劃做好準(zhǔn)備：英國認(rèn)為自己為大數(shù)據(jù)革命做好了準(zhǔn)備，英國把大數(shù)據(jù)看作是自己的優(yōu)勢，政府加大對大數(shù)據(jù)等IT技術(shù)的投入，并帶動企業(yè)對該領(lǐng)域的投資。資金投入：英國政府宣稱投資6億英鎊科學(xué)資金，并計劃在未來兩年內(nèi)在大數(shù)據(jù)和節(jié)能計算研究投資1.89億英鎊。政府把大量的資金投入到計算基礎(chǔ)設(shè)施，用以捕捉并分析通過開放式數(shù)據(jù)革命獲得的數(shù)據(jù)流，帶動企業(yè)投入更多的資金。我國大數(shù)據(jù)論壇及研究計劃在2013年：中國計算機學(xué)會率先于2013年成立“大數(shù)據(jù)專業(yè)委員會”，李國杰院士任主任。在2011~2014年：2013年3月國家自然基金委在上海舉行規(guī)模浩大的“大數(shù)據(jù)雙清論壇”。中國分別舉辦了第一屆（2011年）和第二屆（2012年）“大數(shù)據(jù)世界論壇”。IT時代周刊等舉辦了“大數(shù)據(jù)2012論壇”，中國計算機學(xué)會舉辦了“CNCC2012大數(shù)據(jù)論壇”。國家自然科學(xué)基金委，2014年立項重點和重大項目“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”研究，擬從10個方向中選擇資助8個重點項目。國家科技部，863計劃信息技術(shù)領(lǐng)域2015年備選項目包括超級計算機、大數(shù)據(jù)、云計算、信息安全、第五代移動通信系統(tǒng)（5G）等。91、大數(shù)據(jù)浪潮洶涌澎湃Gartner預(yù)測大數(shù)據(jù)的發(fā)展周期2011年：大數(shù)據(jù)進入技術(shù)導(dǎo)入期（Trigger），呈上升發(fā)展趨勢；同時大數(shù)據(jù)預(yù)測分析等相關(guān)技術(shù)已較為成熟，而云計算、內(nèi)存數(shù)據(jù)庫管理和社會分析等也處于期望膨脹期（InflatedExpectation）。2012年：大數(shù)據(jù)已進入井噴期（Inflated），處于接近高峰期，同時大數(shù)據(jù)相關(guān)預(yù)測分析、云計算、內(nèi)存數(shù)據(jù)庫管理、社會分析等技術(shù)已逐步發(fā)展且趨于成熟。10導(dǎo)入上脹低落回升穩(wěn)定1、大數(shù)數(shù)據(jù)浪浪潮洶洶涌澎澎湃2013年：大大數(shù)據(jù)據(jù)帶動動了數(shù)數(shù)據(jù)科科學(xué)的的研究究熱潮潮和相相關(guān)使使能技技術(shù)的的興起起。111、大數(shù)數(shù)據(jù)浪浪潮洶洶涌澎澎湃1.3什么是是大數(shù)數(shù)據(jù)認(rèn)識大大數(shù)據(jù)據(jù)大數(shù)據(jù)據(jù)一般般來源源于網(wǎng)網(wǎng)絡(luò)用用戶、、網(wǎng)絡(luò)絡(luò)應(yīng)用用、智智能終終端、、政府府、企企業(yè)和和個人人，所所以大大數(shù)據(jù)據(jù)包含含了互動數(shù)數(shù)據(jù)、交易數(shù)數(shù)據(jù)和觀測數(shù)數(shù)據(jù)等。所謂大大數(shù)據(jù)據(jù)（BigData）就是是指用用目前前常用用的軟軟件工工具無無法在在容許許的時時間（（可接接受的的時間間）內(nèi)內(nèi)進行行獲取取、存存儲、、管理理和分分析等等的數(shù)數(shù)據(jù)集集（Datasets）。數(shù)據(jù)之之所以以稱為為大數(shù)數(shù)據(jù)，，首先先是因因為其其量大大（LargeQuantity），而而量大大對不不同的的領(lǐng)域域的界界定也也不同同；目目前，，大數(shù)數(shù)據(jù)一一般典典型范范圍為為幾十十TB（T=1012）到PB（PB=1015），將將來會會更大大。大數(shù)據(jù)據(jù)的4V定義大數(shù)據(jù)據(jù)可按按其大容量量、快速率率、多樣性性和高價值值等4個“V”進行定定義如如下：：Volume（AmountofData）：大容量量（主要要體現(xiàn)現(xiàn)數(shù)據(jù)據(jù)存儲儲量大大和計計算量量大））Velocity（SpeedofDatain&out）：快速率率（主要要指數(shù)數(shù)據(jù)更更新、、增長長速度度快，，數(shù)據(jù)據(jù)存儲儲、傳傳輸、、處理理速度度快））Variety（RangeofDataTypes&Sources）：多樣性性（包括括結(jié)構(gòu)構(gòu)化的的原數(shù)數(shù)據(jù)庫庫表格格數(shù)據(jù)據(jù)和半半結(jié)構(gòu)構(gòu)化、、非結(jié)結(jié)構(gòu)化化的文文本、、視頻頻、圖圖像等等信息息）Value（UsefulnessofData）：高價值值（大海海撈針針，““在大大數(shù)據(jù)據(jù)困難難面前前，不不被利利用就就是成成本””）121、大數(shù)數(shù)據(jù)浪浪潮洶洶涌澎澎湃處理理大大數(shù)數(shù)據(jù)據(jù)的的基基本本原原理理數(shù)據(jù)據(jù)量量的的巨巨大大（（本本身身也也包包含含著著數(shù)數(shù)據(jù)據(jù)大大小小變變化化范范圍圍大大））使使得得數(shù)數(shù)據(jù)據(jù)無無法法集集中中存存儲儲和和必必須須使使用用并行行與與分分布布計計算算技技術(shù)術(shù)。數(shù)據(jù)據(jù)的的快快速速，，使使得得數(shù)數(shù)據(jù)據(jù)到到達達速速率率快快和和輸輸出出結(jié)結(jié)果果快快，，這這就就需需要要實時時處處理理和快快速速決決策策。。數(shù)據(jù)據(jù)的的多多樣樣性性，，數(shù)數(shù)據(jù)據(jù)結(jié)結(jié)構(gòu)構(gòu)化化、、非非結(jié)結(jié)構(gòu)構(gòu)化化、、半半結(jié)結(jié)構(gòu)構(gòu)化化甚甚至至不不可可預(yù)預(yù)知知的的結(jié)結(jié)構(gòu)構(gòu)使使得得數(shù)數(shù)據(jù)據(jù)難難以以統(tǒng)統(tǒng)一一表表達達、、處理理系系統(tǒng)統(tǒng)極極其其復(fù)復(fù)雜雜。大數(shù)數(shù)據(jù)據(jù)的的價價值值彌足足珍珍貴貴，但但大大數(shù)數(shù)據(jù)據(jù)的的價值值密密度度低低，在在浩浩瀚瀚的的大大數(shù)數(shù)據(jù)據(jù)海海洋洋中中，，如如何何挖挖掘掘有有用用的的東東西西，，似似如如““大大海海撈撈針針””??！利利用用好好大大數(shù)數(shù)據(jù)據(jù)的的價價值值并并非非易易事事??！大數(shù)數(shù)據(jù)據(jù)的的研研究究大大體體上上包包含含數(shù)數(shù)據(jù)據(jù)獲取取、存儲儲、傳輸輸、分析析、管理理與應(yīng)用用等諸諸多多方方面面，，顯顯然然涉涉及及到到物物理理、、材材料料、、電電子子、、計計算算機機、、通通信信、、數(shù)數(shù)學(xué)學(xué)、、統(tǒng)統(tǒng)計計、、信信息息管管理理以以及及各各應(yīng)應(yīng)用用行行業(yè)業(yè)，，不不是是單單一一學(xué)學(xué)科科能能解解決決的的問問題題，，需需要要多學(xué)學(xué)科科交交叉叉綜綜合合研研究究！大數(shù)數(shù)據(jù)據(jù)的的4層技技術(shù)術(shù)架架構(gòu)構(gòu)基礎(chǔ)礎(chǔ)層層：橫橫向向可可擴擴展展存存儲儲和和計計算算平平臺臺；；虛虛擬擬化化、、網(wǎng)網(wǎng)絡(luò)絡(luò)化化的的分分布布式式架架構(gòu)構(gòu)。。管理理層層：并并行行、、分分布布式式管管理理平平臺臺；；結(jié)結(jié)構(gòu)構(gòu)化化和和非非結(jié)結(jié)構(gòu)構(gòu)化化的的統(tǒng)統(tǒng)一一管管理理。。分析析層層：基基于于統(tǒng)統(tǒng)計計學(xué)學(xué)的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘和和機機器器學(xué)學(xué)習(xí)習(xí)算算法法；；分分析析和和解解釋釋數(shù)數(shù)據(jù)據(jù)，，提提供供自自動動服服務(wù)務(wù)。。應(yīng)用用層層：提提供供實實時時決決策策；；內(nèi)內(nèi)置置預(yù)預(yù)測測能能力力。。131、大大數(shù)數(shù)據(jù)據(jù)浪浪潮潮洶洶涌涌澎澎湃湃大數(shù)數(shù)據(jù)據(jù)所所帶帶來來的的技技術(shù)術(shù)挑挑戰(zhàn)戰(zhàn)大數(shù)數(shù)據(jù)據(jù)存存儲儲與與管管理理：雖雖然然大大數(shù)數(shù)據(jù)據(jù)價價值值稀稀疏疏，，但但保保留留它它還還是是非非常常有有價價值值的的??！解解決決大大數(shù)數(shù)據(jù)據(jù)的的存存儲儲問問題題首首先先是是對對其其進進行行去重重和壓縮縮；其其次次是是降降低低副副本本比比，，提提高高存存儲儲效效率率和和降降低低存存儲儲成成本本。。傳統(tǒng)統(tǒng)IT系統(tǒng)統(tǒng)到到大大數(shù)數(shù)據(jù)據(jù)系系統(tǒng)統(tǒng)的的過過渡渡：在在現(xiàn)現(xiàn)有有的的數(shù)數(shù)據(jù)據(jù)軟軟/硬件件平平臺臺基基礎(chǔ)礎(chǔ)上上做做漸進進式式改進進；；大大數(shù)數(shù)據(jù)據(jù)分分析析要要平民民化化；大大數(shù)數(shù)據(jù)據(jù)應(yīng)應(yīng)用用要要直直觀觀、、易易用用和和網(wǎng)網(wǎng)絡(luò)絡(luò)化化。。大數(shù)數(shù)據(jù)據(jù)分分析析：需需要要革革命命性性理理論論和和新新算算法法；；不不能能抽抽樣樣分分析析，，要要全全數(shù)數(shù)據(jù)據(jù)聚聚合合分分析析；；以以計計算算為為中中心心轉(zhuǎn)轉(zhuǎn)移移到到以以數(shù)數(shù)據(jù)據(jù)為為中中心心；；系系統(tǒng)統(tǒng)架架構(gòu)構(gòu)應(yīng)應(yīng)分分布布式式和和并并行行化化兼兼顧顧；；將將結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)的的分分析析方方法法、、工工具具與與新新興興的的非非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)方方法法、、工工具具相相結(jié)結(jié)合合；；提提供供數(shù)數(shù)據(jù)據(jù)實實時時分分析析能能力力；；云云計計算算是是提提高高大大數(shù)數(shù)據(jù)據(jù)分分析析能能力力的的一一種種可可行行方方案案等等。。大數(shù)數(shù)據(jù)據(jù)安安全全：發(fā)發(fā)展展信信息息安安全全技技術(shù)術(shù)；；加加強強技技術(shù)術(shù)保保護護；；提提高高全全民民信信息息安安全全意意識識；；完完善善信信息息安安全全政政策策和和流流程程；；完完備備信信息息安安全全標(biāo)標(biāo)準(zhǔn)準(zhǔn)等等。。大數(shù)數(shù)據(jù)據(jù)的的興興起起催催生生了了數(shù)數(shù)據(jù)據(jù)科科學(xué)學(xué)：數(shù)數(shù)據(jù)據(jù)科科學(xué)學(xué)可可簡簡單單理理解解為為預(yù)測測分分析析和數(shù)據(jù)據(jù)挖挖掘掘，是是統(tǒng)統(tǒng)計計分分析析和和機機器器學(xué)學(xué)習(xí)習(xí)技技術(shù)術(shù)的的結(jié)結(jié)合合，，相相關(guān)關(guān)方方法法包包括括回回歸歸分分析析、、關(guān)關(guān)聯(lián)聯(lián)規(guī)規(guī)則則、、優(yōu)優(yōu)化化技技術(shù)術(shù)和和仿仿真真建建模模。。大數(shù)數(shù)據(jù)據(jù)所所帶帶來來的的威威脅脅無處處不不在在的的““第第三三只只眼眼””和和大大數(shù)數(shù)據(jù)據(jù)的的二二次次利利用用會會使使人人們們惶惶恐恐不不安安，，威脅脅公公眾眾的的隱隱私私，傷害害人人類類的的自自由由和和尊尊嚴(yán)嚴(yán)。運用用大大數(shù)數(shù)據(jù)據(jù)預(yù)預(yù)測測來來判判斷斷和和懲懲罰罰人人類類潛潛在在行行為為，，會會給社社會會和和人人類類帶帶來來不不公公和和無無法法彌彌補補的的損損傷傷。數(shù)據(jù)據(jù)的的質(zhì)質(zhì)量量不不高高、、數(shù)數(shù)據(jù)據(jù)的的不不客客觀觀性性、、數(shù)數(shù)據(jù)據(jù)分分析析中中的的差差錯錯等等所所導(dǎo)導(dǎo)致致的的人人們們對對數(shù)數(shù)據(jù)據(jù)的的執(zhí)執(zhí)迷迷和和崇崇拜拜，，形形成成了了數(shù)據(jù)據(jù)獨獨裁裁是是可可怕怕的的，應(yīng)應(yīng)引引以以為為戒戒??！141、大大數(shù)數(shù)據(jù)據(jù)浪浪潮潮洶洶涌涌澎澎湃湃1.4變革革思思維維研研究究大大數(shù)數(shù)據(jù)據(jù)數(shù)據(jù)據(jù)的的獲獲取取不能能依依靠靠隨隨機機采樣樣進行行分分析析，，采采樣樣無無法法揭揭示示細細節(jié)節(jié)信信息息，，不不能能期期望望像像小小數(shù)數(shù)據(jù)據(jù)時時代代那那樣樣，，可可用用最最少少的的數(shù)數(shù)據(jù)據(jù)獲獲得得最最多多的的信信息息。。大數(shù)數(shù)據(jù)據(jù)時時代代要要利利用用盡盡可可能能多多的的全樣樣數(shù)據(jù)據(jù)，，收收集集與與某某事事物物相相關(guān)關(guān)的的所所有有的的數(shù)數(shù)據(jù)據(jù)。。數(shù)據(jù)據(jù)的的分分析析在大大數(shù)數(shù)據(jù)據(jù)時時代代，，分分析析如如此此之之多多的的數(shù)數(shù)據(jù)據(jù)，，不不能能熱熱衷衷于于追追求求精確確性性，也也無無法法實實現(xiàn)現(xiàn)精精確確性性。。須知知，，大大數(shù)數(shù)據(jù)據(jù)的的簡單單算算法法比小小數(shù)數(shù)據(jù)據(jù)的的精精確確復(fù)復(fù)雜雜算算法法會會更更有有效效。。數(shù)據(jù)據(jù)的的解解釋釋大數(shù)數(shù)據(jù)據(jù)時時代代，，無無需需緊緊緊緊盯盯著著事事物物之之間間為為什什么么的的因果果關(guān)關(guān)系系，要要側(cè)側(cè)重重尋尋找找事事物物之之間間是是什什么么的的相關(guān)關(guān)關(guān)關(guān)系系。知道道““是什什么么”是是大大數(shù)數(shù)據(jù)據(jù)從從業(yè)業(yè)人人員員急急需需的的，，知知道道““為什什么么”可可容容后后讓讓科科學(xué)學(xué)家家們們?nèi)トシ址治鑫觥?。?shù)據(jù)據(jù)的的處處理理面對對數(shù)數(shù)據(jù)據(jù)紛紛繁繁雜雜亂亂的的局局面面，，要要接接受受處處理理大大數(shù)數(shù)據(jù)據(jù)無無理理論論、、無模模型型的理理念念與與現(xiàn)現(xiàn)實實。。不能能避避免免數(shù)數(shù)據(jù)據(jù)紛紛繁繁多多樣樣、、優(yōu)優(yōu)劣劣共共存存的的混混雜雜性性，，要要容容忍忍模糊糊性性和不不精精確確性性的的處處理理方方法法。。不建建立立新新模模型型，，沒沒有有統(tǒng)統(tǒng)一一的的理論論和機機械械式式的的證明明，科科學(xué)學(xué)也也可可以以照照樣樣進進步步。。151、大大數(shù)數(shù)據(jù)據(jù)浪浪潮潮洶洶涌涌澎澎湃湃1.5大數(shù)數(shù)據(jù)據(jù)的的價價值值數(shù)據(jù)據(jù)的的用用途途數(shù)據(jù)據(jù)的的基本本用用途途：數(shù)數(shù)據(jù)據(jù)的的分分析析、、處處理理和和使使用用提提供供定定量量可可信信的的科科學(xué)學(xué)依依據(jù)據(jù)。。數(shù)據(jù)據(jù)不不限限于于特特定定用用途途：：數(shù)數(shù)據(jù)據(jù)可可以以為為同同一一目目的的而而多多次次重復(fù)復(fù)使使用用，它它也也可可以以用用于于不不同同目目的的。。數(shù)據(jù)據(jù)的的潛潛在在價價值值數(shù)據(jù)據(jù)的的再利利用用：對對收收集集、、處處理理和和使使用用過過的的數(shù)數(shù)據(jù)據(jù)，，存存儲儲下下來來備備以以后后再再利利用用。。數(shù)據(jù)據(jù)的的重組組：對對數(shù)數(shù)據(jù)據(jù)而而言言，，將將多多個個數(shù)數(shù)據(jù)據(jù)集集進進行行重重組組總總和和的的價價值值比比單單個個總總和和的的價價值值更更大大。。數(shù)據(jù)據(jù)的的可擴擴展展：將將相相同同數(shù)數(shù)據(jù)據(jù)集集設(shè)設(shè)計計成成可可擴擴展展的的各各種種潛潛在在的的二二次次用用途途。。數(shù)據(jù)據(jù)的的折舊舊：所所收收集集的的數(shù)數(shù)據(jù)據(jù)，，做做盡盡可可能能多多的的和和盡盡可可能能長長的的時時間間保保存存，，以以便便再再次次用用于于相相同同或或類類似似的的用用途途。。數(shù)據(jù)據(jù)的的開放放：特特別別是是““開開放放政政府府?dāng)?shù)數(shù)據(jù)據(jù)””，，供供全全民民使使用用，，更更廣廣泛泛地地服服務(wù)務(wù)于于社社會會。。大數(shù)數(shù)據(jù)據(jù)的的商商業(yè)業(yè)價價值值大數(shù)數(shù)據(jù)據(jù)掌掌控控公公司司的的發(fā)發(fā)展展：掌掌握握大大數(shù)數(shù)據(jù)據(jù)，，多多渠渠道道獲獲取取擁擁有有大大數(shù)數(shù)據(jù)據(jù)，，巧巧妙妙地地挖挖掘掘大大數(shù)數(shù)據(jù)據(jù)的的價價值值，，使使數(shù)數(shù)據(jù)據(jù)能能優(yōu)優(yōu)化化生生產(chǎn)產(chǎn)和和服服務(wù)務(wù)，，甚甚至至催催生生新新的的行行業(yè)業(yè)，，便便會會使使公公司司大大放放異異彩彩。。大數(shù)據(jù)決決定企業(yè)業(yè)的競爭爭力：大數(shù)據(jù)據(jù)是企業(yè)業(yè)的雙刃刃劍——因大數(shù)據(jù)據(jù)誕生了了很多公公司，也也倒閉破破產(chǎn)了很很多公司司。在激激烈的競競爭中，，所有行行業(yè)均存存在著威威脅、挑挑戰(zhàn)、轉(zhuǎn)轉(zhuǎn)型與機機遇！161、大數(shù)據(jù)據(jù)浪潮洶洶涌澎湃湃1.6大數(shù)據(jù)的的管理隱私保護護對大數(shù)據(jù)據(jù)的使用用進行正正規(guī)評測測和正確確引導(dǎo)，，將隱私私保護的的責(zé)任從從民眾轉(zhuǎn)移到數(shù)數(shù)據(jù)使用者，讓他（（她）們們對自己己的行為為負(fù)責(zé)。。設(shè)立數(shù)據(jù)據(jù)隱私保保護模式式，將數(shù)數(shù)據(jù)的使使用權(quán)從從收集數(shù)數(shù)據(jù)進行行“個人人許可””的擁有有者轉(zhuǎn)移移到承擔(dān)擔(dān)責(zé)任的的數(shù)據(jù)使使用者（（他們是是數(shù)據(jù)二二級應(yīng)用用的受益益者）。。公正評判判在大數(shù)據(jù)據(jù)時代，，有了大大數(shù)據(jù)我我們可以以預(yù)測人人的行為為，這很很容易誘誘使我們們依據(jù)預(yù)預(yù)測行為為進行評評判。在大數(shù)據(jù)據(jù)時代，，在利用用“客觀觀”數(shù)據(jù)據(jù)進行預(yù)預(yù)測評判判時，要要考慮個人動因因，而個人人可以而而且應(yīng)該該為他們們的實際際行為而而不是傾傾向負(fù)責(zé)責(zé)。反對數(shù)據(jù)據(jù)壟斷大大亨我們應(yīng)借借鑒當(dāng)年年的鐵路路和鋼鐵鐵等強盜盜大亨，，防止他他們壟斷斷一切。。反對數(shù)據(jù)據(jù)壟斷大大亨，就就可以將將大數(shù)據(jù)據(jù)的不利利影響得得到控制制，相應(yīng)應(yīng)的法律律、法規(guī)規(guī)支持不不可缺少少。反對對數(shù)數(shù)據(jù)的執(zhí)執(zhí)迷和崇崇拜所形形成的數(shù)數(shù)據(jù)獨裁裁！171、大數(shù)據(jù)據(jù)浪潮洶洶涌澎湃湃1.7大數(shù)據(jù)時時代的產(chǎn)產(chǎn)業(yè)界情情況傳統(tǒng)IT巨頭（IBM、微軟、、惠普、、Oracle等）通過“硬硬件+軟件+數(shù)據(jù)”整整合平臺臺，向用用戶提供供大數(shù)據(jù)據(jù)完備的的基礎(chǔ)設(shè)設(shè)施和服服務(wù)，實實現(xiàn)“處處理-存儲-網(wǎng)絡(luò)設(shè)備備-軟件-應(yīng)用”，，即所謂謂“大數(shù)數(shù)據(jù)一體體機”。。通過并購購大數(shù)據(jù)據(jù)分析企企業(yè)，迅迅速增強強大數(shù)據(jù)據(jù)分析實實力和擴擴展市場場份額。。但依賴廠廠商自身身原有技技術(shù)優(yōu)勢勢和收購購整合不不同公司司，不能能從根本本上突破破大數(shù)據(jù)據(jù)發(fā)展的的關(guān)鍵核核心技術(shù)術(shù)和實現(xiàn)現(xiàn)對大數(shù)數(shù)據(jù)各個個領(lǐng)域的的覆蓋。。商務(wù)智能能廠商（（SAS，Teradata等）長期專注注行業(yè)（（銀行、、電信等等）智能能數(shù)據(jù)分分析，技技術(shù)實力力強，產(chǎn)產(chǎn)品線豐豐富，行行業(yè)業(yè)務(wù)務(wù)精。在大數(shù)據(jù)據(jù)時代，，這些廠廠商在原原有結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)處理的的同時，，開始加加大在可可擴展計計算、內(nèi)內(nèi)存計算算、庫內(nèi)內(nèi)分析、、實時流流處理和和非結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)處理等等方面的的投入。。這些廠商商憑借在在以往數(shù)數(shù)據(jù)建模模和分析析方面的的長期積積累，雖雖處于行行業(yè)領(lǐng)導(dǎo)導(dǎo)地位，，但面臨臨大數(shù)據(jù)據(jù)，它們們的諸多多產(chǎn)品性性能仍跟跟不上大大數(shù)據(jù)的的需求。?；ヂ?lián)網(wǎng)公公司（Google、Facebook、阿里巴巴巴、百百度、騰騰訊等））這些公司司基于自自身應(yīng)用用平臺、、龐大的的用戶群群、海量量用戶信信息以及及互聯(lián)網(wǎng)網(wǎng)處理平平臺，可可提供精精確營銷銷、個性性化推介介等商務(wù)務(wù)活動。。在大數(shù)據(jù)據(jù)時代，，催生了了大數(shù)據(jù)據(jù)分布式式處理軟軟件框架架Hadoop：包括分分布式文文件系統(tǒng)統(tǒng)HDFS，并行編編程框架架Map-Reduce，數(shù)據(jù)倉倉庫工具具Hive和大數(shù)據(jù)據(jù)分析平平臺Pig等。國內(nèi)阿里里巴巴推推出“淘淘寶指數(shù)數(shù)”，用用于商家家指導(dǎo)生生產(chǎn)、制制定價格格和控制制庫存；；百度從從數(shù)據(jù)、、工具和和應(yīng)用三三個層面面規(guī)劃大大數(shù)據(jù)時時代的企企業(yè)戰(zhàn)略略；騰訊訊通過大大數(shù)據(jù)挖挖掘社會會網(wǎng)絡(luò)中中的商業(yè)業(yè)價值等等。大數(shù)據(jù)的的“春秋秋戰(zhàn)國””目前，世世界上各各企業(yè)產(chǎn)產(chǎn)業(yè)界正正處于群群雄并行行的“大大數(shù)據(jù)春春秋時期期”?？梢灶A(yù)計計，今后后的五至至十年，，大數(shù)據(jù)據(jù)領(lǐng)域?qū)奂扇舾筛蓚€核心心企業(yè)、、公司和和典型應(yīng)應(yīng)用的““大數(shù)據(jù)據(jù)戰(zhàn)國時時代”。。182、大數(shù)據(jù)據(jù)引領(lǐng)社社會、經(jīng)經(jīng)濟和科科技的發(fā)發(fā)展2.1大數(shù)據(jù)對對國家社社會的作作用增強國家家安全通過海量量數(shù)據(jù)挖挖掘出高高價值的的軍事情情報。通過海量量數(shù)據(jù)的的分析迅迅速布置置軍事行行動。通過海量量數(shù)據(jù)處處理實現(xiàn)現(xiàn)軍事決決策自動動化、精精準(zhǔn)化和和快速化化。促進政府府開發(fā)數(shù)據(jù)開放放：通過數(shù)數(shù)據(jù)開放放，可為為政府決決策提供供真實數(shù)數(shù)據(jù)。世世界上不不少國家家已推出出各自國國家的公公共數(shù)據(jù)據(jù)庫開放放網(wǎng)站，，網(wǎng)站數(shù)數(shù)據(jù)庫公公布的數(shù)數(shù)據(jù)不受受私人或或國家部部門的限限制。基于數(shù)據(jù)據(jù)驅(qū)動的的政府決決策：利用““基于實實證的事事實”可可更加有有效、更更加開放放、更加加負(fù)責(zé)地地引導(dǎo)政政府前進進，而不不是“意意識形態(tài)態(tài)”，也也不是利利益集團團對政府府決策施施加影響響。使用大數(shù)數(shù)據(jù)可以以提升公公共服務(wù)務(wù)的透明明度，通通過數(shù)據(jù)據(jù)模塊等等形式，，輔助公公共服務(wù)務(wù)部門更更好地發(fā)發(fā)現(xiàn)需求求、提升升績效、、降低運運營開支支成本等等。提高政策策預(yù)見性性和響應(yīng)應(yīng)性利用互聯(lián)聯(lián)網(wǎng)、社社交網(wǎng)和和手機信信息等，，對社會會輿論、、失業(yè)率率、疾病病爆發(fā)、、天氣預(yù)預(yù)報、股股票走勢勢等，進進行：情緒分析析趨勢預(yù)測測分析早期預(yù)警警192、大數(shù)據(jù)據(jù)引領(lǐng)社社會、經(jīng)經(jīng)濟和科科技的發(fā)發(fā)展2.2大數(shù)據(jù)推推動國民民經(jīng)濟發(fā)發(fā)展人類社會會的三次次浪潮給人類社社會帶來來了巨大大深刻的的影響，，極大地地推動了了人類社社會經(jīng)濟濟的發(fā)展展農(nóng)業(yè)社會會工業(yè)社會會信息社會會大數(shù)據(jù)是是第三次次浪潮的的華彩樂樂章，在新一一代信息息技術(shù)發(fā)發(fā)展中：：物聯(lián)網(wǎng)：使成千千上萬的的網(wǎng)絡(luò)傳傳感器嵌嵌入到現(xiàn)現(xiàn)實世界界中。云計算：使物聯(lián)聯(lián)網(wǎng)產(chǎn)生生的海量量數(shù)據(jù)提提供了存存儲空間間和在線線處理變變得可能能。大數(shù)據(jù)：則讓海海量數(shù)據(jù)據(jù)產(chǎn)生價價值，使使數(shù)據(jù)成成為寶貴貴“資產(chǎn)產(chǎn)”。大數(shù)據(jù)產(chǎn)產(chǎn)生大價價值大數(shù)據(jù)所所催生的的硬件、、軟件及及服務(wù)市市場產(chǎn)生生了巨大大的價值值。通過大數(shù)數(shù)據(jù)推動動的相關(guān)關(guān)行業(yè)（（制造業(yè)業(yè)、醫(yī)療療業(yè)、零零售業(yè)等等）產(chǎn)生生巨大的的價值。。202、大數(shù)據(jù)據(jù)引領(lǐng)社社會、經(jīng)經(jīng)濟和科科技的發(fā)發(fā)展2.3大數(shù)據(jù)促促進科技技發(fā)展科學(xué)發(fā)現(xiàn)現(xiàn)的“第第四范型型”（TheFourthParadigm）2007年，圖靈靈獎得主主JimGray曾在美國國國家科科學(xué)研究究會發(fā)表表演講，，指出：：第一范型型-實驗科學(xué)學(xué)：幾千年年前憑經(jīng)經(jīng)驗描述述自然現(xiàn)現(xiàn)象。第二范型型-理論科學(xué)學(xué)：過去幾幾百年靠靠理論分分析（牛牛頓定律律、麥克克斯韋方方程式等等）研究究自然規(guī)規(guī)律。第三范型型-計算科學(xué)學(xué)：過去幾幾十年用用計算機機仿真模模擬復(fù)雜雜現(xiàn)象。。第四范型型-數(shù)據(jù)密集集型科學(xué)學(xué)：基于大大規(guī)模數(shù)數(shù)據(jù)獲取取、分析析、處理理的科學(xué)學(xué)發(fā)現(xiàn)。。大數(shù)據(jù)引引領(lǐng)互聯(lián)聯(lián)網(wǎng)技術(shù)術(shù)創(chuàng)新大數(shù)據(jù)的的快速率：促使互互聯(lián)網(wǎng)行行業(yè)推出出諸如流式處理理、實時計計算、內(nèi)內(nèi)存計算算等技術(shù)術(shù)。大數(shù)據(jù)的的大容量：促使互互聯(lián)網(wǎng)公公司構(gòu)造造分布式架架構(gòu)，利用大量量廉價的服服務(wù)器與存存儲器來應(yīng)應(yīng)付大數(shù)據(jù)據(jù)集，并靈靈活進行彈彈性部署。。大數(shù)據(jù)的多樣性：促使互聯(lián)聯(lián)網(wǎng)公司采采用非關(guān)系型數(shù)數(shù)據(jù)庫技術(shù)術(shù)，不斷強化化對日益增增加的非結(jié)結(jié)構(gòu)化數(shù)據(jù)據(jù)的駕馭能能力。212、大數(shù)據(jù)引引領(lǐng)社會、、經(jīng)濟和科科技的發(fā)展展2.4大數(shù)據(jù)應(yīng)用用及實例應(yīng)用場合（UseCases）：政府運作（國家檔案案管理，人人口普查，，政府發(fā)布布的信息…）國防安全（軍事情報報，軍事決決策，軍事事行動…）社會民生（社會網(wǎng)絡(luò)絡(luò)，淘寶網(wǎng)網(wǎng)，支付寶寶…）健康醫(yī)療（疾病檔案案，流行病病傳播，遠遠程醫(yī)療…）商業(yè)金融（商業(yè)新聞聞，投資風(fēng)風(fēng)險，股票票走勢…）地球海洋（地震預(yù)報報，檢測冰冰川雪崩，，風(fēng)暴潮海海嘯預(yù)報…）能源環(huán)境（能源挖掘掘與利用，，消耗與再再生，能源源與環(huán)境…）大科學(xué)工程程（大型強子子LHC，斯隆數(shù)字字天空勘探探，基因測測序…）…大數(shù)據(jù)來源源網(wǎng)絡(luò)服務(wù)器器日志數(shù)據(jù)據(jù)（WebServersLogs）互聯(lián)網(wǎng)點擊擊流數(shù)據(jù)（InternetClickstreamData）社會媒體發(fā)發(fā)布（SocialMedialActivityReports）移動呼叫記記錄（Mobile-phoneCallRecords）傳感器或IOT設(shè)備捕獲信信息（InformationCapturedbySensorsorIODDevices）大數(shù)據(jù)實例例中國互聯(lián)網(wǎng)網(wǎng)數(shù)據(jù)中心心統(tǒng)計：淘寶網(wǎng)同時每天在在線商品數(shù)數(shù)已超過8億件，平均均出售4.8萬件/分鐘。Facebook網(wǎng)站上每天天的評論達達32億條，新上上傳照片3億張/天。Youtube每天頁面瀏瀏覽數(shù)達20億次，上傳傳15萬部電影/周；上傳83萬部視頻/天。新浪微博注冊用戶超超過3億，用戶發(fā)發(fā)布超過1億條微博/天。大數(shù)據(jù)有多多大？2011年時，全球球數(shù)據(jù)規(guī)模模約1.8ZB（Z=1021），可以填填滿575個32GB的ipad，它們?nèi)绻?dāng)磚頭使使用，可以以修建2座中國長城城。到2020年，全求數(shù)數(shù)據(jù)規(guī)模將將達40ZB，可以修建建45座中國長城城。223、大數(shù)據(jù)處處理流程3.1大數(shù)據(jù)的采采集與預(yù)處處理網(wǎng)絡(luò)采集的的大數(shù)據(jù)互聯(lián)網(wǎng)上系系統(tǒng)日志信信息的采集集?；ヂ?lián)網(wǎng)上非非結(jié)構(gòu)化數(shù)數(shù)據(jù)的采集集。采集數(shù)據(jù)的的觀測設(shè)備備傳感器：無無線傳感器器、移動傳傳感器、空空間傳感器器。射頻識讀器器（RFID）。攝像機、照照相機等。。采集數(shù)據(jù)的的ETL預(yù)處理技術(shù)術(shù)數(shù)據(jù)提取（Extraction）：通過接接口設(shè)備從從分布的、、異構(gòu)的數(shù)數(shù)據(jù)源中提提取數(shù)據(jù)。。數(shù)據(jù)轉(zhuǎn)換（Transformation）：將提取取的數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)換成業(yè)務(wù)務(wù)需要的目目標(biāo)數(shù)據(jù)結(jié)結(jié)構(gòu)并實現(xiàn)現(xiàn)匯總。數(shù)據(jù)加載（Loading）：將轉(zhuǎn)換換和匯總后后的數(shù)據(jù)加加載到目標(biāo)標(biāo)數(shù)據(jù)庫或或相應(yīng)的文文件存儲系系統(tǒng)中。233、大數(shù)據(jù)處處理流程3.2大數(shù)據(jù)的傳傳輸(1)加速海量數(shù)數(shù)據(jù)近實時時傳輸（near-realtimedelivery）的關(guān)鍵在在于研發(fā)超高速的交交換與傳輸輸設(shè)備。傳輸介質(zhì)寬帶接入銅銅退光進：光纖以石石英材質(zhì)為為主，具有有綠色和寬寬帶的優(yōu)勢勢，可進一一步提升大大數(shù)據(jù)傳輸輸所需要的的帶寬。有線與無線線結(jié)合：無線可為為基站和終終端間構(gòu)筑筑泛在網(wǎng)絡(luò)絡(luò)；有線光光纖可為基基站和城域域間提供高高效傳輸平平臺。傳輸設(shè)備光電結(jié)合：電子屬于于費米子，，電處理在在邏輯和緩緩存等功能能上具有優(yōu)優(yōu)勢；光子子屬于玻色色子，光處處理在高速速并行傳輸輸和交叉上上具有優(yōu)勢勢，所以兩兩者結(jié)合有有可能應(yīng)對對大容量節(jié)節(jié)點交換的的需求。傳輸與交換換相結(jié)合：使用光聯(lián)聯(lián)網(wǎng)可將單單純的傳輸輸功能集成成到節(jié)點設(shè)設(shè)備中去，，利于網(wǎng)絡(luò)絡(luò)規(guī)劃和運運維。傳輸協(xié)議多復(fù)用方式式：使用光纖纖接入可從從時分發(fā)展展到時分、、波分和頻頻發(fā)等多復(fù)復(fù)用方式。。電路與分組組相結(jié)合：前者利于于大粒度數(shù)數(shù)據(jù)流；后后者利于小小粒度數(shù)據(jù)據(jù)流，兩者者結(jié)合大大大有利于減減少功耗和和成本。243、大數(shù)據(jù)處處理流程(2)數(shù)據(jù)增長速速度超過通通信能力的的增長，單單純依賴物理層技術(shù)術(shù)的提升無法法滿足大數(shù)數(shù)據(jù)的需求求。物理層：超大規(guī)模模集成電路路、高速路路由器/交換機、全全光網(wǎng)絡(luò)、、4G/5G…等等面臨著著物理極限。網(wǎng)絡(luò)結(jié)構(gòu)與與核心協(xié)議議：30多年基本沒沒有太大的的變化——IP設(shè)計的初始始理念是用用戶少、設(shè)設(shè)備貴、流流量小、應(yīng)應(yīng)用簡單，，確立了簡單清晰的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)；當(dāng)物聯(lián)聯(lián)網(wǎng)和社交交網(wǎng)的出現(xiàn)現(xiàn)和發(fā)展，，迫使IP網(wǎng)絡(luò)架構(gòu)不不斷“打補補丁”，結(jié)結(jié)果弄得““雜亂臃腫腫”。存在的問題題：不能充分分利用帶寬寬而效率低低；難以有有效支持多多徑路由而而不靈活；；無法進行行統(tǒng)一的流流量管理。。253、大數(shù)據(jù)處處理流程(3)軟件定義網(wǎng)網(wǎng)絡(luò)（SoftwareDefinedNetwork，SDN，由斯坦福福大學(xué)提出出）是解決決大數(shù)據(jù)傳傳輸?shù)挠行Х椒?。SDN的核心思想想：其核心技技術(shù)OpenFlow將網(wǎng)絡(luò)設(shè)備備控制面（（ControlPlane）與數(shù)據(jù)傳傳輸面（ForwardingandDataPlane）分離開來來?？刂泼妫簺Q定網(wǎng)絡(luò)絡(luò)設(shè)備中路路由表的內(nèi)內(nèi)容，即路路由算法。。數(shù)據(jù)面：決定網(wǎng)絡(luò)絡(luò)設(shè)備如何何對數(shù)據(jù)包包進行轉(zhuǎn)發(fā)發(fā)，即轉(zhuǎn)發(fā)發(fā)表本身。。SDN的意義：可實現(xiàn)網(wǎng)網(wǎng)絡(luò)流量的的靈活控制制——路由算法可可以運行在在與網(wǎng)絡(luò)設(shè)設(shè)備獨立的的節(jié)點上（（SDN控制器），，以實現(xiàn)集集中式路由由算法控制制。SDN的優(yōu)點：可有效利利用空閑帶帶寬，提高高帶寬利用用率；可靈靈活利用多多條路徑進進行數(shù)據(jù)傳傳輸；易于于對數(shù)據(jù)傳傳輸進行有有效管理。。SDN的問題：集中式的的SDN控制器存在在單節(jié)點失失效問題和和網(wǎng)絡(luò)可擴擴展性問題題；SDN包含多個物物理和邏輯輯層面，含含有大量的的異構(gòu)設(shè)備備和協(xié)議，，管理很復(fù)復(fù)雜；這種種全新的架架構(gòu)在基礎(chǔ)礎(chǔ)理論、網(wǎng)網(wǎng)絡(luò)協(xié)議、、路由算法法、網(wǎng)絡(luò)安安全等方面面有大量亟亟待解決的的問題。263、大數(shù)據(jù)處處理流程3.3大數(shù)據(jù)的存存儲新型存儲技技術(shù)要研發(fā)高密密度、低功功耗、速度度快、非易易失的新型型存儲器件件，要研究固態(tài)態(tài)存儲陣列列和大容量量混合存儲儲技術(shù)，要研究高性性能、大容容量、低延延遲、高可可靠的I/O存儲技術(shù)。。新型存儲結(jié)結(jié)構(gòu)直接連接存存儲（DAS，Direct-AttachedStorage）結(jié)構(gòu)：通過總線線適配器將將硬盤等存存儲介質(zhì)直直接連到主主機上。大大數(shù)據(jù)從業(yè)業(yè)人員不喜喜歡慢速昂昂貴的共享享的外存，，而希望不不同形式的的，包括固固態(tài)硬盤（（SSD，SolidStateDisk）、埋置在在并行處理理節(jié)點內(nèi)的的高容量SATA（SerialAdvancedTechnologyAttachment）磁盤等。。智能化分布布存儲結(jié)構(gòu)構(gòu)：大數(shù)據(jù)不不可能集中中存儲，要要構(gòu)建智能能化的分布布式存儲結(jié)結(jié)構(gòu)。改變變傳統(tǒng)“啞存儲設(shè)備備”的觀點，，可將部分分公共數(shù)據(jù)據(jù)處理和管管理任務(wù)下移至至存儲設(shè)備備，達到數(shù)據(jù)據(jù)就地、就就近處理，，充分利用用存儲設(shè)備備的處理能能力，減輕輕網(wǎng)絡(luò)傳輸輸?shù)膲毫Α！?73、大數(shù)據(jù)處處理流程新型存儲級級內(nèi)存（SCM，StorageClassMemory）：它是將將SCM設(shè)計成整個個存儲系統(tǒng)統(tǒng)的一部分分，而非作作為虛擬內(nèi)內(nèi)存交換區(qū)區(qū)域和外存存補充，使使得計算不僅僅存在在傳統(tǒng)的內(nèi)內(nèi)存Memory上，同時也也在SCM存儲設(shè)備上上。大數(shù)據(jù)分布布、容錯、、列存儲通過分布式式實時列存存儲可對數(shù)數(shù)據(jù)統(tǒng)一進進行結(jié)構(gòu)化化存儲管理理，避免了了傳統(tǒng)數(shù)據(jù)據(jù)存儲方式式的關(guān)聯(lián)查查詢。分布式存儲儲主從控制制模式：主節(jié)點存存元數(shù)據(jù)，，且負(fù)責(zé)接接收請求并并應(yīng)答；從從節(jié)點負(fù)責(zé)責(zé)存數(shù)據(jù)。。冗余存儲：為可靠起起見，文件件塊被復(fù)制制到三個不不同的存儲儲位置。用列存儲代代替行存儲儲：將記錄按按行排序、、按列存儲儲，將相同同字段數(shù)據(jù)據(jù)作為一個個列族而聚聚合存儲之之。去重和壓縮縮：研究表表明，應(yīng)用用數(shù)據(jù)近75%是副本，原原本只占25%，降低副本本是提高存存儲效率的的首要因素素。283、大數(shù)據(jù)處處理流程3.4大數(shù)據(jù)的處處理大數(shù)據(jù)的管管理在線事務(wù)處處理OLTP（OnLineTransactionProcessing）數(shù)據(jù)加載：將多個OLTP系統(tǒng)通過ETL工具將其中中的數(shù)據(jù)導(dǎo)導(dǎo)入到一個個或多個數(shù)數(shù)據(jù)倉庫中中，以滿足足高吞吐量量和實時分分析的需求求。并發(fā)查詢：NoSQL是對不同于于傳統(tǒng)關(guān)系系數(shù)據(jù)庫的的數(shù)據(jù)庫管管理系統(tǒng)的的總稱，它它不使用SQL作為查詢語語言（SQL是結(jié)構(gòu)化的的查詢語言言，它接收收記錄條目目<Records>集作為輸入入，輸出也也是條目集集）。區(qū)別別于傳統(tǒng)關(guān)關(guān)系數(shù)據(jù)庫庫的按行存存儲，NoSQL支持列存數(shù)數(shù)據(jù)庫按列列存儲。在線分析處處理OLAP（OnLineAnalysisProcessing）大規(guī)模并行行數(shù)據(jù)庫：是無共享享數(shù)據(jù)庫，，可以有效效提高查詢詢效率和平平臺的可擴擴展性，主主要用在數(shù)數(shù)據(jù)倉庫和和大規(guī)模分分析處理應(yīng)應(yīng)用中。分布式大規(guī)規(guī)模批處理理（MapReduce）：它是一個個支持非結(jié)結(jié)構(gòu)化大數(shù)數(shù)據(jù)分析的的分布式編編程模型。。MR來源于函數(shù)數(shù)式編程語語言LISP中兩個高階階函數(shù)Map和Reduce。Map被用來遍歷歷輸入數(shù)據(jù)據(jù)，并進行行劃分，再再以Key/Value對方式輸出出中間結(jié)果果；然后這這些中間結(jié)結(jié)果按Key的取值聚集集到Reducer上執(zhí)行Reduce操作，產(chǎn)生生最終計算算結(jié)果。293、大數(shù)據(jù)處處理流程大數(shù)據(jù)的挖挖掘定義：從大量、、隨機的、、不完整的的、有噪聲聲的、模糊糊的數(shù)據(jù)中中，提取隱隱含的事先先不知道的的，但有潛潛在應(yīng)用價價值的信息息和知識的的過程。數(shù)據(jù)挖掘的的一般步驟驟：數(shù)據(jù)篩選：從目標(biāo)數(shù)數(shù)據(jù)中提取取與分析相相關(guān)的數(shù)據(jù)據(jù)。數(shù)據(jù)預(yù)處理理：清除目標(biāo)標(biāo)數(shù)據(jù)中的的噪聲或不不一致的數(shù)數(shù)據(jù)。數(shù)據(jù)變換：將已預(yù)處處理的數(shù)據(jù)據(jù)統(tǒng)一成適適合挖掘的的格式。數(shù)據(jù)挖掘：從變換后后的數(shù)據(jù)中中，使用智智能方法提提取數(shù)據(jù)模模式。評估與展現(xiàn)現(xiàn)：識別真正正有用的模模式并進行行可視化展展現(xiàn)。大數(shù)據(jù)挖掘掘的幾個階階段：數(shù)據(jù)預(yù)處理理階段：包括數(shù)據(jù)據(jù)準(zhǔn)備，數(shù)數(shù)據(jù)提取，，數(shù)據(jù)預(yù)處處理和數(shù)據(jù)據(jù)變換等。。數(shù)據(jù)挖掘階階段：包括確定定挖掘目標(biāo)標(biāo)，選擇合合適的挖掘掘算法，從從數(shù)據(jù)庫中中提取用戶戶感興趣的的知識。數(shù)據(jù)評估與與展示階段段：包括對發(fā)發(fā)現(xiàn)的模式式（知識））評估，向向用戶呈現(xiàn)現(xiàn)所挖掘的的知識等。。新型挖掘技技術(shù)：大數(shù)據(jù)的異異構(gòu)性、非非確定性、、關(guān)聯(lián)性、、結(jié)構(gòu)不一一致性、稀稀疏泛分布布性、數(shù)據(jù)據(jù)流動性、、動態(tài)變化化性等復(fù)雜雜因素需要要研究諸如如迭代性和和探索性分分析等新型型數(shù)據(jù)挖掘掘技術(shù)。例例如，Hive是在Hadoop之上的，管管理和查詢詢結(jié)構(gòu)化數(shù)數(shù)據(jù)，可完完成PB級數(shù)據(jù)的挖挖掘。303、大數(shù)據(jù)處處理流程大數(shù)據(jù)的分分析大數(shù)據(jù)的描描述分析關(guān)聯(lián)分析（AssociationAnalysis）：是從給給定的數(shù)據(jù)據(jù)中發(fā)現(xiàn)頻頻繁出現(xiàn)的的模式（關(guān)聯(lián)規(guī)則），其形式式表達為X=>Y，即“數(shù)據(jù)據(jù)庫中滿足足條件的X的記錄多半半也滿足條條件Y”。聚類分析（ClusteringAnalysis）：是將數(shù)數(shù)據(jù)對象劃劃分成多個個類或簇，，使之同簇簇中對象有有較高的相似度。離群點分析析（OutlierAnalysis）：分析數(shù)數(shù)據(jù)集合中中那些與絕絕大多數(shù)數(shù)數(shù)據(jù)特性或或模型不一致的數(shù)據(jù)對象（（稱之為離離群點，Outlier）。演化分析（EvolutionAnalysis）：其目的的是挖掘隨隨時間變化化的數(shù)據(jù)對對象的變化化規(guī)律和趨趨勢，并對對其建模。。大數(shù)據(jù)的實實時分析庫內(nèi)分析：數(shù)據(jù)分析析在數(shù)據(jù)庫庫內(nèi)可以即即時完成，，這樣既節(jié)節(jié)省時間又又提高了安安全性。內(nèi)存計算：在服務(wù)器器的主存中中處理分析析數(shù)據(jù)。流處理：實時處理理新數(shù)據(jù)和和更新數(shù)據(jù)據(jù)庫。連續(xù)計算：對數(shù)據(jù)進進行連續(xù)查查詢、邊計計算邊以流流的形式輸輸出之。集成多種學(xué)學(xué)習(xí)算法：包括人工工智能有關(guān)關(guān)的機器學(xué)學(xué)習(xí)算法、、A/BTest法、分類/聚類算法、、學(xué)習(xí)與演演化算法、、識別和預(yù)預(yù)測算法、、監(jiān)督與非非監(jiān)督學(xué)習(xí)習(xí)算法等。。313、大數(shù)據(jù)處處理流程(4)大數(shù)據(jù)信息息處理平臺臺高通量計算算結(jié)構(gòu)：改變傳統(tǒng)統(tǒng)的以計算算為中心的的高性能（HP，HighPerformance）計算結(jié)構(gòu)為以數(shù)據(jù)為為中心的高通量（HT，HighThroughput）計算結(jié)構(gòu)。高通量計計算結(jié)構(gòu)特特別適合于于來自Web服務(wù)的大量量面向網(wǎng)絡(luò)絡(luò)的日志（（Log）信息的處處理。端云協(xié)同計計算系統(tǒng)：該系統(tǒng)在在終端低層層硬件上集集成多種異異構(gòu)并行的的計算設(shè)施施，將其與與虛擬化的的云計算網(wǎng)網(wǎng)絡(luò)構(gòu)成端端云協(xié)同的的大數(shù)據(jù)信信息處理計計算平臺。。高性能云計計算（HighPerformanceCloudComputing）數(shù)據(jù)中心基基礎(chǔ)設(shè)施：普及型高性性能計算機機（PHPC，PopularHighPerformanceComputing）可以應(yīng)對對大數(shù)據(jù)應(yīng)應(yīng)用中數(shù)據(jù)據(jù)量大（Volume）和處理速速度要求高高（Velocity）等方面的的挑戰(zhàn)。323、大數(shù)據(jù)處處理流程大數(shù)據(jù)分布布式處理軟軟件架構(gòu)：：HadoopHadoop的優(yōu)點：它是一種種能處理PB級數(shù)據(jù)應(yīng)用用程序的分分布式計算算平臺，其其優(yōu)點是：：高可靠性：能自動保保存多個副副本的存儲儲數(shù)據(jù)，可可自動將失失敗的任務(wù)務(wù)重新分配配處理。高可擴展性性：Hadoop可在機群間間分配數(shù)據(jù)據(jù)和完成計計算，機群群可以方便便地擴展數(shù)數(shù)以千計的的節(jié)點。高效性：Hadoop可在節(jié)點間間移動數(shù)據(jù)據(jù)，保證負(fù)負(fù)載動態(tài)平平衡，以實實現(xiàn)快速高高效處理。。Hadoop的組成：Hadoop的組成元素素如下：分布式文件件系統(tǒng)HDFS：其架構(gòu)由由一個Namenode節(jié)點（提供供元數(shù)據(jù)服服務(wù)）和多多個Datanode節(jié)點（為HDFS提供存儲塊塊）組成的的Master-Slave架構(gòu)，Datanode在在Namenode的調(diào)度下進進行數(shù)據(jù)的的創(chuàng)建、刪刪除和復(fù)制制。HDFS內(nèi)部通信基基于標(biāo)準(zhǔn)的的TCP/IP協(xié)議。MapReduce并行編程框框架：其中Map把輸入分解解成Key/Value對；Reduce把Key/Value合并成最終終的輸出，，而對Key/Value的操作是可可以并行完完成的。數(shù)據(jù)倉庫工工具Hive：它提供了了一系列工工具用來進進行數(shù)據(jù)提提取、轉(zhuǎn)換換、加載（（ETL）；定義了了類SQL的HQL查詢語言，，供用戶查查詢數(shù)據(jù)；；提供通過過Web瀏覽器WUI用戶接口來來訪問Hive。Hive將元數(shù)據(jù)（（包括表名名、表列、、分區(qū)屬性性等）存儲儲在數(shù)據(jù)庫庫中，可用用HQL進行查詢等等。大數(shù)據(jù)分析析平臺Pig：提供類SQL的PigLatin語言，將請請求轉(zhuǎn)換成成一系列優(yōu)優(yōu)化后的MapReduce運算；Pig為海量數(shù)據(jù)據(jù)并行計算算提供簡單單的編程接接口，用戶戶可通過Python或者Javascript編寫Java程序。333、大數(shù)據(jù)處處理流程大數(shù)據(jù)工具具軟件：Ysmart&RCFileYSmart(YetanotherSql-to-MApReduceTranslator)：SQL-to-MapReduce高效翻譯器器將用類SQL說明性語言言描述的某某一“運算算”（Operation）翻譯成MapReduce的“作業(yè)””（Job）的步驟：：識別“運運算”的主主句（如Join）；主句中中的每一““運算”生生成相應(yīng)MR的“作業(yè)””（如joinop→joinMRjob）；將諸如如選擇、投投影等其他他運算加入入相應(yīng)的MR作業(yè)中。為了提高SQL-to-MR翻譯的性能能，對于一一個SQL-like的提問，首首先要轉(zhuǎn)換換成原語MR作業(yè)；其次次進行相關(guān)關(guān)性識別；；再歸并相相關(guān)的MR作業(yè)；最后后Ysmart被集成到數(shù)數(shù)據(jù)倉庫Hive中。RCFile(RecordColumnarFile)：高效數(shù)據(jù)據(jù)存放結(jié)構(gòu)構(gòu)RCFile是Facebook公司數(shù)據(jù)分分析系統(tǒng)中中的標(biāo)準(zhǔn)數(shù)數(shù)據(jù)存儲結(jié)結(jié)構(gòu)，該結(jié)結(jié)構(gòu)集行存存儲和列存存儲的優(yōu)點點為一體，，在MR環(huán)境下的大大數(shù)據(jù)分析析中扮演重重要角色。。在Hadoop系統(tǒng)中，常常用文件存存儲格式有有：支持文文本的TextFile和支持二進進制的SequenceFile，它們都是是按行存儲儲的；Facebook工程師們將將來自Web服務(wù)器的大大量日志（（Log）數(shù)據(jù)經(jīng)由由數(shù)據(jù)加載載器，按列列存儲的方方式存入數(shù)數(shù)據(jù)倉庫中中。343、大數(shù)據(jù)處處理流程HDFS塊內(nèi)RCFile方式的存儲儲示例：首先將關(guān)系系表劃分成成若干個行行組（RowGroup）；在一個個行組內(nèi)，，將原關(guān)系系表中的數(shù)數(shù)據(jù)按逐列列存放之。。如此可確確保同一行行的數(shù)據(jù)位位于同一節(jié)節(jié)點；同時時與傳統(tǒng)數(shù)數(shù)據(jù)庫的數(shù)數(shù)據(jù)存儲結(jié)結(jié)構(gòu)相比，，RCFile能更有效地地滿足基于于MR的數(shù)據(jù)倉庫庫的快速加加載、加速速處理提問問、高效利利用存儲空空間等需求求。353、大數(shù)據(jù)處處理流程3.5大數(shù)據(jù)的展展現(xiàn)數(shù)據(jù)可視化化的定義：：將數(shù)據(jù)處理理的結(jié)果（（圖片、表表格、映射射關(guān)系等））以簡單、、友好、易易用的圖形形化、智能能化、可視視化形式呈呈現(xiàn)給用戶戶。數(shù)據(jù)可視化化模式時間趨勢的的可視化離散型數(shù)據(jù)據(jù)可視化：常見的有有柱狀圖及及其變形。。連續(xù)型數(shù)據(jù)據(jù)可視化：常見的有有線型圖（（LineChart）或時間線線型圖（TimeLineChart），在小間間隔時間步步和大數(shù)據(jù)據(jù)范圍內(nèi)畫畫出擬合曲曲線展示連連續(xù)變化趨趨勢。利用線性回回歸方程的的最小平方方函數(shù)來描描繪自變量量和因變量量之間的關(guān)關(guān)系曲線函函數(shù)?？臻g趨勢的的可視化點數(shù)據(jù)可視視化：根據(jù)地理理元素特性性、特點和和地圖有機機結(jié)合起來來，再使用用Delaunay三角剖分算算法將相近近的點用不不重復(fù)的三三角形連接接在一起。。區(qū)域數(shù)據(jù)可可視化：根據(jù)數(shù)據(jù)據(jù)的特性（（例如高、、中、低等等），對不不同的區(qū)域域進行著色色，可直觀觀地體現(xiàn)出出區(qū)域數(shù)據(jù)據(jù)的不同。。363、大數(shù)據(jù)處處理流程數(shù)據(jù)可視化化工具簡單型：常見的有有MicrosoftExcel、AppleiWorkNumbers、GoogleSpreadsheets等。編程型：常見的有有Flash/ActionScript、Processing、R和D3.js等。大數(shù)據(jù)的處處理及可視視化技術(shù)小小結(jié)使用分布式式文件系統(tǒng)統(tǒng)（例如HDFS）存儲海量非結(jié)構(gòu)構(gòu)化數(shù)據(jù)。。使用Hadoop的MR框架處理海量非結(jié)構(gòu)構(gòu)化數(shù)據(jù)；；將結(jié)果存存儲到數(shù)據(jù)據(jù)倉庫中。。將結(jié)構(gòu)化和和半結(jié)構(gòu)化化的數(shù)據(jù)，，經(jīng)ETL存儲到數(shù)據(jù)據(jù)倉庫中。。使用機群或或分布式架架構(gòu)對大數(shù)數(shù)據(jù)進行分分析、處理理和生成可可視化結(jié)果果。對于實時性性要求較高高的數(shù)據(jù)分分析，可采采用流處理理方式，在在數(shù)據(jù)存儲儲之前就完完成分析并并生成可視視化結(jié)果。。374、大數(shù)據(jù)與與物聯(lián)網(wǎng)4.1物聯(lián)網(wǎng)物聯(lián)網(wǎng)定義義、特征與與技術(shù)基礎(chǔ)礎(chǔ)物聯(lián)網(wǎng)（InternetofThings,IOT）定義：通過裝置在在物體上的的各種信息息傳感設(shè)備備（如RFID、紅外傳感感器