物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實(shí)踐（第2版）課件 第1章-物聯(lián)網(wǎng)與產(chǎn)業(yè)發(fā)展

物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實(shí)踐IoT

BigDataProcessingTechnologyandPractice物聯(lián)網(wǎng)與產(chǎn)業(yè)發(fā)展物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展1物聯(lián)網(wǎng)與大數(shù)據(jù)2物聯(lián)網(wǎng)產(chǎn)業(yè)的機(jī)遇與挑戰(zhàn)3PARTONE1物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展師傅領(lǐng)進(jìn)門(mén)，學(xué)藝在自身。------中國(guó)諺語(yǔ)1.1物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展當(dāng)前，新一代信息通信技術(shù)，包括移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)，正引領(lǐng)全球科技革命和產(chǎn)業(yè)變革。物聯(lián)網(wǎng)應(yīng)用蓬勃發(fā)展，與傳統(tǒng)領(lǐng)域融合深入，重點(diǎn)領(lǐng)域包括M2M通信、智能汽車(chē)等。各國(guó)政府積極制定戰(zhàn)略，如美國(guó)的制造業(yè)復(fù)興、德國(guó)的工業(yè)4.0、中國(guó)的制造強(qiáng)國(guó)計(jì)劃，推動(dòng)全球物聯(lián)網(wǎng)和大數(shù)據(jù)迅速增長(zhǎng)。中國(guó)在物聯(lián)網(wǎng)領(lǐng)域也采取重要措施，如《中國(guó)制造2025》和《智能制造發(fā)展規(guī)劃》，強(qiáng)調(diào)信息化與工業(yè)化深度融合，推動(dòng)物聯(lián)網(wǎng)和新技術(shù)應(yīng)用。1.1.1傳感器與智能硬件傳感器與智能硬件產(chǎn)業(yè)是物聯(lián)網(wǎng)產(chǎn)業(yè)的重要組成部分，其是與物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展同步快速發(fā)展的。消費(fèi)者物聯(lián)網(wǎng)設(shè)備包括可穿戴設(shè)備、智能家居產(chǎn)品、無(wú)人機(jī)、無(wú)人駕駛汽車(chē)等。除了面向消費(fèi)者的物聯(lián)網(wǎng)設(shè)備之外，產(chǎn)業(yè)物聯(lián)網(wǎng)連接數(shù)在總的物聯(lián)網(wǎng)總連接數(shù)中的占比將提速。其中智慧工業(yè)、智慧交通、智慧健康、智慧能源等領(lǐng)域?qū)⒆钣锌赡艹蔀楫a(chǎn)業(yè)物聯(lián)網(wǎng)連接數(shù)增長(zhǎng)最快的領(lǐng)域。傳感器在賦予手機(jī)和物聯(lián)網(wǎng)產(chǎn)品更強(qiáng)大功能方面發(fā)揮關(guān)鍵作用，傳感器通常由敏感元件和轉(zhuǎn)換元件組成，將檢測(cè)感受到的信息轉(zhuǎn)化為電信號(hào)，廣泛用于各個(gè)領(lǐng)域的感知和控制。1.1.2物聯(lián)網(wǎng)服務(wù)平臺(tái)隨著物聯(lián)網(wǎng)產(chǎn)業(yè)的增長(zhǎng)，物聯(lián)網(wǎng)服務(wù)平臺(tái)提供了端到端物聯(lián)網(wǎng)云服務(wù)，幫助制造商打造物聯(lián)網(wǎng)產(chǎn)品。預(yù)測(cè)顯示到2025年，物聯(lián)網(wǎng)平臺(tái)、應(yīng)用和服務(wù)的收入將占據(jù)物聯(lián)網(wǎng)總收入的67%。多家知名科技公司如蘋(píng)果、華為等都推出了物聯(lián)網(wǎng)平臺(tái)或套件，中國(guó)移動(dòng)、阿里巴巴、華為等公司在物聯(lián)網(wǎng)領(lǐng)域也取得了顯著進(jìn)展，連接數(shù)和提供的應(yīng)用不斷增加。物聯(lián)網(wǎng)服務(wù)平臺(tái)在不同行業(yè)，尤其是車(chē)聯(lián)網(wǎng)領(lǐng)域，具有巨大市場(chǎng)潛力，可以改善交通管理和提供智能化的車(chē)輛服務(wù)。1.1.3工業(yè)4.0與CPS美國(guó)工業(yè)的發(fā)展德國(guó)工業(yè)的發(fā)展美國(guó)與德國(guó)工業(yè)發(fā)展的異同日本工業(yè)4.0的發(fā)展美國(guó)工業(yè)的發(fā)展2006年美國(guó)提出了虛擬網(wǎng)絡(luò)-實(shí)體物理系統(tǒng)或者信息物理系統(tǒng)（CPS：Cyber-PhysicalSystem）的概念。2010年美國(guó)總統(tǒng)奧巴馬簽署了《美國(guó)制造業(yè)促進(jìn)法案》，提出運(yùn)用數(shù)字制造和人工智能等未來(lái)科技重構(gòu)美國(guó)的制造業(yè)優(yōu)勢(shì)。2012年2月美國(guó)國(guó)家科技委員會(huì)發(fā)布了《先進(jìn)制造業(yè)國(guó)家戰(zhàn)略計(jì)劃》報(bào)告，將促進(jìn)先進(jìn)制造業(yè)發(fā)展提高到了國(guó)家戰(zhàn)略層面2012年11月美國(guó)通用電氣公司（簡(jiǎn)稱(chēng)GE）發(fā)布《工業(yè)互聯(lián)網(wǎng)——打破智慧與機(jī)器的邊界》報(bào)告，開(kāi)始向全世界推廣工業(yè)互聯(lián)網(wǎng)模式。CPS將物聯(lián)網(wǎng)和互聯(lián)網(wǎng)與制造業(yè)的融合做出綜合性的概括，并將此項(xiàng)技術(shù)體系作為新一代技術(shù)革命的突破點(diǎn)。汽車(chē)、飛機(jī)、船舶、電梯、機(jī)床以及生產(chǎn)線(xiàn)等，都可以存在于虛擬和實(shí)體兩個(gè)世界，在虛擬世界中將實(shí)體的狀態(tài)以及實(shí)體之間的關(guān)系透明化.虛擬世界中代表實(shí)體狀態(tài)和相互關(guān)系的模型和計(jì)算結(jié)果能夠精確地指導(dǎo)實(shí)體的活動(dòng)，從而使實(shí)體的活動(dòng)相互協(xié)調(diào)優(yōu)化.德國(guó)工業(yè)的發(fā)展2011年工業(yè)4.0的概念首次在德國(guó)漢諾威工業(yè)博覽會(huì)上第一次提出。2013年正式發(fā)布了“工業(yè)4.0實(shí)施建議”，拉開(kāi)了全球范圍內(nèi)推進(jìn)第四次工業(yè)革命的序幕?！肮I(yè)4.0”的核心就是信息物聯(lián)網(wǎng)和服務(wù)互聯(lián)網(wǎng)與制造業(yè)的融合創(chuàng)新?！肮I(yè)4.0”會(huì)將智能技術(shù)和網(wǎng)絡(luò)投入到工業(yè)應(yīng)用中，從而進(jìn)一步鞏固德國(guó)作為生產(chǎn)地以及制造設(shè)備供應(yīng)國(guó)和IT業(yè)務(wù)解決方案供應(yīng)國(guó)的領(lǐng)先地位。美國(guó)與德國(guó)工業(yè)發(fā)展的異同美國(guó)與德國(guó)面對(duì)制造業(yè)未來(lái)雖然提出的概念不同，但“工業(yè)4.0”與CPS本質(zhì)上是異曲同工的，其戰(zhàn)略核心是：制造智能化。“工業(yè)4.0”與CPS目標(biāo)在于通過(guò)物聯(lián)網(wǎng)、信息通訊技術(shù)與大數(shù)據(jù)分析，把不同設(shè)備通過(guò)數(shù)據(jù)交互連接到一起，讓工廠內(nèi)部、工廠之間都能成為一個(gè)整體，在自動(dòng)化之上，形成制造的智能化。第四次工業(yè)革命主要是指通過(guò)物聯(lián)網(wǎng)和信息物理系統(tǒng)技術(shù)，將制造業(yè)向智能化轉(zhuǎn)型，實(shí)現(xiàn)集中式控制向分散式增強(qiáng)型控制的基本模式轉(zhuǎn)變，最終建立一個(gè)高度靈活的個(gè)性化和數(shù)字化的產(chǎn)品與服務(wù)生產(chǎn)模式。物聯(lián)網(wǎng)、互聯(lián)網(wǎng)服務(wù)以及大數(shù)據(jù)是“工業(yè)4.0”的基礎(chǔ)。美國(guó)與德國(guó)工業(yè)發(fā)展的異同德國(guó)工業(yè)4.0的戰(zhàn)略意圖：（1）對(duì)抗美國(guó)互聯(lián)網(wǎng)產(chǎn)業(yè)從“信息”領(lǐng)域加速進(jìn)入“物理”業(yè)務(wù)領(lǐng)域的影響。（2）工業(yè)4.0希望用“信息物理系統(tǒng)”升級(jí)“智能工廠”中的“生產(chǎn)設(shè)備”，使生產(chǎn)設(shè)備因信息物理系統(tǒng)而獲得智能。（3）工業(yè)4.0戰(zhàn)略的推進(jìn)也是德國(guó)在日本、中國(guó)等國(guó)的制造業(yè)快速趕超的背景下保持國(guó)際競(jìng)爭(zhēng)力的重大舉措。日本工業(yè)4.0的發(fā)展2015年1月，日本政府公布了《機(jī)器人新戰(zhàn)略》，該戰(zhàn)略首先列舉了歐美與中國(guó)的技術(shù)趕超，互聯(lián)網(wǎng)企業(yè)向傳統(tǒng)機(jī)器人產(chǎn)業(yè)的涉足，而給機(jī)器人產(chǎn)業(yè)環(huán)境帶來(lái)了劇變。2021年，我國(guó)政府十五部門(mén)印發(fā)《“十四五”機(jī)器人產(chǎn)業(yè)發(fā)展規(guī)劃》指出，新一代信息技術(shù)、生物技術(shù)、新能源、新材料和機(jī)器人技術(shù)的深度融合，機(jī)器人產(chǎn)業(yè)迎來(lái)升級(jí)換代、跨越發(fā)展的窗口期。未來(lái)五年，我國(guó)要突破若干核心技術(shù)、實(shí)現(xiàn)制造業(yè)機(jī)器人密度翻番。這些變化，將使機(jī)器人開(kāi)始應(yīng)用大數(shù)據(jù)實(shí)現(xiàn)自律化，使機(jī)器人之間的協(xié)同實(shí)現(xiàn)網(wǎng)絡(luò)化，物聯(lián)網(wǎng)時(shí)代也將隨之真正到來(lái)。PARTTWO2物聯(lián)網(wǎng)與大數(shù)據(jù)大數(shù)據(jù)的產(chǎn)生近年來(lái)，隨著互聯(lián)網(wǎng)的飛速發(fā)展，特別是隨著電子商務(wù)、社交網(wǎng)絡(luò)、移動(dòng)互聯(lián)網(wǎng)以及多種傳感器的廣泛應(yīng)用，以數(shù)量龐大、種類(lèi)眾多、時(shí)效性強(qiáng)為特征的非結(jié)構(gòu)化數(shù)據(jù)不斷涌現(xiàn)，數(shù)據(jù)的重要性愈發(fā)凸顯。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)、處理和分析技術(shù)難以有效應(yīng)對(duì)這些大量的非結(jié)構(gòu)化信息，大數(shù)據(jù)的概念應(yīng)運(yùn)而生。大數(shù)據(jù)的提出2008年9月，《自然（Nature）》刊登了一個(gè)名為“BigData”的專(zhuān)輯，首次提出了大數(shù)據(jù)（BigData）概念。2011年5月,EMC舉辦了主題為“云計(jì)算相遇大數(shù)據(jù)”的大會(huì)。2011年6月麥肯錫全球研究所發(fā)布研究報(bào)告——《大數(shù)據(jù)：下一個(gè)前沿——?jiǎng)?chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力》,提出了“大數(shù)據(jù)時(shí)代”的到來(lái)。2012年5月聯(lián)合國(guó)“全球脈沖”計(jì)劃發(fā)布《大數(shù)據(jù)開(kāi)發(fā)：機(jī)遇與挑戰(zhàn)》報(bào)告，闡述了大數(shù)據(jù)帶來(lái)的機(jī)遇、挑戰(zhàn)以及大數(shù)據(jù)的應(yīng)用。大數(shù)據(jù)的定義大數(shù)據(jù)：是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)從宏觀世界角度來(lái)講，大數(shù)據(jù)是融合物理世界、信息空間和人類(lèi)社會(huì)三元世界的紐帶從社會(huì)經(jīng)濟(jì)角度來(lái)講，大數(shù)據(jù)是第二經(jīng)濟(jì)的核心關(guān)鍵支撐“第二經(jīng)濟(jì)的概念是由美國(guó)經(jīng)濟(jì)學(xué)家Auther在2011年提出的，他指出由處理器、鏈接器、傳感器、執(zhí)行器以及運(yùn)行在其上的經(jīng)濟(jì)活動(dòng)形成了人們熟知的物理經(jīng)濟(jì)（第一經(jīng)濟(jì)）之外的第二經(jīng)濟(jì)（不是虛擬經(jīng)濟(jì)）。第二經(jīng)濟(jì)的本質(zhì)是為第一經(jīng)濟(jì)附著一個(gè)“神經(jīng)層”，使國(guó)民經(jīng)濟(jì)活動(dòng)能夠變得智能化。據(jù)Gartner預(yù)測(cè)，未來(lái)幾年內(nèi)，傳感和移動(dòng)設(shè)備將更深入延伸至我們的日常生活，導(dǎo)致數(shù)據(jù)爆發(fā)。另根據(jù)相關(guān)研究統(tǒng)計(jì)，物聯(lián)網(wǎng)中產(chǎn)生的來(lái)自傳感器的數(shù)據(jù)逐步超越互聯(lián)網(wǎng)的數(shù)據(jù)量，如果算上工業(yè)企業(yè)自動(dòng)化生產(chǎn)線(xiàn)及設(shè)備上的運(yùn)行數(shù)據(jù)，特別是隨著工業(yè)4.0推進(jìn)而帶來(lái)的數(shù)據(jù)爆炸，物聯(lián)網(wǎng)數(shù)據(jù)的量更是呈現(xiàn)幾何級(jí)數(shù)增長(zhǎng)?？梢哉f(shuō)，未來(lái)人們談到或研究“大數(shù)據(jù)”，無(wú)疑物聯(lián)網(wǎng)將是主要的數(shù)據(jù)來(lái)源。PARTTHREE3物聯(lián)網(wǎng)產(chǎn)業(yè)的機(jī)遇與挑戰(zhàn)物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)物聯(lián)網(wǎng)市場(chǎng)的增長(zhǎng)帶來(lái)許多好處，方便人們的生活以及企業(yè)的生產(chǎn)、提高效率和降低成本。但同時(shí)也面臨著不少的挑戰(zhàn)：碎片化問(wèn)題安全性和隱私保護(hù)問(wèn)題資源受限問(wèn)題物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)：碎片化“碎片化”原指完整的東西破成諸多零塊。我們現(xiàn)在更多地通過(guò)網(wǎng)絡(luò)傳媒了解信息，信息內(nèi)容更加分散，完整的信息被各式各樣的分類(lèi)分解為信息片段。由于終端產(chǎn)品種類(lèi)繁多，同樣的功能可以由不同種類(lèi)的產(chǎn)品來(lái)實(shí)現(xiàn)，其終端呈現(xiàn)碎片化。因此相對(duì)于互聯(lián)網(wǎng)，物聯(lián)網(wǎng)相呈現(xiàn)出更加碎片化的趨勢(shì)。物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)：安全性和隱私保護(hù)隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展擴(kuò)大，物聯(lián)網(wǎng)安全問(wèn)題面臨的安全威脅呈現(xiàn)多樣化、網(wǎng)絡(luò)攻擊越發(fā)猖獗。物聯(lián)網(wǎng)安全問(wèn)題的出現(xiàn)可能會(huì)導(dǎo)致數(shù)據(jù)泄露、網(wǎng)絡(luò)癱瘓等多種后果。業(yè)界通過(guò)安全標(biāo)準(zhǔn)化、安全保障及隱私保護(hù)新技術(shù)等多個(gè)方面的手段應(yīng)對(duì)此問(wèn)題。加密通信技術(shù)、安全通信技術(shù)、訪(fǎng)問(wèn)控制技術(shù)等。加強(qiáng)安全管理，嚴(yán)格管理對(duì)設(shè)備、數(shù)據(jù)的訪(fǎng)問(wèn)權(quán)限。完善物聯(lián)網(wǎng)相關(guān)法律、制定專(zhuān)項(xiàng)安全規(guī)章制度等來(lái)規(guī)范物聯(lián)網(wǎng)產(chǎn)業(yè)。物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)：資源受限物聯(lián)網(wǎng)設(shè)備受限于電池壽命物聯(lián)網(wǎng)的通信環(huán)境受限于物理環(huán)境條件的限制物聯(lián)網(wǎng)終端設(shè)備的計(jì)算能力受限于其自身有限的硬件條件…緩解方法：低功耗硬件通信技術(shù)云邊協(xié)同計(jì)算技術(shù)物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù)物聯(lián)網(wǎng)操作系統(tǒng)提供各種物聯(lián)網(wǎng)軟硬件資源的管理功能，為用戶(hù)和開(kāi)發(fā)者提供統(tǒng)一的開(kāi)發(fā)接口，具有巨大的發(fā)展?jié)摿ΑＮ锫?lián)網(wǎng)操作系統(tǒng)使物聯(lián)網(wǎng)設(shè)備能夠在有限的內(nèi)存帶寬、數(shù)據(jù)量和處理能力的嚴(yán)格參數(shù)內(nèi)通過(guò)全球網(wǎng)絡(luò)與云服務(wù)進(jìn)行交互。物聯(lián)網(wǎng)操作系統(tǒng)架構(gòu)示意圖物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù)一部分物聯(lián)網(wǎng)操作系統(tǒng)通過(guò)對(duì)智能手機(jī)、PC操作系統(tǒng)的改造而成。例如：Windows物聯(lián)網(wǎng)操作系統(tǒng)Google發(fā)布的Brillo操作系統(tǒng)物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù)一部分物聯(lián)網(wǎng)操作系統(tǒng)以傳統(tǒng)嵌入式操作系統(tǒng)為基礎(chǔ)，在其上改造以適應(yīng)物聯(lián)網(wǎng)設(shè)備的連接及通信等需求。例如：Mbed操作系統(tǒng)Contiki操作系統(tǒng)物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù)一部分物聯(lián)網(wǎng)操作系統(tǒng)面向特定的產(chǎn)業(yè)研發(fā)定制化的操作系統(tǒng)。例如：鴻蒙操作系統(tǒng)物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù)目前各式各樣的物聯(lián)網(wǎng)操作系統(tǒng)才剛剛推出，還并未成熟，未來(lái)還存在很大的變數(shù)。無(wú)論傳感網(wǎng)還是智能硬件，不可避免面臨著數(shù)據(jù)管理問(wèn)題，傳感器數(shù)據(jù)庫(kù)、微小型數(shù)據(jù)庫(kù)也正在進(jìn)入人們的視野。隨著物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展，相信會(huì)形成一定的規(guī)范與市場(chǎng)需求。物聯(lián)網(wǎng)大數(shù)據(jù)未來(lái)，物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)將超過(guò)當(dāng)今互聯(lián)網(wǎng)數(shù)據(jù)作為大數(shù)據(jù)的主要來(lái)源。什么是物聯(lián)網(wǎng)大數(shù)據(jù)？物聯(lián)網(wǎng)技術(shù)的發(fā)展將和大數(shù)據(jù)技術(shù)緊密結(jié)合起來(lái)，將成萬(wàn)上億計(jì)的傳感器嵌入到現(xiàn)實(shí)世界的各種設(shè)備中，獲取來(lái)自傳感器的數(shù)據(jù)。物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用物聯(lián)網(wǎng)大數(shù)據(jù)處理是指：將成萬(wàn)上億計(jì)的傳感器嵌入到現(xiàn)實(shí)世界的各種設(shè)備中，獲取來(lái)自傳感器的數(shù)據(jù)，對(duì)其進(jìn)行智能化的處理、分析，挖掘出物聯(lián)網(wǎng)大數(shù)據(jù)在單個(gè)物聯(lián)網(wǎng)設(shè)備及傳感器條件下完全不同的價(jià)值，從而提供更加深化、智能、貼近于用戶(hù)的產(chǎn)品及服務(wù)。物聯(lián)網(wǎng)大數(shù)據(jù)的應(yīng)用：智慧城市、智慧醫(yī)療、智能家居、工業(yè)生產(chǎn)等物聯(lián)網(wǎng)與大數(shù)據(jù)結(jié)合中的挑戰(zhàn)數(shù)據(jù)類(lèi)型多樣：數(shù)據(jù)類(lèi)型多樣使得一個(gè)應(yīng)用往往既要處理結(jié)構(gòu)化數(shù)據(jù)，同時(shí)還要處理文本、視頻、語(yǔ)音等非結(jié)構(gòu)化數(shù)據(jù)，這對(duì)現(xiàn)有數(shù)據(jù)庫(kù)系統(tǒng)來(lái)說(shuō)難以應(yīng)付。及時(shí)響應(yīng)：在許多應(yīng)用中，數(shù)據(jù)是實(shí)時(shí)變化的，用戶(hù)對(duì)數(shù)據(jù)處理響應(yīng)速度及數(shù)據(jù)處理實(shí)時(shí)性的需求是關(guān)鍵因素，如何正確、及時(shí)地處理連續(xù)不斷的海量數(shù)據(jù)面臨很大的挑戰(zhàn)數(shù)據(jù)的不確定性：噪聲廣泛存在于原始數(shù)據(jù)的采集過(guò)程之中，是無(wú)法避免的客觀因素引起的。但追求高數(shù)據(jù)質(zhì)量是對(duì)大數(shù)據(jù)的一項(xiàng)重要要求，最好的數(shù)據(jù)清理方法也難以消除某些數(shù)據(jù)固有的不確定性。如何應(yīng)對(duì)大數(shù)據(jù)帶來(lái)的上述困難和挑戰(zhàn)？各大互聯(lián)網(wǎng)企業(yè)及學(xué)術(shù)界近幾年推出了各種不同類(lèi)型的大數(shù)據(jù)處理編程框架、系統(tǒng)等，使大數(shù)據(jù)分析技術(shù)也得到迅速發(fā)展，已逐漸被廣泛應(yīng)用于不同的行業(yè)和領(lǐng)