物聯(lián)網(wǎng)技術(shù)及應(yīng)用6.云計(jì)算與大數(shù)據(jù)

物聯(lián)網(wǎng)技術(shù)及應(yīng)用（第2版）第6章云計(jì)算與大數(shù)據(jù)6.1概述6.2云計(jì)算6.3邊緣計(jì)算6.4大數(shù)據(jù)【主要內(nèi)容】6.1概述云計(jì)算、邊緣計(jì)算、大數(shù)據(jù)等，都是物聯(lián)網(wǎng)大系統(tǒng)對(duì)不同海量數(shù)據(jù)存儲(chǔ)、處理、服務(wù)的具體理論、方法和技術(shù)。本章分別對(duì)這三種核心技術(shù)的基本概念、原理、意義及典型應(yīng)用進(jìn)行分析和介紹。云計(jì)算（CloudComputing，CC）是用來(lái)解決海量數(shù)據(jù)如何存儲(chǔ)、如何檢索、如何使用、如何不被濫用等關(guān)鍵問(wèn)題的一種新的信息處理技術(shù)，是物聯(lián)網(wǎng)發(fā)展的基石。邊緣計(jì)算（EdgeComputing，EC）是指把計(jì)算和數(shù)據(jù)處理放在網(wǎng)絡(luò)的邊緣端進(jìn)行，是在靠近物體或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力的開(kāi)放平臺(tái)，能夠就近提供邊緣智能服務(wù)，滿(mǎn)足行業(yè)數(shù)字化在敏捷連接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)等方面的關(guān)鍵需求。大數(shù)據(jù)（BigData，BD）是一種海量數(shù)據(jù)服務(wù)業(yè)務(wù)，大數(shù)據(jù)技術(shù)是指從各種各樣類(lèi)型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。6.2云計(jì)算6.2.1概述云計(jì)算是一種動(dòng)態(tài)的、易擴(kuò)展的、且通常是通過(guò)互聯(lián)網(wǎng)提供虛擬化的資源計(jì)算方式，是一種基于互聯(lián)網(wǎng)相關(guān)服務(wù)的增加、使用和交付模式。狹義云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用，廣義云計(jì)算是指服務(wù)的交付和使用。核心思想：是將大量用網(wǎng)絡(luò)連接起來(lái)的計(jì)算資源統(tǒng)一管理和調(diào)度，構(gòu)成一個(gè)“像云一樣”的計(jì)算資源池（稱(chēng)為數(shù)據(jù)中心）向用戶(hù)按需服務(wù)，提供資源的網(wǎng)絡(luò)稱(chēng)為“云”。服務(wù)形式：云計(jì)算系統(tǒng)以免費(fèi)或付費(fèi)使用的形式向用戶(hù)提供各種服務(wù)，它意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通。這種服務(wù)主要分為三種形式：礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）平臺(tái)即服務(wù)（PlatformasaService，PaaS）軟件即服務(wù)（SoftwareasaService，SaaS）6.2.2云計(jì)算的發(fā)展云計(jì)算的先行者：Google、Amazon、IBM、Microsoft等美國(guó)大公司。Google是最大的云計(jì)算技術(shù)使用者。Google搜索引擎就建立和分布在30多個(gè)站點(diǎn)、超過(guò)200萬(wàn)臺(tái)服務(wù)器的支撐之上，而且這些設(shè)施的數(shù)量正在迅猛增長(zhǎng)，其開(kāi)放式平臺(tái)體現(xiàn)了云計(jì)算模式的精髓。Amazon是互聯(lián)網(wǎng)最大的在線(xiàn)零售商，研發(fā)了為企業(yè)提供計(jì)算和存儲(chǔ)服務(wù)的彈性計(jì)算云（ElasticComputingCloud，E2C）和簡(jiǎn)單存儲(chǔ)服務(wù)（SimpleStorageService，3S）。IBM早在2007年11月就推出了“改變游戲規(guī)則”的“藍(lán)云（BlueCloud，BC）”計(jì)劃，為用戶(hù)帶來(lái)即買(mǎi)即用的云計(jì)算平臺(tái)，被稱(chēng)為藍(lán)色巨人。Microsoft具有全世界數(shù)以?xún)|計(jì)的Windows用戶(hù)，通過(guò)WindowsLive提供云計(jì)算服務(wù)，實(shí)現(xiàn)一般的設(shè)備存儲(chǔ)轉(zhuǎn)移到任何時(shí)候都可以存儲(chǔ)的模式。比較項(xiàng)目Google云計(jì)算架構(gòu)IBM云計(jì)算產(chǎn)品Amazon彈性計(jì)算云與傳統(tǒng)軟件的兼容性在搜索基礎(chǔ)上建立的新的網(wǎng)絡(luò)系統(tǒng)；當(dāng)前的軟件還不能在該架構(gòu)下運(yùn)行，無(wú)兼容性。采用了虛擬技術(shù)，既能運(yùn)行傳統(tǒng)軟件又能提供新的云計(jì)算接口給新應(yīng)用程序開(kāi)發(fā)。采用了虛擬技術(shù)，可以運(yùn)行傳統(tǒng)軟件。系統(tǒng)開(kāi)放性采用內(nèi)部技術(shù)采用開(kāi)源技術(shù)內(nèi)部技術(shù)和開(kāi)源技術(shù)的結(jié)合系統(tǒng)虛擬技術(shù)的采用未采用系統(tǒng)虛擬技術(shù)，只能支持新應(yīng)用。采用開(kāi)源

虛擬軟件Xen采用開(kāi)源

虛擬軟件Xen目標(biāo)用戶(hù)用戶(hù)可以直接使用，同時(shí)提供網(wǎng)絡(luò)應(yīng)用

程序編程標(biāo)準(zhǔn)給開(kāi)發(fā)人員。開(kāi)發(fā)人員開(kāi)發(fā)人員編程支持提供網(wǎng)絡(luò)應(yīng)用程序編程標(biāo)準(zhǔn)局部分布式應(yīng)用程序編程接口網(wǎng)絡(luò)遠(yuǎn)程操作接口表6-1三種典型云計(jì)算系統(tǒng)的比較在國(guó)內(nèi)，阿里云是云計(jì)算的先導(dǎo)者，并以先發(fā)優(yōu)勢(shì)已經(jīng)成為國(guó)內(nèi)公認(rèn)的公有云“霸主”。百度云、騰訊云、UCloud、金山云等紛紛誕生，在云計(jì)算領(lǐng)域各占優(yōu)一席之地，其中BAT（百度、阿里、騰訊）三巨頭的“云計(jì)劃”都已經(jīng)上升到了空前的高度。阿里云：創(chuàng)立于2009年，是國(guó)內(nèi)較為領(lǐng)先的云計(jì)算及人工智能科技公司，致力于以在線(xiàn)公共服務(wù)方式，提供安全、可靠的計(jì)算和數(shù)據(jù)處理能力，讓計(jì)算和人工智能成為普惠科技。百度云（現(xiàn)名為百度網(wǎng)盤(pán)）：是百度推出的一項(xiàng)云存儲(chǔ)服務(wù)，已覆蓋主流PC和手機(jī)操作系統(tǒng)，騰訊云是騰訊公司傾力打造的云計(jì)算品牌，以卓越科技能力助力各行各業(yè)數(shù)字化轉(zhuǎn)型，為全球客戶(hù)提供領(lǐng)先的云計(jì)算、大數(shù)據(jù)、人工智能服務(wù)，以及定制化行業(yè)解決方案。UCloud(優(yōu)刻得)

：成立于2012年3月，是中國(guó)知名的中立云計(jì)算服務(wù)商，專(zhuān)注于提供可靠的企業(yè)級(jí)云服務(wù)。圖6-1中國(guó)云計(jì)算的發(fā)展6.2.3云計(jì)算的類(lèi)型云計(jì)算是一種計(jì)算資源的網(wǎng)絡(luò)應(yīng)用和服務(wù)模式，通常有3種基本類(lèi)型，即公有云、私有云和混合云。圖5-17云計(jì)算模式示意圖公有云：企業(yè)通過(guò)自己的基礎(chǔ)設(shè)施直接向大眾或者大行業(yè)提供的云服務(wù)。目前，典型的公有云有微軟的WindowsAzurePlatform、亞馬遜的AWS、S，以及國(guó)內(nèi)的阿里巴巴、用友和偉庫(kù)網(wǎng)等。私有云：企業(yè)自己使用的云，將云基礎(chǔ)設(shè)施與軟硬件資源創(chuàng)建在防火墻內(nèi)，以供企業(yè)內(nèi)各部門(mén)和分支機(jī)構(gòu)共享的數(shù)據(jù)資源?；旌显疲浩髽I(yè)提供給自己和客戶(hù)共同使用的云，它所提供的服務(wù)既可以供別人使用，也可以供自己使用。2015-2021年我國(guó)云計(jì)算整體市場(chǎng)規(guī)模統(tǒng)計(jì)及增長(zhǎng)情況：圖6-2公有云市場(chǎng)統(tǒng)計(jì)圖6-3私有云市場(chǎng)統(tǒng)計(jì)6.2.4云計(jì)算的網(wǎng)絡(luò)云網(wǎng)絡(luò)的突出特點(diǎn)：就是將數(shù)據(jù)資源由一對(duì)一，轉(zhuǎn)換為多對(duì)多，實(shí)現(xiàn)充分共享的需求。云網(wǎng)絡(luò)的服務(wù)形式：可以提供各類(lèi)應(yīng)用軟件服務(wù)可以提供云計(jì)算、云存儲(chǔ)服務(wù)可以提供開(kāi)發(fā)平臺(tái)接口服務(wù)可以提供商業(yè)服務(wù)和管理服務(wù)云網(wǎng)絡(luò)的工作模式：傳統(tǒng)網(wǎng)絡(luò)與云網(wǎng)絡(luò)模式比較：6-4云網(wǎng)絡(luò)的工作模式圖6-5傳統(tǒng)網(wǎng)絡(luò)和云網(wǎng)絡(luò)的模式對(duì)比6.2.5云計(jì)算的體系結(jié)構(gòu)體系結(jié)構(gòu)：包括組織體系、服務(wù)體系和技術(shù)體系。組織體系：即云計(jì)算平臺(tái)，描述云計(jì)算的基礎(chǔ)架構(gòu)。圖6-6云計(jì)算的組織體系云用戶(hù)端：提供云用戶(hù)請(qǐng)求服務(wù)的交互界面，也是用戶(hù)使用云的入口。服務(wù)目錄：云用戶(hù)在取得相應(yīng)權(quán)限后可以選擇和定制的服務(wù)列表。管理系統(tǒng)和部署工具：為云用戶(hù)提供管理和服務(wù)。資源監(jiān)控：監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況。務(wù)器集群：虛擬的或物理的服務(wù)器，負(fù)責(zé)高并發(fā)量的用戶(hù)請(qǐng)求處理、大運(yùn)算量計(jì)算處理、用戶(hù)Web應(yīng)用服務(wù)等。服務(wù)體系：描述云計(jì)算對(duì)應(yīng)提供的功能或服務(wù)類(lèi)型。分為4個(gè)層次：圖6-7云計(jì)算服務(wù)體系HaaS：服務(wù)器集群。IaaS：是通過(guò)互聯(lián)網(wǎng)提供數(shù)據(jù)中心、基礎(chǔ)架構(gòu)硬件和軟件資源，還可以提供服務(wù)器、操作系統(tǒng)、磁盤(pán)存儲(chǔ)、數(shù)據(jù)庫(kù)和/或信息資源等。PaaS：提供基礎(chǔ)架構(gòu)，即將軟件研發(fā)平臺(tái)作為一種服務(wù)，軟件開(kāi)發(fā)者可以在這個(gè)平臺(tái)上建設(shè)新的應(yīng)用，或者擴(kuò)展已有的應(yīng)用。SaaS：是最為成熟、最出名，也是應(yīng)用最廣泛的一種云計(jì)算，它通過(guò)Internet提供軟件服務(wù)，用戶(hù)可以通過(guò)Internet來(lái)訪問(wèn)和使用這些軟件。技術(shù)體系：描述云計(jì)算平臺(tái)的軟硬件構(gòu)成。有4個(gè)部分：圖6-9云計(jì)算的技術(shù)體系服務(wù)接口：是用戶(hù)端與云端交互操作的入口。服務(wù)管理中間件：位于云服務(wù)和服務(wù)器集群之間，提供管理和服務(wù)即云計(jì)算組織體系中的管理系統(tǒng)。虛擬化資源：指一些可以實(shí)現(xiàn)一定操作和具有一定功能，但其本身是虛擬而不是真實(shí)的資源，如計(jì)算池、存儲(chǔ)池、網(wǎng)絡(luò)池和數(shù)據(jù)庫(kù)資源等，通過(guò)軟件技術(shù)來(lái)實(shí)現(xiàn)相關(guān)的虛擬化功能，包括虛擬環(huán)境、虛擬系統(tǒng)、虛擬平臺(tái)等。物理資源：主要指能支持計(jì)算機(jī)正常運(yùn)行的一些硬件設(shè)備及技術(shù)，可以是價(jià)格低廉的PC，也可以是價(jià)格昂貴的服務(wù)器及磁盤(pán)陣列等設(shè)備，可以通過(guò)現(xiàn)有網(wǎng)絡(luò)技術(shù)、分布式技術(shù)將分散的計(jì)算機(jī)組成一個(gè)能提供超強(qiáng)功能的集群，用于計(jì)算和存儲(chǔ)等云計(jì)算操作。6.2.6典型云計(jì)算平臺(tái)（略）6.2.7云安全云安全：是指通過(guò)網(wǎng)狀的大量客戶(hù)端對(duì)云網(wǎng)絡(luò)中軟件異常行為進(jìn)行監(jiān)測(cè)，獲取互聯(lián)網(wǎng)中木馬、惡意程序等“病毒”的最新信息，推送到服務(wù)器端進(jìn)行自動(dòng)分析和處理，再把病毒和木馬的解決方案分發(fā)到每一個(gè)客戶(hù)端，以消除其攻擊和影響。策略構(gòu)想：是使用者越多，每個(gè)使用者就越安全，因?yàn)槿绱她嫶蟮挠脩?hù)群，足以覆蓋互聯(lián)網(wǎng)的每個(gè)角落，只要新木馬病毒一出現(xiàn)，就會(huì)立刻被截獲。應(yīng)注意的安全問(wèn)題：應(yīng)注意的安全問(wèn)題虛擬化安全問(wèn)題數(shù)據(jù)集中后的安全問(wèn)題云平臺(tái)可用性問(wèn)題云平臺(tái)遭受攻擊的問(wèn)題法律風(fēng)險(xiǎn)6.3邊緣計(jì)算6.3.1概述邊緣計(jì)算：就是在網(wǎng)絡(luò)邊緣節(jié)點(diǎn)側(cè)（智能設(shè)備或數(shù)據(jù)源頭），提供網(wǎng)絡(luò)計(jì)算、存儲(chǔ)、分析和應(yīng)用等能力，達(dá)到更快的網(wǎng)絡(luò)服務(wù)響應(yīng)和更安全的本地?cái)?shù)據(jù)傳輸。核心：是將部分計(jì)算任務(wù)從云計(jì)算中心，遷移到產(chǎn)生源數(shù)據(jù)的邊緣設(shè)備上，也就是將物聯(lián)網(wǎng)中的部分計(jì)算在網(wǎng)絡(luò)邊緣端執(zhí)行，用下行數(shù)據(jù)來(lái)代替云服務(wù)，上行數(shù)據(jù)來(lái)代替物聯(lián)網(wǎng)服務(wù)。與云計(jì)算互相協(xié)同，共同助力各行各業(yè)的數(shù)字化轉(zhuǎn)型?；纠碚摚菏菙?shù)據(jù)計(jì)算發(fā)生在數(shù)據(jù)源的近段，邊緣端設(shè)備將同時(shí)也是數(shù)據(jù)的生產(chǎn)者。特點(diǎn)：相對(duì)于云計(jì)算，邊緣計(jì)算在降低數(shù)據(jù)傳輸延時(shí)、緩解網(wǎng)絡(luò)擁堵、降低網(wǎng)絡(luò)能耗以及隱私保護(hù)等方面都有了很大提升。邊緣計(jì)算作為一個(gè)分布式和開(kāi)放的IT基礎(chǔ)結(jié)構(gòu)工作，它不依賴(lài)于數(shù)據(jù)中心，專(zhuān)注于分散處理，支持移動(dòng)計(jì)算，有助于處理設(shè)備本身的數(shù)據(jù)。即使在遠(yuǎn)離完全網(wǎng)絡(luò)覆蓋的情況下，也能夠進(jìn)行數(shù)據(jù)的處理、分析和執(zhí)行。6.3.2邊緣計(jì)算的模式云計(jì)算模式及存在的問(wèn)題圖6-13傳統(tǒng)云計(jì)算模式示意圖特點(diǎn)：數(shù)據(jù)的流程是，數(shù)據(jù)生產(chǎn)者產(chǎn)生并發(fā)送數(shù)據(jù)至數(shù)據(jù)中心，數(shù)據(jù)消費(fèi)者發(fā)送請(qǐng)求至數(shù)據(jù)中心，數(shù)據(jù)中心處理這些請(qǐng)求并發(fā)送處理結(jié)果，完成數(shù)據(jù)獲取，所有的計(jì)算都在數(shù)據(jù)中心（云端）完成。存在明顯缺點(diǎn)：當(dāng)數(shù)據(jù)量過(guò)大時(shí)，會(huì)導(dǎo)致大量傳輸帶寬和計(jì)算資源被占用，降低傳輸速度和網(wǎng)絡(luò)效率；隱私保護(hù)問(wèn)題也會(huì)成為制約物聯(lián)網(wǎng)發(fā)展的障礙；一般網(wǎng)絡(luò)移動(dòng)終端設(shè)備，如智能手機(jī)，Pad、筆記本電腦等大多受電量限制。

邊緣計(jì)算模式圖6-14邊緣計(jì)算模式示意圖突出優(yōu)勢(shì)：終端設(shè)備既是數(shù)據(jù)消費(fèi)者，也是數(shù)據(jù)生產(chǎn)者。云中心和云終端各司其職，各盡所能，從而達(dá)到快捷高效?？傮w來(lái)說(shuō)，物聯(lián)網(wǎng)邊緣計(jì)算具有增加數(shù)據(jù)安全性和應(yīng)用性、降低運(yùn)營(yíng)成本、提高業(yè)務(wù)效率和可靠性，增強(qiáng)無(wú)線(xiàn)通信的可擴(kuò)展性等優(yōu)勢(shì)。6.3.3邊緣計(jì)算的意義減少網(wǎng)絡(luò)等待時(shí)間，彌補(bǔ)云計(jì)算的遠(yuǎn)端延遲。充分利用空閑資源節(jié)省云端能源消耗減輕網(wǎng)絡(luò)流量壓力，通過(guò)在邊緣設(shè)備上執(zhí)行數(shù)據(jù)分析，可有效應(yīng)對(duì)數(shù)據(jù)爆炸，減輕網(wǎng)絡(luò)的流量壓力。邊緣計(jì)算能夠縮短設(shè)備的響應(yīng)時(shí)間，減少?gòu)脑O(shè)備到云中心的數(shù)據(jù)流量，以便在網(wǎng)絡(luò)中更有效的分配資源。實(shí)現(xiàn)末端智能計(jì)算，邊緣節(jié)點(diǎn)不僅是消費(fèi)級(jí)的物聯(lián)網(wǎng)終端，還可以通過(guò)分擔(dān)云計(jì)算的部分任務(wù)，增強(qiáng)云中心的計(jì)算能力，在工業(yè)應(yīng)用中發(fā)揮重要的作用。6.3.4邊緣計(jì)算的挑戰(zhàn)可編程性命名規(guī)則邊緣節(jié)點(diǎn)上的通用計(jì)算能力發(fā)現(xiàn)邊緣節(jié)點(diǎn)任務(wù)的部署與調(diào)度數(shù)據(jù)提取、服務(wù)管理、優(yōu)化方法以及數(shù)據(jù)安全等問(wèn)題6.4大數(shù)據(jù)6.4.1概述大數(shù)據(jù)概念：最初起源于美國(guó)，是由思科、威睿、甲骨文、IBM等公司倡議發(fā)展起來(lái)的。大數(shù)據(jù)：是涵蓋理論、技術(shù)和具體應(yīng)用為一體的一門(mén)新興研究領(lǐng)域。數(shù)據(jù)產(chǎn)業(yè)：是指建立在通過(guò)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等渠道，廣泛、大量數(shù)據(jù)資源收集基礎(chǔ)上的數(shù)據(jù)存儲(chǔ)、價(jià)值提煉、智能處理和分發(fā)的信息服務(wù)業(yè)務(wù)，大數(shù)據(jù)企業(yè)大多致力于讓所有用戶(hù)幾乎能夠從任何數(shù)據(jù)中獲得可轉(zhuǎn)換為業(yè)務(wù)執(zhí)行的洞察力，包括之前隱藏在非結(jié)構(gòu)化數(shù)據(jù)中的洞察力。發(fā)展：6.4.2大數(shù)據(jù)的基本概念維基百科對(duì)大數(shù)據(jù)的解讀是：大數(shù)據(jù)或稱(chēng)巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料等，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類(lèi)所能解讀的信息。百度百科對(duì)大數(shù)據(jù)的定義為：大數(shù)據(jù)是指無(wú)法在一定時(shí)間范圍內(nèi)，用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要通過(guò)新處理模式，才能使之具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。全球最具權(quán)威的IT研究與顧問(wèn)咨詢(xún)公司研究機(jī)構(gòu)定義：“大數(shù)據(jù)是具有更強(qiáng)決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化力的海量、高增長(zhǎng)率、多樣化的信息資產(chǎn)”。綜上所述：大數(shù)據(jù)是指無(wú)法在一定時(shí)間范圍內(nèi)，用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要通過(guò)新處理模式才能使之具有更強(qiáng)的支持決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。6.4.2大數(shù)據(jù)的基本特征——“4V”“多V”特征，主要包括：數(shù)據(jù)量大(Volume)速度快(Velocity)：多樣化(Variety)：準(zhǔn)確性(Veracity)可變性(Variability)波動(dòng)性(Volatility)可視化(Visualization)價(jià)值高(Value)6.4.4大數(shù)據(jù)的技術(shù)體系大數(shù)據(jù)的關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)的采集、預(yù)處理、存儲(chǔ)及管理、分析及挖掘、展現(xiàn)和應(yīng)用等，這些構(gòu)成了大數(shù)據(jù)的技術(shù)體系。

采集技術(shù)大數(shù)據(jù)數(shù)據(jù)采集是指通過(guò)RFID、傳感器、社交網(wǎng)絡(luò)交互及移動(dòng)互聯(lián)網(wǎng)等方式獲取各種類(lèi)型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱(chēng)之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化的海量數(shù)據(jù)，是大數(shù)據(jù)知識(shí)服務(wù)模型的根本。技術(shù)重點(diǎn)：主要包括三方面分布式高速高可靠的數(shù)據(jù)獲取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù)；高速數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù)；數(shù)據(jù)質(zhì)量評(píng)估模型的設(shè)計(jì)與開(kāi)發(fā)技術(shù)。兩個(gè)技術(shù)層面：智能感知層：主要是針對(duì)大數(shù)據(jù)源的智能服務(wù)技術(shù)，包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識(shí)別體系及軟硬件資源接入體系等，實(shí)現(xiàn)對(duì)各類(lèi)海量數(shù)據(jù)的智能化識(shí)別、定位、跟蹤、接入、傳輸、信號(hào)轉(zhuǎn)換、監(jiān)控、初步處理和管理等技術(shù)服務(wù)?；A(chǔ)支撐層：負(fù)責(zé)提供大數(shù)據(jù)服務(wù)平臺(tái)所需的虛擬服務(wù)器、各類(lèi)大數(shù)據(jù)的數(shù)據(jù)庫(kù)及物聯(lián)網(wǎng)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境，它需要重點(diǎn)掌握分布式虛擬存儲(chǔ)技術(shù)，大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策操作的可視化接口技術(shù)，大數(shù)據(jù)的網(wǎng)絡(luò)傳輸與壓縮技術(shù)，大數(shù)據(jù)隱私保護(hù)技術(shù)等。

預(yù)處理技術(shù)預(yù)處理技術(shù)主要是要完成對(duì)已接收數(shù)據(jù)的辨析、抽取、過(guò)濾等操作技術(shù)。辨析。是對(duì)大數(shù)據(jù)智能感知層與基礎(chǔ)支撐層獲得的各種數(shù)據(jù)進(jìn)行分析，區(qū)分和判斷有用數(shù)據(jù)與無(wú)用數(shù)據(jù)，進(jìn)行初步篩選。抽取。因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類(lèi)型，數(shù)據(jù)抽取過(guò)程有助于將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者更便于處理的結(jié)構(gòu)類(lèi)型，以達(dá)到快速分析處理的目的。過(guò)濾。由于海量數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是人們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則可能是完全錯(cuò)誤的干擾項(xiàng)，因此要對(duì)大數(shù)據(jù)進(jìn)行過(guò)濾“去噪”，最終提取出有效數(shù)據(jù)。

存儲(chǔ)及管理技術(shù)關(guān)鍵問(wèn)題：可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)?。技術(shù)難點(diǎn)：需要開(kāi)發(fā)可靠的分布式文件系統(tǒng)、能效優(yōu)化的存儲(chǔ)、計(jì)算融入存儲(chǔ)、去冗余及高效低成本的大數(shù)據(jù)存儲(chǔ)技術(shù)；需要突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織