工業(yè)物聯(lián)網(wǎng)核心技術(shù)邊緣計(jì)算網(wǎng)關(guān)技術(shù)邊緣計(jì)算概述

第一章邊緣計(jì)算概述工業(yè)物聯(lián)網(wǎng)核心技術(shù)（邊緣計(jì)算網(wǎng)關(guān)）一.一邊緣計(jì)算地基本概念一.二邊緣計(jì)算地有關(guān)知識(shí)一.三邊緣計(jì)算地發(fā)展歷程學(xué)要點(diǎn)一.什么是邊緣計(jì)算邊緣計(jì)算是在網(wǎng)絡(luò)邊緣給用戶提供IT服務(wù)環(huán)境以及云計(jì)算能力地分布式開放臺(tái)。"邊緣"邊緣計(jì)算地"邊緣"邊緣計(jì)算地邊緣則是相對(duì)地概念,是指從數(shù)據(jù)源到云服務(wù)器之間地?cái)?shù)據(jù)路徑上地任意計(jì)算,網(wǎng)絡(luò)以及存儲(chǔ)資源。計(jì)算機(jī)網(wǎng)絡(luò)地"邊緣"計(jì)算機(jī)網(wǎng)絡(luò)地邊緣是指互聯(lián)網(wǎng)地所有主機(jī)地集合。一.什么是邊緣計(jì)算邊緣設(shè)備是給終端設(shè)備提供邊緣服務(wù)地設(shè)備,也可稱為邊緣服務(wù)器,邊緣節(jié)點(diǎn)。一組獨(dú)立地邊緣設(shè)備地集合又被稱為邊緣云（EdgeCloud）,而云計(jì)算臺(tái)則被稱為遠(yuǎn)端云（RemoteCloud）。邊緣服務(wù)器地部署位置視情況而定。以移動(dòng)網(wǎng)絡(luò)為例,對(duì)于對(duì)時(shí)延要求苛刻地場景,需要將邊緣服務(wù)器部署在終端設(shè)備現(xiàn)場;對(duì)于對(duì)時(shí)延要求相對(duì)寬松,并需要大數(shù)據(jù)分析地場景,可以將邊緣服務(wù)器部署在基站地位置。AB邊緣計(jì)算是云計(jì)算地補(bǔ)充與延伸,能實(shí)現(xiàn)智能化地實(shí)時(shí)數(shù)據(jù)處理以及隱私保護(hù)等功能。邊緣計(jì)算模型需要云計(jì)算心地強(qiáng)大計(jì)算能力以及海量存儲(chǔ)能力,云計(jì)算心也需要邊緣計(jì)算模型對(duì)海量物聯(lián)網(wǎng)數(shù)據(jù)地預(yù)處理,從而滿足低時(shí)延,隱私保護(hù),低功耗等需求。二.邊緣計(jì)算地架構(gòu)邊緣計(jì)算是指能夠在網(wǎng)絡(luò)邊緣執(zhí)行計(jì)算,以使得計(jì)算發(fā)生在靠近數(shù)據(jù)源一側(cè)地新型計(jì)算模式。邊緣計(jì)算地架構(gòu)如圖所示。二.邊緣計(jì)算地架構(gòu)當(dāng)前業(yè)界普遍承認(rèn)地邊緣計(jì)算架構(gòu)有三種。多接入邊緣計(jì)算（MEC）多接入邊緣計(jì)算最初由歐洲電信標(biāo)準(zhǔn)化協(xié)會(huì)（ETSI）于二零一四年提出,定義為"在移動(dòng)網(wǎng)絡(luò)邊緣提供IT服務(wù)環(huán)境與云計(jì)算能力"。其組成結(jié)構(gòu)包括用戶終端,MEC節(jié)點(diǎn),云計(jì)算心。霧計(jì)算（Fogputing）霧計(jì)算是由思科公司在二零一一年提出地,它是針對(duì)物聯(lián)網(wǎng)地一種新型計(jì)算架構(gòu),其組成結(jié)構(gòu)包括終端,霧,云。微云（Cloudlet）微云最早由卡耐基·梅隆大學(xué)提出,主要面向移動(dòng)設(shè)備,其組成架構(gòu)包括移動(dòng)終端,微云,云。MEC與微云主要為移動(dòng)網(wǎng)絡(luò)邊緣提供IT服務(wù)環(huán)境與計(jì)算能力,前者更強(qiáng)調(diào)邊緣概念,后者更強(qiáng)調(diào)移動(dòng)概念。而霧計(jì)算則更強(qiáng)調(diào)物聯(lián)網(wǎng)應(yīng)用概念。三.邊緣計(jì)算地特點(diǎn)一三四二協(xié)同包括兩方面:邊緣與云地協(xié)同與邊緣設(shè)備與邊緣設(shè)備地協(xié)同。協(xié)同執(zhí)行很多時(shí)候,邊緣設(shè)備與終端設(shè)備處在同一個(gè)局域網(wǎng),甚至局域網(wǎng)路由器或網(wǎng)關(guān)就是邊緣設(shè)備。位置感知邊緣計(jì)算地核心理念是"邊緣計(jì)算應(yīng)當(dāng)更靠近數(shù)據(jù)源,更靠近用戶"。實(shí)時(shí)響應(yīng)可擴(kuò)展是指系統(tǒng)處理變化地應(yīng)用請(qǐng)求地能力?？蓴U(kuò)展一.二.一分布式計(jì)算基礎(chǔ)分布式系統(tǒng)零一OPTION分布式系統(tǒng)可以定義為一組獨(dú)立地,能夠彼此通信地計(jì)算設(shè)備地集合,這個(gè)集合對(duì)于用戶來說就像是單個(gè)有關(guān)系統(tǒng),如我們常用地萬維網(wǎng)（WorldWideWeb,）與域名服務(wù)系統(tǒng)（DomainNameSystem,DNS）都屬于分布式系統(tǒng)。分布式系統(tǒng)地處理器或?qū)嶓w（通常稱為節(jié)點(diǎn)）隨時(shí)處于活動(dòng)狀態(tài),節(jié)點(diǎn)有一定地自由度。各節(jié)點(diǎn)都有自己獨(dú)立地硬件與軟件。節(jié)點(diǎn)間需要通過相互傳遞消息行通信與協(xié)調(diào)操作。近幾十年來,分布式系統(tǒng)與網(wǎng)絡(luò)經(jīng)歷了前所未有地發(fā)展,應(yīng)用在各種各樣地領(lǐng)域,如互聯(lián)網(wǎng),無線通信,云計(jì)算或并行計(jì)算,多核系統(tǒng),移動(dòng)網(wǎng)絡(luò)等。一.二.一分布式計(jì)算基礎(chǔ)分布式系統(tǒng)地體系結(jié)構(gòu)零二OPTION客戶端-服務(wù)器架構(gòu)服務(wù)器向許多遠(yuǎn)程客戶端提供服務(wù),是一對(duì)多地形式。客戶程與各服務(wù)器程互以訪問它們所管理地享資源。客戶端與服務(wù)器通常遵循"請(qǐng)求-回復(fù)"地信息互形式。去心化地P二P架構(gòu)客戶端與服務(wù)器地結(jié)構(gòu)呈水分布,是多對(duì)多地形式。這個(gè)架構(gòu)地所有節(jié)點(diǎn)扮演相同地角色,作為對(duì)等者協(xié)同互,在沒有任何客戶與服務(wù)器差別地情況下執(zhí)行分布式存儲(chǔ)或計(jì)算操作。由于系統(tǒng)節(jié)點(diǎn)程間地互是對(duì)稱地,即每個(gè)程既是客戶同時(shí)也是服務(wù)器,因此該系統(tǒng)又稱為點(diǎn)對(duì)點(diǎn)系統(tǒng)。在點(diǎn)對(duì)點(diǎn)系統(tǒng),若節(jié)點(diǎn)構(gòu)成地網(wǎng)絡(luò)是結(jié)構(gòu)化網(wǎng)絡(luò),則主機(jī)程間地消息路由可利用分布式哈希表技術(shù)（如Chord協(xié)議等）來行資源定位;若節(jié)點(diǎn)組織為非結(jié)構(gòu)化網(wǎng)絡(luò),則可借助鏈路狀態(tài)路由協(xié)議（如OSPF協(xié)議等）來更新本地地路由表。一.二.一分布式計(jì)算基礎(chǔ)分布式計(jì)算零三OPTION分布式計(jì)算,顧名思義,就是在分布式系統(tǒng)上執(zhí)行地計(jì)算。分布式計(jì)算本質(zhì)上就是基于網(wǎng)絡(luò)"分而治之"概念地計(jì)算方式。分布式計(jì)算包含同構(gòu)計(jì)算與異構(gòu)計(jì)算兩種。完成同構(gòu)計(jì)算地節(jié)點(diǎn)類型相同;異構(gòu)計(jì)算則由不同類型地節(jié)點(diǎn)（可能具有不同地功能,目地等）完成。節(jié)點(diǎn)可以通過各種消息傳遞協(xié)議行直接通信,也可以通過享存儲(chǔ)手段來實(shí)現(xiàn)數(shù)據(jù)地同步。一.二.一分布式計(jì)算基礎(chǔ)分布式計(jì)算系統(tǒng)設(shè)計(jì)零四OPTION分布式計(jì)算不僅限于兩個(gè)節(jié)點(diǎn)之間地互,它往往需要多個(gè)節(jié)點(diǎn)合作來實(shí)現(xiàn)同目地,這使分布式計(jì)算更加復(fù)雜化。分布式計(jì)算地難點(diǎn)主要在于如何在部分節(jié)點(diǎn)出現(xiàn)故障地情況下實(shí)現(xiàn)數(shù)據(jù)地一致與整個(gè)系統(tǒng)地可用,所以設(shè)計(jì)分布式系統(tǒng)時(shí)要著重考慮以下三點(diǎn)。容錯(cuò)如果系統(tǒng)能夠容忍故障地發(fā)生并能從故障恢復(fù)過來,則稱該系統(tǒng)具有容錯(cuò)。故障一般分為崩潰故障,遺漏故障,定時(shí)故障,響應(yīng)故障,拜占庭故障等類型。一一致一致模型實(shí)質(zhì)上是程與數(shù)據(jù)存儲(chǔ)之間地一個(gè)約定。即如果程同意遵守某些規(guī)則,那么數(shù)據(jù)存儲(chǔ)將正常運(yùn)行。一致模型分為強(qiáng)一致,弱一致與最終一致三種。二安全需要考慮四種安全威脅:竊聽,斷,篡改,偽造。一個(gè)安全地分布式計(jì)算系統(tǒng)需要偵測(cè)提供地服務(wù)與數(shù)據(jù)出現(xiàn)地異常,并快速處理,使系統(tǒng)恢復(fù)。分布式計(jì)算系統(tǒng)地安全涉及三個(gè)方面地問題:通道安全,訪問控制與管理安全。三一.二.一分布式計(jì)算基礎(chǔ)分布式計(jì)算系統(tǒng)設(shè)計(jì)零四OPTION分布式計(jì)算還需要解決三個(gè)重要問題:選舉,互斥鎖與識(shí)機(jī)制。選舉是在若干節(jié)點(diǎn)指定單個(gè)節(jié)點(diǎn)作為某個(gè)任務(wù)地組織者地過程?；コ怄i是一種并發(fā)控制地機(jī)制,是為了防止節(jié)點(diǎn)競爭而制定地,即避免兩個(gè)節(jié)點(diǎn)同時(shí)對(duì)同一公資源行讀寫操作。識(shí)機(jī)制則解決多個(gè)節(jié)點(diǎn)就單個(gè)事務(wù)或事務(wù)集執(zhí)行順序達(dá)成一致地問題。在系統(tǒng)運(yùn)行過程,某些節(jié)點(diǎn)可能出錯(cuò),因此識(shí)協(xié)議需要具有容錯(cuò)能力或彈。一.二.一分布式計(jì)算基礎(chǔ)分布式計(jì)算系統(tǒng)設(shè)計(jì)零四OPTION典型地分布式計(jì)算系統(tǒng)有如下幾種。信息傳播引擎零一信息傳播引擎可以采用發(fā)布-訂閱模式來滿足信息傳播需求。發(fā)布者以通知地形式提供信息,訂閱者通過注冊(cè)它們感興趣地通知以接收有關(guān)信息。過程控制系統(tǒng)零二過程控制是指通過軟件程序控制等一系列地物理活動(dòng),使程序得以準(zhǔn)確執(zhí)行地控制過程。過程控制通常通過應(yīng)用軟件來實(shí)現(xiàn),如控制飛機(jī)動(dòng)態(tài)位置。多用戶協(xié)同工作系統(tǒng)零三協(xié)作地分布式應(yīng)用通過享工作空間來實(shí)現(xiàn)有效地合作。用戶通過讀寫操作訪問分布式享存儲(chǔ)器以存儲(chǔ)與換信息。分布式數(shù)據(jù)庫系統(tǒng)零四分布式數(shù)據(jù)庫地協(xié)議需要確保所有事務(wù)管理器獲得正在運(yùn)行地事務(wù)地一致視圖,并可以就這些事務(wù)地序列化方式做出一致地決策。分布式存儲(chǔ)系統(tǒng)零五大容量存儲(chǔ)系統(tǒng)把數(shù)據(jù)分配到許多存儲(chǔ)節(jié)點(diǎn),每個(gè)存儲(chǔ)節(jié)點(diǎn)貢獻(xiàn)整個(gè)存儲(chǔ)空間地一小部分。用戶訪問數(shù)據(jù)通常涉及聯(lián)系多個(gè)節(jié)點(diǎn),節(jié)點(diǎn)通過錯(cuò)誤檢測(cè)代碼或錯(cuò)誤校正代碼保護(hù)存儲(chǔ)系統(tǒng)免受節(jié)點(diǎn)數(shù)據(jù)丟失或損壞地影響。一.二.二云計(jì)算概述云計(jì)算地定義零一OPTION"云計(jì)算"這一名詞自一九九六年首次出現(xiàn)以來便受到廣泛關(guān)注。隨著該技術(shù)發(fā)展愈發(fā)成熟,其定義也逐漸明確。一.從運(yùn)營角度來看,云計(jì)算是"一種將可伸縮,享地物理與虛擬資源池以按需自助服務(wù)地方式供應(yīng)與管理,并提供網(wǎng)絡(luò)訪問地模式"。二.根據(jù)美家標(biāo)準(zhǔn)技術(shù)研究所地定義,云計(jì)算是"一種模型,用于實(shí)現(xiàn)對(duì)可配置計(jì)算資源（例如CPU資源,內(nèi)存資源,硬盤資源,網(wǎng)絡(luò)資源等）地享,實(shí)現(xiàn)無處不在地,方便地按需供應(yīng)與訪問,這些資源可以通過最少地管理工作快速配置與發(fā)布"。一.二.二云計(jì)算概述云計(jì)算地定義零一OPTION按需自助服務(wù)云計(jì)算具有五個(gè)特征廣泛地網(wǎng)絡(luò)訪問資源池化快速彈可測(cè)量地服務(wù)一.二.二云計(jì)算概述云計(jì)算支撐技術(shù)零二OPTION為了能夠讓用戶方便且個(gè)化地使用各種云資源,首先需要對(duì)云服務(wù)商地所有設(shè)備行虛擬化。一般而言,其主要任務(wù)有CPU虛擬化,內(nèi)存虛擬化與I/O虛擬化。虛擬化技術(shù)通過設(shè)置一個(gè)虛擬化層來實(shí)現(xiàn),該層又被稱作虛擬機(jī)監(jiān)視器（VirtualMachineMonitor,VMM）。根據(jù)底層操作系統(tǒng)地角色不同,其實(shí)現(xiàn)結(jié)構(gòu)主要分為Hypervisor模型與宿主模型。在Hypervisor模型,VMM是擴(kuò)充了虛擬化功能地操作系統(tǒng);在宿主模型,VMM是宿主操作系統(tǒng)獨(dú)立地內(nèi)核模塊。同時(shí),云服務(wù)商還需要對(duì)虛擬化資源行管理,主要包括對(duì)虛擬化資源地監(jiān)控,分配與調(diào)度等。（一）資源虛擬化技術(shù)一.二.二云計(jì)算概述云計(jì)算支撐技術(shù)零二OPTION（二）分布式數(shù)據(jù)存儲(chǔ)技術(shù)布式文件系統(tǒng)分布式文件系統(tǒng)是一種基于網(wǎng)絡(luò),在多臺(tái)設(shè)備上享文件地系統(tǒng)。它具有高容錯(cuò),即使部分節(jié)點(diǎn)失效,它也可以確保數(shù)據(jù)不丟失。分布式對(duì)象存儲(chǔ)系統(tǒng)分布式對(duì)象存儲(chǔ)系統(tǒng)主要存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。它可以在存儲(chǔ)數(shù)量增長時(shí)更有效地將元數(shù)據(jù)衡地分布到多個(gè)節(jié)點(diǎn)上。分布式數(shù)據(jù)庫管理系統(tǒng)分布式數(shù)據(jù)庫管理系統(tǒng)通過網(wǎng)絡(luò)將物理上分散地多個(gè)數(shù)據(jù)庫單元連接起來,在邏輯上形成一個(gè)整體,主要用于存儲(chǔ)與處理海量結(jié)構(gòu)化數(shù)據(jù)。一.二.二云計(jì)算概述云計(jì)算支撐技術(shù)零二OPTION（三）并行計(jì)算技術(shù)云計(jì)算地一大優(yōu)勢(shì)就是可以將巨大地計(jì)算任務(wù)分解,并使用低算力節(jié)點(diǎn)以極低成本完成計(jì)算任務(wù)。這就需要使用優(yōu)秀地并行計(jì)算方案來驅(qū)動(dòng)。在云計(jì)算環(huán)境,常用地方案有MapReduce模型與Dryad模型。云計(jì)算地關(guān)鍵任務(wù)有以下幾個(gè)方面。任務(wù)劃分任務(wù)調(diào)度容錯(cuò)機(jī)制一.二.二云計(jì)算概述云計(jì)算服務(wù)模式零三OPTION云計(jì)算地產(chǎn)業(yè)模式主要分為軟件即服務(wù)（SoftwareasaService,SaaS）,臺(tái)即服務(wù)（PlatformasaService,PaaS）與基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService,IaaS）三種類型。如圖所示。一.二.二云計(jì)算概述云計(jì)算服務(wù)模式零三OPTION云服務(wù)地三種模式是對(duì)資源不同程度地抽象,通過這三種類型地服務(wù),云服務(wù)商可分別為用戶提供不同層次地服務(wù)。（一）SaaSSaaS是可以提供軟件服務(wù)地一種應(yīng)用模式。在該模式,用戶通過網(wǎng)絡(luò)請(qǐng)求云端地軟件提供服務(wù),而無須在本地安裝全部執(zhí)行代碼。用戶通?？赏ㄟ^精簡地客戶端或經(jīng)網(wǎng)頁瀏覽器來訪問云端服務(wù)。主流地SaaS業(yè)務(wù)如右側(cè)所示。一.二.二云計(jì)算概述云計(jì)算服務(wù)模式零三OPTION（二）PaaS云安全地標(biāo)準(zhǔn)化組織云安全聯(lián)盟（CSA）給出地PaaS定義如下:以服務(wù)地方式付地計(jì)算臺(tái)與解決方案包。在該模式,云服務(wù)商將軟件研發(fā)地臺(tái)做成一種服務(wù)對(duì)外提供,如提供虛擬服務(wù)器與操作系統(tǒng)。消費(fèi)者能控制部署地應(yīng)用程序,也可能控制運(yùn)行應(yīng)用程序地托管環(huán)境配置,但不掌握操作系統(tǒng)。主流地PaaS業(yè)務(wù)如下所示。公司名稱業(yè)務(wù)名稱業(yè)務(wù)描述GoogleGoogleAppEngine是一個(gè)開發(fā),托管網(wǎng)絡(luò)應(yīng)用程序地臺(tái),可在全托管式地臺(tái)上構(gòu)建與部署應(yīng)用AmazonAWSLambda是一項(xiàng)計(jì)算服務(wù),可使用戶無須預(yù)配置或管理服務(wù)器即可運(yùn)行代碼Salesforce.Heroku是一個(gè)支持多種編程語言地云臺(tái),它允許開發(fā)者完全基于云來創(chuàng)建,運(yùn)行應(yīng)用程序MicrosoftAzureAppService可供用戶使用如.等常用框架在任意操作系統(tǒng)上快速地創(chuàng)建,部署與運(yùn)行網(wǎng)絡(luò)應(yīng)用RedHatOpenShift可供用戶創(chuàng)建網(wǎng)絡(luò)應(yīng)用。開發(fā)者可以使用Git在臺(tái)上發(fā)布自己地web應(yīng)用程序一.二.二云計(jì)算概述云計(jì)算服務(wù)模式零三OPTION（三）IaaSIaaS提供地是基礎(chǔ)設(shè)施層面地服務(wù)。云安全聯(lián)盟給出地IaaS定義如下:消費(fèi)者能夠獲得處理能力,存儲(chǔ),網(wǎng)絡(luò)與其它基礎(chǔ)計(jì)算資源,從而可以在其上部署與運(yùn)行包括操作系統(tǒng)與應(yīng)用在內(nèi)地任意軟件。在該模式,消費(fèi)者可以通過調(diào)用接口或者登錄網(wǎng)頁使用云服務(wù)商提供地基礎(chǔ)計(jì)算資源,如處理能力,存儲(chǔ)空間,網(wǎng)絡(luò)組件（防火墻,負(fù)載衡器）等。常見地IaaS業(yè)務(wù)就是虛擬機(jī)地租用服務(wù)。際IaaS服務(wù)商主要有亞馬遜公司與微軟公司。內(nèi)IaaS服務(wù)商則主要有阿里巴巴公司,騰訊公司與百度公司等,它們主要提供虛擬機(jī)租用服務(wù)。一.二.二云計(jì)算概述云計(jì)算部署模型零四OPTION（一）公有云公有云由第三方提供,用戶可以通過Inter對(duì)公有云行使用。多個(gè)用戶可以通過云服務(wù)商享系統(tǒng)資源。使用公有云服務(wù)地成本比較低,甚至有些是免費(fèi)地。對(duì)于一些小企業(yè)來說選擇這種服務(wù)模式有很多好處。一.它們不用花費(fèi)資金去購買基礎(chǔ)設(shè)備,降低了開發(fā)成本地同時(shí)還可以享受很專業(yè)地服務(wù)與豐富地資源。二.它們可以按需申請(qǐng)相應(yīng)地服務(wù),當(dāng)規(guī)模擴(kuò)大需要更多地服務(wù)時(shí),直接向云服務(wù)商申請(qǐng)即可。三.當(dāng)有技術(shù)更新時(shí),企業(yè)可以隨時(shí)向云服務(wù)商提出升級(jí)要求,不用考慮硬件資源地問題。一.二.二云計(jì)算概述云計(jì)算部署模型零四OPTION（二）私有云私有云是為某個(gè)用戶或者企業(yè)單獨(dú)使用而構(gòu)建地。私有云地運(yùn)作方式與公有云類似,但企業(yè)需要自己設(shè)計(jì)數(shù)據(jù)心,網(wǎng)絡(luò)與存儲(chǔ)設(shè)備等。企業(yè)可以在私有云上部署它們自己地防火墻,這樣保障了一些關(guān)鍵數(shù)據(jù)與用戶隱私地安全,缺點(diǎn)是這樣做地成本費(fèi)用就會(huì)很高。一.二.二云計(jì)算概述云計(jì)算部署模型零四OPTION（三）混合云混合云結(jié)合了公有云與私有云兩種服務(wù)模式,利用兩種服務(wù)地優(yōu)點(diǎn),提供靈活地服務(wù)。對(duì)于安全問題,用戶可以將關(guān)鍵地?cái)?shù)據(jù)放在私有云上。當(dāng)數(shù)據(jù)劇增或者私有云負(fù)載過重時(shí),就可以申請(qǐng)公有云服務(wù)。這樣做地缺點(diǎn)是在公有云與私有云同使用地時(shí)候,需要有統(tǒng)一地標(biāo)準(zhǔn)接口,但這樣會(huì)增加維護(hù)地難度。一.二.二云計(jì)算概述云計(jì)算存在地問題零五OPTION可用有待提高數(shù)據(jù)地一致較弱信息保密及法律法規(guī)問題接口標(biāo)準(zhǔn)較差一.二.二云計(jì)算概述云計(jì)算地發(fā)展趨勢(shì)零六OPTION自云計(jì)算誕生以來,其有關(guān)產(chǎn)業(yè)一直以超高地速度發(fā)展。云計(jì)算重新定義了服務(wù)模式,軟件即服務(wù)（SaaS）,臺(tái)即服務(wù)（PaaS）與基礎(chǔ)設(shè)施即服務(wù)（IaaS）地采用率將以不同地增長率持續(xù)增長。據(jù)Gartner預(yù)計(jì),至二零二零年底,全球云計(jì)算規(guī)模有望達(dá)到三五四六億美元。目前來看,全球地云計(jì)算服務(wù)已經(jīng)被幾家巨型互聯(lián)網(wǎng)公司壟斷,規(guī)模效應(yīng)凸顯。尤其在IaaS領(lǐng)域,市場基本已經(jīng)被瓜分完畢。不過隨著各大云服務(wù)商對(duì)開源形成了識(shí),其各種業(yè)務(wù)地創(chuàng)新依然高漲,各種新技術(shù)層出不窮。五G移動(dòng)云計(jì)算機(jī)器學(xué)物聯(lián)網(wǎng)一.二.三大數(shù)據(jù)概述大數(shù)據(jù)地由來零一OPTION由于互聯(lián)網(wǎng)應(yīng)用地高速擴(kuò)張,們?cè)絹碓蕉嗟厥褂酶嗟貞?yīng)用來解決自己地問題。隨之而來地就是們?cè)诰W(wǎng)絡(luò)留下地痕跡越來越多,從而產(chǎn)生了各種類型地海量數(shù)據(jù),如郵件數(shù)據(jù),圖片,視頻,物聯(lián)網(wǎng)收集地?cái)?shù)據(jù)等。當(dāng)前,企業(yè)常用地?cái)?shù)據(jù)量級(jí)已經(jīng)從TB級(jí)變成了PB,EB甚至ZB級(jí)。此外,在Instagram上,用戶每天分享九五零零萬張照片與視頻;Twitter用戶每天發(fā)送五億條信息。由此,大數(shù)據(jù)（BigData）一詞誕生了,它被用來描述與定義信息爆炸時(shí)代產(chǎn)生地海量數(shù)據(jù)。類型繁多,包含各種數(shù)據(jù)類型。數(shù)據(jù)量特別大,傳統(tǒng)數(shù)據(jù)處理手段無法處理。價(jià)值密度低,因?yàn)閿?shù)據(jù)量過大,冗雜信息與無用信息就多,需要利用大數(shù)據(jù)分析技術(shù)過濾與提純。數(shù)據(jù)產(chǎn)生速度快,有效時(shí)間短。一.二.三大數(shù)據(jù)概述大數(shù)據(jù)地由來零一OPTION結(jié)構(gòu)化數(shù)據(jù)以MySQL這種關(guān)系型數(shù)據(jù)庫管理地?cái)?shù)據(jù),就是結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)沒有固定模式地?cái)?shù)據(jù),比如大多數(shù)多媒體數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)是非關(guān)系型地,它有基本固定地模式,如一些有格式規(guī)定地文檔（XML,JSON,HTML）等。一二三一.二.三大數(shù)據(jù)概述大數(shù)據(jù)技術(shù)零二OPTION數(shù)據(jù)存儲(chǔ)需要根據(jù)上述不同地?cái)?shù)據(jù)結(jié)構(gòu)選擇不同地存儲(chǔ)方案,也需要考慮數(shù)據(jù)安全與訪問帶寬等因素對(duì)存儲(chǔ)方式地影響。數(shù)據(jù)清洗是對(duì)采集地?cái)?shù)據(jù)行篩選與處理。對(duì)于殘缺地?cái)?shù)據(jù),需要補(bǔ)全;對(duì)于錯(cuò)誤數(shù)據(jù),需要修正;對(duì)于重復(fù)數(shù)據(jù),需要先確認(rèn)再行整理。數(shù)據(jù)挖掘主要使用機(jī)器學(xué),模式識(shí)別等算法從大量數(shù)據(jù)發(fā)現(xiàn)其隱藏地知識(shí)。比如沃爾瑪超市通過對(duì)男購物數(shù)據(jù)行分析發(fā)現(xiàn)。數(shù)據(jù)建模分析指地是將獲取地?cái)?shù)據(jù)行數(shù)學(xué)建模來做預(yù)測(cè)。一般需要根據(jù)不同地業(yè)務(wù)問題,比如時(shí)序數(shù)值預(yù)測(cè)問題或分類問題選擇適合地模型。數(shù)據(jù)存儲(chǔ)數(shù)據(jù)清洗數(shù)據(jù)挖掘數(shù)據(jù)建模分析采集地?cái)?shù)據(jù)主要來自于兩個(gè)部分,一是各種智能設(shè)備地傳感器采集地?cái)?shù)據(jù),如攝像頭采集地視頻,圖像數(shù)據(jù);二是通過網(wǎng)絡(luò),如網(wǎng)絡(luò)爬蟲獲取地?cái)?shù)據(jù)。數(shù)據(jù)采集一.二.三大數(shù)據(jù)概述大數(shù)據(jù)技術(shù)零二OPTION目前比較流行地大數(shù)據(jù)處理傳統(tǒng)架構(gòu)是Hadoop與Spark分布式框架。它們都具有如下特點(diǎn)?？缮炜s好。支持龐大地服務(wù)器集群?？勺x好。支持容錯(cuò),任何節(jié)點(diǎn)宕機(jī)不會(huì)丟失所處理地計(jì)算結(jié)果。分布式處理。數(shù)據(jù)獲取,存儲(chǔ)與處理都是分布式地。并行化?？梢栽诠?jié)點(diǎn)上并行執(zhí)行。一.二.三大數(shù)據(jù)概述大數(shù)據(jù)技術(shù)零二OPTIONHadoop計(jì)算臺(tái)設(shè)計(jì)目地是使用簡單地編程模型在跨計(jì)算機(jī)集群地分布式環(huán)境存儲(chǔ)與處理大數(shù)據(jù)。它最主要地兩個(gè)組成部分是HDFS與apReduce。Hadoop基于Hadoop,用戶可以行更加深入地?cái)?shù)據(jù)挖掘與建模工作。如今,Hadoop已經(jīng)被廣泛用于商業(yè)項(xiàng)目之。SparkSpark也是們經(jīng)常提到地一個(gè)大數(shù)據(jù)處理地框架。Spark主要關(guān)注對(duì)分布式存儲(chǔ)地大數(shù)據(jù)地低延遲處理計(jì)算。一二三一.二.三大數(shù)據(jù)概述大數(shù)據(jù)與云計(jì)算零三OPTION大數(shù)據(jù)與云計(jì)算地相同點(diǎn)在于它們都涉及數(shù)據(jù)存儲(chǔ)與處理服務(wù),都需要占用大量地存儲(chǔ)與計(jì)算資源,因而都要用到海量數(shù)據(jù)存儲(chǔ)技術(shù),海量數(shù)據(jù)管理技術(shù)等。隨著數(shù)據(jù)量地遞增,數(shù)據(jù)處理復(fù)雜程度地增加,相應(yīng)地能與擴(kuò)展瓶頸將會(huì)越來越大。在這種情況下,云計(jì)算所具備地彈伸縮與動(dòng)態(tài)調(diào)配,資源虛擬化,按需使用及綠色節(jié)能等基本功能正好契合新型大數(shù)據(jù)處理技術(shù)地需求。在數(shù)據(jù)量爆發(fā)式增長與對(duì)數(shù)據(jù)處理要求越來越高地當(dāng)下,實(shí)現(xiàn)大數(shù)據(jù)與云計(jì)算地結(jié)合,才能最大程度上發(fā)揮二者地優(yōu)勢(shì),滿足用戶地需求,帶來更高地商業(yè)價(jià)值。（一）大數(shù)據(jù)與云計(jì)算地相同點(diǎn)一.二.三大數(shù)據(jù)概述大數(shù)據(jù)與云計(jì)算零三OPTION（二）大數(shù)據(jù)與云計(jì)算地區(qū)別一三四二大數(shù)據(jù)地對(duì)象是數(shù)據(jù),云計(jì)算地對(duì)象是互聯(lián)網(wǎng)資源與應(yīng)用等。對(duì)象不同大數(shù)據(jù)地價(jià)值在于發(fā)掘數(shù)據(jù)地有效信息,云計(jì)算則可以大量節(jié)約使用成本。價(jià)值不同大數(shù)據(jù)地出現(xiàn)主要是由于用戶與社會(huì)各行各業(yè)所產(chǎn)生地?cái)?shù)據(jù)呈現(xiàn)幾何級(jí)數(shù)地增長;云計(jì)算地出現(xiàn)主要是由于用戶服務(wù)需求地增長,以及企業(yè)處理業(yè)務(wù)地能力地提高。背景不同大數(shù)據(jù)是為了發(fā)掘信息價(jià)值,而云計(jì)算主要是通過互聯(lián)網(wǎng)管理資源,提供相應(yīng)地服務(wù)。目地不同一.二.四邊緣計(jì)算概述邊緣計(jì)算地產(chǎn)生背景零一OPTION因?yàn)樵朴?jì)算模型并不能滿足萬物互聯(lián)時(shí)代地全部應(yīng)用需求（包括響應(yīng)時(shí)延,存儲(chǔ)能力,隱私保護(hù)等需求）,業(yè)界才提出了邊緣計(jì)算地概念。邊緣計(jì)算可以在邊緣設(shè)備處對(duì)龐大地原始數(shù)據(jù)行預(yù)處理。根據(jù)思科公司二零一五—二零二零年地全球云指數(shù)報(bào)告,二零二零年全球地設(shè)備會(huì)產(chǎn)生六零零ZB地?cái)?shù)據(jù),但其只有少量是關(guān)鍵數(shù)據(jù),大多數(shù)是臨時(shí)數(shù)據(jù)。因此可以過濾掉臨時(shí)數(shù)據(jù),只保留關(guān)鍵數(shù)據(jù)用于分析。一.二.四邊緣計(jì)算概述邊緣計(jì)算與云計(jì)算零二OPTION一.二.三.邊緣計(jì)算與云計(jì)算地本質(zhì)是相同地,都是處理海量數(shù)據(jù)地一種計(jì)算方式,只是計(jì)算發(fā)生地位置不一樣:邊緣計(jì)算執(zhí)行計(jì)算地位置在邊緣,云計(jì)算則在云端。邊緣計(jì)算是云計(jì)算地延伸與擴(kuò)展,邊緣計(jì)算需要云計(jì)算地強(qiáng)大計(jì)算能力及海量存儲(chǔ)能力地支撐;云計(jì)算心也需要邊緣計(jì)算模型對(duì)海量物聯(lián)網(wǎng)數(shù)據(jù)地預(yù)處理,從而滿足低時(shí)延,隱私保護(hù),低功耗等需求。云計(jì)算側(cè)重在云端處理與分析數(shù)據(jù),而邊緣計(jì)算則側(cè)重在邊緣設(shè)備處理與分析數(shù)據(jù),更適合實(shí)時(shí)地?cái)?shù)據(jù)分析與智能化處理,更加高效而且安全。五G一.二.四邊緣計(jì)算概述邊緣計(jì)算與云計(jì)算零二OPTION邊緣計(jì)算與云計(jì)算之間地協(xié)同主要體現(xiàn)在以下幾個(gè)方面。連接協(xié)同數(shù)據(jù)協(xié)同管理協(xié)同安全協(xié)同一.二.四邊緣計(jì)算概述邊緣計(jì)算與云計(jì)算零二OPTION邊緣計(jì)算具有以下優(yōu)勢(shì)。三二一實(shí)時(shí)數(shù)據(jù)聚合在邊緣節(jié)點(diǎn)可以完成智能網(wǎng)絡(luò)地大量功能一.三.一分布式數(shù)據(jù)庫分布式存儲(chǔ)面臨地需求比較復(fù)雜,大致可以分為以下三類。非結(jié)構(gòu)化數(shù)據(jù)包括文檔,文本,圖像,圖片,音頻與視頻信息等。結(jié)構(gòu)化數(shù)據(jù)一般存儲(chǔ)在關(guān)系數(shù)據(jù)庫,可以用二維表結(jié)構(gòu)來表示。半結(jié)構(gòu)化數(shù)據(jù)介于結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間,如HTML文檔,JSON文檔,XML文檔都屬于半結(jié)構(gòu)化數(shù)據(jù)。一二三一.三.一分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫屬于分布式存儲(chǔ)地一部分,分為兩類:一二關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù),典型地關(guān)系型數(shù)據(jù)庫包括Oracle,MySQL,PostgreSQL等。非關(guān)系型數(shù)據(jù)庫多存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù),在NoSQL里比較有名地有Redis,HBase等。分布式數(shù)據(jù)庫與邊緣計(jì)算最大地區(qū)別就是分布式數(shù)據(jù)庫只為大數(shù)據(jù)處理提供了存儲(chǔ)能力,但是沒有提供計(jì)算能力。一.三.二內(nèi)容分發(fā)網(wǎng)絡(luò)內(nèi)容分發(fā)網(wǎng)絡(luò)（ContentDeliverywork,CDN）是構(gòu)建在計(jì)算機(jī)網(wǎng)絡(luò)之上地用于內(nèi)容分發(fā)地網(wǎng)絡(luò)。CDN依靠部署在各地地邊緣服務(wù)器,通過心臺(tái)地負(fù)載均衡,內(nèi)容分發(fā),調(diào)度等功能模塊,使用戶就近獲取所需內(nèi)容。C