云計算和5G技術(shù)知識點(diǎn)

1、一、云計算的概念1.1 概念云計算是一種通過互聯(lián)網(wǎng)訪問、可定制的IT資源共享池，并按照使用量付費(fèi)的模式，這些資源包括網(wǎng)絡(luò)，服務(wù)器，存儲、應(yīng)用、服務(wù)等。廣泛意義上來說，云計算是指服務(wù)的交付和使用模式，即通過網(wǎng)絡(luò)以按需，易擴(kuò)展的方式獲取所需的資源，這種服務(wù)可以是IT的基礎(chǔ)設(shè)施（硬件、軟件、平臺），也可以是其他服務(wù)，云計算的核心理念就是按需服務(wù)，就像人使用水、電、天然氣等資源一樣。1.2 關(guān)鍵技術(shù)1.2.1 虛擬化虛擬化就是將原本運(yùn)行在真實(shí)環(huán)境上的計算機(jī)系統(tǒng)或組件運(yùn)行在虛擬出來的環(huán)境中。將虛擬化的層次運(yùn)行在不同的應(yīng)用程序、操作系統(tǒng)以及硬件資源中，虛擬化在上下兩個層次之間起中間連接作用，使上下兩層之間

2、的功能實(shí)現(xiàn)類似化，如此一來，上層的運(yùn)行不是與下層環(huán)境相連接，而是在虛擬的環(huán)境中運(yùn)行。上下兩層在關(guān)系上的耦合化被虛擬化有效解決，在實(shí)現(xiàn)方面，上下兩層更加獨(dú)立。在成本節(jié)約、服務(wù)整合、高效利用資源方面，虛擬化意義重大。 VMM（Hypervisor）在x86平臺虛擬技術(shù)中，新引入了虛擬化層通常稱為虛擬機(jī)監(jiān)控器（VirtualMachineMonitor,VMM）,也叫做Hypervisor。通常VMM運(yùn)行的環(huán)境就是真實(shí)的物理機(jī)，稱之為宿主機(jī)（host）,而虛擬出來的平臺通常稱為客戶機(jī)（guest）里面運(yùn)行的系統(tǒng)對應(yīng)地也稱為客戶機(jī)操作系統(tǒng)。VMM處于中間層，既要負(fù)責(zé)對虛擬資源的管理，包括

3、虛擬環(huán)境的調(diào)度，虛擬機(jī)之間的通信以及虛擬機(jī)的管理等，又要負(fù)責(zé)物理資源的管理，包括CPU,終端，內(nèi)存，設(shè)備等管理。 軟件虛擬化和硬件虛擬化軟件虛擬化純軟件虛擬化，顧明思義，就是用純軟件的方法在現(xiàn)有的物理平臺上（往往并不支持硬件虛擬化）實(shí)現(xiàn)對物理平臺的指令截獲和模擬。常見的軟件虛擬機(jī)例如qemu,它是通過純軟件來仿真X86平臺處理器的獲取、解碼和執(zhí)行，客戶機(jī)的指令并不在物理平臺上直接執(zhí)行。由于所有的指令都是軟件模擬的，因此性能往往比較差，好處是可以在同一平臺上模擬不同架構(gòu)平臺的虛擬機(jī)。硬件虛擬化硬件虛擬機(jī)化就是物理平臺本身提供了對特殊指令的截獲和重定向的硬件支持，甚至新的硬件提供額外

4、的資源來幫助軟件的實(shí)現(xiàn)對關(guān)鍵硬件資源的虛擬化，從而提升性能。以X86平臺虛擬化為例，支持虛擬技術(shù)的x86CPU帶有特別優(yōu)化過的指令集來控制虛擬過程，通過這些指令集，VMM會很容易將客戶機(jī)置于一種受限制的模式下運(yùn)行，一旦客戶機(jī)試圖訪問物理資源，硬件就會暫?？蛻魴C(jī)的運(yùn)行，控制權(quán)交回給VMM處理。正式由于虛擬化硬件的提出，從而原先操作系統(tǒng)可以直接在虛擬平臺上運(yùn)行，無需再進(jìn)行指令集轉(zhuǎn)換，相對于軟件虛擬化來說大大減少了相關(guān)的性能開銷，從而極大簡化的VMM的設(shè)計，進(jìn)而使得VMM能夠按通用標(biāo)準(zhǔn)進(jìn)行編寫，性能更加強(qiáng)大。Intel的VT-x技術(shù)是代表，在處理器上引入了一個新的執(zhí)行模式用于運(yùn)行虛擬機(jī).當(dāng)虛擬機(jī)執(zhí)行

5、在這個特殊模式中時，任何特權(quán)操作都會被處理器截獲并報告給VMM。 半虛擬化和全虛擬化半虛擬化軟件虛擬化可以在缺乏硬件虛化支持的平臺上通過VMM軟件來實(shí)現(xiàn)對各個虛擬機(jī)的監(jiān)控，以保障他們之間批次獨(dú)立和隔離。但是付出的代價是軟件的復(fù)雜度的增加，和性能的損失。減輕這種負(fù)擔(dān)的一種方法，就是改動客戶機(jī)的內(nèi)核模塊，使得它以為自己運(yùn)行在虛擬環(huán)境下，能夠與VMM協(xié)同工作。這種方法叫做半虛擬化。半虛擬化弱化了對虛擬機(jī)特殊指令的被動截獲要求，將其轉(zhuǎn)化為客戶機(jī)主動通知VMM。所以需要修改客戶機(jī)內(nèi)核源碼來實(shí)現(xiàn)主動通知。假如你是深信服的云桌面使用者，你會發(fā)現(xiàn)在裝有windows的客戶機(jī)上會自帶許多fastI

6、O的驅(qū)動。其實(shí)這些驅(qū)動就是為半虛擬化服務(wù)的，其作用就是提升虛擬機(jī)的性能。全虛擬化與半虛擬化技術(shù)不同，全虛擬化為客戶機(jī)提供了完成的虛擬X86平臺，包括cpu,內(nèi)存和外設(shè)。不需要對客戶機(jī)內(nèi)核做任何修改即可正常運(yùn)行在非虛擬化環(huán)境中，是全虛擬化無可比擬的優(yōu)勢。但是性能上相對半虛擬化還是要差一點(diǎn)。業(yè)界很多都認(rèn)為，基于硬件的全虛擬化產(chǎn)品將是未來虛擬化技術(shù)的核心。但是本人認(rèn)為混合虛擬化才是未來的核心，因?yàn)樗杏布奶摂M化都有內(nèi)核提供開發(fā)成本太大而且完全沒有必要，只需要將最重要的CPU虛擬化和內(nèi)存虛擬化放入內(nèi)核中，其余設(shè)備的都可以通過半虛擬化來提高性能。KVM-QEMU就是這樣做的，在后序的文章中也會介紹到1

7、22分布式文件系統(tǒng)指在文件系統(tǒng)基礎(chǔ)上發(fā)展而來的云存儲分布式系統(tǒng)，可用于大規(guī)模的集群，主要特點(diǎn)：1、高可靠性：云存儲系統(tǒng)支持多個節(jié)點(diǎn)間保存多個數(shù)據(jù)副本的功能，以提供數(shù)據(jù)的可靠性；2、高訪問性：根據(jù)數(shù)據(jù)的重要性和訪問頻率將數(shù)據(jù)分級多副本存儲、熱點(diǎn)數(shù)據(jù)并行讀寫，提高訪問；3、在線遷移、復(fù)制：存儲節(jié)點(diǎn)支持在線遷移，復(fù)制、擴(kuò)容不影響上層應(yīng)用；4、自動負(fù)載均衡：可以根據(jù)當(dāng)前系統(tǒng)的負(fù)荷，將原有節(jié)點(diǎn)上的數(shù)據(jù)遷移到新增的節(jié)點(diǎn)上，特有的分片存儲，以塊為最小單位來存儲，存儲和查詢時所有的存儲節(jié)點(diǎn)并行計算；5、元數(shù)據(jù)和數(shù)據(jù)分離：采用元數(shù)據(jù)和數(shù)據(jù)分離的存儲方式設(shè)計分布式文件系統(tǒng)。1,2.3分布式數(shù)據(jù)庫能實(shí)現(xiàn)動態(tài)負(fù)載均衡

8、、故障節(jié)點(diǎn)自動接管、具有高可靠性，高可用性、高可擴(kuò)展性；1.3 云存儲安全性1.3.1 數(shù)據(jù)加密云存儲服務(wù)提供商所提供的云存儲服務(wù)技術(shù)中必不可少的一項(xiàng)基本技術(shù)就是對靜態(tài)存儲的數(shù)據(jù)以及傳輸過程中動態(tài)數(shù)據(jù)進(jìn)行加密.云端存儲系統(tǒng)在保證敏感數(shù)據(jù)機(jī)密性的同時，必須具有加密數(shù)據(jù)共享技術(shù)來適應(yīng)如今的網(wǎng)絡(luò)環(huán)境。保護(hù)用戶隱私性要求存儲安全建立在對存儲系統(tǒng)的信任基礎(chǔ)之上。必須建立適用于網(wǎng)絡(luò)存儲系統(tǒng)的加密存儲技術(shù)，提供端到端加密存儲技術(shù)及密鑰長期存儲和共享機(jī)制，以確保用戶數(shù)據(jù)的機(jī)密性和隱私性，提高密鑰存儲的安全性、分發(fā)的高效性及加密策略的靈活性。132訪問控制訪問控制仍然是云計算系統(tǒng)中的基本安全機(jī)制之一.通過訪問權(quán)

9、限管理來實(shí)現(xiàn)系統(tǒng)中數(shù)據(jù)和資源的保護(hù).防止用戶進(jìn)行非授權(quán)的訪問。云端存儲系統(tǒng)的訪問控制建立在用戶身份認(rèn)證的基礎(chǔ)之上，在進(jìn)行系統(tǒng)訪問控制規(guī)則的設(shè)計過程中.應(yīng)遵循最小權(quán)限原則，也就是說，應(yīng)該做到每個用戶擁有的權(quán)限只能訪問和修改他們所必需的信息或者資源。目前，比較常用的訪問控制模型是訪問控制矩陣、訪問控制列表以及基于角色的訪問控制等。訪問控制矩陣模型的優(yōu)點(diǎn)是可以快速準(zhǔn)確地確定訪問權(quán)限，但缺點(diǎn)是隨著訪問主體和客體數(shù)量的增加，訪問矩陣將變得越來越大。與訪問控制矩陣相比，訪問控制列表占用空間更小，但是它不能有效列舉主體所有的訪問權(quán)限。133安全日志和審計安全日志和審計是云存儲安全技術(shù)中必不可少的一項(xiàng)技術(shù)要求

10、，因?yàn)樗峁┝顺脩艉驮拼鎯Ψ?wù)提供商之外的第三方安全監(jiān)督機(jī)制，審計不僅可以監(jiān)督存儲上對用戶數(shù)據(jù)安全性做出的承諾和服務(wù)是否實(shí)現(xiàn)，還會審計用戶的數(shù)據(jù)是否合法.安全日志提供子系統(tǒng)的安全狀態(tài)，從日志可以分析出系統(tǒng)存在的一些威脅，就可以盡早防范，做應(yīng)對措施。審計可以采取內(nèi)審和外審相結(jié)合的模式，這樣更有利于保護(hù)用戶數(shù)據(jù)的安全性134多副本策略在分布式云存儲中，因個別節(jié)點(diǎn)故障可能造成用戶數(shù)據(jù)的丟失，因此必須采取技術(shù)手段避免單點(diǎn)失敗，保證用戶存儲在云端數(shù)據(jù)的可恢復(fù)性.保證數(shù)據(jù)可恢復(fù)性的最常用方法是提供冗余與容錯能力。副本技術(shù)是一種最常用的手段，即每個數(shù)據(jù)塊在整個集群之上有多個備份，備份的數(shù)量可以由用戶自己決

11、定。這些備份根據(jù)系統(tǒng)的分布情況分布在不同的物理位置，從而防止一個節(jié)點(diǎn)失效而導(dǎo)致多個備份無法訪問的情況。例如，GoogleGFS就提供3個副本的容錯技術(shù)，以達(dá)到效率和可靠性的平衡。1.3.5 數(shù)據(jù)的差異性保存云存儲出來之前，用戶的數(shù)據(jù)都是存儲在自己的私有服務(wù)器中，為了數(shù)據(jù)的安全性數(shù)據(jù)的保密等級是必不可少的。這種策略可以運(yùn)用到云存儲上面，將關(guān)鍵的數(shù)據(jù)由用戶自己保存，剩下的普通數(shù)據(jù)存放在云上，這樣在私有存儲和云存儲上找到一個折中，使安全性和實(shí)用性都得到一個很好的保證。1.4 hadoop生態(tài)在云計算這一塊，hadoop算做的比較不錯，hadoop平臺的基本框圖和生態(tài)系統(tǒng)如下所示：HADOOP生態(tài)系統(tǒng)

12、福號城比.上、匚Ilana流數(shù)據(jù)處理TjtPig效據(jù)分析工具性MahuutH志數(shù)據(jù)處理系統(tǒng)Onikth數(shù)據(jù)分庫處理工具Jlivd與布式文件系縉IDFS分布式莫據(jù)庫1IBA5E及共服務(wù)ChTinnn勢排序列化,VVTT說明：1、MapReduce:是一個并行化計算框架，提供了map和reduce兩階段的并行處理模型和過程，mapreduce以鍵值對的數(shù)據(jù)輸入方式來處理數(shù)據(jù)，并能自動完成數(shù)據(jù)的劃分和調(diào)度管理；2、分布式文件系統(tǒng)（HDFS）:基于物理上分布在各個數(shù)據(jù)存儲節(jié)點(diǎn)的本地Linux系統(tǒng)的文件系統(tǒng)，為上次提供一個邏輯上成為整體的大規(guī)模數(shù)據(jù)存儲系統(tǒng)；3、分布式數(shù)據(jù)庫管理系統(tǒng)（HBASE）:克服了

13、難以管理結(jié)構(gòu)化/半結(jié)構(gòu)化海量數(shù)據(jù)的缺點(diǎn)，提供了一個大規(guī)模分布式的，建立在HDFS之上的分布式數(shù)據(jù)庫管理系統(tǒng)，Hbase提供了基于行，列和時間戳的三維數(shù)據(jù)管理模型；4、公共服務(wù)模塊（Common）：為hadoop提供支撐服務(wù)和常用的工具類庫以及api編程接口，服務(wù)包括：抽象文件系統(tǒng)fileSystem、遠(yuǎn)程過程調(diào)用（RPC）,系統(tǒng)配置工具以及序列化機(jī)制；5、數(shù)據(jù)序列化（Avro）:用于將數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)對象轉(zhuǎn)變成數(shù)據(jù)存儲和網(wǎng)絡(luò)傳輸?shù)母袷剑?、分布式協(xié)調(diào)服務(wù)（Zookeeper）：主要用戶提供分布式應(yīng)用經(jīng)常需要的系統(tǒng)可靠性維護(hù)，數(shù)據(jù)狀態(tài)同步、統(tǒng)一命名服務(wù)，分布式應(yīng)用配置等管理功能；7、分布式數(shù)據(jù)倉庫

14、處理工具（Hive）:用于管理存在HDFS和hbase中的結(jié)構(gòu)化/半結(jié)構(gòu)化的數(shù)據(jù)。8、數(shù)據(jù)流處理工具（Pig）:用來處理大規(guī)模數(shù)據(jù)集平臺，程序員可以使用它將復(fù)雜的數(shù)據(jù)分析任務(wù)實(shí)現(xiàn)為pig操作上的數(shù)據(jù)流腳本，這些腳本最終執(zhí)行時將被系統(tǒng)自動轉(zhuǎn)為mapreduce任務(wù)鏈,在hadoop上執(zhí)行；9、鍵值對數(shù)據(jù)庫（Cassandro）:是一個鍵值對數(shù)據(jù)庫；10、關(guān)系數(shù)據(jù)交換工具（Sqoop）:可以將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)批量導(dǎo)入hadoop的HDFS,HBASEHive中，也可以反過來將數(shù)據(jù)導(dǎo)入關(guān)系型數(shù)據(jù)中。11、日志數(shù)據(jù)收集工具（Flume）:它將數(shù)據(jù)從生產(chǎn)、傳輸、處理、輸出的過程抽象為數(shù)據(jù)流，并允

15、許在數(shù)據(jù)源中定義數(shù)據(jù)發(fā)送方，從而支持基于各種不同傳輸協(xié)議的數(shù)據(jù)，同時也支持對數(shù)據(jù)的過濾，格轉(zhuǎn)等能力。二、虛擬機(jī)和容器（Container）的區(qū)別2虛擬機(jī)技術(shù)它通過一個軟件層的封裝，提供和物理硬件相同的輸入輸出表現(xiàn)，實(shí)現(xiàn)了操作系統(tǒng)和計算機(jī)硬件的解耦，將OS和計算機(jī)間從1對1變成了多對多（實(shí)際上是1對多）的關(guān)系。該軟件層稱為虛擬機(jī)管理器（VMM/Hypervisor），它可以直接運(yùn)行在裸機(jī)上（Xen、VMwareEXSi）,也可以運(yùn)行在操作系統(tǒng)上（KVM、VMwareworkstation）。這項(xiàng)技術(shù)已經(jīng)很成熟了（發(fā)展了40多年），但仍然存在以下幾個問題：在虛擬機(jī)上運(yùn)行了一個完整的操作系統(tǒng)（Gue

16、stOS）,在其下執(zhí)行的還有虛擬化層和宿主機(jī)操作系統(tǒng)，一定比直接在物理機(jī)上運(yùn)行相同的服務(wù)性能差；有GuestOS的存在，虛擬機(jī)鏡像往往有幾個G到幾十個G,占用的存儲空間大，便攜性差；想要使用更多硬件資源，需要啟動一臺新的虛擬機(jī)，要等待GuesOS啟動，可能需要幾十秒到幾分鐘不等。工A叩#2I'(,'>'IBINS/LIBSIUJNSLI13SG：,JFSTQSIGUESTOSIGlfFSTQSHYPERVISORHOSTOPERATINGSYSTEMINFRASTRUCTURE2.2 容器虛擬化技術(shù)容器是沒有GuestOS的輕量級“虛擬機(jī)”，多個容器共享一個OS內(nèi)

17、核，容器中包含需要部署的應(yīng)用和它依賴的系統(tǒng)環(huán)境，容器大小通常只有幾十到幾百M(fèi)B。由于共享操作系統(tǒng)內(nèi)核，所以容器依賴于底層的操作系統(tǒng)，各個操作系統(tǒng)大都有自己的容器技術(shù)和容器工具。Docker是一個Linux容器管理工具，隨著Docker的興起，Linux容器技術(shù)也是當(dāng)下最時興的容器虛擬化技術(shù)。Linux容器工具有很多，OpenVZ、LXC、Docker、Rocket、Lmctfy等等，大都是基于Linux內(nèi)核提供的兩個機(jī)制：Cgroups（實(shí)現(xiàn)資源按需分配）和Namespace（實(shí)現(xiàn)任務(wù)隔離）。酉口.APP#2.區(qū)抄BIN5/LIBS.BINS/LIB5.BINS/DOCKERDAEMONHOS

18、TOPERATINGSYSTEMINFRASTRUCTURE2.3 對比分析虛擬機(jī)技術(shù)已經(jīng)發(fā)展了很多年，虛擬機(jī)和虛擬化層間的接口、虛擬機(jī)鏡像格式等都已經(jīng)標(biāo)準(zhǔn)化了，相應(yīng)的管理工具、分布式集群管理工具都有比較完善的解決方案，而容器最近幾年才興起，配套技術(shù)和標(biāo)準(zhǔn)還在完善中；虛擬機(jī)由于有GuestOS存在，可以和宿主機(jī)運(yùn)行不同OS,而容器只能支持和宿主機(jī)內(nèi)核相同的操作系統(tǒng)；虛擬機(jī)由于有VMM的存在，虛擬機(jī)之間、虛擬機(jī)和宿主機(jī)之間隔離性很好，而容器之間公用宿主機(jī)的內(nèi)核，共享系統(tǒng)調(diào)用和一些底層的庫，隔離性相對較差；容器比虛擬機(jī)明顯更輕量級，對宿主機(jī)操作系統(tǒng)而言，容器就跟一個進(jìn)程差不多。因此容器有著更快的啟

19、動速度（秒級甚至更快），更高密度的存儲和使用（鏡像小）、更方便的集群管理等優(yōu)點(diǎn)。同時由于沒有GuestOS存在，在容器中運(yùn)行應(yīng)用和直接在宿主機(jī)上幾乎沒有性能損失，比虛擬機(jī)明顯性能上有優(yōu)勢。操作系統(tǒng)與宿主機(jī)共享05宿主機(jī)0S上運(yùn)行虛擬機(jī)0S存儲大小鎮(zhèn)像小，便于存儲與傳輸錢像龐大(vmdk.vdi等)運(yùn)行性能幾乎無額外性能損失操作系統(tǒng)額外的CPU、內(nèi)存消耗移植性輕便、靈活，適應(yīng)于Linux笨重，與虛擬化技術(shù)耦合度高硬件親和性面向軟件開發(fā)者一"面向硬件運(yùn)維者部署速度快速，秒級較慢，10s以上容器技術(shù)與傳統(tǒng)虛擬機(jī)性能對比三、云計算的五種基本特征3.1 自助服務(wù)消費(fèi)者不需要或很少需要云服務(wù)提供

20、商的協(xié)助就可以單方面按需獲取云端的計算資源。3.2 廣泛的網(wǎng)絡(luò)訪問消費(fèi)者可以隨時隨地使用任何云終端設(shè)備接入網(wǎng)絡(luò)并使用云端的計算資源。常見的云終端設(shè)備包括手機(jī)、平板、筆記本電腦、PDA掌上電腦和臺式機(jī)等。3.3 資源池化云端計算資源需要被池化以便通過多租戶形式共享給多個消費(fèi)者，也只有池化才能根據(jù)消費(fèi)者的需求動態(tài)分配或再分配各種物理的和虛擬的資源。消費(fèi)者通常不知道自己正在使用的計算資源的確切位置，但是在自助申請時允許指定大概的區(qū)域范圍(比如在哪個國家、哪個省或者哪個數(shù)據(jù)中心)。3.4 快速彈性消費(fèi)者能方便、快捷地按需獲取和釋放計算資源，也就是說，需要時能快速獲取資源從而擴(kuò)展計算能力，不需要時能迅速

21、釋放資源以便降低計算能力，從而減少資源的使用費(fèi)用。對于消費(fèi)者來說，云端的計算資源時無限的，可以隨時申請并獲取任何數(shù)量的計算資源。但是我們一定是投資巨大的工程，也不一定具備超大規(guī)模的運(yùn)算能力。其實(shí)一臺計算機(jī)就可以組建一個最小的云端，云端建設(shè)方案務(wù)必采用可伸縮性策略，剛開始是采用幾臺計算機(jī)，然后根據(jù)用戶數(shù)量規(guī)模來增減計算資源。3.5 計費(fèi)服務(wù)消費(fèi)者使用云端計算資源是要付費(fèi)的，付費(fèi)的計量方法有很多，比如根據(jù)某類資源（如存儲、CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等）的使用量和時間長短計費(fèi)，也可以按照每使用一次來計費(fèi)。但不管如何計費(fèi)，對消費(fèi)者來說，價碼要清楚，計量方法要明確，而運(yùn)服務(wù)提供商需要監(jiān)視和控制資源的使用情況

22、，并及時輸出各種資源的使用報表，做到供/需雙方費(fèi)用結(jié)算清清楚楚、明明白白。四、云計算的四種部署模式4.1 私有云云端資源只給一個單位組織內(nèi)的用戶使用，這是私有云的核心特征。而云端的所有權(quán)、日程管理和操作的主體到底屬于誰并沒有嚴(yán)格的規(guī)定，可能是本單位，也可能是第三方機(jī)構(gòu)，還可能是二者的聯(lián)合。云端可能位于本單位內(nèi)部，也可能托管在其他地方。4.2 社區(qū)云云端資源專門給固定的幾個單位內(nèi)的用戶使用，而這些單位對云端具有相同的訴求（如安全要求、云端使命、規(guī)章制度、合規(guī)性要求等）。云端的所有權(quán)、日常管理的操作的主體可能是本社區(qū)內(nèi)的一個或多個單位，也可能是社區(qū)外的第三方機(jī)構(gòu)，還可能是二者的聯(lián)合。云端可能部署在

23、本地，也可能部署與他處。4.3 公共云云端資源開發(fā)給社會公眾使用。云端的所有權(quán)、日常管理和操作的主體可以是一個商業(yè)組織、學(xué)術(shù)機(jī)構(gòu)、政府部門或者它們其中的幾個聯(lián)合。云端可能部署在本地，也可能部署于其他地方，比如北京市民公共云的云端可能就建在北京，也可能建在天津。4.4 混合云混合云由兩個或兩個以上不同類型的云（私有云、社區(qū)云、公共云）組成，它們各自獨(dú)立，但用標(biāo)準(zhǔn)的或?qū)Ｓ械募夹g(shù)將它們組合起點(diǎn)，而這些技術(shù)能實(shí)現(xiàn)云之間的數(shù)據(jù)和應(yīng)用程序的平滑流轉(zhuǎn)。由多個相同類型的云組合在一起，混合云屬于多云的一種。私有云和公共云構(gòu)成的混合云是目前最流行的一一當(dāng)私有云資源短暫性需求過大（稱為云爆發(fā)，CloudBursti

24、ng）時，自動租賃公共云資源來平抑私有云資源的需求峰值。例如，網(wǎng)店在節(jié)假日期間點(diǎn)擊量巨大，這時就會臨時使用公共云資源的應(yīng)急。五、云計算三種模型5.1 體系結(jié)構(gòu)云計算的體系結(jié)構(gòu)大致分為3個層次：核心服務(wù)層、服務(wù)管理層、用戶訪問接口層。篦&應(yīng)II用戶切問接口層.；/服務(wù)管理服務(wù)質(zhì)a保證QoS安全管理5.2 SaaS:軟件即服務(wù)軟件即服務(wù)（也稱為云應(yīng)用程序服務(wù)）代表了云市場中企業(yè)最常用的選項(xiàng)。SaaS利用互聯(lián)網(wǎng)向其用戶提供應(yīng)用程序，這些應(yīng)用程序由第三方供應(yīng)商管理。大多數(shù)SaaS應(yīng)用程序直接通過Web瀏覽器運(yùn)行，不需要在客戶端進(jìn)行任何下載或安裝。SaaS交付：由于其網(wǎng)絡(luò)傳輸模式，SaaS無需在

25、每臺計算機(jī)上下載和安裝應(yīng)用程序，而在每臺計算機(jī)上下載和安裝應(yīng)用程序正是IT員工的噩夢。通過SaaS,供應(yīng)商可以管理所有潛在的技術(shù)問題，例如數(shù)據(jù)、中間件，服務(wù)器和存儲，因此企業(yè)可以簡化其維護(hù)和支持。SaaS的優(yōu)勢：SaaS通過大大減少安裝，管理和升級軟件等繁瑣任務(wù)所花費(fèi)的時間和金錢，為員工和公司提供了許多好處。這讓技術(shù)人員可以花更多時間來處理組織內(nèi)更緊迫的事情和問題。SaaS的特點(diǎn)：1、在統(tǒng)一的地方管理2、托管在遠(yuǎn)程服務(wù)器上3、可通過互聯(lián)網(wǎng)訪4、用戶不負(fù)責(zé)硬件或軟件更新5.3 PaaS:平臺即服務(wù)云平臺服務(wù)或平臺即服務(wù)（PaaS）為某些軟件提供云組件，這些組件主要用于應(yīng)用程序。PaaS為開發(fā)人員

26、提供了一個框架，使他們可以基于它創(chuàng)建自定義應(yīng)用程序。所有服務(wù)器，存儲和網(wǎng)絡(luò)都可以由企業(yè)或第三方提供商進(jìn)行管理，而開發(fā)人員可以負(fù)責(zé)應(yīng)用程序的管理。PaaS的交付：PaaS的交付模式類似于SaaS,除了通過互聯(lián)網(wǎng)提供軟件，PaaS提供了一個軟件創(chuàng)建平臺。該平臺通過Web提供，使開發(fā)人員可以自由地專注于創(chuàng)建軟件，同時不必?fù)?dān)心操作系統(tǒng)、軟件更新，存儲或基礎(chǔ)架構(gòu)。PaaS允許企業(yè)使用特殊的軟件組件設(shè)計和創(chuàng)建內(nèi)置于PaaS中的應(yīng)用程序。由于具有某些云特性，這些應(yīng)用程序或中間件具有可擴(kuò)展性和高可用性。PaaS優(yōu)勢：無論您的公司規(guī)模如何，使用PaaS都有很多優(yōu)勢：?使應(yīng)用程序的開發(fā)和部署變得簡單且經(jīng)濟(jì)高效?可

27、擴(kuò)展?高度可用?使開發(fā)人員能夠創(chuàng)建自定義應(yīng)用程序，而無需維護(hù)軟件?大大減少了編碼量?自動化業(yè)務(wù)策略?允許輕松遷移到混合模型PaaS的特點(diǎn)：PaaS具有許多將其定義為云服務(wù)的特征，包括：?它基于虛擬化技術(shù)，這意味著隨著業(yè)務(wù)的變化，資源可以輕松擴(kuò)展或縮小?提供各種服務(wù)以協(xié)助開發(fā)，測試和部署應(yīng)用程序?許多用戶可以訪問相同的開發(fā)應(yīng)用程序?Web服務(wù)和數(shù)據(jù)庫是集成的5.4 IaaS:基礎(chǔ)架構(gòu)即服務(wù)云基礎(chǔ)架構(gòu)服務(wù)稱為基礎(chǔ)架構(gòu)即服務(wù)(IaaS),由高度可擴(kuò)展和自動化的計算資源組成。IaaS是完全自助服務(wù)，用于訪問和監(jiān)控計算、網(wǎng)絡(luò)，存儲和其他服務(wù)等內(nèi)容，它允許企業(yè)按需求和需要購買資源，而不必購買全部硬件。Ia

28、aS交付：IaaS通過虛擬化技術(shù)為組織提供云計算基礎(chǔ)架構(gòu)，包括服務(wù)器、網(wǎng)絡(luò)，操作系統(tǒng)和存儲等。這些云服務(wù)器通常通過儀表盤或API提供給客戶端，IaaS客戶端可以完全控制整個基礎(chǔ)架構(gòu)。IaaS提供與傳統(tǒng)數(shù)據(jù)中心相同的技術(shù)和功能，而無需對其進(jìn)行物理上的維護(hù)或管理。IaaS客戶端仍然可以直接訪問其服務(wù)器和存儲，但它們都通過云中的“虛擬數(shù)據(jù)中心”。與SaaS或PaaS相反，IaaS客戶端負(fù)責(zé)管理應(yīng)用程序、運(yùn)行時、操作系統(tǒng)，中間件和數(shù)據(jù)等方面。但是，IaaS的提供商管理服務(wù)器、硬盤驅(qū)動器、網(wǎng)絡(luò)，虛擬化和存儲。一些提供商甚至在虛擬化層之外提供更多服務(wù)，例如數(shù)據(jù)庫或消息隊(duì)列。IaaS的優(yōu)勢：?是最靈活的云計

29、算模型?輕松實(shí)現(xiàn)存儲、網(wǎng)絡(luò)，服務(wù)器和處理能力的自動部署?可以根據(jù)消耗量購買硬件?使客戶能夠完全控制其基礎(chǔ)架構(gòu)?可以根據(jù)需要購買資源?高度可擴(kuò)展IaaS的特點(diǎn)：?資源可作為服務(wù)提供?費(fèi)用因消費(fèi)而異?服務(wù)高度可擴(kuò)展?通常在單個硬件上包括多個用戶?為組織提供對基礎(chǔ)架構(gòu)的完全控制?動態(tài)靈活六、大數(shù)據(jù)五種關(guān)鍵技術(shù)6.1 大數(shù)據(jù)采集技術(shù)數(shù)據(jù)采集是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化的海量數(shù)據(jù)，是大數(shù)據(jù)知識服務(wù)模型的根本。重點(diǎn)要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù)；突破高速數(shù)據(jù)解

30、析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù)；設(shè)計質(zhì)量評估模型，開發(fā)數(shù)據(jù)質(zhì)量技術(shù)。大數(shù)據(jù)采集一般分為大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統(tǒng)，實(shí)現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識別、定位、跟蹤、接入、傳輸、信號轉(zhuǎn)換、監(jiān)控、初步處理和管理等。必須著重攻克針對大數(shù)據(jù)源的智能識別、感知、適配、傳輸、接入等技術(shù)?；A(chǔ)支撐層：提供大數(shù)據(jù)服務(wù)平臺所需的虛擬服務(wù)器，結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境。重點(diǎn)攻克分布式虛擬存儲技術(shù)，大數(shù)據(jù)獲取、存儲、組織、分析和決策操作的可視化接口技術(shù)，大數(shù)據(jù)的網(wǎng)絡(luò)傳輸與壓縮技術(shù)，大數(shù)

31、據(jù)隱私保護(hù)技術(shù)等。6.2 大數(shù)據(jù)預(yù)處理技術(shù)主要完成對已接收數(shù)據(jù)的辨析、抽取、清洗等操作。1、抽?。阂颢@取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。2、清洗：對于大數(shù)據(jù)，并不全是有價值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯誤的干擾項(xiàng)，因此要對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。6.3 大數(shù)據(jù)存儲及管理技術(shù)大數(shù)據(jù)存儲與管理要用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進(jìn)行管理和調(diào)用。重點(diǎn)解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)。主要解決大數(shù)據(jù)的可存儲、可表示、可處理、

32、可靠性及有效傳輸?shù)葞讉€關(guān)鍵問題。開發(fā)可靠的分布式文件系統(tǒng)（DFS）、能效優(yōu)化的存儲、計算融入存儲、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲技術(shù)；突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù)；突破大數(shù)據(jù)索引技術(shù)；突破大數(shù)據(jù)移動、備份、復(fù)制等技術(shù)；開發(fā)大數(shù)據(jù)可視化技術(shù)。開發(fā)新型數(shù)據(jù)庫技術(shù)，數(shù)據(jù)庫分為關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫以及數(shù)據(jù)庫緩存系統(tǒng)。其中，非關(guān)系型數(shù)據(jù)庫主要指的是NoSQL數(shù)據(jù)庫，分為：鍵值數(shù)據(jù)庫、列存數(shù)據(jù)庫、圖存數(shù)據(jù)庫以及文檔數(shù)據(jù)庫等類型。關(guān)系型數(shù)據(jù)庫包含了傳統(tǒng)關(guān)系數(shù)據(jù)庫系統(tǒng)以及NewSQL數(shù)據(jù)庫。開發(fā)大數(shù)據(jù)安全技術(shù)。改進(jìn)數(shù)據(jù)銷毀、透

33、明加解密、分布式訪問控制、數(shù)據(jù)審計等技術(shù)；突破隱私保護(hù)和推理控制、數(shù)據(jù)真?zhèn)巫R別和取證、數(shù)據(jù)持有完整性驗(yàn)證等技術(shù)。6.4 大數(shù)據(jù)分析及挖掘技術(shù)大數(shù)據(jù)分析技術(shù)。改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)；開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖掘涉及的技術(shù)方法很多，有多種分類法。根據(jù)挖掘任務(wù)可分為分類或預(yù)測模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)

34、、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或依賴模型發(fā)現(xiàn)、異常和趨勢發(fā)現(xiàn)等等；根據(jù)挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、異質(zhì)數(shù)據(jù)庫、遺產(chǎn)數(shù)據(jù)庫以及環(huán)球網(wǎng)Web；根據(jù)挖掘方法分，可粗分為機(jī)器學(xué)習(xí)方法、統(tǒng)計方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。機(jī)器學(xué)習(xí)中，可細(xì)分為：歸納學(xué)習(xí)方法（決策樹、規(guī)則歸納等卜基于范例學(xué)習(xí)、遺傳算法等。統(tǒng)計方法中，可細(xì)分為：回歸分析（多元回歸、自回歸等）、判別分析（貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等卜聚類分析（系統(tǒng)聚類、動態(tài)聚類等卜探索性分析（主元分析法、相關(guān)分析法等）等。神經(jīng)網(wǎng)絡(luò)方法中，可細(xì)分為：前向神經(jīng)網(wǎng)絡(luò)（BP算法等）

35、、自組織神經(jīng)網(wǎng)絡(luò)（自組織特征映射、競爭學(xué)習(xí)等）等。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法。從挖掘任務(wù)和挖掘方法的角度，著重突破：1、可視化分析。數(shù)據(jù)可視化無論對于普通用戶或是數(shù)據(jù)分析專家，都是最基本的功能。數(shù)據(jù)圖像化可以讓數(shù)據(jù)自己說話，讓用戶直觀的感受到結(jié)果。2、數(shù)據(jù)挖掘算法。圖像化是將機(jī)器語言翻譯給人看，而數(shù)據(jù)挖掘就是機(jī)器的母語。分割、集群、孤立點(diǎn)分析還有各種各樣五花八門的算法讓我們精煉數(shù)據(jù)，挖掘價值。這些算法一定要能夠應(yīng)付大數(shù)據(jù)的量，同時還具有很高的處理速度。3、預(yù)測性分析。預(yù)測性分析可以讓分析師根據(jù)圖像化分析和數(shù)據(jù)挖掘的結(jié)果做出一些前瞻性判斷。4、語義引擎

36、。語義引擎需要設(shè)計到有足夠的人工智能以足以從數(shù)據(jù)中主動地提取信息。語言處理技術(shù)包括機(jī)器翻譯、情感分析、輿情分析、智能輸入、問答系統(tǒng)等。5、數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。數(shù)據(jù)質(zhì)量與管理是管理的最佳實(shí)踐，透過標(biāo)準(zhǔn)化流程和機(jī)器對數(shù)據(jù)進(jìn)行處理可以確保獲得一個預(yù)設(shè)質(zhì)量的分析結(jié)果。6.5 大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識挖掘出來，為人類的社會經(jīng)濟(jì)活動提供依據(jù)，從而提高各個領(lǐng)域的運(yùn)行效率，大大提高整個社會經(jīng)濟(jì)的集約化程度。在我國，大數(shù)據(jù)將重點(diǎn)應(yīng)用于以下三大領(lǐng)域：商業(yè)智能、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù)，政府決策技術(shù)，電信數(shù)據(jù)信息處理與挖掘技術(shù)，電網(wǎng)數(shù)據(jù)信息處理與挖掘技術(shù)，氣象信

37、息分析技術(shù)，環(huán)境監(jiān)測技術(shù)，警務(wù)云應(yīng)用系統(tǒng)（道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、智能交通、反電信詐騙、指揮調(diào)度等公安信息系統(tǒng)），大規(guī)?；蛐蛄蟹治霰葘夹g(shù)，Web信息挖掘技術(shù)，多媒體數(shù)據(jù)并行化處理技術(shù)，影視制作渲染技術(shù)，其他各種行業(yè)的云計算和海量數(shù)據(jù)處理應(yīng)用技術(shù)等。七、大華云技術(shù)說明7.1對稱式與非對稱式的對比分析按照元數(shù)據(jù)的管理方式，集群文件系統(tǒng)可分為對稱式和非對稱式。對稱式集群系統(tǒng)中每個節(jié)點(diǎn)的角色均等，共同管理和維護(hù)元數(shù)據(jù)，節(jié)點(diǎn)間通過高速網(wǎng)絡(luò)進(jìn)行信息同步和互斥鎖等操作。而非對稱式集群文件系統(tǒng)中，有專門的一個或者多個節(jié)點(diǎn)負(fù)責(zé)管理元數(shù)據(jù)，其他節(jié)點(diǎn)需要頻繁與元數(shù)據(jù)節(jié)點(diǎn)通信以獲取最新的元數(shù)據(jù)比如目錄列表、

38、文件屬性等等。7.11擴(kuò)展性對稱式架構(gòu)集群系統(tǒng)中的節(jié)點(diǎn)數(shù)量不能太多，否則節(jié)點(diǎn)間相互的通信量將迅速激增，達(dá)到瓶頸，比如系統(tǒng)中有10個節(jié)點(diǎn)的話，每個節(jié)點(diǎn)可能同時在與其他9個節(jié)點(diǎn)通信，此時系統(tǒng)連接總數(shù)近似為10x10,如果100個節(jié)點(diǎn)，則連接總數(shù)為99x99,隨著節(jié)點(diǎn)數(shù)量增加，信息同步復(fù)雜度呈幾何級數(shù)增長，節(jié)點(diǎn)性能奇差。對稱式架構(gòu)中市場成熟度最高的Isilon,其宣稱的最大集群規(guī)模為144個節(jié)點(diǎn)，但在實(shí)際部署中，絕大多數(shù)都拆分成10個節(jié)點(diǎn)左右的多個集群。而非對稱式由專用的服務(wù)器維護(hù)元數(shù)據(jù)，節(jié)點(diǎn)增加帶來的元數(shù)據(jù)復(fù)雜度是線性的，因而集群性能能夠?qū)崿F(xiàn)線性。這也就是為什么全球top100的集群存儲系統(tǒng)鮮有采

39、用對稱式架構(gòu)，而在top10中，全部采用非對稱式架構(gòu)。7.L2安全性對稱式架構(gòu)中，節(jié)點(diǎn)間的耦合性非常緊密，一旦某個節(jié)點(diǎn)出現(xiàn)問題，比如相應(yīng)延遲，那么向其加鎖就會遲遲得不到應(yīng)答，影響整個集群的性能，一人犯科，株連九族。再比如一旦某個節(jié)點(diǎn)發(fā)飆把文件系統(tǒng)元數(shù)據(jù)破壞，也一樣是全家遭殃，輕則丟失數(shù)據(jù)或元數(shù)據(jù)不一致，重則系統(tǒng)整體癱瘓。非對稱式架構(gòu)中，節(jié)點(diǎn)間采用松耦合機(jī)制，數(shù)據(jù)節(jié)點(diǎn)故障可以得到很好的隔離，系統(tǒng)的健壯性更強(qiáng)。7.L3后端數(shù)據(jù)交互壓力對系統(tǒng)的影響分布式系統(tǒng)由于數(shù)據(jù)分散存放在不同的節(jié)點(diǎn)，因而，出現(xiàn)磁盤故障或者節(jié)點(diǎn)故障時不可避免的會進(jìn)行跨節(jié)點(diǎn)的數(shù)據(jù)重構(gòu)。當(dāng)追求重構(gòu)速度時，節(jié)點(diǎn)間的數(shù)據(jù)交互壓力很大，為了

40、避免網(wǎng)絡(luò)擁塞，拖慢整個系統(tǒng)，需要將業(yè)務(wù)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)分離。業(yè)務(wù)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)分別使用不同的物理網(wǎng)卡以達(dá)到從網(wǎng)絡(luò)上相互隔離的目的，可以根據(jù)用戶現(xiàn)有網(wǎng)絡(luò)狀況選擇千兆和萬兆連接。前端ipc接入的數(shù)據(jù)流走單獨(dú)的業(yè)務(wù)網(wǎng)絡(luò)，后端數(shù)據(jù)離散流和控制信令流走單獨(dú)的存儲網(wǎng)絡(luò)，以滿足不同場景用戶的組網(wǎng)需求。無論哪種組網(wǎng)，系統(tǒng)中所有節(jié)點(diǎn)網(wǎng)絡(luò)都是冗余，任何單一網(wǎng)口故障或者單一交換機(jī)故障均不影響系統(tǒng)使用。業(yè)務(wù)網(wǎng)絡(luò)存儲網(wǎng)絡(luò).7.2 元數(shù)據(jù)高可靠性元數(shù)據(jù)服務(wù)器集群內(nèi)部，通過單獨(dú)網(wǎng)絡(luò)連接，進(jìn)行實(shí)時的錯誤檢測。單獨(dú)網(wǎng)絡(luò)保證心跳不會受到數(shù)據(jù)中心其他網(wǎng)絡(luò)通訊的干擾，保證鏈路的可靠性。心跳機(jī)制保證集群服務(wù)器之間錯誤的實(shí)時檢測和發(fā)現(xiàn)，為

41、主備快速切換提供保證。云存儲的管理節(jié)點(diǎn)采用了主備雙機(jī)鏡像熱備的高可用機(jī)制，在主管理節(jié)點(diǎn)出現(xiàn)故障時，備管理節(jié)點(diǎn)自動接替主管理節(jié)點(diǎn)的工作，成為新的主管理節(jié)點(diǎn)，大幅提高了系統(tǒng)的穩(wěn)定性，保障系統(tǒng)的7X24小時不間斷服務(wù)，支持應(yīng)用系統(tǒng)對數(shù)據(jù)的隨時存取。每臺元數(shù)據(jù)服務(wù)器內(nèi)部，存儲元數(shù)據(jù)的磁盤都組RAID1,相當(dāng)于每個元數(shù)據(jù)總共有4個副本，以更好的保障元數(shù)據(jù)的可靠性。7.3 動態(tài)負(fù)載均衡動態(tài)負(fù)載均衡指集群內(nèi)部，自動根據(jù)各存儲節(jié)點(diǎn)的IO負(fù)載、空間容量、CPU、內(nèi)存負(fù)載等因素，調(diào)度數(shù)據(jù)流向，實(shí)現(xiàn)IO讀寫的負(fù)載均衡。大華云存儲采用兩級負(fù)載均衡調(diào)度，首先由元數(shù)據(jù)服務(wù)器選擇一個負(fù)載輕的數(shù)據(jù)節(jié)點(diǎn)作為當(dāng)前請求的讀寫節(jié)點(diǎn)，

42、同時節(jié)點(diǎn)內(nèi)部還會根據(jù)每個硬盤的負(fù)載選擇最合適的硬盤參與數(shù)據(jù)寫入。對于存儲數(shù)據(jù)寫入而言，動態(tài)負(fù)載均衡表現(xiàn)為任意時刻，數(shù)據(jù)節(jié)點(diǎn)的寫入負(fù)載是動態(tài)均衡的。元數(shù)據(jù)服務(wù)器根據(jù)各節(jié)點(diǎn)的負(fù)載情況，自動調(diào)度，將新的數(shù)據(jù)寫入調(diào)度到綜合負(fù)載相對較低的節(jié)點(diǎn)，實(shí)現(xiàn)整體負(fù)載平衡。對于存儲數(shù)據(jù)讀出，則根據(jù)數(shù)據(jù)分布情況，以及數(shù)據(jù)分布的幾臺設(shè)備負(fù)載情況，選擇從負(fù)載較輕的節(jié)點(diǎn)讀取數(shù)據(jù)。7.4 高速并發(fā)訪問客戶端在訪問云存儲時，首先訪問元數(shù)據(jù)服務(wù)器，獲取將要與之進(jìn)行交互的數(shù)據(jù)節(jié)點(diǎn)信息，然后直接訪問這些數(shù)據(jù)節(jié)點(diǎn)完成數(shù)據(jù)存取。客戶端與元數(shù)據(jù)服務(wù)器之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了元數(shù)據(jù)服務(wù)器的負(fù)載，使之不成為系統(tǒng)性能的一個

43、瓶頸?？蛻舳伺c數(shù)據(jù)節(jié)點(diǎn)之間直接傳輸數(shù)據(jù)流，同時由于文件被分散到多個節(jié)點(diǎn)進(jìn)行分布式存儲，客戶端可以同時訪問多個節(jié)點(diǎn)服務(wù)器，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。系統(tǒng)的整體吞吐率與節(jié)點(diǎn)服務(wù)器的數(shù)量呈正比。7.5 系統(tǒng)安全性云存儲對外提供登陸、認(rèn)證接口，保證系統(tǒng)安全性。云平臺必須配置云存儲的用戶名和密碼之后才能接入到云存儲系統(tǒng)。用戶通過云存儲運(yùn)維系統(tǒng)進(jìn)行刪除節(jié)點(diǎn)，格式化節(jié)點(diǎn)等操作時，必須再次輸入用戶名密碼，防止系統(tǒng)被非法破壞。八、5G網(wǎng)絡(luò)技術(shù)的三大類8.1 核心網(wǎng)極心冏。衛(wèi)茶甘m建櫓枝木王曦接入網(wǎng)超的工冬址n入何本4調(diào)I回主義無境事核心網(wǎng)關(guān)鍵技術(shù)主要包括：網(wǎng)絡(luò)功能虛擬化（和多接入邊

44、緣計算（MEC）。NFV）、軟件定義網(wǎng)絡(luò)（SDN）、網(wǎng)絡(luò)切片以如無片電&L1網(wǎng)絡(luò)功能虛擬化（NFV）NFV,就是通過IT虛擬化技術(shù)將網(wǎng)絡(luò)功能軟件化，并運(yùn)行于通用硬件設(shè)備之上，以替代傳統(tǒng)專用網(wǎng)絡(luò)硬件設(shè)備。NFV將網(wǎng)絡(luò)功能以虛擬機(jī)的形式運(yùn)行于通用硬件設(shè)備或白盒之上，以實(shí)現(xiàn)配置靈活性、可擴(kuò)展性和移動性，并以此希望降低網(wǎng)絡(luò)CAPEX和OPEX。垂直f化時閉，專用橫向擴(kuò)原開放接口靈活敬捷加速創(chuàng)新NFV要虛擬化的網(wǎng)絡(luò)設(shè)備主要包括：交換機(jī)（比如OpenvSwitch）、路由器、HLR（歸屬位置寄存器）、SGSN、GGSN、CGSN、RNC（無線網(wǎng)絡(luò)控制器）、SGW（服務(wù)網(wǎng)關(guān)）、PGW（分組數(shù)據(jù)網(wǎng)絡(luò)網(wǎng)

45、關(guān)）、RGW（接入網(wǎng)關(guān)）、BRAS（寬帶遠(yuǎn)程接入服務(wù)器）、CGNAT（運(yùn)營商級網(wǎng)絡(luò)地址轉(zhuǎn)換器）、DPI（深度包檢測）、PE路由器、MME（移動管理實(shí)體）等。NFV獨(dú)立于SDN,可單獨(dú)使用或與SDN結(jié)合使用。8,12軟件定義網(wǎng)絡(luò)（SDN）軟件定義網(wǎng)絡(luò)（SDN）,是一種將網(wǎng)絡(luò)基礎(chǔ)設(shè)施層（也成為數(shù)據(jù)面）與控制層（也稱為控制面）分離的網(wǎng)絡(luò)設(shè)計方案。網(wǎng)絡(luò)基礎(chǔ)設(shè)施層與控制層通過標(biāo)準(zhǔn)接口連接，比如OpenFLow（首個用于互連數(shù)據(jù)和控制面的開放協(xié)議）。SDN將網(wǎng)絡(luò)控制面解耦至通用硬件設(shè)備上，并通過軟件化集中控制網(wǎng)絡(luò)資源?？刂茖油ǔＳ蒘DN控制器實(shí)現(xiàn)，基礎(chǔ)設(shè)施層通常被認(rèn)為是交換機(jī)，SDN通過南向API（比如O

46、penFLow）連接SDN控制器和交換機(jī)，通過北向API連接SDN控制器和應(yīng)用程序。應(yīng)用層SDN可實(shí)現(xiàn)集中管理，提升了設(shè)計靈活性，還可引入開源工具，具備降低CAPEX和OPEX以及激發(fā)創(chuàng)新的優(yōu)勢。&L3網(wǎng)絡(luò)切片(NetworkSlicing)5G網(wǎng)絡(luò)將面向不同的應(yīng)用場景，比如，超高清視頻、VR、大規(guī)模物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等，不同的場景對網(wǎng)絡(luò)的移動性、安全性、時延、可靠性，甚至是計費(fèi)方式的要求是不一樣的，因此，需要將一張物理網(wǎng)絡(luò)分成多個虛擬網(wǎng)絡(luò)，每個虛擬網(wǎng)絡(luò)面向不同的應(yīng)用場景需求。虛擬網(wǎng)絡(luò)間是邏輯獨(dú)立的，互不影響。一張網(wǎng)絡(luò)使能多種服務(wù)、端到端網(wǎng)絡(luò)切片URLLCe-堆人網(wǎng)傳漏網(wǎng)橫心網(wǎng)mMTC只有

47、實(shí)現(xiàn)NFV/SDN之后，才能實(shí)現(xiàn)網(wǎng)絡(luò)切片，不同的切片依靠NFV和SDN通過共享的物理/虛擬資源池來創(chuàng)建。網(wǎng)絡(luò)切片還包含MEC資源和功能。8.1.4多接入邊緣計算(MEC)多接入邊緣計算(MEC),就是位于網(wǎng)絡(luò)邊緣的、基于云的IT計算和存儲環(huán)境。它使數(shù)據(jù)存儲和計算能力部署于更靠近用戶的邊緣，從而降低了網(wǎng)絡(luò)時延，可更好的提供低時延、高寬帶應(yīng)用。MEC可通過開放生態(tài)系統(tǒng)引入新應(yīng)用，從而幫助運(yùn)營商提供更豐富的增值服務(wù)，比如數(shù)據(jù)分析、定位服務(wù)、AR和數(shù)據(jù)緩存等。8.2 前傳和回傳8.2.1 前傳和回傳技術(shù)回傳（Backhaul）指無線接入網(wǎng)連接到核心網(wǎng)的部分，光纖是回傳網(wǎng)絡(luò)的理想選擇，但在光纖難以部署或

48、部署成本過高的環(huán)境下，無線回傳是替代方案，比如點(diǎn)對點(diǎn)微波、毫米波回傳等，此外，無線mesh網(wǎng)絡(luò)也是5G回傳的一個選項(xiàng)，在R16里，5G無線本身將被設(shè)計為無線回傳技術(shù)，即IAB（5GNR集成無線接入和回傳）。前傳（Fronthaul）指BBU池連接拉遠(yuǎn)RRU部分，如C-RAN章節(jié)所述。前傳鏈路容量主要取決于無線空口速率和MIMO天線數(shù)量，4G前傳鏈路采用CPRI（通用公共無線接口）協(xié)議，但由于5G無線速率大幅提升、MIMO天線數(shù)量成倍增加，CPRI無法滿足5G時代的前傳容量和時延需求，為此，標(biāo)準(zhǔn)組織正在積極研究和制定新的前傳技術(shù)，包括將一些處理能力從BBU下沉到RRU單元，以減小時延和前傳容量等

49、。8.3 無線接入網(wǎng)為了提升容量、頻譜效率，降低時延，提升能效，以滿足5G關(guān)鍵KPI,5G無線接入網(wǎng)包含的關(guān)鍵技術(shù)包括：C-RAN、SDR（軟件定義無線電）、CR（認(rèn)知無線電）、SmallCells、自組織網(wǎng)絡(luò)、D2D通信、MassiveMIMO、毫米波、高級調(diào)制和接入技術(shù)、帶內(nèi)全雙工、載波聚合、低時延和低功耗技術(shù)等。831云無線接入網(wǎng)JRAN）云無線接入網(wǎng)（C-RAN）,將無線接入的網(wǎng)絡(luò)功能軟件化為虛擬化功能，并部署于標(biāo)準(zhǔn)的云環(huán)境中。C-RAN概念由集中式RAN發(fā)展而來，目標(biāo)是為了提升設(shè)計靈活性和計算可擴(kuò)展性，提升能效和減少集成成本。在C-RAN構(gòu)架下，BBU功能是虛擬化的，且集中化、池化部

50、署，RRU與天線分布式部署，RRU通過前傳網(wǎng)絡(luò)連接BBU池，BBU池可共享資源、靈活分配處理來自各個RRU的信號。C-RAN的優(yōu)勢是，可以提升計算效率和能效，易于實(shí)現(xiàn)CoMP（協(xié)同多點(diǎn)傳輸）、多RAT、動態(tài)小區(qū)配置等更先進(jìn)的聯(lián)合優(yōu)化方案，但C-RAN的挑戰(zhàn)是前傳網(wǎng)絡(luò)設(shè)計和部署的復(fù)雜性。8.3.1 軟件定義無線電（SDR）軟件定義無線電（SDR）,可實(shí)現(xiàn)部分或全部物理層功能在軟件中定義。需要注意軟件定義無線電和軟件控制無線電的區(qū)別，后者僅指物理層功能由軟件控制。在SDR中可實(shí)現(xiàn)調(diào)制、解調(diào)、濾波、信道增益和頻率選擇等一些傳統(tǒng)的物理層功能，這些軟件計算可在通用芯片、GPU、DSP、FPGA和其他專用

51、處理芯片上完成。8.3.2 認(rèn)知無線電（CR）認(rèn)知無線電（CR）,通過了解無線內(nèi)部和外部環(huán)境狀態(tài)實(shí)時做出行為決策。SDR被認(rèn)為是CR的使能技術(shù)，但CR包括和可使能多種技術(shù)應(yīng)用，比如動態(tài)頻譜接入、自組織網(wǎng)絡(luò)、認(rèn)知無線電抗干擾系統(tǒng)、認(rèn)知網(wǎng)關(guān)、認(rèn)知路由、實(shí)時頻譜管理、協(xié)作MIMO等。8.3,4SmallCellsSmallCells,就是小基站（小小區(qū)），相較于傳統(tǒng)宏基站，SmallCells的發(fā)射功率更低，覆蓋范圍更小，通常覆蓋10米到幾百米的范圍，通常SmallCells根據(jù)覆蓋范圍的大小依次分為微蜂窩、Picocell和家庭Femtocell。SmallCells的使命是不斷補(bǔ)充宏站的覆蓋盲點(diǎn)

52、和容量，以更低成本的方式提高網(wǎng)絡(luò)服務(wù)質(zhì)量?？紤]5G無線頻段越來越高，未來還將部署5G毫米波頻段，無線信號頻段更高，覆蓋范圍越小，加之未來多場景下的用戶流量需求不斷攀升，后5G時代必將部署大量SmallCells,這些SmallCells將與宏站組成超級密集的混合異構(gòu)（HetNet）網(wǎng)絡(luò)，這將為網(wǎng)絡(luò)管理、頻率干擾等帶來空前的復(fù)雜性挑戰(zhàn)。83.5自組織網(wǎng)絡(luò)（SON）自組織網(wǎng)絡(luò)（SON）,指可自動協(xié)調(diào)相鄰小區(qū)、自動配置和自優(yōu)化的網(wǎng)絡(luò)，以減少網(wǎng)絡(luò)干擾，提升網(wǎng)絡(luò)運(yùn)行效率。SON并不是新鮮概念，早在3G時代就提出，但進(jìn)入5G時代，SON將是一項(xiàng)至關(guān)重要的技術(shù)。如上所述，5G時代網(wǎng)絡(luò)致密化給網(wǎng)絡(luò)干擾和管理提

53、出了空前的復(fù)雜性挑戰(zhàn)，更需要SON來最小化網(wǎng)絡(luò)干擾和管理，但即便是SON恐怕也難以應(yīng)付超級密集的5G網(wǎng)絡(luò)，因此，還需要上文提到的CR（認(rèn)知無線電）技術(shù)來幫忙。8.3.6設(shè)備到設(shè)備通信（D2D）設(shè)備到設(shè)備通信（D2D）,指數(shù)據(jù)傳輸不通過基站，而是允許一個移動終端設(shè)備與另一個移動終端設(shè)備直接通信。D2D源于4G時代，被稱為LTEProximityServices（ProSe）技術(shù)，是一種基于3GPP通信系統(tǒng)的近距離通信技術(shù)，主要包括兩大功能：?Directdiscovery,直連發(fā)現(xiàn)功能，終端發(fā)現(xiàn)周圍有可以直連的終端；?Directcommunication,直連通信，與周圍的終端進(jìn)行數(shù)據(jù)交互。在

54、4G時代D2D通信主要僅應(yīng)用于公共安全領(lǐng)域，進(jìn)入5G時代，由于車聯(lián)網(wǎng)、自動駕駛、可穿戴設(shè)備等物聯(lián)網(wǎng)應(yīng)用將大量興起，D2D通信的應(yīng)用范圍必將大大擴(kuò)展，但會面臨安全性和資源分配公平性挑戰(zhàn)。837MassiveMIMO要提升無線網(wǎng)速，主要的辦法之一是采用多天線技術(shù)，即在基站和終端側(cè)采用多個天線，組成MIMO系統(tǒng)。MIMO系統(tǒng)被描述為MXN,其中M是發(fā)射天線的數(shù)量，N是接收天線的數(shù)量（比如4X2MIMO）。如果MIMO系統(tǒng)僅用于增加一個用戶的速率，即占用相同時頻資源的多個并行的數(shù)據(jù)流發(fā)給同一個用戶，稱之為單用戶MIMO（SU-MIMO）;如果MIMO系統(tǒng)用于多個用戶，多個終端同時使用相同的時頻資源進(jìn)行

55、傳輸，稱之為多用戶MIMO（MU-MIMO）,MU-MIMO可大幅提升頻譜效率。多天線還應(yīng)用于波束賦形技術(shù)，即通過調(diào)整每個天線的幅度和相位，賦予天線輻射圖特定的形狀和方向，使無線信號能量集中于更窄的波束上，并實(shí)現(xiàn)方向可控，從而增強(qiáng)覆蓋范圍和減少干擾。MassiveMIMO就是采用更大規(guī)模數(shù)量的天線，目前5G主要采用的64x64MIMO。MassiveMIMO可提升大幅無線容量和覆蓋范圍，但面臨信道估計準(zhǔn)確性（尤其是高速移動場景）、多終端同步、功耗和信號處理的計算復(fù)雜性等挑戰(zhàn)。838毫米波（mmWave）毫米波（mmWave）,指RF頻率在30GHz和300GHz之間的無線電波，波長范圍從1mm到10mm。5G與2/3/4G最大的區(qū)別之一是引入了毫米波。毫米波的缺點(diǎn)是傳播損耗大，穿透能力弱，毫米波的