云計(jì)算基礎(chǔ)(2020年v30)課件

云計(jì)算基礎(chǔ)

（中國(guó)聯(lián)通定制培訓(xùn)）

2020年version3.0云計(jì)算概覽內(nèi)容簡(jiǎn)介什么是云計(jì)算服務(wù)/應(yīng)用部署模式云原生應(yīng)用更多的云平臺(tái)服務(wù)模式主流云平臺(tái)對(duì)比什么是云計(jì)算云計(jì)算解決方案的特點(diǎn)：按需自助服務(wù)廣泛的網(wǎng)絡(luò)訪問資源池快速?gòu)椥詼y(cè)量服務(wù)云計(jì)算模式簡(jiǎn)介混合云是一種將兩個(gè)單獨(dú)的云（公共云和私有云）綁定在一起的技術(shù)，以組合和補(bǔ)充每個(gè)云提供的優(yōu)勢(shì)公共云是云服務(wù)提供商提供的供公眾訪問和使用的基礎(chǔ)架構(gòu)，平臺(tái)或應(yīng)用程序服務(wù)私有云是一種私有的且受用戶自管理的云，其提供類似于公共云的優(yōu)點(diǎn)，但是被設(shè)計(jì)使得用戶在自己的數(shù)據(jù)中心管理和維護(hù)私有云的基礎(chǔ)設(shè)施數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境中間件網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境中間件網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境中間件網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境中間件網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)IaaSPaaSSaaS本地部署云計(jì)算服務(wù)模式如何理解IaaSPaaS和SaaSIaaS目標(biāo)用戶是企業(yè)內(nèi)部架構(gòu)師，基于云平臺(tái)提供底層基礎(chǔ)架構(gòu)服務(wù)。PaaS目標(biāo)用戶是應(yīng)用開發(fā)者，提供各種預(yù)制的托管的開發(fā)環(huán)境。SaaS目標(biāo)客戶是終端用戶，為企業(yè)提供最終解決方案。

首先把云平臺(tái)高度抽象成一個(gè)無所不包而且取之不盡用之不竭的資源池。然后考慮我們的服務(wù)如何部署上去。到底該如何理解云平臺(tái)服務(wù)模式呢IaaS本質(zhì)上就是平臺(tái)給你交付一臺(tái)虛機(jī)，虛機(jī)的操作系統(tǒng)給裝好，用戶自己配置系統(tǒng)，安裝應(yīng)用，搭建服務(wù)。按照責(zé)任分擔(dān)模型，以虛機(jī)操作系統(tǒng)為分界線，上面這些層次，用戶自己負(fù)責(zé)，操作系統(tǒng)中病毒也是客戶的責(zé)任哦，操作系統(tǒng)以下的基礎(chǔ)架構(gòu)服務(wù)由平臺(tái)方交付。優(yōu)點(diǎn)：之前服務(wù)怎么裝怎么配現(xiàn)在還是一個(gè)樣，而且A平臺(tái)有問題，我換個(gè)地方重裝就是缺點(diǎn)：如果是跑虛機(jī)，我為啥不能自己跑快速理解IaaS數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境中間件網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)IaaSPaaS交付的平臺(tái)，也就是應(yīng)用程序運(yùn)行所需的環(huán)境，如果你要一個(gè)DB放數(shù)據(jù)，沒必要套一個(gè)數(shù)據(jù)庫(kù)服務(wù)器，如果要一個(gè)website，沒必要給你一個(gè)網(wǎng)站服務(wù)器。優(yōu)點(diǎn)：客戶只要填充數(shù)據(jù)和實(shí)現(xiàn)應(yīng)用就好，非常省心。缺點(diǎn)：隨著“標(biāo)準(zhǔn)化”的提升，用戶的選擇靈活性降低了快速理解PaaS數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境中間件網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)PaaS平臺(tái)都已經(jīng)把一切安排到位，用戶只要付錢開通服務(wù)賬號(hào)就行優(yōu)點(diǎn)：省心到極致缺點(diǎn)：還能費(fèi)心定制定制嗎快速理解SaaS數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境中間件網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)SaaS網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)中間件運(yùn)行環(huán)境數(shù)據(jù)應(yīng)用網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)中間件運(yùn)行環(huán)境數(shù)據(jù)應(yīng)用網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)中間件運(yùn)行環(huán)境數(shù)據(jù)應(yīng)用網(wǎng)絡(luò)存儲(chǔ)服務(wù)器虛擬化操作系統(tǒng)中間件運(yùn)行環(huán)境數(shù)據(jù)庫(kù)應(yīng)用私有云計(jì)算（laaS、PaaS）實(shí)例1）如果你自己買了服務(wù)器，要托管在集團(tuán)數(shù)據(jù)中心：2）你直接向數(shù)據(jù)中心申請(qǐng)服務(wù)器資源：3）如果有需要，數(shù)據(jù)中心連中間件和運(yùn)行環(huán)境也提供：4）我們的數(shù)據(jù)中心，甚至可以直接提供數(shù)據(jù)庫(kù)資源：我們把服務(wù)高度抽象成兩類有狀態(tài)：狀態(tài)需要保持，例如數(shù)據(jù)庫(kù)無狀態(tài)：狀態(tài)不需要保持，例如前端web服務(wù)器服務(wù)的類型縱向擴(kuò)展scaleup橫向擴(kuò)展scaleout服務(wù)可用性從可用性角度考慮：無狀態(tài)應(yīng)用通過橫向擴(kuò)展提升可用性有狀態(tài)應(yīng)用通過縱向擴(kuò)展提升可用性很顯然無狀態(tài)的服務(wù)特別匹配云平臺(tái)，可以考慮優(yōu)先將此類服務(wù)遷移/部署到云平臺(tái)那些服務(wù)可以優(yōu)先上云受法律法規(guī)限制的服務(wù)，如醫(yī)學(xué)影像資料被特定硬件限制的服務(wù)，如加密狗需要CPU和內(nèi)存緊密交互的服務(wù)，如12306不適應(yīng)遷移到云上的服務(wù)如果不著急，舊服務(wù)可以保持原狀，或者以IaaS的方式進(jìn)行遷移，可以保證穩(wěn)妥。對(duì)于新服務(wù)，就必須有個(gè)考慮，以何種方式部署到云？以IaaS方式部署，屬于舊瓶裝新酒。以PaaS方式部署，靈活性又在哪里所以痛點(diǎn)就是PaaS缺乏統(tǒng)一的標(biāo)準(zhǔn)新服務(wù)如何部署基準(zhǔn)代碼：一份基準(zhǔn)代碼，多份部署依賴：顯式聲明依賴關(guān)系配置：在環(huán)境中存儲(chǔ)配置后端服務(wù)：把后端服務(wù)當(dāng)作附加資源構(gòu)建，發(fā)布，運(yùn)行：嚴(yán)格分離構(gòu)建和運(yùn)行進(jìn)程：以一個(gè)或多個(gè)無狀態(tài)進(jìn)程運(yùn)行應(yīng)用端口綁定：通過端口綁定提供服務(wù)易處理：快速啟動(dòng)和優(yōu)雅終止可最大化健壯性開發(fā)環(huán)境與線上環(huán)境等價(jià)：盡可能的保持開發(fā)，預(yù)發(fā)布，線上環(huán)境相同日志：把日志當(dāng)作事件流管理進(jìn)程：后臺(tái)管理任務(wù)當(dāng)作一次性進(jìn)程運(yùn)行云原生原則—12-factor容器即服務(wù)CaaS增加了容器層，符合原生應(yīng)用的要求，buildoncerunanywhere公有云平臺(tái)都支持容器化應(yīng)用，所以跨云遷移不再困難對(duì)于私有云平臺(tái)，可以借助CaaS實(shí)現(xiàn)PaaS功能快速理解容器即服務(wù)CaaSServerless的一種實(shí)現(xiàn)方式，代碼邏輯由開發(fā)者完成，但是托管運(yùn)行在第三方云平臺(tái)上，由事件驅(qū)動(dòng)，短時(shí)執(zhí)行（甚至只有一次調(diào)用）架構(gòu)特點(diǎn)：用戶僅需關(guān)心代碼，不需要考慮基礎(chǔ)架構(gòu)不需要特定的框架和庫(kù)，可以適配所有的語言上傳代碼，使用API進(jìn)行初始化云平臺(tái)負(fù)責(zé)執(zhí)行自動(dòng)化和彈性的水平擴(kuò)展代碼的運(yùn)行由云平臺(tái)提供的消息類型觸發(fā)通常由API網(wǎng)關(guān)啟動(dòng)觸發(fā)優(yōu)勢(shì)：更細(xì)顆粒度的計(jì)算資源分配彈性伸縮高可用沒有閑置損耗其實(shí)還沒完，還有FaaS媽媽再也不擔(dān)心我封裝服務(wù)了BDaaS：大數(shù)據(jù)即服務(wù)DaaS：桌面即服務(wù)Dbaas：數(shù)據(jù)庫(kù)及服務(wù)HaaS：硬件即服務(wù)IDaaS：身份即服務(wù)NaaS：網(wǎng)絡(luò)即服務(wù)…………Xaas：一切皆服務(wù)更多的XaaS目前最大的一個(gè)云平臺(tái)以IaaS起家，拳頭產(chǎn)品S3和EC2電商出身，強(qiáng)調(diào)成本和延遲常見云平臺(tái)分析號(hào)稱是最大的電商中立云以PaaS起家目標(biāo)客戶是多年積累的企業(yè)客戶，所以整體架構(gòu)特別強(qiáng)調(diào)高可靠性常見云平臺(tái)分析以SaaS起家技術(shù)很先進(jìn)，先進(jìn)到起個(gè)大早趕個(gè)晚集常見云平臺(tái)分析國(guó)內(nèi)一哥，產(chǎn)品豐富，服務(wù)感人和AWS一樣，從改造自家平臺(tái)出發(fā)常見云平臺(tái)分析國(guó)內(nèi)市場(chǎng)追趕者依托社交流量入口，想象力很廣闊常見云平臺(tái)分析強(qiáng)調(diào)云網(wǎng)融合以內(nèi)蒙貴州為核心的8+2+X資源布局主攻政企客戶天翼云分析天翼云3.0產(chǎn)品視圖注：加星號(hào)產(chǎn)品為天翼云3.0中新增加的產(chǎn)品，RDS計(jì)劃2016年3季度上線天翼云3.0以云主機(jī)為基礎(chǔ)核心產(chǎn)品，從計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全及管理等維度不斷豐富云計(jì)算產(chǎn)品能力，滿足客戶對(duì)網(wǎng)絡(luò)接入、服務(wù)能力彈性擴(kuò)展、應(yīng)用安全等場(chǎng)景需求天翼云3.0基礎(chǔ)產(chǎn)品總覽互聯(lián)網(wǎng)/企業(yè)內(nèi)網(wǎng)云資源池彈性云主機(jī)云硬盤鏡像服務(wù)彈性負(fù)載均衡彈性伸縮虛擬私有云云硬盤備份云監(jiān)控DDoS流量清洗123公網(wǎng)IP+公網(wǎng)帶寬VPN接入4云專線接入1基礎(chǔ)云主機(jī)產(chǎn)品：為用戶提供包括vCPU、內(nèi)存、操作系統(tǒng)和數(shù)據(jù)盤在內(nèi)的具備計(jì)算能力的云主機(jī)提高云主機(jī)服務(wù)能力：使資源配置情況能夠根據(jù)業(yè)務(wù)發(fā)展靈活調(diào)整，為用戶提供高可用、可擴(kuò)展的云主機(jī)服務(wù)2增強(qiáng)云主機(jī)產(chǎn)品安全：為用戶提供邏輯隔離的網(wǎng)絡(luò)、數(shù)據(jù)備份和恢復(fù)服務(wù)，并能隨時(shí)監(jiān)控資源使用情況，做到異常情況及時(shí)告警提供網(wǎng)絡(luò)接入能力：以多種方式提供云主機(jī)與互聯(lián)網(wǎng)、與企業(yè)內(nèi)網(wǎng)相連接的能力34物理機(jī)自助獨(dú)享的資源能力多重保障的安全機(jī)制獨(dú)特的云網(wǎng)融合產(chǎn)品可信認(rèn)證的產(chǎn)品能力更貼近政企客戶需求的差異化能力差異化的云網(wǎng)融合產(chǎn)品DCIChinaNet/CN2東西向融合南北向融合云資源+云網(wǎng)絡(luò)（CN2/互聯(lián)網(wǎng)）云公司一點(diǎn)受理東西向融合，催生產(chǎn)品新質(zhì)態(tài)依托DCI承載東西向流量，依托業(yè)務(wù)調(diào)度系統(tǒng)實(shí)現(xiàn)資源統(tǒng)一調(diào)度產(chǎn)品新質(zhì)態(tài)：業(yè)務(wù)容災(zāi)與100公里內(nèi)雙活、客戶不同節(jié)點(diǎn)部署的資源互訪、按需配置跨域帶寬……南北向融合，實(shí)現(xiàn)“云+網(wǎng)”一體化服務(wù)將CN2MPLSVPN納入云網(wǎng)絡(luò)標(biāo)準(zhǔn)產(chǎn)品與集團(tuán)IT/流程貫穿，統(tǒng)一業(yè)務(wù)受理，統(tǒng)一故障受理“云+網(wǎng)”作為整體能力面向行業(yè)應(yīng)用及合作伙伴開放一個(gè)開源的云計(jì)算管理平臺(tái)項(xiàng)目，由幾個(gè)主要的組件組合起來完成具體工作通過各種互補(bǔ)的服務(wù)提供了基礎(chǔ)設(shè)施即服務(wù)（IaaS）的解決方案，每個(gè)服務(wù)提供API以進(jìn)行集成也可以疊加社區(qū)的方案搭建CaaSPaaSFaaS私有云平臺(tái)分析IaaS解決方案解析IaaS的核心服務(wù)計(jì)算虛機(jī)可用性集虛機(jī)規(guī)模集網(wǎng)絡(luò)虛擬網(wǎng)絡(luò)VPN,ExpressRoute負(fù)載均衡器

DNS,TrafficManager存儲(chǔ)磁盤

(Standard,premium)Blob存儲(chǔ)

(Hot,cool)文件管理Azure資源管理器(ARM)AzureActiveDirectoryPortalKeyVault計(jì)算機(jī)家族>80,000IOPsPremiumStorageHighest

valueASSDStorage

FastCPUsDComputeOptimizedVMsFMostmemory

fastestCPUsGNVIDIATeslaaccelerated

platformandGRID2.0SupportsRDMAForComputeandGraphicsintensiveworkloadsAvailablewith

GandDseriesBasedonIntelXeon

E5processorSupports8GBRAMand

768GBto6TBSSDForLowlatency,StorageOptimizedworkloadsFastestVMsonAzurewithIntelHaswellE5processorSupportsRDMA

andhighmemoryForhighperformance,

fluiddynamicsHigh

PerformanceVMsHStorage

optimizedVMsLSAPHANA

sizesGPU-enabled

VMsN>80,000IOPsPremiumStorageDoublingourComputeInstancesPortfolioLargestmachinessupportingEnterprisegradeworkloads入門級(jí)A常規(guī)用途D計(jì)算優(yōu)化F大內(nèi)存GHighest

valueAHighest

valueAHighest

valueAHighest

valueAHighest

valueADev/Test或入門級(jí)工作負(fù)載初代配置,HDD100ACU/core$0.44/kACU 內(nèi)存，固態(tài)硬盤的配置適用于大多數(shù)常見的生產(chǎn)應(yīng)用有內(nèi)存密集型的子型號(hào)210ACU/core$0.30/kACU計(jì)算密集型應(yīng)用程序，如游戲，分析更好的CPU和內(nèi)存比例210ACU/core$0.27/kACU適用于需要快速存儲(chǔ)的大型數(shù)據(jù)庫(kù)的大型VM配置0.5TBRAM的英特爾Haswell處理器180ACU/core$1.53/kACUStorageNetworkingManagementCompute>80,000IOPsPremiumStorageHighest

valueASSDStorage

FastCPUsDComputeOptimizedVMsFMostmemory

fastestCPUsGNVIDIATeslaaccelerated

platformandGRID2.0SupportsRDMAForComputeandGraphicsintensiveworkloadsAvailablewith

GandDseriesBasedonIntelXeon

E5processorSupports8GBRAMand

768GBto6TBSSDForLowlatency,StorageOptimizedworkloadsFastestVMsonAzurewithIntelHaswellE5processorSupportsRDMA

andhighmemoryForhighperformance,

fluiddynamicsHigh

PerformanceVMsHStorage

optimizedVMsLSAPHANA

sizesGPU-enabled

VMsN>80,000IOPsPremiumStorageDoublingourComputeInstancesPortfolioLargestmachinessupportingEnterprisegradeworkloadsHighest

valueASSDStorage

FastCPUsDComputeOptimizedVMsFMostmemory

fastestCPUsGHighest

valueAHighest

valueAHighest

valueAHighest

valueAHighest

valueASSDstorage

fastCPUsDComputeoptimizedVMsFMostmemory

fastestCPUsG>80,000IOPspremiumstorage家族新成員高性能虛機(jī)HNew

存儲(chǔ)優(yōu)化虛機(jī)LNew支持GPU的虛擬機(jī)NPreview采用英特爾HaswellE5處理器的Azure上速度最快的虛擬機(jī)支持RDMA和高內(nèi)存高性能，流體動(dòng)力學(xué)，CAD/CAM，碰撞測(cè)試290ACU/core$0.38/kACU基于英特爾Haswell？E5處理器支持高達(dá)6TB的SSD針對(duì)低延遲，存儲(chǔ)優(yōu)化的工作負(fù)載定價(jià)即將推出NVIDIATesla加速了云平臺(tái)提供的平臺(tái)最高端圖形支持支持RDMA對(duì)于計(jì)算和圖形密集型工作負(fù)載，遠(yuǎn)程可視化，深度學(xué)習(xí)，預(yù)測(cè)分析ManagementStorageNetworkingManagementCompute更多新成員CY17-Q1CY17-Q2ADFGADFEv3GAv2Av2Dv2OptimizedforDatabaseWorkloadsOptimized

forStorageWorkloadsLHIGHESTVALUELARGESTSCALE-UPUNDERNDAONLYAv2NHCY17-Q2GeneralPurpose&ApplicationWorkloadsDv3CY17-Q2MOptimizedforlargestenterpriseapplicationsincludingSAPHANACY16-GAOptimizedforlarge

SAPHANAworkloadsCY17-Q2BSmallWorkloadsHIGHESTVALUELARGESTSCALE-UPStorageNetworkingCompute演示：

創(chuàng)建虛機(jī)StorageNetworkingManagementCompute可用性集VirtualmachineVirtualmachineSQLServerprimarySQLServersecondary可用性集高可用(SLA99.95)SLA高可用性硬件和軟件Windows和Linux可用性集VM1VM1VM2VM2物理機(jī)電源模塊機(jī)架交換機(jī)可用性集

StorageNetworkingManagementCompute更新域控制主機(jī)操作系統(tǒng)更新將應(yīng)用層分為不同的可用性集容錯(cuò)域機(jī)架容錯(cuò)域機(jī)架前端高可用集后端高可用集VMVMVMVMIIS1SQL1IIS2SQL2UD#2UD#2UD#1UD#1StorageNetworkingManagementCompute將負(fù)載平衡器與可用性集合結(jié)合使用IISWebApplicationWebVMIISWebApplicationWebVMAzureLoadBalancerInternetSQL-AVSETIIS-AVSETSQLServerSQLServerSQLMirroring端到端的高可用性解決方案StorageNetworkingManagementCompute演示：

整合可用性集和負(fù)載均衡器實(shí)現(xiàn)IaaS服務(wù)高可靠性StorageNetworkingManagementCompute單實(shí)例虛機(jī)SLAVirtualmachineSQLServerw/SSD高可用性(SLA99.9)SLA高可用性硬件和軟件Windows和Linux什么是虛擬機(jī)規(guī)模集？ScalableVMOSImageDiffAgentExtension1Extension2Base

OSImageScalableVMOSImageDiffAgentExtension1Extension2ScalableVMOSImageDiffAgentExtension1Extension2ScalableVMOSImageDiffAgentExtension1Extension2ScalableVirtualMachineOSImageDiffDiskAgentExtension1Extension2作為一個(gè)集合部署和管理VM的方法與AzureAutoscale集成與Azure負(fù)載平衡器集成Azure計(jì)算資池

Microsoft.Compute/virtualMachineScaleSets可擴(kuò)展的計(jì)算平臺(tái)PaaS獨(dú)立于平臺(tái)的基礎(chǔ)架構(gòu)StorageNetworkingManagementCompute演示：

創(chuàng)建虛機(jī)規(guī)模集AzureImport/ExportAZCopyExpressRouteDatatransferoptionsTables“MassiveautoscalingNoSQLstore”Queues“Reliablemessagingat

scalefor

cloudservices”Blobs“Highlyscalable,REST-basedcloudobjectstore”HotandCoolTierFiles“SMBAccesstoAzure

Storage”StandarddisksMagneticdisks,HDDbased.Upto500IOPsPremiumdisksSSDbased,highIOPS,lowlatencyUpto64TB,80000IOPsAzure存儲(chǔ)Tables“MassiveautoscalingNoSQLstore”Queues“Reliablemessagingat

scalefor

cloudservices”Blobs“高度可擴(kuò)展的基于REST的云對(duì)象存儲(chǔ)”HotandCoolTierFiles“SMBFileShare”SMB3.0供多個(gè)虛機(jī)Read/WriteStandarddisks磁盤，基于硬盤。高達(dá)500IOPs/磁盤Premiumdisks基于SSD，高IOPS，低延遲Upto64TB,80000IOPsStorageNetworkingManagementComputeAzure網(wǎng)絡(luò)InternetaccessAzurevirtualnetwork虛擬網(wǎng)絡(luò)專用IP地址，網(wǎng)絡(luò)級(jí)隔離使用子網(wǎng)和安全組進(jìn)行分段使用用戶定義的路由控制流量混合連接P2S開發(fā)/測(cè)試VPN網(wǎng)關(guān)用于安全的S2S連接ExpressRoute用于私人企業(yè)級(jí)連接域加入本地ExpressRouteVPNgatewaysStorageNetworkingManagementComputeWebandmobileLineofBusinessAppslikeSAP,SharepointMicroserviceappsDevandtestBigdata

andanalyticsInternetofThingsBackup,recovery,

andarchiveHighperformancecomputingDigitalmediaIaaS方案的典型起點(diǎn)備份，存檔和災(zāi)難恢復(fù)Backup+Archive+DRDev/testLOBapps節(jié)省備份和存檔成本節(jié)省成本簡(jiǎn)化數(shù)據(jù)歸檔過程更高效地管理遠(yuǎn)程分支機(jī)構(gòu)簡(jiǎn)單滿足您組織的合規(guī)性目標(biāo)符合遵從性無論您身處何處，都可以保護(hù)您的數(shù)據(jù)和應(yīng)用程序擴(kuò)展您的本地備份存儲(chǔ)和數(shù)據(jù)保護(hù)您的主要IT系統(tǒng)免受災(zāi)難Manymore...WS2012SC/DPMOMSSuiteAzureBackupAzureSiteRecoveryAzurestorageDev/testLOB

appsBackup+Archive+DRStorSimple開發(fā)和測(cè)試50％的基礎(chǔ)設(shè)施用于非生產(chǎn)環(huán)境65％的開發(fā)人員表示，獲得開發(fā)和測(cè)試資源太復(fù)雜且費(fèi)時(shí)復(fù)制真實(shí)世界的使用場(chǎng)景準(zhǔn)確了解應(yīng)用程序在規(guī)模和生產(chǎn)中的表現(xiàn)以現(xiàn)實(shí)的規(guī)模進(jìn)行測(cè)試簡(jiǎn)化并加速運(yùn)行開發(fā)測(cè)試環(huán)境的過程在幾分鐘內(nèi)配置虛擬機(jī)，無論是自動(dòng)配置還是集中控制快速簡(jiǎn)便的配置獲得對(duì)計(jì)算資源使用情況的可見性和控制使用現(xiàn)收現(xiàn)付模式最大限度地減少浪費(fèi)和成本Dev/testLOBappsBackup+Archive+DRLineofBusiness應(yīng)用快速，輕松地開始使用Azure部署和管理非常簡(jiǎn)單易行針對(duì)應(yīng)用程序和基礎(chǔ)設(shè)施提供一流的支持支持Getstartedwith

Azurequickly

andeasily根據(jù)需要啟用敏捷測(cè)試環(huán)境Dev/test

能力將應(yīng)用移至Azure，無需購(gòu)買新的Microsoft許可證許可遷移方便將IT無縫擴(kuò)展到云全球可達(dá)和靈活的混合云Dev/testLOBappsBackup+Archive+DR私有云資源池部署和實(shí)施要點(diǎn)內(nèi)容一覽私有云相關(guān)底層技術(shù)虛擬化硬件超融合私有云方案架構(gòu)分析私有云計(jì)算和存儲(chǔ)資源池設(shè)計(jì)私有云網(wǎng)絡(luò)設(shè)計(jì)Hadoop的概念和部署云平臺(tái)管理NFVOverlayOpenFlowXENKVMvSphereHyper-V存儲(chǔ)虛擬化ServerSAN硬件基礎(chǔ)架構(gòu)管理層資源虛擬化層基礎(chǔ)設(shè)施層計(jì)算虛擬化網(wǎng)絡(luò)虛擬化存儲(chǔ)虛擬化和云計(jì)算相關(guān)的IT技術(shù)計(jì)算虛擬化--實(shí)現(xiàn)資源彈性擴(kuò)展vSphereHyper-VKVM開源通用平臺(tái)(華為、華三等)全虛擬化技術(shù)永不過時(shí)的虛擬化技術(shù)開源技術(shù)VMware采用全虛擬化技術(shù)獨(dú)立開發(fā)支持設(shè)備驅(qū)動(dòng)私有技術(shù)Citrix\華為采用半虛擬化技術(shù)技術(shù)社區(qū)沒落使用廠商減少開源技術(shù)微軟采用全虛擬化技術(shù)Window2008標(biāo)準(zhǔn)功能私有技術(shù)XENNV網(wǎng)絡(luò)虛擬化Overlay網(wǎng)絡(luò)：對(duì)物理網(wǎng)絡(luò)進(jìn)行隧道疊加，邏輯劃分成虛擬網(wǎng)絡(luò)分片，滿足基于租戶的個(gè)性化需求網(wǎng)絡(luò)功能虛擬化：剝離網(wǎng)絡(luò)功能，虛擬化2-7層網(wǎng)絡(luò)業(yè)務(wù)功能，將硬件和軟件解耦和；由歐洲電信聯(lián)盟提出標(biāo)準(zhǔn)軟件定義網(wǎng)絡(luò)：控制與轉(zhuǎn)發(fā)分離，網(wǎng)絡(luò)控制集中化，實(shí)現(xiàn)4層以下流量調(diào)度Openflow是SDN典型協(xié)議之一SDN軟件定義網(wǎng)絡(luò)NFV網(wǎng)絡(luò)功能虛擬化-廣義的SDN分類網(wǎng)絡(luò)虛擬化——狹義SDN傳統(tǒng)網(wǎng)絡(luò)軟件定義網(wǎng)絡(luò)自己思考自己踢自己思考別人踢SDN就是“中央集權(quán)制”的最佳實(shí)踐網(wǎng)絡(luò)虛擬化--Overlay網(wǎng)絡(luò)VxLAN虛擬化環(huán)境下用于業(yè)務(wù)隔離vlan100vlan200為了業(yè)務(wù)隔離而生局域網(wǎng)環(huán)境下用于業(yè)務(wù)隔離隔離容量：212=4K隔離容量：224=16M網(wǎng)絡(luò)虛擬化--NFV網(wǎng)絡(luò)功能虛擬化把電信級(jí)設(shè)備從專用平臺(tái)遷移到通用X86服務(wù)器上存儲(chǔ)虛擬化—幫助數(shù)據(jù)高效流動(dòng)x86服務(wù)器內(nèi)部資源虛擬共享存儲(chǔ)池網(wǎng)絡(luò)虛擬化計(jì)算虛擬化存儲(chǔ)虛擬化超融合第一階段超融合第二階段軟件定義最佳實(shí)踐超融合超融合基礎(chǔ)架構(gòu)（Hyper-ConvergedInfrastructure，或簡(jiǎn)稱“HCI”）是指在同一套單元設(shè)備中不僅僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)虛擬化等資源和技術(shù)，而多套單元設(shè)備可以通過網(wǎng)絡(luò)聚合起來，實(shí)現(xiàn)模塊化的無縫橫向擴(kuò)展（Scale-Out），形成統(tǒng)一的資源池。---Gartner權(quán)威定義管理服務(wù)操作系統(tǒng)服務(wù)器虛擬化網(wǎng)絡(luò)虛擬化存儲(chǔ)虛擬化超融合IT架構(gòu)（所有硬件資源池化）超融合—引領(lǐng)IT時(shí)代的變革超融合IT架構(gòu)應(yīng)用/業(yè)務(wù)操作系統(tǒng)安全服務(wù)操作系統(tǒng)超融合IT架構(gòu)靈活性強(qiáng)業(yè)務(wù)按需部署業(yè)務(wù)邏輯隔離資源利用率高計(jì)算及存儲(chǔ)效率提升網(wǎng)絡(luò)帶寬利用率提升自動(dòng)化程度高自動(dòng)化配置部署專業(yè)的管理平臺(tái)安全融合網(wǎng)關(guān)DatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseInternet安全融合網(wǎng)關(guān)核心、匯聚交換機(jī)接入交換機(jī)物理服務(wù)器FC交換機(jī)物理存儲(chǔ)超融合—私有云建設(shè)的基礎(chǔ)單元傳統(tǒng)的數(shù)據(jù)中心的架構(gòu)超融合單元超融合單元超融合單元超融合單元……集群1虛擬網(wǎng)絡(luò)虛擬計(jì)算虛擬存儲(chǔ)DatabaseDatabaseDatabase安全融合網(wǎng)關(guān)核心、匯聚交換機(jī)接入交換機(jī)Internet超融合數(shù)據(jù)中心的架構(gòu)超融合—私有云建設(shè)的基礎(chǔ)單元實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心的步驟0110011110001010110001010010011000101010110001010001100111100100101010110001010001100111100100111000101000110001011000101000110000100101100010100011111100110110010001100111100100100101001010003超融合硬件化●設(shè)備獨(dú)立●硬件孤島●管理割裂●廠商異構(gòu)●橫向擴(kuò)展●管理統(tǒng)一●傳統(tǒng)數(shù)據(jù)中心虛擬化數(shù)據(jù)中心0102●資源池化軟件定義數(shù)據(jù)中心虛擬化04混合云云化數(shù)據(jù)中心三方兼容私有云●云交互●云爆發(fā)●云遷移●云備份●網(wǎng)絡(luò)虛化●易于管理●●存儲(chǔ)虛化自動(dòng)部署69私有云平臺(tái)架構(gòu)范例云服務(wù)中心產(chǎn)品管理訂單管理施工管理資源管理資產(chǎn)管理軟件管理業(yè)務(wù)系統(tǒng)管理業(yè)務(wù)域管理計(jì)費(fèi)管理報(bào)表管理視圖管理系統(tǒng)管理我的業(yè)務(wù)系統(tǒng)申請(qǐng)服務(wù)我的訂單我的資源軟件管理操作日志告警通知云監(jiān)控物理機(jī)監(jiān)控虛擬機(jī)監(jiān)控網(wǎng)絡(luò)監(jiān)控存儲(chǔ)監(jiān)控虛擬化監(jiān)控應(yīng)用監(jiān)控?cái)?shù)據(jù)庫(kù)監(jiān)控操作系統(tǒng)監(jiān)控告警管理自動(dòng)化運(yùn)維大屏監(jiān)控綜合視圖硬件設(shè)備服務(wù)器存儲(chǔ)網(wǎng)絡(luò)運(yùn)營(yíng)門戶自助門戶虛擬化層WinServer虛擬化管理中心虛擬化管理層CNware中間件層虛擬化融合引擎資源統(tǒng)一管理平臺(tái)常規(guī)的私有云方案通過虛擬化、資源池化、自動(dòng)化資源調(diào)度、容災(zāi)備份、數(shù)據(jù)中心可視化等關(guān)鍵技術(shù)，構(gòu)建高效、智能的云計(jì)算平臺(tái)；為企業(yè)用戶提供云服務(wù)交付、運(yùn)營(yíng)和運(yùn)維的一體化功能。概述私有云平臺(tái)功能分析70云計(jì)算平臺(tái)統(tǒng)一納管云計(jì)算資源池和服務(wù)，提供對(duì)整體資源的動(dòng)態(tài)調(diào)度能力、運(yùn)維管理以及業(yè)務(wù)支撐功能、實(shí)現(xiàn)對(duì)IaaS、PaaS等資源池的調(diào)度以及云平臺(tái)資源和服務(wù)的綜合監(jiān)管控概述云服務(wù)能力IaaSPaaS云服務(wù)門戶數(shù)據(jù)庫(kù)服務(wù)應(yīng)用自服務(wù)門戶云平臺(tái)管理員門戶桌面云結(jié)構(gòu)化

數(shù)據(jù)庫(kù)服務(wù)非結(jié)構(gòu)化

數(shù)據(jù)庫(kù)服務(wù)中間件服務(wù)應(yīng)用容器業(yè)務(wù)總線消息隊(duì)列云管理平臺(tái)超融合一體機(jī)網(wǎng)絡(luò)資源存儲(chǔ)資源SDC服務(wù)器資源公有云服務(wù)云運(yùn)營(yíng)管理云安全管理云運(yùn)維管理VMwareHyper-VXenKVMSDNNFVOpenflowOverlaySDS虛擬化網(wǎng)關(guān)分布式存儲(chǔ)云資源調(diào)度平臺(tái)商用云調(diào)度平臺(tái)開源云調(diào)度平臺(tái)用戶管理員資源池整體設(shè)計(jì)框架“資源池”的概念經(jīng)過近年的發(fā)展和演進(jìn)，正在企業(yè)私有云環(huán)境中逐步取代“IaaS”的概念，成為云計(jì)算第一個(gè)能夠真正完整落地的基礎(chǔ)架構(gòu)新型應(yīng)用方式。目前“資源池”已經(jīng)成為概念有共識(shí)、涵蓋范圍較為清晰的基礎(chǔ)架構(gòu)方案。池概設(shè)綜述資源池：資源池是整個(gè)基礎(chǔ)架構(gòu)的新型應(yīng)用方式，而不僅僅是現(xiàn)有環(huán)境下的X86虛擬化。通常企業(yè)項(xiàng)目會(huì)考慮講生產(chǎn)環(huán)境中的各個(gè)業(yè)務(wù)部門的物理機(jī)，虛擬機(jī)、存儲(chǔ)設(shè)備、備份設(shè)施、網(wǎng)絡(luò)設(shè)施和云資源管理系統(tǒng)等各類要素整合在一起形成整體資源池。資源區(qū)（子管理區(qū)）：實(shí)現(xiàn)對(duì)于資源池的監(jiān)管控以及所有資源池元素的資源調(diào)度。應(yīng)用網(wǎng)：業(yè)務(wù)應(yīng)用為了避免相互影響而獨(dú)立劃分的網(wǎng)絡(luò)區(qū)域概念定義計(jì)算池：按照技術(shù)類型、應(yīng)用需求原則分成若干個(gè)資源池，分別容納小型機(jī)資源池、X86物理資源池、X86虛擬資源池存儲(chǔ)池：按照應(yīng)用需求、數(shù)據(jù)類型原則分成若干個(gè)資源池，分別為高端SAN存儲(chǔ)資源池、NAS存儲(chǔ)資源池、分布式存儲(chǔ)資源池資源池劃分IaaS的核心是資源的池化基礎(chǔ)設(shè)施基礎(chǔ)設(shè)施即服務(wù)(IaaS)服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)磁盤陣列磁盤陣列磁盤陣列磁帶庫(kù)存儲(chǔ)服務(wù)+服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器虛擬化磁盤陣列磁盤陣列磁盤陣列磁帶庫(kù)存儲(chǔ)虛擬化+虛擬服務(wù)器文件系統(tǒng)邏輯卷應(yīng)用入池分析框架根據(jù)應(yīng)用對(duì)CPU和內(nèi)存的負(fù)載特點(diǎn)，可以將應(yīng)用分成不同的類型。輕量級(jí)、可分布式的應(yīng)用可整體部署在X86虛擬化池中，重量級(jí)、緊耦合的應(yīng)用需考慮整體部署在物理機(jī)池中。對(duì)于大部分應(yīng)用來說，可以將應(yīng)用進(jìn)行層次拆解，從不同層次來分析應(yīng)用的入池需求。應(yīng)用入池需求分類將應(yīng)用拆解為不同部分，分類入池整體進(jìn)X86虛擬池低CPU、低IO的應(yīng)用計(jì)算需求負(fù)載低，CPU占用率低IO需求低，對(duì)IO的占用率低高CPU、低IO的應(yīng)用計(jì)算需求負(fù)載高，CPU占用率高IO需求相對(duì)較低，對(duì)IO的占用率低高CPU，高IO的應(yīng)用計(jì)算需求負(fù)載高，CPU占用率高IO需求高，對(duì)IO的占用率高低CPU、高IO的應(yīng)用計(jì)算需求負(fù)載低，CPU占用率低IO需求高，對(duì)IO的占用率高例：綜合管理類應(yīng)用例：應(yīng)用集成、實(shí)時(shí)訂單系統(tǒng)等例：ERP數(shù)據(jù)庫(kù)、核心應(yīng)用系統(tǒng)例：財(cái)務(wù)管控、安防系統(tǒng)、門戶目錄等應(yīng)用入池分析應(yīng)用云化分析結(jié)論綁定專用設(shè)備的應(yīng)用特征：非標(biāo)準(zhǔn)化硬件類型和系統(tǒng)結(jié)論：保持現(xiàn)狀、不作云化運(yùn)行在物理機(jī)上的應(yīng)用特征：應(yīng)用對(duì)資源性能要求不高,有部分定制化操作系統(tǒng)。結(jié)論：僅OLTP使用，規(guī)模小(<6%)，不做云化；

其它應(yīng)用特征：標(biāo)準(zhǔn)X86架構(gòu)和Linux或Windows系統(tǒng)，性能要求不高結(jié)論：以當(dāng)前X86服務(wù)器性能（主流4路16核），具備云化承載應(yīng)用條件。

業(yè)務(wù)3業(yè)務(wù)2業(yè)務(wù)1CA業(yè)務(wù)系統(tǒng)OLTP基礎(chǔ)服務(wù)專用設(shè)備物理服務(wù)器資源需求：某些應(yīng)用需要綁定硬件服務(wù)器近期對(duì)物理服務(wù)器的需求物理機(jī)企業(yè)私有云待分析應(yīng)用資源類型：專用設(shè)備物理機(jī)虛擬機(jī)私有云平臺(tái)X86虛擬池的設(shè)計(jì)內(nèi)容通常包括：交付單元的硬件、虛擬化軟件平臺(tái)、高可用設(shè)計(jì)，云平臺(tái)調(diào)度功能設(shè)計(jì)等內(nèi)容。設(shè)計(jì)內(nèi)容將虛擬化軟件平臺(tái)的核心功能映射到X86虛擬池硬件交付單元設(shè)計(jì)上，描述在X86虛擬池中虛擬化軟件平臺(tái)如何進(jìn)行有效管理和資源調(diào)度，包括實(shí)現(xiàn)如何實(shí)現(xiàn)虛擬化高可用、如何進(jìn)行虛擬化存儲(chǔ)和網(wǎng)絡(luò)的配置等。虛擬化軟件平臺(tái)設(shè)計(jì)通過設(shè)計(jì)“交付單元”標(biāo)準(zhǔn)化硬件基礎(chǔ)架構(gòu)針對(duì)集中式數(shù)據(jù)中心，設(shè)計(jì)兩種不同規(guī)格的交付單元，高性能交付單元和高密度交付單元，滿足不同應(yīng)用入池需求。硬件設(shè)計(jì)交付單元設(shè)計(jì)高可用設(shè)計(jì)通過硬件冗余和虛擬化軟件平臺(tái)動(dòng)態(tài)遷移技術(shù)實(shí)現(xiàn)交付單元內(nèi)部的高可用。計(jì)算存儲(chǔ)節(jié)點(diǎn)的設(shè)計(jì)規(guī)范交付單元的概念，價(jià)值在于：?交付單元包含了配套的服務(wù)器、存儲(chǔ)、接入交換機(jī)等各種資源，同時(shí)在交付單元內(nèi)實(shí)現(xiàn)了高可用性設(shè)計(jì)；?交付單元用來作為未來資源交付的最小模塊，有利于擴(kuò)容管理和成本管理；?保證同一個(gè)交付單元的服務(wù)器之間數(shù)據(jù)交換主要限制本地接入交換機(jī)內(nèi)，盡量減少對(duì)匯聚層和核心層網(wǎng)絡(luò)帶寬的占用，適應(yīng)大規(guī)模的池化環(huán)境；?最小交付單元的設(shè)計(jì)方案保證機(jī)房在大規(guī)模環(huán)境下標(biāo)準(zhǔn)化、模塊化的交付方式。交付單元服務(wù)器虛擬化設(shè)計(jì)原則高性能交付單元定義高性能交付單元是為了解決X86服務(wù)器虛擬化環(huán)境下，容易滿足處理器和內(nèi)存需求但忽略存儲(chǔ)性能情況下造成的問題，提出的以I/O性能為導(dǎo)向的交付單元。配比原則為了保證性能的要求，虛擬化比設(shè)為1：4，超配比設(shè)為1：1以4路x86服務(wù)器為例：處理器是4*16核，可以虛擬出64顆vCPU，平均每個(gè)vm可以配到16顆vCPU，可以滿足關(guān)鍵應(yīng)用的需求。高密度交付單元定義高密度交付單元是為了向I/O性能要求并不高的應(yīng)用組件提供成本較為低廉的計(jì)算資源的交付單元組合，是資源池解決I/O性能和成本矛盾的重要手段。配比原則虛擬化比可設(shè)為1：6或更高，超配比可設(shè)為1：1.2或更高

以2路x86服務(wù)器為例：處理器是2*10核，可以虛擬出20顆vCPU，平均每個(gè)vm可以配到3.3顆vCPU，為了滿足至少一個(gè)vm4顆vCPU的需求，則需要24顆vCPU，超配比為1：1.2。4臺(tái)：4路x86服務(wù)器

每臺(tái)服務(wù)器配置為4顆16核CPU/256GB內(nèi)存/3×300GB本地磁盤/4個(gè)千兆口（電）/4個(gè)萬兆口（光）/2個(gè)雙口8GbHBA卡4臺(tái)：2路x86服務(wù)器每臺(tái)服務(wù)器配置為2顆10核CPU/256GB內(nèi)存/3×300GB本地磁盤/4個(gè)千兆口（電）/4個(gè)萬兆口（光）網(wǎng)絡(luò)鏈路通過網(wǎng)絡(luò)列頭柜接入計(jì)算節(jié)點(diǎn)交付單元配置樣例交付單元配置機(jī)柜示意圖772路x86服務(wù)器2U機(jī)架式服務(wù)器，處理器：2*10核主頻≥2.3GHz；

包含硬件輔助虛擬化技術(shù)IntelVT（VirtualizationTechnology）技術(shù)內(nèi)存：≥256GDDR4，可擴(kuò)充至1536GB；硬盤：3×300GB支持RAID0\1\5\10；最大支持28塊2.5寸熱插拔硬盤或者14塊3.5寸熱插拔硬盤；網(wǎng)絡(luò)：4個(gè)100/1000M以太網(wǎng)電接口，2個(gè)雙光口萬兆網(wǎng)卡；電源：2個(gè)熱插拔電源

遠(yuǎn)程管理監(jiān)控：包含基礎(chǔ)架構(gòu)監(jiān)控系統(tǒng)，是一套針對(duì)數(shù)據(jù)中心基礎(chǔ)架構(gòu)設(shè)備的遠(yuǎn)程管理監(jiān)控解決方案，它能夠?qū)?shù)據(jù)中心內(nèi)的各類設(shè)備包括服務(wù)器、存儲(chǔ)、光纖交換機(jī)和主流操作系統(tǒng)進(jìn)行監(jiān)控x86服務(wù)器作為虛擬化主機(jī)4路x86服務(wù)器4U機(jī)架式PC服務(wù)器，處理器：4*16核主頻≥2.2GHz，可擴(kuò)充至8路處理器；包含IntelVT技術(shù)內(nèi)存：≥512GDDR3，可擴(kuò)充至6TB；硬盤：3×300GB；支持RAID0、1、5、10；網(wǎng)絡(luò)：4個(gè)100/1000M以太網(wǎng)電接口，2個(gè)雙光口萬兆網(wǎng)卡，2個(gè)雙口8GbHBA卡；電源：4個(gè)熱插拔電源遠(yuǎn)程管理監(jiān)控：包含基礎(chǔ)架構(gòu)監(jiān)控系統(tǒng)LIM計(jì)算入池設(shè)備配置規(guī)范虛擬化池和物理機(jī)池需要根據(jù)應(yīng)用對(duì)其要求及功能定位，選用不同配置的設(shè)備，以達(dá)到合理利用預(yù)算及優(yōu)化資源配比的目標(biāo)，通常的虛擬化主機(jī)配置范例如下：配置規(guī)范私有云存儲(chǔ)入池設(shè)備選型及配置規(guī)范對(duì)于各類數(shù)據(jù)存放的要求，需要使用NAS、SAN和分布式存儲(chǔ)三類設(shè)備，每類設(shè)備的設(shè)計(jì)規(guī)范如下：配置規(guī)范2個(gè)機(jī)房各一臺(tái)，準(zhǔn)生產(chǎn)和開發(fā)測(cè)試環(huán)境1臺(tái)，共3臺(tái)作為集中式存儲(chǔ)，存儲(chǔ)虛擬機(jī)鏡像和應(yīng)用數(shù)據(jù)選型建議：NetApp8000系列的8040FAS8040雙節(jié)點(diǎn)（NAS橫向擴(kuò)展，2個(gè)HA對(duì)）；128GBCACHE；DS4246（4U；24個(gè)驅(qū)動(dòng)器，硬盤7.2KRPM4TB）；DataONTAP8.2.1RC2；NASSAN2個(gè)機(jī)房各一臺(tái)，準(zhǔn)生產(chǎn)和開發(fā)測(cè)試環(huán)境1臺(tái)，共3臺(tái)生產(chǎn)環(huán)境配200TB，開發(fā)測(cè)試環(huán)境配50TB存放關(guān)鍵核心應(yīng)用的數(shù)據(jù)庫(kù)數(shù)據(jù)選型建議：EMCVMAX200K系列512GBCACHE；600G10KSASDriver在生產(chǎn)環(huán)境和開發(fā)測(cè)試環(huán)境各部署一臺(tái)存放視頻等非結(jié)構(gòu)化數(shù)據(jù)選型建議：聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)分布式存儲(chǔ)服務(wù)器虛擬化平臺(tái)設(shè)計(jì)Zone1主數(shù)據(jù)中心2#數(shù)據(jù)中心生產(chǎn)環(huán)境DataCenter開發(fā)測(cè)試環(huán)境Zone3虛擬化軟件主機(jī)集群（cluster）即一組互相兼容的服務(wù)器的高可用性邊界，即在單個(gè)集群內(nèi)部可以實(shí)現(xiàn)自動(dòng)的高可用性切換，當(dāng)單臺(tái)服務(wù)器發(fā)生故障，可以由冗余節(jié)點(diǎn)接管故障節(jié)點(diǎn)。管理組件數(shù)量manager3套clustern個(gè)Zone2生產(chǎn)區(qū)cluster1準(zhǔn)生產(chǎn)區(qū)cluster1開發(fā)測(cè)試區(qū)cluster2配置數(shù)量集群說明接入?yún)^(qū)cluster2基礎(chǔ)服務(wù)區(qū)cluster3運(yùn)維管理區(qū)cluster4生產(chǎn)區(qū)cluster5接入?yún)^(qū)cluster6基礎(chǔ)服務(wù)區(qū)cluster7運(yùn)維管理區(qū)cluster8私有云網(wǎng)絡(luò)設(shè)計(jì)原則系統(tǒng)設(shè)計(jì)應(yīng)采用開放技術(shù)、開放結(jié)構(gòu)、開放系統(tǒng)組件和開放用戶接口，以利于網(wǎng)絡(luò)的維護(hù)、擴(kuò)展升級(jí)及與外界信息的溝通。開放性能夠采用的安全措施有效、可信，能夠在多層次上、以多種方式實(shí)現(xiàn)安全的控制。安全性具有很高的MTBF(平均無故障工作時(shí)間)和極低的MTBR(平均無故障率)，提高容錯(cuò)設(shè)計(jì)，支持故障檢測(cè)和恢復(fù)，可管理性強(qiáng)；可靠性在系統(tǒng)的選擇與開發(fā)過程中，既能滿足當(dāng)前網(wǎng)絡(luò)的應(yīng)用需求，又可以在將來需要擴(kuò)展的時(shí)候，能方便地?cái)U(kuò)展；先進(jìn)性實(shí)用性設(shè)計(jì)應(yīng)能滿足目前對(duì)網(wǎng)絡(luò)應(yīng)用的要求，充分實(shí)現(xiàn)內(nèi)部管理、信息化等要求，使網(wǎng)絡(luò)的整體性能盡快得到充分的發(fā)揮，并且便于掌握。實(shí)用性在系統(tǒng)的設(shè)計(jì)過程中，堅(jiān)持“三統(tǒng)一”，即統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一出口。統(tǒng)一性用戶有兩個(gè)或以上的數(shù)據(jù)中心L2互聯(lián)需求；或者用戶在數(shù)據(jù)中心內(nèi)有跨L3的L2連接需求；適用于：主機(jī)集群、虛機(jī)高可用、主機(jī)遷移；2015LenovoInternal.Allrightsreserved.私有云平臺(tái)整體網(wǎng)絡(luò)架構(gòu)實(shí)例APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虛擬化服務(wù)器SAN主數(shù)據(jù)中心APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虛擬化服務(wù)器APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虛擬化服務(wù)器虛擬化服務(wù)器集群APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虛擬化服務(wù)器SAN2#數(shù)據(jù)中心APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虛擬化服務(wù)器APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虛擬化服務(wù)器虛擬化服務(wù)器集群DWDMGE/10GGE/10GEVI應(yīng)用場(chǎng)景基于IP層面實(shí)現(xiàn)跨數(shù)據(jù)中心的L2互聯(lián)不依賴MPLS&STP、對(duì)廣播流量有優(yōu)化措施、對(duì)多地點(diǎn)的網(wǎng)關(guān)一致性有配套的解決方案。對(duì)虛擬高可用有優(yōu)化支持。技術(shù)優(yōu)勢(shì)2#數(shù)據(jù)中心，與主數(shù)據(jù)中心間采用密集波分系統(tǒng)DWDM鏈路高速連接DWDM通過OADM基于10G/GE連接到互聯(lián)交換設(shè)備大二層網(wǎng)絡(luò)二層多路徑二層的擴(kuò)展多中心選路LSIP多中心互聯(lián)DWDMEVIVM流量感知VMotionHADRS服務(wù)可用DNSLB私有云網(wǎng)絡(luò)安全設(shè)計(jì)原則防火墻作為邊界防御設(shè)備，決定了哪些內(nèi)部服務(wù)可以被外界訪問；外界的哪些人可以訪問內(nèi)部的哪些服務(wù)，以及哪些外部服務(wù)可以被內(nèi)部人員訪問。防火墻（FireWall）全自動(dòng)的精確檢測(cè)、實(shí)時(shí)阻斷惡意連接；在線部署，也可旁路部署入侵防御系統(tǒng)（IPS）DDoS防御設(shè)備通過靜態(tài)漏洞攻擊特征檢查、動(dòng)態(tài)規(guī)則過濾、異常流量限速和

“基于用戶行為的單向防御”技術(shù)流量清洗（Guard）NAT不僅能解決了lP地址不足的問題，而且還能夠有效地避免來自網(wǎng)絡(luò)外部的攻擊，隱藏并保護(hù)網(wǎng)絡(luò)內(nèi)部的計(jì)算機(jī)。網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）支持SSL/IPsecVPN，通過加密技術(shù)、完整性校驗(yàn)技術(shù)保障。完整性和保密性保護(hù)虛擬私有網(wǎng)絡(luò)（VPN）部署堡壘機(jī)設(shè)備，是為了加固數(shù)據(jù)中心運(yùn)維環(huán)境的安全系數(shù)，最小化的規(guī)避運(yùn)維過程中面臨的風(fēng)險(xiǎn)問題，保障良好的交付水平，同時(shí)也能有效的提高數(shù)據(jù)中心運(yùn)維工作的安全管理能力及時(shí)間成本。堡壘機(jī)網(wǎng)絡(luò)安全是指網(wǎng)絡(luò)系統(tǒng)的硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到保護(hù)，不因偶然的或者惡意的原因而遭受到破壞、更改、泄露，系統(tǒng)連續(xù)可靠正常地運(yùn)行，網(wǎng)絡(luò)服務(wù)不中斷。網(wǎng)絡(luò)安全概念私有云網(wǎng)絡(luò)高可用&高擴(kuò)展技術(shù)特性建議設(shè)備、線路冗余備份；主要板卡、電源、風(fēng)扇冗余備份，避免單點(diǎn)故障；高可用冗余設(shè)計(jì)背板無源設(shè)計(jì)，避免單點(diǎn)故障；各組件均支持熱插拔功能；支持端口聚合，支持鏈路跨板聚合；控制引擎和交換網(wǎng)板相互獨(dú)立；高可用硬件設(shè)計(jì)插槽式，支持多個(gè)業(yè)務(wù)板卡；支持高密度的萬兆和千兆接入能力；接口豐富；高擴(kuò)展核心設(shè)計(jì)支持端口的線速轉(zhuǎn)發(fā)；支持POE;支持萬兆上鏈；支持堆疊；高擴(kuò)展接入設(shè)計(jì)12008年9月，美國(guó)《自然》（Nature）雜志專刊——Thenextgoogle,第一次正式提出“大數(shù)據(jù)”概念。22011年2月1日，《科學(xué)》（Science）雜志專刊——Dealingwithdata，通過社會(huì)調(diào)查的方式，第一次綜合分析了大數(shù)據(jù)對(duì)人們生活造成的影響，詳細(xì)描述了人類面臨的“數(shù)據(jù)困境”。32011年5月，麥肯錫研究院發(fā)布報(bào)告——Bigdata:Thenextfrontierforinnovation,competition,andproductivity,第一次給大數(shù)據(jù)做出相對(duì)清晰的定義：“大數(shù)據(jù)是指其大小超出了常規(guī)數(shù)據(jù)庫(kù)工具獲取、儲(chǔ)存、管理和分析能力的數(shù)據(jù)集。”時(shí)至今日，“數(shù)據(jù)”變身“大數(shù)據(jù)”，“開啟了一次重大的時(shí)代轉(zhuǎn)型”。

“大數(shù)據(jù)”這一概念的形成，有三個(gè)標(biāo)志性事件：大數(shù)據(jù)的由來4V特征種類多（Variety）速度快（Velocity）價(jià)值高（Value）體量大（Volume）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比，數(shù)據(jù)來源廣、維度多、類型雜，各種機(jī)器儀表在自動(dòng)產(chǎn)生數(shù)據(jù)的同時(shí)，人自身的生活行為也在不斷創(chuàng)造數(shù)據(jù)；不僅有企業(yè)組織內(nèi)部的業(yè)務(wù)數(shù)據(jù)，還有海量相關(guān)的外部數(shù)據(jù)。隨著現(xiàn)代感測(cè)、互聯(lián)網(wǎng)、計(jì)算機(jī)技術(shù)的發(fā)展，數(shù)據(jù)生成、儲(chǔ)存、分析、處理的速度遠(yuǎn)遠(yuǎn)超出人們的想象力，這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)或小數(shù)據(jù)的顯著特征。大數(shù)據(jù)有巨大的潛在價(jià)值，但同其呈幾何指數(shù)爆發(fā)式增長(zhǎng)相比，某一對(duì)象或模塊數(shù)據(jù)的價(jià)值密度較低，這無疑給我們開發(fā)海量數(shù)據(jù)增加了難度和成本。從2013年至2020年，人類的數(shù)據(jù)規(guī)模將擴(kuò)大50倍，每年產(chǎn)生的數(shù)據(jù)量將增長(zhǎng)到44萬億GB，相當(dāng)于美國(guó)國(guó)家圖書館數(shù)據(jù)量的數(shù)百萬倍，且每18個(gè)月翻一番。大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)數(shù)據(jù)源整合進(jìn)行存儲(chǔ)、清洗、挖掘、分析后得出結(jié)果直到優(yōu)化企業(yè)管理提高效率云計(jì)算、硬件性價(jià)比的提高以及軟件技術(shù)的進(jìn)步智能設(shè)備、傳感器的普及，推動(dòng)物聯(lián)網(wǎng)、人工智能的發(fā)展計(jì)算運(yùn)行、計(jì)算速度越來越快存儲(chǔ)存儲(chǔ)成本下降

智能實(shí)現(xiàn)信息對(duì)等解放腦力，機(jī)器擁有人的智慧大數(shù)據(jù)的技術(shù)支撐美國(guó)著名管理學(xué)家愛德華·戴明所言：“我們信靠上帝。除了上帝，任何人都必須用數(shù)據(jù)來說話?！保?）有數(shù)據(jù)可說

在大數(shù)據(jù)時(shí)代，“萬物皆數(shù)”，“量化一切”，“一切都將被數(shù)據(jù)化”。人類生活在一個(gè)海量、動(dòng)態(tài)、多樣的數(shù)據(jù)世界中，數(shù)據(jù)無處不在、無時(shí)不有、無人不用，數(shù)據(jù)就像陽(yáng)光、空氣、水分一樣常見，好比放大鏡、望遠(yuǎn)鏡、顯微鏡那般重要。

（2）數(shù)據(jù)更可靠

大數(shù)據(jù)中的“數(shù)據(jù)”真實(shí)可靠，它實(shí)質(zhì)上是表征事物現(xiàn)象的一種符號(hào)語言和邏輯關(guān)系，其可靠性的數(shù)理哲學(xué)基礎(chǔ)是世界同構(gòu)原理。世界具有物質(zhì)統(tǒng)一性，統(tǒng)一的世界中的一切事物都存在著時(shí)空一致性的同構(gòu)關(guān)系。這意味著任何事物的屬性和規(guī)律，只要通過適當(dāng)編碼，均可以通過統(tǒng)一的數(shù)字信號(hào)表達(dá)出來。

因此，“用數(shù)據(jù)說話”、“讓數(shù)據(jù)發(fā)聲”，已成為人類認(rèn)知世界的一種全新方法。大數(shù)據(jù)意義風(fēng)馬牛可相及

在大數(shù)據(jù)背景下，因海量無限、包羅萬象的數(shù)據(jù)存在，讓許多看似毫不相干的現(xiàn)象之間發(fā)生一定的關(guān)聯(lián)，使人們能夠更簡(jiǎn)捷、更清晰地認(rèn)知事物和把握局勢(shì)。大數(shù)據(jù)的巨大潛能與作用現(xiàn)在難以進(jìn)行估量，但揭示事物的相關(guān)關(guān)系無疑是其真正的價(jià)值所在。經(jīng)典案例：（1）啤酒與尿布（2）谷歌與流感大數(shù)據(jù)的意義來自大量傳感器的機(jī)器數(shù)據(jù)科學(xué)研究及行業(yè)多結(jié)構(gòu)專業(yè)數(shù)據(jù)來自“大人群”泛互聯(lián)網(wǎng)數(shù)據(jù)智能終端拍照、拍視頻發(fā)微博、發(fā)微信其他互聯(lián)網(wǎng)數(shù)據(jù)海量的數(shù)據(jù)的產(chǎn)生隨著人類活動(dòng)的進(jìn)一步擴(kuò)展，數(shù)據(jù)規(guī)模會(huì)急劇膨脹，包括金融、汽車、零售、餐飲、電信、能源、政務(wù)、醫(yī)療、體育、娛樂等在內(nèi)的各行業(yè)累積的數(shù)據(jù)量越來越大，數(shù)據(jù)類型也越來越多、越來越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式的能力范圍，于是“大數(shù)據(jù)”這樣一個(gè)概念才會(huì)應(yīng)運(yùn)而生。大數(shù)據(jù)的來源大數(shù)據(jù)的采集1大數(shù)據(jù)的采集通常采用多個(gè)數(shù)據(jù)庫(kù)來接收終端數(shù)據(jù)，包括智能硬件端、多種傳感器端、網(wǎng)頁(yè)端、移動(dòng)APP應(yīng)用端等，并且可以使用數(shù)據(jù)庫(kù)進(jìn)行簡(jiǎn)單的處理工作。常用的數(shù)據(jù)采集的方式主要包括以下幾種：數(shù)據(jù)抓取01數(shù)據(jù)導(dǎo)入02物聯(lián)網(wǎng)傳感設(shè)備自動(dòng)信息采集03大數(shù)據(jù)處理方法導(dǎo)入/預(yù)處理2雖然采集端本身有很多數(shù)據(jù)庫(kù)，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)或者分布式存儲(chǔ)集群當(dāng)中，同時(shí)，在導(dǎo)入的基礎(chǔ)上完成數(shù)據(jù)清洗和預(yù)處理工作。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來自Twitter的Storm來對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，來滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求?，F(xiàn)實(shí)世界中數(shù)據(jù)大體上都是不完整、不一致的“臟”數(shù)據(jù)，無法直接進(jìn)行數(shù)據(jù)挖掘，或挖掘結(jié)果差強(qiáng)人意，為了提高數(shù)據(jù)挖掘的質(zhì)量，產(chǎn)生了數(shù)據(jù)預(yù)處理技術(shù)。數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)變換數(shù)據(jù)歸約主要是達(dá)到數(shù)據(jù)格式標(biāo)準(zhǔn)化、異常數(shù)據(jù)清除、數(shù)據(jù)錯(cuò)誤糾正、重復(fù)數(shù)據(jù)的清除等目標(biāo)。是將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來并統(tǒng)一存儲(chǔ)，建立數(shù)據(jù)倉(cāng)庫(kù)。過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。尋找依賴于發(fā)現(xiàn)目標(biāo)的數(shù)據(jù)的有用特征，縮減數(shù)據(jù)規(guī)模，最大限度地精簡(jiǎn)數(shù)據(jù)量。大數(shù)據(jù)處理方法

統(tǒng)計(jì)與分析3統(tǒng)計(jì)與分析主要是利用分布式數(shù)據(jù)庫(kù)，或分布式計(jì)算集群來對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總，以滿足大多數(shù)常見的分析需求，在這些方面可以使用R語言。R語言是用于統(tǒng)計(jì)分析、繪圖的語言和操作環(huán)境，屬于GNU系統(tǒng)的一個(gè)自由、免費(fèi)、源代碼開放的軟件，它是一個(gè)用于統(tǒng)計(jì)計(jì)算和統(tǒng)計(jì)制圖的優(yōu)秀工具。R語言在國(guó)際和國(guó)內(nèi)的發(fā)展差異非常大，國(guó)際上R語言已然是專業(yè)數(shù)據(jù)分析領(lǐng)域的標(biāo)準(zhǔn)，但在國(guó)內(nèi)依舊任重而道遠(yuǎn)，這固然有數(shù)據(jù)學(xué)科地位的原因，國(guó)內(nèi)很多人版權(quán)概念薄弱，以及學(xué)術(shù)領(lǐng)域相對(duì)閉塞也是原因。R語言是一套完整的數(shù)據(jù)處理、計(jì)算和制圖軟件系統(tǒng)。R語言的思想是：它可以提供一些集成的統(tǒng)計(jì)工具，但更大量的是它提供各種數(shù)學(xué)計(jì)算、統(tǒng)計(jì)計(jì)算的函數(shù)，從而使使用者能靈活機(jī)動(dòng)地進(jìn)行數(shù)據(jù)分析，甚至創(chuàng)造出符合需要的新的統(tǒng)計(jì)計(jì)算方法。在大數(shù)據(jù)的統(tǒng)計(jì)與分析過程中，主要面對(duì)的挑戰(zhàn)是分析涉及的數(shù)據(jù)量太大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。大數(shù)據(jù)處理方法大數(shù)據(jù)挖掘4數(shù)據(jù)挖掘是創(chuàng)建數(shù)據(jù)挖掘模型的一組試探法和計(jì)算方法，通過對(duì)提供的數(shù)據(jù)進(jìn)行分析，查找特定類型的模式和趨勢(shì)，最終形成創(chuàng)建模型。分類樸素貝葉斯算法一種重要的數(shù)據(jù)分析形式，根據(jù)重要數(shù)據(jù)類的特征向量值及其他約束條件，構(gòu)造分類函數(shù)或分類模型，目的是根據(jù)數(shù)據(jù)集的特點(diǎn)把未知類別的樣本映射到給定類別中。支持向量機(jī)SVM算法AdaBoost算法C4.5算法CART算法聚類BIRCH算法目的在于將數(shù)據(jù)集內(nèi)具有相似特征屬性的數(shù)據(jù)聚集在一起，同一個(gè)數(shù)據(jù)群中的數(shù)據(jù)特征要盡可能相似，不同的數(shù)據(jù)群中的數(shù)據(jù)特征要有明顯的區(qū)別。K-Means算法期望最大化算法（EM算法）K近鄰算法關(guān)聯(lián)規(guī)則Apriori算法索系統(tǒng)中的所有數(shù)據(jù)，找出所有能把一組事件或數(shù)據(jù)項(xiàng)與另一組事件或數(shù)據(jù)項(xiàng)聯(lián)系起來的規(guī)則，以獲得預(yù)先未知的和被隱藏的，不能通過數(shù)據(jù)庫(kù)的邏輯操作或統(tǒng)計(jì)的方法得出的信息。FP-Growth算法預(yù)測(cè)模型序貫?zāi)Ｊ酵诰騍PMGC算法一種統(tǒng)計(jì)或數(shù)據(jù)挖掘的方法，包括可以在結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)中使用以確定未來結(jié)果的算法和技術(shù)，可為預(yù)測(cè)、優(yōu)化、預(yù)報(bào)和模擬等許多業(yè)務(wù)系統(tǒng)所使用。大數(shù)據(jù)處理方法大數(shù)據(jù)7個(gè)應(yīng)用場(chǎng)景環(huán)境教育行業(yè)醫(yī)療行業(yè)農(nóng)業(yè)智慧城市零售行業(yè)金融行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景Google老三篇：搜索引擎需要對(duì)抓取到的結(jié)果進(jìn)行管理。當(dāng)索引結(jié)果越來越多時(shí)，保證存儲(chǔ)和查詢速度，保證數(shù)萬臺(tái)服務(wù)器內(nèi)容一致的難度越來越高。Google于03至06年左右公布了三篇論文，描述了GFS、BigTable、MapReduce三種技術(shù)以解決這些問題GFS->HDFSMapReduce->MapReduceBigtable->Hbase確定了大數(shù)據(jù)處理的基本思想：使用廉價(jià)的服務(wù)器組成服務(wù)器群集，容錯(cuò)設(shè)計(jì)保證了高可靠性，提供高吞吐的海量的存儲(chǔ)能力，提供并行計(jì)算能力Hadoop的由來面臨的問題思考：如何存儲(chǔ)一個(gè)文件文件只有1M，存儲(chǔ)在本地磁盤文件500G，存放在本機(jī)，分區(qū)不夠大，擴(kuò)大分區(qū)文件1T呢？有些文件系統(tǒng)不能支持這么大的文件有50個(gè)1T的文件，怎么存？怎么讀？怎么并發(fā)讀？RAID5+熱備一個(gè)機(jī)器都?jí)牡簦咳哂鄦栴}Hadoop設(shè)計(jì)思想硬件容錯(cuò)沒有不會(huì)出錯(cuò)的硬件，提升硬件穩(wěn)定性成本過高提供健康監(jiān)控，快速檢測(cè)，自動(dòng)恢復(fù)的HDFS流式數(shù)據(jù)訪問適應(yīng)批處理處理的要求交互式處理、隨機(jī)訪問支持差簡(jiǎn)單的一致模型一次寫入，多次讀取的訪問模型一個(gè)文件已經(jīng)創(chuàng)建、寫入、關(guān)閉后，就不需要改變簡(jiǎn)化了數(shù)據(jù)一致性的實(shí)現(xiàn)，實(shí)現(xiàn)了高吞吐的數(shù)據(jù)訪問大規(guī)模數(shù)據(jù)集適合存儲(chǔ)GB、TB的大文件移動(dòng)的計(jì)算計(jì)算移向數(shù)據(jù)，計(jì)算本地化Hadoop的構(gòu)成Hadoop是最經(jīng)典的大數(shù)據(jù)處理模型，包含三個(gè)組件：Hadoop分布式文件系統(tǒng)(HDFS)用于并行處理的MapReduce用于作業(yè)計(jì)劃和資源管理的YARNHadoop最常用于已存儲(chǔ)數(shù)據(jù)的批處理Hadoop分布式文件系統(tǒng)(HDFS)Hadoop的存儲(chǔ)系統(tǒng)以塊（block）為存儲(chǔ)單位文件被分成多個(gè)塊，并存儲(chǔ)在整個(gè)集群的工作節(jié)點(diǎn)上HDFS向用戶隱藏了這些數(shù)據(jù)分塊切片及分布的復(fù)雜性MapReduceHadoopMapReduce是一個(gè)軟件框架，用于編寫處理海量數(shù)據(jù)的作業(yè)。輸入數(shù)據(jù)已拆分成獨(dú)立的區(qū)塊，這些區(qū)塊將在群集中的節(jié)點(diǎn)之間并行處理。MapReduce作業(yè)包括兩個(gè)函數(shù)：映射器Mapper：使用輸入數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行分析（通常使用篩選器和排序操作），然后發(fā)出元組（鍵/值對(duì)）化簡(jiǎn)器Reducer：使用映射器發(fā)出的元組并執(zhí)行匯總運(yùn)算，以基于映射器數(shù)據(jù)創(chuàng)建更小的合并結(jié)果范例1：計(jì)算達(dá)芬奇筆記中所有單詞的數(shù)目位置：示例位于/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar處的HDInsight群集上。計(jì)算語句：yarnjar/usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jarwordcount/example/data/gutenberg/davinci.txt/example/data/davinciwordcount范例2：數(shù)獨(dú)位置：/usr/hdp/*/hadoop/src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/dancing/puzzle1.dta85?39??????2????????6?1???2??4??3?59??89?14??32?4??8??9???8?5????????2??????45?78Hadoop群集部署模式手動(dòng)安裝隨同云平臺(tái)進(jìn)行部署以PaaS的方式進(jìn)行安裝以容器的方式進(jìn)行安裝使用Openstack構(gòu)建私有云內(nèi)容一覽OpenStack簡(jiǎn)介OpenStack架構(gòu)及運(yùn)行機(jī)制OpenStack核心組件OpenStack解決方案部署OpenStack商用版本增強(qiáng)功能企業(yè)云平臺(tái)發(fā)展方向企業(yè)IT云之路物理設(shè)備虛擬化資源整合資源按需使用自動(dòng)化管理資源彈性調(diào)度基于大集群的HA，DRS多數(shù)據(jù)中心整合統(tǒng)一管理和運(yùn)維多級(jí)備份容災(zāi)SDN網(wǎng)絡(luò)虛擬化統(tǒng)一管理資源最優(yōu)配置業(yè)務(wù)靈活遷移PrivatePublicHybridCloud私有云虛擬化分布式云數(shù)據(jù)中心混合云關(guān)注資源逐漸關(guān)注業(yè)務(wù)關(guān)注全局業(yè)務(wù)靈活的業(yè)務(wù)驅(qū)動(dòng)OpenStack概述OpenStack是一個(gè)云操作系統(tǒng)，可控制整個(gè)數(shù)據(jù)中心的大型計(jì)算，存儲(chǔ)和網(wǎng)絡(luò)資源池，所有這些都通過儀表板進(jìn)行管理，該控制臺(tái)可讓管理員控制，同時(shí)使用戶能夠通過Web界面配置資源。OpenStack概述OpenStack項(xiàng)目由NASA（美國(guó)國(guó)家航空航天局）和Rackspace合作研發(fā)并發(fā)起的，以Apache許可證授權(quán)的自由軟件和開放源代碼項(xiàng)目。2012年OpenStack基金會(huì)成立，成為第2大開源基金會(huì)至今（僅次于Linux基金會(huì)）版本周期：每年發(fā)布2個(gè)主版本（4月和10月各發(fā)布一個(gè)），主版本發(fā)布后會(huì)進(jìn)行多次小版本更新，小版本更新以修正BUG為主。版本命名規(guī)則：每個(gè)主版本系列以字母表順序（A~Z）命名，以年份及當(dāng)年內(nèi)的排序做版本號(hào)，如Queens2018.4.0OpenStack的優(yōu)勢(shì)架構(gòu)開放北向標(biāo)準(zhǔn)OpenStackAPI，生態(tài)系統(tǒng)豐富不會(huì)綁定到一個(gè)廠家ApacheLicense，允許隨意商業(yè)集成異構(gòu)接入能力強(qiáng)南向異構(gòu)接入強(qiáng)。異構(gòu)hypervisor(KVM/XEN/Vmware/LXC),異構(gòu)存儲(chǔ),異構(gòu)網(wǎng)絡(luò)，異構(gòu)物理設(shè)備可擴(kuò)展性好較容易定制化增加新模塊和服務(wù)（如新的虛擬化引擎）級(jí)聯(lián)后可構(gòu)建大規(guī)模的云參與者眾多，發(fā)展迅猛，行業(yè)默認(rèn)云平臺(tái)Bug響應(yīng)快，每六個(gè)月發(fā)布一個(gè)版本參與社區(qū)的企業(yè)300+，開發(fā)人員20000+3rdNetwork3rdHypervisor3rdStorage3rdDCManagementMANO/BOSS3rdGuestOS&ApplicationsNovaCinderNeutronHeatOpenStack+OpenStack：架構(gòu)開放、擴(kuò)展性良好、支持多廠商基礎(chǔ)設(shè)施的統(tǒng)一平臺(tái)OpenStack概念架構(gòu)圖OpenStack核心組件服務(wù)功能HorizonPortalNova計(jì)算服務(wù)Neutron網(wǎng)絡(luò)服務(wù)Swift對(duì)象存儲(chǔ)Cinder塊存儲(chǔ)Keystone認(rèn)證服務(wù)Glance鏡像服務(wù)Ceilometer計(jì)量監(jiān)控

Heat業(yè)務(wù)編排OpenStack認(rèn)證服務(wù)——KeystoneKeystone為所有的OpenStack組件提供認(rèn)證和訪問策略服務(wù)，它依賴自身REST（基于IdentityAPI）系統(tǒng)進(jìn)行工作，主要對(duì)（但不限于）Swift、Glance、Nova等進(jìn)行認(rèn)證與授權(quán)。事實(shí)上，授權(quán)通過對(duì)動(dòng)作消息來源者請(qǐng)求的合法性進(jìn)行鑒定。Keystone采用兩種授權(quán)方式，一種基于用戶名/密碼，另一種基于令牌（Token）。除此之外，Keystone提供以下三種服務(wù)：令牌服務(wù)：含有授權(quán)用戶的授權(quán)信息目錄服務(wù)：含有用戶合法操作的可用服務(wù)列表策略服務(wù)：利用Keystone具體指定用戶或群組某些訪問權(quán)限OpenStack計(jì)算服務(wù)——NovaNova是OpenStack計(jì)算的彈性控制器。OpenStack云實(shí)例生命期所需的各種動(dòng)作都將由Nova進(jìn)行處理和支撐，這就意味著Nova以管理平臺(tái)的身份登場(chǎng)，負(fù)責(zé)管理整個(gè)云的計(jì)算資源、網(wǎng)絡(luò)、授權(quán)及測(cè)度。雖然Nova本身并不提供任何虛擬能力，但是它將使用libvirtAPI與虛擬機(jī)的宿主機(jī)進(jìn)行交互。支持各種宿主：Xen、XenServer/XCP、KVM、UML、VMwarevSphere及Hyper-VNova通過Web服務(wù)API來對(duì)外提供處理接口，而且這些接口與Amazon的Web服務(wù)接口是兼容的。OpenStack鏡像服務(wù)——GlanceOpenStack鏡像服務(wù)器是一套虛擬機(jī)鏡像發(fā)現(xiàn)、注冊(cè)、檢索系統(tǒng)，我們可以將鏡像存儲(chǔ)到以下任意一種存儲(chǔ)中：本地文件系統(tǒng)（默認(rèn)）S3直接存儲(chǔ)S3對(duì)象存儲(chǔ)（作為S3訪問的中間渠道）OpenStack對(duì)象存儲(chǔ)等等OpenStack對(duì)象存儲(chǔ)服務(wù)——SwiftSwift為OpenStack提供一種分布式、持續(xù)虛擬對(duì)象存儲(chǔ)，它類似于AmazonWebService的S3簡(jiǎn)單存儲(chǔ)服務(wù)。Swift具有跨節(jié)點(diǎn)百級(jí)對(duì)象的存儲(chǔ)能力。Swift內(nèi)建冗余和失效備援管理，也能夠處理歸檔和媒體流，特別是對(duì)大數(shù)據(jù)（千兆字節(jié)）和大容量（多對(duì)象數(shù)量）的測(cè)度非常高效OpenStack塊存儲(chǔ)服務(wù)——Cinder塊存儲(chǔ)適合性能敏感性業(yè)務(wù)場(chǎng)景,例如數(shù)據(jù)庫(kù)存儲(chǔ)大規(guī)?？蓴U(kuò)展的文件系統(tǒng)或服務(wù)器需要訪問到塊級(jí)裸設(shè)備存儲(chǔ).Cinder提供到虛擬機(jī)的永久性塊存儲(chǔ)卷.類似AWS的EBS塊存儲(chǔ)服務(wù)塊存儲(chǔ)系統(tǒng)管理塊設(shè)備到虛擬機(jī)的創(chuàng)建，掛載以及卸載.塊設(shè)備卷完全與OpenStackCompute集成,并支持云用戶在Dashboard中管理數(shù)據(jù)自己的存儲(chǔ).除了支持簡(jiǎn)單的Linux服務(wù)器本地存儲(chǔ)之外，還支持眾多的存儲(chǔ)平臺(tái),包括Ceph,NetApp,Nexenta,SolidFire,Zadara.快照管理提供了強(qiáng)大的在塊存儲(chǔ)上實(shí)現(xiàn)數(shù)據(jù)備份的功能可以用來作為引導(dǎo)卷OpenStack網(wǎng)絡(luò)服務(wù)——NeutronNeutron為整個(gè)OpenStack環(huán)境提供網(wǎng)絡(luò)支持，包括二層交換，三層路由，負(fù)載均衡，防火墻和VPN等Neutron的設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)“網(wǎng)絡(luò)即服務(wù)（NetworkingasaService）”。為了達(dá)到這一目標(biāo)，在設(shè)計(jì)上遵循了基于SDN實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化的原則，在實(shí)現(xiàn)上充分利用了Linux系統(tǒng)上的各種網(wǎng)絡(luò)相關(guān)的技術(shù)Neutron提供了一個(gè)靈活的框架，通過配置，無論是開源還是商業(yè)軟件都可以被用來實(shí)現(xiàn)這些功能。OpenStack管理Portal——HorizonHorizon是一個(gè)用以管理、控制OpenStack服務(wù)的Web控制面板，它可以管理實(shí)例、鏡像、創(chuàng)建密匙對(duì)，對(duì)實(shí)例添加卷、操作Swift容器等。Horizon為以下兩種角色的用戶提供了不同的功能及使用界面：云管理員：提供一個(gè)整體視圖，可以總覽整個(gè)云的資源規(guī)模及運(yùn)行狀況.可以創(chuàng)建終端用戶和項(xiàng)目，想終端用戶分配項(xiàng)目并進(jìn)行項(xiàng)目可使用的資源配額管理。終端用戶(云用戶)：提供了一個(gè)自助