智云大數(shù)據(jù)云計算信息化實驗室解決方案

智云大數(shù)據(jù)云計算信息化實驗室解決方案第1頁/共63頁移動互聯(lián)/物聯(lián)網(wǎng)時代的云浪潮移動互聯(lián)/物聯(lián)網(wǎng)時代的云浪潮目錄20:122虛擬化技術(shù)及平臺管理大數(shù)據(jù)倉庫、分析和挖掘物聯(lián)網(wǎng)海量信息分析處理智云大數(shù)據(jù)云信息化教學(xué)平臺第2頁/共63頁云計算啥是云計算？據(jù)說是IT的一種高大上的東西。云計算遙不可及？No，它已經(jīng)悄然進(jìn)入到我們生活中的方方面面。20:123第3頁/共63頁身邊的云計算20:124云盤云輸入法云購物云搜索云服務(wù)器云辦公第4頁/共63頁2014：移動互聯(lián)網(wǎng)/物聯(lián)網(wǎng)云2014物聯(lián)網(wǎng)大會：大數(shù)據(jù)物聯(lián)網(wǎng)時代，大數(shù)據(jù)時代是物聯(lián)網(wǎng)的延伸;云計算被稱為是繼大型計算機(jī)、個人計算機(jī)、互聯(lián)網(wǎng)之后的第四次IT產(chǎn)業(yè)革命,是新一代互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的引擎和神經(jīng)中樞；2014年，物聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)的研究已經(jīng)從應(yīng)用層轉(zhuǎn)移到了中間件云計算大數(shù)據(jù)層面。20:125第5頁/共63頁云計算運(yùn)維模型20:126基礎(chǔ)架構(gòu)，服務(wù)器康度和開銷使用率和應(yīng)用可視化應(yīng)用管理應(yīng)用發(fā)布、性能管理、可用性、使用率、開銷云基礎(chǔ)架構(gòu)管理基礎(chǔ)架構(gòu)性能，容量，配置，安全第6頁/共63頁關(guān)鍵技術(shù)虛擬化技術(shù)云平臺管理分布式大數(shù)據(jù)編程模式分布式架構(gòu)服務(wù)器集群云計算核心技術(shù)20:127服務(wù)器集群：管理/存儲/計算/網(wǎng)絡(luò)…虛擬化技術(shù)：KVM/Xen/VMware…云平臺管理：OpenStack/CloudStack分布式架構(gòu)：Hadoop/HDFS編程模式：MapReduce/NoSQL分布式大數(shù)據(jù)：HBase/HIVE/Mahout…虛擬化技術(shù)云平臺管理服務(wù)器集群分布式架構(gòu)分布式大數(shù)據(jù)編程模式服務(wù)集群/虛擬化/平臺部署管理分布式大數(shù)據(jù)/數(shù)據(jù)倉庫/數(shù)據(jù)分析挖掘第7頁/共63頁云計算學(xué)習(xí)內(nèi)容20:128CloudStack開發(fā)指南云計算與虛擬化技術(shù)云計算與大數(shù)據(jù)技術(shù)Hadoop技術(shù)實戰(zhàn)服務(wù)集群與分布式管理云計算認(rèn)知云平臺部署大數(shù)據(jù)計算云計算基本理論主流云計算應(yīng)用虛擬化技術(shù)認(rèn)知分布式計算認(rèn)知集群服務(wù)器認(rèn)知虛擬化技術(shù)KVM/Xen/VMware部署與使用CloudStack云計算平臺部署與使用，構(gòu)建服務(wù)器集群大數(shù)據(jù)Hadoop系統(tǒng)HDFS/MapReduce編程HBase/Hive數(shù)據(jù)庫開發(fā)Mahout數(shù)據(jù)挖掘物聯(lián)網(wǎng)大數(shù)據(jù)中間件第8頁/共63頁虛擬化技術(shù)及平臺管理虛擬化技術(shù)及平臺管理移動互聯(lián)/物聯(lián)網(wǎng)時代的云浪潮目錄20:129大數(shù)據(jù)倉庫、分析和挖掘物聯(lián)網(wǎng)海量信息分析處理智云大數(shù)據(jù)云信息化教學(xué)平臺第9頁/共63頁云虛擬化技術(shù)虛擬化（平臺虛擬化技術(shù)）：通過使用控制程序（Hypervisor），隱藏特定計算平臺的實際物理特性，為用戶提供抽象的、統(tǒng)一的、模擬的計算環(huán)境（虛擬機(jī)）。虛擬化一般包含以下幾個方面：虛擬的內(nèi)容是資源（包括CPU、內(nèi)存、存儲、網(wǎng)絡(luò)等）；被虛擬的物理資源有著統(tǒng)一的邏輯表示，而且這種邏輯表示提供給用戶大部分相同或完全相同的物理資源的功能；經(jīng)過一系列的虛擬化過程，使得資源不受物理限制約束，由此可以帶給我們與傳統(tǒng)IT相比更多的優(yōu)勢——資源整合、提高資源利用率、動態(tài)IT等。虛擬化即是對資源的邏輯抽象、隔離、再分配、管理的一個過程。20:1210第10頁/共63頁為什么要虛擬化20:1211服務(wù)器整合技術(shù)：完成集群服務(wù)器的資源整合；克隆技術(shù)：對大量同等計算的節(jié)點進(jìn)行方便快速的克隆；動態(tài)遷移技術(shù)；虛擬快照/災(zāi)難恢復(fù)；方便自動化管理與使用；增強(qiáng)安全性；提高效率降低成本。第11頁/共63頁虛擬化應(yīng)用架構(gòu)20:1212傳統(tǒng)架構(gòu)硬件層虛擬軟件層

虛擬硬件操作系統(tǒng)應(yīng)用程序

虛擬硬件操作系統(tǒng)應(yīng)用程序

虛擬硬件操作系統(tǒng)應(yīng)用程序虛擬化架構(gòu)將一臺服務(wù)器當(dāng)做N臺服務(wù)器來使用硬件層應(yīng)用程序操作系統(tǒng)第12頁/共63頁常用虛擬化產(chǎn)品20:1213產(chǎn)品/特性KVMXenVMware虛擬化方式全虛擬化全/半虛擬化全/半虛擬化GuestOSLinux/WindowsLinux/Windows/Solaris/BSDLinux/Windows架構(gòu)/硬件平臺x86/x86_64（Intel-VT/AMD-V）x86/x86_64/安騰/ARMx86/x86_64/安騰/ARM技術(shù)成熟度高速發(fā)展中，技術(shù)先進(jìn)，未來發(fā)展趨勢技術(shù)成熟，歷史久遠(yuǎn)商業(yè)級技術(shù)，成熟穩(wěn)定支持廠商Linux社區(qū)，RedHat，Ubuntu，Novell，IBMCitrix，Oracle，NovellEMC，VMware可管理性命令行模式，桌面模式命令行模式，桌面模式可視化的操作界面，簡單易用企業(yè)級支持程度需企業(yè)自己開發(fā)，商業(yè)級的有RedHat虛擬化產(chǎn)品需企業(yè)自己開發(fā)，商業(yè)級的有Cirtix的XenServer功能性能最為強(qiáng)大，但價格昂貴第13頁/共63頁KVM虛擬化虛擬化核心：KVMQEMU管理工具：libvirtvirt-manager20:1214第14頁/共63頁Xen虛擬化虛擬機(jī)管理工具：XenCenter20:1215第15頁/共63頁VMware虛擬化虛擬化解決方案：vSpherevSphere核心組件：

VMwareESXi虛擬機(jī)管理工具：VMwarevCenterServerVMwarevSphereClientWebClient20:1216第16頁/共63頁云自動化管理服務(wù)IaaS有了虛擬化基礎(chǔ)設(shè)施，實際運(yùn)營將通過自動化的技術(shù)解決方案來提供全方位的IaaS服務(wù)20:1217IaaSInfrastructureasaService第17頁/共63頁CloudStackCloudStack是一個云平臺管理的項目，旨在為公共及私有云的建設(shè)與管理提供軟件的開源項目，往往作為作為基礎(chǔ)設(shè)施即服務(wù)（簡稱IaaS）資源的通用前端。CloudStack形成的基礎(chǔ)設(shè)施云和數(shù)據(jù)中心運(yùn)營商可以快速，輕松地建立在其現(xiàn)有的基礎(chǔ)設(shè)施提供云服務(wù)的需求，彈性云計算服務(wù)。CloudStack用戶可以充分利用云計算提供更高的效率，無限的規(guī)模和更快地部署新服務(wù)和系統(tǒng)的最終用戶。20:1218第18頁/共63頁CloudStack主要功能通過CloudStack可以實現(xiàn)：通過配置、整合一系列軟、硬件設(shè)備為客戶構(gòu)建計算、存儲資源池以及相應(yīng)服務(wù)平臺，使用戶可以按需、彈性獲取計算及存儲資源。通過云平臺管理系統(tǒng)對整個云計算平臺進(jìn)行集中管理，實現(xiàn)對云平臺的軟、硬件資源進(jìn)行統(tǒng)一分配和管理。構(gòu)建虛擬服務(wù)器，部署各種業(yè)務(wù)系統(tǒng)，通過云平臺能對應(yīng)用系統(tǒng)計算資源的動態(tài)調(diào)配。虛擬機(jī)快照管理，批量復(fù)制虛擬節(jié)點，系統(tǒng)備份及災(zāi)難恢復(fù)。遠(yuǎn)程對虛擬機(jī)進(jìn)行操作。20:1219第19頁/共63頁CloudStack產(chǎn)品組件框架20:1220第20頁/共63頁CloudStack產(chǎn)品部署20:1221Management/SecondaryStorageCentOSGUI/CloudStackManagement/NFSComputeNodeKVM/Xen/VMwareComputeNodeKVM/Xen/VMwareConsoleProxyVM/RouteVM/SecondaryStorageVMPrimaryStorageCentOS/NFS第21頁/共63頁課程設(shè)計及實驗?zāi)夸?0:1222《ZCloud云計算虛擬化技術(shù)實驗指導(dǎo)書》第1章虛擬化與云計算第4章CitrixXenServer遷移第9章VMwarevSphere管理第12章cloudstack的安裝部署1.1虛擬化概述4.1XenMotion簡介9.1使用vCenter克隆虛擬機(jī)12.1管理服務(wù)器安裝配置1.2云計算概述4.2移動虛擬磁盤……9.2虛擬機(jī)模板12.2主存儲/二級存儲安裝配置第2章CitrixXenServer安裝配置第5章KVM的安裝與配置9.3大規(guī)模部署虛擬機(jī)……12.3計算節(jié)點安裝配置……2.1

CitrixXenServer簡介5.1KVM簡介第10章VMwarevSphere遷移第13章cloudstack常用操作2.2安裝設(shè)置XenServer5.2KVM原理簡介……10.1VMwarevMotion簡介13.1注冊ISO、模板2.3安裝設(shè)置XenCenter第6章KVM虛擬機(jī)的管理10.2添加vMotion網(wǎng)絡(luò)端口組13.2利用ISO鏡像模板安裝實例2.4

XenServer主機(jī)連接……6.1

libvirt……10.3使用vMotion遷移主機(jī)……13.3創(chuàng)建模板第3章CitrixXenServer的管理第7章KVM動態(tài)遷移第11章cloudstack平臺架構(gòu)13.4模板安裝虛擬機(jī)系統(tǒng)……3.1使用XenCenter克隆虛擬機(jī)7.1

動態(tài)遷移的概念……11.1cloudstack歷史、架構(gòu)與功能第14章cloudstack常見問題3.2虛擬機(jī)快照第8章VMwarevSphere安裝配置11.2cloudstack各種專有術(shù)語14.1日志管理方法3.3創(chuàng)建虛擬機(jī)模板……8.1VMwarevSphere簡介……11.3cloudstack的架構(gòu)……14.2各種常見問題第22頁/共63頁CloudStack管理面板20:1223第23頁/共63頁移動互聯(lián)/物聯(lián)網(wǎng)時代的云浪潮目錄20:1224虛擬化技術(shù)及平臺管理大數(shù)據(jù)倉庫、分析和挖掘物聯(lián)網(wǎng)海量信息分析處理智云大數(shù)據(jù)云信息化教學(xué)平臺大數(shù)據(jù)倉庫、分析和挖掘第24頁/共63頁云計算與大數(shù)據(jù)云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當(dāng)前云計算更偏重海量存儲和計算，以及提供的云服務(wù)，運(yùn)行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預(yù)測性分析，為國家、企業(yè)、個人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計算的最終方向。20:1225商業(yè)模式驅(qū)動應(yīng)用需求驅(qū)動云計算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式第25頁/共63頁大數(shù)據(jù)的定義IDC定義：為了更為經(jīng)濟(jì)的從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價值，而設(shè)計的新一代架構(gòu)和技術(shù)。20:1226大數(shù)據(jù)海量數(shù)據(jù)數(shù)量多樣性速度價值數(shù)量“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。第26頁/共63頁大數(shù)據(jù)分析的核心技術(shù)20:1227分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：A/Btest/topN排行榜/地域占比/文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析/分類/聚類模型預(yù)測：預(yù)測模型/機(jī)器學(xué)習(xí)/建模仿真存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)查詢、統(tǒng)計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)：圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲按照非結(jié)構(gòu)化存儲解決方案：Hadoop（MapReduce技術(shù)）數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫/NoSQL/SQL等基礎(chǔ)架構(gòu)支持：云存儲/分布式文件系統(tǒng)計算結(jié)果展現(xiàn)：云計算/標(biāo)簽云/關(guān)系圖等第27頁/共63頁ApacheHadoopHadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。ApacheHadoop是基于java語言實現(xiàn)的軟件框架，在由大量計算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計算，它可以讓應(yīng)用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成。20:1228第28頁/共63頁Hadoop體系架構(gòu)20:1229Zookeeper(coordination)HDFS(HadoopDistributedFileSystem)HBase(ColumnDB)MapReduce(JobScheduling/ExecutionSystem)Pig(DataFlow)Hive(SQL)SqoopETLToolsBIReportingRDBMSPig是一個大規(guī)模數(shù)據(jù)分析平臺，Pig為復(fù)雜海量數(shù)據(jù)并行計算提供簡易的操作和編程接口Sqoop是一個Hadoop（Hive/HDFS/HBase）和關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)相互遷移的工具Hive工具提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換MapReduce任務(wù)進(jìn)行運(yùn)行ZooKeeper：一個分布式的、高可用性的協(xié)調(diào)服務(wù)HBase是一個開源的，基于列存儲模型的分布式數(shù)據(jù)庫HDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算第29頁/共63頁HDFS-分布式文件系統(tǒng)HDFS是一個高度容錯性的分布式文件系統(tǒng)，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。20:1230NameNode

可以看作是分布式文件系統(tǒng)中的管理者，存儲文件系統(tǒng)的meta-data，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間，集群配置信息，存儲塊的復(fù)制。DataNode

文件存儲的基本單元。它存儲文件塊在本地文件系統(tǒng)中，保存了文件塊的meta-data，同時周期性的發(fā)送所有存在的文件塊的報告給NameNode。Client

獲取分布式文件系統(tǒng)文件的應(yīng)用程序。第30頁/共63頁MapReduce-映射、化簡編程模型MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。Map（映射）和Reduce（化簡），采用分而治之思想，先把任務(wù)分發(fā)到集群多個節(jié)點上，并行計算，然后再把計算結(jié)果合并，從而得到最終計算結(jié)果。多節(jié)點計算，所涉及的任務(wù)調(diào)度、負(fù)載均衡、容錯處理等，都由MapReduce框架完成，不需要編程人員關(guān)心這些內(nèi)容。20:1231Map負(fù)責(zé)將job分解成多個任務(wù)；Reduce負(fù)責(zé)把分解后多任務(wù)的處理結(jié)果合并起來。Hadoop將HDFS輸入數(shù)據(jù)分成固定大小的塊，我們稱之為InputSplit。Split中的數(shù)據(jù)作為Map的輸入，每個split對于一個map線程，多個Map線程組成一個MapTask；Split分片數(shù)據(jù)由多個MapTask處理之后，經(jīng)過排序、合并輸出處理結(jié)果；Reduce將MapTask的輸出結(jié)果作為其輸入，通過多個ReduceTask并行處理，合并MapTask的輸出結(jié)果作為整個Job的輸出。第31頁/共63頁MapReduce編程IDE插件20:1232第32頁/共63頁HBase-分布式數(shù)據(jù)存儲HBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)；HBase位于結(jié)構(gòu)化存儲層，HDFS為HBase提供高可靠性的底層存儲支持，MapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和故障恢復(fù)機(jī)制；Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計處理變的簡單。20:1233第33頁/共63頁Hive-數(shù)據(jù)倉庫工具Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析20:1234可擴(kuò)展Hive可以自由的擴(kuò)展集群的規(guī)模，一般情況下不需要重啟服務(wù)延展性Hive支持用戶自定義函數(shù)，用戶可以根據(jù)自己的需求來實現(xiàn)自己的函數(shù)容錯良好的容錯性，節(jié)點出現(xiàn)問題SQL仍可完成執(zhí)行第34頁/共63頁P(yáng)ig-數(shù)據(jù)流分析工具Pig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺，它提供的SQL-like語言叫PigLatin，該語言的編譯器會把類SQL的數(shù)據(jù)分析請求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化處理的MapReduce運(yùn)算。Pig為復(fù)雜的海量數(shù)據(jù)并行計算提供了一個簡易的操作和編程接口。20:1235支持嵌套Pig提供了更加豐富的數(shù)據(jù)結(jié)構(gòu)

，支持值和嵌套的數(shù)據(jù)結(jié)構(gòu)。可擴(kuò)展Pig被設(shè)計為可以

擴(kuò)展

的，處理路徑上的每一個部分，都是可以使用用戶定義函數(shù)（UDF

）進(jìn)行

修改?？芍赜糜脩糇远x函數(shù)

UDF比MapReducer程序開發(fā)的庫更易于重用。第35頁/共63頁Mahout-數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)類庫Mahout是一套具有可擴(kuò)充能力的機(jī)器學(xué)習(xí)類庫。它提供機(jī)器學(xué)習(xí)框架的同時，還實現(xiàn)了一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實現(xiàn)，可以幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。通過和ApacheHadoop分布式框架相結(jié)合，Mahout可以有效地使用分布式系統(tǒng)來實現(xiàn)高性能計算。20:1236Mahout現(xiàn)在提供4種使用場景的算法。?推薦引擎算法：通過分析用戶的使用行為的歷史記錄來推算用戶最可能喜歡的商品、服務(wù)、套餐的相關(guān)物品。?聚類算法：通過分析將一系列相關(guān)的物品等劃分為相關(guān)性相近的群組。?分類算法：通過分析一組已經(jīng)分類的物品，將其他未分類的其他物品按同樣規(guī)則歸入相應(yīng)的分類。?相關(guān)物品分析算法：識別出一系列經(jīng)常一起出現(xiàn)的物品組(經(jīng)常一起查詢、放入購物車等)。第36頁/共63頁課程設(shè)計及實驗?zāi)夸?0:1237《ZCloud云計算大數(shù)據(jù)技術(shù)實驗指導(dǎo)書》第1章認(rèn)識Hadoop第4章HDFS文件I/O詳解第7章MapReduce高級應(yīng)用第10章數(shù)據(jù)倉庫工具Hive1.1Hadoop概述4.1Hadoop文件的數(shù)據(jù)結(jié)構(gòu)7.1計數(shù)器10.1Hive的組成1.2Hadoop初體驗4.2HDFS數(shù)據(jù)完整性7.2自定義數(shù)據(jù)類型10.2Hive的安裝……第2章MapReduce快速入門4.3文件序列化……7.3自定義輸入格式……第11章Sqoop實戰(zhàn)2.1WordCount實例第5章Eclipse插件應(yīng)用第8章開源數(shù)據(jù)庫HBase11.1Sqoop簡介2.2MapReduce代碼實現(xiàn)5.1Eclipse下MapReduce開發(fā)8.1Hbase簡介11.2Sqoop安裝……2.3打包、部署和運(yùn)行5.2MapReduce的Debug調(diào)試8.2HBase入門第12章Mahout算法第3章HDFS實戰(zhàn)5.3單元測試框架MRUnit8.3HbaseShell操作……12.1Mahout的使用3.1認(rèn)識HDFS第6章MapReduce編程開發(fā)第9章Pig詳解12.2Mahout數(shù)據(jù)表示……3.2HDFS文件系統(tǒng)訪問6.1MapReduce簡介9.1Pig的基本框架第13章Hadoop安裝3.3HDFSAPI實戰(zhàn)6.2WordCount案例分析9.2Pig的安裝13.1Hadoop環(huán)境安裝配置……3.4綜合實例……6.3綜合實例9.3Pig的使用……第14章綜合實例第37頁/共63頁Hadoop大數(shù)據(jù)部分實驗截圖20:1238第38頁/共63頁移動互聯(lián)/物聯(lián)網(wǎng)時代的云浪潮目錄20:1239虛擬化技術(shù)及平臺管理大數(shù)據(jù)倉庫、分析和挖掘物聯(lián)網(wǎng)海量信息分析處理智云大數(shù)據(jù)云信息化教學(xué)平臺物聯(lián)網(wǎng)海量信息分析處理第39頁/共63頁物聯(lián)網(wǎng)技術(shù)物聯(lián)網(wǎng)--theInternetOfThings，簡稱IOT，顧名思義是把所有物品通過互聯(lián)網(wǎng)連接起來，實現(xiàn)任何物體、任何人、任何時間、任何地點（4A）的智能化識別、信息交換與管理。20:1240物聯(lián)網(wǎng)應(yīng)用其實可以歸納為三大領(lǐng)域：最底層為設(shè)備域，以標(biāo)示為特征，通過智能終端、傳感網(wǎng)獲取信息，這被稱之為更透徹的感知層；中間為網(wǎng)絡(luò)域-通信網(wǎng)絡(luò)，以互聯(lián)為特征，基于互聯(lián)網(wǎng)或移動互聯(lián)獲取更全面的信息；最頂層為應(yīng)用層，以智能分析決策為特征進(jìn)行信息處理，包括云計算和大數(shù)據(jù)分析，這是更智能的決策。第40頁/共63頁物聯(lián)網(wǎng)與大數(shù)據(jù)20:1241物聯(lián)網(wǎng)對應(yīng)了互聯(lián)網(wǎng)的感覺和運(yùn)動神經(jīng)系統(tǒng)；云計算是互聯(lián)網(wǎng)的核心硬件層和核心軟件層的集合，也是互聯(lián)網(wǎng)中樞神經(jīng)系統(tǒng)萌芽；大數(shù)據(jù)代表了互聯(lián)網(wǎng)的信息層（數(shù)據(jù)海洋），是互聯(lián)網(wǎng)智慧和意識產(chǎn)生的基礎(chǔ)；包括物聯(lián)網(wǎng)，傳統(tǒng)互聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)在源源不斷的向互聯(lián)網(wǎng)大數(shù)據(jù)層匯聚數(shù)據(jù)和接受數(shù)據(jù)。第41頁/共63頁物聯(lián)網(wǎng)應(yīng)用模型20:1242全面感知網(wǎng)絡(luò)傳輸應(yīng)用服務(wù)數(shù)據(jù)中心M2M嵌入式數(shù)據(jù)網(wǎng)關(guān)平臺智能汽車智能校園智能環(huán)境智能電網(wǎng)智能交通智能醫(yī)療智能家居智能安防云計算服務(wù)器云存儲服務(wù)器應(yīng)用服務(wù)器千兆網(wǎng)絡(luò)交換機(jī)ZCLOUD中間件物聯(lián)網(wǎng)信息化處理中心第42頁/共63頁物聯(lián)網(wǎng)中間件20:1243環(huán)境工業(yè)監(jiān)控溫濕度空氣質(zhì)量光敏可燃?xì)怏w火焰人體紅外三軸加速超聲波壓力感知/采集（嵌入式）無線傳感網(wǎng)絡(luò)網(wǎng)關(guān)服務(wù)云服務(wù)應(yīng)用服務(wù)物聯(lián)網(wǎng)中間件承載物聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)交換（無線傳感網(wǎng)與互聯(lián)網(wǎng)）的職能對物聯(lián)網(wǎng)項目大數(shù)據(jù)進(jìn)行存儲、檢索、管理、實時分析處理……提供規(guī)范的應(yīng)用編程接口第43頁/共63頁物聯(lián)網(wǎng)數(shù)據(jù)倉庫及分析物聯(lián)網(wǎng)數(shù)據(jù)中心：物聯(lián)網(wǎng)數(shù)據(jù)中心不僅包括計算機(jī)系統(tǒng)和配套設(shè)備（如通信/存儲設(shè)備），還包括冗余的數(shù)據(jù)通信連接/環(huán)境控制設(shè)備/監(jiān)控設(shè)備及安全裝置，是一大型的系統(tǒng)工程。通過高度的安全性和可靠性提供及時持續(xù)的數(shù)據(jù)服務(wù)，為物聯(lián)網(wǎng)應(yīng)用提供良好的支持。數(shù)據(jù)庫：物聯(lián)網(wǎng)數(shù)據(jù)特點是海量性，多態(tài)性，關(guān)聯(lián)性及語義性，在物聯(lián)網(wǎng)中多種數(shù)據(jù)庫共存：①關(guān)系數(shù)據(jù)庫系統(tǒng)作為實時數(shù)據(jù)的處理，為物聯(lián)網(wǎng)的數(shù)據(jù)及時處理提供支撐。②新興數(shù)據(jù)庫系統(tǒng)（NoSQL數(shù)據(jù)庫）針對非關(guān)系型、分布式的數(shù)據(jù)存儲，對分布式離散歷史數(shù)據(jù)進(jìn)行處理，并且基于此構(gòu)建大數(shù)據(jù)分析挖掘等技術(shù)。管理運(yùn)維：當(dāng)感知識別層生成的大量信息經(jīng)過網(wǎng)絡(luò)層傳輸匯聚到管理服務(wù)層，管理服務(wù)層解決數(shù)據(jù)如何存儲（數(shù)據(jù)庫與海量存儲技術(shù)）、如何檢索（搜索引擎）、如何使用（數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)）、如何不被濫用（數(shù)據(jù)安全與隱私保護(hù)）等問題。20:1244物聯(lián)網(wǎng)在精準(zhǔn)農(nóng)業(yè)上的應(yīng)用，可以實時監(jiān)測環(huán)境數(shù)據(jù)，挖掘影響產(chǎn)量的重要因素，獲得產(chǎn)量最大化的大數(shù)據(jù)分析處理系統(tǒng)。第44頁/共63頁智云物聯(lián)-ZCloud-DataCenter智云物聯(lián)網(wǎng)公共應(yīng)用支撐服務(wù)平臺，提供ZCloud海量數(shù)據(jù)源的接入服務(wù)，具備數(shù)據(jù)即時消息推送處理、數(shù)據(jù)倉庫存儲與數(shù)據(jù)挖掘等功能；基于Hadoop集群服務(wù)器進(jìn)行管理，采用分布式數(shù)據(jù)庫系統(tǒng)。管理系統(tǒng)架構(gòu)為B/S架構(gòu)，通過Web瀏覽器訪問登錄平臺對數(shù)據(jù)中心進(jìn)行管理和系統(tǒng)運(yùn)營監(jiān)控；軟件系統(tǒng)包含三大主要模塊：即時消息服務(wù)、數(shù)據(jù)倉庫、監(jiān)控視頻服務(wù)；即時消息服務(wù)：能夠接收網(wǎng)關(guān)的實時數(shù)據(jù)，采用非輪詢的發(fā)布/訂閱消息隊列推送機(jī)制對數(shù)據(jù)進(jìn)行消息收發(fā)，支持一對多的消息發(fā)布；數(shù)據(jù)庫倉庫：基于HBase/Hive構(gòu)建的分布式數(shù)據(jù)倉庫，可以將用戶數(shù)據(jù)采用服務(wù)器集群進(jìn)行管理，多處備份，數(shù)據(jù)丟失概率小于0.1%；監(jiān)控視頻服務(wù)：提供IP云臺監(jiān)控攝像頭的接入，支持內(nèi)外網(wǎng)地址解析服務(wù)，能夠即時抓拍保存圖片，支持視頻的錄制，支持云臺的自定義轉(zhuǎn)動；軟件系統(tǒng)提供數(shù)據(jù)推送、數(shù)據(jù)存儲、數(shù)據(jù)挖掘查詢等管理功能，實時顯示監(jiān)測數(shù)據(jù)（動態(tài)實時更新），現(xiàn)場視頻，顯示實時/歷史數(shù)據(jù)曲線；支持自動控制策略管理，包含觸發(fā)器、定時器、執(zhí)行器、短信/電話等各個模塊的自動控制策略管理，可以配置根據(jù)指定的傳感器/定時器觸發(fā)指定的執(zhí)行動作，能夠監(jiān)測策略的觸發(fā)記錄等信息；支持GPS地理位置上傳，輔助對傳感器設(shè)備的位置定位，支持GIS地圖顯示；提供私有的數(shù)據(jù)庫使用權(quán)限，對多客戶端間共享的私有數(shù)據(jù)進(jìn)行存儲、查詢使用；提供接入數(shù)據(jù)的跟蹤分析，并支持?jǐn)?shù)據(jù)在線調(diào)試，通過指令對硬件數(shù)據(jù)進(jìn)行遠(yuǎn)程控制管理。20:1245物聯(lián)網(wǎng)公共應(yīng)用支撐服務(wù)平臺數(shù)據(jù)資源調(diào)度及資源分配

項目分析決策Hadoop云計算物聯(lián)網(wǎng)大數(shù)據(jù)處理中心智云物聯(lián)網(wǎng)中間件系統(tǒng)第45頁/共63頁智云物聯(lián)大數(shù)據(jù)源20:1246ZCLOUD智云服務(wù)智云硬件庫能夠7*24小時不間斷為數(shù)據(jù)中心提供真實的物理大數(shù)據(jù)智云硬件庫實時大數(shù)據(jù)源第46頁/共63頁智云大數(shù)據(jù)處理項目案例20:1247

基于污水廠的環(huán)境監(jiān)測系統(tǒng)，能夠?qū)崟r對各種水質(zhì)參數(shù)及環(huán)境參數(shù)進(jìn)行采集，并且支持分布式大數(shù)據(jù)的數(shù)據(jù)存儲，支持?jǐn)?shù)據(jù)分析及挖掘，能夠?qū)Τ瑯?biāo)參數(shù)進(jìn)行及時示警，并且可以根據(jù)同期參數(shù)對未來趨勢進(jìn)行預(yù)判，達(dá)到智能處理的目的。第47頁/共63頁移動互聯(lián)/物聯(lián)網(wǎng)時代的云浪潮目錄20:1248虛擬化技術(shù)及平臺管理大數(shù)據(jù)倉庫、分析和挖掘物聯(lián)網(wǎng)海量信息分析處理智云大數(shù)據(jù)云信息化教學(xué)平臺智云大數(shù)據(jù)云信息化教學(xué)平臺第48頁/共63頁智云大數(shù)據(jù)云信息化教學(xué)平臺中智訊推出專業(yè)實用的大數(shù)據(jù)云信息化教學(xué)平臺，幫助學(xué)生熟悉和掌握大數(shù)據(jù)及云計算領(lǐng)域的前沿技術(shù)，掌握云計算與大數(shù)據(jù)的開發(fā)方法，學(xué)習(xí)云計算虛擬化、云平臺管理、服務(wù)器集群、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)建模、數(shù)據(jù)倉庫、物聯(lián)網(wǎng)大數(shù)據(jù)分析等知識。20:1249第49頁/共63頁入云之路-云教學(xué)設(shè)備的選擇20:1250設(shè)備聯(lián)機(jī)，真實模擬大量數(shù)據(jù)節(jié)點集群場景按需采購，預(yù)算可控，升級方便單設(shè)備集群主機(jī)，非虛擬化的偽集群設(shè)備間互不影響，災(zāi)難易恢復(fù)，方便維護(hù)VS第50頁/共63頁智云旗艦產(chǎn)品：ZCloud-iCorex4a8020:1251專業(yè)的云計算教學(xué)設(shè)備/最小云服務(wù)集群系統(tǒng)一人一機(jī)教學(xué)/可視化的云硬件系統(tǒng)嵌入式系統(tǒng)監(jiān)控集群狀態(tài)可恢復(fù)集群的一鍵還原系統(tǒng)可聯(lián)機(jī)實現(xiàn)多主機(jī)構(gòu)建區(qū)域

大集群云計算服務(wù)涵蓋云集群部署、云平臺管理、大數(shù)據(jù)、分布式倉庫、分布式編程等全部學(xué)科主流云架構(gòu)教學(xué)體系/豐富的應(yīng)用案例CloudStack云自動化管理，支持xen/KWM/VMware等虛擬化技術(shù)Hadoop分布式大數(shù)據(jù)系統(tǒng)框架/數(shù)據(jù)分析挖掘技術(shù)智云物聯(lián)網(wǎng)海量實時傳感數(shù)

據(jù)源/7*24小時不間斷采集智云分布式集群倉庫系統(tǒng)和

Hadoop數(shù)據(jù)分析系統(tǒng)ZXBee輕量級無線傳感協(xié)議/多種

不同類型無線設(shè)備接入智云B/S架構(gòu)專家系統(tǒng)/Android智能應(yīng)用與高校聯(lián)合共建智云大數(shù)據(jù)云信息化創(chuàng)新實驗室智云物聯(lián)開放平臺共享/畢設(shè)、課設(shè)、大賽、實訓(xùn)項目輔助開發(fā)輔助課程體系的融合/專業(yè)師資隊伍的培養(yǎng)/定期免費師資培訓(xùn)班、技術(shù)沙龍ApacheHadoop云計算大數(shù)據(jù)認(rèn)證培訓(xùn)第51頁/共63頁ZCloud-iCorex4a80技術(shù)參數(shù)系統(tǒng)主要技術(shù)指標(biāo)：實驗系統(tǒng)采用工業(yè)機(jī)柜結(jié)構(gòu)設(shè)計，包含教學(xué)必需的管理、2*計算、主存儲、二級存儲、網(wǎng)絡(luò)等單元，每個單元分區(qū)獨立設(shè)計節(jié)點主機(jī)采用工業(yè)級服務(wù)器，支持7*24小時不間斷穩(wěn)定運(yùn)行，鋁合金外殼包裝采用Cotex-A8嵌入式系統(tǒng)對集群主機(jī)進(jìn)行狀態(tài)監(jiān)控，能夠顯示運(yùn)行狀態(tài)、資源消耗、電源能耗等信息，同時可以觸摸管理各個主機(jī)系統(tǒng)包含19寸以上液晶顯示器提供五口千兆路由交換機(jī)支持智云大數(shù)據(jù)源接入，集成ZCloud智云數(shù)據(jù)中心中

間件，能夠?qū)χ窃莆锢頂?shù)據(jù)進(jìn)行數(shù)據(jù)分析、數(shù)據(jù)倉儲、

數(shù)據(jù)挖掘等20:1252第52頁/共63頁ZCloud-iCorex4a80技術(shù)參數(shù)系統(tǒng)軟件主要指標(biāo)：CentOS-4.3操作系統(tǒng)，提供一鍵式安裝實施部署，包含Linux常用組件，云虛擬化組件，ClouldStack組件提供KVM、Xen、Vmware等虛擬化軟件及教學(xué)內(nèi)容提供云虛擬化管理軟件CloudStack-4.3，自動化安裝部署實施，能夠構(gòu)建虛擬服務(wù)器，部署各種業(yè)務(wù)系統(tǒng)，通過配置、整合一系列軟、硬件設(shè)備為客戶構(gòu)建計算、存儲資源池以及相應(yīng)服務(wù)平臺，使用戶可以按需、彈性獲取計算及存儲資源提供分布式大數(shù)據(jù)分析系統(tǒng)Hadoop/HDFS，HBase/Hive數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)倉庫，基于HDFS、MapReduce、HBase等應(yīng)用程序的集成開發(fā)環(huán)境，大數(shù)據(jù)挖掘系統(tǒng)Mahout程序開發(fā)提供基于智云數(shù)據(jù)中間件系統(tǒng)，支持智云數(shù)據(jù)源的數(shù)據(jù)接入與存儲，能夠基于大數(shù)據(jù)Mahout數(shù)據(jù)挖掘系統(tǒng)開發(fā)快速查詢最近1小時、最近1周、最近1月、最近1年及任意時間段數(shù)據(jù)20:1253第53頁/共63頁ZCloud-iCorex4a80技術(shù)參數(shù)管理&二級存儲主機(jī)硬件參數(shù)：CPU：賽揚(yáng)?G1840處理器(2.80GHz,2MB,含英特爾?核芯顯卡HDGraphicGT1)內(nèi)存：8GB(2x4GB)Non-ECCDDR31600MHzSDRAMMemory硬盤：500GB7200RPM3.5"512e/4kSATAHardDrive支持IntelVT虛擬化技術(shù)網(wǎng)卡：千兆網(wǎng)卡，Wi-Fi4

xUSB2.0，1xVGA，1xPCI，1xUART自主工業(yè)級主板設(shè)計，防靜電及抗電磁干擾嵌入式集群監(jiān)控單元（支持電容觸摸操作）智云zigbee網(wǎng)關(guān)（支持ZC