智云大數(shù)據云計算信息化實驗室解決方案

1、移動互聯(lián)/物聯(lián)網時代的云浪潮移動互聯(lián)/物聯(lián)網時代的云浪潮 目錄 6:231 虛擬化技術及平臺管理 大數(shù)據倉庫、分析和挖掘 物聯(lián)網海量信息分析處理 智云大數(shù)據云信息化教學平臺 云計算 啥是云計算？據說是IT的一種高大上的東西。 云計算遙不可及？No，它已經悄然進入到我們生活中的方方面面。 6:232 身邊的云計算 6:233 2014：移動互聯(lián)網/物聯(lián)網云 2014物聯(lián)網大會：大數(shù)據物聯(lián)網時代，大數(shù)據時代是物聯(lián)網的延伸; 云計算被稱為是繼大型計算機、個人計算機、互聯(lián)網之后的第四次IT 產業(yè)革命,是新一代互聯(lián)網、物聯(lián)網和移動互聯(lián)網的引擎和神經中樞； 2014年，物聯(lián)網與移動互聯(lián)網的研究已經從應用層

2、轉移到了中間件云 計算大數(shù)據層面。 6:234 云計算運維模型 6:235 基礎架構，服務器基礎架構，服務器 康康度和開銷度和開銷 使用率和應用使用率和應用 可視化可視化 應用管理應用管理 應用發(fā)布、性能管理、可用性、 使用率、開銷 云基礎架構管理云基礎架構管理 基礎架構性能，容量，配置， 安全 虛擬化 技術 云平臺 管理 分布式 大數(shù)據 編程 模式 分布式 架構 服務器 集群 云計算核心技術 6:236 服務器集群服務器集群：管理/存儲/計算/網絡 虛擬化技術虛擬化技術：KVM/Xen/VMware 云平臺管理云平臺管理：OpenStack/CloudStack 分布式架構分布式架構：Had

3、oop/HDFS 編程模式編程模式：MapReduce/NoSQL 分布式大數(shù)據分布式大數(shù)據：HBase/HIVE/Mahout 虛擬化 技術 云平臺 管理 服務器 集群 分布式 架構 分布式 大數(shù)據 編程 模式 云計算學習內容 6:237 云計算基本理論 主流云計算應用 虛擬化技術認知 分布式計算認知 集群服務器認知 虛擬化技術 KVM/Xen/VMware 部署與使用 CloudStack云計算平 臺部署與使用，構 建服務器集群 大數(shù)據Hadoop系統(tǒng) HDFS/MapReduce編程 HBase/Hive數(shù)據庫開發(fā) Mahout數(shù)據挖掘 物聯(lián)網大數(shù)據中間件 虛擬化技術及平臺管理虛擬化技術

4、及平臺管理 移動互聯(lián)/物聯(lián)網時代的云浪潮 目錄 6:238 大數(shù)據倉庫、分析和挖掘 物聯(lián)網海量信息分析處理 智云大數(shù)據云信息化教學平臺 云虛擬化技術 虛擬化（平臺虛擬化技術）：通過使用控制程序（Hypervisor），隱 藏特定計算平臺的實際物理特性，為用戶提供抽象的、統(tǒng)一的、模擬 的計算環(huán)境（虛擬機）。 虛擬化一般包含以下幾個方面： 虛擬的內容是資源（包括CPU、內存、存儲、網絡等）； 被虛擬的物理資源有著統(tǒng)一的邏輯表示，而且這種邏輯表示提供給用戶大部分相同 或完全相同的物理資源的功能； 經過一系列的虛擬化過程，使得資源不受物理限制約束，由此可以帶給我們與傳統(tǒng) IT相比更多的優(yōu)勢資源整合、提

5、高資源利用率、動態(tài)IT等。 虛擬化即是對資源的邏輯抽象、隔離、再分配、管理的一個過程。 6:239 為什么要虛擬化 6:2310 服務器整合服務器整合技術技術：完成集群服務 器的資源整合； 克隆克隆技術技術：對大量同等計算的節(jié) 點進行方便快速的克?。?動態(tài)遷移技術動態(tài)遷移技術； 虛擬快照虛擬快照/ /災難恢復災難恢復； 方便自動化管理與使用方便自動化管理與使用； 增強安全性增強安全性； 提高效率降低成本提高效率降低成本。 虛擬化應用架構 6:2311 傳統(tǒng)架構傳統(tǒng)架構 硬件層硬件層 虛擬軟件層虛擬軟件層 虛擬硬件虛擬硬件 操作系統(tǒng)操作系統(tǒng) 應用程序應用程序 虛擬硬件虛擬硬件 操作系統(tǒng)操作系統(tǒng)

6、應用程序應用程序 虛擬硬件虛擬硬件 操作系統(tǒng)操作系統(tǒng) 應用程序應用程序 虛擬化架構虛擬化架構 將一臺服務器當做將一臺服務器當做NN臺服務器來使用臺服務器來使用 硬件層硬件層 應用程序應用程序 操作系統(tǒng)操作系統(tǒng) 常用虛擬化產品 6:2312 產品產品/ /特性特性KVMKVMXenXenVMwareVMware 虛擬化方式全虛擬化全/半虛擬化全/半虛擬化 GuestOSLinux /WindowsLinux /Windows/Solaris/BSDLinux /Windows 架構/硬件平臺x86/x86_64（Intel-VT/AMD-V） x86/x86_64/安騰/ARMx86/x86_6

7、4/安騰/ARM 技術成熟度 高速發(fā)展中，技術先進，未來 發(fā)展趨勢 技術成熟，歷史久遠商業(yè)級技術，成熟穩(wěn)定 支持廠商 Linux社區(qū)，RedHat，Ubuntu， Novell，IBM Citrix，Oracle，NovellEMC，VMware 可管理性命令行模式，桌面模式命令行模式，桌面模式 可視化的操作界面，簡單易 用 企業(yè)級支持程度 需企業(yè)自己開發(fā)，商業(yè)級的有 RedHat虛擬化產品 需企業(yè)自己開發(fā)，商業(yè)級的 有Cirtix的Xen Server 功能性能最為強大，但價格 昂貴 KVM虛擬化 虛擬化核心： KVM QEMU 管理工具： libvirt virt-manager 6:23

8、13 Xen虛擬化 虛擬機管理工具： XenCenter 6:2314 VMware虛擬化 虛擬化解決方案： vSphere vSphere核心組件： VMware ESXi 虛擬機管理工具： VMware vCenter Server VMware vSphere Client Web Client 6:2315 云自動化管理服務 IaaS 有了虛擬化基礎設施，實際運營將通過自動化的技術解決 方案來提供全方位的IaaS服務 6:2316 IaaSIaaSInfrastructureInfrastructureas a Serviceas a Service CloudStack CloudS

9、tack是一個云平臺管理的項目，旨在為公共及私有云的建設與 管理提供軟件的開源項目，往往作為作為基礎設施即服務（簡稱IaaS） 資源的通用前端。 CloudStack形成的基礎設施云和數(shù)據中心運營商可以快速，輕松地建 立在其現(xiàn)有的基礎設施提供云服務的需求，彈性云計算服務。 CloudStack用戶可以充分利用云計算提供更高的效率，無限的規(guī)模和 更快地部署新服務和系統(tǒng)的最終用戶。 6:2317 CloudStack主要功能 通過CloudStack可以實現(xiàn)： 通過配置、整合一系列軟、硬件設備為客戶構建計算、存儲資源池 以及相應服務平臺，使用戶可以按需、彈性獲取計算及存儲資源。 通過云平臺管理系統(tǒng)

10、對整個云計算平臺進行集中管理，實現(xiàn)對云平 臺的軟、硬件資源進行統(tǒng)一分配和管理。 構建虛擬服務器，部署各種業(yè)務系統(tǒng)，通過云平臺能對應用系統(tǒng)計 算資源的動態(tài)調配。 虛擬機快照管理，批量復制虛擬節(jié)點，系統(tǒng)備份及災難恢復。 遠程對虛擬機進行操作。 6:2318 CloudStack產品組件框架 6:2319 CloudStack產品部署 6:2320 Management/Secondary Storage CentOS GUI/CloudStack Management/NFS Compute Node KVM/Xen/VMware Compute Node KVM/Xen/VMware Conso

11、le Proxy VM/Route VM/Secondary Storage VM Primary Storage CentOS/NFS 課程設計及實驗目錄 6:2321 ZCloudZCloud云計算虛擬化技術實驗指導書云計算虛擬化技術實驗指導書 第第1 1章章 虛擬化與云計算虛擬化與云計算第第4 4章章 Citrix Citrix XenServerXenServer遷移遷移第第9 9章章 VMware VMware vSpherevSphere管理管理第第1212章章 cloudstackcloudstack的安裝部署的安裝部署 1.1 虛擬化概述4.1 XenMotion簡介9.1 使

12、用vCenter克隆虛擬機12.1 管理服務器安裝配置 1.2 云計算概述4.2 移動虛擬磁盤9.2 虛擬機模板12.2 主存儲/二級存儲安裝配置 第第2 2章章 Citrix Citrix XenServerXenServer安裝配置安裝配置第第5 5章章 KVM KVM的安裝與配置的安裝與配置9.3 大規(guī)模部署虛擬機12.3 計算節(jié)點安裝配置 2.1 Citrix XenServer簡介5.1 KVM簡介第第1010章章 VMware vSphere VMware vSphere遷移遷移第第1313章章 cloudstackcloudstack 常用操作常用操作 2.2 安裝設置XenSe

13、rver5.2 KVM原理簡介10.1 VMware vMotion簡介13.1 注冊ISO、模板 2.3 安裝設置XenCenter第第6 6章章 KVM KVM虛擬機的管理虛擬機的管理10.2 添加vMotion網絡端口組13.2 利用ISO鏡像模板安裝實例 2.4 XenServer主機連接6.1 libvirt10.3 使用vMotion遷移主機13.3 創(chuàng)建模板 第第3 3章章 Citrix Citrix XenServerXenServer的的管理管理第第7 7章章 KVMKVM動態(tài)動態(tài)遷移遷移第第1111章章 cloudstackcloudstack平臺架構平臺架構13.4 模板

14、安裝虛擬機系統(tǒng) 3.1 使用XenCenter克隆虛擬機7.1 動態(tài)遷移的概念 11.1 cloudstack歷史、架構與功能第第1414章章 cloudstackcloudstack 常見問題常見問題 3.2 虛擬機快照第8章 VMware vSphere安裝配置11.2 cloudstack各種專有術語14.1 日志管理方法 3.3 創(chuàng)建虛擬機模板8.1 VMware vSphere 簡介11.3 cloudstack的架構14.2 各種常見問題 CloudStack管理面板 6:2322 移動互聯(lián)/物聯(lián)網時代的云浪潮 目錄 6:2323 虛擬化技術及平臺管理 大數(shù)據倉庫、分析和挖掘 物聯(lián)

15、網海量信息分析處理 智云大數(shù)據云信息化教學平臺 大數(shù)據倉庫、分析和挖掘 云計算與大數(shù)據 云計算的模式是業(yè)務模式，本質是數(shù)據處理技術本質是數(shù)據處理技術。 數(shù)據是資產，云為數(shù)據資產提供存儲、訪問和計算。 當前云計算更偏重海量存儲和計算，以及提供的云服務，運行云應用，但是缺 乏盤活數(shù)據資產的能力，挖掘價值性信息和預測性分析，為國家、企業(yè)、個人 提供決策和服務，是大數(shù)據核心議題，也是云計算的最終方向。 6:2324 商業(yè)模式驅動應用需求驅動 云計算本身也是大數(shù)據的一種業(yè)務模式云計算本身也是大數(shù)據的一種業(yè)務模式 大數(shù)據的定義 IDC定義：為了更為經濟的從高頻率獲取的、大容量的、不同結構和 類型的數(shù)據中獲

16、取價值，而設計的新一代架構和技術。 6:2325 大數(shù)據大數(shù)據海量數(shù)據海量數(shù)據 數(shù)量 多樣性 速度 價值 數(shù)量 “大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低 （Value）”就是“大數(shù)據”的顯著特征，或者說，只有具備這些特點的 數(shù)據，才是大數(shù)據。 大數(shù)據分析的核心技術 6:2326 分析技術：分析技術： 數(shù)據處理：自然語言處理技術 統(tǒng)計和分析：A/B test/top N排行榜/地域 占比/文本情感分析 數(shù)據挖掘：關聯(lián)規(guī)則分析/分類/聚類 模型預測：預測模型/機器學習/建模仿真 存儲存儲 結構化數(shù)據： 海量數(shù)據查詢、統(tǒng)計、更新等操作效率低 非結構化

17、數(shù)據： 圖片、視頻、word、pdf、ppt等文件存儲 不利于檢索、查詢和存儲 半結構化數(shù)據 轉換為結構化存儲 按照非結構化存儲 解決方案：解決方案： Hadoop（MapReduce技術） 數(shù)據采集 數(shù)據儲存 數(shù)據管理 數(shù)據分析與挖掘 大數(shù)據技術：大數(shù)據技術： 數(shù)據采集：ETL工具 數(shù)據存?。宏P系數(shù)據庫/NoSQL/SQL等 基礎架構支持：云存儲/分布式文件系統(tǒng) 計算結果展現(xiàn)：云計算/標簽云/關系圖等 Apache Hadoop Hadoop是一個分布式系統(tǒng)基礎架構，由Apache基金會開發(fā)。 Apache Hadoop 是基于java語言實現(xiàn)的軟件框架，在由大量計算機組 成的集群中運行海量

18、數(shù)據的分布式計算，它可以讓應用程序支持上千 個節(jié)點和PB級別的數(shù)據。 Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算 （MapReduce）等組成 。 6:2327 Hadoop體系架構 6:2328 Zookeeper(coordination) HDFS (Hadoop Distributed File System) HBase(Column DB) MapReduce(Job Scheduling/Execution System) Pig (Data Flow)Hive(SQL)Sqoop ETL ToolsBI ReportingRDBMS Pig是一個大規(guī)模

19、數(shù)據分析平臺，Pig為復雜 海量數(shù)據并行計算提供簡易的操作和編程接 口 Sqoop是一個Hadoop（Hive/HDFS/HBase） 和關系型數(shù)據庫的數(shù)據相互遷移的工具 Hive工具提供完整的sql查詢功能，可以將sql 語句轉換MapReduce任務進行運行 ZooKeeper：一個分布式的、高可用性的協(xié) 調服務 HBase是一個開源的，基于列存儲模型的分 布式數(shù)據庫 HDFS是一個分布式文件系統(tǒng)。有著高容錯性 的特點，并且設計用來部署在低廉的硬件上 ，適合那些有著超大數(shù)據集的應用程序 MapReduce是一種編程模型，用于大規(guī)模數(shù) 據集（大于1TB）的并行運算 HDFS - 分布式文件系

20、統(tǒng) HDFS是一個高度容錯性的分布式文件系統(tǒng)，能提供高吞吐 量的數(shù)據訪問，非常適合大規(guī)模數(shù)據集上的應用。 6:2329 NameNodeNameNode 可以看作是分布式文件系統(tǒng)中的管理者，存儲 文件系統(tǒng)的meta-data，主要負責管理文件系統(tǒng) 的命名空間，集群配置信息，存儲塊的復制。 DataNodeDataNode 文件存儲的基本單元。它存儲文件塊在本地文 件系統(tǒng)中，保存了文件塊的meta-data，同時周 期性的發(fā)送所有存在的文件塊的報告給 NameNode。 ClientClient 獲取分布式文件系統(tǒng)文件的應用程序。 MapReduce - 映射、化簡編程模型 MapReduce是

21、一種編程模型，用于大規(guī)模數(shù)據集的并行運算。Map（映射） 和Reduce（化簡），采用分而治之思想，先把任務分發(fā)到集群多個節(jié)點上， 并行計算，然后再把計算結果合并，從而得到最終計算結果。多節(jié)點計算，所 涉及的任務調度、負載均衡、容錯處理等，都由MapReduce框架完成，不需 要編程人員關心這些內容。 6:2330 Map負責將job分解成多個任務；Reduce負責把分解后多任務的處理結果合并起來。 Hadoop將HDFS輸入數(shù)據分成固定大小的塊，我們稱之為Input Split。 Split中的數(shù)據作為Map的輸入，每個split對于一個map線程，多個Map線程組成一個Map Task ；

22、 Split分片數(shù)據由多個Map Task處理之后，經過排序、合并輸出處理結果； Reduce 將Map Task的輸出結果作為其輸入，通過多個Reduce Task并行處理，合并Map Task的輸 出結果作為整個Job的輸出。 MapReduce編程IDE插件 6:2331 HBase - 分布式數(shù)據存儲 HBase Hadoop Database，是一個高 可靠性、高性能、面向列、可伸縮的 分布式存儲系統(tǒng)； HBase位于結構化存儲層，HDFS為 HBase提供高可靠性的底層存儲支持， MapReduce為HBase提供了高性能的 計算能力，Zookeeper為HBase提供了 穩(wěn)定服務

23、和故障恢復機制； Pig和Hive還為HBase提供了高層語言 支持，使得在HBase上進行數(shù)據統(tǒng)計處 理變的簡單。 6:2332 Hive - 數(shù)據倉庫工具 Hive是基于Hadoop的一個數(shù)據倉庫工具，可以將結構化的數(shù)據文件映射為一 張數(shù)據庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任 務進行運行。 其優(yōu)點是學習成本低，可以通過類SQL語句快速實現(xiàn)簡單的 MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用，十分適合數(shù)據倉庫的統(tǒng) 計分析 6:2333 可可擴展擴展 Hive可以自由的擴展集群的規(guī)模，一般情況下不 需要重啟服務 延展性延展性 Hive支持

24、用戶自定義函數(shù)，用戶可以根據自己的 需求來實現(xiàn)自己的函數(shù) 容錯容錯 良好的容錯性，節(jié)點出現(xiàn)問題SQL仍可完成執(zhí)行 Pig - 數(shù)據流分析工具 Pig是一個基于Hadoop的大規(guī)模數(shù)據分析平臺，它提供的SQL-like語言叫Pig Latin，該語言的編譯器會把類SQL的數(shù)據分析請求轉換為一系列經過優(yōu)化處理 的MapReduce運算。Pig為復雜的海量數(shù)據并行計算提供了一個簡易的操作和 編程接口。 6:2334 支持嵌套支持嵌套 Pig提供了更加豐富的數(shù)據結構 ，支持值和嵌套的數(shù)據結 構。 可擴展可擴展 Pig 被設計為可以 擴展 的，處理路徑上的每一個部分，都 是可以使用用戶定義函數(shù)（UDF

25、）進行 修改。 可重用可重用 用戶自定義函數(shù) UDF比MapReducer程序開發(fā)的庫更易于 重用。 Mahout - 數(shù)據挖掘機器學習類庫 Mahout 是一套具有可擴充能力的機器學習類庫。它提供機器學習框架的同時， 還實現(xiàn)了一些可擴展的機器學習領域經典算法的實現(xiàn)，可以幫助開發(fā)人員更加 方便快捷地創(chuàng)建智能應用程序。通過和 Apache Hadoop 分布式框架相結合， Mahout 可以有效地使用分布式系統(tǒng)來實現(xiàn)高性能計算。 6:2335 Mahout 現(xiàn)在提供 4 種使用場景的算法。 推薦引擎算法推薦引擎算法：通過分析用戶的使用行為的歷 史記錄來推算用戶最可能喜歡的商品、服務、套餐 的相關

26、物品。 聚類算法聚類算法：通過分析將一系列相關的物品等劃分 為相關性相近的群組。 分類算法分類算法：通過分析一組已經分類的物品，將其 他未分類的其他物品按同樣規(guī)則歸入相應的分類。 相關物品分析算法相關物品分析算法：識別出一系列經常一起出 現(xiàn)的物品組(經常一起查詢、放入購物 車等)。 課程設計及實驗目錄 6:2336 ZCloudZCloud云計算大數(shù)據技術實驗指導書云計算大數(shù)據技術實驗指導書 第第1 1章章 認識認識HadoopHadoop第第4 4章章 HDFS HDFS文件文件I/OI/O詳解詳解第第7 7章章 MapReduce MapReduce高級應用高級應用第第1010章章 數(shù)據倉

27、庫工具數(shù)據倉庫工具HiveHive 1.1 Hadoop概述4.1 Hadoop文件的數(shù)據結構7.1 計數(shù)器10.1 Hive的組成 1.2 Hadoop初體驗4.2 HDFS數(shù)據完整性7.2 自定義數(shù)據類型10.2 Hive的安裝 第第2 2章章 MapReduceMapReduce快速入門快速入門4.3 文件序列化7.3 自定義輸入格式第第1111章章 SqoopSqoop實戰(zhàn)實戰(zhàn) 2.1 WordCount實例第第5 5章章 Eclipse Eclipse插件應用插件應用第第8 8章章 開源數(shù)據庫開源數(shù)據庫HBaseHBase11.1 Sqoop簡介 2.2 MapReduce代碼實現(xiàn)5

28、.1 Eclipse下MapReduce開發(fā)8.1 Hbase簡介11.2 Sqoop安裝 2.3 打包、部署和運行5.2 MapReduce的Debug調試8.2 HBase入門第第1212章章 Mahout Mahout算法算法 第第3 3章章 HDFS HDFS實戰(zhàn)實戰(zhàn)5.3 單元測試框架MRUnit8.3 Hbase Shell操作12.1 Mahout的使用 3.1 認識HDFS第第6 6章章 MapReduceMapReduce編程開發(fā)編程開發(fā)第第9 9章章 Pig Pig詳解詳解12.2 Mahout數(shù)據表示 3.2 HDFS 文件系統(tǒng)訪問6.1 MapReduce簡介9.1 P

29、ig的基本框架第第1313章章 HadoopHadoop安裝安裝 3.3 HDFS API實戰(zhàn)6.2 WordCount案例分析9.2 Pig的安裝13.1 Hadoop環(huán)境安裝配置 3.4 綜合實例6.3 綜合實例9.3 Pig的使用第第1414章章 綜合實例綜合實例 Hadoop大數(shù)據部分實驗截圖 6:2337 移動互聯(lián)/物聯(lián)網時代的云浪潮 目錄 6:2338 虛擬化技術及平臺管理 大數(shù)據倉庫、分析和挖掘 物聯(lián)網海量信息分析處理 智云大數(shù)據云信息化教學平臺 物聯(lián)網海量信息分析處理 物聯(lián)網技術 物聯(lián)網-the Internet Of Things，簡稱IOT，顧名思義是把所有物品通 過互聯(lián)網

30、連接起來，實現(xiàn)任何物體、任何人、任何時間、任何地點 （4A）的智能化識別、信息交換與管理。 6:2339 物聯(lián)網應用其實可以歸納為三大領域： 最底層為設備域，以標示為特征，通過智能終 端、傳感網獲取信息，這被稱之為更透徹的感 知層； 中間為網絡域-通信網絡，以互聯(lián)為特征，基 于互聯(lián)網或移動互聯(lián)獲取更全面的信息； 最頂層為應用層，以智能分析決策為特征進行 信息處理，包括云計算和大數(shù)據分析，這是更 智能的決策。 物聯(lián)網與大數(shù)據 6:2340 物聯(lián)網對應了互聯(lián)網的感覺 和運動神經系統(tǒng)； 云計算是互聯(lián)網的核心硬件 層和核心軟件層的集合，也 是互聯(lián)網中樞神經系統(tǒng)萌芽； 大數(shù)據代表了互聯(lián)網的信息 層（數(shù)據

31、海洋），是互聯(lián)網 智慧和意識產生的基礎； 包括物聯(lián)網，傳統(tǒng)互聯(lián)網， 移動互聯(lián)網在源源不斷的向 互聯(lián)網大數(shù)據層匯聚數(shù)據和 接受數(shù)據。 物聯(lián)網應用模型 6:2341 全全 面面 感感 知知 網網 絡絡 傳傳 輸輸 應應 用用 服服 務務 數(shù)數(shù) 據據 中中 心心 M2M嵌入式數(shù)據網關平臺 智能汽車智能校園智能環(huán)境智能電網智能交通智能醫(yī)療智能家居智能安防 云計算服務器云存儲服務器應用服務器千兆網絡交換機 ZCLOUDZCLOUD 中間件中間件 物聯(lián)網中間件 6:2342 溫濕度空氣質量光敏 可燃氣體火焰人體紅外 三軸加速超聲波壓力 感知/采集 （嵌入式） 無線傳感 網絡 網關服務云服務應用服務 承載物

32、聯(lián)網應用的數(shù)據交換（無線傳感 網與互聯(lián)網）的職能 對物聯(lián)網項目大數(shù)據進行存儲、檢索、 管理、實時分析處理 提供規(guī)范的應用編程接口 物聯(lián)網數(shù)據倉庫及分析 物聯(lián)網數(shù)據中心：物聯(lián)網數(shù)據中心： 物聯(lián)網數(shù)據中心不僅包括計算機系統(tǒng)和配套設備（如通信/存儲設備），還包括冗余的數(shù)據通信 連接/環(huán)境控制設備/監(jiān)控設備及安全裝置，是一大型的系統(tǒng)工程。通過高度的安全性和可靠性 提供及時持續(xù)的數(shù)據服務，為物聯(lián)網應用提供良好的支持。 數(shù)據庫數(shù)據庫： 物聯(lián)網數(shù)據特點是海量性，多態(tài)性，關聯(lián)性及語義性，在物聯(lián)網中多種數(shù)據庫共存： 關系數(shù)據庫系統(tǒng)作為實時數(shù)據的處理，為物聯(lián)網的數(shù)據及時處理提供支撐。 新興數(shù)據庫系統(tǒng)（NoSQL數(shù)

33、據庫）針對非關系型、分布式的數(shù)據存儲，對分布式離散歷史數(shù) 據進行處理，并且基于此構建大數(shù)據分析挖掘等技術。 管理管理運維：運維： 當感知識別層生成的大量信息經過網絡層傳輸匯聚到管理服務層，管理服務層解決數(shù)據如何存 儲（數(shù)據庫與海量存儲技術）、如何檢索（搜索引擎）、如何使用（數(shù)據挖掘與機器學習）、 如何不被濫用（數(shù)據安全與隱私保護）等問題。 6:2343 物聯(lián)網在精準農業(yè)上的應用，可以實時監(jiān)測環(huán)境數(shù)據，挖掘影響產物聯(lián)網在精準農業(yè)上的應用，可以實時監(jiān)測環(huán)境數(shù)據，挖掘影響產 量的重要因素，獲得產量最大化的大數(shù)據分析處理系統(tǒng)。量的重要因素，獲得產量最大化的大數(shù)據分析處理系統(tǒng)。 智云物聯(lián) - ZClou

34、d-DataCenter 智云物聯(lián)網公共應用支撐服務平臺，提供ZCloud海量數(shù)據源的接入服 務，具備數(shù)據即時消息推送處理、數(shù)據倉庫存儲與數(shù)據挖掘等功能； 基于Hadoop集群服務器進行管理，采用分布式數(shù)據庫系統(tǒng)。 管理系統(tǒng)架構為 B/S 架構，通過 Web 瀏覽器訪問登錄平臺對數(shù)據中心 進行管理和系統(tǒng)運營監(jiān)控； 軟件系統(tǒng)包含三大主要模塊：即時消息服務、數(shù)據倉庫、監(jiān)控視頻服務； 即時消息服務：能夠接收網關的實時數(shù)據，采用非輪詢的發(fā)布/訂閱消息隊列推送 機制對數(shù)據進行消息收發(fā)，支持一對多的消息發(fā)布； 數(shù)據庫倉庫：基于HBase/Hive構建的分布式數(shù)據倉庫，可以將用戶數(shù)據采用服務 器集群進行管理

35、，多處備份，數(shù)據丟失概率小于0.1%； 監(jiān)控視頻服務：提供IP云臺監(jiān)控攝像頭的接入，支持內外網地址解析服務，能夠即 時抓拍保存圖片，支持視頻的錄制，支持云臺的自定義轉動； 軟件系統(tǒng)提供數(shù)據推送、數(shù)據存儲、數(shù)據挖掘查詢等管理功能，實時顯示監(jiān)測數(shù) 據（動態(tài)實時更新），現(xiàn)場視頻，顯示實時/歷史數(shù)據曲線； 支持自動控制策略管理，包含觸發(fā)器、定時器、執(zhí)行器、短信/電話等各個模塊的 自動控制策略管理，可以配置根據指定的傳感器/定時器觸發(fā)指定的執(zhí)行動作，能 夠監(jiān)測策略的觸發(fā)記錄等信息； 支持GPS地理位置上傳，輔助對傳感器設備的位置定位，支持GIS地圖顯示； 提供私有的數(shù)據庫使用權限，對多客戶端間共享的私有

36、數(shù)據進行存儲、查詢使用； 提供接入數(shù)據的跟蹤分析，并支持數(shù)據在線調試，通過指令對硬件數(shù)據進行遠程 控制管理。 6:2344 數(shù)據資源調度及資源分配數(shù)據資源調度及資源分配 項目分析決策項目分析決策 HadoopHadoop云計算云計算 物聯(lián)網大數(shù)據處理中心物聯(lián)網大數(shù)據處理中心 智智云物聯(lián)網中間件系統(tǒng)云物聯(lián)網中間件系統(tǒng) 智云物聯(lián)大數(shù)據源 6:2345 智云硬件庫能夠7*24小時不間斷為數(shù) 據中心提供真實的物理大數(shù)據 智云大數(shù)據處理項目案例 6:2346 基于污水廠的環(huán)境監(jiān)測系統(tǒng)，能夠實時對各種水質參數(shù)及環(huán)境參數(shù)進行采集，并且支持分布式大數(shù)據的數(shù) 據存儲，支持數(shù)據分析及挖掘，能夠對超標參數(shù)進行及時示

37、警，并且可以根據同期參數(shù)對未來趨勢進行預判， 達到智能處理的目的。 移動互聯(lián)/物聯(lián)網時代的云浪潮 目錄 6:2347 虛擬化技術及平臺管理 大數(shù)據倉庫、分析和挖掘 物聯(lián)網海量信息分析處理 智云大數(shù)據云信息化教學平臺智云大數(shù)據云信息化教學平臺 智云大數(shù)據云信息化教學平臺 中智訊推出專業(yè)實用的大數(shù)據云信息化教學平臺，幫助學生熟悉和 掌握大數(shù)據及云計算領域的前沿技術，掌握云計算與大數(shù)據的開發(fā) 方法，學習云計算虛擬化、云平臺管理、服務器集群、數(shù)據分析、 數(shù)據挖掘、數(shù)據建模、數(shù)據倉庫、物聯(lián)網大數(shù)據分析等知識。 6:2348 入云之路 - 云教學設備的選擇 6:2349 設備聯(lián)機，真實模擬大設備聯(lián)機，真實

38、模擬大 量數(shù)據節(jié)點集群場景量數(shù)據節(jié)點集群場景 按按需采購，預算可控，需采購，預算可控， 升級方便升級方便 單單設備集群主機，非虛設備集群主機，非虛 擬化的偽集群擬化的偽集群 設備間互不影響，災難設備間互不影響，災難 易恢復，方便維護易恢復，方便維護 智云旗艦產品：ZCloud-iCorex4a80 6:2350 專業(yè)的云計算教學設備/最小云服務集群 系統(tǒng) 一人一機教學/可視化的云硬件系統(tǒng) 嵌入式系統(tǒng)監(jiān)控集群狀態(tài) 可恢復集群的一鍵還原系統(tǒng) 可聯(lián)機實現(xiàn)多主機構建區(qū)域 大集群云計算服務 涵蓋云集群部署、云平臺管理、大數(shù)據、 分布式倉庫、分布式編程等全部學科 主流云架構教學體系/豐富的應用案例 Clo

39、udStack云自動化管理，支持xen /KWM/VMware等虛擬化技術 Hadoop分布式大數(shù)據系統(tǒng) 框架/數(shù)據分析挖掘技術 智云物聯(lián)網海量實時傳感數(shù) 據源/7*24小時不間斷采集 智云分布式集群倉庫系統(tǒng)和 Hadoop數(shù)據分析系統(tǒng) ZXBee輕量級無線傳感協(xié)議/多種 不同類型無線設備接入 智云B/S架構專家系統(tǒng)/Android智能應用 與高校聯(lián)合共建智云大數(shù) 據云信息化創(chuàng)新實驗室 智云物聯(lián)開放平臺共享/畢設、 課設、大賽、實訓項目輔助開發(fā) 輔助課程體系的融合/專業(yè)師資隊伍 的培養(yǎng)/定期免費師資培訓班、技術沙龍 Apache Hadoop云計算大數(shù)據認證培訓 ZCloud-iCorex4a

40、80技術參數(shù) 系統(tǒng)主要技術指標：系統(tǒng)主要技術指標： 實驗系統(tǒng)采用工業(yè)機柜結構設計，包含教學必需的管理、2*計算、主存儲、二級存 儲、網絡等單元，每個單元分區(qū)獨立設計 節(jié)點主機采用工業(yè)級服務器，支持7*24小時不間斷穩(wěn)定運行，鋁合金外殼包裝 采用Cotex-A8嵌入式系統(tǒng)對集群主機進行狀態(tài)監(jiān)控，能夠顯示運行狀態(tài)、資源消耗、 電源能耗等信息，同時可以觸摸管理各個主機系統(tǒng) 包含19寸以上液晶顯示器 提供五口千兆路由交換機 支持智云大數(shù)據源接入，集成ZCloud智云數(shù)據中心中 間件，能夠對智云物理數(shù)據進行數(shù)據分析、數(shù)據倉儲、 數(shù)據挖掘等 6:2351 ZCloud-iCorex4a80技術參數(shù) 系統(tǒng)軟

41、件主要指標：系統(tǒng)軟件主要指標： CentOS- 4.3操作系統(tǒng)，提供一鍵式安裝實施部署，包含 Linux常用組件，云虛擬化組件，ClouldStack組件 提供KVM、Xen、Vmware等虛擬化軟件及教學內容 提供云虛擬化管理軟件CloudStack-4.3，自動化安裝部署實 施，能夠構建虛擬服務器，部署各種業(yè)務系統(tǒng)，通過配置、 整合一系列軟、硬件設備為客戶構建計算、存儲資源池以及 相應服務平臺，使用戶可以按需、彈性獲取計算及存儲資源 提供分布式大數(shù)據分析系統(tǒng)Hadoop/HDFS，HBase/Hive數(shù) 據庫系統(tǒng)的數(shù)據倉庫，基于HDFS、MapReduce、HBase等應 用程序的集成開發(fā)

42、環(huán)境，大數(shù)據挖掘系統(tǒng)Mahout程序開發(fā) 提供基于智云數(shù)據中間件系統(tǒng)，支持智云數(shù)據源的數(shù)據接入 與存儲，能夠基于大數(shù)據Mahout數(shù)據挖掘系統(tǒng)開發(fā)快速查詢 最近1小時、最近1周、最近1月、最近1年及任意時間段數(shù)據 6:2452 ZCloud-iCorex4a80技術參數(shù) 管理管理& &二級存儲主機硬件參數(shù)：二級存儲主機硬件參數(shù)： CPU：賽揚 G1840 處理器 (2.80GHz,2MB,含英特爾核芯顯卡 HD Graphic GT1) 內存：8GB (2x4GB) Non-ECC DDR3 1600MHz SDRAM Memory 硬盤：500GB 7200 RPM 3.5 512e/4k

43、SATA Hard Drive 支持Intel VT虛擬化技術 網卡：千兆網卡，Wi-Fi 4 x USB2.0，1 x VGA，1 x PCI，1 x UART 自主工業(yè)級主板設計，防靜電及抗電磁干擾 嵌入式集群監(jiān)控單元（支持電容觸摸操作） 智云zigbee網關（支持ZCloud智云數(shù)據接入） 6:2453 ZCloud-iCorex4a80技術參數(shù) 計算主機硬件參數(shù)：計算主機硬件參數(shù)： CPU：酷睿 i5 4460 處理器 (3.20GHz,6MB,含英特爾核芯顯卡 HD Graphic 4600) 內存：8GB (2x4GB) Non-ECC DDR3 1600MHz SDRAM Mem

44、ory 硬盤：500GB 7200 RPM 3.5 512e/4k SATA Hard Drive 支持Intel VT虛擬化技術 網卡：千兆網卡 主存儲主機硬件參數(shù)主存儲主機硬件參數(shù) CPU：賽揚 G1840 處理器 (2.80GHz,2MB,含英特爾核芯顯卡 HD Graphic GT1) 內存：4GB (1x4GB) Non-ECC DDR3 1600MHz SDRAM Memory 硬盤：1000GB 7200 RPM 3.5 512e/4k SATA Hard Drive 支持Intel VT虛擬化技術 網卡：千兆網卡 6:2454 項目案例 - 個人私有存儲云 知識點知識點：云存儲

45、概念的介紹；Hadoop與云存儲的關系；Hadoop的HDFS簡單 上傳和下載的API使用。 實驗目的實驗目的：使用Hadoop的分布式文件系統(tǒng)（HDFS）來模擬現(xiàn)實生活當中的 云存儲服務。 6:2455 實驗內容實驗內容：學生可以通過 web 頁面來訪問 云存儲系統(tǒng)，學生注冊自己的用戶，登錄 到云存儲系統(tǒng)；學生注冊成功后，就已經 在Hadoop集群上擁有了系統(tǒng)分配的存儲空 間，然后用戶登錄成功，可以往自己的存 儲空間里上傳圖片和文件 相似業(yè)務相似業(yè)務：百度云盤 項目案例 - 氣象數(shù)據分析云 知識點知識點：云計算概念的介紹；Hadoop與云計算的關系；Hadoop的 Map/Reduce 編程

46、流程介紹。 實驗目的實驗目的：通過使用 Hadoop的Map/Reduce來模擬現(xiàn)實生活當中天氣預報的 信息預測云計算服務。 6:2456 實驗內容實驗內容：該實驗模擬的是一個全國氣溫 統(tǒng)計系統(tǒng)，老師代表氣象管理中心員，擁 有自己的超級用戶；班級里的每個學生代 表著全國內各個省市，直轄市或者自治區(qū)。 學生首先要在系統(tǒng)上注冊該地區(qū)的名稱和 ID，注冊成功后，可以登錄到系統(tǒng)，上傳 本地區(qū)一段時間的氣象數(shù)據 相似業(yè)務相似業(yè)務：中央氣象臺云分析系統(tǒng) 項目案例 - 微信人物關系云分析 知識點知識點：Hadoop的HDFS和Map/Reduce的結合使用；怎樣使用 Hadoop 建設 一個企業(yè)私有數(shù)據分析

47、云。 實驗目的實驗目的：使用Hadoop的HDFS和Map/Reduce來模擬微信賬號的個人數(shù)據和 通信數(shù)據分析，分析出兩個賬號之間可能存在的關系。 6:2457 實驗內容實驗內容：在Hadoop的集群平臺上存儲了 一些模擬微信賬號和通信數(shù)據信息，其中 包含了：姓名，年齡，性別，職業(yè)，地址， 好友信息，通信地點，通信時間，通信內 容等多維度的信息；每個學生都可以把這 個文件下載到本地進行修改回傳，作為分 析人物關系的數(shù)據依據 相似相似業(yè)務業(yè)務：QQ 好友推薦和人人網人物關 系分析 項目案例 - 智云物聯(lián)物聯(lián)網大數(shù)據 6:2458 實驗課程&配套教材 6:2459 6:2460 售后服務剪輯 Xen虛擬化 虛擬機管理工具： XenCenter 6:2462 移動互聯(lián)/物聯(lián)網時代的云浪潮 目錄 6:2463 虛