大數(shù)據(jù)教學實驗室方案復習過程

大數(shù)據(jù)教學實驗室方

案

ORACLG

鴻高明大輛喈

數(shù)據(jù)科學與大數(shù)據(jù)技術教學科研實驗室建設方案

ShanghaiRealactionSoftware&ServicesCo.fLtd.

目錄

一、數(shù)據(jù)科學與大數(shù)據(jù)專業(yè)人才定位與培養(yǎng)目標1

1.1數(shù)據(jù)科學及大數(shù)據(jù)人才定位2

1.2數(shù)據(jù)科學及大數(shù)據(jù)人才培養(yǎng)目標3

1.2.1大數(shù)據(jù)即服務架構設置4

1.2.2大數(shù)據(jù)基礎關鍵技術5

1.2.3大數(shù)據(jù)存儲和管理技術5

1.2.4大數(shù)據(jù)分析及挖掘技術5

1.2.5多媒體及非結構化數(shù)據(jù)管理與分析6

二、數(shù)據(jù)科學與大數(shù)據(jù)專業(yè)支撐平臺7

2.1企業(yè)級大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境7

2.2開放的商用及開源組件共享平臺10

2.3基于智慧教育云的實踐教學平臺11

2.3.1總體架構11

2.3.2虛擬桌面云14

2.3.3教學云平臺19

2.4中國高校大數(shù)據(jù)課程公共服務平臺23

三、數(shù)據(jù)科學與大數(shù)據(jù)專業(yè)教學資源26

3.1教學計劃支撐26

3.2核心課程設計及實驗29

3.2.1《大數(shù)據(jù)技術原理與應用——概念、存儲、處理、分析與應用》29

3.2.2《大數(shù)據(jù)即服務：云計算與數(shù)據(jù)引擎管理》33

3.2.3《大數(shù)據(jù)基礎及實戰(zhàn)課程》35

3.2.4《基于數(shù)據(jù)挖掘工作流的分析與預測》43

3.2.5《R語言企業(yè)版》44

3.2.6《大數(shù)據(jù)可視化及圖像分析》45

四、貫穿教學全過程的大數(shù)據(jù)項目案例48

4.1在線視頻點播網(wǎng)站用戶行為預測：MoviePlex49

4.1.1客戶需求概述49

4.1.2技術架構及目標描述50

4.1.3視頻網(wǎng)站門戶51

4.1.4登錄后用戶個性化界面52

4.1.5用戶Profile查詢及管理52

4.1.6電影詳細信息54

4.1.7數(shù)據(jù)采集:FLUME55

4.1.8數(shù)據(jù)組織:HUE-HIVEEDITOR-QUREY58

4.1.9數(shù)據(jù)集成:OracleDataIntegrator60

4.1.10數(shù)據(jù)分析：R-Studio61

4.1.11用戶推送：WEB呈現(xiàn)62

4.2"健康醫(yī)療大數(shù)據(jù)"：流行性感冒數(shù)據(jù)分析及趨勢預測62

4.2.1美國疾病控制中心數(shù)據(jù)集63

4.2.2世界衛(wèi)生組織數(shù)據(jù)集63

4.2.3美國衛(wèi)生及公共服務部地區(qū)分布數(shù)據(jù)集64

4.2.4世界動物健康組織流感數(shù)據(jù)集65

4.2.5世界銀行經(jīng)濟發(fā)展指標數(shù)據(jù)集66

4.2.6數(shù)據(jù)不譯概述66

4.2.7通過公眾數(shù)據(jù)源加載各種科研數(shù)據(jù)67

4.2.8分析及可視化數(shù)據(jù)67

4.2.9使用ApacheSpark分析數(shù)據(jù)69

五、科研、師資培訓與增值服務74

5.1為教學與科研提供“全數(shù)據(jù)”支撐平臺74

5.1.1數(shù)據(jù)組織74

5.1.2數(shù)據(jù)類型75

5.1.3數(shù)據(jù)采集77

5.2面向教學與科研的增值服務78

521合作開發(fā)高校自主版權的教育資源及科研成果78

5.2.2領先的行業(yè)軟件與企業(yè)級仿真工程實踐環(huán)境79

5.2.3提供技術講座及認證優(yōu)惠資源79

5.3校企合作的師資培訓與人才培養(yǎng)79

5.3.1企業(yè)師資支持79

5.3.2雙證型人才培養(yǎng)計劃80

六、方案總結與公司簡介81

6.1方案總結81

6.2公司簡介81

七、大數(shù)據(jù)實驗室配置清單83

八、大數(shù)據(jù)實驗室平面圖效果圖（參考）101

一、數(shù)據(jù)科學與大數(shù)據(jù)專業(yè)人才定位與培養(yǎng)目標

當前，在"數(shù)字中國"的時代背景下，大數(shù)據(jù)概念引起了科技界、產(chǎn)業(yè)界和政府

部門的高度關注。多份國際頂級學術刊物相繼出版專刊來專門探討對大數(shù)據(jù)的研究，

從多個方面介紹了海量數(shù)據(jù)帶來的挑戰(zhàn)，特別指出——倘若能夠更有效地組織和使用

這些數(shù)據(jù)，人們將得到更多的機會發(fā)揮科學技術對社會發(fā)展的巨大推動作用；大數(shù)據(jù)

的開發(fā)與利用已經(jīng)在互聯(lián)網(wǎng)、醫(yī)療服務、零售業(yè)、金融業(yè)、制造業(yè)、物流、電信、工

業(yè)4.0等行業(yè)廣泛展開，并產(chǎn)生了巨大的社會價值和產(chǎn)業(yè)空間；政府部門也高度重視

大數(shù)據(jù)技術，2013年初，中科院倡議應將大數(shù)據(jù)提升為國家戰(zhàn)略。由此可見，大數(shù)據(jù)

確實引起并必將掀起一股"數(shù)據(jù)革命"熱潮，在多所高等院校及科研機構間形成共

識。

計算機科學與技術（數(shù)據(jù)科學與大數(shù)據(jù)技術方向）專業(yè)為國家新增專業(yè)，該專業(yè)

主要培養(yǎng)大數(shù)據(jù)科學與工程領域的復合型高級技術人才。畢業(yè)生具有信息科學、管理

科學和數(shù)據(jù)科學基礎知識與基本技能，掌握大數(shù)據(jù)科學與技術所需要的計算機、網(wǎng)

絡、數(shù)據(jù)編碼、數(shù)據(jù)處理等相關學科的基本理論和基本知識，熟練掌握大數(shù)據(jù)采集、

存儲、處理與分析、傳輸與應用等技術，具備大數(shù)據(jù)工程項目的系統(tǒng)集成能力、應用

軟件設計和開發(fā)能力，具有一定的大數(shù)據(jù)科學研究能力及數(shù)據(jù)科學家崗位的基本能力

與素質(zhì)。畢業(yè)后能從事各行業(yè)大數(shù)據(jù)分析、處理、服務、開發(fā)和利用工作，大數(shù)據(jù)系

統(tǒng)集成與管理維護等各方面工作，亦可從事大數(shù)據(jù)研究、咨詢、教育培訓工作。

1.1數(shù)據(jù)科學及大數(shù)據(jù)人才定位

大數(shù)據(jù)是繼云計算，物聯(lián)網(wǎng)之后興起的又一新興發(fā)展方向，被學術界、工業(yè)界乃

至政府機構密切關注和廣泛研究。大數(shù)據(jù)不僅僅是面向大型企業(yè)，基于數(shù)據(jù)驅動的決

策制定過程，正迅速成為幾乎所有行業(yè)的標準，這使得在各種各樣的行業(yè)、組織和學

科中，對于數(shù)據(jù)導向的專業(yè)人才的需求空前高漲。從廣義上講，大數(shù)據(jù)人才就是具備

大數(shù)據(jù)處理能力的科學家和工程師。目前，國際上開設了大量的數(shù)據(jù)科學方面的課

程、數(shù)據(jù)科學學位計劃以及數(shù)據(jù)科學短期培訓班。從國際上設置的培養(yǎng)計劃來看，大

數(shù)據(jù)人才應該系統(tǒng)地掌握數(shù)據(jù)分析相關的技能，主要包括數(shù)學、統(tǒng)計學、數(shù)據(jù)分析、

商業(yè)分析和自然語言處理等，具有較寬的知識面，具有獨立獲取知識的能力，具有較

強的實踐能力、創(chuàng)新意識和團隊合作意識。

大數(shù)據(jù)人才首先應具備獲取大數(shù)據(jù)的能力，例如能根據(jù)任務的具體要求，綜合利

用各種計算機手段和知識，收集整理海量數(shù)據(jù)并加以存儲，為支撐相關的決策和行為

做好數(shù)據(jù)準備。同時，應具備分析大數(shù)據(jù)的能力，對于經(jīng)過預處理的各類數(shù)據(jù)，能夠

根據(jù)具體的需求，進行選擇、轉換、加載，采用有效方法和模型對數(shù)據(jù)進行分析，并

形成分析報告，為實際問題提供決策依據(jù)。最后，大數(shù)據(jù)行業(yè)的產(chǎn)生的需求本身來源

于業(yè)務應用，因此在大數(shù)據(jù)人才培養(yǎng)的過程中更應該將大數(shù)據(jù)的理論回歸業(yè)務應用，

加強學生的動手實驗操作及技術應用能力。因此，借助行業(yè)領先的大數(shù)據(jù)解決方案，

產(chǎn)品，以及教育資源，可以使學生高效的獲得大數(shù)據(jù)知識和動手實踐體驗，這是現(xiàn)代

職業(yè)所必備的數(shù)據(jù)技能。

從本專業(yè)畢業(yè)學生，不但應該具備深入了解數(shù)據(jù)科學基礎理論及大數(shù)據(jù)核心技術

原理，了解大數(shù)據(jù)基礎架構設計，了解大數(shù)據(jù)項目完整生命周期（采集，訪問，處

理，集成，分析，可視化，安全，治理，優(yōu)化……）的各個階段所需要的技能，根據(jù)項

目需求正確選擇行業(yè)常用大數(shù)據(jù)工具，熟練部署與應用相關工具。同時，作為一門源

自業(yè)務需求的跨學科專業(yè)，應該進一步突破IT熟練技工與業(yè)務需求絕緣的傳統(tǒng)定位，

加重行業(yè)特性與IT技術的粘合度，結合業(yè)務邏輯（如健康管理，醫(yī)療衛(wèi)生），能通過

選擇先進及適配的IT信息化工具提供高效能解決方案。實現(xiàn)立足技術實施培養(yǎng)，更兼

顧行業(yè)發(fā)展趨勢及需求，能準確定位行業(yè)發(fā)展趨勢及科研方向，并實現(xiàn)規(guī)劃業(yè)務流程

與大數(shù)據(jù)技術支撐架構銜接的SOA（面向業(yè)務架構設計）級別跨界人才。

I，COMPARISON

-o-JobsinDataScience一

數(shù)據(jù)科學家?■

JLJ數(shù)據(jù)工程師LVS統(tǒng)J計分析師

運用CS據(jù)分析和i十時機處理快力落■應用層和平臺層2問的數(shù)博好統(tǒng)計學BHf,并目出用以勘

從海81018中提取有價傀的僖息,并目負im骷唳構的總也嘛決小阿園的人

的人A

1.2數(shù)據(jù)科學及大數(shù)據(jù)人才培養(yǎng)目標

大數(shù)據(jù)技術是網(wǎng)絡技術、人工智能、數(shù)據(jù)庫技術等現(xiàn)代信息技術的有效結合，具

有無可比擬的先進性。同時，大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，對大數(shù)據(jù)人才提出了新的需求，國

內(nèi)各高校在積極進行大數(shù)據(jù)學術研究的同時，也開始考慮將大數(shù)據(jù)相關課程納入培養(yǎng)

體系，以滿足社會對大數(shù)據(jù)人才的需求。因此，大數(shù)據(jù)技術課程旨在培養(yǎng)能夠熟練掌

握并利用計算機技術，云計算技術，大數(shù)據(jù)存儲管理技術，大數(shù)據(jù)分析挖掘技術，具

備數(shù)據(jù)爆炸時代能夠解決實際大數(shù)據(jù)應用問題的理論與實踐能力并長的高素質(zhì)復合型

管理人才。

數(shù)據(jù)科學家數(shù)據(jù)工程師數(shù)據(jù)分析師

職責RSEPONSIBILITSES

1、根據(jù)商業(yè)需要規(guī)劃和實施1,設計.搭建.安裝.測試和維1,應用統(tǒng)計學原理和方法解決企業(yè)

數(shù)據(jù)分忻項目；護大規(guī)模數(shù)據(jù)管理系統(tǒng)；實際問題；

2、致力于數(shù)據(jù)挖瘋架物、模型2、改進數(shù)據(jù)基礎迨施、業(yè)務流程2.決定數(shù)據(jù)采集和數(shù)據(jù)發(fā)現(xiàn)的方法；

標裝、數(shù)據(jù)報告、數(shù)據(jù)分析方和數(shù)據(jù)標準；3、分折和解釋數(shù)據(jù)，承擔數(shù)據(jù)分析

法；3、在現(xiàn)有體系架構中集成新的數(shù)師一職；

3.與利益相關人合作在現(xiàn)有的據(jù)管理技術和軟件工具；4、提供數(shù)據(jù)分析結果報告；

數(shù)據(jù)系統(tǒng)中集成數(shù)據(jù)挖掘結果；4、開發(fā)用戶網(wǎng)軟件和數(shù)據(jù)分析應

4、監(jiān)督數(shù)據(jù)疙掘系統(tǒng)性隹并實用理序；

施優(yōu)化和改進.

技或SKILLS

編程、數(shù)學、統(tǒng)計學、商業(yè)理數(shù)據(jù)序設計、程序開發(fā)、數(shù)據(jù)采計算機處理能力、數(shù)學、溺研、寫作

解、數(shù)據(jù)可視化、機器學習、集、數(shù)據(jù)存儲.數(shù)據(jù)轉換、與數(shù)能力，分折、建模和解釋數(shù)據(jù)的嵋力

關注細石的他力據(jù)打交道的能力用簡單方式理解數(shù)據(jù)的數(shù)銃洞察戰(zhàn)力

1.2.1大數(shù)據(jù)即服務架構設置

大數(shù)據(jù)即服務(BigDataasaServices-BDaaS),旨在為用戶提供簡單部署在

"云計算”架構之上的Hadoop集群的能力，并且部署數(shù)據(jù)處理框架，如：

Hadoop,Spark,Yarn,Strom等。通過簡單的配置：比如Hadoop版本、集群結

構、節(jié)點硬件信息等一在用戶提供了這些參數(shù)后，BDaaS能夠迅速的把大數(shù)據(jù)集群

機構部署起來。同時也支持集群的擴容和減容。以Hadoop應用為代表的大數(shù)據(jù)分

析,是最適合在云上運行的業(yè)務之一。也正因為如此，AWS、OracleCloud、

WindowsAzure、阿里云等知名"公有云"上都推出了相關服務。同時，高等院校采

用Hadoop分布式大數(shù)據(jù)"云計算”架構，將是一個先進的融合兩大熱門技術的理想

選擇。大數(shù)據(jù)與“云計算”的結合是一個值得關注的方向。毋庸置疑，"云計算”和

大數(shù)據(jù)目前都位列IT領域中最受矚目的方向之中，而二者的結合則更是不可回避的話

題。在這種情況下，BDaaS作為一個典型的、開源的大數(shù)據(jù)與“云計算”結合方案，

必然是值得關注的。特別是，如果希望對這個方向有一個清晰直觀的、技術層面上的

認識，BDaaS則更是一個可以重點分析學習的對象。

1.2.2大數(shù)據(jù)基礎關鍵技術

大數(shù)據(jù)時代面臨的新挑戰(zhàn)，包括大數(shù)據(jù)集成（數(shù)據(jù)異構性和數(shù)據(jù)質(zhì)量問題）、大

數(shù)據(jù)分析（數(shù)據(jù)形式多樣化、數(shù)據(jù)處理的實時性、索引結構的復雜性等）、大數(shù)據(jù)隱

私問題（隱私保護和數(shù)據(jù)分析的矛盾）、大數(shù)據(jù)能耗問題（低功耗硬件的設計）、大

數(shù)據(jù)處理與硬件的協(xié)同、大數(shù)據(jù)管理易用性問題以及性能測試基準。

1.2.3大數(shù)據(jù)存儲和管理技術

如何把采集到的大數(shù)據(jù)存儲起來，建立相應的數(shù)據(jù)庫，并進行管理和調(diào)用。主要

內(nèi)容包括：分布式文件系統(tǒng)（HDFS）、去冗余及高效低成本的大數(shù)據(jù)存儲技術、新型

數(shù)據(jù)庫技術（鍵值數(shù)據(jù)庫，列式存數(shù)據(jù)庫、圖存數(shù)據(jù)庫以及文檔數(shù)據(jù)庫等）、異構數(shù)

據(jù)融合技術、分布式非關系型大數(shù)據(jù)管理與處理技術、大數(shù)據(jù)索引技術和大數(shù)據(jù)移

動、備份、復制等技術。

1.2.4大數(shù)據(jù)分析及挖掘技術

從大量數(shù)據(jù)中尋找其規(guī)律的技術，通常由數(shù)據(jù)準備、規(guī)律尋找和規(guī)律表示3個階

段組成。數(shù)據(jù)準備是從上述大數(shù)據(jù)中心存儲的數(shù)據(jù)中選取所需數(shù)據(jù)并整合成用于數(shù)據(jù)

挖掘的數(shù)據(jù)集；規(guī)律尋找是用某種方法將數(shù)據(jù)集所含規(guī)律找出來；規(guī)律表示則是盡可

能以用戶可理解的方式（如可視化）將找出的規(guī)律表示出來。根據(jù)挖掘任務可分為分

類或預測模型發(fā)現(xiàn)、數(shù)據(jù)總結、聚類、關聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關系或依

賴模型發(fā)現(xiàn)、異常和趨勢發(fā)現(xiàn)等。

1.2.5多媒體及非結構化數(shù)據(jù)管理與分析

大數(shù)據(jù)不單單意味這數(shù)據(jù)量發(fā)生了巨量提升，更重要的在于數(shù)據(jù)類型以及可用于

業(yè)務分析的數(shù)據(jù)格式也在不斷豐富。新的數(shù)據(jù)類型也正在對傳統(tǒng)數(shù)據(jù)源和熟悉的商務

智能活動進行補充。例如，網(wǎng)絡日志文件可跟蹤網(wǎng)站訪問者的運動，這將揭示何人、

何時、在何處、訪問了該網(wǎng)站。這種數(shù)據(jù)可揭示人們與您網(wǎng)站的交互情況。社交媒體

有助于您了解人們想些什么或者他們對某些事情的感覺。數(shù)據(jù)可來源于網(wǎng)頁、社交媒

體網(wǎng)站、微博、博客、"微信"的朋友圈、電子郵件交流、搜索索引、點擊流、設備

傳感器和所有類型的多媒體文件（包括音頻、視頻和攝影）。隨著計算機網(wǎng)絡，分布

式計算的發(fā)展，對多媒體信息進行高效的管理，存取，查詢已經(jīng)成了一種迫切需求。

數(shù)據(jù)科學與大數(shù)據(jù)人才所采用的數(shù)據(jù)分析資源不單包括傳統(tǒng)的數(shù)據(jù)源，同時應該有能

力將數(shù)據(jù)庫的可靠性、可用性和數(shù)據(jù)管理擴展到了傳統(tǒng)、互聯(lián)網(wǎng)、電子商務和多媒體

應用程序中的多媒體內(nèi)容。除存儲和檢索大圖像外，還了解如何提取圖像屬性，包括

以下圖像的高度、寬度和壓縮格式：這些圖像包含的像素高達二十億，或者分辨率高

達46000x46000。

二、數(shù)據(jù)科學與大數(shù)據(jù)專業(yè)支撐平臺

2.1企業(yè)級大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境

大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境，是面向國內(nèi)高等院校大數(shù)據(jù)學科及研究院建設，本科

及工程碩士實習教學，及教師及科研項目團隊開發(fā)等多種應用場景，專門為高校教師

與學生定制化開發(fā)，基于企業(yè)真實的大數(shù)據(jù)業(yè)務開發(fā)環(huán)境全面仿真，匹配至高校教學

與科研應用場景的整體系統(tǒng)環(huán)境。借助"云計算”平臺的優(yōu)勢，工程實踐系統(tǒng)環(huán)境之

間相互獨立應用，以虛擬機文件格式交付，可供大數(shù)據(jù)專業(yè)學生、項目開發(fā)小組，及

科研開發(fā)團隊，分別完成大數(shù)據(jù)學習及端到端的項目開發(fā)全生命周期的實驗操作，工

程實踐及項目開發(fā)。

滿足高校大數(shù)據(jù)專業(yè)人才培養(yǎng)需求，端到端業(yè)務流

程支持的產(chǎn)品與平臺架構

>流》獲取》組織/安全〉分析〉可視化/決策

港e?

g匕

口

K<一

3二

合

@3

InfiniBands

e

Hq

e

K_

rae

密Ja

.

s

大數(shù)據(jù)基礎平臺

基于大數(shù)據(jù)業(yè)務的行業(yè)最佳實踐經(jīng)驗，將滿足大數(shù)據(jù)端到端的業(yè)務流程的核心平

臺在大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境內(nèi)部，包括：大數(shù)據(jù)基礎平臺，高級分析與R語言平

臺，大數(shù)據(jù)可視化探索平臺。采用統(tǒng)一的集成化系統(tǒng)，滿足高等院校面向多學科，多

學院，包括：計算機學院，軟件學院，商學院，管理學院，梳理學院的大數(shù)據(jù)專業(yè)設計

需求，并滿足多種項目科研方向的需求。

滿足多學科大數(shù)據(jù)專業(yè)設計及科研方向的業(yè)務平臺

析方向臺部署方向深度挖掘算法分析方向

型學院）（數(shù)理學院）

業(yè)

開

?信息結構

務

?市場營銷售?采樣jm計方海發(fā)?噓/S與報告

分

?客戶關系1?8m庫開發(fā)挖?數(shù)據(jù)清洗

?業(yè)務分析:?信息系統(tǒng)分析與設計

析

策略與管理掘

?IT.

?商業(yè)智能一?數(shù)據(jù)管治與安全?空間位置雌分析

?圖表分析?IT安全策略與流程?骷8可視化

?營銷預測與判斷?單/多趣性回歸

?數(shù)據(jù)倉庫設計與部署?高級建模

?分析及信息管理

|*L

?企業(yè)信息慘構設計-顏L

?資產(chǎn)頻?商業(yè)智能

?供應鏈優(yōu)化?分析及信息管理

?ggilgS?-雌^

ORACLE大數(shù)蒯索平臺ORACLE大數(shù)據(jù)基礎平臺ORACLE高級分析及R語言平臺

對應相關課程模塊教學與實驗需求，預裝包含：系統(tǒng)環(huán)境，功能連接中間件，應

用數(shù)據(jù)庫，SQL大數(shù)據(jù)數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫，教學及科研用示例數(shù)據(jù)資源，以及面

向專業(yè)類開發(fā)，管理，調(diào)優(yōu)等功能組件及應用軟件，滿足相關教學與實驗所需的應用

場景。大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境保持每年隨技術升級至少三次整體更新，提供未來3

年系統(tǒng)及組件升級服務，含：ORACLE操作系統(tǒng)，數(shù)據(jù)庫，軟件；課程體系及教材，

實驗，項目案例，源代碼，教學用數(shù)據(jù)案例等教學資源。最新版本的大數(shù)據(jù)工程實踐

系統(tǒng)環(huán)境包含軟件及版本包括：

開源|商用|性能中間件

?Linux6.7-支持開源

?OracleDatabase12cRelease1EnterpriseEdition()

■OracleBigDataSQL-enabledexternaltables,

■OracleMultitenant,

■OracleAdvancedAnalytics,

■OracleOLAP,

■OraclePartitioning,

■OracleSpatialandGraph,

?ClouderaDistributionincludingApacheHadoop(CDH5.5.1)-開源

?ClouderaManager(5.5.1)-支持開源

?OracleBigDataSpatialandGraph1.1.2

?OracleBigDataDiscovery1.1.1

?OracleBigDataConnectors4.4

?OracleSQLConnectorforHDFS3.4.0

?OracleLoaderforHadoop3.5.0

?OracleDataIntegrator12c

?RAdvancedAnalyticsforHadoop2.5.1-支持開源

?OracleXQueryforHadoop4.2.1

?NoSQLDatabaseEnterpriseEdition12cRl(3.5.2)-支持遷移

?JDeveloper12c(12.1.3)-支持開源

?SQLDeveloperandDataModeler4.1.3withOracleRESTData

Services3.0.3-支持SQL代碼開源

?OracleDataIntegrator12cRl(12.2.1)

?OracleGoldenGate12cR2()

?RDistribution3.2.0-支持開源

?OraclePerfectBalance2.6.0

可以發(fā)現(xiàn)，大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境保持著開放的態(tài)度，為高校架設了一個面向

開源生態(tài)圈的統(tǒng)一平臺，僅僅保留傳統(tǒng)數(shù)據(jù)庫12c與性能優(yōu)化相關組件。同時，在大

數(shù)據(jù)工程實踐系統(tǒng)環(huán)境中安裝一站式的系統(tǒng)服務管理平臺，用戶及管理員均可以通過

直觀的管理界面，根據(jù)課程及科研項目需求啟動或者關閉特定服務，以匹配實際需

求：

Usethearrowkeystonavigatebetweenservices.Usethespacebartoselect

servicestostart.Deselectservicestostopthem.Hit<enter>toacceptthe

changes,<CTRL>-ctocancel.

Note:UsingClouderaManagerandmanuallystartingservicesaremutually

exclusive；youmuststoponetoaccesstheother.Also,pleaseperfoma

systemrebootaftershuttingdownClouderaManager.

WEQ!HoracleDatabase^2c7offW

[?]Zookeeperzookeeper(on)

[,]HOFSnamenode(on)secondarynamenode(on)hadoop-httpfs(on)

]Hivemetastore(off)hive-server2(off)

(1HueHue(off)

[]I?ipalaimpala-server(off)catalog(off)state-store(off)

[]NoSQLOracleNoSQLDatabase(off)

[]Oozieoozie(off)

[]Solrsolr-server(off)

I1Sqoop2sqoop2-server(off)

[]WebLogic-MovieDe：WebLogic-MovieDemo(off)

[*]YARNresourcemanager(on)nodemanager(on)history-server()

2.2開放的商用及開源組件共享平臺

開源共享必然是科研與技術發(fā)展的潮流，大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境本身，基于

ORACLE開源Linux發(fā)行版部署，借助靈活開放的系統(tǒng)接口,高校師生可以自由靈活

的在系統(tǒng)平臺上加載其他商用及開源軟件。

大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境中，不單提供了基于ORACLE核心技術的ORACLE婁媚

庫12c,大數(shù)據(jù)SQL,大數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)可視化探索平臺(ORACLEBigData

Discovery),高級數(shù)據(jù)挖掘分析套件；同時，還提供了全球最大的大數(shù)據(jù)企業(yè)解決方

案公司Cloudera的開源大數(shù)據(jù)開源套件：ClouderaDistributionof

在高?？蒲协h(huán)境中，科研項目小組完全可以通過調(diào)用基于開源平臺的

Hadoop(CDH)o

大數(shù)據(jù)開發(fā)環(huán)境與完整的Apache開源項目，實現(xiàn)獨立及靈活自主的項目開發(fā)與科研

探索，組件包括：

ApacheHadoop(Core)

ApacheAccumulo

ApacheFlume

ApacheHBaseSpork

ApacheHive

HUE

Impala

ApacheKafka

ApachePig

ApacheSentry

ClouderaSearch

ApacheSpark

ApacheSqoop

2.3基于智慧教育云的實踐教學平臺

23.1總體架構

基于智慧教育云的實踐教學平臺依托于云計算、虛擬化以及大數(shù)據(jù)技術，將分散

的IT軟硬件資源與教學資源整合在一起，通過統(tǒng)一的教學平臺，向用戶提供各種服

務，其總體架構如圖所示。

通過教學

管理客戶

端“學寶”

環(huán)

實現(xiàn)單用環(huán)

戶跨課程境

境闞恤、

的多桌面分

分教學奧源和實踐敦學費源和實踐

獨立的,多

應用組

組環(huán)境打包的桌面環(huán)境打包的桌面

樣性的實踐

1統(tǒng)一分發(fā)給用戶N分發(fā)給用戶

環(huán)境

PaaS

各種學

專業(yè)實驗

環(huán)境提供

云博教育云教學資源計算機專業(yè)環(huán)文科實驗環(huán)境人文和經(jīng)濟數(shù)云計算大數(shù)據(jù)

數(shù)據(jù)挖掘

平臺笞理服務境管理服務服務據(jù)庫資源服務實訓環(huán)境服務

和報表

在KVMXMicrosoft

□。吧鄴k8SWindowsAzure白戰(zhàn)黑亮

laaS

UCLOUDamazon

_we_b_serv_ic_es-J

總體架構按照云計算的服務模式劃分，可以分為三個層次。

最底層laaS是有機地整合在一起的IT資源，包括計算資源、網(wǎng)絡資源和存儲資

源。統(tǒng)一的云計算管理平臺將這些資源進行虛擬化管理，向上提供基礎服務，包括分

布式數(shù)據(jù)存儲與計算服務、負載管理、數(shù)據(jù)備份等。這一層使用服務器虛擬化技術，

將分布式計算資源進行整合，達到統(tǒng)一管理和使用的目的。

中間的PaaS層為云平臺業(yè)務調(diào)度中心，包括統(tǒng)一身份認證管理、各種教學業(yè)務

引擎、各種教學應用服務器、教學資源管理、數(shù)據(jù)統(tǒng)計和分析功能等。這一層使用虛

擬化技術將各種實踐環(huán)境需要的實驗工具、業(yè)務與管理支持工具、實踐教學管理工具

等有機地整合在一起，對上一層應用進行按需分配。

SaaS包含了向最終用戶提供的各種服務以及各種調(diào)用方式。一種方式為一般桌面

應用，提供基礎的桌面環(huán)境和辦公、實驗工具。另外一種方式為通過教學平臺，將課

程資源和課程需要的專業(yè)實踐環(huán)境進行打包整合來為用戶進行服務。調(diào)用資源的終端

可以為PC、筆記本電腦、各種云終端和平板電腦。

總體架構從組成形式來看，主要如下圖所示。

教學模式創(chuàng)新。過程性評價。實訓實險室“在線作業(yè)、考試，

墓課、翻轉課堂,以學生為中心科研活動"其他應用。

八

在最底層，是整個智慧教育云的基礎架構，包含服務器、存儲設備、網(wǎng)絡安全等

軟硬件設備。在此基礎上，有一個虛擬桌面云，將基礎軟硬件設備整合為各種業(yè)務場

景資源、計算資源、存儲資源、網(wǎng)絡資源等。根據(jù)生產(chǎn)實踐型教學體系，將企業(yè)真實

案例等資源分解整合為生產(chǎn)實踐型教學資源庫，并通過虛擬桌面云來提供虛擬化實訓

環(huán)境。通過教學云平臺，對教學資源、實訓環(huán)境進行統(tǒng)一管理，組織實施教學過程、

教學活動。通過教學資源庫與教學云平臺的融合，提供各種應用場景，以開展教學模

式創(chuàng)新、實訓實驗室建設、在線考試以及其他各種應用。

大數(shù)據(jù)/移動互聯(lián)網(wǎng)/物聯(lián)部署實訓套件OpenStack平

網(wǎng)/云計算/金融分析/商臺并提供VDI桌面交付

業(yè)智能/網(wǎng)絡安全/數(shù)字媒

Oracle測試優(yōu)化實驗室應實驗室實訓套件通過學生接入

體/電子商務/互聯(lián)網(wǎng)營銷

用平臺,創(chuàng)建虛機模板Oracle交付

實訓套件

ORAULW

E-BUSINESSSUITE

+

ORACLW

SOLARIS

“云博"教學平臺

通過預安裝體驗套件實現(xiàn)平臺部署

2.3.2虛擬桌面云

虛擬桌面云是采用全球領先的服務器虛擬化、用戶桌面虛擬化、云存儲、云安

全、云管理技術，自主研發(fā)的一項云計算應用實例。虛擬桌面云利用云計算技術在高

校數(shù)據(jù)中心內(nèi)搭建一個服務器集群，通過創(chuàng)建多個虛擬機來提供遠程虛擬桌面；以

"虛擬機"和"虛擬桌面”的形式向用戶提供所需的計算、存儲和應用程序等個性化

內(nèi)容。用戶不再需要使用傳統(tǒng)PC終端，而是通過多種精簡且便捷的云終端設備通過網(wǎng)

絡訪問遠程虛擬桌面的形式獲得屬于自己的計算與存儲能力、個性化的應用與數(shù)據(jù)內(nèi)

容，實現(xiàn)與PC一致的使用體驗。

虛擬桌面云解決了傳統(tǒng)PC構架下，數(shù)據(jù)分散、安全性低、部署復雜、維護工作量

大、難于管理、能耗巨大、資源浪費等問題，實現(xiàn)了數(shù)據(jù)高安全性、用戶高便利性、

系統(tǒng)易管理性、桌面高可用性與綜合成本最低化等特征。

(1)數(shù)據(jù)高安全

在虛擬桌面云架構下，任何用戶數(shù)據(jù)的處理和存儲，都是在服務器端進行處理和

完成的，同時，用戶的數(shù)據(jù)和桌面環(huán)境保存在專門的后臺存儲設備中，保證了用戶數(shù)

據(jù)資料的安全管理與可靠存儲。

所有終端的接入都經(jīng)過嚴格的認證過程，只有被認證的合法終端才能夠接入自己

的虛擬桌面。用戶終端與虛擬桌面云之間傳輸?shù)母鞣N信息，全部按照SSL標準進行加

密，確保數(shù)據(jù)從錄入、處理、呈現(xiàn)、存儲全過程的安全。

用戶終端相連的U盤等所有外設設備，都必須經(jīng)過嚴格的控制與認證管理，才能

夠被使用，并且可以從后臺直接進行"禁用/啟用"管理。

(2)系統(tǒng)易管理

在PC模式下大規(guī)模部署的環(huán)境下，IT管理人員需耗費大量精力和時間去配置每

一臺PC終端。采用虛擬桌面云方案，桌面環(huán)境僅需在后臺制作一個母鏡像，即可以批

量復制的方式，分發(fā)給所有虛擬機，在極端的時間內(nèi)完成部署，現(xiàn)場維護工作量隨之

將大大減少。

虛擬桌面云架構實現(xiàn)了桌面?zhèn)€性化與統(tǒng)一管理的平衡，既可以放開所有權限，使

用戶擁有最大化的自由度、享受個性化的便利；也可以采用統(tǒng)一管理的模式，對用戶

桌面環(huán)境和權限進行統(tǒng)一的管理。管理員不僅可以對每一個終端、每一個用戶，在后

臺靈活地調(diào)度與管理服務器資源、存儲資源、虛擬內(nèi)存、虛擬CPU等各種虛擬資源，

也可以遠程登錄虛擬桌面云服務器，對所有虛擬資源進行有效管理。

X*??Id*?似帆9

□□一杳磔

?云?夏38MS

號人號出啟動美機WHO任務管理紀量主磯

,QKWW

a系線狀靠$兄使用*?nr*S?五?d?Td

再比不可修改1?53::55

>Jj片口寸&XPUnWMl，m0取機停止再修改10色安?SOL8ERVER2005

”2515

ubuntutiienn運行中m修改ubuntu

▼(■南m1442

〃

町伸小

9用戶V*n7.X32停止(6V*?N7JG2

色自

*蜀云WM

■(lefauttCiusMfA

fdefaunclusterB

foefaultCMterC

?detunehrttarD

J<?3“本值.|情僧―|歷史|

Anew膝CPVBI

內(nèi)W大小(MB)星存大小(MB)

Bit

I

(3)桌面高可用

在傳統(tǒng)PC模式下，用戶往往因為PC設備的軟硬件故障，導致用戶數(shù)據(jù)丟失與用

戶使用環(huán)境重置。采用虛擬桌面云模式，所有的桌面內(nèi)容和用戶數(shù)據(jù)，以鏡像的方式

集中存儲于高性能的存儲設備中，并會得到自動的、安全的備份，即使用戶正在處理

的、未保存的數(shù)據(jù)也不會因為用戶端的突發(fā)故障而丟失。

虛擬桌面云服務器間構建集群，并且虛擬機采用動態(tài)啟動模式、用戶桌面鏡像單

獨保存在存儲設備中，最大限度降低因軟硬件故障造成用戶數(shù)據(jù)丟失和桌面環(huán)境重置

的風險，也有力保證了用戶工作與學習的連續(xù)性和高可用性。

(4)用戶高便利

通過虛擬桌面云,用戶的使用環(huán)境不再局限于某臺具體的PC,而是可以在任何時

間、任何地點，通過BYOD的方式，快速訪問自己的虛擬桌面，實現(xiàn)靈活的、移動式

的工作與學習。而且，因為用戶的虛擬桌面是存儲于服務器端，用戶通過不同的終端

設備訪問，都可以獲得一致性的使用體驗。

如果同一用戶需要不同的虛擬環(huán)境，比如不同的操作系統(tǒng)、不同的應用軟件，無

需配置多臺PC,只需要在虛擬桌面云端開設多個虛擬環(huán)境，即可滿足用戶的多樣化需

求。與此類似，如果用戶對硬件資源有新需求，也不用改變用戶設備的配置，只需要

在虛擬桌面云端調(diào)整用戶的虛擬CPU、虛擬內(nèi)存、虛擬硬盤等虛擬硬件配置，即可使

用戶獲得彈性的計算與存儲能力。

(5)綜合成本低

采用虛擬桌面云架構，所有計算、存儲、網(wǎng)絡、應用等資源都部署在數(shù)據(jù)中心,

并通過虛擬化技術統(tǒng)一管理，實現(xiàn)資源共享與彈性的調(diào)度，只有在用戶需要時，才提

供實際資源，因此可以有效地控制能耗，實現(xiàn)節(jié)能減排。

采用虛擬桌面云架構，還可以利用原有的無法滿足新應用的計算速度與使用需求

的舊設備，使其變?yōu)楸镜赜嬎隳芰σ筝^低的云終端。另外，BYOD的使用方式，使

得終端設備的采購、運營成本降低，軟硬件環(huán)境的維護、管理成本也有所下降，最終

達到綜合成本降低的目的。

2.3.3教學云平臺

教學云平臺用來提供全方位的教學過程支撐環(huán)境，包括資源管理、課程組織，教

學互動，教學統(tǒng)計等功能，并且可以和教學資源庫有機結合。根據(jù)國內(nèi)院校的使用習

慣，教學云平臺融合了MOOC,翻轉課堂等教學形式和理念，并基于云計算、大數(shù)據(jù)

分析技術，通過智能輔導及多媒體資源，為老師和學生提供個性化的交互性教學與實

踐環(huán)境，并為管理者提供統(tǒng)一的教務管理途徑。

教學云平臺的功能特色主要有：

(1)支持教學創(chuàng)新

通過教學云平臺，能夠全面呈現(xiàn)各學院下各專業(yè)課程的教學過程和相關數(shù)據(jù)，方

便教學管理?？梢詰靡訫OOC,翻轉課堂為代表的混合式教學等多種新型教學模

式，支持教師對課程進行課前課中課后的個性化設計，滿足專業(yè)改革、課程改革的需

求。

(2)教學輔助管理

教學云平臺可以和教學指導、多媒體資源、習題庫、實踐案例庫等多種教學資源

有機結合，并支持教師上傳自己積累的教學內(nèi)容，形成個性化的課程內(nèi)容。通過教學

過程組織，實現(xiàn)備課、作業(yè)布置提交與批改、教學過程檢杳等系統(tǒng)管理。

(3)教學數(shù)據(jù)分析

教學數(shù)據(jù)分析包含學生成績、教學活動統(tǒng)計等多個層面，可以客觀真實地體現(xiàn)學

生的學習情況以及教學活動的實施情況。這些有效數(shù)據(jù)的匯總可以有效幫助教師調(diào)整

教學方案，提高教學效果。同時，數(shù)據(jù)的積累與分析，也有助于綜合化的教學評價、

可量化的教學過程、個性化的教學模式、可視化的教育管理、數(shù)據(jù)化的教育決策等改

革與創(chuàng)新的實施。

(4)"學寶"客戶端

教學云平臺配備有"學寶”客戶端，使用者可以BYOD形式訪問平臺，客戶端采

用類似QQ界面，賬號與老師工號和學生學號結合，免培訓，操作簡單，使用便捷。

此外，教師和學生可通過"學寶"客戶端進行實時的互動與反饋，或者遠程查看學生

實踐活動環(huán)境，進行遠程指導。

(5)跨系統(tǒng)集成

教學云平臺具有第三方接口，可與學校教務系統(tǒng)對接(如青果、正方、

Blackboard等),配合教務系統(tǒng)對教學過程全程管理。也可與考試系統(tǒng)、MOOC平

臺、網(wǎng)絡教學平臺等高校其他應用集成。

教學云平臺的主要功能包括：

(1)教學資源管理

支持文本、圖像、音頻、視頻等主流資源格式；

支持多層次結構化管理，支持模糊檢索，支持樹形結構展示；

支持對校內(nèi)資源知識產(chǎn)權進行加密保護;

支持批量轉換、打包上傳、校內(nèi)共享等功能;

支持在線學習、課堂教學、作業(yè)考試、實驗實訓等教學活動。

,?Mrtrw?w?<

/AX?*>XHMit■!,

j???*?????

jaiwwww.t.x.

)>i<

?_i**?????

jSmrejniMitu,

,PWWtWHiwa.

?一E：*Eht

jiwirwMMH.1.物業(yè)管理;

glMBMif<u

」”卻得的B4"*1，

」《WMWa?,

；既?什■1?用例表示