高校大數(shù)據(jù)試驗(yàn)室建設(shè)解決方案

1、高校大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)方案一、 建設(shè)目標(biāo)章魚大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)目的是作為大數(shù)據(jù)教課實(shí)驗(yàn)及科研平臺(tái)，包含數(shù)據(jù)發(fā)掘與大數(shù)據(jù)剖析平臺(tái)。 實(shí)驗(yàn)室的設(shè)計(jì)全面落實(shí) “產(chǎn)、學(xué)、研、用” 一體化的思想和模式，從教課、實(shí)踐、科研和使用多方面著重專業(yè)人材和特點(diǎn)人材的培育。利用虛構(gòu)化教課資源，搭建教課系統(tǒng)和集群平臺(tái)，將理論學(xué)習(xí)、實(shí)踐教課和大數(shù)據(jù)項(xiàng) 目實(shí)戰(zhàn)融為一體，由難而易、順序漸進(jìn)，逐漸提高學(xué)生的學(xué)習(xí)技術(shù)和實(shí)踐水平，提高“學(xué)”的質(zhì)量和收效。利用大數(shù)據(jù)剖析主流軟件框架，搭建與業(yè)界主要用戶一致 的實(shí)驗(yàn)與科研環(huán)境，將理論課程中學(xué)到的數(shù)據(jù)發(fā)掘算法運(yùn)用到實(shí)質(zhì)的數(shù)據(jù)剖析過程中，提 高學(xué)生的著手操作和項(xiàng)目實(shí)踐能力。使得學(xué)生所學(xué)與公

2、司項(xiàng)目人材需求無縫連接，與教師 的科研工作密切配合。經(jīng)過專業(yè)的大數(shù)據(jù)剖析計(jì)算資源搭建的開放式大數(shù)據(jù)剖析平臺(tái)，能夠充足的交融教 師的科研需求，教師能夠在開放的平臺(tái)環(huán)境下展開大數(shù)據(jù)科研工作，提高教師的科研創(chuàng)新 能力，充足提高“研”的收效。二、產(chǎn)品優(yōu)勢交互式學(xué)習(xí)模式供給系統(tǒng)完好、簡單易用的在線教課講堂；以基礎(chǔ)知識(shí)學(xué)習(xí)、在線視頻教課、習(xí) 題、線上測試、評(píng)估等為主線的一系列方法，保證學(xué)生在短時(shí)間內(nèi)掌握大數(shù)據(jù)虛構(gòu)仿 真切驗(yàn)、剖析部署技術(shù)。真機(jī)實(shí)驗(yàn)訓(xùn)練實(shí)驗(yàn)訓(xùn)練系統(tǒng)設(shè)計(jì)成各模塊相對(duì)獨(dú)立的形式，各模塊交互式的實(shí)驗(yàn)任務(wù)、大數(shù)據(jù)實(shí)驗(yàn)機(jī)、實(shí)質(zhì)項(xiàng)目上機(jī)操作， 經(jīng)過多方向的訓(xùn)練， 最后靈巧的、漸進(jìn)式地掌握大數(shù)據(jù)生態(tài)系統(tǒng)。

3、大數(shù)據(jù)實(shí)戰(zhàn)及事例剖析供給實(shí)驗(yàn)數(shù)據(jù)，包含網(wǎng)站流量數(shù)據(jù)、租房及二手房數(shù)據(jù)、電商商品交易數(shù)據(jù)、搜尋引 擎接見等多種行業(yè)數(shù)據(jù)，數(shù)據(jù)內(nèi)容超出 20TB ,同時(shí)周期更新數(shù)據(jù)內(nèi)容。充足支撐科研工作供給行業(yè)數(shù)據(jù)及事例解剖用于基礎(chǔ)研究，供給數(shù)據(jù)剖析方案及流程，供給數(shù)據(jù)更新接 口，能夠?qū)π袠I(yè)數(shù)據(jù)進(jìn)行剖析統(tǒng)計(jì)，按需求生成數(shù)據(jù)報(bào)表，為科研工作供給數(shù)據(jù)支撐。例如某地域經(jīng)濟(jì)數(shù)據(jù)剖析、股市數(shù)據(jù)剖析、全國地震數(shù)據(jù)剖析、食品價(jià)錢行業(yè)數(shù)據(jù)剖析等三、建設(shè)規(guī)模依據(jù)60臺(tái)大數(shù)據(jù)實(shí)驗(yàn)機(jī)容量進(jìn)行同時(shí)在線使用進(jìn)行建設(shè)為基礎(chǔ)，整系統(tǒng)統(tǒng)供給迅速擴(kuò)容升級(jí)服務(wù)。四、硬件配置采納十六臺(tái)高性能品牌服務(wù)器作為大數(shù)據(jù)節(jié)點(diǎn)進(jìn)行建設(shè)，采納公司級(jí)全千兆三層互換

4、機(jī)進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)互換。每臺(tái)節(jié)點(diǎn)的配置以下：辦理器每節(jié)點(diǎn)支持 2個(gè)英特爾？至強(qiáng)？辦理器 E5-2650 CPU高速緩存15MBQPI總線速率內(nèi)存供給12個(gè)內(nèi)存插槽，林配 192G內(nèi)存，支持茴級(jí)內(nèi)存糾錯(cuò)，內(nèi)存鏡像，內(nèi)存熱備等局級(jí)功能磁盤標(biāo)配4塊3TB SATA硬盤標(biāo)配2塊120G SSD硬盤300G 10000轉(zhuǎn)SAS系統(tǒng)盤網(wǎng)絡(luò)控制器集成1個(gè)高性育汗兆以太網(wǎng)控制器（雙口），支持虛構(gòu)化加快，網(wǎng)絡(luò)加速，負(fù)載平衡，冗余等高級(jí)功能電源標(biāo)配大功率高效白金級(jí)電源，1+1冗余虛構(gòu)化技術(shù)支持 VMware vSphere、Docker、OpenStack 等五、軟件平臺(tái)介紹1、大數(shù)據(jù)教課管理系統(tǒng)專業(yè)管理供給對(duì)專業(yè)信

5、息的增添、刪除、改正、查問功能。班級(jí)管理供給對(duì)專業(yè)部下班級(jí)的增添、刪除、改正、查問功能。學(xué)生管理供給對(duì)班級(jí)內(nèi)學(xué)生的管理，學(xué)生內(nèi)容包含姓名、學(xué)號(hào)、所屬班級(jí)、所屬專業(yè)、聯(lián)系手機(jī)、登錄次數(shù)等內(nèi)容。溝通日記查閱對(duì)實(shí)驗(yàn)機(jī)分享溝通的內(nèi)容進(jìn)行查問，包含溝通IP、有關(guān)學(xué)員、有關(guān)老師、實(shí)驗(yàn)機(jī)編號(hào)、溝通內(nèi)容等內(nèi)容。成績管理關(guān)于學(xué)習(xí)中心在線學(xué)習(xí)的學(xué)習(xí)查核成績進(jìn)行管理，包含查問及刪除等功能。學(xué)習(xí)記錄供給每個(gè)學(xué)生在學(xué)習(xí)中心平臺(tái)內(nèi)學(xué)習(xí)課程的學(xué)習(xí)記錄，包含日期、計(jì)劃、課程、章節(jié)、學(xué)習(xí)IP等。學(xué)習(xí)行為報(bào)表對(duì)全部學(xué)生的課程學(xué)習(xí)記錄進(jìn)行統(tǒng)計(jì)，包含個(gè)體統(tǒng)計(jì)、班級(jí)統(tǒng)計(jì)、全體統(tǒng)計(jì)等。課程管理對(duì)學(xué)習(xí)課程進(jìn)行查問、改正、刪除等操作。開通課

6、程計(jì)劃關(guān)于學(xué)習(xí)開課計(jì)劃的字段內(nèi)容包含計(jì)劃名稱、講課講課老師、講課時(shí)間段、開通狀 態(tài)、同意申請周期，同意申請人數(shù)等，功能供給綁定課程計(jì)劃有關(guān)實(shí)訓(xùn)平臺(tái)課程、講課助 教、云實(shí)驗(yàn)機(jī)綁定、實(shí)驗(yàn)任務(wù)綁定等功能。課程測試習(xí)題管理供給對(duì)課程有關(guān)的習(xí)題管理，題型包含單項(xiàng)選擇、多項(xiàng)選擇、判斷題等種類，對(duì)習(xí)題進(jìn)行增、 冊、改、查操作。分級(jí)權(quán)限功能系統(tǒng)分為總管理員、助教等二級(jí)管理角色，總管理員進(jìn)行管理全部的功能點(diǎn)，助教可以進(jìn)行班級(jí)管理、學(xué)生管理、開課計(jì)劃制作、實(shí)驗(yàn)機(jī)遠(yuǎn)程輔助等。學(xué)生實(shí)訓(xùn)系統(tǒng)供給學(xué)生依據(jù)姓名、學(xué)號(hào)、密碼登錄系統(tǒng)進(jìn)行實(shí)訓(xùn)操作，學(xué)生只要安裝閱讀即可進(jìn)行實(shí)驗(yàn)任務(wù)操作；供給實(shí)訓(xùn)課程在線學(xué)習(xí)功能、實(shí)驗(yàn)機(jī)在線操作、

7、實(shí)驗(yàn)報(bào)告提交、實(shí)驗(yàn)機(jī)界 面截圖、記錄課程學(xué)習(xí)時(shí)長等。實(shí)驗(yàn)機(jī)桌面分享供給實(shí)驗(yàn)機(jī)桌面分享功能，如學(xué)生在學(xué)習(xí)、操作云實(shí)驗(yàn)機(jī)的過程中，有問題能夠向老師倡始輔助懇求，助教在收到懇求時(shí)，能夠遠(yuǎn)程接見學(xué)生的實(shí)驗(yàn)機(jī)，并指導(dǎo)怎樣操作。2、云實(shí)驗(yàn)機(jī)及實(shí)驗(yàn)任務(wù)云實(shí)驗(yàn)機(jī)供給鑒于 Web閱讀器的實(shí)驗(yàn)機(jī)可視化操作，操作終端無需安裝其余開發(fā)軟件即可進(jìn)行 實(shí)驗(yàn)操作；云實(shí)驗(yàn)機(jī)能夠依據(jù)學(xué)生編號(hào)、實(shí)驗(yàn)任務(wù)和環(huán)境要求自動(dòng)創(chuàng)立，無需管理人員參 與實(shí)驗(yàn)機(jī)創(chuàng)立操作過程。管理平臺(tái)對(duì)云實(shí)驗(yàn)機(jī)能夠進(jìn)行停止、銷毀操作。云實(shí)驗(yàn)機(jī)集群管理功能供給云實(shí)驗(yàn)機(jī)集群管理，對(duì)實(shí)驗(yàn)機(jī)所屬服務(wù)器進(jìn)行新增、刪除等操作。云實(shí)驗(yàn)機(jī)種類包含Hadoop實(shí)驗(yàn)機(jī)、Hive實(shí)驗(yàn)

8、機(jī)、HBase實(shí)驗(yàn)機(jī)、R語言實(shí)驗(yàn)機(jī)、Scala實(shí)驗(yàn)機(jī)、Spark 實(shí)驗(yàn)機(jī)、Kafka實(shí)驗(yàn)機(jī)、Sqoop實(shí)驗(yàn)機(jī)、Flume實(shí)驗(yàn)機(jī)、數(shù)據(jù)可視化實(shí)驗(yàn)機(jī)等。實(shí)驗(yàn)機(jī)運(yùn)轉(zhuǎn)監(jiān)控系統(tǒng)系統(tǒng)供給對(duì)實(shí)驗(yàn)集群運(yùn)轉(zhuǎn)的全部實(shí)驗(yàn)機(jī)進(jìn)行監(jiān)控，能夠查問編號(hào)、所屬服務(wù)器、創(chuàng)立 時(shí)間、運(yùn)轉(zhuǎn)狀態(tài)、開放端口等內(nèi)容。實(shí)驗(yàn)任務(wù)管理供給對(duì)實(shí)驗(yàn)任務(wù)內(nèi)容的管理，包含任務(wù)課程、綁定實(shí)驗(yàn)機(jī)、設(shè)定任務(wù)成績總分，排序 值等，供給多種實(shí)驗(yàn)任務(wù)內(nèi)容，比如Hadoop實(shí)驗(yàn)任務(wù)、Hive實(shí)驗(yàn)任務(wù)、HBase實(shí)驗(yàn)任務(wù)、Flume與kafka實(shí)驗(yàn)任務(wù)等。實(shí)驗(yàn)報(bào)告批閱功能在實(shí)驗(yàn)任務(wù)過程中學(xué)生上交的任務(wù)報(bào)告進(jìn)行批閱評(píng)分，供給依據(jù)學(xué)生、實(shí)驗(yàn)任務(wù)等字 段進(jìn)行檢索功能。云實(shí)

9、驗(yàn)機(jī)桌面分享系統(tǒng)供給實(shí)驗(yàn)機(jī)桌面鑒于閱讀器的分享功能，同意學(xué)生與學(xué)生、學(xué)生與老師同步操作實(shí)驗(yàn) 機(jī)桌面系統(tǒng)，供給鑒于閱讀器的溝通功能。3、大數(shù)據(jù)實(shí)戰(zhàn)平臺(tái)系統(tǒng)大數(shù)據(jù)集群管理系統(tǒng)鑒于散布式集群管理系統(tǒng)， 供給大數(shù)據(jù)集群管理系統(tǒng)， 功能包含Hadoop、Hive、HBase、 Sqoop、Flume、Spark等節(jié)點(diǎn)部下及管理，供給及時(shí)監(jiān)控集群的CPU、內(nèi)存、硬盤等使用率及有關(guān)信息，能夠?qū)芾砉?jié)點(diǎn)、計(jì)算節(jié)點(diǎn)進(jìn)行啟動(dòng)、停止等操作管理。大數(shù)據(jù)作業(yè)工作流系統(tǒng)供給大數(shù)據(jù)有關(guān)作業(yè)的上傳、部下、流程管理等功能，鑒于Web的任務(wù)調(diào)動(dòng)、兼容Hadoop、Spark主流版本、失敗任務(wù)的、運(yùn)轉(zhuǎn)狀態(tài)監(jiān)控等。六、大數(shù)據(jù)課程及行

10、業(yè)事例實(shí)驗(yàn)平臺(tái)供給100個(gè)課時(shí)的Hadoop、Spark等大數(shù)據(jù)主流課程，課程與大數(shù)據(jù)實(shí)驗(yàn)機(jī)完滿聯(lián)合，學(xué)員在教課管理系統(tǒng)學(xué)習(xí)課程，隨時(shí)進(jìn)行實(shí)訓(xùn)操作， 包含項(xiàng)目設(shè)計(jì)、數(shù)據(jù)收集沖洗、建模、技術(shù)實(shí)現(xiàn)等，迅速提高實(shí)操技術(shù)，最后掌握大數(shù)據(jù)開發(fā)、數(shù)據(jù)剖析與數(shù)據(jù)挖 掘等大數(shù)據(jù)能力。部分事例圖片：【電商大數(shù)據(jù)剖析事例】【電商大數(shù)據(jù)剖析架構(gòu)】【房產(chǎn)大數(shù)據(jù)剖析架構(gòu)】【房產(chǎn)大數(shù)據(jù)剖析可視化】【搜尋大數(shù)據(jù)剖析架構(gòu)】【網(wǎng)站日記大數(shù)據(jù)剖析架構(gòu)】課程實(shí)驗(yàn)內(nèi)容包含：課程名稱課時(shí)課程內(nèi)容介紹Hadoop基礎(chǔ)10解說Hadoop生態(tài)系統(tǒng)，包含操作與開發(fā)；詳盡 解說HDFS和Map-Reduce的功能及作用；認(rèn)識(shí) MapReduc

11、e原理、運(yùn)轉(zhuǎn)流程、壓縮數(shù)據(jù)辦理、作 業(yè)調(diào)動(dòng)、計(jì)算器等環(huán)節(jié)。HDFS程序開發(fā)6解說Hadoop文件系統(tǒng)HDFS JAVA API的使用。掌握怎樣使用 HDFSJava API ,讀寫文件、讀寫 目錄、以及對(duì)文件進(jìn)行壓縮辦理等。MapReduce 開發(fā)6構(gòu)造本課程針對(duì) Hadoop MapReduce開發(fā)進(jìn)行解說。課程以事例為基礎(chǔ)，要點(diǎn)介紹MapReduce程序,以及怎樣使用MapReduce進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，去重，排序， Map端Join , Reduce端Join等關(guān)Hive數(shù)據(jù)庫房散布式數(shù)據(jù)庫HBase數(shù)據(jù)遷徙工具Hive數(shù)據(jù)庫房散布式數(shù)據(jù)庫HBase數(shù)據(jù)遷徙工具Sqoop散布式日記框架Flum

12、eKafka流式數(shù)據(jù)采集聯(lián)操作）掌握 MapReduce辦理過程。24 Hive是鑒于Hadoop建立的數(shù)據(jù)庫房剖析系統(tǒng)，經(jīng)過學(xué)習(xí)掌握Hive的函數(shù)、Hive數(shù)據(jù)的加載、Hive的DDL操作、自定義函數(shù)（UDF）等內(nèi)容, 達(dá)到使用Hive進(jìn)行查問、匯總、剖析數(shù)據(jù)的能 力。6 HBase是Hadoop生態(tài)系統(tǒng)中的重要一員，主要 用于海量構(gòu)造化數(shù)據(jù)儲(chǔ)存；經(jīng)過學(xué)習(xí)對(duì)HBase表設(shè)計(jì)、表操作、數(shù)據(jù)操作、Java API等內(nèi)容，掌握對(duì)HBase系統(tǒng)的開發(fā)及使用。4 Sqoop是關(guān)系型數(shù)據(jù)庫和 Hadoop生態(tài)系統(tǒng)之間 進(jìn)行數(shù)據(jù)變換的主要工具；經(jīng)過學(xué)習(xí)將mysql中的數(shù)據(jù)導(dǎo)入到 hdfs中、將數(shù)據(jù)導(dǎo)入到

13、HBase中、定義導(dǎo)入導(dǎo)出任務(wù)等，掌握對(duì)數(shù)據(jù)遷徙的能力。4 Flume對(duì)海量日記進(jìn)行收集、聚合和傳輸?shù)闹髁鞔髷?shù)據(jù)工具；課程內(nèi)容包含F(xiàn)lume應(yīng)用處景、FlumeNG、FlumeOG、Flume 的中心組件、Flume的架構(gòu)、Flume的source、sink配置說明等。Kafka是散布式的信息行列，寬泛應(yīng)用于及時(shí)數(shù)據(jù)辦理。學(xué)習(xí)內(nèi)容包含Kafka的系統(tǒng)構(gòu)造、安裝模式及安裝部署、Topic、Producer、Consumer 公布定閱信息以及 Kafka JAVA開發(fā)等。Spark6Spark是一款高性能的散布式計(jì)算框架，比MapReduce計(jì)算快百倍；本課程內(nèi)容全面涵蓋了Spark生態(tài)系統(tǒng)、Sp

14、ark與Hadoop對(duì)照、開發(fā)環(huán)境搭建、RDD、編程模型、Web監(jiān)控等內(nèi)容。Spark Streaming4Spark Streaming是用戶聯(lián)合流式、批辦理和交互式查問應(yīng)用的及時(shí)計(jì)算框架；本課程內(nèi)容詳細(xì)解說原理與特點(diǎn)、合用處景、Dstream操作、容錯(cuò)、性能優(yōu)化和內(nèi)存優(yōu)化等。Spark SQL4Spark SQL的出現(xiàn)，使得SQL-on-Hadoop的性能有關(guān)于Hive有了明顯的提高。達(dá)到 Spark兼容Hive的功能。本課程詳盡解說特點(diǎn)、運(yùn)轉(zhuǎn)架構(gòu)、數(shù)據(jù)源、數(shù)據(jù)緩存、DataFrame等。實(shí)戰(zhàn)事例搜尋引擎日記數(shù)據(jù)統(tǒng)計(jì)剖析6解說Hadoop系統(tǒng)架構(gòu)設(shè)計(jì)以及項(xiàng)目剖析流程； 經(jīng)過對(duì)用戶搜尋記錄數(shù)

15、據(jù)的沖洗，剖析指標(biāo)內(nèi) 容，得出要點(diǎn)詞排行榜、用戶逗留時(shí)間最高頁 面等。實(shí)戰(zhàn)事例電子商務(wù)平臺(tái)大數(shù)據(jù)剖析6解說Spark系統(tǒng)架構(gòu)設(shè)計(jì)以及項(xiàng)目剖析流程； 本課程主要解說搭建電商的數(shù)據(jù)辦理平臺(tái)、數(shù) 據(jù)統(tǒng)計(jì)、剖析及可視化技術(shù)的應(yīng)用開發(fā)流程。七、行業(yè)數(shù)據(jù)及事例供給大數(shù)據(jù)實(shí)戰(zhàn)事例以及行業(yè)數(shù)據(jù)，供給包含海量網(wǎng)站日記剖析事例、租房及二手房大數(shù)據(jù)剖析事例、電商商品交易大數(shù)據(jù)發(fā)掘、搜尋引擎要點(diǎn)詞剖析算法事例、汽車銷售數(shù) 據(jù)剖析事例等事例解說及實(shí)戰(zhàn)作業(yè)工作流內(nèi)容。數(shù)據(jù)名稱數(shù)據(jù)描繪更新地域房產(chǎn)數(shù)據(jù)包含一手房在售數(shù)據(jù)、出租房子數(shù)據(jù)、經(jīng)紀(jì)人議論數(shù)據(jù)等。每周全國汽車數(shù)據(jù)包含國內(nèi)不樣種類汽車詳盡配置仿息、汽車使用評(píng) 論數(shù)據(jù)、汽

16、車銷售數(shù)據(jù)以及二手車數(shù)據(jù)等。可用于 汽車行業(yè)市場行情剖析。每月法律咨詢數(shù)據(jù)包含國內(nèi)全部法律咨詢服務(wù)機(jī)構(gòu)數(shù)據(jù)、機(jī)構(gòu)議論數(shù) 據(jù)、有關(guān)法律咨詢話題的數(shù)據(jù)。可用于法律咨詢行 業(yè)市場行情剖析，社會(huì)治安狀況剖析。每周疾病問答數(shù)據(jù)包含國內(nèi)不一樣種類疾病問題數(shù)據(jù)、醫(yī)生答復(fù)數(shù)據(jù)、有關(guān)疾病知識(shí)等話題的數(shù)據(jù)。每月股票基金交易數(shù)據(jù)包含國內(nèi)、港股、美股等國內(nèi)外股票行情及交易數(shù) 據(jù)、依據(jù)時(shí)間段供給詳盡數(shù)據(jù)；也包含證券投資基 金、保險(xiǎn)基金、信托投資基金等行情數(shù)據(jù)。每日天氣、氣象數(shù)據(jù)包含全國各個(gè)地域氣象數(shù)據(jù)（氣溫、降水量、風(fēng)、 氣壓等）、氣象觀察產(chǎn)品數(shù)據(jù)?？捎糜跉庀髽I(yè)務(wù)、 天氣預(yù)告、天氣展望以及氣象服務(wù)。每日人臉圖像數(shù)據(jù)包含國內(nèi)多種年紀(jì)段的人臉圖像數(shù)據(jù)。用于臉部特征剖析、人臉辨別、人臉檢測等，每一個(gè)人供給多個(gè)角度的圖片。每月電商議論數(shù)據(jù)包含上百萬條國內(nèi)著名電商平臺(tái)產(chǎn)點(diǎn)議論數(shù)據(jù)?？?用于用戶購置產(chǎn)品意向剖析、個(gè)性化介紹和精確營 銷，進(jìn)行商業(yè)輿情