大數(shù)據(jù)實(shí)訓(xùn)室方案建議書

1、大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)方案建議書2大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)方案建議書2018年6月大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)方案建議書目錄1 .大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)背景 31.1 中國大數(shù)據(jù)產(chǎn)業(yè)空間高速增長 31.2 大數(shù)據(jù)人才緊缺31.3 教學(xué)中存在的問題 41.4 大數(shù)據(jù)人才就業(yè)方向52 .大數(shù)據(jù)解決方案簡介 73 .大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)目標(biāo) 94 .大數(shù)據(jù)實(shí)訓(xùn)室總體設(shè)計(jì) 104.1 培養(yǎng)方向及目標(biāo) 104.2 實(shí)訓(xùn)室方案設(shè)計(jì)114.3 大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)思路 124.4 實(shí)驗(yàn)平臺建設(shè)原則124.5 實(shí)驗(yàn)平臺教材大綱 144.6 實(shí)訓(xùn)室課程目標(biāo)154.7 學(xué)員能力要求155 .實(shí)訓(xùn)室的相關(guān)服務(wù) 155.1 培訓(xùn)中心介紹155.2 師資培訓(xùn)

2、165.3 新技術(shù)、新應(yīng)用定期交流 17181 .大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)背景1.1 中國大數(shù)據(jù)產(chǎn)業(yè)空間高速增長2015年9月5日，國務(wù)院印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動綱要。綱要首 次從國家層面認(rèn)定數(shù)據(jù)是國家基礎(chǔ)性戰(zhàn)略資源， 將大數(shù)據(jù)行業(yè)定位到國家戰(zhàn)略層 面，大數(shù)據(jù)成為推動經(jīng)濟(jì)轉(zhuǎn)型發(fā)展的新動力，成為重塑國家競爭優(yōu)勢的新機(jī)遇， 成為提升政府治理能力的新途徑。大數(shù)據(jù)發(fā)展，打破信息孤島是關(guān)鍵。綱要指出，要加強(qiáng)頂層設(shè)計(jì)和統(tǒng)籌 規(guī)劃，形成公共數(shù)據(jù)資源合理適度開放共享的法規(guī)制度和政策體系。2018年底前，建成國家政府?dāng)?shù)據(jù)統(tǒng)一開放平臺。2020年底前，逐步實(shí)現(xiàn)信用、交通、醫(yī) 療等領(lǐng)域的政府?dāng)?shù)據(jù)集向社會開放。目前，信息孤島問

3、題依然是阻礙大數(shù)據(jù)前行 的關(guān)鍵要素。目前，60%勺主管部門認(rèn)為數(shù)據(jù)分布和共享存在難題，這源于不同 部門間數(shù)據(jù)開放標(biāo)準(zhǔn)的不統(tǒng)一，以及在早期建設(shè)中各自獨(dú)立進(jìn)行和外包導(dǎo)致數(shù)據(jù) 格式標(biāo)準(zhǔn)等的不同。因而建立數(shù)據(jù)統(tǒng)一平臺的前提就是打破信息孤島，實(shí)現(xiàn)數(shù)據(jù)共享，這對于行業(yè)發(fā)展至關(guān)重要。大數(shù)據(jù)行業(yè)空間將逐步釋放。綱要提出，到2020年，我國將形成一批 具有國際競爭力的大數(shù)據(jù)處理、分析、可視化軟件和硬件支撐平臺等產(chǎn)品； 并且 培育10家國際領(lǐng)先的大數(shù)據(jù)核心龍頭企業(yè)，500家大數(shù)據(jù)應(yīng)用、服務(wù)和產(chǎn)品制 造企業(yè)。相關(guān)內(nèi)容以及時間節(jié)點(diǎn)表明大數(shù)據(jù)產(chǎn)業(yè)行業(yè)空間將逐步加速釋放。2014年全球大數(shù)據(jù)產(chǎn)業(yè)對 GDP貢獻(xiàn)約270億美

4、元，行業(yè)尚處于幼稚階段。 我國2014年大數(shù)據(jù)產(chǎn)業(yè)市場約80億RMB這一數(shù)據(jù)正以接近年30%的速度增 長。1.2 大數(shù)據(jù)人才緊缺當(dāng)下，大數(shù)據(jù)的趨勢已逐步從概念走向落地，而在IT人跟隨大數(shù)據(jù)浪潮的轉(zhuǎn)型中，各大企業(yè)對大數(shù)據(jù)高端人才的需求也越來越緊迫。這一趨勢，也給想要從事大數(shù)據(jù)方面工作的人員提供了難得的職業(yè)機(jī)遇。伴隨移動互聯(lián)網(wǎng)、智能終端、 云計(jì)算、物聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長，大數(shù)據(jù)時代正向我們逐步展開一場意義深遠(yuǎn)的數(shù)據(jù)革命，對全球整合經(jīng)濟(jì)時代的業(yè)務(wù)和服務(wù)產(chǎn)生深遠(yuǎn)的影 響。大數(shù)據(jù)已經(jīng)不再局限于技術(shù)領(lǐng)域，而是已經(jīng)成為組織機(jī)構(gòu)一項(xiàng)優(yōu)先考慮的技 術(shù)創(chuàng)新，因?yàn)樗四軌驊?yīng)對長期存在的業(yè)務(wù)挑戰(zhàn)之外，

5、大數(shù)據(jù)還為流程、組織、整個行業(yè)、甚至社會本身的轉(zhuǎn)型激發(fā)了許多新的方式。 國內(nèi)各行業(yè)也都在積極投 身到大數(shù)據(jù)應(yīng)用的浪潮中，迎接“互聯(lián)網(wǎng) +”帶給我們的機(jī)遇和挑戰(zhàn)。在大數(shù)據(jù) 時代，企業(yè)之間正在為了吸引并留住大數(shù)據(jù)專業(yè)人才而展開競爭，不論是拓展大數(shù)據(jù)業(yè)務(wù)的百度、阿里、奇虎360等互聯(lián)網(wǎng)公司，還是專業(yè)提供數(shù)據(jù)服務(wù)的大數(shù) 據(jù)服務(wù)商，以及擁有大量數(shù)據(jù)的傳統(tǒng)行業(yè)，對專業(yè)大數(shù)據(jù)人才都有著迫切的需求。 據(jù)專業(yè)機(jī)構(gòu)的調(diào)查預(yù)測，中國未來 3-5年內(nèi)的大數(shù)據(jù)人才需求總量將達(dá)到180 萬人，目前的人才缺口現(xiàn)狀至少有 150萬人。在國家中長期教育改革和發(fā)展規(guī)劃綱要中，教育信息化首次被納入國家 信息化發(fā)展整體戰(zhàn)略，它的重要

6、意義被提升到前所未有的高度。教育信息化已經(jīng) 開始為支撐學(xué)校的整體發(fā)展戰(zhàn)略提供保障， 并成為提升高校核心競爭力的重要手 段。1.3 教學(xué)中存在的問題“知己知彼，百戰(zhàn)百勝“，培養(yǎng)社會需求的人才，首要是了解目前的教學(xué)中 存在的問題，從這些問題著手進(jìn)行分析，得出結(jié)論，并有針對性的進(jìn)行教學(xué)改革, 當(dāng)前，教學(xué)中大體有如下5個問題急需解決：1 .院校教學(xué)目標(biāo)界定不清，無法滿足“零距離”上崗的要求，很多學(xué)生在 院校學(xué)習(xí)了 IT相關(guān)的基礎(chǔ)課程，但進(jìn)入工作崗位后仍需要到專門的培訓(xùn) 機(jī)構(gòu)進(jìn)行培訓(xùn)后方可上崗。2 .教材內(nèi)容嚴(yán)重與所學(xué)專業(yè)脫節(jié)，教材中的知識已經(jīng)滿足不了當(dāng)前行業(yè)的 需求。如果更換教材，那么院校需要重新進(jìn)行

7、課程建設(shè)，而且還牽扯到 課程體系建設(shè)，課程研發(fā)的問題，此類方式受各方面原因的影響無法實(shí) 施。3 .師資力量薄弱，當(dāng)前院校進(jìn)行教學(xué)規(guī)劃時，被一個硬指標(biāo)制約著一一師 資水平。但是，網(wǎng)絡(luò)技術(shù)行業(yè)發(fā)展十分迅速，院校教師又無法及時的了 解到當(dāng)前最前沿的網(wǎng)絡(luò)技術(shù)。4 .實(shí)踐環(huán)節(jié)重視不夠，學(xué)生動手能力明顯不足，網(wǎng)絡(luò)技術(shù)專業(yè)是典型的理 論與實(shí)踐結(jié)合的專業(yè)，學(xué)生光學(xué)不練，無法滿足用人單位的需求。5 .校企合作力度不足，院校培養(yǎng)的畢業(yè)生最終要實(shí)現(xiàn)就業(yè)，接口單位就是 用人公司。那么用人公司是最有權(quán)威提供其就業(yè)條件的機(jī)構(gòu)，校企合作 是提升人才培養(yǎng)效果的最佳實(shí)踐。新型實(shí)訓(xùn)室的建立，將會涉及相關(guān)課程教學(xué)方法與模式的改革，

8、以及虛擬化、云計(jì)算和大數(shù)據(jù)等前沿技術(shù)的研究與開發(fā)，有力推進(jìn)教學(xué)研究和教學(xué)改革工作的 開展，促進(jìn)校企合作、教學(xué)研究論文的發(fā)表與專利的申請。 先進(jìn)的實(shí)驗(yàn)環(huán)境也為 學(xué)生提供了良好的科技創(chuàng)新和學(xué)科競賽的環(huán)境與氛圍。1.4 大數(shù)據(jù)人才就業(yè)方向在“互聯(lián)網(wǎng)+”戰(zhàn)略之下，互聯(lián)網(wǎng)行業(yè)高速發(fā)展，百度、新浪、阿里、騰訊 等大型互聯(lián)網(wǎng)公司以及大眾創(chuàng)業(yè)，萬眾創(chuàng)新的創(chuàng)業(yè)型公司都在部署各自的大數(shù)據(jù) 戰(zhàn)略，大數(shù)據(jù)相關(guān)人才十分亟需，同時互聯(lián)網(wǎng)、政府、金融、電力等各企事業(yè)單 位信息化部署都在向大數(shù)據(jù)全面轉(zhuǎn)型，大數(shù)據(jù)行業(yè)畢業(yè)生作為服務(wù)區(qū)域經(jīng)濟(jì)IT行業(yè)和企事業(yè)單位發(fā)展的重要力量 大數(shù)據(jù)需要以下六類人才:1 .大數(shù)據(jù)系統(tǒng)研發(fā)工程師。這

9、一專業(yè)人才負(fù)責(zé)大數(shù)據(jù)系統(tǒng)研發(fā)，包括大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)模型構(gòu) 建、大數(shù)據(jù)存儲、數(shù)據(jù)庫構(gòu)設(shè)、優(yōu)化數(shù)據(jù)庫構(gòu)架、解決數(shù)據(jù)庫中心設(shè)計(jì)等，同時, 還要負(fù)責(zé)數(shù)據(jù)集群的日常運(yùn)作和系統(tǒng)的監(jiān)測等， 這一類人才是任何構(gòu)設(shè)大數(shù)據(jù)系 統(tǒng)的機(jī)構(gòu)都必須的。2 .大數(shù)據(jù)應(yīng)用開發(fā)工程師此類人才負(fù)責(zé)搭建大數(shù)據(jù)應(yīng)用平臺以及開發(fā)分析應(yīng)用程序，他們必須熟悉工 具或算法、編程、優(yōu)化以及部署不同的 MapReduce他們研發(fā)各種基于大數(shù)據(jù)技 術(shù)的應(yīng)用程序及行業(yè)解決方案。其中，ETL開發(fā)者是很搶手的人才，他們所做的 是從不同的源頭抽取數(shù)據(jù)，轉(zhuǎn)換并導(dǎo)入數(shù)據(jù)倉庫以滿足企業(yè)的需要，將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨

10、時中間層后進(jìn)行清 洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)， 為提取各類型的需要數(shù)據(jù)創(chuàng)造條件。3 .大數(shù)據(jù)分析師。此類人才主要從事數(shù)據(jù)挖掘工作，運(yùn)用算法來解決和分析問題，讓數(shù)據(jù)顯露 出真相，同時，他們還推動數(shù)據(jù)解決方案的不斷更新。 隨著數(shù)據(jù)集規(guī)模不斷增大， 企業(yè)對Hadoop及相關(guān)的廉價數(shù)據(jù)處理技術(shù)如 Hive、HBase MapReduce Pig等 的需求將持續(xù)增長，具備Hadoop框架經(jīng)驗(yàn)的技術(shù)人員是最搶手的大數(shù)據(jù)人才， 他們所從事的是熱門的分析師工作。4 .數(shù)據(jù)可視化工程師。此類人才負(fù)責(zé)在收集到的高質(zhì)量數(shù)據(jù)中，利用圖形化的工具及手段的應(yīng)用， 清楚地揭示數(shù)據(jù)中

11、的復(fù)雜信息，幫助用戶更好地進(jìn)行大數(shù)據(jù)應(yīng)用開發(fā)， 如果能使 用新型數(shù)據(jù)可視化工具如 Spotifre , Qlikview 和Tableau,那么，就成為很受 歡迎的人才。5 .數(shù)據(jù)安全研發(fā)人才。此類人才主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、 存儲、數(shù)據(jù)安全管理工作，并對網(wǎng) 絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施，而對于數(shù)據(jù)安全方面的具體技術(shù)的人 才就更需要了，如果數(shù)據(jù)安全技術(shù)，同時又具有較強(qiáng)的管理經(jīng)驗(yàn)，能有效地保證 大數(shù)據(jù)構(gòu)設(shè)和應(yīng)用單位的數(shù)據(jù)安全，那就是搶手的人才。6 .數(shù)據(jù)科學(xué)研究人才。數(shù)據(jù)科學(xué)研究是一個全新的工作，夠?qū)挝?、企業(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為有用 的商業(yè)價值，隨著大數(shù)據(jù)時代的到來，越來越多的工作、

12、事務(wù)直接涉及或針對數(shù) 據(jù)，這就需要有數(shù)據(jù)科學(xué)方面的研究專家來進(jìn)行研究，通過研究，他們能將數(shù)據(jù)分析結(jié)果解釋給IT部門和業(yè)務(wù)部門管理者聽，數(shù)據(jù)科學(xué)專家是聯(lián)通海量數(shù)據(jù)和 管理者之間的橋梁，需要有數(shù)據(jù)專業(yè)、分析師能力和管理者的知識，這也是搶手 的人才。專業(yè)服務(wù)的職業(yè)崗位及典型工作任務(wù)如下表。崗位典型工作任務(wù)運(yùn)維大數(shù)據(jù)初級 工程師1、 了解 storm/cassandra/hbase/spark/hadoop 等據(jù) 相關(guān)技術(shù)，至少精種處理和一種存儲技術(shù)。2、熟悉Apache Hadoop的部署、性能調(diào)優(yōu)；3、Linux系統(tǒng)管理工作經(jīng)驗(yàn)，精擊種或多種Linux Shell 語百；大數(shù)據(jù)運(yùn)維 工程師1、負(fù)責(zé)

13、大數(shù)據(jù)（Hadoop）的運(yùn)維和優(yōu)化工作；2、熟悉RDBMS比如MySQL的開發(fā)，熟悉SQL語言；3、精通 java/c+/python 之一開發(fā)人數(shù)據(jù)架構(gòu) 師1、對Hadoop框架有較深的源代碼研究2、大數(shù)據(jù)分析與數(shù)據(jù)倉庫設(shè)計(jì)及開發(fā)經(jīng)驗(yàn)3、有良好的數(shù)據(jù)分析及數(shù)據(jù)挖掘能力，可根據(jù)需求定制數(shù) 據(jù)處理策略分布式存儲 系統(tǒng)軟件開 發(fā)工程師1、精通Java,對數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計(jì)有較為深刻的理解， 具有良好的分析問題和解決問題的能力2、對Hadoop框架有較深的源代碼研究，對于 HDFS!關(guān)組 件有深入了解3、在開源社群活躍并有積極貢獻(xiàn)者優(yōu)先。分析大數(shù)據(jù)產(chǎn)品 經(jīng)理1、具有數(shù)據(jù)挖掘分析功底2、通過海量數(shù)據(jù)，

14、挖掘用戶行為，推動技術(shù)團(tuán)隊(duì)，提供數(shù) 據(jù)解決方案；3、了解底層數(shù)據(jù)的架構(gòu)技術(shù)以及應(yīng)用層數(shù)據(jù)分析和算法的 基本概念，能夠運(yùn)用數(shù)據(jù)作為產(chǎn)品解決業(yè)務(wù)方運(yùn)營及決 策問題；大數(shù)據(jù)分析 師1、掌握SAS SPS鄰相關(guān)統(tǒng)計(jì)分析軟件2、精通統(tǒng)計(jì)及數(shù)據(jù)挖掘理論3、掌握基本的市場分析方法和模型，有較強(qiáng)的數(shù)據(jù)分析能 力2 .大數(shù)據(jù)解決方案簡介深信服基于超融合的大數(shù)據(jù)平臺采用 Hadoop MPP分布式數(shù)據(jù)庫、深度學(xué) 習(xí)算法混搭的計(jì)算框架為用戶提供一套完整的大數(shù)據(jù)平臺解決方案，包括數(shù)據(jù)采集轉(zhuǎn)換、計(jì)算存儲、分析挖掘、共享交換、BI展示以及運(yùn)維管理等全系列功能，幫助用戶構(gòu)建海量數(shù)據(jù)處理系統(tǒng)，發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在價值，獲取新的市場

15、機(jī)會。大熱據(jù)幽用交通醫(yī)療咫力 II 安全I(xiàn)無線B :UL40大觸據(jù)處理事臺WEETLSETUJl I自30敷強(qiáng)姮雄省建用血住宓集耕管理多樣的 陶器方式 簞腳翻J 6歌校,簡法的ip?ffTxEt批果.I.射崔M 實(shí)時乘./(TK JPh (EIS1D 生i r-"jtK與中畫 La 需昌昌昌圖一物喊聞 讓交媒博卷結(jié)樽化 內(nèi)衿帕？ SOA Web ERP CRM 5cM 生產(chǎn)記錄 |碗" _ J? 先進(jìn)的混合計(jì)算架構(gòu)采用Hadoopffi MP融合技術(shù)架構(gòu)，對半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)支持并行計(jì)算和低成本存儲，提供低時延、高并發(fā)的查詢和分析功能；對結(jié)構(gòu)化數(shù)據(jù)采用MPP分布式列存儲

16、，支持分布式計(jì)算、智能索引等功能，實(shí)現(xiàn)高性能結(jié)構(gòu)化數(shù)據(jù)分析 處理。集成MapReduce Spark、Storm、Tez等多種計(jì)算Ig架，利用YAR皖源管理 做統(tǒng)一管理，可在同一份數(shù)據(jù)集上運(yùn)行多種計(jì)算。離線計(jì)算、內(nèi)存計(jì)算和流式計(jì)算并存，能滿足高吞吐、大數(shù)據(jù)量和低時延實(shí)時處理等多方面的數(shù)據(jù)計(jì)算要求。? 高性價比的分布式集群基于x86服務(wù)器本地的計(jì)算與存儲資源，計(jì)算集群可以動態(tài)調(diào)整，從數(shù)臺到 數(shù)千臺之間彈性擴(kuò)展，按需構(gòu)建應(yīng)用，減少總體成本；同時，在設(shè)計(jì)時充分考慮 了硬件設(shè)備的不可靠因素，在軟件層面提供計(jì)算和存儲的高可靠保證，具備較強(qiáng)的容錯性。? 云化ETL將不同業(yè)務(wù)系統(tǒng)中分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的各

17、種源數(shù)據(jù)中的數(shù)據(jù)進(jìn)行匯聚。 支持從DBMS、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、企業(yè)生產(chǎn)系統(tǒng)等各種數(shù)據(jù)源中提取數(shù)據(jù)。各類 數(shù)據(jù)經(jīng)過抽取、清洗和轉(zhuǎn)化后，實(shí)現(xiàn)多對多地加載到包含但不限于大數(shù)據(jù)集群和 各類關(guān)系型數(shù)據(jù)庫中。該過程由一個統(tǒng)一的操作接口封裝， 經(jīng)過無代碼的可視化配置后，可實(shí)現(xiàn)自動化地、分布式地執(zhí)行整個 ETL作業(yè)流程。? 數(shù)據(jù)分層和分級存儲把數(shù)據(jù)按照不同階段分為ODS(Operational Data Store數(shù)據(jù)、輕度匯總數(shù)據(jù)、 信息子層數(shù)據(jù)和應(yīng)用數(shù)據(jù)，分別存儲在 Hadoo肝臺、MPP分布式數(shù)據(jù)庫和數(shù)據(jù) 倉庫，滿足不同階段的計(jì)算需求；按照在線數(shù)據(jù)、歷史數(shù)據(jù)等來管理數(shù)據(jù)生命周 期，滿足在線數(shù)據(jù)的高性能存儲

18、的需求；將核心模型數(shù)據(jù)通過改造融入到數(shù)據(jù)倉 庫的核心模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量；將數(shù)據(jù)倉庫中的歷史數(shù)據(jù)遷移 到低成本分布式數(shù)據(jù)庫，減輕數(shù)據(jù)倉庫的計(jì)算與存儲壓力并支撐深度數(shù)據(jù)分析。 ? 數(shù)據(jù)分析挖掘支持R語言，集成機(jī)器學(xué)習(xí)算法庫Mahout和Spark MLlib ,包含聚類分析、分 類算法、頻度關(guān)聯(lián)分析和推薦系統(tǒng)在內(nèi)的常用機(jī)器學(xué)習(xí)算法。滿足批處理統(tǒng)計(jì)分析、在線數(shù)據(jù)檢索、R語言數(shù)據(jù)挖掘、實(shí)時流處理、全文搜索等全方位需求?？?幫助企業(yè)建立高速可擴(kuò)展的數(shù)據(jù)倉庫和數(shù)據(jù)集市，結(jié)合多種報表工具提供交互式 數(shù)據(jù)分析、即時報表和BI可視化展示能力。? 數(shù)據(jù)服務(wù)接口提供交互式SQIT口可編程API,提取

19、數(shù)據(jù)存儲計(jì)算平臺的數(shù)據(jù)處理結(jié)果，屏蔽 底層細(xì)節(jié)，為上層應(yīng)用提供數(shù)據(jù)服務(wù)。主要包括SQ接口、MapReduce/Spark/Storm 計(jì)算接口等多種可編程API、全文實(shí)時搜索接口、業(yè)務(wù)定向接口、關(guān)聯(lián)查詢接口， 滿足數(shù)據(jù)查詢、可視化BI展示、數(shù)據(jù)交換、數(shù)據(jù)分析、目錄服務(wù)、綜合查詢等業(yè) 務(wù)應(yīng)用的需要。? 可視化運(yùn)維管理提供We圖形化界面實(shí)現(xiàn)運(yùn)集群的管理和監(jiān)控，集群的節(jié)點(diǎn)、主機(jī)和服務(wù)的運(yùn)行狀態(tài)都能在界面上顯示， 操作友好，功能豐富。提供集群 快速安裝部署、機(jī)架展示、用戶權(quán)限管理、主機(jī)與服務(wù)管理、監(jiān)控及 告警通知等多方面支持，在可管理性方面優(yōu)勢顯著。3 .大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)目標(biāo)? 提供先進(jìn)的教學(xué)內(nèi)容及先

20、進(jìn)的教學(xué)方法，提高教學(xué)質(zhì)量；? 提升專業(yè)教師的技術(shù)水平；? 打造大數(shù)據(jù)相關(guān)精品專業(yè)；? 共同完善課程系統(tǒng)，聯(lián)合開發(fā)更為實(shí)用的大數(shù)據(jù)范疇技術(shù)教材;? 完善院校實(shí)踐條件，提高學(xué)生動手實(shí)踐能力；4 .大數(shù)據(jù)實(shí)訓(xùn)室總體設(shè)計(jì)4.1 培養(yǎng)方向及目標(biāo)大數(shù)據(jù)人才培養(yǎng)方案是下一代人才培養(yǎng)計(jì)劃。將響應(yīng)國家號召，全力配合各 類院校開展大數(shù)據(jù)人才培養(yǎng)工作，大數(shù)據(jù)實(shí)訓(xùn)室方案已就緒，將支持校方植入完 整的課程體系，輔助高校全力培養(yǎng)“零距離”上崗，綜合素質(zhì)達(dá)到企業(yè)要求的優(yōu) 秀畢業(yè)生。大數(shù)據(jù)實(shí)訓(xùn)室為學(xué)生制定了循序漸進(jìn)的能力提升計(jì)劃，理論與實(shí)驗(yàn)緊密結(jié) 合，培養(yǎng)學(xué)生思考、動手能力，助力各個學(xué)校進(jìn)行全流程、全方位、可持續(xù)的創(chuàng) 新型

21、大數(shù)據(jù)人才培養(yǎng) 人才培養(yǎng)計(jì)劃如下:VLO基礎(chǔ)理論+基本操作VZO其實(shí)數(shù)據(jù)*模擬場瞿演練V3.0其實(shí)場霆十項(xiàng)目實(shí)戰(zhàn)4.2 實(shí)訓(xùn)室方案設(shè)計(jì)實(shí)訓(xùn)室依據(jù)業(yè)務(wù)屬性，共分為3個功能區(qū)：1）實(shí)驗(yàn)操作區(qū)：學(xué)生學(xué)習(xí)大數(shù)據(jù)實(shí)訓(xùn)室課程內(nèi)容和實(shí)際操作實(shí)驗(yàn)課程的區(qū)域，根據(jù)每組學(xué)生數(shù)量配置桌面云系統(tǒng)，可以在電子教室、圖書館、宿舍等任意地點(diǎn)登錄；2）虛擬實(shí)驗(yàn)設(shè)備區(qū)：在超融合集群中創(chuàng)建大數(shù)據(jù)實(shí)訓(xùn)室的虛擬實(shí)驗(yàn)設(shè)備，包括虛擬機(jī)、存儲、網(wǎng)絡(luò)拓?fù)浜吞摂M安全設(shè)備，所有的實(shí)驗(yàn)內(nèi)容均運(yùn)行在該實(shí)驗(yàn)設(shè)備區(qū)內(nèi)；3）教學(xué)管理區(qū)：老師管理區(qū)和演示區(qū)， 負(fù)責(zé)演示實(shí)驗(yàn)課程內(nèi)容并對所有實(shí)驗(yàn)組的實(shí)驗(yàn) 設(shè)備做監(jiān)控和管理；管理區(qū)亦可作為校內(nèi)大數(shù)據(jù)分析的實(shí)驗(yàn)過渡

22、平臺，將學(xué)校 數(shù)據(jù)導(dǎo)入該區(qū)域大數(shù)據(jù)集群， 根據(jù)業(yè)務(wù)需求進(jìn)行海量數(shù)據(jù)存儲處理、分析挖掘,為校園大數(shù)據(jù)建設(shè)貢獻(xiàn)力量學(xué)生可分為不同實(shí)驗(yàn)小組進(jìn)行實(shí)戰(zhàn)練習(xí)，每個小組內(nèi)不超過10人，集群可將計(jì)算、存儲資源隔離，使實(shí)驗(yàn)小組件底層隔離，互不影響；教師區(qū)實(shí)驗(yàn)設(shè)備性能較高，除帶領(lǐng)學(xué)生實(shí)驗(yàn)外，還可承接校內(nèi)大數(shù)據(jù)集中、應(yīng)用開發(fā)等項(xiàng)目。實(shí)驗(yàn)平臺所需軟硬件如下：? 超融合節(jié)點(diǎn)：輕量級的實(shí)驗(yàn)課每 60人可選用一組6臺超融合一體機(jī)? 網(wǎng)絡(luò)設(shè)備：連通整個實(shí)驗(yàn)環(huán)境與校園網(wǎng)絡(luò)，可選二層、三層交換機(jī)? 桌面云系統(tǒng)：包含運(yùn)行桌面云的服務(wù)器、存儲和終端，每60人可選用2-3臺桌面云一體機(jī)。? 超融合軟件：為學(xué)生提供靈活的實(shí)驗(yàn)環(huán)境? 大數(shù)

23、據(jù)平臺軟件：為學(xué)生提供大數(shù)據(jù)實(shí)驗(yàn)集群。? 教學(xué)管理軟件：教師管理教學(xué)環(huán)境、發(fā)布課程內(nèi)容等。4.3 大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)思路為實(shí)現(xiàn)建設(shè)目標(biāo)要求，大數(shù)據(jù)實(shí)訓(xùn)室設(shè)計(jì)構(gòu)建中堅(jiān)持以下設(shè)計(jì)原則：第一，高可靠性。大數(shù)據(jù)實(shí)驗(yàn)平臺的穩(wěn)定可靠是實(shí)驗(yàn)正常運(yùn)行的關(guān)鍵保證，在大數(shù)據(jù)實(shí)驗(yàn)設(shè)備設(shè)計(jì)中選用高可靠性產(chǎn)品，合理設(shè)計(jì)大數(shù)據(jù)實(shí)驗(yàn)平臺架構(gòu)，制訂可靠的備份策略， 保證大數(shù)據(jù)實(shí)驗(yàn)平臺具有故障自愈的能力，最大限度地支持系統(tǒng)的正常運(yùn)行。第二，標(biāo)準(zhǔn)開放性。選用業(yè)界主流大數(shù)據(jù)處理系統(tǒng)，保證與生態(tài)內(nèi)各組件之間的平滑集成與連接互通，以及將來的擴(kuò)展；對外提供標(biāo)準(zhǔn)統(tǒng)一API接口。第三，靈活性及可擴(kuò)展性。根據(jù)未來業(yè)務(wù)的增長和變化，實(shí)驗(yàn)平臺可以平

24、滑地擴(kuò)充和升級，最大程度地減少對現(xiàn)有實(shí)驗(yàn)平臺的調(diào)整?，F(xiàn)有設(shè)備可以在擴(kuò)容過程中得到充分利用， 從而保護(hù)用戶現(xiàn)有投資。第四，可管理性。對實(shí)驗(yàn)平臺實(shí)行集中監(jiān)測、分權(quán)管理，并統(tǒng)一分配資源管理。選用先進(jìn)的大數(shù)據(jù)平臺，具有對實(shí)驗(yàn)平臺內(nèi)的虛機(jī)資源創(chuàng)建、監(jiān)控、遷移等管理能力。第五，統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一平臺。大數(shù)據(jù)平臺的建設(shè)要從長遠(yuǎn)角度出發(fā)，考慮平臺的擴(kuò)展能力，采用開放的技術(shù)和國際標(biāo)準(zhǔn)。4.4 實(shí)驗(yàn)平臺建設(shè)原則從在方案設(shè)計(jì)思路上，針對大數(shù)據(jù)實(shí)驗(yàn)平臺，我們從以下幾個方面進(jìn)行深思 熟慮的設(shè)計(jì)：1 .技術(shù)標(biāo)準(zhǔn)開放當(dāng)前階段大數(shù)據(jù)整個產(chǎn)業(yè)化還不夠成熟， 相關(guān)標(biāo)準(zhǔn)還在不斷完善中。目前選 用業(yè)界使用最為廣泛的HadooP乍為平臺當(dāng)

25、中一部分，能夠與生態(tài)內(nèi)各類常用組件 無縫對接。止匕外，為保證方案的前瞻性，設(shè)備的選型應(yīng)充分考慮計(jì)算、存儲、網(wǎng) 絡(luò)節(jié)點(diǎn)的能力，保證良好的先進(jìn)性，以適應(yīng)未來的技術(shù)發(fā)展。2 .開放接口為保證服務(wù)器、存儲、網(wǎng)絡(luò)等資源能夠被大數(shù)據(jù)平臺良好的調(diào)度與管理， 要 求系統(tǒng)提供開放的API接口。同時大數(shù)據(jù)平臺也提供開放的API接口，未來可以在 這些接口的基礎(chǔ)上進(jìn)行二次定制開放。3 .豐富、清晰的培訓(xùn)教材對于實(shí)驗(yàn)室承擔(dān)的培訓(xùn)工作，比如基礎(chǔ)課程的培訓(xùn)、行業(yè)應(yīng)用培訓(xùn)，應(yīng)該具 有豐富、清晰的教材，包括教師指導(dǎo)書、學(xué)員課本和實(shí)驗(yàn)手冊。這樣可以充分提 高教學(xué)培訓(xùn)的效率。但是不是所有標(biāo)準(zhǔn)化教材都能滿足所有實(shí)驗(yàn)室，很多學(xué)校在承擔(dān)

26、特殊化的培訓(xùn)工作時，往往需要定制開發(fā)教材，這就需要實(shí)驗(yàn)設(shè)備提供商和 學(xué)校聯(lián)合開發(fā)相應(yīng)的課程。4 .師資培訓(xùn)新技術(shù)交流雖然多數(shù)科研人員和授課教師都有很深的學(xué)術(shù)功底，但是不見得對實(shí)驗(yàn)設(shè)備 了解非常深入，這就對科研進(jìn)度和培訓(xùn)工作帶來影響。供應(yīng)商在提供實(shí)驗(yàn)設(shè)備的 同時應(yīng)該對科研人員和授課教師進(jìn)行詳細(xì)的設(shè)備使用培訓(xùn)，使他們能夠更好的開 展后續(xù)工作。為了使研究、培訓(xùn)內(nèi)容跟上最新技術(shù)的發(fā)展，應(yīng)當(dāng)有業(yè)界技術(shù)領(lǐng)先 的企業(yè)定期和科研人員、授課教師充分交流前沿技術(shù)的發(fā)展，已達(dá)到開拓科研視 野、增加企業(yè)產(chǎn)品方案競爭力的雙贏目的。5 .權(quán)威認(rèn)證培訓(xùn)來到實(shí)驗(yàn)室接受培訓(xùn)和參加技術(shù)進(jìn)修的學(xué)員，實(shí)際上對實(shí)驗(yàn)教學(xué)內(nèi)容和實(shí)驗(yàn) 設(shè)施

27、比較挑剔的。這是非?，F(xiàn)實(shí)的，因?yàn)槊總€人都不希望來到實(shí)驗(yàn)室還是學(xué)習(xí)很 多過時的技術(shù)，也不希望學(xué)習(xí)一些非主流設(shè)備。 除了自身技術(shù)技能的提升，另外 一個學(xué)員關(guān)心的問題是能夠拿到一個非常權(quán)威的、被廣泛認(rèn)可的能力證明，這對 學(xué)員個人今后的發(fā)展會有較大促進(jìn)作用。6 .技術(shù)服務(wù)保障雖然實(shí)驗(yàn)室對設(shè)備的可靠性不及電信、金融系統(tǒng)對設(shè)備可靠性要求高，但是 如果科研課題進(jìn)度非常緊，或者學(xué)員是付費(fèi)使用實(shí)驗(yàn)室，那么實(shí)驗(yàn)平臺對可靠性 以及廠家對故障的服務(wù)響應(yīng)就非常重要了。 另一個維度來講，實(shí)驗(yàn)平臺涉及多種 高、精、尖技術(shù)，廠家服務(wù)人員對技術(shù)掌握的深度和范圍也顯得非常必要。4.5 實(shí)驗(yàn)平臺教材大綱課程體系架構(gòu)如下：大數(shù)據(jù)應(yīng)用

28、開發(fā)崗基礎(chǔ)課程 W位群實(shí)訓(xùn)實(shí)習(xí)蔡皖搭建與運(yùn)維 崗位群數(shù)隹倉庫要出ETL技術(shù)數(shù)據(jù)治理數(shù)據(jù)建度分析型數(shù)據(jù)座大數(shù)據(jù)平臺部署及基本操作實(shí)訓(xùn)B展現(xiàn)實(shí)現(xiàn)海量真察數(shù)據(jù)分忻展現(xiàn)實(shí)訓(xùn)頂崗實(shí)習(xí)統(tǒng)計(jì)學(xué)原理分析挖器算法機(jī)器學(xué)習(xí)大麴居創(chuàng)新平臺課程大綱如下：第一篇大數(shù)據(jù)概述? 大數(shù)據(jù)技術(shù)的起源、發(fā)展歷程? 大數(shù)據(jù)技術(shù)流派、體系結(jié)構(gòu)? 大數(shù)據(jù)典型應(yīng)用、商用案例? 大數(shù)據(jù)發(fā)展業(yè)前景第二篇大數(shù)據(jù)關(guān)鍵技術(shù)? Hadoop既術(shù)? 分布式計(jì)算概述? 數(shù)據(jù)分析挖掘算法? 數(shù)據(jù)倉庫與商業(yè)智能第三篇大數(shù)據(jù)應(yīng)用設(shè)計(jì)? Mapreduce/Spark 等編程實(shí)踐? HDFS/HBas等編程實(shí)踐? 綜合實(shí)訓(xùn)4.6 實(shí)訓(xùn)室課程目標(biāo)? 掌握大數(shù)據(jù)的

29、基本概念與解決方案。? 掌握大數(shù)據(jù)的基礎(chǔ)平臺部署? 掌握大數(shù)據(jù)常見計(jì)算框架原理及操作? 掌握數(shù)據(jù)采集工具使用? 掌握常用數(shù)據(jù)分析挖掘算法及使用? 掌握數(shù)據(jù)倉庫與商業(yè)智能理論及使用? 掌握大數(shù)據(jù)產(chǎn)品維護(hù)4.7 學(xué)員能力要求? 熟悉windows、Linux業(yè)務(wù)服務(wù)器的配置，維護(hù)，監(jiān)控，調(diào)優(yōu)，故障排除等? 具備數(shù)據(jù)庫基礎(chǔ)知識，熟悉數(shù)據(jù)庫相關(guān)操作? 具備數(shù)學(xué)及統(tǒng)計(jì)學(xué)相關(guān)基礎(chǔ)知識? 具備計(jì)算機(jī)編程能力? 具備數(shù)據(jù)結(jié)構(gòu)、算法相關(guān)知識5 .實(shí)訓(xùn)屋的相關(guān)服務(wù)5.1 培訓(xùn)中心介紹培訓(xùn)中心是公司為客戶、渠道合作伙伴、內(nèi)部員工和社會IT從業(yè)人員提供全系列的網(wǎng)絡(luò)產(chǎn)品培訓(xùn)和網(wǎng)絡(luò)技術(shù)認(rèn)證的專業(yè)培訓(xùn)機(jī)構(gòu)，致力于向高校師生

30、提供高 品質(zhì)、全方位的認(rèn)證培訓(xùn)服務(wù)。另外培訓(xùn)中心還擁有一支專門負(fù)責(zé)課程開發(fā)的專家隊(duì)伍。他們深諳職業(yè)教 育的特點(diǎn)，精于系統(tǒng)化的課程設(shè)計(jì)和開發(fā)，確保所有的培訓(xùn)項(xiàng)目優(yōu)質(zhì)高效，滿足 客戶需求。培訓(xùn)中心將產(chǎn)品開發(fā)理念貫穿到課程開發(fā)中，歷經(jīng)市場調(diào)研、設(shè)計(jì)、開發(fā)以及教學(xué)效果評估等四個階段。課程設(shè)計(jì)特別注重學(xué)員實(shí)際工作能力的提高， 課 程中高度強(qiáng)調(diào)是實(shí)際的上機(jī)維護(hù)操作、 網(wǎng)上案例講解、故障模擬演練，緊密聯(lián)系 當(dāng)前的網(wǎng)上情況，能極大地提高學(xué)員的實(shí)際操作維護(hù)能力。根據(jù)用戶需要和產(chǎn)品特點(diǎn)，培訓(xùn)課程采用模塊化的設(shè)計(jì)思想，每個課程都 有可衡量的培訓(xùn)目標(biāo)、具體的培訓(xùn)內(nèi)容及合理的時長。并且在各種課程的設(shè)置中 強(qiáng)調(diào)案例教學(xué)，強(qiáng)調(diào)技術(shù)應(yīng)用能力培養(yǎng)，在認(rèn)證考試中也有相當(dāng)?shù)膶?shí)際配置考察。 培訓(xùn)課程的各模塊也以恰當(dāng)?shù)臅r序進(jìn)行組合，以保證最佳的培訓(xùn)效果。優(yōu)良的培訓(xùn)和實(shí)驗(yàn)環(huán)境培訓(xùn)中心擁有良好的培訓(xùn)環(huán)境，培訓(xùn)設(shè)備選型以主流設(shè)備為主，并及時更新 軟件以