“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項規(guī)程

“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項規(guī)程一、賽項稱賽項名稱：大數(shù)據(jù)技術(shù)與應(yīng)用英語翻譯：BigDataTechnologyandApplication賽項組別：高職組賽項歸屬產(chǎn)業(yè)：電子信息產(chǎn)業(yè)二、競賽的（一）促進(jìn)發(fā)展專業(yè)教學(xué)內(nèi)容和課程體系改革國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》（以下簡稱《綱要》），系統(tǒng)指導(dǎo)我國大數(shù)據(jù)發(fā)展的國家頂層設(shè)計和總體部署大數(shù)據(jù)發(fā)展工作《綱要》中明確指出，要加強(qiáng)專業(yè)人才培養(yǎng)創(chuàng)新人才培養(yǎng)模式建立健全多層次多類型的大數(shù)據(jù)人才培養(yǎng)體系。2016年9月，教育部準(zhǔn)設(shè)立了高職院?！按髷?shù)據(jù)技術(shù)與應(yīng)用”專業(yè)。由于缺乏與用人單位崗位核心技術(shù)技能相匹配的專業(yè)課程體系及師資力量重影響了高職院校大數(shù)據(jù)人才培養(yǎng)質(zhì)量。大數(shù)據(jù)技術(shù)與應(yīng)用賽項包括大數(shù)據(jù)平臺運(yùn)行維護(hù)數(shù)據(jù)采集與預(yù)處理數(shù)據(jù)清洗及存儲數(shù)據(jù)分析及可視化等工作內(nèi)容考查內(nèi)容對接國家教學(xué)標(biāo)準(zhǔn)提出的大數(shù)據(jù)相關(guān)專業(yè)綜合核心技術(shù)技能和職業(yè)素養(yǎng)夠適應(yīng)我國大數(shù)據(jù)產(chǎn)業(yè)對高素質(zhì)復(fù)合型人才的產(chǎn)業(yè)需求覆蓋大數(shù)據(jù)行業(yè)技術(shù)崗位體系滿足大數(shù)據(jù)企業(yè)技術(shù)研發(fā)類基礎(chǔ)平臺運(yùn)營類崗位對大數(shù)據(jù)平臺運(yùn)維能力、大數(shù)據(jù)應(yīng)用開發(fā)能力及職業(yè)素養(yǎng)等方面的要求；促進(jìn)教師專業(yè)能力及教學(xué)能力的提升，引領(lǐng)大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)建設(shè)及課程改革。（二）開拓產(chǎn)教融合新模式、推進(jìn)協(xié)同育人產(chǎn)學(xué)研合作大數(shù)據(jù)技術(shù)與應(yīng)用賽項選取大數(shù)據(jù)行業(yè)企業(yè)典型項目需求繞項目開發(fā)過程設(shè)計競賽內(nèi)容競賽任務(wù)就是項目工作任務(wù)通過本賽項推動了課程內(nèi)容與職業(yè)標(biāo)準(zhǔn)對接，教學(xué)過程與生產(chǎn)過程對接，專業(yè)與產(chǎn)業(yè)對接，實現(xiàn)教育鏈、人才鏈與產(chǎn)業(yè)鏈、創(chuàng)新鏈有機(jī)銜接，促進(jìn)產(chǎn)教融合、校企合作、產(chǎn)業(yè)發(fā)展。（三）為企業(yè)提供大數(shù)據(jù)人才支撐，提高學(xué)生就業(yè)質(zhì)量大數(shù)據(jù)技術(shù)與應(yīng)用賽項選取真實的大數(shù)據(jù)業(yè)務(wù)分析應(yīng)用場景點(diǎn)考查選手的實際動手能力規(guī)范操作水平創(chuàng)新創(chuàng)意水平等綜合職業(yè)能力參賽選手通過對實際業(yè)

務(wù)數(shù)據(jù)的分析運(yùn)用大數(shù)據(jù)領(lǐng)域技術(shù)手段揭示業(yè)務(wù)數(shù)據(jù)隱含的業(yè)務(wù)規(guī)律實現(xiàn)對業(yè)務(wù)運(yùn)行發(fā)展?fàn)顟B(tài)的推斷以數(shù)據(jù)分析結(jié)果為支撐做出科學(xué)合理的決策建議彰顯了參賽選手的綜合職業(yè)能力及教師的教學(xué)能力分展示職教改革成果及師生良好精神面貌。三、競賽容賽項以大數(shù)據(jù)技術(shù)與應(yīng)用為核心內(nèi)容，重點(diǎn)考查參賽選手基于Hadoop平臺環(huán)境下，利Hadoop、Spark技術(shù)生態(tài)組件，綜合軟件開發(fā)相關(guān)技術(shù)，解決實際問題的能力，具體包括：1）掌握按照項目需求配置管理、Spark大數(shù)據(jù)平臺及相關(guān)生態(tài)組件；2）掌握企業(yè)常用數(shù)據(jù)清洗工具相關(guān)技術(shù)，完成指定數(shù)據(jù)的清洗及分析能力；3）綜合利用、Flask技術(shù)，使用、Python等開發(fā)語言，完成數(shù)據(jù)清洗、存儲、轉(zhuǎn)化、分析及數(shù)據(jù)推送等一系列大數(shù)據(jù)操作；4）綜合運(yùn)用HTML、CSS、JavaScript、Python開發(fā)語言，對數(shù)據(jù)進(jìn)行可視化呈現(xiàn)；5）根據(jù)數(shù)據(jù)可視化結(jié)果，完成數(shù)據(jù)分析報告的編寫。競賽內(nèi)容構(gòu)成如下：考環(huán)Hadoop、Spark平的配置和部署數(shù)據(jù)獲取與分布式文件系統(tǒng)操作Spark數(shù)清洗與分析

考知點(diǎn)技點(diǎn)集群免密配置和基礎(chǔ)軟件安裝配置Hadoop集搭建Spark集搭建可視化平臺的搭建查找指定源數(shù)據(jù)文件HDFS創(chuàng)建錄及上傳源數(shù)據(jù)使用HadoopAPI操作源數(shù)據(jù)基于SparkJavaAPI的地項目搭建導(dǎo)入本地Java項的依賴庫掌握在Spark框下的JavaAPI程熟練使用SparkSQL讀HDFS

描考察+Spark集的部署能力掌握常用的基本配置和基礎(chǔ)軟件安裝能夠部署和管理高可用集群。掌握平的搭建。掌握Linux基礎(chǔ)命令考Hadoop文系統(tǒng)的常用命令掌分布式文件系統(tǒng)命令行操作與API操作?？疾鞂Ψ植际接嬎愫头植际酱鎯軜?gòu)下的數(shù)據(jù)讀寫、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析等綜合應(yīng)用能力使用Java開語言完Spark框架下的HDFS讀寫、內(nèi)存表構(gòu)建、SQL函關(guān)聯(lián)合并

使用檢索和清洗函數(shù)處理Spark內(nèi)存表數(shù)據(jù)。

過濾等一系列數(shù)據(jù)操作根據(jù)實驗任務(wù)書編寫分析模塊代碼進(jìn)行編譯、打包、提交集群，執(zhí)行Spark序，監(jiān)控任務(wù)執(zhí)行情況。輸出目標(biāo)數(shù)據(jù)文件。Web數(shù)據(jù)可視化

構(gòu)建Web平項目，使用HDFS讀取Spark任務(wù)提供的目標(biāo)數(shù)據(jù)集。編寫前端代碼，對數(shù)據(jù)分析結(jié)果進(jìn)行呈現(xiàn)。

通過常見的數(shù)據(jù)可視化方法將據(jù)分析結(jié)果以圖表的形式進(jìn)行呈現(xiàn)，使用Java、Python及HTML等程語言實現(xiàn)數(shù)據(jù)源分析結(jié)果展現(xiàn)考察學(xué)生對大數(shù)據(jù)技術(shù)與綜合分析

通過項目代碼和架構(gòu)根據(jù)數(shù)據(jù)析結(jié)果及可視決策分析和歸納概括表述化圖表進(jìn)行報告編寫，形成決策分析報告。的綜合操作能力和表達(dá)能力競賽各階段分值權(quán)重分布如下：主涉的識技點(diǎn)Hadoop、Spark平的配置和部數(shù)據(jù)獲取與分布式文件系統(tǒng)操作Spark數(shù)據(jù)洗與分析Web數(shù)據(jù)可視化綜合分析團(tuán)隊分工明確合理、操作規(guī)范、文明競賽四、競賽式

分權(quán)25%10%25%20%15%5%大數(shù)據(jù)技術(shù)與應(yīng)用賽項為團(tuán)體賽每支參賽隊由名參賽選手組成須為同校在籍學(xué)生其中隊長1名每支參賽隊可配2名指導(dǎo)教師指導(dǎo)教師須為本校專兼職教師同一學(xué)校的報名參賽隊不超過3支參賽選手和指導(dǎo)教師報名獲得確認(rèn)后不得隨意更換。競賽設(shè)單一場次所有參賽隊小時內(nèi)完成比賽比賽形式以實踐操作為主采用小組合作的形式完成賽項任務(wù)現(xiàn)場過程評價與完成任務(wù)結(jié)果評價為主要考核方式。競賽采用在線考試系統(tǒng)題由系統(tǒng)自動統(tǒng)計評分觀題如大數(shù)據(jù)應(yīng)用開發(fā)、工程報告明確每項公開評分標(biāo)準(zhǔn)和得分點(diǎn)考試系統(tǒng)通過場外大屏可實時跟蹤競賽進(jìn)度。

賽項采用統(tǒng)一規(guī)格的硬件、軟件和輔助工具，確保競賽平臺統(tǒng)一。五、競賽程根據(jù)競賽任務(wù)要求參賽隊伍在4小時競賽時間內(nèi)須完成競賽任務(wù)參賽隊伍須按順序完成各項任務(wù)，但每項任務(wù)用時可自行掌握。（一）賽流程（二）賽時間安排日比賽前日

時12:00之10:00—11:0015:30—16:0016:00—16:30

內(nèi)各參賽隊報到；裁判報到裁判工作會議；工作人員（含監(jiān)考）培訓(xùn)會賽前領(lǐng)隊會參賽隊熟悉比賽場地

比賽當(dāng)日

17:00—18:007:007:308:008:108:208:308:40-12:4012:40—13:0012:40—14:4013:00—13:3013:30—21:00

現(xiàn)場裁判賽前檢查，封閉賽場參賽隊集合前往比賽現(xiàn)場開賽式賽場檢錄一次加密：參賽隊抽取參賽編號二次加密：參賽隊抽取賽位號參賽隊進(jìn)入比賽賽位行前硬件檢查題目發(fā)放比賽收取各參賽隊賽題及比賽結(jié)果文檔申訴受理三次加密：競賽結(jié)果等文件加密成績評定與復(fù)核六、競賽題（一）賽項執(zhí)委會下設(shè)的命題專家組負(fù)責(zé)本賽項命題工作。七、競賽則1.參賽選手須為高等職業(yè)學(xué)校全日制在籍學(xué)生科院校中高職類全日制在籍學(xué)生，五年制高職四、五年級學(xué)生可報名參賽。參賽選手年齡須不超過25周歲（年齡計算的截止時間以20205月1為準(zhǔn)）。凡在往屆山西省職業(yè)院校技能大賽中獲本賽項高職組一等獎的選手，不能再參賽。2.競賽前1日安排各參賽隊領(lǐng)隊、參賽選手熟悉賽場。3.嚴(yán)禁參賽選手、賽項裁判、工作人員私自攜帶通訊、攝錄設(shè)備進(jìn)入比賽場地。4.參賽選手所需的硬件軟件和輔助工具統(tǒng)一提供參賽隊不得使用自帶的任何有存儲功能的設(shè)備，如硬盤、光盤、U盤、手機(jī)、隨身聽等。5.所有參賽選手都必須攜帶參賽證件進(jìn)行檢錄。6.參賽隊在賽前鐘領(lǐng)取比賽任務(wù)并進(jìn)入比賽工位，比賽正式開始后方可進(jìn)行相關(guān)操作。7.比賽過程中選手須嚴(yán)格遵守操作規(guī)程確保人身及設(shè)備安全并接受裁判員的監(jiān)督和指示因選手原因造成設(shè)備故障或損壞而無法繼續(xù)比賽的裁判長有權(quán)決定中止該隊比賽；非因選手個人原因造成設(shè)備故障的，由裁判長視具體情況作出裁決。

8.比賽結(jié)（或提前完成后參賽隊要確認(rèn)已成功提交競賽要求的配置文件和文檔裁判員與參賽隊隊長一起簽字確認(rèn)參賽隊在確認(rèn)后不得再進(jìn)行任何操作比賽時間終了選手應(yīng)全體起立結(jié)束操作經(jīng)工作人員查收清點(diǎn)所有文檔后方可離開賽場，離開賽場時不得帶走任何資料。9.比賽結(jié)束經(jīng)加密裁判對各參賽隊提交的競賽成果進(jìn)行三次加密后評分裁判方可入場進(jìn)行成績評判競賽成績經(jīng)復(fù)核無誤后由記分員將解密后的各參賽隊伍成績匯總成比賽成績，經(jīng)裁判長、監(jiān)督組簽字后，在指定地點(diǎn)，以紙質(zhì)形式向全體參賽隊進(jìn)行公布公布2小時無異議后將賽項總成績的最終結(jié)果錄入賽務(wù)管理系統(tǒng)經(jīng)裁判長監(jiān)督組長和仲裁長在系統(tǒng)導(dǎo)出成績單上審核簽字后在閉賽式上宣布并頒發(fā)證書。10.其它未盡事宜，將在賽前向各領(lǐng)隊做詳細(xì)說明。八、競賽地和環(huán)境標(biāo)1.競賽現(xiàn)場設(shè)置場內(nèi)競賽區(qū)現(xiàn)場裁判工作區(qū)技術(shù)支持區(qū)等競賽工位內(nèi)設(shè)有操作平臺，每工位配備220V源，工位內(nèi)的電纜線應(yīng)符合安全要求。競賽工位標(biāo)明工位號并配備競賽平臺和技術(shù)工作要求的軟件環(huán)境標(biāo)準(zhǔn)要求保證賽場采光(大于500lux)、照明和通風(fēng)良好。2.場內(nèi)競賽區(qū)為參賽隊提供統(tǒng)一的競賽設(shè)備；選手無需自帶任何工具及附件。3.監(jiān)考人員協(xié)助裁判長和現(xiàn)場裁判做好負(fù)責(zé)工位范圍內(nèi)的秩序維持。4.技術(shù)支持保障人員在技術(shù)支持服務(wù)區(qū)候場需要時在現(xiàn)場裁判的帶領(lǐng)下到相關(guān)的工位進(jìn)行賽場技術(shù)支持保障，在條件具備時，技術(shù)支持區(qū)可不設(shè)置在考場內(nèi)。5.競賽現(xiàn)場通風(fēng)良好、照明符合教室采光規(guī)范。九、技術(shù)范本賽項的技術(shù)規(guī)范將包括：相關(guān)專業(yè)的教育教學(xué)要求、行業(yè)、職業(yè)技術(shù)標(biāo)準(zhǔn)，以及根據(jù)高職目錄修訂后的大數(shù)據(jù)技術(shù)與應(yīng)用相關(guān)專業(yè)人才培養(yǎng)標(biāo)準(zhǔn)和規(guī)范時地修訂本賽項遵循的技術(shù)規(guī)范。表：礎(chǔ)準(zhǔn)標(biāo)準(zhǔn)GB/T11457-2006GB8566-88GB/T12991-2008GB/T21025-2007

內(nèi)容信息技術(shù)、軟件工程術(shù)語計算機(jī)軟件開發(fā)規(guī)范信息技術(shù)數(shù)據(jù)庫語言第1部：框架XML使用指南

GB/T28821-1012LD/T81.1-2006-T-469：-T-469：

關(guān)系數(shù)據(jù)管理系統(tǒng)技術(shù)要求職業(yè)技能實訓(xùn)和鑒定設(shè)備技術(shù)規(guī)范信息技術(shù)云數(shù)據(jù)存儲和管理第1部：總則信息技術(shù)云數(shù)據(jù)存儲和管理第2部：基于對象的云存儲應(yīng)用接口GB/T20009-2005：信安全技術(shù)數(shù)據(jù)庫管理系統(tǒng)安全評估準(zhǔn)則已發(fā)布GB/T20273-2006：信安全技術(shù)數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求-T-469：表：件發(fā)準(zhǔn)標(biāo)準(zhǔn)GB/T8566-2001GB/T15853-1995GB/T14079-1993GB/T17544-1998十、技術(shù)臺

信息技術(shù)安全技術(shù)信息安全管理體系實施指南內(nèi)容信息技術(shù)軟生存周期過程軟件支持環(huán)境軟件維護(hù)指南信息技術(shù)軟包質(zhì)量求和測比賽器材、技術(shù)平臺：大數(shù)據(jù)技術(shù)與應(yīng)用平臺（合作企業(yè)：南京云創(chuàng)大數(shù)據(jù)科技股份有限公司；品牌：云創(chuàng)；型號，技術(shù)平臺軟硬件設(shè)備組成如下：（一）硬件設(shè)備1.服務(wù)器嵌大數(shù)據(jù)實驗一體機(jī)平臺軟件本配置如下顆英特爾至強(qiáng)銀牌1.8G,8C/16T,9.6GT/s2UPI,11M緩存,HT(85W)DDR4-2400/256GB存/3×2TB轉(zhuǎn)SATA6Gb硬盤/支持RAID5/1Gb×2管理網(wǎng)絡(luò)接口/1Gb×2數(shù)據(jù)網(wǎng)絡(luò)接口/1+1冗余電源。2.網(wǎng)絡(luò)設(shè)備：為市場通用設(shè)備。3.客戶端：客戶端基本配置要求：處理器2G以上內(nèi)存，顯示器要求1024*768以上。（承辦學(xué)校提供）。數(shù)量：參賽團(tuán)隊+0.3*參賽團(tuán)隊（備份）（二）軟件平臺1）服務(wù)器軟件：1.1操作系統(tǒng)（）1.2Hadoop分布式計算平臺1.3大數(shù)據(jù)實訓(xùn)管理系統(tǒng)1.4Web站點(diǎn)2）客戶端軟件：2.1操作系統(tǒng)（）

2.2開發(fā)語言包（2.3數(shù)據(jù)分析工具（pdi-ce-7.1.0.0-12）2.4瀏覽器（Chrome)2.5文檔編輯器（或office）2.6OpenVPN客戶端（2.4.7）2.7遠(yuǎn)程連接工具（教學(xué)/家庭版）2.8上傳/下載工具（5.9.0.6786）十一、成評定（一）評分標(biāo)準(zhǔn)總分，競賽結(jié)果文件的提交按照題目要求，提交符合模板的件和源碼文件以及相關(guān)要求截圖文件。（二）裁判工作原則1.按照《2019年全國職業(yè)院校技能大賽專家和裁判工作管理辦法》建立全國職業(yè)院校技能大賽賽項裁判庫裁判長由賽項執(zhí)委會向大賽執(zhí)委會推薦由大賽執(zhí)委會聘任。賽前建立健全裁判組。裁判組為裁判長負(fù)責(zé)制，并設(shè)有專職督導(dǎo)裁判1名，負(fù)責(zé)比賽過程全程監(jiān)督，防止?fàn)I私舞弊。本賽項計劃需要裁判7名，分別為裁判長1名、專職督導(dǎo)裁判1名、加密裁判1名、現(xiàn)場裁判名和評分裁判2名。2.賽項需進(jìn)行三次加密加密后參賽選手中途不得擅自離開賽場分別由1名加密裁判組織實施加密工作，管理加密結(jié)果。監(jiān)督員全程監(jiān)督加密過程。3.第一次加密裁判組織參賽選手進(jìn)行第一次抽簽產(chǎn)生參賽編號替換選手參賽證等個人身份信息填寫一次加密記錄表連同選手參賽證等個人身份信息證件裝入一次加密結(jié)果密封袋中單獨(dú)保管。4.第二次加密裁判組織參賽選手進(jìn)行第二次抽簽確定賽位號替換選手參賽編號寫二次加密記錄表連同選手參賽編號二次加密結(jié)果密封袋中單獨(dú)保管。5.第三次加密裁判對提交的競賽文檔進(jìn)行加密。確定競賽文檔號，替換賽位號，填寫三次加密記錄表，裝入三次加密結(jié)果密封袋中單獨(dú)保管。6.所有加密結(jié)果密封袋的封條均需相應(yīng)加密裁判和監(jiān)督人員簽字封袋在監(jiān)督人員監(jiān)督下由加密裁判放置于保密室的保險柜中保存。（三）評分標(biāo)準(zhǔn)制定原則

1.競賽評分制定嚴(yán)格遵守公平公正的原則大數(shù)據(jù)技術(shù)與應(yīng)用賽項評分采用賽項結(jié)果評分方法，始終貫徹落實大賽一貫堅持的公平、公正和公開原則。2.賽項評分依據(jù)選手固化在實操任務(wù)中的成果過評分裁判對比賽成果再現(xiàn)的方法評分，并兼顧團(tuán)隊協(xié)作精神和職業(yè)素養(yǎng)綜合評定。3.選手在完成任務(wù)之后請務(wù)必向賽場中心競賽系統(tǒng)提交任務(wù)完成結(jié)果由賽項工作人員統(tǒng)一將提交的結(jié)果拷貝至U盤中手在確認(rèn)U盤拷貝文件的內(nèi)容與本工位操作內(nèi)容一致后由參賽選手隊長簽字確認(rèn)因選手未能正確提交任務(wù)完成情況致使在競賽系統(tǒng)中沒有正確記錄內(nèi)容的或者記錄內(nèi)容為空的，將計為零分。4.客觀性結(jié)果評分采用優(yōu)先判斷功能實現(xiàn)評分原則依據(jù)功能實現(xiàn)的狀態(tài)信息截圖，判斷功能項是否實現(xiàn)，如果未實現(xiàn)功能，再按照配置步驟命令進(jìn)行給分。5.三層加密原則比賽過程采取三層加密通過抽取參賽編號賽位號和競賽成果號，屏蔽參賽隊信息，每個環(huán)節(jié)設(shè)置一名獨(dú)立裁判，每個環(huán)節(jié)結(jié)束后，數(shù)據(jù)立即封存于裁判長，加密裁判直接隔離，確保成績評定公平、公正。6.獨(dú)立評分原則。根據(jù)裁判分工，負(fù)責(zé)相同模塊評分工作的不同裁判采取隨機(jī)抽簽獨(dú)立評分，確保成績評定嚴(yán)謹(jǐn)、客觀、準(zhǔn)確。裁判進(jìn)行隨機(jī)抽簽分組，杜絕主觀意愿組隊，各自完全獨(dú)立評分，裁判員間互不干涉，比賽監(jiān)督人員可隨機(jī)監(jiān)督。7.錯誤不傳遞原則各環(huán)節(jié)分別計算得分錯誤不傳遞按規(guī)定比例計入團(tuán)隊總分。當(dāng)總分相同時，再按照效率→成本排序。效率即用時少的排名靠前。8.參賽隊提交比賽任務(wù)結(jié)束請求或者在比賽時間終止后，不得再進(jìn)行任何操作。否則，視為比賽作弊，給參賽團(tuán)隊記警告一次。9.在競賽過程中選手如有不服從裁判判決亂賽場秩序舞弊等不文明行為，由裁判按照規(guī)定扣減相應(yīng)分?jǐn)?shù)并且給予警告情節(jié)嚴(yán)重的取消競賽資格競賽成績記0分，隊員退出比賽現(xiàn)場。（四）評分標(biāo)準(zhǔn)裁判員執(zhí)裁過程中各模塊由分組裁判員進(jìn)行背對背評分由小組長負(fù)責(zé)裁定成績一致方提交到成績統(tǒng)計組統(tǒng)計組再次核對每小題的得分并匯總產(chǎn)生每套競賽文檔號的對應(yīng)成績。裁判長正式提交競賽文檔號對應(yīng)的評分結(jié)果并復(fù)核無誤后密裁判在監(jiān)督人員監(jiān)督下對加密結(jié)果進(jìn)行逐層解密形成成績一覽表成績表由裁判長監(jiān)督員簽字確認(rèn)。

競賽評分嚴(yán)格按照公平公正公開的原則評分標(biāo)準(zhǔn)注重考查參賽選手以下各方面的能力和水平：任Hadoop、Spark平臺的配置和部署數(shù)據(jù)獲取與分布式文件系統(tǒng)操作Spark數(shù)據(jù)清洗與分析

考點(diǎn)Linux命令、置文件Linux命令、Hadoop命令、HDFS編程SparkJavaAPI編程、SparkSQL函數(shù)應(yīng)用、HDFS讀寫編程

描考察Hadoop+Spark集的部署能力，掌握常用的基本配置和基礎(chǔ)軟件安裝，能夠部署和管理高可用集群。掌握平的搭建掌握Linux基礎(chǔ)令Hadoop文件系統(tǒng)的常用命令，掌握分布式文件系統(tǒng)命令行操作與API操作?？疾鞂Ψ植际接嬎愫头植际酱鎯軜?gòu)下的數(shù)據(jù)讀寫、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析等綜合應(yīng)用能力，使用Java開語言，完成Spark框下的HDFS讀、內(nèi)存表構(gòu)建函關(guān)聯(lián)合并過濾等一系列數(shù)據(jù)操作

評標(biāo)主要評分點(diǎn)包括Linux系基本操作、集群免密配置、基礎(chǔ)軟件安裝配置、Hadoop集群配置、Spark集配置。主要評分點(diǎn)包括Linux基命令、文系統(tǒng)的操作命令、API操作代碼。主要評分點(diǎn)包括SparkJavaAPI編程、SparkSQL組件編程、數(shù)據(jù)讀寫、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、編譯打包、Spark任提交。HDFS讀編程。

分（）251025通過常見的數(shù)據(jù)可視化方法，將Web數(shù)可視化

Web編程、可視化

數(shù)據(jù)分析結(jié)果以圖表的形式進(jìn)行呈現(xiàn)使Java、Python及HTML等編程語言，實現(xiàn)數(shù)據(jù)源分析結(jié)

主要評分點(diǎn)包括Web平搭建、后臺代碼開發(fā)、前端代碼開發(fā)、圖表展示。

20果展現(xiàn)綜合分析團(tuán)隊協(xié)作

報告編寫、策分析團(tuán)隊協(xié)作

考察學(xué)生對大數(shù)據(jù)技術(shù)與決策分析和歸納概括表述的綜合操作能力和表達(dá)能力團(tuán)隊分工明確合理、操作規(guī)范、文明競賽

主要評分點(diǎn)包括能夠按照賽項要求編寫報告，關(guān)鍵點(diǎn)截圖、分析歸納、文字表述、決策分析能力。主要評分點(diǎn)包括：競賽團(tuán)隊分工明確合理、操作規(guī)范、文明競賽。

155參賽選手應(yīng)體現(xiàn)團(tuán)隊風(fēng)貌協(xié)作與溝通織與管理能力和工作計劃能力等，并注意相關(guān)文檔的準(zhǔn)確性與規(guī)范性。競賽過程中參賽選手如有不服從裁判判決亂賽場秩序舞弊等不文明行為，由裁判組按照規(guī)定扣減相應(yīng)分?jǐn)?shù)情節(jié)嚴(yán)重的取消競賽資格選手有下列情形需從比賽成績中扣分：1.違反比賽規(guī)定提前進(jìn)行操作或比賽終止后仍繼續(xù)操作的由現(xiàn)場裁判負(fù)責(zé)記錄并酌情扣1-5分。

2.在競賽過程中違反操作規(guī)程影響其他選手比賽的未造成設(shè)備損壞的參賽隊，扣5-10分。3.在競賽過程中成設(shè)備損壞或影響他人比賽節(jié)嚴(yán)重的報競賽執(zhí)委會批準(zhǔn)，終止該參賽隊的比賽，競賽成績以0分計算。（五）成績復(fù)核與公布1.為保障成績評判的準(zhǔn)確性監(jiān)督組將對賽項總成績排名前的所有參賽隊伍（選手）的成績進(jìn)行復(fù)核；對其余成績進(jìn)行抽檢復(fù)核，抽檢覆蓋率不得低于15%。如發(fā)現(xiàn)成績錯誤以書面方式及時告知裁判長由裁判長更正成績并簽字確認(rèn)復(fù)核抽檢錯誤率超過5%的，裁判組將對所有成績進(jìn)行復(fù)核。2.競賽成績以復(fù)核無誤后經(jīng)項目裁判長監(jiān)督人員審核簽字后確定競賽成績通過賽場顯示屏和網(wǎng)絡(luò)直播等方式進(jìn)行實時公布同時在賽場及賽場外張貼紙質(zhì)成績。若有異議，經(jīng)過規(guī)定程序仲裁后，按照仲裁結(jié)果公布比賽成績。十二、獎設(shè)定由2020山西省職業(yè)院校技能大賽組委會統(tǒng)一設(shè)置，只設(shè)團(tuán)體獎。賽項設(shè)參賽選手團(tuán)體獎，以賽項實際參賽隊總數(shù)為基礎(chǔ)，一等獎?wù)急?0%，二等獎?wù)急龋泉務(wù)急?0%，小數(shù)點(diǎn)后四舍五入。十三、賽安全賽事安全是技能競賽一切工作順利開展的先決條件賽事籌備和運(yùn)行工作必須考慮的核心問題。賽項組委會采取切實有效措施保證大賽期間參賽選手、指導(dǎo)教師、裁判員、工作人員的人身安全。（一）組織機(jī)構(gòu)成立由賽項執(zhí)委會主任為組長的賽項安全保障小組員包括承辦院校主抓安全的校領(lǐng)導(dǎo)、學(xué)生工作處、后勤處、保衛(wèi)處、合作企業(yè)技術(shù)工程師等相關(guān)人員。與地方行政、交通、司法、安全、消防、衛(wèi)生、食品、質(zhì)檢等相關(guān)部門建立協(xié)調(diào)機(jī)制，制定應(yīng)急預(yù)案，及時處置突發(fā)事件，保證比賽安全進(jìn)行。（二）比賽環(huán)境1.賽項組委會須在賽前組織專人對比賽現(xiàn)場住宿場所和交通保障進(jìn)行考察并對安全工作提出明確要求。賽場的布置，賽場內(nèi)的器材、設(shè)備，應(yīng)符合國家有關(guān)安全規(guī)定。如有必要，也可進(jìn)行賽場仿真模擬測試，以發(fā)現(xiàn)可能出現(xiàn)的問題。

2.賽場周圍要設(shè)立警戒線求所有參賽人員必須憑賽項組委會印發(fā)的有效證件進(jìn)入場地防止無關(guān)人員進(jìn)入發(fā)生意外事件比賽現(xiàn)場內(nèi)應(yīng)參照相關(guān)職業(yè)崗位的要求為選手提供必要的勞動保護(hù)在具有危險性的操作環(huán)節(jié)裁判員要嚴(yán)防選手出現(xiàn)錯誤操作。3.提供保證應(yīng)急預(yù)案實施的條件對于比賽內(nèi)容涉及高空作業(yè)可能有墜物大用電量、易發(fā)生火災(zāi)等情況的賽項，必須明確制度和預(yù)案，并配備急救人員與設(shè)施。4.配備先進(jìn)的儀器防止有人利用電磁波干擾比賽秩序大賽現(xiàn)場需對賽場進(jìn)行網(wǎng)絡(luò)安全控制，以免場內(nèi)外信息交互，充分體現(xiàn)大賽的嚴(yán)肅、公平和公正性。（三）組隊責(zé)任1.各學(xué)校組織代表隊時，須安排為參賽選手購買大賽期間的人身意外傷害保險。2.各學(xué)校代表隊組成后須制定相關(guān)管理制度并對所有選手指導(dǎo)教師進(jìn)行安全教育。3.各參賽隊伍須加強(qiáng)對參與比賽人員的安全管理，實現(xiàn)與賽場安全管理的對接。（四）應(yīng)急處理比賽期間發(fā)生意外事故時者應(yīng)在第一時間報告賽項組委會時采取措施，避免事態(tài)擴(kuò)大賽項組委會應(yīng)立即啟動預(yù)案予以解決出現(xiàn)重大安全問題的賽項可以停賽是否停賽由賽區(qū)組委會決定后區(qū)執(zhí)委會應(yīng)向大賽執(zhí)委會報告詳細(xì)情況。（五）處罰措施1.因參賽隊伍原因造成重大安全事故的，取消其獲獎資格。2.參賽隊伍有發(fā)生重大安全事故隱患經(jīng)賽場工作人員提示警告無效的可取消其繼續(xù)比賽的資格。3.賽事工作人員違規(guī)的按照相應(yīng)的制度追究責(zé)任情節(jié)惡劣并造成重大安全事故的，由司法機(jī)關(guān)追究相應(yīng)法律責(zé)任。十四、競須知（一）參賽隊須知1.各參賽隊要發(fā)揚(yáng)良好道德風(fēng)尚，聽從指揮，服從裁判，不弄虛作假。如發(fā)現(xiàn)弄虛作假者，取消參賽資格，名次無效。2.各參賽隊領(lǐng)隊要堅決執(zhí)行競賽的各項規(guī)定加強(qiáng)對參賽人員的管理做好賽前準(zhǔn)備工作，督促選手帶好證件等競賽相關(guān)材料。

3.競賽過程中除參加當(dāng)場次競賽的選手執(zhí)行裁判員現(xiàn)場工作人員和經(jīng)批準(zhǔn)的人員外，領(lǐng)隊、指導(dǎo)教師及其他人員一律不得進(jìn)入競賽現(xiàn)場。4.參賽隊若對競賽過程有異議規(guī)定的時間內(nèi)由領(lǐng)隊向賽項仲裁工作組提出書面報告。5.對申訴的仲裁結(jié)果領(lǐng)隊要帶頭服從和執(zhí)行并做好選手工作參賽選手不得因申訴或處理意見不服而停止競賽，否則以棄權(quán)處理。6.參賽隊領(lǐng)隊?wèi)?yīng)對本隊參賽隊員和指導(dǎo)教師的參賽期間安全負(fù)責(zé)賽學(xué)校須為參賽選手和指導(dǎo)教師購買意外保險。7.領(lǐng)隊和指導(dǎo)教師應(yīng)在賽后做好賽事總結(jié)和工作總結(jié)。（二）指導(dǎo)教師須知1.各參賽代表隊要發(fā)揚(yáng)良好道德風(fēng)尚，聽從指揮，服從裁判，不弄虛作假。如發(fā)現(xiàn)弄虛作假者，取消參賽資格，名次無效。2.各代表隊領(lǐng)隊要堅決執(zhí)行競賽的各項規(guī)定加強(qiáng)對參賽人員的管理做好賽前準(zhǔn)備工作，督促選手帶好證件等競賽相關(guān)材料。3.競賽過程中除參加當(dāng)場次競賽的選手執(zhí)行裁判員現(xiàn)場工作人員和經(jīng)批準(zhǔn)的人員外，領(lǐng)隊、指導(dǎo)教師及其他人員一律不得進(jìn)入競賽現(xiàn)場。4.參賽代表隊若對競賽過程有異議規(guī)定的時間內(nèi)由領(lǐng)隊向賽項仲裁工作組提出書面報告。5.對申訴的仲裁結(jié)果領(lǐng)隊要帶頭服從和執(zhí)行并做好選手工作參賽選手不得因申訴或?qū)μ幚硪庖姴环Ｖ垢傎?，否則以棄權(quán)處理。6.指導(dǎo)老師應(yīng)及時查看大賽專用網(wǎng)頁有關(guān)賽項的通知和內(nèi)容真研究和掌握本賽項競賽的規(guī)程技術(shù)規(guī)范和賽場要求指導(dǎo)選手做好賽前的一切技術(shù)準(zhǔn)備和競賽準(zhǔn)備。（三）參賽選手須知1.參賽選手應(yīng)按有關(guān)要求如實填報個人信息，否則取消競賽資格。2.參賽選手需持統(tǒng)一印制的參賽證和有效身份證件參加競賽。3.參加選手應(yīng)認(rèn)真學(xué)習(xí)領(lǐng)會本次競賽相關(guān)文件，自覺遵守大賽紀(jì)律，服從指揮，聽從安排，文明參賽。4.參加選手請勿攜帶任何電子設(shè)備及其他資料、用品進(jìn)入賽場。

5.參賽選手應(yīng)按照規(guī)定時間抵達(dá)賽場，憑參賽證、身份證件檢錄，按要求入場，不得遲到早退。6.參賽選手應(yīng)增強(qiáng)角色意識