GZ033 大數(shù)據(jù)應(yīng)用開發(fā)賽項評分標(biāo)準(zhǔn)-2023年全國職業(yè)院校技能大賽賽項正式賽卷

年全國職業(yè)院校技能大賽評分標(biāo)準(zhǔn)（02）賽項名稱：大數(shù)據(jù)應(yīng)用開發(fā)英文名稱：BigDataApplicationDevelopment賽項組別：高職組賽項編號：GZ033任務(wù)子任務(wù)主要知識與技能點分值任務(wù)A:大數(shù)據(jù)平臺搭建（容器環(huán)境）子任務(wù)一：Hadoop完全分布式安裝配置JDK的解壓安裝1JDK的環(huán)境變量配置1Host配置及三個節(jié)點的分發(fā)1Hadoop解壓安裝及環(huán)境初始化2Hadoop集群啟動并查看2子任務(wù)二：Flume安裝配置Flume的解壓安裝、配置文件配置、運行測試等1環(huán)境變量配置1Hadoop日志傳輸2子任務(wù)三：FlinkonYarn安裝配置Flink的解壓安裝1環(huán)境變量配置1運行測試2小計15任務(wù)B:離線數(shù)據(jù)處理子任務(wù)一：數(shù)據(jù)抽取從MySQL中將user_info表的離線數(shù)據(jù)抽取到Hudi的ods_ds_hudi對應(yīng)表中1從MySQL中將sku_info表的離線數(shù)據(jù)抽取到Hudi的ods_ds_hudi對應(yīng)表中1從MySQL中將base_province表的離線數(shù)據(jù)抽取到Hudi的ods_ds_hudi對應(yīng)表中1從MySQL中將base_region表的離線數(shù)據(jù)抽取到Hudi的ods_ds_hudi對應(yīng)表中1從MySQL中將order_info表的離線數(shù)據(jù)抽取到Hudi的ods_ds_hudi對應(yīng)表中1從MySQL中將order_detail表的離線數(shù)據(jù)抽取到Hudi的ods_ds_hudi對應(yīng)表中1子任務(wù)二：數(shù)據(jù)清洗從Hudi的ods_ds_hudi到dwd_ds_hudi的進(jìn)行user_info表的數(shù)據(jù)合并清洗1從Hudi的ods_ds_hudi到dwd_ds_hudi的進(jìn)行sku_info表的數(shù)據(jù)合并清洗1從Hudi的ods_ds_hudi到dwd_ds_hudi的進(jìn)行base_province表的數(shù)據(jù)合并清洗1從Hudi的ods_ds_hudi到dwd_ds_hudi的進(jìn)行base_region表的數(shù)據(jù)合并清洗1從Hudi的ods_ds_hudi到dwd_ds_hudi的進(jìn)行order_info表的數(shù)據(jù)抽取1從Hudi的ods_ds_hudi到dwd_ds_hudi的進(jìn)行order_detail表的數(shù)據(jù)抽取1子任務(wù)三：指標(biāo)計算在dwd層基于Azkaban進(jìn)行工作流任務(wù)調(diào)度1統(tǒng)計每人每天下單的數(shù)量和下單的總金額存入Hudi的dws_ds_hudi層1統(tǒng)計每個省每月下單的數(shù)量和下單的總金額存入Hudi的dws_ds_hudi層1計算出每個省份2020年4月的平均訂單金額和該省所在地區(qū)平均訂單金額相比較結(jié)果存入ClickHouse1按照id進(jìn)行升序累加訂單的金額，取出累加值與目標(biāo)值2023060600相差最小的前10條的訂單id，按照差值從小到大進(jìn)行排序,將計算結(jié)果存入MySQL數(shù)據(jù)庫2按照id進(jìn)行升序排序，取id小于等于20000的訂單，求出連續(xù)訂單中平均金額數(shù)最大前1000000的連續(xù)訂單序列,將計算結(jié)果存入MySQL數(shù)據(jù)庫7小計25任務(wù)C:數(shù)據(jù)挖掘子任務(wù)一：特征工程對推薦系統(tǒng)的數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理2利用特征工程進(jìn)行特征提取3子任務(wù)二：推薦系統(tǒng)基于用戶的推薦系統(tǒng)設(shè)計開發(fā)操作5小計10任務(wù)D:數(shù)據(jù)采集與實時計算子任務(wù)一：實時數(shù)據(jù)采集基于Flume的實時數(shù)據(jù)采集,將數(shù)據(jù)注入Kafka4將數(shù)據(jù)同時備份到HDFS4子任務(wù)二：使用Flink處理Kafka中的數(shù)據(jù)實時統(tǒng)計商城實時訂單數(shù)量存入Redis3實時統(tǒng)計每分鐘申請退回的訂單數(shù)量存入Redis4實時統(tǒng)計每分鐘內(nèi)狀態(tài)為取消訂單占所有訂單的占比存入Redis5小計20任務(wù)E：數(shù)據(jù)可視化子任務(wù)一：用柱狀圖展示各省份消費額的中位數(shù)正確使用Vue.js框架，結(jié)合ECharts繪制柱狀圖3子任務(wù)二：用玫瑰圖展示各地區(qū)消費能力正確使用Vue.js框架，結(jié)合ECharts繪制玫瑰圖3子任務(wù)三：用折線圖展示每年上架商品數(shù)量變化正確使用Vue.js框架，結(jié)合ECharts繪制折線圖2子任務(wù)四：用條形圖展示消費總額最高的省份正確使用Vue.js框架，結(jié)合ECharts繪制條形圖3子任務(wù)五：用折柱混合圖展示省份平均消費額和地區(qū)平均消費額正確使用Vue.js框架，結(jié)合ECharts繪制折柱混合圖4小計15任務(wù)F:綜合分析子任務(wù)一：MySQL數(shù)據(jù)庫事務(wù)正確分析MySQL數(shù)據(jù)庫事務(wù)及其隔離級別4子任務(wù)二：Fl