2021年河北省職業(yè)院校技能大賽高職組“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)

1”賽項(xiàng)任務(wù)書(shū)(B卷)項(xiàng)目背景聯(lián)網(wǎng)時(shí)代，無(wú)論是對(duì)外尋找精準(zhǔn)客戶群，還是對(duì)內(nèi)進(jìn)銷存管理，都需要根據(jù)數(shù)據(jù)分析調(diào)整運(yùn)營(yíng)策大街小巷，然而也從來(lái)沒(méi)有哪個(gè)時(shí)代的餐飲業(yè)像今天這樣競(jìng)爭(zhēng)激烈、快進(jìn)快出，餐飲競(jìng)爭(zhēng)的加劇使得餐飲品類在持續(xù)分化。了至關(guān)重要的作用，如今的餐飲行業(yè)很多都會(huì)在搶購(gòu)熱潮來(lái)臨之前，使用大數(shù)據(jù)來(lái)分析消費(fèi)趨勢(shì)，以此在美食熱潮中獲得更多收益。隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，通過(guò)不同類型店鋪的地理分布、店鋪經(jīng)營(yíng)主類與受眾人群相契合、把握美食流行趨勢(shì)對(duì)顧客更好的發(fā)展。模板引擎)、ECharts組件等技術(shù)，提高開(kāi)發(fā)效率并實(shí)現(xiàn)項(xiàng)目要求，通過(guò)在離線網(wǎng)站上爬取求實(shí)現(xiàn)對(duì)未來(lái)餐飲重點(diǎn)戰(zhàn)略方向提出建議。2環(huán)境參考信息：編號(hào)編號(hào)任務(wù)類型用戶密碼1master2Hadoop平臺(tái)部署slave1從節(jié)點(diǎn)3slave2從節(jié)點(diǎn)4數(shù)據(jù)采集5數(shù)據(jù)清洗分析節(jié)點(diǎn)6數(shù)據(jù)可視化節(jié)點(diǎn)urantant相關(guān)軟件安裝包在/h3cu目錄下。任務(wù)中涉及的所有命令請(qǐng)均使用絕對(duì)路徑。 相關(guān)提交報(bào)告模板在桌面文件夾“競(jìng)賽提交文檔”下，文件名為“2020年山東省大數(shù) 據(jù)技術(shù)與應(yīng)用省賽提交結(jié)果文檔--工位XX.docx”，根據(jù)實(shí)際工位號(hào)修改文件名中的“XX”， 另存為PDF格式提交。 任務(wù)一環(huán)境搭建(15分)本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，安裝Hadoop需要配置前置環(huán)境，具體部署要求如下：1.在master節(jié)點(diǎn)將/h3cu下的JDK包解壓到/usr/local/src，將執(zhí)行命令復(fù)制粘貼至2.設(shè)置JDK環(huán)境變量，并使環(huán)境變量只對(duì)當(dāng)前root用戶生效；將環(huán)境變量配置內(nèi)容3至提交結(jié)果文檔。3.從master節(jié)點(diǎn)復(fù)制JDK環(huán)境變量文件.bash_profile到slave1、slave2節(jié)點(diǎn)，命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。4.配置SSH密鑰登錄，實(shí)現(xiàn)從master節(jié)點(diǎn)登錄到slave1節(jié)點(diǎn)，配置完成后，使用SSH免密登陸slave1節(jié)點(diǎn)的命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。Zookeeper狀態(tài)，將命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。de節(jié)點(diǎn))并查看進(jìn)程狀態(tài)，將命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。7.HadoopHA配置完畢后，在slave1節(jié)點(diǎn)查看進(jìn)程(slave1節(jié)點(diǎn)作為namenodestandby節(jié)點(diǎn))，將命令及結(jié)果復(fù)制粘貼至提交結(jié)果文檔。hcuSqoopusrlocal/src”路徑下，并使用相關(guān)命令，后文件夾名為sqoop，進(jìn)入sqoop文件夾，查看文件夾內(nèi)容，并將查看命令及結(jié)果復(fù)制粘貼至提交結(jié)果文檔；2.修改只對(duì)當(dāng)前root生效的環(huán)境變量，將環(huán)境變量配置內(nèi)容復(fù)制粘貼至提交結(jié)果文檔；3.修改并配置sqoop-env.sh文件，編輯配置文件命令及配置文件內(nèi)容，將配置文件內(nèi)容復(fù)制粘貼至提交結(jié)果文檔；查詢MySQL中所有數(shù)據(jù)庫(kù)名稱，將命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。4任務(wù)二數(shù)據(jù)采集(20分)1.網(wǎng)站解析，利用chrome查看網(wǎng)頁(yè)源碼，分析餐飲網(wǎng)站網(wǎng)頁(yè)結(jié)構(gòu)。1)打開(kāi)餐飲網(wǎng)站，在網(wǎng)頁(yè)中右鍵點(diǎn)擊檢查，或者F12快捷鍵,查看元素頁(yè)面；2)檢查網(wǎng)站：瀏覽網(wǎng)站源碼查看所需內(nèi)容。2.從餐飲網(wǎng)站中爬取需要數(shù)據(jù)，按照要求使用Java或Python語(yǔ)言編寫并完善爬蟲(chóng)代碼，爬取指定數(shù)據(jù)項(xiàng)，并將代碼復(fù)制粘貼至提交結(jié)果文檔。具體步驟如下：1)創(chuàng)建爬蟲(chóng)項(xiàng)目；2)構(gòu)建爬蟲(chóng)請(qǐng)求；3)按要求定義相關(guān)字段；4)獲取有效數(shù)據(jù)；5)將爬取到的數(shù)據(jù)保存到指定位置。至此已從餐飲網(wǎng)站中爬取了所需數(shù)據(jù)，下一步我們要將爬取結(jié)果進(jìn)一步進(jìn)行相關(guān)數(shù)據(jù)操詳細(xì)數(shù)據(jù)描述：已創(chuàng)建scrapy項(xiàng)目CateringScrapy(路徑：C:\catering_crawl)。本任務(wù)要求從餐飲網(wǎng)站(網(wǎng)站地址在競(jìng)賽平臺(tái)任務(wù)二中給出)中抓取數(shù)據(jù)，提取有效數(shù)據(jù)項(xiàng)包括實(shí)現(xiàn)所屬年本value。將相關(guān)內(nèi)容復(fù)制并粘貼至提交結(jié)果文檔。5任務(wù)三數(shù)據(jù)清洗與分析(25分)現(xiàn)已從相關(guān)網(wǎng)站及平臺(tái)獲取到原始數(shù)據(jù)集，為保障商戶隱私和行業(yè)敏感信息，已經(jīng)對(duì)數(shù)行數(shù)據(jù)的變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的或商業(yè)敏感的真實(shí)數(shù)據(jù)進(jìn)行改造并提的數(shù)據(jù)存放于/h3cu。工程所需配置文件pom.xml存放于“C:\任務(wù)三程序配置文件”。3.1數(shù)據(jù)清洗步驟一餐飲行業(yè)中銷量是對(duì)經(jīng)營(yíng)狀況最直觀的體現(xiàn)，商家的成本會(huì)隨著銷量的上升而上升，但時(shí)銷量能夠反饋經(jīng)營(yíng)策略的有效性、商家在當(dāng)前形勢(shì)下的競(jìng)爭(zhēng)力。因此密切關(guān)注訂單銷量能夠使商家對(duì)當(dāng)前經(jīng)營(yíng)狀況明確定入指定的數(shù)據(jù)庫(kù)或數(shù)據(jù)文件，將相關(guān)內(nèi)容復(fù)制并粘貼至提交結(jié)果文檔。詳細(xì)描述：數(shù)據(jù)源文件存放于平臺(tái)/h3cu/data.csv。請(qǐng)編寫spark程序，按照如下要求實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗，并將結(jié)果輸出至hdfs文件系統(tǒng)中/foodsparktask1，將結(jié)果復(fù)制并粘貼至提交6解析數(shù)據(jù)源文件剔除“本月銷量”為空值或0，且“本月銷售額”不為空值或0的記錄剔除字符串首尾的雙引號(hào)程序打包并在spark平臺(tái)上運(yùn)行，結(jié)果輸出至hdfs文件系統(tǒng)中/foodsparktask1用戶的滿意度是影響商家綜合評(píng)分的重要因素，用戶滿意才會(huì)給出較高的評(píng)價(jià)分?jǐn)?shù)，為了提高用戶的滿意度，可以從提高店鋪餐發(fā)現(xiàn)導(dǎo)求實(shí)現(xiàn)對(duì)評(píng)分?jǐn)?shù)據(jù)進(jìn)行清洗，并寫入指定的數(shù)據(jù)庫(kù)或數(shù)據(jù)文件，并保存結(jié)果至提交結(jié)果文檔。詳細(xì)描述：解析數(shù)據(jù)源文件剔除“店鋪評(píng)分”為非數(shù)字及空值的記錄程序打包并在spark平臺(tái)上運(yùn)行，結(jié)果輸出至hdfs文件系統(tǒng)中/foodsparktask273.2數(shù)據(jù)分析步驟一用戶的滿意度是影響商家綜合評(píng)分的重要因素，用戶滿意才會(huì)給出較高的評(píng)價(jià)分?jǐn)?shù)，為了提高用戶的滿意度，可以從提高店鋪餐專人負(fù)責(zé)店鋪的評(píng)價(jià)管理，發(fā)現(xiàn)數(shù)據(jù)集完成分析任務(wù)，并保存結(jié)果至提交結(jié)果文檔。詳細(xì)描述：請(qǐng)根據(jù)數(shù)據(jù)清洗結(jié)果數(shù)據(jù)集，使用HIVE自定義函數(shù)及HQL語(yǔ)句，按要求匯將相關(guān)內(nèi)容復(fù)制并粘貼至提交結(jié)果文檔。成商戶飽和，新不同。請(qǐng)根據(jù)相關(guān)數(shù)據(jù)集完成任務(wù)具體要求，并保存結(jié)果至提交結(jié)果文檔。詳細(xì)描述：8請(qǐng)根據(jù)分析步驟一的結(jié)果數(shù)據(jù)集，使用HIVE自定義函數(shù)及HQL語(yǔ)句，匯總數(shù)據(jù)集中不同城市中各區(qū)的店鋪數(shù)量，并將數(shù)據(jù)存入表table2中。將命令及結(jié)果復(fù)制并粘貼至提交任務(wù)四數(shù)據(jù)可視化(20分)請(qǐng)根據(jù)Mysql數(shù)據(jù)庫(kù)中相關(guān)數(shù)據(jù)表格，使用flask框架，結(jié)合echarts完成下列任務(wù)。數(shù)據(jù)庫(kù)賬號(hào):restaurant密碼：restaurant注意：代碼中臨時(shí)循環(huán)變量請(qǐng)使用r表示。1.城市餐飲消費(fèi)情況一定程度上反映了該地區(qū)的當(dāng)下的經(jīng)濟(jì)狀況、就業(yè)形勢(shì)和發(fā)展?jié)摷跋M(fèi)層次至關(guān)重要。按任務(wù)要求，輸出相關(guān)圖例說(shuō)明不同城市的餐飲銷售情況。詳細(xì)描述：并以雙柱圖例呈現(xiàn)。將結(jié)果截圖并粘貼至提交結(jié)果文檔。2.店鋪評(píng)分是綜合計(jì)算商戶名下的用戶評(píng)分得到商戶基礎(chǔ)評(píng)分，是顧客對(duì)商家出品及要求，輸出相關(guān)圖例，說(shuō)明不同評(píng)分的商鋪占比情況。詳細(xì)描述：MySQL數(shù)據(jù)庫(kù)中的數(shù)據(jù)集restaurant_score_num包含序號(hào)id、店鋪評(píng)分、店鋪數(shù)量93個(gè)字段，請(qǐng)根據(jù)相關(guān)數(shù)據(jù)展現(xiàn)不同評(píng)分區(qū)間店鋪的數(shù)量對(duì)比，并以餅圖例呈現(xiàn)。將結(jié)果截3.餐飲商鋪數(shù)量反映了地區(qū)美食行業(yè)的繁榮程度。區(qū)域內(nèi)商鋪數(shù)量多，說(shuō)明該區(qū)域?qū)Γ枨髱?dòng)的高商鋪密度很可能已關(guān)圖例對(duì)比說(shuō)明不同地區(qū)的商鋪詳細(xì)描述：mid圖例呈現(xiàn)。將結(jié)果截圖并粘貼4.餐飲行業(yè)需要對(duì)地域、受眾人群、流行趨勢(shì)進(jìn)行總體分析，通過(guò)不同類型店鋪的地理分布、店鋪經(jīng)營(yíng)主類與受眾人群相契合、把握美食流行趨勢(shì)對(duì)顧客的消費(fèi)數(shù)據(jù)做出分析，型的餐飲銷售情況。詳細(xì)描述：MySQL數(shù)據(jù)庫(kù)中的數(shù)據(jù)集restaurant_type_count為各城市中包含的不同餐飲主營(yíng)類型的店鋪數(shù)量，包含序號(hào)城市、主營(yíng)類型、數(shù)量3個(gè)字段，請(qǐng)根據(jù)相關(guān)數(shù)據(jù)展現(xiàn)各種類型餐飲占比情況，并以雷達(dá)圖例