2017年全國職業(yè)院校技能大賽高職組大數(shù)據(jù)賽題

2017年度職業(yè)院校技能大賽

大數(shù)據(jù)技術(shù)與應(yīng)用賽項(xiàng)賽題第一節(jié)賽題“四合影業(yè)”公司計(jì)劃參與投拍一部電影，名為《青春的競賽》。為提高票房收入，降低投資風(fēng)險(xiǎn)，需要了解電影市場的情況，包括何種類型的電影票房收入高，不同類型觀眾對電影的偏好等等。為此，四合影業(yè)公司計(jì)劃聘請“TMS”大數(shù)據(jù)分析公司，收集并分析電影市場的相關(guān)信息，并最終給出分析報(bào)告。合作之前，“四合影業(yè)”需要“TMS”公司提出可行的技術(shù)解決方案。為完成四合影業(yè)的項(xiàng)目，“TMS”公司選用了在業(yè)界廣泛應(yīng)用的“Python”語言，作為開發(fā)分析程序的基礎(chǔ)語言，并綜合利用numpy、pandas、matplotlib、scikit模塊和MapReduce技術(shù)提高開發(fā)效率，由于預(yù)計(jì)數(shù)據(jù)量會超過“T”級，“TMS”公司在技術(shù)方案中提出在一個高性能工作站集群上利用Hadoop平臺提高數(shù)據(jù)處理能力，并利用Hive以及streaming技術(shù)提高效能和簡化MapReduce過程。但此技術(shù)方案需要較高成本，為向“四合影業(yè)”展示該技術(shù)方案的合理性并達(dá)成與“四合影業(yè)”的合作，“TMS”公司先用廉價(jià)PC集群，配置了小規(guī)模的技術(shù)演示環(huán)境，并利用網(wǎng)絡(luò)爬蟲抓取了歷年來影音娛樂行業(yè)的信息，數(shù)據(jù)量約為4G，隨后開發(fā)了程序?qū)?shù)據(jù)進(jìn)行清洗、整理、計(jì)算、表達(dá)、分析，力求展示“TMS”技術(shù)方案的合理性和自身出色的技術(shù)能力。作為“TMS”公司的技術(shù)人員，你們是這次技術(shù)方案展示的核心成員，請按照下面步驟完成本次技術(shù)展示任務(wù)，并提交技術(shù)報(bào)告。圓滿完成展示并得到預(yù)期結(jié)果，“TMS”就能獲得這個數(shù)百萬元的項(xiàng)目合同，祝你們成功。任務(wù)一、部署Hadoop平臺，并根據(jù)計(jì)算對象調(diào)優(yōu)Hadoop平臺的性能（15分）1、按下面如下個步驟完成Hadoop環(huán)境的部署：1)Hadoop系統(tǒng)存儲于“/usr/local/hadoop”，要求配置hadoop.tmp.dir目錄存放位置為“/usr/local/hadoop/tmp”2)配置hadoop的.dir為/usr/local/hadoop/tmp/dfs/name3)配置hadoop的dfs.datanode.data.dir為/usr/local/hadoop/tmp/dfs/data4)格式化NameNode5)開啟NameNode和DataNode守護(hù)進(jìn)程本題要求配置完成后在Hadoop平臺上運(yùn)行jps命令，要求jps運(yùn)行結(jié)果的截屏保存于文件ans0101.jpg中2、按下面步驟建立用戶目錄，并導(dǎo)入存于競賽平臺arg目錄中的數(shù)據(jù)文件dat0102.dat，并完成Hadoop平臺的性能測試：1)在hdfs中創(chuàng)建用戶目錄（如果系統(tǒng)用戶為hadoop，請建立/user/hadoop）2)在hdfs中創(chuàng)建input目錄，把數(shù)據(jù)文件上傳至input目錄3)運(yùn)行hadoop-mapreduce-examples-2.7.3.jar查詢特定字符串出現(xiàn)次數(shù)4)用hdfs命令查看輸出結(jié)果。本題要求將第4步運(yùn)行結(jié)果的截屏保存于文件ans0102.jpg中。3、對Hadoop平臺進(jìn)行性能調(diào)優(yōu)，設(shè)置:

yarn.scheduler.maximum-allocation-mb的值為系統(tǒng)內(nèi)存減1024MB，mapreduce.map.memory.mb的值為1024MB，設(shè)置mapreduce.map.java.opts的值為-Xmx768m，設(shè)置mapreduce.reduce.memory.mb的值為2048MB，設(shè)置mapreduce.reduce.java.opts的值為–Xmx1536m。重新啟動hadoop。本題要求提交修改后的配置文件，文件名為在原有文件名加前綴”ans0103_”。（5%）任務(wù)二、數(shù)據(jù)抓?。?0分）1、現(xiàn)在，網(wǎng)絡(luò)爬蟲抓取到約4G的數(shù)據(jù)，保存于arg目錄的spider.log中，但其中既有電影市場放映信息數(shù)據(jù)也有其他數(shù)據(jù)，通過分析數(shù)據(jù)樣本，發(fā)現(xiàn)從網(wǎng)站“”抓取的數(shù)據(jù)包含有效的電影市場數(shù)據(jù)，數(shù)據(jù)中有效數(shù)據(jù)項(xiàng)包括：電影名稱、上映日期、上映場次數(shù)、院線城市、導(dǎo)演、演員、影片類型、票房收入，請從spider.log中篩選出一部分有效數(shù)據(jù)項(xiàng)，并以規(guī)定格式保存于ans0201.csv文件中。本題的賽前抽取參數(shù)是：數(shù)據(jù)文件spider.log、需要保存于ans0201.csv文件的有效數(shù)據(jù)項(xiàng)以及有效數(shù)據(jù)項(xiàng)的保存格式。2、網(wǎng)頁“”中包含觀眾對電影的評分信息，請編寫程序抓取網(wǎng)頁（網(wǎng)頁樣本保存于task0202目錄中）上電影的評分信息并計(jì)算其統(tǒng)計(jì)信息（統(tǒng)計(jì)方法指對某部電影的評分求極值或求平均值），本題的賽前抽取參數(shù)是統(tǒng)計(jì)方法以及網(wǎng)頁樣本，請參賽學(xué)生將本題的答案保存于ans0202.txt文件中，注意ans0202.txt文件中只能包含一個浮點(diǎn)型數(shù)字，保留4位小數(shù)，文件樣例如下：1.23453、向Hadoop平臺提交日志文件dat0203.log，并使用streaming和MapReduce機(jī)制編制程序，統(tǒng)計(jì)日志文件dat0203.log的數(shù)據(jù)中一共包含多少部電影？本題的賽前抽取參數(shù)是dat0203.log文件，請參賽學(xué)生用hdfs命令查看輸出的結(jié)果，截屏保存于圖片ans0203.jpg，并用hdfs命令把輸出文件傳輸?shù)奖镜?，修改文件名為ans0203.txt4、根據(jù)本題給定的數(shù)據(jù)文件dat0204.log編寫Hive命令建立數(shù)據(jù)表，并將dat0204.log導(dǎo)入所建立的數(shù)據(jù)表，然后編寫Hive查詢語句獲取2014全年上映電影的數(shù)據(jù)記錄，并將查詢結(jié)果導(dǎo)入Hadoop平臺的result目錄。本題賽前抽取參數(shù)是dat0204.log文件，請參賽學(xué)生將完成本題要求的所有命令按步驟順序以分行的形式保存于ans0204.txt中，ans0204.txt的文件樣例如下：statement1statement2statement3statement4任務(wù)三、本階段的任務(wù)是：film_log3.csv中包含了不同地區(qū)、不同影院的電影票房信息，你的小組通過編程完成對文件film_log3.csv中電影信息數(shù)據(jù)的清洗和整理，并完成數(shù)據(jù)計(jì)算、分析和表達(dá)任務(wù)。（20分）本競賽任務(wù)的賽前抽取參數(shù)是：電影名稱A、B、C和地名M市、N市以及數(shù)據(jù)文件film_log3.csv，選手可在競賽環(huán)境的arg0300.txt文件中獲得A、B、C、M、N的值。本任務(wù)階段，需要參賽學(xué)生提交每個小題涉及到的所有ansXXXX.jpg、ansXXXX.py、ansXXXX.dat文件（XXXX相關(guān)指數(shù)字）。1、編程統(tǒng)計(jì)并輸出影片A的上映天數(shù)和日平均票房（文件中的所有涉及地區(qū)總平均），程序源代碼保存成ans0301.py，并將結(jié)果保存于ans0301.dat，要求ans0301.dat只包含1個long型數(shù)據(jù)和一個1個浮點(diǎn)型數(shù)據(jù)，浮點(diǎn)數(shù)據(jù)以萬元為單位，保留6位小數(shù)，2個數(shù)以英文逗號分隔，不換行，文件樣例如下：123,23.1234562、編程繪制一個直方圖，在圖中輸出影片A、B、C的周平均票房（文件中的所有涉及地區(qū)周票房總平均），Y軸表示票房收入，單位萬元；X軸表示電影名稱，電影名稱的排列從左至右以A、B、C為準(zhǔn)，要求將輸出的直方圖保存成圖像文件ans0302.jpg，程序源代碼保存成ans0302.py，另外，將三部電影各自的票房總收入按自高到低的順序存入ans0302.dat文件中，要求ans0302.dat中只包含3個浮點(diǎn)型票房數(shù)據(jù)，以萬元為單位，保留6位小數(shù)，數(shù)據(jù)以英文逗號分隔，不換行，文件樣例如下：23.123456,20.654321,18.123456對本題周票房的說明如下：若某部電影從某月2日開始上映，則從當(dāng)月2日到8日為其第1周票房，9日至15日為其第2周票房，不滿1周按1周計(jì)算以此類推。3、編程，在一個折線圖中，畫出影片A、B、C各自的周票房（文件中的所有涉及地區(qū)總周票房）收入變化，要求將輸出的折線圖保存成圖像文件ans0303.jpg，程序源代碼保存成ans0303.py，Y軸表示票房收入，單位為“萬元”；X軸表示時(shí)間，以“0、1、2、3…n”的非負(fù)整數(shù)作為刻度值，單位為“周”，要求：1)折線圖中含圖例；2)三部電影用不同的顏色和線型表達(dá)；3)將電影A第一周的票房收入，電影B第二周的票房收入，電影C第三周的票房收入順序存入ans0304.dat文件中，注意ans0303.dat只包含3個浮點(diǎn)型票房數(shù)據(jù)，以萬元為單位，保留6位小數(shù)，數(shù)據(jù)以英文逗號分隔，不換行，文件樣例如下：23.123456,20.654321,18.1234564)對本題周票房的說明如下：若某部電影從某月2日開始上映，則從當(dāng)月2日到8日為其第一周票房，9日至15日為其第2周票房，以此類推。4、編程，在一個子圖系統(tǒng)中，用兩個水平排列的折線型子圖畫出M市和N市2016年1至3月的上映電影的票房總收入趨勢，要求將輸出的完整子圖保存成圖像文件ans0304.jpg；程序源代碼保存成ans0304.py，要求：1)左子圖為M市票房總收入趨勢，右子圖為N市票房總收入趨勢，Y軸表示票房收入，單位為“萬元”，X軸表示時(shí)間，以“0、1、2、3”作為刻度值；2)兩子圖均有說明子圖內(nèi)容的標(biāo)題（如：M20161-3BOR）；3)將以下6個數(shù)據(jù)分2行按順序存入ans0304.dat文件中，要求ans0305.dat只包含浮點(diǎn)型數(shù)據(jù)，以萬元為單位，保留6位小數(shù)，需要保存的票房數(shù)據(jù)是：第1行3個數(shù)據(jù)，按順序分別是M市電影市場2016年1、2、3月票房總收入，第2行三個數(shù)據(jù)，按順序分別是N市電影市場2016年1、2、3月票房總收入，同行數(shù)據(jù)以英文逗號分隔，文件樣例如下：2023.123456,2000.654321,1988.1234562303.123456,2100.654321,17898.123456任務(wù)四、根據(jù)現(xiàn)有數(shù)據(jù)，編寫分析報(bào)告，分析電影市場情況并預(yù)測觀眾群對“四合影業(yè)”計(jì)劃投拍的電影“青春的競賽”的評分。（30分）請從arg04子目錄中選取需要的數(shù)據(jù)文件，依據(jù)觀影俱樂部的觀眾評分（評分為10分制），利用統(tǒng)計(jì)圖表分析說明影片類型、導(dǎo)演等因素對觀眾的影響，以及導(dǎo)演擅長的電影類型，最后預(yù)測某觀影俱樂部中的5位會員對于《青春的競賽》的評分范圍，本賽題需要提交分析報(bào)告和相關(guān)程序，本題的賽前抽取參數(shù)是5個會員ID（保存于id04.txt文件中）和數(shù)據(jù)文件。分析報(bào)告和所提交的程序的要求：1、利用WPS或WORD軟件完成分析報(bào)告，文件名為anl0400.doc或anl0400.docx，報(bào)告中需要明確描述分析方法，分析過程。2、分析報(bào)告中用明確的表格顯示以下數(shù)據(jù)，評分最高值，評分最低值，評分中位數(shù)，評分均值。3、分析報(bào)告中至少包含三種圖，分別能夠表達(dá)“各種類型片票房收入比較”，“導(dǎo)演票房收入比較”，“導(dǎo)演執(zhí)導(dǎo)過的影片類型”的內(nèi)容。4、提交支撐程序名為ans0400.py，要求程序運(yùn)行后不可做任何人為操作，自動完成以下任務(wù)：1)在一個子圖系統(tǒng)中輸出要求3中所提及的三種圖，該子圖水平排列，順序以要求3所列順序?yàn)闇?zhǔn)，每個子圖的具體形式不限。程序能夠有提示地輸出4個數(shù)據(jù)：評分最高值，評分最低值，評分中位數(shù)，評分均值。2)要求按次序?qū)⒎治龅贸龅脑u分最高值，評分最低值，評分中位數(shù)，評分均值，存入ans0400.dat文件中，要求ans0400.dat只包含所要求的4個浮點(diǎn)型數(shù)據(jù)，每個數(shù)據(jù)保留2位小數(shù)，英文逗號分隔，不分行，文件樣例如下：9.12,2.65,6.12,5.68團(tuán)隊(duì)綜合素質(zhì)（5分）團(tuán)隊(duì)分工明確合理、操作規(guī)范、文明競賽。第二節(jié)學(xué)生競賽須知重要聲明參賽學(xué)生必須嚴(yán)格按照賽題要求的文件名保存所提交的文件，除最終報(bào)告所有提交的報(bào)告外，參賽學(xué)生提交的所有數(shù)據(jù)文件只包含數(shù)字和英文逗號。所有數(shù)據(jù)文件將由評分系統(tǒng)自動評分，數(shù)據(jù)文件中不得含有學(xué)校名稱、參賽學(xué)生姓名、座位號等信息，否則0分處理。參數(shù)說明網(wǎng)上的公開樣題給出了所有參數(shù)文件和參數(shù)的樣本，以供學(xué)生練習(xí)，但為方便參賽校下載練習(xí)，網(wǎng)上公布的參數(shù)文件規(guī)模為“M”級（兆），賽題涉及的參數(shù)和參數(shù)文件將在開賽前的12小時(shí)內(nèi)由執(zhí)委會從參數(shù)庫中隨機(jī)抽取，并保存在競賽環(huán)境的相應(yīng)目錄中。所有參數(shù)均保存在arg目錄中，以下的文件名和目錄名，均是針對arg目錄的相對路徑。1、任務(wù)一的參數(shù)：1)無參數(shù)，競賽環(huán)境的hadoop_scr目錄中提供了HadoopVxxx的安裝文件2)有1個參數(shù)文件：dat0102.dat3)與第2小題相同，1個參數(shù)文件：dat0102.dat2、任務(wù)二的參數(shù)：1