版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
2017年度職業(yè)院校技能大賽
大數(shù)據(jù)技術(shù)與應(yīng)用賽項(xiàng)賽題第一節(jié)賽題“四合影業(yè)”公司計(jì)劃參與投拍一部電影,名為《青春的競賽》。為提高票房收入,降低投資風(fēng)險(xiǎn),需要了解電影市場的情況,包括何種類型的電影票房收入高,不同類型觀眾對電影的偏好等等。為此,四合影業(yè)公司計(jì)劃聘請“TMS”大數(shù)據(jù)分析公司,收集并分析電影市場的相關(guān)信息,并最終給出分析報(bào)告。合作之前,“四合影業(yè)”需要“TMS”公司提出可行的技術(shù)解決方案。為完成四合影業(yè)的項(xiàng)目,“TMS”公司選用了在業(yè)界廣泛應(yīng)用的“Python”語言,作為開發(fā)分析程序的基礎(chǔ)語言,并綜合利用numpy、pandas、matplotlib、scikit模塊和MapReduce技術(shù)提高開發(fā)效率,由于預(yù)計(jì)數(shù)據(jù)量會超過“T”級,“TMS”公司在技術(shù)方案中提出在一個高性能工作站集群上利用Hadoop平臺提高數(shù)據(jù)處理能力,并利用Hive以及streaming技術(shù)提高效能和簡化MapReduce過程。但此技術(shù)方案需要較高成本,為向“四合影業(yè)”展示該技術(shù)方案的合理性并達(dá)成與“四合影業(yè)”的合作,“TMS”公司先用廉價(jià)PC集群,配置了小規(guī)模的技術(shù)演示環(huán)境,并利用網(wǎng)絡(luò)爬蟲抓取了歷年來影音娛樂行業(yè)的信息,數(shù)據(jù)量約為4G,隨后開發(fā)了程序?qū)?shù)據(jù)進(jìn)行清洗、整理、計(jì)算、表達(dá)、分析,力求展示“TMS”技術(shù)方案的合理性和自身出色的技術(shù)能力。作為“TMS”公司的技術(shù)人員,你們是這次技術(shù)方案展示的核心成員,請按照下面步驟完成本次技術(shù)展示任務(wù),并提交技術(shù)報(bào)告。圓滿完成展示并得到預(yù)期結(jié)果,“TMS”就能獲得這個數(shù)百萬元的項(xiàng)目合同,祝你們成功。任務(wù)一、部署Hadoop平臺,并根據(jù)計(jì)算對象調(diào)優(yōu)Hadoop平臺的性能(15分)1、按下面如下個步驟完成Hadoop環(huán)境的部署:1)Hadoop系統(tǒng)存儲于“/usr/local/hadoop”,要求配置hadoop.tmp.dir目錄存放位置為“/usr/local/hadoop/tmp”2)配置hadoop的.dir為/usr/local/hadoop/tmp/dfs/name3)配置hadoop的dfs.datanode.data.dir為/usr/local/hadoop/tmp/dfs/data4)格式化NameNode5)開啟NameNode和DataNode守護(hù)進(jìn)程本題要求配置完成后在Hadoop平臺上運(yùn)行jps命令,要求jps運(yùn)行結(jié)果的截屏保存于文件ans0101.jpg中2、按下面步驟建立用戶目錄,并導(dǎo)入存于競賽平臺arg目錄中的數(shù)據(jù)文件dat0102.dat,并完成Hadoop平臺的性能測試:1)在hdfs中創(chuàng)建用戶目錄(如果系統(tǒng)用戶為hadoop,請建立/user/hadoop)2)在hdfs中創(chuàng)建input目錄,把數(shù)據(jù)文件上傳至input目錄3)運(yùn)行hadoop-mapreduce-examples-2.7.3.jar查詢特定字符串出現(xiàn)次數(shù)4)用hdfs命令查看輸出結(jié)果。本題要求將第4步運(yùn)行結(jié)果的截屏保存于文件ans0102.jpg中。3、對Hadoop平臺進(jìn)行性能調(diào)優(yōu),設(shè)置:
yarn.scheduler.maximum-allocation-mb的值為系統(tǒng)內(nèi)存減1024MB,mapreduce.map.memory.mb的值為1024MB,設(shè)置mapreduce.map.java.opts的值為-Xmx768m,設(shè)置mapreduce.reduce.memory.mb的值為2048MB,設(shè)置mapreduce.reduce.java.opts的值為–Xmx1536m。重新啟動hadoop。本題要求提交修改后的配置文件,文件名為在原有文件名加前綴”ans0103_”。(5%)任務(wù)二、數(shù)據(jù)抓?。?0分)1、現(xiàn)在,網(wǎng)絡(luò)爬蟲抓取到約4G的數(shù)據(jù),保存于arg目錄的spider.log中,但其中既有電影市場放映信息數(shù)據(jù)也有其他數(shù)據(jù),通過分析數(shù)據(jù)樣本,發(fā)現(xiàn)從網(wǎng)站“”抓取的數(shù)據(jù)包含有效的電影市場數(shù)據(jù),數(shù)據(jù)中有效數(shù)據(jù)項(xiàng)包括:電影名稱、上映日期、上映場次數(shù)、院線城市、導(dǎo)演、演員、影片類型、票房收入,請從spider.log中篩選出一部分有效數(shù)據(jù)項(xiàng),并以規(guī)定格式保存于ans0201.csv文件中。本題的賽前抽取參數(shù)是:數(shù)據(jù)文件spider.log、需要保存于ans0201.csv文件的有效數(shù)據(jù)項(xiàng)以及有效數(shù)據(jù)項(xiàng)的保存格式。2、網(wǎng)頁“”中包含觀眾對電影的評分信息,請編寫程序抓取網(wǎng)頁(網(wǎng)頁樣本保存于task0202目錄中)上電影的評分信息并計(jì)算其統(tǒng)計(jì)信息(統(tǒng)計(jì)方法指對某部電影的評分求極值或求平均值),本題的賽前抽取參數(shù)是統(tǒng)計(jì)方法以及網(wǎng)頁樣本,請參賽學(xué)生將本題的答案保存于ans0202.txt文件中,注意ans0202.txt文件中只能包含一個浮點(diǎn)型數(shù)字,保留4位小數(shù),文件樣例如下:1.23453、向Hadoop平臺提交日志文件dat0203.log,并使用streaming和MapReduce機(jī)制編制程序,統(tǒng)計(jì)日志文件dat0203.log的數(shù)據(jù)中一共包含多少部電影?本題的賽前抽取參數(shù)是dat0203.log文件,請參賽學(xué)生用hdfs命令查看輸出的結(jié)果,截屏保存于圖片ans0203.jpg,并用hdfs命令把輸出文件傳輸?shù)奖镜?,修改文件名為ans0203.txt4、根據(jù)本題給定的數(shù)據(jù)文件dat0204.log編寫Hive命令建立數(shù)據(jù)表,并將dat0204.log導(dǎo)入所建立的數(shù)據(jù)表,然后編寫Hive查詢語句獲取2014全年上映電影的數(shù)據(jù)記錄,并將查詢結(jié)果導(dǎo)入Hadoop平臺的result目錄。本題賽前抽取參數(shù)是dat0204.log文件,請參賽學(xué)生將完成本題要求的所有命令按步驟順序以分行的形式保存于ans0204.txt中,ans0204.txt的文件樣例如下:statement1statement2statement3statement4任務(wù)三、本階段的任務(wù)是:film_log3.csv中包含了不同地區(qū)、不同影院的電影票房信息,你的小組通過編程完成對文件film_log3.csv中電影信息數(shù)據(jù)的清洗和整理,并完成數(shù)據(jù)計(jì)算、分析和表達(dá)任務(wù)。(20分)本競賽任務(wù)的賽前抽取參數(shù)是:電影名稱A、B、C和地名M市、N市以及數(shù)據(jù)文件film_log3.csv,選手可在競賽環(huán)境的arg0300.txt文件中獲得A、B、C、M、N的值。本任務(wù)階段,需要參賽學(xué)生提交每個小題涉及到的所有ansXXXX.jpg、ansXXXX.py、ansXXXX.dat文件(XXXX相關(guān)指數(shù)字)。1、編程統(tǒng)計(jì)并輸出影片A的上映天數(shù)和日平均票房(文件中的所有涉及地區(qū)總平均),程序源代碼保存成ans0301.py,并將結(jié)果保存于ans0301.dat,要求ans0301.dat只包含1個long型數(shù)據(jù)和一個1個浮點(diǎn)型數(shù)據(jù),浮點(diǎn)數(shù)據(jù)以萬元為單位,保留6位小數(shù),2個數(shù)以英文逗號分隔,不換行,文件樣例如下:123,23.1234562、編程繪制一個直方圖,在圖中輸出影片A、B、C的周平均票房(文件中的所有涉及地區(qū)周票房總平均),Y軸表示票房收入,單位萬元;X軸表示電影名稱,電影名稱的排列從左至右以A、B、C為準(zhǔn),要求將輸出的直方圖保存成圖像文件ans0302.jpg,程序源代碼保存成ans0302.py,另外,將三部電影各自的票房總收入按自高到低的順序存入ans0302.dat文件中,要求ans0302.dat中只包含3個浮點(diǎn)型票房數(shù)據(jù),以萬元為單位,保留6位小數(shù),數(shù)據(jù)以英文逗號分隔,不換行,文件樣例如下:23.123456,20.654321,18.123456對本題周票房的說明如下:若某部電影從某月2日開始上映,則從當(dāng)月2日到8日為其第1周票房,9日至15日為其第2周票房,不滿1周按1周計(jì)算以此類推。3、編程,在一個折線圖中,畫出影片A、B、C各自的周票房(文件中的所有涉及地區(qū)總周票房)收入變化,要求將輸出的折線圖保存成圖像文件ans0303.jpg,程序源代碼保存成ans0303.py,Y軸表示票房收入,單位為“萬元”;X軸表示時(shí)間,以“0、1、2、3…n”的非負(fù)整數(shù)作為刻度值,單位為“周”,要求:1)折線圖中含圖例;2)三部電影用不同的顏色和線型表達(dá);3)將電影A第一周的票房收入,電影B第二周的票房收入,電影C第三周的票房收入順序存入ans0304.dat文件中,注意ans0303.dat只包含3個浮點(diǎn)型票房數(shù)據(jù),以萬元為單位,保留6位小數(shù),數(shù)據(jù)以英文逗號分隔,不換行,文件樣例如下:23.123456,20.654321,18.1234564)對本題周票房的說明如下:若某部電影從某月2日開始上映,則從當(dāng)月2日到8日為其第一周票房,9日至15日為其第2周票房,以此類推。4、編程,在一個子圖系統(tǒng)中,用兩個水平排列的折線型子圖畫出M市和N市2016年1至3月的上映電影的票房總收入趨勢,要求將輸出的完整子圖保存成圖像文件ans0304.jpg;程序源代碼保存成ans0304.py,要求:1)左子圖為M市票房總收入趨勢,右子圖為N市票房總收入趨勢,Y軸表示票房收入,單位為“萬元”,X軸表示時(shí)間,以“0、1、2、3”作為刻度值;2)兩子圖均有說明子圖內(nèi)容的標(biāo)題(如:M20161-3BOR);3)將以下6個數(shù)據(jù)分2行按順序存入ans0304.dat文件中,要求ans0305.dat只包含浮點(diǎn)型數(shù)據(jù),以萬元為單位,保留6位小數(shù),需要保存的票房數(shù)據(jù)是:第1行3個數(shù)據(jù),按順序分別是M市電影市場2016年1、2、3月票房總收入,第2行三個數(shù)據(jù),按順序分別是N市電影市場2016年1、2、3月票房總收入,同行數(shù)據(jù)以英文逗號分隔,文件樣例如下:2023.123456,2000.654321,1988.1234562303.123456,2100.654321,17898.123456任務(wù)四、根據(jù)現(xiàn)有數(shù)據(jù),編寫分析報(bào)告,分析電影市場情況并預(yù)測觀眾群對“四合影業(yè)”計(jì)劃投拍的電影“青春的競賽”的評分。(30分)請從arg04子目錄中選取需要的數(shù)據(jù)文件,依據(jù)觀影俱樂部的觀眾評分(評分為10分制),利用統(tǒng)計(jì)圖表分析說明影片類型、導(dǎo)演等因素對觀眾的影響,以及導(dǎo)演擅長的電影類型,最后預(yù)測某觀影俱樂部中的5位會員對于《青春的競賽》的評分范圍,本賽題需要提交分析報(bào)告和相關(guān)程序,本題的賽前抽取參數(shù)是5個會員ID(保存于id04.txt文件中)和數(shù)據(jù)文件。分析報(bào)告和所提交的程序的要求:1、利用WPS或WORD軟件完成分析報(bào)告,文件名為anl0400.doc或anl0400.docx,報(bào)告中需要明確描述分析方法,分析過程。2、分析報(bào)告中用明確的表格顯示以下數(shù)據(jù),評分最高值,評分最低值,評分中位數(shù),評分均值。3、分析報(bào)告中至少包含三種圖,分別能夠表達(dá)“各種類型片票房收入比較”,“導(dǎo)演票房收入比較”,“導(dǎo)演執(zhí)導(dǎo)過的影片類型”的內(nèi)容。4、提交支撐程序名為ans0400.py,要求程序運(yùn)行后不可做任何人為操作,自動完成以下任務(wù):1)在一個子圖系統(tǒng)中輸出要求3中所提及的三種圖,該子圖水平排列,順序以要求3所列順序?yàn)闇?zhǔn),每個子圖的具體形式不限。程序能夠有提示地輸出4個數(shù)據(jù):評分最高值,評分最低值,評分中位數(shù),評分均值。2)要求按次序?qū)⒎治龅贸龅脑u分最高值,評分最低值,評分中位數(shù),評分均值,存入ans0400.dat文件中,要求ans0400.dat只包含所要求的4個浮點(diǎn)型數(shù)據(jù),每個數(shù)據(jù)保留2位小數(shù),英文逗號分隔,不分行,文件樣例如下:9.12,2.65,6.12,5.68團(tuán)隊(duì)綜合素質(zhì)(5分)團(tuán)隊(duì)分工明確合理、操作規(guī)范、文明競賽。第二節(jié)學(xué)生競賽須知重要聲明參賽學(xué)生必須嚴(yán)格按照賽題要求的文件名保存所提交的文件,除最終報(bào)告所有提交的報(bào)告外,參賽學(xué)生提交的所有數(shù)據(jù)文件只包含數(shù)字和英文逗號。所有數(shù)據(jù)文件將由評分系統(tǒng)自動評分,數(shù)據(jù)文件中不得含有學(xué)校名稱、參賽學(xué)生姓名、座位號等信息,否則0分處理。參數(shù)說明網(wǎng)上的公開樣題給出了所有參數(shù)文件和參數(shù)的樣本,以供學(xué)生練習(xí),但為方便參賽校下載練習(xí),網(wǎng)上公布的參數(shù)文件規(guī)模為“M”級(兆),賽題涉及的參數(shù)和參數(shù)文件將在開賽前的12小時(shí)內(nèi)由執(zhí)委會從參數(shù)庫中隨機(jī)抽取,并保存在競賽環(huán)境的相應(yīng)目錄中。所有參數(shù)均保存在arg目錄中,以下的文件名和目錄名,均是針對arg目錄的相對路徑。1、任務(wù)一的參數(shù):1)無參數(shù),競賽環(huán)境的hadoop_scr目錄中提供了HadoopVxxx的安裝文件2)有1個參數(shù)文件:dat0102.dat3)與第2小題相同,1個參數(shù)文件:dat0102.dat2、任務(wù)二的參數(shù):1
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 滬科版八年級數(shù)學(xué)上冊第12章一次函數(shù)12-1函數(shù)第2課時(shí)函數(shù)的表示方法列表法解析法課件
- 北師大版八年級生物上冊第6單元生命的延續(xù)第19章生物的生殖和發(fā)育第3節(jié)植物的生殖方式課件
- 六年級上冊第三單元總結(jié)語文
- 統(tǒng)編版五年級語文上冊第四單元知識要點(diǎn)
- DB34T 4961-2024農(nóng)村飲用水安全衛(wèi)生評價(jià)
- 人教版八年級數(shù)學(xué)上冊《12.2三角形全等的判定》同步測試題帶答案
- 【六年級】上冊道德與法治-6上2單元第4課《公民的基本權(quán)利和義務(wù)》
- 化 學(xué)物質(zhì)組成的表示課件-2024-2025學(xué)年九年級化學(xué)人教版(2024)上冊
- 期中測試卷(1-4單元)(試題)-2024-2025學(xué)年六年級上冊數(shù)學(xué)北師大版
- 青島版科學(xué)三年級上冊全冊教案
- 2023年甘肅白銀有色集團(tuán)股份有限公司招聘考試真題
- 人教版三年級語文上冊第三、四單元試卷(含答案)
- 電磁場與電磁波(第五版)完整全套教學(xué)課件
- 主題三 第2課 設(shè)計(jì)制作我的汽車(教學(xué)設(shè)計(jì))教科版六年級下冊綜合實(shí)踐活動
- 2024年山東省青島市中考數(shù)學(xué)試卷(附答案)
- 2024年網(wǎng)絡(luò)安全宣傳周網(wǎng)絡(luò)安全知識競答考試題庫500題(含答案)
- 云南省昆明市官渡區(qū)2023-2024學(xué)年八年級上學(xué)期期末語文試題
- 2024義務(wù)教育語文課程標(biāo)準(zhǔn)(2022版)考試試題庫(含答案)
- (教科版)小學(xué)3-6年級科學(xué)實(shí)驗(yàn)報(bào)告
- 云南省食品安全管理制度
- 孤殘兒童護(hù)理員技能鑒定考試題庫(含答案)
評論
0/150
提交評論