大數(shù)據(jù)分析及應(yīng)用項(xiàng)目教程(Spark SQL)（微課版） 實(shí)訓(xùn)單 實(shí)訓(xùn)5 房產(chǎn)大數(shù)據(jù)分析與探索

實(shí)訓(xùn)5房產(chǎn)大數(shù)據(jù)分析與探索一、實(shí)訓(xùn)目的與要求1、掌握將數(shù)據(jù)構(gòu)建為RDD的方法。2、能使用RDD的各種轉(zhuǎn)換和行動(dòng)操作對(duì)數(shù)據(jù)集進(jìn)行處理分析。3、會(huì)對(duì)處理完成的數(shù)據(jù)進(jìn)行存儲(chǔ)操作。4、能靈活綜合的應(yīng)用各種RDD操作和各個(gè)算子對(duì)數(shù)據(jù)進(jìn)行分析。二、操作訓(xùn)練1、某房產(chǎn)公司銷售人員業(yè)績(jī)分析假設(shè)現(xiàn)有某房產(chǎn)公司一個(gè)部門(mén)員工的某年銷售業(yè)績(jī)數(shù)據(jù)，請(qǐng)幫助部門(mén)經(jīng)理對(duì)其進(jìn)行統(tǒng)計(jì)分析，獲取相關(guān)信息。相關(guān)數(shù)據(jù)表字段及含義如下表所示。表1人員信息表staff.txt員工編號(hào)姓名11020101馬文軒11040204黃焱12080403沈睿廣10040106王向秋21050309李悅可22010611許輝20100706楊昆明19080303任曉燕18090313廖文敏19111001尚夢(mèng)菲11012008徐悠11022203劉聰21110301劉浩麗21010404李安安15012511王嘉勛表2上半年業(yè)績(jī)表first-half-year.txt員工編號(hào)時(shí)間房屋銷售套數(shù)房屋銷售金額（萬(wàn)）11020101上半年12340011040204上半年10350012080403上半年14420010040106上半年8501021050309上半年15630022010611上半年6300020100706上半年11480019080303上半年13430018090313上半年15600019111001上半年16590011012008上半年480011022203上半年8230021110301上半年10300021010404上半年18610015012511上半年208000表3下半年業(yè)績(jī)表second-half-year.txt員工編號(hào)時(shí)間房屋銷售套數(shù)房屋銷售金額（萬(wàn)）11020101下半年10370111040204下半年13450012080403下半年10410010040106下半年12401021050309下半年18530022010611下半年14300020100706下半年8420019080303下半年10430018090313下半年8560019111001下半年12551011012008下半年7160011022203下半年10330021110301下半年8300021010404下半年15580015012511下半年177020（1）構(gòu)建員工業(yè)績(jī)RDD。操作結(jié)果截圖+簽名（2）統(tǒng)計(jì)部門(mén)人員人數(shù)。操作結(jié)果截圖+簽名（3）分別統(tǒng)計(jì)上/下半年業(yè)績(jī)排名，取前三位及最后三位。操作結(jié)果截圖+簽名（4）統(tǒng)計(jì)上/下半年業(yè)績(jī)超過(guò)5000萬(wàn)的人員。操作結(jié)果截圖+簽名（5）統(tǒng)計(jì)此部門(mén)當(dāng)年的房屋銷售套數(shù)。操作結(jié)果截圖+簽名（6）查看全年總業(yè)績(jī)最高人員。操作結(jié)果截圖+簽名（7）存儲(chǔ)以上統(tǒng)計(jì)分析信息。操作結(jié)果截圖+簽名2、某城市近年房產(chǎn)銷售狀況分析現(xiàn)有一份來(lái)自某網(wǎng)站的某城市近年房產(chǎn)銷售數(shù)據(jù)集house-price.csv，包含成交時(shí)間、價(jià)格、裝修情況、區(qū)域等信息。具體字段及含義如下表所示。表4某城市近年房產(chǎn)銷售數(shù)據(jù)集字段及含義字段含義url數(shù)據(jù)鏈接id用戶idtradeTime交易時(shí)間totalPrice總價(jià)格（萬(wàn)）price單價(jià)square面積renovationCondition裝修情況elevator是否有電梯fiveYearsProperty是否滿五年subway是否有地鐵district所屬區(qū)域communityAverage區(qū)域均價(jià)（1）每年房產(chǎn)銷售量趨勢(shì)如何？操作結(jié)果截圖+簽名（2）此城市各區(qū)域房產(chǎn)銷量如何？均價(jià)如何？操作結(jié)果截圖+簽名（3）在2018年1月1日的銷量有多少？操作結(jié)果截圖+簽名（4）查詢2018年1月1日到1月31日之間，