廈門大學(xué)林子雨編著

廈門大學(xué)林子雨編著《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材配套機(jī)房上機(jī)實(shí)驗(yàn)指南實(shí)驗(yàn)5第七章MapReduce編程初級實(shí)踐（版本號：2016年5月14日版本）主講教師：林子雨廈門大學(xué)數(shù)據(jù)庫實(shí)驗(yàn)室二零一六年五月目錄主講教師：林子雨/linziyu第

目錄1. 實(shí)驗(yàn)?zāi)康?12. 實(shí)驗(yàn)平臺 13. 實(shí)驗(yàn)內(nèi)容和要求 11.編程實(shí)現(xiàn)文件合并和去重操作 12.編寫程序?qū)崿F(xiàn)對輸入文件的排序 23.對給定的表格進(jìn)行信息挖掘 34. 實(shí)驗(yàn)報(bào)告 4附錄1:任課教師介紹 4附錄2：課程教材介紹 4附錄3：中國高校大數(shù)據(jù)課程公共服務(wù)平臺介紹 6廈門大學(xué)林子雨編著《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材配套機(jī)房上機(jī)實(shí)驗(yàn)指南實(shí)驗(yàn)5第七章MapReduce編程初級實(shí)踐廈門大學(xué)林子雨編著《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材配套機(jī)房上機(jī)實(shí)驗(yàn)指南實(shí)驗(yàn)5第七章MapReduce編程初級實(shí)踐主講教師：林子雨E-mail:ziyulin@個(gè)人主頁：/linziyu實(shí)驗(yàn)?zāi)康?.通過實(shí)驗(yàn)掌握基本的MapReduce編程方法；2.掌握用MapReduce解決一些常見的數(shù)據(jù)處理問題，包括數(shù)據(jù)去重、數(shù)據(jù)排序和數(shù)據(jù)挖掘等。實(shí)驗(yàn)平臺已經(jīng)配置完成的Hadoop偽分布式環(huán)境。實(shí)驗(yàn)內(nèi)容和要求1.編程實(shí)現(xiàn)文件合并和去重操作對于兩個(gè)輸入文件，即文件A和文件B，請編寫MapReduce程序，對兩個(gè)文件進(jìn)行合并，并剔除其中重復(fù)的內(nèi)容，得到一個(gè)新的輸出文件C。下面是輸入文件和輸出文件的一個(gè)樣例供參考。輸入文件A的樣例如下： 20150101x 20150102y 20150103x 20150104y 20150105z20150106x輸入文件B的樣例如下：20150101y20150102y20150103x20150104z20150105y根據(jù)輸入文件A和B合并得到的輸出文件C的樣例如下：20150101x20150101y20150102y20150103x20150104y20150104z20150105y 20150105z20150106x2.編寫程序?qū)崿F(xiàn)對輸入文件的排序現(xiàn)在有多個(gè)輸入文件，每個(gè)文件中的每行內(nèi)容均為一個(gè)整數(shù)。要求讀取所有文件中的整數(shù)，進(jìn)行升序排序后，輸出到一個(gè)新的文件中，輸出的數(shù)據(jù)格式為每行兩個(gè)整數(shù)，第一個(gè)數(shù)字為第二個(gè)整數(shù)的排序位次，第二個(gè)整數(shù)為原待排列的整數(shù)。下面是輸入文件和輸出文件的一個(gè)樣例供參考。輸入文件1的樣例如下：33371240輸入文件2的樣例如下：416395輸入文件3的樣例如下：14525根據(jù)輸入文件1、2和3得到的輸出文件如下：112435412516625733837939104011453.對給定的表格進(jìn)行信息挖掘下面給出一個(gè)child-parent的表格，要求挖掘其中的父子輩關(guān)系，給出祖孫輩關(guān)系的表格。輸入文件內(nèi)容如下： childparent StevenLucy StevenJack JoneLucy JoneJack LucyMary LucyFrank JackAlice JackJesse DavidAlice DavidJesse PhilipDavid PhilipAlma MarkDavidMarkAlma輸出文件內(nèi)容如下： grandchildgrandparent StevenAlice StevenJesse JoneAlice JoneJesse StevenMary StevenFrank JoneMary JoneFrank PhilipAlice PhilipJesse MarkAliceMarkJesse實(shí)驗(yàn)報(bào)告《大數(shù)據(jù)技術(shù)原理與應(yīng)用》實(shí)驗(yàn)報(bào)告題目：姓名日期實(shí)驗(yàn)環(huán)境：解決問題的思路：實(shí)驗(yàn)內(nèi)容與完成情況：出現(xiàn)的問題：解決方案（列出遇到的問題和解決辦法，列出沒有解決的問題）：附錄1:任課教師介紹林子雨(1978－),男,博士,廈門大學(xué)計(jì)算機(jī)科學(xué)系助理教授,主要研究領(lǐng)域?yàn)閿?shù)據(jù)庫,實(shí)時(shí)主動數(shù)據(jù)倉庫,數(shù)據(jù)挖掘.主講課程：《大數(shù)據(jù)技術(shù)基礎(chǔ)》辦公地點(diǎn)：廈門大學(xué)海韻園科研2號樓E-mail:ziyulin@個(gè)人主頁：/linziyu數(shù)據(jù)庫實(shí)驗(yàn)室網(wǎng)站：附錄2：課程教材介紹《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲、處理、分析與應(yīng)用》，由廈門大學(xué)計(jì)算機(jī)科學(xué)系教師林子雨博士編著，是中國高校第一本系統(tǒng)介紹大數(shù)據(jù)知識的專業(yè)教材。本書定位為大數(shù)據(jù)技術(shù)入門教材，為讀者搭建起通向“大數(shù)據(jù)知識空間”的橋梁和紐帶，以“構(gòu)建知識體系、闡明基本原理、引導(dǎo)初級實(shí)踐、了解相關(guān)應(yīng)用”為原則，為讀者在大數(shù)據(jù)領(lǐng)域“深耕細(xì)作”奠定基礎(chǔ)、指明方向。全書共有13章，系統(tǒng)地論述了大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式并行編程模型MapReduce、流計(jì)算、圖計(jì)算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié)，安排了入門級的實(shí)踐操作，讓讀者更好地學(xué)習(xí)和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。本書可以作為高等院校計(jì)算機(jī)專業(yè)、信息管理等相關(guān)專業(yè)的大數(shù)據(jù)課程教材，也可供相關(guān)技術(shù)人員參考、學(xué)習(xí)、培訓(xùn)之用。歡迎訪問《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲、處理、分析與應(yīng)用》教材官方網(wǎng)站：/post/bigdata掃一掃訪問教材官網(wǎng)附錄3：中國高校大數(shù)據(jù)課程公共服務(wù)平臺介紹中國高校大數(shù)據(jù)課程公共服務(wù)平臺，由中國高校首個(gè)“數(shù)字教師”的提出者和建設(shè)者——林子雨老師發(fā)起，由廈門大學(xué)數(shù)據(jù)庫實(shí)驗(yàn)室全力打造，由廈門大學(xué)云計(jì)算與大數(shù)據(jù)研究中心、海峽云計(jì)算與大數(shù)據(jù)應(yīng)用研究中心攜手共建。這是國內(nèi)第一個(gè)服務(wù)于高校大數(shù)據(jù)課程建設(shè)的公共服務(wù)平臺，旨在促進(jìn)國內(nèi)高校大數(shù)據(jù)課程體系建設(shè)，提高大數(shù)據(jù)課程教學(xué)水平，降低大數(shù)據(jù)課程學(xué)習(xí)門檻，提升學(xué)生課程學(xué)習(xí)效果。平臺服務(wù)對象涵蓋高校、教師和學(xué)生。平臺為高校開設(shè)大數(shù)據(jù)課程提供全流程輔助，為教師開展教學(xué)工作提供一站式服務(wù)，為學(xué)生學(xué)