大數(shù)據(jù)技術(shù)原理與應(yīng)用-上機(jī)練習(xí)-安裝Hadoop

1、廈門大學(xué)計(jì)算機(jī)科學(xué)系研究生課程大數(shù)據(jù)技術(shù)原理與應(yīng)用上機(jī)練習(xí)安裝Hadoop主講教師：林子雨廈門大學(xué)數(shù)據(jù)庫實(shí)驗(yàn)室二零一五年九月目錄目錄 TOC o 1-3 h z u HYPERLINK l _Toc430675614 1作業(yè)題目 PAGEREF _Toc430675614 h 1 HYPERLINK l _Toc430675615 2作業(yè)目的 PAGEREF _Toc430675615 h 1 HYPERLINK l _Toc430675616 3作業(yè)性質(zhì) PAGEREF _Toc430675616 h 1 HYPERLINK l _Toc430675617 4作業(yè)考核方法 PAGEREF _

2、Toc430675617 h 1 HYPERLINK l _Toc430675618 5作業(yè)提交日期與方式 PAGEREF _Toc430675618 h 1 HYPERLINK l _Toc430675619 6實(shí)驗(yàn)平臺(tái) PAGEREF _Toc430675619 h 1 HYPERLINK l _Toc430675620 7實(shí)驗(yàn)內(nèi)容和要求 PAGEREF _Toc430675620 h 1 HYPERLINK l _Toc430675621 7.1下載相關(guān)軟件 PAGEREF _Toc430675621 h 1 HYPERLINK l _Toc430675622 7.2安裝Linux虛擬機(jī)

3、 PAGEREF _Toc430675622 h 2 HYPERLINK l _Toc430675623 7.3進(jìn)行Hadoop偽分布式安裝 PAGEREF _Toc430675623 h 2 HYPERLINK l _Toc430675624 8實(shí)驗(yàn)報(bào)告 PAGEREF _Toc430675624 h 2 HYPERLINK l _Toc430675625 附錄1:任課教師介紹 PAGEREF _Toc430675625 h 2 HYPERLINK l _Toc430675626 附錄2：課程教材介紹 PAGEREF _Toc430675626 h 2廈門大學(xué)計(jì)算機(jī)科學(xué)系研究生課程大數(shù)據(jù)技術(shù)

4、原理與應(yīng)用 上機(jī)練習(xí) 安裝Hadoop主講教師：林子雨 /linziyu 第 PAGE 3頁大數(shù)據(jù)技術(shù)原理與應(yīng)用安裝Hadoop上機(jī)練習(xí)說明主講教師：林子雨E-mail: HYPERLINK mailto:ziyulin ziyulin 個(gè)人主頁： HYPERLINK /linziyu /linziyu作業(yè)題目安裝Hadoop。作業(yè)目的1.掌握Linux虛擬機(jī)安裝方法。Hadoop在Linux操作系統(tǒng)上運(yùn)行可以發(fā)揮最佳性能，鑒于目前很多讀者可能正在使用Windows操作系統(tǒng)，因此，為了完成本書的后續(xù)實(shí)驗(yàn)，這里有必要通過本實(shí)驗(yàn)讓讀者掌握在Windows操作系統(tǒng)上搭建Linux虛擬機(jī)的方法。2.掌

5、握Hadoop的偽分布式安裝方法。很多讀者并不具備集群環(huán)境，需要在一臺(tái)機(jī)器上模擬一個(gè)小的集群，因此，需要通過本實(shí)驗(yàn)讓讀者掌握在單機(jī)上進(jìn)行Hadoop的偽分布式安裝方法。作業(yè)性質(zhì) 課后作業(yè)，必做，作為課堂平時(shí)成績。作業(yè)考核方法 提交上機(jī)實(shí)驗(yàn)報(bào)告，任課老師根據(jù)上機(jī)實(shí)驗(yàn)報(bào)告評定成績。作業(yè)提交日期與方式林子雨編著大數(shù)據(jù)技術(shù)原理與應(yīng)用教材第二章大數(shù)據(jù)處理架構(gòu)Hadoop內(nèi)容結(jié)束后的下一周周六晚上9點(diǎn)之前提交。實(shí)驗(yàn)平臺(tái)操作系統(tǒng)：Windows系統(tǒng)或者CentOS7（推薦）。虛擬機(jī)軟件：推薦使用的開源虛擬機(jī)軟件為VirtualBox 。VirtualBox是一款功能強(qiáng)大的免費(fèi)虛擬機(jī)軟件，它不僅具有豐富的特色

6、，而且性能也很優(yōu)異，簡單易用，可虛擬的系統(tǒng)包括Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2甚至Android 4.0系統(tǒng)等操作系統(tǒng)。讀者可以在Windows系統(tǒng)上安裝VirtualBox軟件，然后在VirtualBox上安裝并且運(yùn)行Linux操作系統(tǒng)。本次實(shí)驗(yàn)?zāi)J(rèn)的Linux發(fā)行版為CentOS7。實(shí)驗(yàn)內(nèi)容和要求下載相關(guān)軟件如果讀者正在使用Linux操作系統(tǒng)，可以跳過本步，不需要下載相關(guān)軟件。如果讀者正在使用Windows操作系統(tǒng)，請下載VirtualBox4.3.20和CentOS7鏡像文件。VirtualBox4.3.20的下載地址：/wik

7、i/DownloadsCentOS7的鏡像文件下載地址：/centos/7/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso安裝Linux虛擬機(jī)如果讀者正在使用Linux操作系統(tǒng)，則不需要了解Windows系統(tǒng)上的Linux虛擬機(jī)安裝方法。如果讀者正在使用Windows操作系統(tǒng)，則需要在Windows系統(tǒng)上安裝Linux虛擬機(jī)。首先，在Windows系統(tǒng)上安裝虛擬機(jī)軟件VirtualBox4.3.20；然后，在虛擬機(jī)軟件VirtualBox上安裝CentOS7操作系統(tǒng)。進(jìn)行Hadoop偽分布式安裝在Linux環(huán)境下完成偽分布式環(huán)境的搭建，并運(yùn)行Hadoop自

8、帶的WordCount實(shí)例檢測是否運(yùn)行正常。實(shí)驗(yàn)報(bào)告廈門大學(xué)計(jì)算機(jī)系研究生課程大數(shù)據(jù)技術(shù)原理與應(yīng)用實(shí)驗(yàn)報(bào)告題目：姓名日期實(shí)驗(yàn)環(huán)境：實(shí)驗(yàn)內(nèi)容與完成情況：出現(xiàn)的問題：解決方案（列出遇到的問題和解決辦法，列出沒有解決的問題）： 附錄1:任課教師介紹林子雨(1978),男,博士,廈門大學(xué)計(jì)算機(jī)科學(xué)系助理教授,主要研究領(lǐng)域?yàn)閿?shù)據(jù)庫,實(shí)時(shí)主動(dòng)數(shù)據(jù)倉庫,數(shù)據(jù)挖掘.主講課程：大數(shù)據(jù)技術(shù)基礎(chǔ)辦公地點(diǎn)：廈門大學(xué)海韻園科研2號(hào)樓E-mail: ziyulin個(gè)人主頁：/linziyu數(shù)據(jù)庫實(shí)驗(yàn)室網(wǎng)站：附錄2：課程教材介紹大數(shù)據(jù)技術(shù)原理與應(yīng)用概念、存儲(chǔ)、處理、分析與應(yīng)用，由廈門大學(xué)計(jì)算機(jī)科學(xué)系教師林子雨博士編著，是中國高校第一本系統(tǒng)介紹大數(shù)據(jù)知識(shí)的專業(yè)教材。本書定位為大數(shù)據(jù)技術(shù)入門教材，為讀者搭建起通向“大數(shù)據(jù)知識(shí)空間”的橋梁和紐帶，以“構(gòu)建知識(shí)體系、闡明基本原理、引導(dǎo)初級(jí)實(shí)踐、了解相關(guān)應(yīng)用”為原則，為讀者在大數(shù)據(jù)領(lǐng)域“深耕細(xì)作”奠定基礎(chǔ)、指明方向。全書共有13章，系統(tǒng)地論述了大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù) 庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式并行編程模型MapReduce、流計(jì)算、圖計(jì)算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié)，安排