大數(shù)據(jù)平臺(tái)技術(shù)實(shí)例教程 課件 【ch03】大數(shù)據(jù)框架的安裝和配置

大數(shù)據(jù)框架的安裝和配置“新工科建設(shè)之路·數(shù)據(jù)科學(xué)與大數(shù)據(jù)系列大數(shù)據(jù)平臺(tái)技術(shù)實(shí)剛教程第三章01大數(shù)據(jù)框架配置環(huán)境VMware快照是虛擬機(jī)磁盤(pán)文件在某個(gè)時(shí)間點(diǎn)的副本。在實(shí)驗(yàn)過(guò)程中，可能會(huì)因某些操作失誤而破壞實(shí)驗(yàn)環(huán)境，想要自行修復(fù)往往是十分費(fèi)時(shí)費(fèi)力的?？煺盏氖褂梅椒ㄊ?，在虛擬機(jī)關(guān)機(jī)狀態(tài)下，右擊鏡像名稱，選擇“快照”一“快照管理器”命令(如圖3-1所示)，選擇想還原的快照點(diǎn)，單擊“轉(zhuǎn)到”按鈕。這樣，實(shí)驗(yàn)環(huán)境就可以恢復(fù)。本章需要完成2個(gè)操作任務(wù):第一個(gè)任務(wù)是“3.4虛擬機(jī)的使用”，目的是介紹虛擬機(jī)軟件的基本操作，包括鏡像的導(dǎo)入和鏡像的網(wǎng)絡(luò)配置等，該任務(wù)的全部操作在鏡像“aut”上進(jìn)行，使用的鏡像還原點(diǎn)為“ahut-3”，如圖3-2所示。第二個(gè)任務(wù)是“3.6Hadoop偽分布式安裝和使用”，將在3.4節(jié)的基礎(chǔ)上，繼續(xù)進(jìn)行SSH、JDK及Hadoop的安裝和配置。02Linux操作系統(tǒng)介紹Linux的發(fā)展歷史Linux的發(fā)展歷史具體如下所述010203041984年AndrewS.Tanenbaum開(kāi)發(fā)了用于教學(xué)的Unix系統(tǒng)，命名為Minix。1990年芬蘭赫爾辛基大學(xué)學(xué)生LinusTorvalds首次接觸Minix操作系統(tǒng)。1991年LinusTorvalds開(kāi)始在Minix上編寫(xiě)各種驅(qū)動(dòng)程序等操作系統(tǒng)內(nèi)核組件。1989AndrewS.Tanenbaum將Minix運(yùn)行于x86的PC計(jì)算機(jī)平臺(tái)。Linux的發(fā)展歷史Linux的發(fā)展歷史具體如下所述050607081991年年底LinusTorvalds公開(kāi)了Linux內(nèi)核源代碼。1994年Linux的第一個(gè)商業(yè)發(fā)行版Slackware問(wèn)世。1996年美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)局的計(jì)算機(jī)系統(tǒng)實(shí)驗(yàn)室確認(rèn)Linux1213版本(由OpenLinux公司打包)符合POSIX標(biāo)準(zhǔn)。1993年Linux1.0版本發(fā)行，Linux轉(zhuǎn)向GPL版權(quán)協(xié)議。Linux的發(fā)展歷史Linux的發(fā)展歷史具體如下所述09101999年Linux的簡(jiǎn)體中文發(fā)行版問(wèn)世。2000年后Linux操作系統(tǒng)日趨成熟，大量基于Linux服務(wù)器平臺(tái)的應(yīng)用涌現(xiàn)出來(lái)，并廣泛應(yīng)用于基于ARM技術(shù)的嵌入式系統(tǒng)。Linux版本特點(diǎn)1.RedHat系列RedHat是一個(gè)廣受歡迎的Linux發(fā)行版，其商業(yè)版本RHEL也是企業(yè)常用的操作系統(tǒng)之一。2.Debian系列Debian系列包括Debian和Ubuntu等。Debian最初由IanMurdock于1993年創(chuàng)建，現(xiàn)在已經(jīng)成為一個(gè)龐大的社區(qū)項(xiàng)目，擁有多個(gè)版本分支。Ubuntu是基于Debian構(gòu)建的一個(gè)流行的Linux發(fā)行版，它的目標(biāo)是為桌面用戶提供一個(gè)易于使用、穩(wěn)定且免費(fèi)的操作系統(tǒng)。Linux版本特點(diǎn)3.GentooGentoo是一個(gè)基于源代碼分發(fā)的發(fā)行版本，使用Portage包管理系統(tǒng)。與其他二進(jìn)制分發(fā)的包管理系統(tǒng)不同,Portage包管理系統(tǒng)允許用戶根據(jù)自己的需求定制軟件包的編譯參數(shù)。這使得Gentoo能夠更好地適應(yīng)特定硬件和應(yīng)用場(chǎng)景，并達(dá)到更好的性能表現(xiàn)。4.FreeBSDFreeBSD擁有兩個(gè)版本分支：stable和current。其中，stable版本旨在提供最穩(wěn)定和可靠的系統(tǒng)，適合用于生產(chǎn)環(huán)境和服務(wù)器；而current版本則用于測(cè)試新技術(shù)和功能，可能不夠穩(wěn)定，但可以讓用戶提前體驗(yàn)到最新的技術(shù)。Linux版本選擇在選擇Linux版本時(shí)，應(yīng)該考慮不同版本的Linux有不同的用途，如服務(wù)器、桌面環(huán)境、嵌入式系統(tǒng)等，而穩(wěn)定性是企業(yè)級(jí)應(yīng)用的關(guān)鍵因素，用戶需要選擇經(jīng)過(guò)長(zhǎng)期穩(wěn)定測(cè)試的版本。此外，有些版本有更好的社區(qū)支持，能夠及時(shí)解決出現(xiàn)的問(wèn)題。同時(shí)，還需要選擇經(jīng)過(guò)安全性測(cè)試和更新的版本，以確保系統(tǒng)安全。如果要選擇一個(gè)桌面的Linux操作系統(tǒng)，比較經(jīng)濟(jì)的可以選擇Ubuntu；如果需要服務(wù)端的Linux操作系統(tǒng)，建議選擇CentOS或者RedHat；如果成本預(yù)算高，可以選擇RHEL；如果需要一個(gè)桌面系統(tǒng)，還想靈活定制自己的Linux操作系統(tǒng)，可以選擇Gentoo；如果對(duì)系統(tǒng)穩(wěn)定性、安全性有更高的要求或者有特殊使用偏好，可以考慮Debin或FreeBSD；如果追求最新的軟件版本，可以選擇Fedora,但要容忍Fedora潛在的系統(tǒng)穩(wěn)定性問(wèn)題；如果喜歡中文環(huán)境支持，可以選擇麒麟Linux；如果想深入學(xué)習(xí)Linux的各個(gè)方面的知識(shí)或自己定制內(nèi)容，可以使用Gentoo。03Linux終端常見(jiàn)命令基本命令01關(guān)機(jī)和重啟0102關(guān)機(jī)重啟基本命令02幫助命令help命令help命令能夠在控制臺(tái)上打印出需要的命令的幫助信息。--help選項(xiàng)除了使用help命令查詢幫助信息，還可以使用--help選項(xiàng)來(lái)查詢外部命令的幫助信息。man命令(命令說(shuō)明書(shū))與help命令相比，man命令的信息更全，help命令顯示的信息相對(duì)簡(jiǎn)潔。info命令info命令的功能與man命令基本相似，能夠顯示命令的相關(guān)資料和信息。命令格式：1s［-選項(xiàng)］［參數(shù)］1.文件/目錄顯示Is目錄操作命令用法：命令格式：cd［目錄］2.目錄切換cd目錄操作命令用法：cd命令用于切換到絕對(duì)路徑和相對(duì)路徑。（1）創(chuàng)建目錄mkdir命令格式：mkdir［-p］［目錄］3.目錄操作目錄操作命令（2）刪除目錄或文件rm命令格式：rm［-rf］［文件/目錄］用法：選項(xiàng)-r表示刪除目錄，-f表示強(qiáng)制執(zhí)行。3.目錄操作（3）修改文件/目錄mv①重命名目錄：命令格式：mv［舊目錄名］［新目錄名］②目錄移動(dòng)剪切：命令格式：mv［舊目錄名稱］［新目錄名稱］目錄操作命令命令格式：cp-理［目錄名稱］［目錄拷貝的目標(biāo)位置］用法：中代表遞歸，保留文件屬性（如時(shí)間屬性等）。4.復(fù)制目錄cp命令格式：find［目錄］［選項(xiàng)］［文件名稱］5.搜索目錄find文件操作命令01文件操作命令命令格式：touch［選項(xiàng)］［文件名］用法：如果只創(chuàng)建文件，使用“touch［文件名］”即可完成創(chuàng)建操作。除此之外，如果需要對(duì)文件的“讀取時(shí)間”“修改時(shí)間”進(jìn)行修改，可參考表3-2。1.新建文件touch文件操作命令01文件操作命令rm命令可以對(duì)目錄進(jìn)行刪除操作，也可以對(duì)文件進(jìn)行刪除操作，這里不再贅述。2.刪除文件rm命令格式：vi［文件名］或vim［文件名］vi/vim編輯器的三種模式：①命令行模式(Commandmode)功能：控制屏幕光標(biāo)的移動(dòng)，用于字符、字或行的刪除、查找，移動(dòng)復(fù)制某區(qū)段，以及切換到編輯模式(Insertmode)或底行模式(Lastlinemode)。3.修改文件vi/vim文件操作命令01文件操作命令②編輯模式功能：只有在編輯模式下，才可以輸入文字，按Esc鍵可回到命令行模式。③底行模式功能：將文件保存或退出vi,也可以設(shè)置編輯環(huán)境，如尋找字符串、列出行號(hào)等。3.修改文件vi/vim4.文件查看命令①cat命令命令格式:cat.[選項(xiàng)][文件名]用法:cat命令用于查看內(nèi)容較少的純文本文件，可以通過(guò)添加參數(shù)-n，在顯示內(nèi)容時(shí)順便顯示行號(hào)。②more命令命令格式:less選項(xiàng)][文件名]用法:less命令與more命令的用法幾乎一致，兩者不同點(diǎn)如下。文件操作命令01文件操作命令4.文件查看命令文件操作命令01文件操作命令③less命令命令格式：less［選項(xiàng)］［文件名］用法：less命令與more命令的用法幾乎一致，兩者不同點(diǎn)如下。④head與tail命令命令格式：head與tail［選項(xiàng)］［文件名］用法：head與tail命令用于查看文件的前改行或后浮行。除此之外，如果想實(shí)時(shí)查看最新的日志文件等持續(xù)刷新的內(nèi)容，可以通過(guò)tail命令添加-f參數(shù)實(shí)現(xiàn)。文件操作命令02權(quán)限修改(1)權(quán)限介紹使用文件/目錄顯示命令1s時(shí)，添加-1參數(shù)可以長(zhǎng)格式輸出文件、目錄信息，輸出的內(nèi)容包括文件、目錄所擁有的權(quán)限，分別為工(可讀)、w(可寫(xiě))、(可執(zhí)行)。(2)權(quán)限修改chmod命令格式:chmod[權(quán)限][文件/目錄表示方法如下:讀取的權(quán)限等于4，用r表示;寫(xiě)入的權(quán)限等于2，用w表示;執(zhí)行的權(quán)限等于1，用x表示。通過(guò)4、2、1的組合，得到以下幾種權(quán)限:0(沒(méi)有權(quán)限)，4(讀取權(quán)限)，5(4+1:讀取+執(zhí)行)，6(4+2:讀取+寫(xiě)入)，7(4+2+1:讀取+寫(xiě)入+執(zhí)行)。以最高權(quán)限777為例，數(shù)字7代表對(duì)應(yīng)的用戶組對(duì)該文件/目錄擁有所有的權(quán)限。文件操作命令03文件打包與壓縮tarLinux操作系統(tǒng)和Windows操作系統(tǒng)一樣，支持直接通過(guò)系統(tǒng)命令對(duì)文件進(jìn)行打包壓縮、解壓操作，但Linux操作系統(tǒng)中的后綴擴(kuò)展名與Windows操作系統(tǒng)中的有些差別：Windows中的壓縮文件擴(kuò)展名:Zip/rarLinux中的打包文件擴(kuò)展名:tarLinux中的壓縮文件擴(kuò)展名:Limux中打包并壓縮的文件擴(kuò)展名:tar.gztar命令有許多可用選項(xiàng)，如表3-3所示。文件操作命令03文件打包與壓縮tar(1)打包與壓縮命令格式:tar[選項(xiàng)(-cf必備)][目標(biāo)文件名][源文件名]用法:打包與壓縮操作由于擁有相同的操作參數(shù)-c，所以經(jīng)常放在一起進(jìn)行。Linux中的打包文件一般是以tar結(jié)尾的，壓縮的命令一般是以gz結(jié)尾的，打包并壓縮后的文件的后綴名一般為tar.gz。(2)解壓縮命令格式:tar[選項(xiàng)(-xf必備)1源文件名1[-CT[目標(biāo)地址用法:解壓縮操作與打包、壓縮操作相似，但要注意命令選項(xiàng)由-c變成了-x。除此之外，如果不添加-C選項(xiàng)，系統(tǒng)將在命令操作位置進(jìn)行解壓縮操作;如果添加了-C選項(xiàng)與目標(biāo)地址，系統(tǒng)將在指定位置進(jìn)行解壓縮操作。文件操作命令04查找命令0102grep命令是一個(gè)強(qiáng)大的文本搜索工具，用于在文本中執(zhí)行關(guān)鍵詞搜索，并顯示相匹配的結(jié)果。grep命令find命令用于在目錄結(jié)構(gòu)中搜索文件，并對(duì)搜索結(jié)果執(zhí)行指定的操作。find命令03locate命令用于查找目標(biāo)目錄或數(shù)據(jù)庫(kù)內(nèi)符合條件的文件。在查找數(shù)據(jù)庫(kù)內(nèi)文件時(shí)locate讓使用者可以快速搜尋某個(gè)路徑，默認(rèn)每天自動(dòng)更新一次。為了避免使用locate查不到最新變動(dòng)過(guò)的文件，可以在使用locate前先使用updatedb命令，手動(dòng)更新數(shù)據(jù)庫(kù)。locate命令文件操作命令04查找命令0405whereis命令用于定位可執(zhí)行文件、源代碼文件、幫助文件在文件系統(tǒng)中的位置。whereis命令which命令的作用是在path變量指定的路徑中，搜索某個(gè)系統(tǒng)命令的位置，并且返回第一個(gè)搜索結(jié)果。which命令文件操作命令05實(shí)例操作在用戶根目錄~/下創(chuàng)建新文件夾stu，在stu內(nèi)創(chuàng)建文件夾stu1與stu2在stu1內(nèi)新建文件stu1info.txt，并寫(xiě)入下列內(nèi)容:實(shí)例3-3文件操作命令05實(shí)例操作實(shí)例3-3操作如下：文件操作命令05實(shí)例操作實(shí)例3-4先將stulinfo.txt復(fù)制到stu2目錄下，并將其政名為stu2infotxt，再輸出stulinfo.txt的內(nèi)容。操作如下：文件操作命令05實(shí)例操作先將stulinfo.txt打包縮到~/目錄下并解壓縮，再刪除stu文件夾，對(duì)stulinfo.txt的權(quán)限進(jìn)行修改。實(shí)例3-5文件操作命令05實(shí)例操作先將stulinfo.txt打包縮到~/目錄下并解壓縮，再刪除stu文件夾，對(duì)stulinfo.txt的權(quán)限進(jìn)行修改。實(shí)例3-5su命令用于用戶之間的切換，切換前的用戶依然保持登錄狀態(tài)。如果是root向普通或虛擬用戶切換則不需要密碼;反之，普通用戶切換到其他任何用戶都需要密碼驗(yàn)證。(1)su命令系統(tǒng)工作命令01su與sudosudo命令是為所有想使用root權(quán)限的普通用戶設(shè)計(jì)的,可以讓普通用戶臨時(shí)具有root權(quán)限，只需輸入自己賬戶的密碼即可。密碼有5分鐘的有效期，超過(guò)期限必須重新輸入密碼。(2)sudo命令系統(tǒng)工作命令02系統(tǒng)服務(wù)在Linux操作系統(tǒng)中，開(kāi)啟、關(guān)閉、重啟系統(tǒng)服務(wù)的命令格式為service[服務(wù)]startservice[服務(wù)]stopservice[服務(wù)]restart03網(wǎng)絡(luò)管理(1)主機(jī)名配置(2)IP地址配置(3)域名映射系統(tǒng)工作命令04定時(shí)任務(wù)crontab（1）命令格式crontab[-uuserifilecrontab[uuser][-e-1-r]2)配置說(shuō)明、實(shí)例crontab文件配置格式:minutehourdaymonthweekcommand其他常見(jiàn)命令命令格式:ps[選項(xiàng)]用法:ps命令相關(guān)選項(xiàng)如表3-8所示。1.查看系統(tǒng)進(jìn)程狀態(tài)ps其他常見(jiàn)命令命令格式:kill[選項(xiàng)][進(jìn)程PIDI2.結(jié)束進(jìn)程kill(1)Ifconfig：查看網(wǎng)卡信息命令格式;ifconfig或iconfig|more3.網(wǎng)絡(luò)通信命令(2)ping:查看與某臺(tái)機(jī)器的連接情況命令格式:ping[地址]其他常見(jiàn)命令(3)netstat-an:查看當(dāng)前系統(tǒng)端口命令格式：netstat–an(4)搜索指定端口命令格式;netstat-angrep8080(5)配置網(wǎng)絡(luò)命令格式:setup3.網(wǎng)絡(luò)通信命令(1)yum軟件倉(cāng)庫(kù)命令格式:yuminstall[軟件名](2)文件下載工具wget命令格式:wget[選項(xiàng)][URL地址]4.下載安裝命令04虛擬機(jī)的使用010203下載ahut鏡像文件并解壓縮。打開(kāi)VMwareWorkstation軟件，在菜單欄選擇“文件”一“打開(kāi)”命令(快捷鍵Ctrl+0)，選擇要導(dǎo)入的虛擬機(jī)文件ahut.vmx。若操作失敗，可以使用掃描虛擬機(jī)的方式導(dǎo)入;若操作成功，則跳到步驟(4)0405為了方便后續(xù)的實(shí)驗(yàn)操作，將固定虛擬機(jī)IP地址范圍，開(kāi)啟此虛擬機(jī)，耐心等待啟動(dòng)，直至界面提示輸入用戶名和密碼如下。用戶名:root密碼:Hadoop成功登錄虛擬機(jī)，接著開(kāi)始配置虛擬機(jī)的網(wǎng)絡(luò)。060203輸入cd/etc/sysconfig/network-scripts/，進(jìn)入網(wǎng)絡(luò)配置目錄。輸入viifcfg-eth0，編輯IP地址等信息。按I鍵，進(jìn)入vi的編輯模式，修改IPADDR=00，GATEWAY=。0405修改完畢后，按Esc鍵并輸入:wq，按回車鍵保存修改并退出。輸入servicenetworkrestart，重啟網(wǎng)絡(luò)服務(wù)，提示OK則為修改成功。06若提示Deviceeth0doesnotseemtobepresent，則需要修改網(wǎng)卡名稱;若沒(méi)有提示信息，則跳過(guò)該步驟。07輸入，若成功ping通，則說(shuō)明網(wǎng)絡(luò)配置完成。05基于Python的網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用實(shí)例遠(yuǎn)程登錄工具配置01020304下載并安裝MobaXterm，安裝完成后打開(kāi)軟件。保存配置后，根據(jù)提示輸入賬號(hào)與密碼，遠(yuǎn)程登錄主機(jī)(確保主機(jī)處于開(kāi)機(jī)狀態(tài))。登錄成功后，輸入相應(yīng)的命令對(duì)虛擬機(jī)進(jìn)行操作。使用遠(yuǎn)程工具能夠同時(shí)建立與多臺(tái)虛擬機(jī)的連接,方便完全分布式部署的實(shí)驗(yàn)操作,也可以便捷地使用鼠標(biāo)完成Windows本地的文件和當(dāng)前虛擬機(jī)的文件之間的上傳、下載操作。單擊左上角“Session”按鈕，在彈出的對(duì)話框中單擊“SSH”選項(xiàng)卡，切換到SSH配置界面，輸入遠(yuǎn)程主機(jī)IP地址。06Hadoop偽分布式安裝和使用環(huán)境配置配置SSH免密登錄(1)輸入sshlocalhost，出現(xiàn)提示信息后輸入yes并按回車鍵。(2)根據(jù)提示輸入密碼hadoop，出現(xiàn)“LastLogin”信息表示登錄成功。(3)輸入ssh-keygen-tdsa-p”-f~/ssh/iddsa，生成密碼。(4)輸入cat~/.ssh/iddsa.pub>>~/ssh/authorizedkeys。(5)輸入sshlocalhost，此時(shí)不需要輸入密碼即可成功登錄。配置JDK(1)輸入cdsoftware，進(jìn)入JDK安裝包目錄。(2)輸入rpm-ijdk-7u67-linux-x64.rpm，安裝JDK。(3)輸入vi+/etc/profile，配置環(huán)境變量。(4)在文檔末尾追加exportJAVAHOME-/usr/java/jdk1.7.067和PATH-SPATH:SJAVAHOME/bin，保存并退出。(5)輸入source/etc/profile，更新配置文件。(6)輸入ips，出現(xiàn)JPS進(jìn)程說(shuō)明JDK配置成功。Hadoop偽分布式配置(1)輸入mkdir-p/opt/ahut，新建/opt/ahut文件夾。(2)輸入tarxfhadoop-2.6.5.targz-C/opt/ahut/，解壓縮Hadoop安裝包。(5)輸入source/etc/profile，更新環(huán)境變量。(3)輸入vi+/etc/profile，配置環(huán)境變量。(4)在exportJAVAHOME這行下，添加exportHADOOPHOME-/opt/ahuthadoop-2.6.5，并在PATH后追加:SHADOOPHOME/binSHADOOPHOME/sbin(不要忽略冒號(hào))。(6)輸入cd/opt/ahut/hadoop-2.6.5/etc/hadoop，進(jìn)入Hadoop配置文件所在的目錄。Hadoop偽分布式配置(7)輸入vihadoop-envsh，修改Hadoop的環(huán)境配置。(8)找到exportJAVAHOME=SJAVAHOME)，并修改為exportJAVAHOME=/usr/java/jdk1.7.067，用同樣的方法修改mapred-envsh和yarn-envsh中的JAVAHOME為/usr/iava/idk1.7.067。(10)輸入vihdfs-site.xml，修改HDFS的環(huán)境配置，在<configuration>標(biāo)簽中間加入配置信息。(7)輸入vihadoop-envsh，修改Hadoop的環(huán)境配置。(8)找到exportJAVAHOME=SJAVAHOME)，并修改為exportJAVAHOME=/usr/java/jdk1.7.067，用同樣的方法修改mapred-envsh和yarn-envsh中的JAVAHOME為/usr/iava/idk1.7.067。(9)輸入vicore-sitexml，修改Hadoop的核心參數(shù)。在<configuration>標(biāo)簽中間加入配置信息。(10)輸入vihdfs-site.xml，修改HDFS的環(huán)境配置，在<configuration>標(biāo)簽中間加入配置信息。(11)輸入vislaves，指定DataNode所在的節(jié)點(diǎn)，將localhost修改為ahut。(12)輸入hdfsnamenode-format，執(zhí)行HDFS格式化。(13)若出現(xiàn)錯(cuò)誤Unabletodetermineaddressofthehost-fallingbackto(9)輸入vicore-sitexml，修改Hadoop的核心參數(shù)。在<configu