大數(shù)據(jù)實(shí)驗(yàn)報(bào)告

時(shí)間：二O二一年七月二十九日課程實(shí)驗(yàn)陳述之邯鄲勺丸創(chuàng)作時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日專業(yè)年級(jí) 14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇學(xué)號(hào) 20142205042026實(shí)驗(yàn)日期 2017.05.04實(shí)驗(yàn)地點(diǎn)篤行樓B實(shí)驗(yàn)成績實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)?zāi)康募耙驦iunx實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)?zāi)康募耙驦iunxLiunxLiunxLiunxLinux目錄結(jié)構(gòu)及文件基本操縱.實(shí)驗(yàn)內(nèi)容實(shí)驗(yàn)樓環(huán)境介紹,經(jīng)常使用Shell命令及快捷鍵,Linux使用小技巧.Linux中創(chuàng)建、刪除用戶,及用戶組等操縱.Linux中的文件權(quán)限設(shè)置.Linux重命名、編輯等操縱.時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日Liunx.touch,后綴都為txt.實(shí)驗(yàn)步調(diào).時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日...時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日..時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日用lA/Al/dl/AsS時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日.目 錄 路時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日徑...時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日Liunx操縱系統(tǒng)實(shí)驗(yàn)環(huán)境與闡發(fā)教師評(píng)語

LiunxLinuxLiunx且能夠完成相應(yīng)的練習(xí).注：可按照實(shí)際情況加頁課程實(shí)驗(yàn)陳述專業(yè)年級(jí) 14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇學(xué)號(hào) 20142205042026實(shí)驗(yàn)日期 2017.05.04時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日實(shí)驗(yàn)地點(diǎn)篤行樓B實(shí)驗(yàn)成績教務(wù)處制20170309實(shí)驗(yàn)項(xiàng)目 Hadoop的基本操縱名稱實(shí)驗(yàn) 1.Hadoop單機(jī)模式裝置.目的及要2.Hadoop偽散布模式配置安排.求 3.Hadoop介紹及1.X偽散布式裝置.adoop2.X64Hadoop2.X64實(shí)驗(yàn) 1.hadoop三種裝置模式介紹,hadoop單機(jī)模式裝置,測(cè)試裝置內(nèi)容 2.hadoop配置文件介紹及修改,hdfs格局化,啟動(dòng)hadoop進(jìn)程,驗(yàn)證裝置.Hadoop1.X,Hadoop,HadoopHadoop2.X64Hadoop2.X64Hadoop.Hadooop2.X,Hadoop.,添加sudo.openssh-server、java、rsync等,ssh.下載并裝置Hadoop,下載Hadoop2.6.0,,配置Hadoop.實(shí)驗(yàn)步調(diào).時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日:修改core-site.xml:格局化HDFS.Hadoop..設(shè)置Host.下載并解壓hadoop裝置包Hadoop-1.1.2.hadoop.編譯Hadoop2.X64位.時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日使用yumsun.安排Hadooop2.X.與Hadoop1.X.實(shí)驗(yàn)環(huán)境 hadoopXfce終端Hadoopjavajdk,甚至如何創(chuàng)建文件夾目錄下的文件,以及Hadoop實(shí)驗(yàn)結(jié)果與教師評(píng)語

但是通過自己查詢,問同學(xué),部分問題已經(jīng)得到解決,但是還存在一部分就只HadoopHadoop1.X,adoop2.X64注：可按照實(shí)際情況加頁課程實(shí)驗(yàn)陳述專業(yè)年級(jí) 14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇學(xué)號(hào) 20142205042026時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日實(shí)驗(yàn)日期 2017.06.01實(shí)驗(yàn)地點(diǎn)篤行樓B實(shí)驗(yàn)成績實(shí)驗(yàn)項(xiàng)目名稱HDFSMapReduce實(shí)驗(yàn)1.HDFS原理及操縱.實(shí)驗(yàn)項(xiàng)目名稱HDFSMapReduce實(shí)驗(yàn)1.HDFS原理及操縱.目的及要求2.MapReduce原理及操縱.實(shí)驗(yàn)內(nèi)容1.HDFS原理及操縱.環(huán)境說明,HDFS,HDFS,HDFS,HDFSMapReduce環(huán)境說明,MapReduce,Map,Reduce1.HDFS環(huán)境說明.虛擬機(jī)操縱系統(tǒng)：CentOS6.664,1GJDK：1.7.0_5564Hadoop：1.1.2HDFSHDFS（HadoopDistributedFileSystem）GFSft訪,很是適合大規(guī)模數(shù)據(jù)集上的應(yīng)用,它提供了一個(gè)高度容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲(chǔ)解決計(jì)劃.實(shí)驗(yàn)步調(diào) 1.3HDFS架構(gòu).HDFSMasterSlaveNameNodeSecondaryNameNodeDataNodeHDFS客戶端通過調(diào)用FileSystem對(duì)象的open()辦法來打開希望讀取的文件.HDFSDistributedFileSystemcreate(件.測(cè)試?yán)?.1.時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日HDFS配置當(dāng)?shù)丨h(huán)境編寫代碼編譯代碼HDFSMapReduce環(huán)境說明.虛擬機(jī)操縱系統(tǒng)：CentOS6.664,1GJDK：1.7.0_5564Hadoop：1.1.2MapReduceMapReduce.MapReduceMap任務(wù),然后分派到不合的節(jié)點(diǎn)上去MapMap任務(wù)完成Reduce任務(wù)的輸入數(shù)據(jù).ReduceMap的輸出匯總到一起并輸出.MapmapHDFS塊的大小（默認(rèn)為64M）為一個(gè)分片,當(dāng)然我們也可以設(shè)置塊的大小.map（該緩沖區(qū)的大100M,io.sort.mb時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日（80%,io.sort.spill.percent個(gè)文件.ReduceReducemapmapreduce（mapred.job.shuffle.input.buffer.percent控制,暗示用作此用途的堆空間的百分比（mapred.job.shuffle.merge.percent則對(duì)數(shù)據(jù)合并后溢寫到磁盤中.測(cè)試?yán)?編寫代碼.編譯代碼.打包編譯文件.HDFS運(yùn)行程序.時(shí)間：二O二一年七月二十九日時(shí)間：二O二一年七月二十九日檢查結(jié)果.虛擬機(jī)操縱系統(tǒng)：CentOS6.664位,單核,1G內(nèi)存實(shí)驗(yàn)環(huán)境 JDK：1.7.0_5564位Hadoop：1.1.2HDFSMa