Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 5.3WrdCount設(shè)計(jì)思路

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——單詞統(tǒng)計(jì)分析設(shè)計(jì)目錄content02設(shè)計(jì)思路01設(shè)計(jì)過程part-r-00000的內(nèi)容如下：part-r-00001的內(nèi)容如下：words1.txt的內(nèi)容如下：thisisagoodpigthatisagoodbearwords2.txt的內(nèi)容如下：thisisabadpigthatisabadbearMapReduce案例描述輸入文件是words1.txt和words2.txt兩個(gè)文本文件，文件內(nèi)容僅有字符串和空格。輸出文件為part-r-00000和part-r-00001，文件內(nèi)容是：文件中出現(xiàn)的單詞及單詞出現(xiàn)的次數(shù)。單詞統(tǒng)計(jì)？設(shè)計(jì)思路各個(gè)單詞之間的頻數(shù)不具有相關(guān)性，可以將不同的單詞分發(fā)到不同的節(jié)點(diǎn)上處理；在統(tǒng)計(jì)單詞數(shù)量任務(wù)中，可以將大的數(shù)據(jù)集切分成小的數(shù)據(jù)集，且各數(shù)據(jù)集之間相互獨(dú)立，方便并行處理；MapReduce單詞統(tǒng)計(jì)任務(wù)的解決思路符合MapReduce的編程思想。設(shè)計(jì)思路指定輸入文件所在的位置將兩個(gè)文件切分成兩個(gè)輸入分片，然后對(duì)輸入分片進(jìn)行格式化，文件按行分解，從而形成以行偏移量為key、行內(nèi)容為value的鍵值對(duì)。將鍵值對(duì)的value按空格分解成一個(gè)個(gè)單詞，生成<word,1>形式的鍵值對(duì)。輸入階段輸入分片及其格式化階段設(shè)計(jì)map()函數(shù)階段設(shè)計(jì)思路設(shè)計(jì)reduce()函數(shù)，將輸入的<word,list(value)>形式的數(shù)據(jù)進(jìn)行匯總，最后生成以key為單詞、value為單詞頻數(shù)的鍵值對(duì)。系統(tǒng)默認(rèn)的輸出格式為“單詞+空格+單詞頻數(shù)”的形式，若要輸出特定樣式的數(shù)據(jù)，需要對(duì)輸出結(jié)果進(jìn)行格式化，需要進(jìn)行指定。指定單詞統(tǒng)計(jì)程序的輸出結(jié)果文件位置。設(shè)計(jì)reduce()函數(shù)階段輸出格式化階段輸出階段設(shè)計(jì)過程1.輸入分片及其格式化:對(duì)輸入分片進(jìn)行格式化操作，形成<key1,value1>形式的數(shù)據(jù)流，key1為偏移量，從0開始，每讀取一個(gè)字符就增加1；value1為每行文本內(nèi)容。包括空格、換行符等設(shè)計(jì)過程map()函數(shù)將接收到的<key1,value1>形式的輸入數(shù)據(jù)流，按空格進(jìn)行拆分，輸出結(jié)果為<key2,1>形式的數(shù)據(jù)。key2為字符串形式的單詞，value的值為1，表示單詞數(shù)為1。2.Map過程設(shè)計(jì)過程將多個(gè)Map任務(wù)的<key2,value2>形式的輸出，處理成<key2,list(value2)>形式的中間結(jié)果。3.Shuffle過程設(shè)計(jì)過程reduce()函數(shù)接收<key2,list(value2)>形式的數(shù)據(jù)流，對(duì)相同單詞的值集合進(jìn)行計(jì)算，匯總出單詞出現(xiàn)的總次數(shù)。4.Reduce過程功能實(shí)現(xiàn)part-r-00000的內(nèi)容如下：part-r-00001的內(nèi)容如下：words1.txt的內(nèi)容如下：thisisagoodpigthatisagoodbearwords2.txt的內(nèi)容如下：thisisabadpigthatisabadbearMapReduce輸入