2023學年完整公開課版WordCount的Map執(zhí)行過程

WordCount的map執(zhí)行過程學習目標2知識目標●Map執(zhí)行過程●Map處理邏輯能力目標●了解Map執(zhí)行過程●掌握Map處理邏輯學習任務3初步探索Map執(zhí)行過程初步探索Map處理邏輯了解Map類了解Mapper類的具體代碼Map執(zhí)行過程Map處理邏輯4目錄Map執(zhí)行過程5對于WordCount程序任務，Map執(zhí)行過程如下：6Map處理邏輯為了把文檔處理成我們希望的效果，首先需要對文檔進行切分。數(shù)據(jù)處理的第一階段是Map階段，在這個階段中文本數(shù)據(jù)被讀入并進行基本的分析，然后以特定的鍵值對的形式進行輸出，這個輸出將作為中間結果，繼續(xù)提供給Reduce階段作為輸入數(shù)據(jù)。7Map處理邏輯我們通過繼承類Mapper來實現(xiàn)Map處理邏輯。首先，為類Mapper設定好輸入類型以及輸出類型。這個Map的輸入是<key,value>形式，其中，key是文本文件中一行的行號，value是改行號對應的文件中的一行內讓你改。實際上，在代碼邏輯中，key值并不需要用到。對于輸出的類型，我們希望在Map部分完成文本分割工作，因此輸出應該為<單詞，出現(xiàn)次數(shù)>的形式。于是，最終確定的輸入類型為<Object，Text>，輸出類型為<Text，IntWritable>，其中，除了Object以外，都是Hadoop提供的內置類型。8Map處理邏輯為實現(xiàn)具體的分析操作，我們需要重寫Mapper中的map函數(shù)。publicvoidmap(Objectkey,Textvalue,Mapper<Object,Text,Text,IntWritable>.Contextcontext)throwsIOException,InterruptedExceptiom{ StringTokenizeritr=newStringTokenizer(value.toString()); While(itr.hasMoreTokens()){ This.word.set(itr.nextToken); Context.write(this.word,one); }}9Map處理邏輯一下為Mapper類的具體代碼。publicstaticclassTokenizerMapperextendsMapper<Object,Text,Text,IntWritable>{ privatestaticfinalIntWritableone=newIntWritable(1); privateTextword=newText();

10Map處理邏輯publicTokenizerMapper(){}publicvoidmap(Objectkey,Textvalue,Mapper<Object,Text,Text,IntWritable>.Contextcontext)throwsIOException,InterruptedExceptiom{ StringTokenizeritr=newStringTokenizer(value.toString()); While(itr.hasMoreTokens()){