2023學年完整公開課版從HDFS加載數(shù)據(jù)

主講：孟繁興目錄0102獲取文本文件中的數(shù)據(jù)一次訪問整個文本文件獲取文本文件中的數(shù)據(jù)1獲取文本文件中的數(shù)據(jù)由于Spark正在逐漸地替代在Hadoop集群上運行的MapReduce程序，因此HDFS成了Spark最常用的存儲平臺。Spark支持Hadoop的InputFormat，默認的InputFormat是TextInputFormat。Spark使用sc.textFile方法處理TextInputFormat格式數(shù)據(jù)，并創(chuàng)建一個RDD字符串。獲取文本文件中的數(shù)據(jù)在前面的SparkWordCount示例中，使用存儲在本地文件系統(tǒng)上的文本文件作為數(shù)據(jù)源。當使用HDFS時，可以使用相同的WordCount程序，但從HDFS加載words目錄:scala>valwords=sc.textFile("hdfs://localhost:9000/user/hduser/words")獲取文本文件中的數(shù)據(jù)使用Scala，完整的WordCount程序將會如下所示:scala>sc.textFile("hdfs://localhost:9000/user/hduser/words").flatMap_.split("'\\W+")).map(w=>(w,1)).reduceByKey((a,b)=>(a+b)).foreach(println)一次訪問整個文本文件2一次訪問整個文本文件通常，當需要把多行處理為一條記錄時，需要訪問整個文件。在這種情況下可使用SparkContext.wholeTextFiles格式。每個文本文件作為RDD的元素存儲。一次訪問整個文本文件下面我們使用一個天氣數(shù)據(jù)集，來說明如何一次加載整個文件?？梢詮囊韵挛恢毛@取該文件:/pub/data/noaa下面是下載gzip格式的壓縮文件，并把它們加載到HDFS的步驟:一次訪問整個文本文件1．下載文件。$wget-r/pub/data/noaa/2．加載到HDFS.$hdfsdfs-put/pub/data/noaaweather/3．啟動Sparkshell，把1950年的數(shù)據(jù)加載到RDD中。scala>valweatherFileRDD=sc.wholeTextfiles("hdfs://localhost:9000/user/hduser//weather/1950")一次訪問整個文本文件4．為避免每次訪問RDD時重復計算，可以緩存這個RDD中的數(shù)據(jù)scala>valweatherRDD=weatherFileRDD.cache5．獲取數(shù)據(jù)集的第一個元素。scala>valfirstElement=weatherRDD.first6．獲取第一個元素的值。scala>valfirstvalue=firstElement._2一次訪問整個文本文件7．把firstvalue按行分割。scala>valfirstvals=firstvalue.split(\\n)8．天氣數(shù)據(jù)文本文件的第66～69個詞為風速?？梢赃@樣找到風速:scala>valwindSpeed=firstVals.map(line=>line.substring(65,69)通常，需要以特定格式加載數(shù)據(jù)，