流式計(jì)算應(yīng)用14

計(jì)算應(yīng)用學(xué)習(xí)流式01DStream輸出目錄DStream輸出1DStream輸出

輸出操作指定了對(duì)流數(shù)據(jù)經(jīng)轉(zhuǎn)化操作得到的數(shù)據(jù)所要執(zhí)行的操作(例如把結(jié)果推入外部數(shù)據(jù)庫(kù)或輸出到屏幕上)。與RDD中的惰性求值類似，如果一個(gè)DStream及其派生出的DStream都沒(méi)有被執(zhí)行輸出操作，那么這些DStream就都不會(huì)被求值。如果StreamingContext中沒(méi)有設(shè)定輸出操作，整個(gè)context就都不會(huì)啟動(dòng)。輸出操作如下:?print():在運(yùn)行流程序的驅(qū)動(dòng)結(jié)點(diǎn)上打印DStream中每一批次數(shù)據(jù)的最開始10個(gè)元素。這用于開發(fā)和調(diào)試。在PythonAPI中，同樣的操作叫print()。?saveAsTextFiles(prefix,[suffix]):以text文件形式存儲(chǔ)這個(gè)DStream的內(nèi)容。每一批次的存儲(chǔ)文件名基于參數(shù)中的prefix和suffix。”prefix-Time_IN_MS[.suffix]”。?saveAsObjectFiles(prefix,[suffix]):以Java對(duì)象序列化的方式將Stream中的數(shù)據(jù)保存為SequenceFiles.每一批次的存儲(chǔ)文件名基于參數(shù)中的為"prefix-TIME_IN_MS[.suffix]".Python中目前不可用。DStream輸出

?saveAsHadoopFiles(prefix,[suffix]):將Stream中的數(shù)據(jù)保存為Hadoopfiles.每一批次的存儲(chǔ)文件名基于參數(shù)中的為"prefix-TIME_IN_MS[.suffix]"。PythonAPI中目前不可用。?foreachRDD(func):這是最通用的輸出操作，即將函數(shù)func用于產(chǎn)生于stream的每一個(gè)RDD。其中參數(shù)傳入的函數(shù)func應(yīng)該實(shí)現(xiàn)將每一個(gè)RDD中數(shù)據(jù)推送到外部系統(tǒng)，如將RDD存入文件或者通過(guò)網(wǎng)絡(luò)將其寫入數(shù)據(jù)庫(kù)。通用的輸出操作foreachRDD()，它用來(lái)對(duì)DStream中的RDD運(yùn)行任意計(jì)算。這和transform()有些類似，都可以讓我們?cè)L問(wèn)任意RDD。在foreachRDD()中，可以重用我們?cè)赟park中實(shí)現(xiàn)的所有行動(dòng)操作。比如，常見的用例之一是把數(shù)據(jù)寫到諸如MySQL的外部數(shù)據(jù)庫(kù)中。注意:1)連接不能寫在driver層面(序列化)2)如果寫在foreach則每個(gè)RDD中的每一