大數(shù)據(jù)技術(shù)與應(yīng)用項(xiàng)目Hive的join實(shí)驗(yàn)原理

大數(shù)據(jù)技術(shù)與應(yīng)用項(xiàng)目——Hive的join實(shí)驗(yàn)原理

項(xiàng)目來自北京諾程佳華教育科技有限公司教學(xué)目標(biāo)熟悉hive的join操作。了解join的作用。

Hive的join實(shí)驗(yàn)原理

Hive是基于Hadoop平臺(tái)的，它提供了類似SQL一樣的查詢語言HQL。有了Hive，如果使用過SQL語言，并且不理解HadoopMapReduce運(yùn)行原理，也就無法通過編程來實(shí)現(xiàn)MR，但是你仍然可以很容易地編寫出特定查詢分析的HQL語句，通過使用類似SQL的語法，將HQL查詢語句提交Hive系統(tǒng)執(zhí)行查詢分析，最終Hive會(huì)幫你轉(zhuǎn)換成底層Hadoop能夠理解的MRJob。

Hive的join實(shí)驗(yàn)原理對于最基本的HQL查詢我們不再累述，這里主要說明Hive中進(jìn)行統(tǒng)計(jì)分析時(shí)使用到的JOIN操作。在說明HiveJOIN之前，我們先簡單說明一下，Hadoop執(zhí)行MRJob的基本過程（運(yùn)行機(jī)制），能更好的幫助我們理解HQL轉(zhuǎn)換到底層的MRJob后是如何執(zhí)行的。我們重點(diǎn)說明MapReduce執(zhí)行過程中，從Map端到Reduce端這個(gè)過程（Shuffle）的執(zhí)行情況，如圖所示

Hive的join實(shí)驗(yàn)原理1.一個(gè)InputSplit輸入到map，會(huì)運(yùn)行我們實(shí)現(xiàn)的Mapper的處理邏輯，對數(shù)據(jù)進(jìn)行映射操作。2.map輸出時(shí)，會(huì)首先將輸出中間結(jié)果寫入到map自帶的buffer中（buffer默認(rèn)大小為100M，可以通過io.sort.mb配置）。3.map自帶的buffer使用容量達(dá)到一定門限（默認(rèn)0.80或80%，可以通過io.sort.spill.percent配置），一個(gè)后臺(tái)線程會(huì)準(zhǔn)備將buffer中的數(shù)據(jù)寫入到磁盤。4.這個(gè)后臺(tái)線程在將buffer中數(shù)據(jù)寫入磁盤之前，會(huì)首先將buffer中的數(shù)據(jù)進(jìn)行partition（分區(qū)，partition數(shù)為Reducer的個(gè)數(shù)），對于每個(gè)的數(shù)據(jù)會(huì)基于Key進(jìn)行一個(gè)in-memory排序。

Hive的join實(shí)驗(yàn)原理5.排序后，會(huì)檢查是否配置了Combiner，如果配置了則直接作用到已排序的每個(gè)partition的數(shù)據(jù)上，對map輸出進(jìn)行化簡壓縮（這樣寫入磁盤的數(shù)據(jù)量就會(huì)減少，降低I/O操作開銷）。6.現(xiàn)在可以將經(jīng)過處理的buffer中的數(shù)據(jù)寫入磁盤，生成一個(gè)文件（每次buffer容量達(dá)到設(shè)置的門限，都會(huì)對應(yīng)著一個(gè)寫入到磁盤的文件）。7.map任務(wù)結(jié)束之前，會(huì)對輸出的多個(gè)文件進(jìn)行合并操作，合并成一個(gè)文件（若map輸出至少3個(gè)文件，在多個(gè)文件合并后寫入之前，如果配置了Combiner，則會(huì)運(yùn)行來化簡壓縮輸出的數(shù)據(jù)，文件個(gè)數(shù)可以通過bine配置；如果指定了壓縮map輸出，這里會(huì)根據(jù)配置對數(shù)據(jù)進(jìn)行壓縮寫入磁盤），這個(gè)文件仍然保持partition和排序的狀態(tài)。

Hive的join實(shí)驗(yàn)原理8.reduce階段，每個(gè)reduce任務(wù)開始從多個(gè)map上拷貝屬于自己partition（map階段已經(jīng)做好partition，而且每個(gè)reduce任務(wù)知道應(yīng)該拷貝哪個(gè)partition；拷貝過程是在不同節(jié)點(diǎn)之間，Reducer上拷貝線程基于HTTP來通過網(wǎng)絡(luò)傳輸數(shù)據(jù)）。9.每個(gè)reduce任務(wù)拷貝的map任務(wù)結(jié)果的指定partition，也是先將數(shù)據(jù)放入到自帶的一個(gè)buffer中（buffer默認(rèn)大小為Heap內(nèi)存的70%，可以通過mapred.job.shuffle.input.buffer.percent配置），如果配置了map結(jié)果進(jìn)行壓縮，則這時(shí)要先將數(shù)據(jù)解壓縮后放入buffer中。

Hive的join實(shí)驗(yàn)原理10.reduce自帶的buffer使用容量達(dá)到一定門限（默認(rèn)0.66或66%，可以通過mapred.job.shuffle.merge.percent配置），或者buffer中存放的map的輸出的數(shù)量達(dá)到一定門限（默認(rèn)1000，可以通過mapred.inmem.merge.threshold配置），buffer中的數(shù)據(jù)將會(huì)被寫入到磁盤中。11.在將buffer中多個(gè)map輸出合并寫入磁盤之前，如果設(shè)置了Combiner，則會(huì)化簡壓縮合并的map輸出。12.當(dāng)屬于該reducer的map輸出全部拷貝完成，則會(huì)在reducer上生成多個(gè)文件，這時(shí)開始執(zhí)行合并操作，并保持每個(gè)map輸出數(shù)據(jù)中Key的有序性，將多個(gè)文件合并成一個(gè)文件（在reduce端可能存在buffer和磁盤上都有數(shù)據(jù)的情況，這樣在buffer中的數(shù)據(jù)可以減少一定量的I/O寫入操作開銷）。

Hive的join實(shí)驗(yàn)原理13.最后，執(zhí)行reduce階段，運(yùn)行我們實(shí)現(xiàn)的Reducer中化簡邏輯，最終將結(jié)果直接輸出到HDFS中（因?yàn)镽educer運(yùn)行在DataNode上，輸出結(jié)果的第一個(gè)replica直接在存儲(chǔ)在本地節(jié)點(diǎn)上）。通過上面的描述我們看到，在MR執(zhí)行過程中，存在Shuffle過程的MR需要在網(wǎng)絡(luò)中的節(jié)點(diǎn)之間（Mapper節(jié)點(diǎn)和Reducer節(jié)點(diǎn)）拷貝數(shù)據(jù)，如果傳輸?shù)臄?shù)據(jù)量很大會(huì)造成一定的網(wǎng)絡(luò)開銷。而且，Map端和Reduce