Hive中小表與大表關(guān)聯(lián)(join)的性能分析

1、經(jīng)常看到一些Hive優(yōu)化的建議中說(shuō)當(dāng)小表與大表做關(guān)聯(lián)時(shí)，把小表寫在前面，這樣可以使Hive的關(guān)聯(lián)速度更快，提到的原因都是說(shuō)因?yàn)樾”砜梢韵确诺絻?nèi)存中，然后大表的每條記錄再去內(nèi)存中檢測(cè)，最終完成關(guān)聯(lián)查詢。這樣的原因看似合理，但是仔細(xì)推敲，又站不住腳跟。多小的表算小表？如果所謂的小表在內(nèi)存中放不下怎么辦？我用2個(gè)只有幾條記錄的表做關(guān)聯(lián)查詢，這應(yīng)該算是小表了，在查看reduce的執(zhí)行日志時(shí)依然是有寫磁盤的操作的。實(shí)際上reduce在接收全部map的輸出后一定會(huì)有一個(gè)排序所有鍵值對(duì)并合并寫入磁盤文件的操作。寫入磁盤(spill)有可能是多次的，因此有可能會(huì)生成多個(gè)臨時(shí)文件，但是最終都要合并成一個(gè)文件，即

2、最終每一個(gè)reduce都只處理一個(gè)文件。我做了一個(gè)實(shí)驗(yàn)，用1條記錄的表和3億多條記錄的表做join，無(wú)論小表是放在join的前面還是join的后面，執(zhí)行的時(shí)間幾乎都是相同的。再去看reduce的執(zhí)行日志仕條記錄的表在join前或者join后兩次查詢的reduce日志幾乎也是一摸一樣的。如果按照上面的說(shuō)法把join左側(cè)的表放內(nèi)存等待join右側(cè)的表到內(nèi)存中去檢測(cè)，那么當(dāng)3億多條記錄的表放在join左側(cè)時(shí)，內(nèi)存肯定是無(wú)法容下這么多記錄的，勢(shì)必要進(jìn)行寫磁盤的操作，那它的執(zhí)行時(shí)間應(yīng)該會(huì)比小表在join前時(shí)長(zhǎng)很多才對(duì)，但事實(shí)并不是這樣，也就說(shuō)明了上面說(shuō)到的原因并不合理。事實(shí)上“把小表放在前面做關(guān)聯(lián)可以提

3、高效率”這種說(shuō)法是錯(cuò)誤的。正確的說(shuō)法應(yīng)該是“把重復(fù)關(guān)聯(lián)鍵少的表放在join前面做關(guān)聯(lián)可以提高join的效率?！狈治鲆幌翲ive對(duì)于兩表關(guān)聯(lián)在底層是如何實(shí)現(xiàn)的。因?yàn)椴徽摱鄰?fù)雜的Hive查詢，最終都要轉(zhuǎn)化成mapreduce的JOB去執(zhí)行，因此Hive對(duì)于關(guān)聯(lián)的實(shí)現(xiàn)應(yīng)該和mapreduce對(duì)于關(guān)聯(lián)的實(shí)現(xiàn)類似。而mapreduce對(duì)于關(guān)聯(lián)的實(shí)現(xiàn)，簡(jiǎn)單來(lái)說(shuō)，是把關(guān)聯(lián)鍵和標(biāo)記是在join左邊還是右邊的標(biāo)識(shí)位作為組合鍵(key)，把一條記錄以及標(biāo)記是在join左邊還是右邊的標(biāo)識(shí)位組合起來(lái)作為值(value)。在reduce的shuffle階段，按照組合鍵的關(guān)聯(lián)鍵進(jìn)行主排序，當(dāng)關(guān)聯(lián)鍵相同時(shí)，再按照標(biāo)識(shí)位進(jìn)行

4、輔助排序。而在分區(qū)段時(shí)，只用關(guān)聯(lián)鍵中的關(guān)聯(lián)鍵進(jìn)行分區(qū)段/這樣關(guān)聯(lián)鍵相同的記錄就會(huì)放在同一個(gè)valuelist中，同時(shí)保證了join左邊的表的記錄在valuelist的前面，而join右邊的表的記錄在valuelist的后面。例如AjoinBON(A.id=b.id)，假設(shè)A表和B表都有1條id=3的記錄，那么A表這條記錄的組合鍵是(3,0),B表這條記錄的組合鍵是(3,1)。排序時(shí)可以保證A表的記錄在B表的記錄的前面。而在reduce做處理時(shí)，把id=3的放在同一個(gè)valuelist中，形成key=3,valuelist=A表id=3的記錄,B表id=3的記錄接下來(lái)我們?cè)賮?lái)看當(dāng)兩個(gè)表做關(guān)聯(lián)時(shí)r

5、educe做了什么。Reduce會(huì)一起處理id相同的所有記錄。我們把valuelist用數(shù)組來(lái)表示。1) Reduce先讀取第一條記錄v0,如果發(fā)現(xiàn)v0是B表的記錄，那說(shuō)明沒(méi)有A表的記錄，最終不會(huì)關(guān)聯(lián)輸出，因此不用再繼續(xù)處理這個(gè)id了，讀取v0用了1次讀取操作。2) 如果發(fā)現(xiàn)v0到vlength-1全部是A表的記錄，那說(shuō)明沒(méi)有B表的記錄，同樣最終不會(huì)關(guān)聯(lián)輸出，但是這里注意，已經(jīng)對(duì)value做了length次的讀取操作。3) 例如A表id=3有1條記錄，B表id=3有10條記錄。首先讀取v0發(fā)現(xiàn)是A表的記錄，用了1次讀取操作。然后再讀取v1發(fā)現(xiàn)是B表的操作，這時(shí)v0和v1可以直接關(guān)聯(lián)輸出了，累計(jì)

6、用了2次操作。這時(shí)候reduce已經(jīng)知道從v1開(kāi)始后面都是B表的記錄了，因此可以直接用v0依次和v2,v3v10做關(guān)聯(lián)操作并輸出，累計(jì)用了11次操作。4) 換過(guò)來(lái)，假設(shè)A表id=3有10條記錄，B表id=3有1條記錄。首先讀取v0發(fā)現(xiàn)是A表的記錄，用了1次讀取操作。然后再讀取v1發(fā)現(xiàn)依然是A表的記錄，累計(jì)用了2次讀取操作。以此類推，讀取v9時(shí)發(fā)現(xiàn)還是A表的記錄，累計(jì)用了10次讀取操作。然后讀取最后1條記錄v10發(fā)現(xiàn)是B表的記錄，可以將v0和v10進(jìn)行關(guān)聯(lián)輸出，累計(jì)用了11次操作。接下來(lái)可以直接把v1v9分別與v10進(jìn)行關(guān)聯(lián)輸出，累計(jì)用了20次操作。5) 再?gòu)?fù)雜一點(diǎn)，假設(shè)A表id=3有2條記錄，

7、B表id=3有5條記錄。首先讀取v0發(fā)現(xiàn)是A表的記錄，用了1次讀取操作。然后再讀取v1發(fā)現(xiàn)依然是A表的記錄，累計(jì)用了2次讀取操作。然后讀取v2發(fā)現(xiàn)是B表的記錄，此時(shí)v0和v2可以直接關(guān)聯(lián)輸出，累計(jì)用了3次操作。接下來(lái)v0可以依次和v3v6進(jìn)行關(guān)聯(lián)輸出累計(jì)用了7次操作。接下來(lái)v1再依次和v2v6進(jìn)行關(guān)聯(lián)輸出，累計(jì)用了12次操作。6) 把5的例子調(diào)過(guò)來(lái)，假設(shè)A表id=3有5條記錄，B表id=3有2條記錄。先讀取v0發(fā)現(xiàn)是A表的記錄，用了1次讀取操作。然后再讀取v1發(fā)現(xiàn)依然是A表的記錄，累計(jì)用了2次讀取操作。以此類推，讀取到v4發(fā)現(xiàn)依然是A表的記錄，累計(jì)用了5次讀取操作。接下來(lái)讀取v5，發(fā)現(xiàn)是B表的記錄，此時(shí)v0和v5可以直接關(guān)聯(lián)輸出，累計(jì)用了6次操作。然后v0和v6進(jìn)行關(guān)聯(lián)輸出，累計(jì)用了7次操作。然后v1分別與v5、v6關(guān)聯(lián)輸出，累計(jì)用了9次操作。V2分別與v5、v6關(guān)聯(lián)輸出，累計(jì)用了11次操作。以此類推，最后v4分別與v5、v6關(guān)聯(lián)輸出，累計(jì)用了15次操作。7) 額外提一下，當(dāng)reduce檢測(cè)A表的記錄時(shí)，還要記錄A表同一個(gè)key的記錄的條數(shù)/當(dāng)發(fā)現(xiàn)同一個(gè)key的記錄個(gè)數(shù)超過(guò)hive.skewjoin.key的值(默認(rèn)為1000000)時(shí)，會(huì)在reduce的日志中打印出該key，并