2023學(xué)年完整公開(kāi)課版如何使用CubePlanner

如何使用CubePlanner目錄CONTENTS2PhaseOne1導(dǎo)語(yǔ)3PhaseTwo導(dǎo)語(yǔ)PART0101導(dǎo)語(yǔ)

CubePlanner會(huì)根據(jù)優(yōu)化前的維度組合數(shù)量來(lái)選擇使用貪心算法還是基因算法。默認(rèn)情況下，223

以上個(gè)維度組合使用基因算法優(yōu)化；數(shù)量在

28~223

之間的使用貪心算法優(yōu)化，少于28=256則不做優(yōu)化。

上述閾值由kylin.cube.cubeplanner.algorithm-threshold-greedy和kylin.cube.cubeplanner.algorithm-threshold-genetic這兩個(gè)參數(shù)決定。在開(kāi)啟kylin.cube.cubeplanner.enabled=true之后，CubePlanner會(huì)在phaseone、phasetwo兩個(gè)階段產(chǎn)生作用。PhaseOnePART0202PhaseOne

在物化Cube之前，Kylin會(huì)利用ExtractFactTableDistinctColumns步驟中得到的采樣數(shù)據(jù)，預(yù)估出每個(gè)Cuboid的大小。如果開(kāi)啟了Cubeplanner,并且是第一次構(gòu)建，那么Kylin會(huì)基于用戶(hù)初步剪枝的Cube，根據(jù)上文所提到的算法生成recommendCuboidList并記錄下來(lái)，隨后用Spark/Hadoop引擎進(jìn)行構(gòu)建。在這之后的segment的構(gòu)建，將使用同樣的recommendCuboidList進(jìn)行；由于新創(chuàng)建的Cube沒(méi)有查詢(xún)統(tǒng)計(jì)數(shù)據(jù)，PhaseOne假設(shè)查詢(xún)每個(gè)維度組合的概率相同。PhaseOne

圖為開(kāi)啟CubePlanner前后的Cubesunburst圖對(duì)比。同樣是四百多萬(wàn)條數(shù)據(jù)，未開(kāi)啟時(shí)用了512個(gè)Cuboid來(lái)構(gòu)建，占空間9.12GB。而右邊開(kāi)啟CubePlanner后Cuboid數(shù)量減少至152個(gè)，占空間2.91GB，減少了約70%，另外構(gòu)建時(shí)間也有相應(yīng)縮短。PhaseTwoPART0303PhaseTwo

與PhaseOne不同的是，PhaseTwo需要首先建立SystemCube來(lái)收集Query的統(tǒng)計(jì)數(shù)據(jù)。PhaseTwo發(fā)生在Cube構(gòu)建完成并使用一段時(shí)間之后，這時(shí)Kylin的Metrics積累了一些Query統(tǒng)計(jì)數(shù)據(jù)。用戶(hù)在Kylin的WebUI中查看Cube的sunburst圖二可以了解Cuboid的冷熱狀況，并通過(guò)Optimize按鍵來(lái)觸發(fā)優(yōu)化。CubePlanner從SystemCube中讀取這些統(tǒng)計(jì)信息，作為上文描述的算法中Cuboid效益的權(quán)重，重新規(guī)劃和構(gòu)建Cuboid。PhaseTwoWebUI中查看Cube的sunburst圖PhaseTwo

為了使得在重新構(gòu)建的過(guò)程中仍然可以繼續(xù)查詢(xún)?cè)蠧ube，Kylin采用OptimizeJob和CheckpointJob兩個(gè)專(zhuān)有任務(wù)，這樣既保證了優(yōu)化過(guò)程的并發(fā)度，又保證了優(yōu)化后數(shù)據(jù)切換的原子性。OptimizeJob不會(huì)重新計(jì)算所有推薦的維度組合，而是只計(jì)算那些推薦維度組合集里新增的組合，重用那些在原來(lái)的Cube里已經(jīng)預(yù)計(jì)算出來(lái)的Cuboid，這樣可以很大程度上節(jié)省優(yōu)化的資源開(kāi)銷(xiāo)。此外，用戶(hù)還可以通過(guò)下方的Export按鍵來(lái)導(dǎo)出