2023學(xué)年完整公開課版Kylin的工作原理_第1頁
2023學(xué)年完整公開課版Kylin的工作原理_第2頁
2023學(xué)年完整公開課版Kylin的工作原理_第3頁
2023學(xué)年完整公開課版Kylin的工作原理_第4頁
2023學(xué)年完整公開課版Kylin的工作原理_第5頁
已閱讀5頁，還剩7頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領(lǐng)

文檔簡介

Kylin的工作原理目錄CONTENTS2Kylin工作示例1Kylin工作原理Kylin工作原理PART0101Kylin的工作原理

Kylin的工作原理就是對數(shù)據(jù)模型做Cube預(yù)計算，并利用計算的結(jié)果加速查詢，具體過程如下：

指定數(shù)據(jù)模型，定義維度和度量。預(yù)計算Cube，計算所有Cuboid并保存為物化視圖。執(zhí)行查詢時，讀取Cuboid，運算，產(chǎn)生查詢結(jié)果。Kylin的工作原理

Kylin的工作原理本質(zhì)上是MOLAP(MultidimensionalOnlineAnalyticalProcessing)Cube，也就是多維立方體分析。Kylin的工作原理

在說明MOLAPCube之前,我們一起來理解一下維度(Dimension)和度量(Measure)這兩個概念：

維度：被groupby的字段，觀察數(shù)據(jù)的角度，正常是時間，地點等不用于計算的值；度量：被sum等聚合的字段，指被聚合的統(tǒng)計值，也就是聚合運算的結(jié)果，可以是銷售額，銷售商品數(shù)量等統(tǒng)計值。Kylin的工作原理我們分析一下這兩個概念：給定一個數(shù)據(jù)模型，可以對其上的所有維度進行組合。對于N個維度來說，組合的所有可能性共有2^N種。對于每一種維度的組合，將度量做聚合運算，然后將運算的結(jié)果保存為一個物化視圖，稱為Cuboid。所有維度組合的Cuboid作為一個整體，成為Cube，所以簡單來說，一個Cube就是許多按維度聚合的物化視圖的集合。Kylin工作示例PART0202Kylin工作示例

舉一個例子解釋一下上面的說法：假設(shè)有一個電商的銷售數(shù)據(jù)集，其中有4個維度和一個度量，維度為時間(Time)、地點(Location)、商品(Item)和供應(yīng)商(Supplier)，度量為銷售額(GMV)。那么所有維度就有2^4=16種(如圖)，比如一維度(1D)的組合有[Time]、[Item]、[Location]、[Supplier]4種；二維度(2D)的組合有[Time,Item]、[Time,Location]、[Time,Supplier]、[Item,Location]、[Item,Supplier]、[Location,Supplier]6種；三維度(3D)的組合也有4種；最后零維度(0D)和四維度(4D)的組合各有1種，總共16種。

Kylin工作示例

圖一：一個思維Dub

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論