課時2kudu的基礎架構(gòu)-01

1、大數(shù)據(jù)高級課程，第2課：kudu的基礎架構(gòu)，講師：Black，基礎架構(gòu)，Kudu功能，功能1:主從架構(gòu)包括主、T服務器，通常3個主從功能2個示例，3個副本中的2個或5個副本中的3個讀取功能可以在leadertablet出現(xiàn)故障時通過只讀follower tablets提供服務，也可以在leader停機時根據(jù)raft機制重新選擇leader功能3:水平擴展功能4:功能5: MapReduce、Spark、Impala和其他Hadoop8:查詢的數(shù)據(jù)是支持SQL的結(jié)構(gòu)化模型。對于開發(fā)語言C Columnar Data Store ReadEfficiency分析查詢，可以讀取單列或列的一部分，并忽

2、略其他列Data Compression。由于指定列僅包含一種類型的數(shù)據(jù)，因此壓縮可以在從磁盤讀取較少的塊時完成查詢，同時具有從列讀取數(shù)據(jù)的效率。一張表是數(shù)據(jù)在Kudu中的存儲位置。表格具有綱要和全域排序primarykey(主要索引鍵)。Table是table連續(xù)segment，具有Tablets、Kudu概念和術(shù)語，tablet(段)table是其他數(shù)據(jù)存儲引擎或關(guān)系數(shù)據(jù)庫分區(qū)。在一段時間內(nèi)，tablet的復制副本將復制到多個tserver服務器。其中一個被視為leader tablet。所有復制副本都可以提供讀取服務，并且在寫入時需要tablet服務的一組tablet server之間必

3、須保持一致。表分為多個表，分布在徐璐的其他表服務器上，以最大化并行度操作；表分為Kudu中名為RowSets的較小單元，RowSets分為兩個MemRowSets、DiskRowSet和memrowset對于給定的tablet，一個tabletserver充當leader，另一個tablet server充當該table tollower的副本。只有Leader提供每個服務的寫入請求，leader和followers提供每個服務的讀取請求。Leader在選舉中使用Raft協(xié)議。一個tabletserver可以服務多個tablets，一個table tserver可以服務多個table tser

4、ver。主節(jié)點跟蹤所有tablets、tabletservers、catalog tables和其他與群集相關(guān)的元數(shù)據(jù)。在給定時間點只能有一個主節(jié)點(例如leader)工作。現(xiàn)在，leader消失后，選舉新的master，并使用Raft協(xié)議進行選舉。master還控制客戶端的元數(shù)據(jù)操作(metadataoperations)。例如，創(chuàng)建新表時，將請求從客戶端內(nèi)部發(fā)送到主服務器。主節(jié)點將新表的元數(shù)據(jù)寫入catalog table，并調(diào)整在tablet server上創(chuàng)建tablet的過程。所有master的元數(shù)據(jù)都存儲在一個tablet中，可以復制到所有其他候選對象的master中。Tablet

5、server以設置的時間間隔向master發(fā)送心跳(默認值為每秒一次)。主節(jié)點作為文件存儲在磁盤上。Kudu概念和術(shù)語Raft Consensus Algorithm Kudu使用Raft Consensus Algorithm作為確保常規(guī)tablet和master數(shù)據(jù)的容錯和一致性的手段。已通過Raft協(xié)議從tablet的多個復制副本中選擇了leader。leader接受請求并將數(shù)據(jù)寫入其他follower拷貝。寫入的數(shù)據(jù)在大多數(shù)拷貝中永久化后，將向客戶確認。給定的N個副本集(通常是3個或5個)最多可以允許寫入(N-1)或2個無效副本。目錄表Catalog Table是Kudu中元數(shù)據(jù)的中心

6、位置。存儲有關(guān)Tables和tablets的信息。此目錄表格可以直接讀取，也可以不寫入。相反，只能通過對客戶端API公開的元數(shù)據(jù)操作進行訪問。Catalog tables存儲兩種類型的元數(shù)據(jù)：Tables table schemas、locations、and States Tablets現(xiàn)有tablet的列表、每個tablet復制副本所在的tablet server、tablet的當前狀態(tài)和啟動、Kudu-impleINSERT數(shù)據(jù)可以使用與使用HDFS或HBase持久性的所有其他Impala表相同的語法插入到Impala的Kudu表中。UPDATE/DELETE Impala支持UPDATE和DELETESQL命令逐行或批量修改Kudu表中的現(xiàn)有數(shù)據(jù)。選擇SQL命令的語法與現(xiàn)有標準盡可能兼容。除了簡單的DELETE或UPDATE命令外，F(xiàn)ROM還可以指定子查詢中帶有子句的復雜連接。Kudu-Impala集成功能和靈活分區(qū)類似于Hive中的表分區(qū)。Kudu允許通過hash或range動態(tài)地預分區(qū)到預定義數(shù)量的tablets，以便在群集中均勻分布寫入和寫入，還可以通過任意數(shù)量的primarykey列、hashes和可選的list of split rows進行分區(qū)。并行掃描(Parallel Scan) Impala使用的Kudu客戶端可以通過多個tabl