課時(shí)2kudu的基礎(chǔ)架構(gòu)-01

1、大數(shù)據(jù)高級(jí)課程，第2課：kudu的基礎(chǔ)架構(gòu)，講師：Black，基礎(chǔ)架構(gòu)，Kudu功能，功能1:主從架構(gòu)包括主、T服務(wù)器，通常3個(gè)主從功能2個(gè)示例，3個(gè)副本中的2個(gè)或5個(gè)副本中的3個(gè)讀取功能可以在leadertablet出現(xiàn)故障時(shí)通過(guò)只讀follower tablets提供服務(wù)，也可以在leader停機(jī)時(shí)根據(jù)raft機(jī)制重新選擇leader功能3:水平擴(kuò)展功能4:功能5: MapReduce、Spark、Impala和其他Hadoop8:查詢(xún)的數(shù)據(jù)是支持SQL的結(jié)構(gòu)化模型。對(duì)于開(kāi)發(fā)語(yǔ)言C Columnar Data Store ReadEfficiency分析查詢(xún)，可以讀取單列或列的一部分，并忽

2、略其他列Data Compression。由于指定列僅包含一種類(lèi)型的數(shù)據(jù)，因此壓縮可以在從磁盤(pán)讀取較少的塊時(shí)完成查詢(xún)，同時(shí)具有從列讀取數(shù)據(jù)的效率。一張表是數(shù)據(jù)在Kudu中的存儲(chǔ)位置。表格具有綱要和全域排序primarykey(主要索引鍵)。Table是table連續(xù)segment，具有Tablets、Kudu概念和術(shù)語(yǔ)，tablet(段)table是其他數(shù)據(jù)存儲(chǔ)引擎或關(guān)系數(shù)據(jù)庫(kù)分區(qū)。在一段時(shí)間內(nèi)，tablet的復(fù)制副本將復(fù)制到多個(gè)tserver服務(wù)器。其中一個(gè)被視為leader tablet。所有復(fù)制副本都可以提供讀取服務(wù)，并且在寫(xiě)入時(shí)需要tablet服務(wù)的一組tablet server之間必

3、須保持一致。表分為多個(gè)表，分布在徐璐的其他表服務(wù)器上，以最大化并行度操作；表分為Kudu中名為RowSets的較小單元，RowSets分為兩個(gè)MemRowSets、DiskRowSet和memrowset對(duì)于給定的tablet，一個(gè)tabletserver充當(dāng)leader，另一個(gè)tablet server充當(dāng)該table tollower的副本。只有Leader提供每個(gè)服務(wù)的寫(xiě)入請(qǐng)求，leader和followers提供每個(gè)服務(wù)的讀取請(qǐng)求。Leader在選舉中使用Raft協(xié)議。一個(gè)tabletserver可以服務(wù)多個(gè)tablets，一個(gè)table tserver可以服務(wù)多個(gè)table tser

4、ver。主節(jié)點(diǎn)跟蹤所有tablets、tabletservers、catalog tables和其他與群集相關(guān)的元數(shù)據(jù)。在給定時(shí)間點(diǎn)只能有一個(gè)主節(jié)點(diǎn)(例如leader)工作?，F(xiàn)在，leader消失后，選舉新的master，并使用Raft協(xié)議進(jìn)行選舉。master還控制客戶(hù)端的元數(shù)據(jù)操作(metadataoperations)。例如，創(chuàng)建新表時(shí)，將請(qǐng)求從客戶(hù)端內(nèi)部發(fā)送到主服務(wù)器。主節(jié)點(diǎn)將新表的元數(shù)據(jù)寫(xiě)入catalog table，并調(diào)整在tablet server上創(chuàng)建tablet的過(guò)程。所有master的元數(shù)據(jù)都存儲(chǔ)在一個(gè)tablet中，可以復(fù)制到所有其他候選對(duì)象的master中。Tablet

5、server以設(shè)置的時(shí)間間隔向master發(fā)送心跳(默認(rèn)值為每秒一次)。主節(jié)點(diǎn)作為文件存儲(chǔ)在磁盤(pán)上。Kudu概念和術(shù)語(yǔ)Raft Consensus Algorithm Kudu使用Raft Consensus Algorithm作為確保常規(guī)tablet和master數(shù)據(jù)的容錯(cuò)和一致性的手段。已通過(guò)Raft協(xié)議從tablet的多個(gè)復(fù)制副本中選擇了leader。leader接受請(qǐng)求并將數(shù)據(jù)寫(xiě)入其他follower拷貝。寫(xiě)入的數(shù)據(jù)在大多數(shù)拷貝中永久化后，將向客戶(hù)確認(rèn)。給定的N個(gè)副本集(通常是3個(gè)或5個(gè))最多可以允許寫(xiě)入(N-1)或2個(gè)無(wú)效副本。目錄表Catalog Table是Kudu中元數(shù)據(jù)的中心

6、位置。存儲(chǔ)有關(guān)Tables和tablets的信息。此目錄表格可以直接讀取，也可以不寫(xiě)入。相反，只能通過(guò)對(duì)客戶(hù)端API公開(kāi)的元數(shù)據(jù)操作進(jìn)行訪(fǎng)問(wèn)。Catalog tables存儲(chǔ)兩種類(lèi)型的元數(shù)據(jù)：Tables table schemas、locations、and States Tablets現(xiàn)有tablet的列表、每個(gè)tablet復(fù)制副本所在的tablet server、tablet的當(dāng)前狀態(tài)和啟動(dòng)、Kudu-impleINSERT數(shù)據(jù)可以使用與使用HDFS或HBase持久性的所有其他Impala表相同的語(yǔ)法插入到Impala的Kudu表中。UPDATE/DELETE Impala支持UPDATE和DELETESQL命令逐行或批量修改Kudu表中的現(xiàn)有數(shù)據(jù)。選擇SQL命令的語(yǔ)法與現(xiàn)有標(biāo)準(zhǔn)盡可能兼容。除了簡(jiǎn)單的DELETE或UPDATE命令外，F(xiàn)ROM還可以指定子查詢(xún)中帶有子句的復(fù)雜連接。Kudu-Impala集成功能和靈活分區(qū)類(lèi)似于Hive中的表分區(qū)。Kudu允許通過(guò)hash或range動(dòng)態(tài)地預(yù)分區(qū)到預(yù)定義數(shù)量的tablets，以便在群集中均勻分布寫(xiě)入和寫(xiě)入，還可以通過(guò)任意數(shù)量的primarykey列、hashes和可選的list of split rows進(jìn)行分區(qū)。并行掃描(Parallel Scan) Impala使用的Kudu客戶(hù)端可以通過(guò)多個(gè)tabl