2024HBase RowKey 與索引設(shè)計(jì)方案

HBaseRowKeyHBase法，第三部分是關(guān)于RowKey與索引設(shè)計(jì)的一些技巧、原則，第四部分是關(guān)于OpenTSDB/JanusGraph/GeoMesa典型案例的設(shè)計(jì)分享。RowKey在讀寫流程中TableRegion：將表橫向切割成一個(gè)個(gè)子表，從而實(shí)現(xiàn)分布式的存儲(chǔ)，子表在HBase中稱作ColumnFamily：HBaseColumnFamily，不同的ColumnFamily文件被存儲(chǔ)在不同的路徑中。RegionServer：HBaseRegionRegionServer關(guān)于進(jìn)程角色如下圖，主要有ZooKeeper、Master、RegionServer等角色。Meta表的RegionServerFailoverRegionServerHBase有數(shù)據(jù)文件都存放在HDFS中。我們先來理解一下KeyValue的概念。在HBase中所存儲(chǔ)的數(shù)據(jù)，是以KeyValue形式存在的。KeyValue擁有特定的組織結(jié)構(gòu)，如下圖所示。一個(gè)KeyValue可以理解成HBase表中的一個(gè)列，當(dāng)一行存在多個(gè)列時(shí)，將包含多個(gè)KeyValue。同一行的KeyValue有可能需要定義用戶數(shù)據(jù)的RowKey，指定每一列所存放的ColumnFamily，并且為其定義相應(yīng)這就是HBaseSchema-Less的特點(diǎn)。下面介紹KeyValue多版本。HBase中支持?jǐn)?shù)據(jù)的多版本，通過帶有不同時(shí)間戳的多個(gè)用戶數(shù)據(jù)存入到HBaseQualifier(KeyValue/Qualifier(KeyValue/列)設(shè)HBase1上與關(guān)系型數(shù)據(jù)庫(kù)的設(shè)計(jì)是一致，但這種會(huì)帶來較大冗余(KeyValue結(jié)構(gòu)化開銷)。但HBase基于KeyValue圖2所示。HBase層感知，HBaseSchemaHBaseSchema綠色背景的KeyValue為后續(xù)增加的。關(guān)于ColumnFamily，前面提到它是列的集合。每個(gè)ColumnFamily里面關(guān)聯(lián)了一個(gè)MemStoreHFileColumnFamily時(shí)可以考慮用兩個(gè)ColumnFamily。如下圖所示，假設(shè)為表設(shè)置了兩個(gè)列族，而且定義每一個(gè)列族中要存放的列：{Name}->ColumnFamily-A，{City,Phone,Gender}->ColumnFamily-B不同列族的數(shù)據(jù)會(huì)被存儲(chǔ)在不同的路徑中。即設(shè)置多個(gè)列族時(shí)一行數(shù)據(jù)可能存在一行記錄。但如果僅僅讀取Name一列的話，只需要讀取ColumnFamily-A即可。息，然后在Meta中定位每條數(shù)據(jù)關(guān)聯(lián)的用戶Region路徑。下面這部分是基于RowKey從Meta表定位關(guān)聯(lián)Region方法，通過一個(gè)反向掃描的方式進(jìn)行。RegionServerWALmemstoreflushRegionSplitRegionSplitRegionRegion。RegionSplitRegionHFileRegionSplitRegionRegionHFile引用文件，子Region1HFileRegion2HFile2Compaction下面是讀取流程。當(dāng)進(jìn)行讀取時(shí)，客戶端會(huì)先發(fā)送scan請(qǐng)求到RegionServer，打開scanner，nextResult的Cache中ScannerMemStore，當(dāng)數(shù)據(jù)達(dá)到一定大小以后再RegionResultScanner對(duì)象，每個(gè)列族封裝成StoreScanner對(duì)象，每個(gè)StoreScanner里面又有多個(gè)HFileMemStoreStoreScannerSegmentScannerStoreFileScanner，這ScannerScanKey值，ScannerKeyScannerKeyValueNextScanScannerNextScannerA-DScanner，當(dāng)依次Next請(qǐng)求調(diào)用時(shí)，會(huì)判斷哪個(gè)Scanner的數(shù)據(jù)是最小的。比如ScannerAKeyValueScannerScanHFileHFileBlockDataBlock64KB，DataBlockKeyValueBlockLeafIndexBlockDataBlock的索引信息存儲(chǔ)在LeafIndexBlock中。而LeafIndexBlock的信息存儲(chǔ)在RootIndex中(不考慮IntermediateIndexBlockRootIndexBlockLeafIndexBlockLeafIndexBlockLeafIndexBlockLeafIndexBlockLeafIndexBlockLeafIndexBlockDataBlock，以及從DataBlock到用戶數(shù)據(jù)KeyValueBRowKeyRegion，MemStoreRowKeyHFile中的數(shù)據(jù)按RowKey排序。RowKeyRowKeySplitRowKey查詢的局限性。根據(jù)下表信息，基于Name+Phone+ID構(gòu)建RowKey。如果提供的查詢條件能夠盡可能豐富的描述RowKey的前綴信息，則查詢時(shí)延越能得到保障。如Name信息，則RowKey的前綴條件是無法確定的，此時(shí)只能通過全表掃描的方式來查找結(jié)果。一種業(yè)務(wù)模型的用戶數(shù)據(jù)RowKey，只能采用單一結(jié)構(gòu)設(shè)計(jì)。但事實(shí)上，查詢場(chǎng)景可能是多維度的。例如在上面的場(chǎng)景基礎(chǔ)上，還需要單獨(dú)基于Phone列進(jìn)行查詢。這注意：HBaseHBaseKeyValueAPI，可以輕易地構(gòu)建出二級(jí)索引數(shù)據(jù)。Phoneix提供了兩種索引方案，而一些大廠家也都提供Region據(jù)量和Region數(shù)目的不斷增多，查詢時(shí)延無保障，查詢所支持的并發(fā)數(shù)也會(huì)降低。RowKeyRowKey合理地分配到每一個(gè)Region中，從而很好地滿足業(yè)務(wù)的讀寫需求。索引設(shè)計(jì)目標(biāo)是為HBase提供更多維度的查詢能力，在實(shí)際應(yīng)用中應(yīng)該通過構(gòu)建盡量少的索引，來滿足更多負(fù)載特點(diǎn)指的是讀寫TPS大小以及讀寫比重，數(shù)據(jù)負(fù)載均衡與高校讀取時(shí)常是矛盾的，在重度輕寫的大數(shù)據(jù)場(chǎng)景中，RowKey設(shè)計(jì)應(yīng)該更側(cè)重于如何高校讀取，而在重寫輕讀的大查詢條件字段的離散度信息？字段離散度是指字段A的離散度等于字段A的劃分Region信息。數(shù)據(jù)生命周期？因?yàn)樯芷谟绊懙揭粋€(gè)表的一次MajorCompaction首先看一下影響查詢性能的關(guān)鍵因素是什么？基于某一個(gè)索引/RowKey無論應(yīng)用是什么樣的負(fù)載特點(diǎn)，RowKey字段都應(yīng)該參考最高頻的查詢場(chǎng)景。數(shù)據(jù)庫(kù)通常點(diǎn)，再對(duì)選取的RowKey字段值進(jìn)行改造，組合字段場(chǎng)景下需要重點(diǎn)考慮字段的順序。RowKeyRowKey好的隨機(jī)性，此時(shí)，可以考慮將RowKey的信息翻轉(zhuǎn)，或者直接將尾部的bytes提前到RowKey的前部。SaltingRowKeybytesbytesRegionsbytesRowKeybytesRegionsSaltingRowKeyHashHashingRowKeyRowKeyReversing類似，HashingScan，因?yàn)榇騺y了原RowKey的自然順序。方式有Hash分片、Range分片。原理與區(qū)別見下圖，在實(shí)際應(yīng)用中，兩者還可以結(jié)合應(yīng)用。HBase采用了基于RowKey分區(qū)的方式。RowKey中已經(jīng)包含了索引列的信息，該設(shè)計(jì)容易導(dǎo)致RowKey但該設(shè)計(jì)需要事先支持Schema，也就是需要事先定義原數(shù)據(jù)的RowKey結(jié)構(gòu)以及索引的引。即我們應(yīng)該基于離散度較好的一些列來構(gòu)建索引。如下圖所示，字段ID，PHONE的NAME=”Wang”&&Phone=”1388888”如果基于NAME構(gòu)建索引，則依然可能構(gòu)建索引，則可以更精確地命中目標(biāo)記錄，如下圖2所示。查詢性能可大幅度提升。嚴(yán)格控制二級(jí)索引的數(shù)量。每一個(gè)索引所關(guān)聯(lián)的數(shù)據(jù)總條數(shù)，與用戶是1:1的。因此，GlobalIndexLocalIndex查看每一個(gè)IndexRegion才能獲取到符合條件的完整結(jié)果集，這對(duì)高并發(fā)查詢不利。但LocalIndex對(duì)于并發(fā)分析場(chǎng)景卻是有利的。全文檢索需求可考慮與Elasticsearch/SolrElasticsearch/Solr但不適合作為數(shù)據(jù)主存系統(tǒng)，因此，將核心數(shù)據(jù)存放在HBase中，而通過ES/Solr構(gòu)建全OpenTSDBJanusGraphGeoMesa設(shè)計(jì)分析三個(gè)案例，將從數(shù)據(jù)模型、典型查詢場(chǎng)景、RowKey設(shè)計(jì)三個(gè)方面介紹。OpenTSDBTimeSeriesName以及一組Tags信息來唯一確定一個(gè)TimeSeries。每一條記錄成為DataPoint。典型場(chǎng)景分析：給定MetricName以及一組Tags信息，查詢某時(shí)間范圍的所有的DataName,查詢所有相關(guān)TimeSeries在某時(shí)間范圍的統(tǒng)計(jì)信息。提供的MetricID信息，其他包括Timestamp以及tags信息。EdgeLabelEdgeLabelMultiplicity線查詢）如“AA的朋友的朋友中，有哪些擁有本科學(xué)歷并且在深圳工作？”；基于屬性的查詢?nèi)纭靶彰麨閄XX，學(xué)歷為本科，居住地在深圳龍崗區(qū)，年齡在30~40歲左右的人？”Vertex形式存在，因此JanusGraph包含了各色各樣的Vertex類型，這些類型在IDPadding部分體現(xiàn)出來。如：000：NormalVertices;010:PartitionedVertices;100:Unmodifiablevertices;101:SchemaTypeVertices;000101:UserPropertyKey;100101:SystemPropertyGeoMesa—數(shù)據(jù)模型。GeoMesaHBaseGeoMesa據(jù)，稱之為一個(gè)SimpleFeature，SimpleFeature中主要包含如下數(shù)據(jù)：時(shí)間信息、空間Point（Z3）EpochWeek(2bytes)+Point(Z2)Polygon)的時(shí)間+空間三維索引(XZ3)EpochWeek(2bytes)+Poly