大數(shù)據(jù)技術(shù)與應(yīng)用項(xiàng)目HBase過濾器原理

大數(shù)據(jù)技術(shù)與應(yīng)用項(xiàng)目——Hbase過濾器原理

項(xiàng)目來(lái)自北京諾程佳華教育科技有限公司教學(xué)目標(biāo)熟悉Hbase過濾器的相關(guān)基本概念熟悉Hbase的編程操作Hbase過濾器原理

HBase過濾器（filter）提供非常強(qiáng)大的特性幫助用戶提高其處理表中數(shù)據(jù)的效率。HBase中兩種主要的數(shù)據(jù)讀取函數(shù)是get()和scan()，他們都支持直接訪問數(shù)據(jù)和通過指定起止行鍵訪問數(shù)據(jù)的功能。Get和Scan兩個(gè)類都支持過濾器，理由是因?yàn)檫@類對(duì)象提供的API不能對(duì)行健、列名和列值進(jìn)行過濾，但是通過過濾器可以直接這個(gè)目的。Hbase過濾器原理過濾器最基本的接口是Filter，所有的過濾器都在服務(wù)器端生效，叫做謂詞下推（predicatepushdown）。這樣可以保證所有過濾掉的數(shù)據(jù)不會(huì)被傳送到客戶端。過濾器層次結(jié)構(gòu)在過濾器層次結(jié)構(gòu)中的最底層的是Filter接口和FilterBase抽象類，它們實(shí)現(xiàn)了過濾器的空殼和骨架，這使得實(shí)際的過濾器類可以避免許多重復(fù)的結(jié)構(gòu)代碼。大部分實(shí)體過濾器類一般都直接繼承自FilterBase,其中有一組特殊的過濾器(比較運(yùn)算符、比較器)，它們繼承自CompareFilter，需要用戶同時(shí)提供至少兩個(gè)特定的參數(shù)。

比較運(yùn)算符繼承自CompareFilter的過濾器比基類FilterBase多了一個(gè)comoare()方法，需要傳入?yún)?shù)定義比較操作的過程。HBase過濾器的比較操作符：當(dāng)過濾器被應(yīng)用時(shí)，比較運(yùn)算符可以決定什么被包含，什么被排除。這樣可以幫助用戶篩選數(shù)據(jù)的一段子集或一些特定的數(shù)據(jù)。

比較器CompareFilter所需要的第二類類型就是比較器，提供多種方法比較不同鍵值。比較器都繼承自WritableByteArrayComparable，WritableByteArrayComparable實(shí)現(xiàn)了Writable和Comparable。

比較器后3種比較器只能和EQUAL和NOT_EQUAL運(yùn)算符搭配使用，因?yàn)檫@些比價(jià)器的compareTo()方法匹配時(shí)返回0，不匹配時(shí)返回1。基于字符串的比較器，如RegexStringComparator和SubstringComparator，比基于字節(jié)的比較器更慢，更消耗資源。因?yàn)槊看伪容^時(shí)它們都需要將給定的值轉(zhuǎn)化為String。截取字符串子串和正則式的處理也需要花費(fèi)額外的時(shí)間。過濾器本來(lái)的目的是為了篩掉無(wú)用的信息，