第8章 Phoenix索引使用

Phoenix索引使用第8章學(xué)習(xí)目標(biāo)1.了解Phoenix二級索引HBaseContents目錄二級索引介紹1Phoenix開啟二級索引支持2Phoenix二級索引38.1二級索引介紹hbase本身由于三重有序（RowKey字典升序，列族、列字典升序，時(shí)間戳自然降序），能夠使用二分查找，加上布隆過濾器，能夠較快的找到rowkey的位置。但倘若不通過RowKey查找數(shù)據(jù)，就必須逐行比較每一行的值，對于較大的表，全表掃描的代價(jià)是不可接受的。此時(shí)就引入了二級索引，對應(yīng)RowKey的一級索引，其本質(zhì)是倒排索引（建立值與主鍵的關(guān)系）。8.1二級索引介紹常見索引分為兩種，全局索引和本地索引。8.2

Phoenix開啟二級索引支持1、關(guān)閉HBase服務(wù)stop-hbase.sh2、配置文件中設(shè)置二級索引支持vim/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml8.2

Phoenix開啟二級索引支持添加如下代碼<property><name>hbase.regionserver.wal.codec</name><value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value></property><property><name>hbase.rpc.timeout</name><value>60000000</value></property><property><name>hbase.client.scanner.timeout.period</name><value>60000000</value></property><property><name>phoenix.query.timeoutMs</name><value>60000000</value></property>8.2

Phoenix開啟二級索引支持3、同步至其他節(jié)點(diǎn)scp/usr/local/soft/hbase-1.4.6/conf/hbase-site.xmlnode1:/usr/local/soft/hbase-1.4.6/conf/hbase-site.xmlscp/usr/local/soft/hbase-1.4.6/conf/hbase-site.xmlnode1:/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml8.2

Phoenix開啟二級索引支持4、修改phoenix目錄下的bin目錄中的hbase-site.xml，添加以下代碼<property><name>hbase.rpc.timeout</name><value>60000000</value></property><property><name>hbase.client.scanner.timeout.period</name><value>60000000</value></property><property><name>phoenix.query.timeoutMs</name><value>60000000</value></property>8.2

Phoenix開啟二級索引支持5、啟動(dòng)HBase，重新進(jìn)入phoenixstart-hbase.shsqlline.pymaster,node1,node28.3.1全局索引

全局索引是默認(rèn)的索引格式，創(chuàng)建全局索引時(shí)，會(huì)在HBase中建立一張新表。也就是說索引數(shù)據(jù)和數(shù)據(jù)表是存放在不同的表中的，因此全局索引適用于多讀少寫的業(yè)務(wù)場景。

寫數(shù)據(jù)的時(shí)候會(huì)消耗大量開銷，因?yàn)樗饕硪惨?，而索引表是分布在不同的?shù)據(jù)節(jié)點(diǎn)上的，跨節(jié)點(diǎn)的數(shù)據(jù)傳輸帶來了較大的性能消耗。8.3.1全局索引這里在Phoenix中新建一張簡單的信息表，并插入幾條數(shù)據(jù)，數(shù)據(jù)選擇英文，方便后面查看createtablestudent(idvarcharprimarykey,namevarchar,agebigint)column_encoded_bytes=0;upsertintoSTUDENTvalues('001','a',24);upsertintoSTUDENTvalues('002','b',25);upsertintoSTUDENTvalues('003','c',26);8.3.1全局索引這里按照年齡（age）來建立全局索引createindexage_indexonstudent(age);會(huì)發(fā)現(xiàn)此時(shí)已經(jīng)多了一張表（AGE_INDEX），我們在兩邊都打開表看一下內(nèi)容8.3.1全局索引我們使用explain（對當(dāng)前sql語句進(jìn)行解釋），來查看sql語句是否使用索引首先，按照二級索引列來查詢數(shù)據(jù)，效率就會(huì)得到提升explainselectagefromstudentwhereage=24;8.3.1全局索引但是只如果加上其他列，系統(tǒng)就不會(huì)使用索引explainselect*fromstudentwhereage=24;這時(shí)，可以使用注釋（/*+index(表名索引)*/）來強(qiáng)制要求系統(tǒng)使用索引explainselect/*+INDEX(studentage_index)*/*fromstudentwhereage=24;8.3.1全局索引但是如果是通過其他條件查詢，把么無論如何索引都不會(huì)生效explainselect/*+INDEX(studentage_index)*/*fromstudentwherename='a';刪除索引dropindexAGE_INDEXonSTUDENT;二級索引允許查詢條件不為索引列，但是過濾條件必須為索引字段。8.3.2本地索引本地索引適合寫多讀少的場景，或者存儲(chǔ)空間有限的場景。和全局索引一樣，Phoenix也會(huì)在查詢的時(shí)候自動(dòng)選擇是否使用本地索引。本地索引因?yàn)樗饕龜?shù)據(jù)和原數(shù)據(jù)存儲(chǔ)在同一臺(tái)機(jī)器上，避免網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)拈_銷，所以更適合寫多的場景。由于無法提前確定數(shù)據(jù)在哪個(gè)Region上，所以在讀數(shù)據(jù)的時(shí)候，需要檢查每個(gè)Region上的數(shù)據(jù)從而帶來一些性能損耗。對于本地索引，查詢中無論是否指定hint或者是查詢的列是否都在索引表中，都會(huì)使用索引表。8.3.2本地索引這里按照年齡（age）來建立本地索引createlocalindexl_age_indexonstudent(age);會(huì)發(fā)現(xiàn)此時(shí)同樣多了一張表（L_AGE_INDEX），但是HBase中是隱性的，內(nèi)容和全局索引表內(nèi)容一致。實(shí)際索引數(shù)據(jù)存放在原本的表當(dāng)中8.3.2本地索引原表中的索引數(shù)據(jù)，是由索引列和rowkey組合而成8.3.2本地索引使用explain（對當(dāng)前sql語句進(jìn)行解釋），來查看sql語句是否使用索引按照二級索引列來查詢數(shù)據(jù)，效率就會(huì)得到提升explainselectagefromstudentwhereage=24;8.3.2本地索引加上其他列，這里不需要使用注釋，系統(tǒng)也會(huì)使用索引explainselect*fromstudentwhereage=