進(jìn)階課程小象學(xué)院hbase課時(shí)21exportweek

1、性能調(diào)優(yōu)舉例面向高并發(fā)寫入優(yōu)化優(yōu)化點(diǎn)保證負(fù)載均衡 保證寫入順暢 防止小文件過多減少不必要的磁盤和網(wǎng)絡(luò)io預(yù)分region參考“數(shù)據(jù)怎么存”預(yù)分region禁用split region時(shí)間戳為key或前綴時(shí)，加入額外的分片前綴掃描和時(shí)每個分片都需要進(jìn)行一次wal禁用或延遲setDurability(Durability d) Durability是wal延遲類型枚舉類有丟失數(shù)據(jù)可能表屬性DEFERRED_LOG_FLUSH(Deprecated)和DURABILITY小象學(xué)院面向高并發(fā)寫入優(yōu)化增大memstore阻塞寫入閾值hbase.regionserver.global.memstore.u

2、pperLimit降低寫入阻塞的風(fēng)險(xiǎn)增大hbase.hstore.blockingStoreFiles降低寫入阻塞風(fēng)險(xiǎn)增大memstore flush閾值hbase.regionserver.global.memstore.lowerLimit增大單次flush出的文件大小減少文件數(shù)小步快倒降低compaction最小文件數(shù)限制、適當(dāng)提高最大文件數(shù)限制單次參與文件少paction.min paction.max防止頻繁寫入導(dǎo)致flush頻繁，進(jìn)而導(dǎo)致文件數(shù)過多大步慢走提高compaction最小文件數(shù)限制、進(jìn)一步提高最大文件數(shù)限制加大單次compaction文件參與數(shù)量多個region同在一個

3、region server時(shí)，提高線程數(shù) hbase.regio hbase.regiopaction.large小象學(xué)院paction.small面向高并發(fā)寫入優(yōu)化避免服務(wù)尖峰時(shí)進(jìn)行major compactionhbase.offpeak.start.hour hbase.offpeak.end.hourpaction.ratio.offpeak compaction占用較多帶寬防止在系統(tǒng)繁忙時(shí)影響服務(wù)避免過大文件參與compactionpaction.ratio決定compaction文件長度差搜索”深入分析HBase Compaction機(jī)制”降低單次compaction占用帶寬覆蓋寫

4、入和刪除較少，可以限制參與compaction文件大小paction.max.size有效降低compaction帶來的帶寬永遠(yuǎn)不會進(jìn)行major compaction小象學(xué)院面向高并發(fā)隨機(jī)讀優(yōu)化使用過濾防止發(fā)生full gc增防止內(nèi)存緊張合理調(diào)整jvm參數(shù)lockcache增加緩存hfilock.cache.size使用bucketcache使用ssd磁盤作為二級緩存0.98開始支持減小BLOCKSIZE減少data block中的數(shù)據(jù)增加索引，減少平均查找長度降低緩存置換成本減少物理層讀放大小象學(xué)院面向高并發(fā)隨機(jī)讀優(yōu)化緩存充足提高compaction最小文件數(shù)限制減少compaction文

5、件刪除后，相關(guān)block緩存會被清除提高paction.ratio以及使用paction.max.size減少大文件參與compaction降低受影響的block寫入block后同時(shí)緩存hfilock.*(block類型).cacheonwrite當(dāng)緩存足以放下全量數(shù)據(jù)時(shí)配置，加快block進(jìn)入內(nèi)存緩存不足提高compaction最大文件數(shù)限制縮短major compaction頻率小象學(xué)院hbas兩者都是為了減少文件數(shù)盡可能減少讀操作放大paction當(dāng)請求并發(fā)足夠高時(shí)，杯水車薪高并發(fā)順序讀順序讀是hbase的強(qiáng)項(xiàng)hbase.rs.prefetchblocksonopen需要緩存充足設(shè)置為t

6、rue打開文件時(shí)預(yù)取block，對于全表掃描效果明顯與*.cacheonwrite區(qū)別：region被重新加載也可以預(yù)取block高并發(fā)順序讀，可能會變?yōu)殡S機(jī)讀ResultScanner實(shí)例與相關(guān)機(jī)器數(shù)比過大不同ResultScanner的next請求引起并發(fā)磁盤io過多導(dǎo)致磁盤操作變?yōu)殡S機(jī)讀對scan操作按照startkey排序、 按所在region server分組，并發(fā)執(zhí)行在map reduce中也可以使用此策略小象學(xué)院高并發(fā)讀寫爺，加點(diǎn)機(jī)器可好？ 整體高并發(fā)轉(zhuǎn)為單機(jī)低并發(fā)寫入轉(zhuǎn)為bulkload方式region server針對讀優(yōu)化省略wal省略memstore flush省略小文件

7、compaction操作復(fù)雜數(shù)據(jù)延時(shí)高小象學(xué)院總結(jié)清楚原理分析瓶頸查詢相關(guān)配置大膽假設(shè)求證常總結(jié)小象學(xué)院們：新浪：ChinaHadoop公號：ChinaHadoop披荊斬棘方法論復(fù)雜故障處理經(jīng)驗(yàn)關(guān)于方法論并入工具中的方法論可形式化部分被并入hbck中被稱作aid boxhbase check縮寫沒有方法論留給不可形式化只有經(jīng)驗(yàn)嘗試總結(jié)出可形式化的方法搜索”工程的形式化方法”小象學(xué)院問題查找經(jīng)驗(yàn)確定HDFS正常name node web ui確定沒有block miss、確定data node狀態(tài)確定未處于安全模式hdfs異常導(dǎo)致的常見現(xiàn)象region server進(jìn)程退出region serv

8、er進(jìn)程中會檢測hdfs故障hdfs持續(xù)故障后，region server進(jìn)程主動退出客戶端部分請求異常block miss下部分文件無法get請求無法順利完成文件操作客戶端寫入請求阻塞安全模式下hdfs無法寫入 memstore 無法flush等達(dá)到配置的阻塞閾值master阻塞安全模式下，master會阻塞部分處理小象學(xué)院問題查找經(jīng)驗(yàn)確定zookeeper正常確定zookeeper dump可確定zookeeper客戶端可以zookeeper異常導(dǎo)致的常見現(xiàn)象半數(shù)以上服務(wù)端master進(jìn)程退出zookeeper是master判斷集群狀態(tài)的數(shù)據(jù)源如果zookeeper不可master會退出節(jié)

9、點(diǎn)異常，流程無法完成處理region被反復(fù)加載zookeeper狀態(tài)不一致master與region server處理的region狀態(tài)不一致zookeeper實(shí)例數(shù)為2個時(shí)發(fā)生過小象學(xué)院從cnt開始查找問題nt開始查找問題從c異常信息中可以發(fā)掘不同原因的異常信息不同失敗操作相關(guān)region信息異常相關(guān)region server異常相關(guān)hdfs文件異常相關(guān)data node異常原因問題查找經(jīng)驗(yàn)觀察WEB UI首先確認(rèn)master和region server是否正常借助WEB UI初步判斷問題master task monitorsplitting log正在處理的region來自客戶端的請求r

10、egion server task monitorregion加載 compaction split region來自客戶端的請求zookeeper dump未加載完成的regionregion加載異常信息一個region輪流被不同的region server加載無法正常加載檢查region server log小象學(xué)院問題查找經(jīng)驗(yàn)master與region server的log包含各類處理的細(xì)節(jié)region加載有問題查找region encode相關(guān)log各類處理有問題查找關(guān)鍵字memstore查找Exception、pact、split、splitting等 忽略掉NotServingRe

11、gionException查找exit線程退出打印關(guān)鍵字可判斷線程是否異常退出發(fā)現(xiàn)性能瓶頸沒有異常各類任務(wù)滿負(fù)荷小象學(xué)院問題查找經(jīng)驗(yàn)hbase hbckHBase集群的一致性hdfsmeta表region server中掛載的region region被多個region server重復(fù)加載 hdfs和meta表中存在，但是未被加載 hdfs存在但是meta表中沒有等發(fā)現(xiàn)start key與end key有空洞的表也就是說region不連續(xù)發(fā)現(xiàn)start key與end key有一般由region split故障造成的表小象學(xué)院問題查找經(jīng)驗(yàn)根據(jù)log追源碼找到了根本原因 直接修改找不到根本原因

12、加log等待下次重現(xiàn)小象學(xué)院問題查找經(jīng)驗(yàn)java調(diào)試工具注意權(quán)限問題jps輸出java進(jìn)程id以及啟動參數(shù)jstack輸出java進(jìn)程中各線程狀態(tài)會檢測線jmap是否有死鎖dump java進(jìn)程內(nèi)存狀態(tài)快照jhat可以建立用于分析jmap dump出的快照文件的web ui內(nèi)存泄露分析gc log js實(shí)時(shí)輸出堆內(nèi)存各區(qū)域使用情況小象學(xué)院異?；謴?fù)的常用方法hbck0.94后大幅強(qiáng)化能修復(fù)90%不一致問題集群狀態(tài)正常，沒有卡主的任務(wù)嘗試解決檢測出的問題調(diào)用后根據(jù)影響region的數(shù)量等待一段時(shí)間，然后再次檢測 默認(rèn)等待1分鐘，但是region數(shù)過多時(shí)往往1分鐘解決不了問題多次修復(fù)失敗需要依據(jù)經(jīng)驗(yàn)

13、手動修復(fù)，有可能重啟也無法解決調(diào)整參數(shù)根據(jù)log發(fā)現(xiàn)瓶頸分析并調(diào)整相關(guān)參數(shù)小象學(xué)院異常恢復(fù)的常用方法根據(jù)異常分析hdfs block異常確定block是否丟失嘗試修復(fù)無法修復(fù)只能刪除文件通信異常端口占用net.ipv4.ip_local_port_range不機(jī)器名配置錯誤too many open files其他進(jìn)程異常CLOSE_WAIT過多0.94容易出現(xiàn)的問題 store file過多compaction異常配置不合理等等依靠經(jīng)驗(yàn)搜索引擎小象學(xué)院異?；謴?fù)的常用方法重啟一籌莫展時(shí)的常用伎倆重啟大量region server時(shí)需要重啟master小象學(xué)院們：新浪：ChinaHadoop公號

14、：ChinaHadoop披荊斬棘實(shí)例復(fù)雜故障處理舉例NotServingRegionException觀察region是否存在于異常中的region server上一般都不在如果在查看region server的task monitor是否有region相關(guān)操作堵住進(jìn)一步觀察region server log觀察region掛載是否完成zk dumpregion掛載狀態(tài)以及是否有異常如果掛載相關(guān)region server經(jīng)常切換則有異常進(jìn)一步查看region server log文件損壞或異常 修復(fù)或刪除region split時(shí)生成的的文件的目標(biāo)不存在文件名格式:”原文件名.原region

15、encode”文件已被刪除刪除文件master task monitor是否有掛載卡主進(jìn)一步查看master log小象學(xué)院NotServingRegionException舉例從客戶端log開始，通過WEB UI找到問題現(xiàn)象客戶端總是報(bào)出NotServingRegionException發(fā)現(xiàn)問題過程根據(jù)客戶端異常中的region及region server查找region是否已被加載發(fā)現(xiàn)并未加載zookeeper dump中能夠發(fā)現(xiàn)此region的region endoce通過zookeeper dump中的異常，發(fā)現(xiàn)open region時(shí)，無法找到引用文件文件和region已不存在解決刪

16、除文件即可低版本中禁用auto split小象學(xué)院too many open files從region server的log找到問題現(xiàn)象region server由于too many open files退出重啟后過一段時(shí)間，一定概率又會退出region server越少，退出現(xiàn)象越頻繁發(fā)現(xiàn)問題過程觀察退出前nets和lsof，沒有異常根據(jù)log發(fā)現(xiàn)在open region時(shí)容易出現(xiàn)異常發(fā)現(xiàn)region對應(yīng)的store file異常多 compaction沒有生效分析compact相關(guān)的部分log發(fā)現(xiàn)先是因?yàn)樽畲笪募?shù)限制忽略掉過多文件，然后因?yàn)樽钚∥募?shù)被取消執(zhí)行發(fā)現(xiàn)配置有誤解決修正配置文件

17、小象學(xué)院LZO安裝失敗導(dǎo)致master異常退出通過觀察log解決問題現(xiàn)象部分region server沒有region掛載一旦運(yùn)行balancer，則master異常退出版本0.94.3cdh4發(fā)現(xiàn)問題過程觀察異常退出master log發(fā)現(xiàn)退出原因是加載region的結(jié)果狀態(tài)與預(yù)期不符找到相關(guān)region的分配log，確定目標(biāo)region server在region server log中發(fā)現(xiàn)加載region時(shí)無法加載lzo靜態(tài)庫解決安裝依賴包重啟集群小象學(xué)院region start key end key有hbck無法修復(fù)后動修復(fù)現(xiàn)象hbck中發(fā)現(xiàn)表有異常進(jìn)一步觀察輸出發(fā)現(xiàn)region不連

18、續(xù)在web頁面上發(fā)現(xiàn)region start key end key有 0.89fb中hbck功能有限無法修復(fù)解決編寫代碼關(guān)閉子region將子region中的文件 拷貝到父region目錄 重新open父region小象學(xué)院緩存異常重啟解決問題現(xiàn)象scan或get失敗發(fā)現(xiàn)問題過程根據(jù)客戶端日志定位發(fā)生問題的region serverregion server log中顯示block type失敗根據(jù)原理，異常的block可能來自物理文件或緩存如果是文件損壞后續(xù)的block都會受到影響現(xiàn)在只是一個block壞掉 所以否定了此原因如果是block物理內(nèi)容寫入錯誤則無法解決此問題重啟后仍然無法解決

19、如果是緩存數(shù)據(jù)錯誤重啟可解決解決辦法重啟相關(guān)region server，以清空緩存。問題得到解決，并可以驗(yàn)證為緩存處理有BUG。小象學(xué)院region長時(shí)間未被加載分析源碼發(fā)現(xiàn)問題現(xiàn)象重啟集群后產(chǎn)生的問題zookeeper dump中發(fā)現(xiàn)大量region長時(shí)間無法加載 hbck能促進(jìn)部分region加載成功，但需要反復(fù)執(zhí)行 hbase版本較老為0.89fb0.94中已修復(fù)發(fā)現(xiàn)問題過程web ui中的task monitor并未有任務(wù)卡主查找master log中未加載的region encode發(fā)現(xiàn)有分配操作查找region server log中并未發(fā)現(xiàn)region encode相關(guān)日志master分配操作幾秒后，region server中出現(xiàn)ReadTimeOutException根據(jù)異常棧整理代碼邏輯region server是在向master發(fā)送的心跳請求的返回值中得到region加載操作的網(wǎng)絡(luò)壓力較大，需要加載的region較多，導(dǎo)致返回消息較長，最終導(dǎo)致RPC請