北風(fēng)大數(shù)據(jù)o2o十三期課程-dayhbase一03.隨堂課件1120hbase深入使用

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT每個(gè)column KeyVersionnumbercolumnfamily

教 品EDUCATIONTOCREATEABRIGHTHBase

教 品EDUCATIONTOCREATEABRIGHTHBase

教 品EDUCATIONTOCREATEABRIGHT HFile：HBase中KeyValue數(shù)據(jù) 格式，HFile是Hadoop的二進(jìn)制格式文件，實(shí)際StoreFile就是對(duì)HFile做了輕量級(jí)包裝，進(jìn)行數(shù)據(jù) HLogFile：HBase中WAL（WriteAheadLog） 格式，物理上是Hadoop

教 品EDUCATIONTOCREATEABRIGHT HRegion中由多個(gè)HStore組成。每個(gè)HStore對(duì)應(yīng)了Table中的一個(gè)columnfamily的 在一個(gè)columnfamily中，這樣最高效。 Memstore&

教 品EDUCATIONTOCREATEABRIGHTMemstore&

教 品EDUCATIONTOCREATEABRIGHTClient寫(xiě)入->存入MemStore，一直到MemStore滿->Flush成一個(gè)StoreFile，直至增長(zhǎng)到一定閾值->出發(fā)Compact合并操作->多個(gè)StoreFile合并成一個(gè)StoreFile，同時(shí)進(jìn)行版本合并和數(shù)據(jù)刪除->當(dāng)StoreFilesCompact后，逐步形成越來(lái)越大的StoreFile->單個(gè)StoreFile大小超HBase只是增加數(shù)據(jù)，有所得更新和刪除操作，都是在Compact階段做的，所以，用戶寫(xiě)需要進(jìn)入到內(nèi)存即可立即返回，從而保證I/O高性能

教 品EDUCATIONTOCREATEABRIGHTWAL意為Writeaheadlog，類似Mysql中的binlog，用來(lái) HBase

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT 包

教 品EDUCATIONTOCREATEABRIGHT HRegionServer的上線和下線信息，并實(shí)時(shí)通知給HMaster；Zookeeper

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTHRegion HRegionServer，數(shù)據(jù)讀寫(xiě) HRegioneServer），HMaster僅僅 HBase&

教 品EDUCATIONTOCREATEABRIGHT實(shí)例，比如，啟動(dòng)或者停止HMaster與HRegionServers啟動(dòng)時(shí)向 Zookeeper的引入使得HMaster不再單點(diǎn)故障HBaseJava

教 品EDUCATIONTOCREATEABRIGHTWriting

教 品EDUCATIONTOCREATEABRIGHTReading

教 品EDUCATIONTOCREATEABRIGHTReading

教 品EDUCATIONTOCREATEABRIGHTScan&

教 品EDUCATIONTOCREATEABRIGHTDeleting

教 品EDUCATIONTOCREATEABRIGHTHBase&MapReduce&

教 品EDUCATIONTOCREATEABRIGHTHBase&MapReduce&

教 品EDUCATIONTOCREATEABRIGHTexportHBASE_HOME=/opt/modules/hbase-0.98.6-exportHADOOP_HOME=/opt/modules/hadoop-2.5.0jar$HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTHBaseAsaData

教 品EDUCATIONTOCREATEABRIGHTHBaseAsaData

教 品EDUCATIONTOCREATEABRIGHTData

教 品EDUCATIONTOCREATEABRIGHTData

教 品EDUCATIONTOCREATEABRIGHTRDBMS抽取數(shù) 數(shù)

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT-h_user\

教 品EDUCATIONTOCREATEABRIGHT通常MapReduce在寫(xiě)HBase時(shí)使用的是TableOutputFormat方式，在reduce中直接生成put對(duì)象寫(xiě)入 Bulk

教 品EDUCATIONTOCREATEABRIGHTe持kad式a的數(shù)據(jù)信息按照特定格式 hf原理，直接在S中生成持久化的e數(shù)據(jù)格式文件，然后上傳至合適位置，即完成巨量數(shù)據(jù)法mac，o載據(jù)量寫(xiě)入時(shí)能極大的提高寫(xiě)入效率，并降低對(duì)e節(jié)點(diǎn)的寫(xiě)入壓力。通過(guò)使用先生成，然后再BLa到a的方式來(lái)替代之前直接調(diào)用aOtptFormat的方法有如下的好：消除了對(duì)HBase集群 壓提高了Job的運(yùn)行速度，降低了Job的執(zhí)行時(shí)

教 品EDUCATIONTOCREATEABRIGHT- h_user

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTexportHADOOP_HOME=/opt/modules/hadoop-2.5.0 GeneratingHFilefilesin

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品ED