數(shù)據(jù)庫系統(tǒng)原理與開發(fā)-列存儲數(shù)據(jù)庫-2

七.二列存儲數(shù)據(jù)庫鳳荔用本節(jié)學(xué)目地?HBASE地存儲架構(gòu)?HBASE地系統(tǒng)架構(gòu)及基本組件一鳳荔用一,HBASE存儲結(jié)構(gòu)--意義?回顧HBASE地邏輯模型:表表地形式表達(dá)與存儲數(shù)據(jù),表--行與列---若干個列族。表基于行鍵,列族,列限定符與時間版本。每個c列族—DFS上單獨文件,空值不會被保存。?Key與Versionnumber在每個columnfamily均有一份;?HBase為每個值維護(hù)了多級索引,即:<key,columnfamily,columnname,timestamp>?物理存儲----上面地邏輯模型對于物理文件地過程二鳳荔用一,HBASE存儲結(jié)構(gòu)—物理存儲?一,表所有行都按照rowkey地字典序排列;?二,Table在行地方向上分割為多個Region;?三,Region按大小分割地,每個表開始只有一個region,隨著數(shù)據(jù)增多,region不斷增大,當(dāng)增大到一個閥值地時候,region就會等分會兩個新地region,之后會有越來越多地region;?四,Region是Hbase分布式存儲與負(fù)載均衡地最小單元,不同Region分布到不同RegionServer上三鳳荔用一,HBASE存儲結(jié)構(gòu)—存儲模型圖?模型層次圖四鳳荔用一,HBASE存儲結(jié)構(gòu)--存儲部件?一)表Table:面向列（族）地存儲與權(quán)限控制,列（族）獨立檢稀疏存儲。按行健地字典排序;Table在行地方向上分割多個Region。?２區(qū)域Region(表地Regions):每個Region存儲著Table地若干Region是分布式存儲地最小單元。?３Store(Region以列族為單位地單元):區(qū)域由一個或者多個Sto組成,每個store保存一個列族。Strore由memStore與零至多個StoreFile?４StoreFile:以HFile地格式存儲在分布式文件系統(tǒng)（HDFS）上五鳳荔用一,HBASE存儲結(jié)構(gòu)—storefile地結(jié)構(gòu)?StoreFile:以HFile存儲在HDFS）上,組成成?一）DataBlock保存表地數(shù)據(jù),可壓縮;?二）MetaBlock用戶自定義地鍵值對,可壓縮;?３）FileInfo存儲HFile地元信息,不能壓縮,用戶也可以在這分添加自己地元信息;?４）DataBlockIndex存儲數(shù)據(jù)塊索引,索引地鍵值是第一條記錄地鍵值（key）;?五）MetaBlockIndex元數(shù)據(jù)塊地索引;?六）Trailer保存每一段地偏移量,讀取一個HFile時Trailer（段地開始位置）。Block(讀寫最小單元),存儲管理地最單位。六鳳荔用HBase數(shù)據(jù)存儲地層次地關(guān)系?１）Table與Region地關(guān)系一—多?二）Region與Store地關(guān)系:每一行都包含一或多個列Region包括一到多個Store。一—多?三）Store與HFile地關(guān)系:每個store由一個memStore與零至多個HFile組成,在client行數(shù)據(jù)寫過程,數(shù)據(jù)會先寫入緩沖（memStore）,當(dāng)緩沖（memStore）到達(dá)一定大小地時候,就會flush到硬盤生成一個Hfile。一—多七鳳荔用二,HBASE地系統(tǒng)構(gòu)架--集群?Hbase是一個分布式地數(shù)據(jù)庫,使用Zookeeper來管理集群。?在架構(gòu)層面上分為Master與多個RegionServer。?在分布式地生產(chǎn)環(huán)境,HBase需要運(yùn)行在HDFS之上,由HDFS提供基礎(chǔ)地存儲設(shè)施,上層提供訪問地數(shù)據(jù)地API,對HBase地數(shù)據(jù)行管理,?集群主要主服務(wù)器（Master）,區(qū)域服務(wù)器（RegionServer）,調(diào)者服務(wù)器（Zookeeper）等組成,八鳳荔用二,HBASE地系統(tǒng)構(gòu)架--集群圖示?集群構(gòu)架圖九鳳荔用二,HBASE地系統(tǒng)構(gòu)架—主服務(wù)器?管理區(qū)域服務(wù)器;?指派區(qū)域服務(wù)器對特定區(qū)域服務(wù);?恢復(fù)失效地區(qū)域服務(wù)器,負(fù)載均衡與修復(fù)時區(qū)域服務(wù)器?監(jiān)聽ZooKeeper地狀態(tài),其管理職能包括創(chuàng)建,刪除,修改表地義等;?負(fù)責(zé)分配區(qū)域給區(qū)域服務(wù)器。?多個Master節(jié)點存,只有一個Master是提供服務(wù)地,其它地Master節(jié)點處于待命地狀態(tài)。當(dāng)正在工作地Master節(jié)點失效時,其它地Master則會接管集群。成鳳荔用二,HBASE地系統(tǒng)構(gòu)架-區(qū)域服務(wù)器?為區(qū)域地訪問提供服務(wù),直接為用戶提供服務(wù);?負(fù)責(zé)維護(hù)區(qū)域地合并與分割;負(fù)責(zé)數(shù)據(jù)存持久化。?管理表格,實現(xiàn)讀寫操作。?客戶端直接連接區(qū)域服務(wù)器,并通信獲取HBase地數(shù)據(jù)。鳳荔用二,HBASE地系統(tǒng)構(gòu)架--client?Client:請求發(fā)起者,通過API,包含訪問Hbase地接口,維護(hù)著一些cache來加快對Hbase地訪問,比如region地位置信息。?訪問HBase地接口,并維護(hù)cache來加快對HBase地訪問,比如region地位置信息.使用HBaseRPC機(jī)制與HMaster與區(qū)域服務(wù)器行通信.?Client與HMaster行通信行管理類操作.?Client與區(qū)域服務(wù)器行數(shù)據(jù)讀寫類操作鳳荔用二,HBASE地系統(tǒng)—基本組件?HBase采用Master/Slave架構(gòu)搭建集群,由HMaster節(jié)點,區(qū)域服務(wù)器節(jié)點,ZooKeeper集群組成,?在底層,它將數(shù)據(jù)存儲于分布式文件系統(tǒng)。區(qū)域服務(wù)器包含多個HRegion,由WAL(HLog),BlockCache,MemStore,HFile組成,鳳荔用二,HBASE地系統(tǒng)構(gòu)架--組件圖?組件圖鳳荔用二,HBASE地系統(tǒng)構(gòu)架--組件解釋?HLog(WALWALahead用做災(zāi)難恢復(fù),Hlog記錄數(shù)據(jù)地所有變更?WAL是HDFS上地一個文件,寫操作都先將數(shù)據(jù)寫入日志后,才會真正更新MemStore,最后寫入HFile。?區(qū)域服務(wù)器失效后,可以從日志文件讀取數(shù)據(jù),重做所有地操作,來保證數(shù)據(jù)地一致。?日志文件會定期刪除舊地文件(已寫到HFile地Log可以刪除)鳳荔用二,HBASE數(shù)據(jù)庫系統(tǒng)構(gòu)架--HLOG每個區(qū)域服務(wù)器維護(hù)一個Hlog,而不是每個Region一個。HLog是一個普通地Hadoop序列文件,它地Key是HLogKey對象,HLogKey記錄了寫入數(shù)據(jù)地歸屬信息,包括table與region名字,sequencenumber與timestamp,HLogSequeceFile地Value是Hbase地鍵值對象,即對應(yīng)HFile地鍵值。鳳荔用二,HBASE數(shù)據(jù)庫系統(tǒng)構(gòu)架—Hlog有關(guān)?LogFlusher,數(shù)據(jù)以鍵值形式到達(dá)區(qū)域服務(wù)器,寫入WAL,之后一個SequenceFile。日志文件先寫內(nèi)存,LogFlusher定期把緩沖器數(shù)據(jù)寫到Hfile(磁盤上)。?LogRoller調(diào)用HLog.rollWriter(),定時滾動日志,利用HLog.cleanOldLogs()可以清除舊地日志。取得存儲文件地最大地sequencenumber,存在一個log所有地條目地"sequencenumber"均低于這個值,如果存在,將刪除這個log鳳荔