阿里HBase業(yè)務(wù)設(shè)計實踐

阿里HBase業(yè)務(wù)設(shè)計實踐大綱簡介數(shù)據(jù)模型業(yè)務(wù)設(shè)計產(chǎn)品線使用建議監(jiān)控總結(jié)簡介:

(.)/

三層索引結(jié)構(gòu)的大小默認最大是256M按照平均128M算；假設(shè)：一個1：128128*1024 即2^7*2^10=2^17：(2^17)^2=2^34記錄數(shù)：2^51條記錄其它特征三層樹的擴展[1]適合于范圍查詢的字母順序來排序(數(shù)組存儲)

事務(wù)級別僅限于級別的自動問題：犧牲了中的？[1],"10",1987,395-398.已有適合的使用場景海量數(shù)據(jù)寫入歷史數(shù)據(jù)批量寫入消息類（類似的）消息類

業(yè)務(wù)監(jiān)控類的業(yè)務(wù)全網(wǎng)日志全網(wǎng)每天上百億大表的復(fù)雜/多維度索引檢索索引，主數(shù)據(jù)在分析類大批量讀取緩存現(xiàn)有集群狀況集群名稱()11.11最高()11.11最高版本業(yè)務(wù)7k1.8w1.6w3.4w0.90.2業(yè)務(wù)1.8w2w1.2w1.4w業(yè)務(wù)7k3w2w5w業(yè)務(wù)1k2k2k6k業(yè)務(wù)2.5w5w2w6w業(yè)務(wù)10w25w(最高50w)1w2w0.94業(yè)務(wù)4w20w(壓測)2k3w(壓測)0.94業(yè)務(wù)每天2-3-在級別-0.90.2-定制版業(yè)務(wù)10w25w15w100w0.94業(yè)務(wù)3k1.4w3k6k0.94業(yè)務(wù)1.5w2w6k8k0.94與的對比場景優(yōu)點缺點優(yōu)點缺點業(yè)務(wù)表使用使用簡單，一張表即可不過沒有有；分庫分表，靈活分庫后更新模式插入多的適合差二級索引策略需借助索引表強問題客戶端接口靈活自己掌握無標準寫性能非常強順序?qū)懭霑r瓶頸在一臺較強幾千單套庫讀性能較強；支持依賴內(nèi)存很強；支持依賴索引可擴展性強借助愚公工具可動態(tài)擴展弱運維方便自己定制不夠成熟成熟時間短；92版本可以在線若有索引表，需要自己填充即可時間長；讀寫穩(wěn)定性AC使用情況()大綱簡介數(shù)據(jù)模型業(yè)務(wù)設(shè)計產(chǎn)品線使用建議監(jiān)控總結(jié)

StorememStoreStoreFileStoreFile………

…

………

架構(gòu)圖客戶端C0樹同一機器，目的？C1樹Q寫成功立即返回讀、、數(shù)據(jù)模型………KV12示例消息表 表結(jié)構(gòu)：

[:[:,,,]]對應(yīng)到…000017d162302482b13530118392233706834668360652012.11.212012.12.11系統(tǒng)消息000017d162302482b13530118392233706835317137402012.11.212012.12.11系統(tǒng)消息表在的存儲結(jié)構(gòu)目錄目錄的具體存儲（目錄目錄目錄/具體文件）大綱簡介數(shù)據(jù)模型業(yè)務(wù)設(shè)計產(chǎn)品線使用建議監(jiān)控總結(jié)業(yè)務(wù)設(shè)計適合場景（綜合考慮）表數(shù)據(jù)量大（至少億級別以上）日志型業(yè)務(wù)，（比如定期保留10天數(shù)據(jù)等）原則上：能分庫分表來用就用來解決單表一般500w，能使用的場景無跨行跨表事務(wù)要求寫入量大(每天千萬及以上)讀取量相對少(讀取:寫入<=1/10)讀取場景簡單、不經(jīng)常變化無正序、逆序的排序要求類似等全量讀取，不太合適。不經(jīng)常更新（必須先刪除再添加）業(yè)務(wù)設(shè)計典型的設(shè)計非單一（單一可以用解決）為組合性最終方案：表名列名/讀取寫入無法覆蓋的查詢（）

的時候進行前綴匹配，中的是必須的參數(shù)，設(shè)置（）每天定時插入數(shù)據(jù)，數(shù)據(jù)量在1000W，同時刪除一個月前的那一天的數(shù)據(jù)業(yè)務(wù)查詢基本上是對于的查詢，只有在刪除數(shù)據(jù)的時候，是根據(jù)中的來進行的表名屬性(一行一個)的信息A

長度：6位數(shù)字+12位小寫字母+小于5位數(shù)字

前面的6為數(shù)字窮舉約在4000個左右表名列表(一行一個)的信息A（、）

長度：6位數(shù)字+12位小寫字母+小于5位數(shù)字

前面的6為數(shù)字窮舉約在4000個左右適合場景（綜合考慮）表數(shù)據(jù)量大（至少億級別以上）日志型業(yè)務(wù)，（比如定期保留10天數(shù)據(jù)等）無跨行跨表事務(wù)要求寫入量大(每天千萬及以上)讀取量相對少(讀取:寫入<=1/10)讀取場景簡單、不經(jīng)常變化無正序、逆序的排序要求分庫分表類似等全量讀取，不太合適。不經(jīng)常更新（否則必須先刪除再添加）業(yè)務(wù)設(shè)計典型的設(shè)計交互性的應(yīng)用消息數(shù)據(jù)雙寫，當做索引（類似買賣家）

查找穆公最近一周發(fā)布的消息？查找穆公最近一周發(fā)送給馬云的消息？發(fā)送給馬云的消息？

適合場景（綜合考慮）表數(shù)據(jù)量大（至少億級別以上）日志型業(yè)務(wù)，（比如定期保留10天數(shù)據(jù)等）無跨行跨表事務(wù)要求寫入量大(每天千萬及以上)讀取量相對少(讀取:寫入<=1/10)讀取場景簡單、不經(jīng)常變化無正序、逆序的排序要求分庫分表類似等全量讀取，不太合適。不經(jīng)常更新（否則必須先刪除再添加）

+:***:***業(yè)務(wù)設(shè)計表結(jié)構(gòu)設(shè)計 是訂單，可以是業(yè)務(wù)主鍵

能否覆蓋查詢：穆公一個星期內(nèi)買的商品？穆公一個月買的書？

(93)

++(32)默認用戶訂單索引表適合場景（綜合考慮）表數(shù)據(jù)量大（至少億級別以上）日志型業(yè)務(wù)無跨行跨表事務(wù)要求寫入量大(每天千萬及以上)讀取量相對少(讀取:寫入<=1/10)讀取場景簡單、不經(jīng)常變化無正序、逆序的排序要求分庫分表類似等全量讀取，不太合適。不經(jīng)常更新（否則必須先刪除再添加）業(yè)務(wù)設(shè)計分詞索引表 能否覆蓋查詢：穆公一個星期內(nèi)買的商品？穆公一個月買的書？結(jié)論：覆蓋搜索場景、無法用數(shù)據(jù)庫解決查詢類型固定只會按照時間排序永久的大表保存數(shù)據(jù)一致性要求低

+分詞++適合場景（綜合考慮）表數(shù)據(jù)量大（至少億級別以上）日志型業(yè)務(wù)無跨行跨表事務(wù)要求寫入量大(每天千萬及以上)讀取量相對少(讀取:寫入<=1/10)讀取場景簡單、不經(jīng)常變化無正序、逆序的排序要求（單向時間排序）分庫分表類似等全量讀取，不太合適。不經(jīng)常更新（否則必須先刪除再添加）特殊的搜索固定需求

+分詞++業(yè)務(wù)設(shè)計-無結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)

列數(shù)不定，有的有2個列；有的有N個列大綱簡介數(shù)據(jù)模型業(yè)務(wù)設(shè)計產(chǎn)品線使用建議監(jiān)控總結(jié)產(chǎn)品線、客戶端使用建議海量數(shù)據(jù)，范圍和分布已知，建議進行預(yù)分配一定要盡量短（如：時間用時間戳整數(shù)表示、編碼壓縮）設(shè)計：盡量少，建議數(shù)量在1-2個 和是級別；某個引發(fā)其它的的大量導(dǎo)致(當?shù)膫€數(shù)>)問題：還有其他的原因么？1->6設(shè)計：寫入要分散；如歷史交易訂單：做后做產(chǎn)品線、客戶端使用建議(2)參數(shù)設(shè)置為；否則極端情況下會丟失數(shù)據(jù)的重試次數(shù)為3次以上。否則會由于導(dǎo)致；從而導(dǎo)致寫入失敗(集群出現(xiàn)過)。 一次的；默認60秒 客戶端的一次操作失敗，到下次重試之間的等待時間 客戶端重試的次數(shù)客戶端租期超時閥值；量大時可以考慮增大；否則”:-70000000000000001”產(chǎn)品線、客戶端使用建議(3)連接對象的使用注意對象的使用必須是模式默認：每臺機器與直接的連接數(shù)不超過30個的使用線程不安全使用2(推薦的方式)產(chǎn)品線、客戶端使用建議(3)(自己控制數(shù)量) /**

*返回連接池中的一個

*

*

*/

(){

()

()()如果對象已經(jīng)存在，直接取出一個

{

不存在則先一個對象，然后再取

}} /**是非線程安全的在多線程環(huán)境下使用是一個好的解決方案, *參數(shù)是保持的每個實例的最大數(shù)量， *比如為10如果有100個線程()同一張表則他們會共用中的該表的10個實例,其它的單獨申請 *使用的時候就不要了，直接從中取 *用完再放回去 * *在0.92以上的版本則不用放回去直接()即可被標記為 *0.90.2版本使用下面的代碼都沒有做這些操作 *避免不同版本出問題 */業(yè)務(wù)接入平臺.*影響寫測試影響匯總1、對于寫速度而言，影響因素的效果主要為：寫>>；2、對于寫速度波動而言，想完全不波動是不可能，影響因素的效果主要為：>寫>；3、對于寫頻率較高的應(yīng)用而言，一臺上不適合有太多的；(=64G)4、可以不做，建議做；5、對于日志應(yīng)用可以考慮關(guān)閉1關(guān)閉關(guān)閉

風險點——集群穩(wěn)定/容災(zāi)的單點問題導(dǎo)致部分數(shù)據(jù)短暫不可用跨機房容災(zāi)目前還只是部署在單個機房跨機房性能衰減實現(xiàn)：程序雙寫復(fù)制的測試(的已經(jīng)上線、在研)消息中間件實現(xiàn)(異步消息)大綱簡介數(shù)據(jù)模型業(yè)務(wù)