模板淘寶分式數(shù)據(jù)處理實(shí)踐

1、1淘寶分布式數(shù)據(jù)處理實(shí)踐主要內(nèi)容淘寶的數(shù)據(jù)云梯介紹對hadoop的主要功能擴(kuò)展與改造hive實(shí)踐對hive的改造分布式數(shù)據(jù)倉庫構(gòu)思淘寶的數(shù)據(jù)oracle 備庫mysql 備庫日志系統(tǒng)云梯1timetunneljdbcdump數(shù)據(jù)平臺搜索支付寶b2b云梯2gateway servers數(shù)據(jù)魔方量子統(tǒng)計口碑dataexchange爬蟲數(shù)據(jù)map reduce java jobsstreaming jobshive jobs廣告bi淘數(shù)據(jù)推薦系統(tǒng)搜索排行淘寶數(shù)據(jù)的形狀核心數(shù)據(jù)來源于oracle備庫大部分?jǐn)?shù)據(jù)結(jié)構(gòu)化，數(shù)據(jù)具有模式稠密云梯1規(guī)?？?cè)萘?.3pb, 利用率77.09%總共1100臺機(jī)器ma

2、ster：8cpu(ht)，48g內(nèi)存，sas raidslave節(jié)點(diǎn)異構(gòu)8cpu/8cpu(ht)16g/24g內(nèi)存1t x 12 / 2t x 6 / 1t x 6 sata jbod12/20 slots約18000道作業(yè)/天, 掃描數(shù)據(jù)：約500tb/天用戶數(shù)474人, 用戶組38個云梯1規(guī)模-slaveslave機(jī)器異構(gòu)6t機(jī)器磁盤利用率較高rebalance 單機(jī)速度控制：10m/s每天9:00 23:30運(yùn)行slave故障率每周10 20次硬盤故障每周1 2次主板或其他故障云梯1 hadoop版本基于0.19.1大量patch主要來自官方社區(qū)0.19.2, 0.20, 0.21等

3、自己開發(fā)的hadoop客戶端和服務(wù)端代碼開發(fā)分離, 云梯管理員只負(fù)責(zé)服務(wù)端升級, 并保持版本向下兼容云梯主要功能擴(kuò)展安全性密碼認(rèn)證 （hadoop.job.ugi）擴(kuò)展acl，用戶訪問其他組的數(shù)據(jù)（開發(fā)中）scheduler基于fairscheduler的改造slots動態(tài)調(diào)整（網(wǎng)頁形式，每小時更新）各個組使用自己的資源slave單磁盤容錯datanode壞掉一塊磁盤不需要停止，減少數(shù)據(jù)分發(fā)tasktracker壞掉一塊磁盤后不對作業(yè)造成影響master節(jié)點(diǎn)容災(zāi)方案3個master + 1個standby節(jié)點(diǎn)配置文件一致，上傳至svnvirtual ip （namenode和jobtracke

4、r）jobtracker無元數(shù)據(jù)，jobhistory每天備份七天前的歷史文件namenode和secondarynamenodecheck point 1天做一次（晚上8點(diǎn)之后），降低namenode啟動時間fsimage和edits同時通過nfs寫到snn上，元數(shù)據(jù)保存兩份standby在nn或jt宕機(jī)時啟用將來的工作開發(fā)一種新型的調(diào)度器調(diào)度效率低下導(dǎo)致集群利用率不足基于紅黑樹的調(diào)度器namenode hanamenode 內(nèi)存瓶頸heap size 40g，cms gc之后 23g分布式namenode, dynamic partition treehadoop 升級osd及crush算

5、法hive使用2009年3月調(diào)研,4月投入生產(chǎn)cli與thrift server并用web/ssh 界面模板化 & 預(yù)加載86個統(tǒng)一發(fā)布udflineage analysis極限存儲增量存儲表按數(shù)據(jù)的生命周期分目錄實(shí)踐經(jīng)驗(yàn)數(shù)據(jù)傾斜內(nèi)存優(yōu)化i/o優(yōu)化multi-insert數(shù)據(jù)壓縮淘寶對hive的貢獻(xiàn)與改造udfs建立/刪除臨時函數(shù)多線程 thrift servergbk支持完全jdbcmulti distinct aggregation支持認(rèn)證與權(quán)限bug fix將來的工作hive idemulti distinct aggregation優(yōu)化multi group by優(yōu)化極限存儲的索引與文件表統(tǒng)計信息的支持采用tfile做列存儲嘗試分布式數(shù)據(jù)倉庫構(gòu)思hadoop 集群jobtrackertasktrackerpostgres實(shí)例maptaskreducetasktasktrackerpostgres實(shí)例maptaskreducetasktasktrackerpostgres實(shí)例maptaskreducetask提交mapreduce作業(yè)anthill 服務(wù)