淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)

淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)張軒丞（朋春）淘寶網(wǎng)-數(shù)據(jù)平臺與產(chǎn)品部淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第1頁關(guān)于張軒丞（朋春）淘寶數(shù)據(jù)平臺與產(chǎn)品部（杭州）vi黨，腳本語言興趣者關(guān)注NodeJS，cnode小區(qū)組織者之一pengchun@：我是aleafs淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第2頁數(shù)據(jù)平臺與產(chǎn)品淘寶網(wǎng)淘寶賣家供給商消費者搜索、瀏覽、收藏、交易、評價...淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第3頁一些數(shù)字淘寶主站：30億店鋪、寶貝瀏覽10億計在線寶貝數(shù)千萬量級交易筆數(shù)數(shù)據(jù)產(chǎn)品：50G統(tǒng)計匯總結(jié)果千萬量級數(shù)據(jù)查詢請求平均20.8ms響應(yīng)時間（6月1日）淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第4頁海量數(shù)據(jù)帶來挑戰(zhàn)計算計算速度處理吞吐量存放存放是為了更方便地查詢硬盤、內(nèi)存成本查詢“大海撈針”全“表”掃描淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第5頁架構(gòu)總覽主站備庫RAC主站日志數(shù)據(jù)源MyFOXProm存放層數(shù)據(jù)中間層/glider查詢層數(shù)據(jù)魔方淘寶指數(shù)開放API產(chǎn)品Hadoop集群/云梯計算層實時流數(shù)據(jù)DataX/DbSync/TimeTunnel1500節(jié)點，每日40000JOB，處理數(shù)據(jù)1.5PB，凌晨2點結(jié)束，結(jié)果20T淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第6頁今天話題關(guān)系型數(shù)據(jù)庫依然是王道NoSQL是SQL有益補充用中間層隔離前后端緩存是系統(tǒng)化工程淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第7頁關(guān)系型數(shù)據(jù)庫依然是王道淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第8頁關(guān)系型數(shù)據(jù)庫有成熟穩(wěn)定開源產(chǎn)品SQL有較強表示能力只存放中間狀態(tài)數(shù)據(jù)查詢時過濾、計算、排序數(shù)據(jù)產(chǎn)品本質(zhì)拉關(guān)系做計算SELECTIF(INSTR(f.keyword,'')>0,UPPER(TRIM(f.keyword)),CONCAT(b.brand_name,'',UPPER(TRIM(f.keyword))))ASf0,

SUM(f.search_num)ASf1,

ROUND(SUM(f.search_num)/SUM(f.uv),2)ASf3, ROUND(AVG(f.uv),2)ASf4FROMdm_fact_keyword_brand_df

INNERJOINdim_brandbONf.keyword_brand_id=b.brand_idWHEREf.keyword_type_id=1ANDf.keyword!='' ANDkeyword_cat_idIN('50002535') ANDthedate<='-07-09' ANDthedate>='-07-07'GROUPBYf0

ORDERBYSUM(f.search_num)DESCLIMIT0,100淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第9頁存放在DB中數(shù)據(jù)淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第10頁分布式MySQL集群字段+條目數(shù)分片MyISAM引擎離線批量裝載跨機房互備云梯APPMySQL集群數(shù)據(jù)裝載數(shù)據(jù)查詢MyFOX淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第11頁透明集群中間層—MyFOX透明查詢基于NodeJS，1200QPS數(shù)據(jù)裝載路由計算數(shù)據(jù)裝入一致性校驗集群管理配置信息維護監(jiān)控報警淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第12頁MyFOX-數(shù)據(jù)查詢?nèi)》制瑪?shù)據(jù)（異步并發(fā)）取分片結(jié)果合并（表示式求值）合并計算緩存路由SQL解析語義了解查詢路由字段改寫分片SQL計算規(guī)則APC緩存X淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第13頁MyFOX-節(jié)點結(jié)構(gòu)MyFOX熱節(jié)點（MySQL）15kSAS盤，300G*12，raid10內(nèi)存:24G成本:4.5W/T冷節(jié)點（MySQL）7.2kSATA盤，1T*12，raid10內(nèi)存:24G成本:1.6W/T路由表30天無訪問冷數(shù)據(jù)新增熱數(shù)據(jù)淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第14頁小結(jié)依據(jù)業(yè)務(wù)特點分庫分表冷熱數(shù)據(jù)分離降低成本，好鋼用在刀刃上更有效地使用內(nèi)存淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第15頁SQL雖牛，不過…假如繼續(xù)用MySQL來存放數(shù)據(jù)，你怎么建索引？淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第16頁NoSQL是SQL有益補充淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第17頁全屬性交叉運算不一樣類目標(biāo)商品有不一樣屬性同一商品屬性對有很多用戶查詢所選擇屬性對不確定Prometheus定制化存放實時計算淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第18頁Prom—數(shù)據(jù)裝載

PromHbaseHbaseHbase……索引：交易id列表屬性對交易1（二進制，定長）交易2淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第19頁Prom—數(shù)據(jù)查詢求SUM(alipay)屬性屬性值筆記本尺寸13寸筆記本定位商務(wù)定位節(jié)點11,2,3,4,5,6,

7,8,9節(jié)點21,2,3,4,5,6,7查索引求交集節(jié)點21,2,

4,6,7當(dāng)?shù)豐UM運算（Hbase擴展）匯總計算寫入緩存淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第20頁Prom—數(shù)據(jù)冗余明細數(shù)據(jù)大量冗余犧牲磁盤容量，以得到：防止明細數(shù)據(jù)網(wǎng)絡(luò)傳輸變大量隨機讀為次序讀淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第21頁小結(jié)NoSQL是SQL有益補充“預(yù)算”與“現(xiàn)算”權(quán)衡“當(dāng)?shù)亍迸c“集中”協(xié)同淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第22頁其它數(shù)據(jù)起源Prom其它應(yīng)用（淘詞、指數(shù)等）從isearch獲取實時店鋪、商品描述從主站搜索獲取實時商品數(shù)…異構(gòu)數(shù)據(jù)源怎樣整合統(tǒng)一？淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第23頁用中間層隔離前后端淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第24頁[pengchun]$tail~/logs/glider-rt2.log[14/Jun/:14:54:29+0800]"GET/glider/db/brand/brandinfo_d/get_hot_brand_top/where…HTTP/1.1"200170.065淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第25頁數(shù)據(jù)中間層—Glider多數(shù)據(jù)源整合UNIONJOIN輸出格式化PERCENT/RANKOVER…JSON輸出淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第26頁Glider架構(gòu)DispatcherController配置解析請求解析一級緩存actionMyFOXProm二級緩存datasourceJOINUNIONfilter淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第27頁緩存是系統(tǒng)化工程淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第28頁glider緩存系統(tǒng)前端產(chǎn)品一級緩存data二級緩存URL請求，nocache?nocache?nocache?Min(ttl)ttl,httpheaderetag,httpheader淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第29頁小結(jié)用中間層隔離前后端底層架構(gòu)對前端透明水平可擴展性緩存是把雙刃劍降低后端存放壓力數(shù)據(jù)一致性問題緩存穿透與失效淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第30頁回顧關(guān)系型數(shù)據(jù)庫依然是王道

分庫分表、冷熱分離NoSQL是SQL有益補充

用冗余防止網(wǎng)絡(luò)傳輸和隨機讀用中間層隔離前后端

異構(gòu)數(shù)據(jù)源整合緩存是系統(tǒng)化工程

數(shù)據(jù)一致性、穿透與雪崩淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第31頁矛盾之美SQLNoSQL計算時機“預(yù)算”Hadoop/實時計算引擎“現(xiàn)算”MyS