淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)

淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)張軒丞（朋春）淘寶網(wǎng)-數(shù)據(jù)平臺(tái)與產(chǎn)品部淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第1頁(yè)關(guān)于張軒丞（朋春）淘寶數(shù)據(jù)平臺(tái)與產(chǎn)品部（杭州）vi黨，腳本語(yǔ)言興趣者關(guān)注NodeJS，cnode小區(qū)組織者之一pengchun@：我是aleafs淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第2頁(yè)數(shù)據(jù)平臺(tái)與產(chǎn)品淘寶網(wǎng)淘寶賣家供給商消費(fèi)者搜索、瀏覽、收藏、交易、評(píng)價(jià)...淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第3頁(yè)一些數(shù)字淘寶主站：30億店鋪、寶貝瀏覽10億計(jì)在線寶貝數(shù)千萬(wàn)量級(jí)交易筆數(shù)數(shù)據(jù)產(chǎn)品：50G統(tǒng)計(jì)匯總結(jié)果千萬(wàn)量級(jí)數(shù)據(jù)查詢請(qǐng)求平均20.8ms響應(yīng)時(shí)間（6月1日）淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第4頁(yè)海量數(shù)據(jù)帶來(lái)挑戰(zhàn)計(jì)算計(jì)算速度處理吞吐量存放存放是為了更方便地查詢硬盤、內(nèi)存成本查詢“大海撈針”全“表”掃描淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第5頁(yè)架構(gòu)總覽主站備庫(kù)RAC主站日志數(shù)據(jù)源MyFOXProm存放層數(shù)據(jù)中間層/glider查詢層數(shù)據(jù)魔方淘寶指數(shù)開放API產(chǎn)品Hadoop集群/云梯計(jì)算層實(shí)時(shí)流數(shù)據(jù)DataX/DbSync/TimeTunnel1500節(jié)點(diǎn)，每日40000JOB，處理數(shù)據(jù)1.5PB，凌晨2點(diǎn)結(jié)束，結(jié)果20T淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第6頁(yè)今天話題關(guān)系型數(shù)據(jù)庫(kù)依然是王道NoSQL是SQL有益補(bǔ)充用中間層隔離前后端緩存是系統(tǒng)化工程淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第7頁(yè)關(guān)系型數(shù)據(jù)庫(kù)依然是王道淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第8頁(yè)關(guān)系型數(shù)據(jù)庫(kù)有成熟穩(wěn)定開源產(chǎn)品SQL有較強(qiáng)表示能力只存放中間狀態(tài)數(shù)據(jù)查詢時(shí)過(guò)濾、計(jì)算、排序數(shù)據(jù)產(chǎn)品本質(zhì)拉關(guān)系做計(jì)算SELECTIF(INSTR(f.keyword,'')>0,UPPER(TRIM(f.keyword)),CONCAT(b.brand_name,'',UPPER(TRIM(f.keyword))))ASf0,

SUM(f.search_num)ASf1,

ROUND(SUM(f.search_num)/SUM(f.uv),2)ASf3, ROUND(AVG(f.uv),2)ASf4FROMdm_fact_keyword_brand_df

INNERJOINdim_brandbONf.keyword_brand_id=b.brand_idWHEREf.keyword_type_id=1ANDf.keyword!='' ANDkeyword_cat_idIN('50002535') ANDthedate<='-07-09' ANDthedate>='-07-07'GROUPBYf0

ORDERBYSUM(f.search_num)DESCLIMIT0,100淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第9頁(yè)存放在DB中數(shù)據(jù)淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第10頁(yè)分布式MySQL集群字段+條目數(shù)分片MyISAM引擎離線批量裝載跨機(jī)房互備云梯APPMySQL集群數(shù)據(jù)裝載數(shù)據(jù)查詢MyFOX淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第11頁(yè)透明集群中間層—MyFOX透明查詢基于NodeJS，1200QPS數(shù)據(jù)裝載路由計(jì)算數(shù)據(jù)裝入一致性校驗(yàn)集群管理配置信息維護(hù)監(jiān)控報(bào)警淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第12頁(yè)MyFOX-數(shù)據(jù)查詢?nèi)》制瑪?shù)據(jù)（異步并發(fā)）取分片結(jié)果合并（表示式求值）合并計(jì)算緩存路由SQL解析語(yǔ)義了解查詢路由字段改寫分片SQL計(jì)算規(guī)則APC緩存X淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第13頁(yè)MyFOX-節(jié)點(diǎn)結(jié)構(gòu)MyFOX熱節(jié)點(diǎn)（MySQL）15kSAS盤，300G*12，raid10內(nèi)存:24G成本:4.5W/T冷節(jié)點(diǎn)（MySQL）7.2kSATA盤，1T*12，raid10內(nèi)存:24G成本:1.6W/T路由表30天無(wú)訪問冷數(shù)據(jù)新增熱數(shù)據(jù)淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第14頁(yè)小結(jié)依據(jù)業(yè)務(wù)特點(diǎn)分庫(kù)分表冷熱數(shù)據(jù)分離降低成本，好鋼用在刀刃上更有效地使用內(nèi)存淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第15頁(yè)SQL雖牛，不過(guò)…假如繼續(xù)用MySQL來(lái)存放數(shù)據(jù)，你怎么建索引？淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第16頁(yè)NoSQL是SQL有益補(bǔ)充淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第17頁(yè)全屬性交叉運(yùn)算不一樣類目標(biāo)商品有不一樣屬性同一商品屬性對(duì)有很多用戶查詢所選擇屬性對(duì)不確定Prometheus定制化存放實(shí)時(shí)計(jì)算淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第18頁(yè)P(yáng)rom—數(shù)據(jù)裝載

PromHbaseHbaseHbase……索引：交易id列表屬性對(duì)交易1（二進(jìn)制，定長(zhǎng)）交易2淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第19頁(yè)P(yáng)rom—數(shù)據(jù)查詢求SUM(alipay)屬性屬性值筆記本尺寸13寸筆記本定位商務(wù)定位節(jié)點(diǎn)11,2,3,4,5,6,

7,8,9節(jié)點(diǎn)21,2,3,4,5,6,7查索引求交集節(jié)點(diǎn)21,2,

4,6,7當(dāng)?shù)豐UM運(yùn)算（Hbase擴(kuò)展）匯總計(jì)算寫入緩存淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第20頁(yè)P(yáng)rom—數(shù)據(jù)冗余明細(xì)數(shù)據(jù)大量冗余犧牲磁盤容量，以得到：防止明細(xì)數(shù)據(jù)網(wǎng)絡(luò)傳輸變大量隨機(jī)讀為次序讀淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第21頁(yè)小結(jié)NoSQL是SQL有益補(bǔ)充“預(yù)算”與“現(xiàn)算”權(quán)衡“當(dāng)?shù)亍迸c“集中”協(xié)同淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第22頁(yè)其它數(shù)據(jù)起源Prom其它應(yīng)用（淘詞、指數(shù)等）從isearch獲取實(shí)時(shí)店鋪、商品描述從主站搜索獲取實(shí)時(shí)商品數(shù)…異構(gòu)數(shù)據(jù)源怎樣整合統(tǒng)一？淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第23頁(yè)用中間層隔離前后端淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第24頁(yè)[pengchun]$tail~/logs/glider-rt2.log[14/Jun/:14:54:29+0800]"GET/glider/db/brand/brandinfo_d/get_hot_brand_top/where…HTTP/1.1"200170.065淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第25頁(yè)數(shù)據(jù)中間層—Glider多數(shù)據(jù)源整合UNIONJOIN輸出格式化PERCENT/RANKOVER…JSON輸出淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第26頁(yè)Glider架構(gòu)DispatcherController配置解析請(qǐng)求解析一級(jí)緩存actionMyFOXProm二級(jí)緩存datasourceJOINUNIONfilter淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第27頁(yè)緩存是系統(tǒng)化工程淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第28頁(yè)glider緩存系統(tǒng)前端產(chǎn)品一級(jí)緩存data二級(jí)緩存URL請(qǐng)求，nocache?nocache?nocache?Min(ttl)ttl,httpheaderetag,httpheader淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第29頁(yè)小結(jié)用中間層隔離前后端底層架構(gòu)對(duì)前端透明水平可擴(kuò)展性緩存是把雙刃劍降低后端存放壓力數(shù)據(jù)一致性問題緩存穿透與失效淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第30頁(yè)回顧關(guān)系型數(shù)據(jù)庫(kù)依然是王道

分庫(kù)分表、冷熱分離NoSQL是SQL有益補(bǔ)充

用冗余防止網(wǎng)絡(luò)傳輸和隨機(jī)讀用中間層隔離前后端

異構(gòu)數(shù)據(jù)源整合緩存是系統(tǒng)化工程

數(shù)據(jù)一致性、穿透與雪崩淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)第31頁(yè)矛盾之美SQLNoSQL計(jì)算時(shí)機(jī)“預(yù)算”Hadoop/實(shí)時(shí)計(jì)算引擎“現(xiàn)算”MyS