從光棍節(jié)看天貓技術(shù)架構(gòu)課件

1、從光棍節(jié)看天貓技術(shù)架構(gòu)龍庚2012年9月0:011000萬(wàn)用戶0:102.5億銷量0:3810億銷量0:7020億銷量2:1930億銷量8:0050億銷量13:00100億銷量24:00191億銷量增長(zhǎng)400倍2009年以來(lái)淘寶1111銷量迅速增長(zhǎng)了400倍傳統(tǒng)的企業(yè)閉源套件并不一定適合新時(shí)代要求此價(jià)一出，勝負(fù)已分！打不開(kāi)網(wǎng)頁(yè)的某些渠道，你怎么跟我拼呢？淘寶是如何應(yīng)對(duì)巨大的訪問(wèn)量？淘寶技術(shù)架構(gòu)演進(jìn)的啟示淘寶技術(shù)架構(gòu)演進(jìn)的啟示總體架構(gòu)分解：按不同的業(yè)務(wù)領(lǐng)域、用戶群來(lái)分解業(yè)務(wù)復(fù)雜性分配：將業(yè)務(wù)需求分配到各個(gè)公司、部門、系統(tǒng)、服務(wù)系統(tǒng)/服務(wù)可獨(dú)立部署和維護(hù)，它們之間多采用分布式交互業(yè)務(wù)劃分(總體架構(gòu)

2、)系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)分解：按不同的技術(shù)層次來(lái)分解技術(shù)復(fù)雜性分配：將技術(shù)需求分配到各個(gè)中間件、容器、框架、工具組件容器/框架通過(guò)特定的技術(shù)模式來(lái)透明或半透明地解決技術(shù)問(wèn)題應(yīng)用優(yōu)化局部調(diào)優(yōu)（數(shù)據(jù)存?。┓纸猓喊磾?shù)據(jù)的位置、讀寫、計(jì)算特性等分解數(shù)據(jù)存取復(fù)雜性分配：將數(shù)據(jù)分配到各個(gè)數(shù)據(jù)庫(kù)、索引庫(kù)、存儲(chǔ)系統(tǒng)、Cache不同的存儲(chǔ)技術(shù)適合于不同的數(shù)據(jù)存取需求Load Balance(F5, Alteon)ApacheJbossDatabaseSearch EngineApacheJbossApacheJbossApacheStatic ResourceCacheStorage用戶請(qǐng)求處理 淘寶在杭州有6個(gè)同城

3、災(zāi)備機(jī)房，包括的應(yīng)用、數(shù)據(jù)災(zāi)備；異地災(zāi)備：青島定期災(zāi)備演練：每半個(gè)月進(jìn)行機(jī)房down機(jī)演練突擊災(zāi)備演練：在不通知開(kāi)發(fā)人員情況下，突然對(duì)整個(gè)機(jī)房斷電，檢查服務(wù)是否正常能運(yùn)行，警告、短信通知是否正常報(bào)警；硬件隔離策略兩層隔離：第一層用虛擬機(jī)器，第二層用Linux Cgroup進(jìn)程隔離單片機(jī)一臺(tái)隔成幾臺(tái)，例如一臺(tái)40G內(nèi)存的機(jī)器，對(duì)web可以隔離為每個(gè)應(yīng)用8G，利于GVM管理，內(nèi)存更加有效超大壓力降級(jí)策略降級(jí)服務(wù)策略HSF：用于應(yīng)用之間互相調(diào)用，上萬(wàn)個(gè)服務(wù)，應(yīng)用只需要知道對(duì)方的接口名即可以進(jìn)行調(diào)用，實(shí)現(xiàn)了實(shí)時(shí)、分布式；調(diào)度中心：類似于UDDI，存儲(chǔ)所有的服務(wù)注冊(cè)，主動(dòng)推送給調(diào)用方；配置中心：集中所有

4、配置長(zhǎng)連接監(jiān)控：通過(guò)心跳方式，實(shí)時(shí)監(jiān)控服務(wù)器狀態(tài)服務(wù)調(diào)度策略P4平臺(tái)：根據(jù)壓力自動(dòng)查詢可服務(wù)機(jī)器數(shù)，達(dá)到上限前報(bào)警自動(dòng)伸縮部署：某些服務(wù)壓力過(guò)大，可人工干預(yù)，自動(dòng)從配置中心下載war、配置進(jìn)行自動(dòng)部署配置中心：運(yùn)行期需要的數(shù)據(jù)庫(kù)鏈接、服務(wù)地址、圖片存儲(chǔ)的位置等統(tǒng)一存儲(chǔ)和配置；服務(wù)調(diào)度彈性負(fù)載策略大規(guī)模使用緩存和索引技術(shù)；服務(wù)同時(shí)將業(yè)務(wù)數(shù)據(jù)寫入緩存和數(shù)據(jù)庫(kù)搜索查詢采用全文檢索，來(lái)自于Yahoo團(tuán)隊(duì)搜索引擎；業(yè)務(wù)詳細(xì)數(shù)據(jù)采用緩存存儲(chǔ)兩級(jí)緩存：Memcache內(nèi)存、Redis內(nèi)存+磁盤緩存，新系統(tǒng)逐步采用Redis技術(shù)替換Memcache技術(shù)緩存與索引查詢策略淘寶在杭州有6個(gè)同城災(zāi)備機(jī)房，包括的應(yīng)用、數(shù)據(jù)災(zāi)備；異地災(zāi)備：青島定期災(zāi)備演練：每半個(gè)月進(jìn)行機(jī)房down機(jī)演練突擊災(zāi)備演練：在