高可用分布式數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)實(shí)踐

1、 陳吉平Oracle ACE Director構(gòu)建oracle高可用環(huán)境一書作者2009年7月內(nèi)容介紹····淘寶網(wǎng)站發(fā)展歷程淘寶數(shù)據(jù)庫(kù)的發(fā)展歷程分布式數(shù)據(jù)庫(kù)體系架構(gòu)案例總結(jié)淘寶網(wǎng)站發(fā)展歷程25002008年:2000150010003.8W片/天交易額999.6億注冊(cè)用戶9800萬(wàn)賣出1.4億件服飾賣出1366萬(wàn)部手機(jī)賣出3130萬(wàn)張充值卡8W片尿片/天PV全網(wǎng)成交5002000片/天9000片/天2W片/天2003 2004 2005 2006 2007 2008 2009V1.0:最早的淘寶網(wǎng)· 2003年非典時(shí)期·使用LAMP

2、架構(gòu)(Linux, Apache, MySql, Php 業(yè)界流行的免費(fèi)開(kāi)源組合 很少的表,少量的數(shù)據(jù)用戶,交易,商品,其他 V2.0:持續(xù)發(fā)展·集中的數(shù)據(jù)庫(kù) IBM小型機(jī)+EMC存儲(chǔ) Oracle數(shù)據(jù)庫(kù) Scale up擴(kuò)展方式·寶貴的數(shù)據(jù)庫(kù)資源·單點(diǎn),不方便擴(kuò)展太多的應(yīng)用機(jī)器有限的鏈接池集中的數(shù)據(jù)庫(kù)Oracle數(shù)據(jù)庫(kù)其它數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展·分布式存儲(chǔ)(TFS解決海量,非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ) Key-Value數(shù)據(jù),如圖片Array·分布式Cache(Tair Cache才是王道 高可用之雙機(jī)房構(gòu)架· Data Guard + Redo

3、 Mirror V3.0:垂直擴(kuò)展·基于服務(wù)的構(gòu)架體系用戶中心,商品中心等每個(gè)業(yè)務(wù)有獨(dú)立的應(yīng)用與 數(shù)據(jù)庫(kù)環(huán)境可單獨(dú)部署與擴(kuò)展·非核心數(shù)據(jù)從Oracle 遷 移MySQL E.g.,收藏夾 節(jié)省費(fèi)用V4.0:水平擴(kuò)展-讀寫分離·水平擴(kuò)展構(gòu)架體系 Scale out的解決方案緩解主庫(kù)的壓力獨(dú)特的消息中間件同步方式(Notify·讀庫(kù)可以是Oracle或者是Mysql。讀庫(kù)可擴(kuò)展壞掉任何一個(gè)讀庫(kù),不影響業(yè)務(wù)V4.0:水平擴(kuò)展-水平拆分·水平擴(kuò)展構(gòu)架體系A(chǔ)rray Scale out的解決方案對(duì)業(yè)務(wù)基本透明可動(dòng)態(tài)擴(kuò)展·支持任何數(shù)據(jù)庫(kù)·

4、;未來(lái)支持多主結(jié)構(gòu)壞掉任何一個(gè)主庫(kù),不影響業(yè)務(wù)·未來(lái)支持壓力動(dòng)態(tài)均衡數(shù)據(jù)可以動(dòng)態(tài)分布可以方便的擴(kuò)展/減少數(shù)據(jù)庫(kù)主機(jī)數(shù)據(jù)平臺(tái) 未來(lái):多數(shù)據(jù)中心分布未來(lái):云計(jì)算與平臺(tái)服務(wù)·平臺(tái)服務(wù)如Amazon的S3,Ec2,Simple Db,存儲(chǔ)服務(wù)和標(biāo)準(zhǔn)的開(kāi)放持久層不一定需要數(shù)據(jù)庫(kù) Case 1:讀寫分離· 2009年實(shí)現(xiàn) Oracle到Mysql主庫(kù)集中,讀庫(kù)水平分割(主庫(kù)的1/N寫操作與部分重要的讀操讀/寫主表讀1,2作回主庫(kù),其它的讀操作回讀庫(kù)讀庫(kù)故障可回主庫(kù)·收到的成效緩解主庫(kù)的壓力瓶頸讀節(jié)點(diǎn)可擴(kuò)展性能提升12345678復(fù)制3,45,67,8讀寫分離體系結(jié)構(gòu)

5、ApplicationTDDLRead Write & ReadReplication data(自主技術(shù)主數(shù)據(jù)庫(kù)Case 2:水平分割· 2009年實(shí)現(xiàn)Array Mysql解決方案水平分割規(guī)劃16個(gè)數(shù)據(jù)庫(kù),1024張表分拆之前,單表16億條記錄·收到的成效成本節(jié)省速度更快擴(kuò)展性提高水平分割體系結(jié)構(gòu)圖ApplicationTDDLWrite & ReadReadTDDL分布需要好的監(jiān)控體系·好的系統(tǒng),需要好的監(jiān)控總結(jié)·數(shù)據(jù)庫(kù)技術(shù)發(fā)展的取決于業(yè)務(wù)與數(shù)據(jù)的規(guī)模沒(méi)有最好的,只有最合適的·數(shù)據(jù)庫(kù)技術(shù)需要結(jié)合整體構(gòu)架一起考慮不是所有的東西都要用數(shù)據(jù)庫(kù)配