開放平臺(tái)下數(shù)據(jù)庫高性能高可用方案_第1頁
開放平臺(tái)下數(shù)據(jù)庫高性能高可用方案_第2頁
開放平臺(tái)下數(shù)據(jù)庫高性能高可用方案_第3頁
開放平臺(tái)下數(shù)據(jù)庫高性能高可用方案_第4頁
開放平臺(tái)下數(shù)據(jù)庫高性能高可用方案_第5頁
已閱讀5頁,還剩43頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、我們是誰l 沃趣科技成員l沃趣科技概況成立于2012年6月,由原阿里巴巴DBA/SA團(tuán)隊(duì)的技術(shù)骨干組成的創(chuàng)業(yè)團(tuán)隊(duì) 多年運(yùn)維經(jīng)驗(yàn),技術(shù)領(lǐng)域涉及Oracle、MySQL、系統(tǒng)和運(yùn)維自動(dòng)化ll服務(wù)ll數(shù)據(jù)庫和系統(tǒng)的架構(gòu)設(shè)計(jì)、優(yōu)化、實(shí)施開放平臺(tái)技術(shù)推廣:開源數(shù)據(jù)庫,Linux,中間件,F(xiàn)lashQData for Oracle 高性能數(shù)據(jù)庫一體機(jī)QData for MySQL 高性能數(shù)據(jù)庫一體機(jī)lll優(yōu)勢(shì)lllllQMonitor 數(shù)據(jù)庫平臺(tái)十年互聯(lián)網(wǎng)運(yùn)維理念 百TB數(shù)據(jù)高效處理能力千套數(shù)據(jù)庫和系統(tǒng)綜合能力萬臺(tái)服務(wù)器架構(gòu)設(shè)計(jì)能力研發(fā)的數(shù)據(jù)庫運(yùn)維成員¡ 陳棟(grassbell)創(chuàng)始人CEO阿

2、里巴巴工作8年,任DBA團(tuán)隊(duì)資深經(jīng)理。經(jīng)歷了Oracle從PC Server+磁盤陣列 到IBM小型機(jī)+高端的升級(jí),也經(jīng)歷了從集中式Oracle 到分布式MySQL的變遷。¡ 李建輝專注系統(tǒng)曾在阿里巴巴從事系統(tǒng)、等維護(hù)、管理工作9年。經(jīng)歷阿里巴巴從百萬到億級(jí)PV,熟知在各種時(shí)期下架構(gòu)、性能優(yōu)化。¡ 羅春 專注Oracle數(shù)據(jù)庫原阿里巴巴高級(jí)數(shù)據(jù)庫,Oracle DBA團(tuán)隊(duì)技術(shù)Leader,負(fù)責(zé)上百套Oracle數(shù)據(jù)庫的運(yùn)維。擅長(zhǎng)數(shù)據(jù)庫優(yōu)化設(shè)計(jì),方案架構(gòu),提倡數(shù)據(jù)庫運(yùn)維自動(dòng)化。¡ 熊中哲 專注運(yùn)維自動(dòng)化原阿里巴巴高級(jí)數(shù)據(jù)庫工程師,參與過阿里云RDS內(nèi)部運(yùn)維自動(dòng)化的開

3、發(fā)工作,負(fù)責(zé)數(shù)據(jù)倉庫Oracle RAC數(shù)據(jù)庫運(yùn)維。專注于Oracle和MySQL的線上自動(dòng)化運(yùn)維方案的設(shè)計(jì)與實(shí)現(xiàn)。¡ 李春 專注MySQL數(shù)據(jù)庫原阿里巴巴MySQL DBA團(tuán)隊(duì)技術(shù)leader,管理超過3000個(gè)MySQL實(shí)例。實(shí)現(xiàn)阿里第一個(gè)將3億從Oracle+小型機(jī)到MySQL+PC Server的平滑遷移。阿里數(shù)據(jù)庫那些年l 從絲到土豪l 從集中式Oracle到分布式MySQLl 如今l 為什么要去IOE那些年,從絲到土豪04年:阿里的數(shù)據(jù)庫沒幾臺(tái),都運(yùn)行在PC服務(wù)器上, 已經(jīng)變成習(xí)慣增長(zhǎng)很快,宕機(jī)l05年:中國(guó)互聯(lián)網(wǎng)界第一臺(tái)IBM小型機(jī)在阿里落戶,從此阿里數(shù)據(jù)庫都逐漸變成了

4、IBM+Oracle+EMCl07年:這幾年,阿里業(yè)務(wù)增長(zhǎng)非常迅猛,但數(shù)據(jù)庫一直很穩(wěn)定,DBA的生活很安逸,技術(shù)沒有太多l(xiāng)08年:突飛猛進(jìn)的業(yè)務(wù),使得小型機(jī)和高端了不斷擴(kuò)容,成本l巨大。我們突然,被那些年,從集中式Oracle到分布式MySQL09年:開始嘗試把一些不重要的業(yè)務(wù)遷移到MySQL上,業(yè)務(wù)開始梳l理接口,為未來遷移到MySQL做到分庫分表做準(zhǔn)備,同時(shí)培養(yǎng)MySQL人才10年:對(duì)MySQL的信心越來越足,一些應(yīng)用逐漸遷從Oracle移到lMySQL,中文站3億Offer,淘寶的收藏夾(分別是阿里和淘寶歷史上最大數(shù)據(jù)量的業(yè)務(wù))。基于MySQL的分布式管理系統(tǒng)誕生,奠定了今后數(shù)據(jù)庫水平擴(kuò)

5、展及高可用的架構(gòu)。數(shù)據(jù)庫PC服務(wù)器超過400臺(tái)11年:淘寶最的用戶中心、商品完成從集中式到分布式的遷移,連交l易系統(tǒng)也開始向MySQL遷移。數(shù)據(jù)庫PC服務(wù)器超過1300臺(tái)12年:hbase,oceanbase,mongodb,greenplum,hadoopl如今整個(gè)阿里全面去掉了小型機(jī)和高端,數(shù)據(jù)庫全部運(yùn)行在PC服務(wù)器l上,配置SSD或者PCIe Flash除了支付寶賬務(wù)系統(tǒng)依然使用Oracle數(shù)據(jù)庫,其他所有業(yè)務(wù)l全部使用分布式MySQL海量數(shù)據(jù)分析業(yè)務(wù),運(yùn)行在阿里基于對(duì)Hadoop改造的云梯平臺(tái),接近2萬臺(tái)服務(wù)器l研發(fā)關(guān)系型數(shù)據(jù)庫OceanBase,其他nosql的嘗試l阿里超過100個(gè)

6、DBA,1/3負(fù)責(zé)系統(tǒng),2/3負(fù)責(zé)應(yīng)用支持l為什么去IOEl 成本l Oracle license雖然簽署了ULA協(xié)議,但平均下來也是每年超過千萬的費(fèi)用l 淘寶雙11額:10年9.36億,11年33.6億,12年191億,13年350億l 09年小型機(jī)和高端預(yù)算是nkw,如果還是這個(gè)架構(gòu),到2013年雙十一.l 計(jì)算能力、擴(kuò)展性的局限l IOE架構(gòu)很難滿足業(yè)務(wù)高速擴(kuò)張帶來的對(duì)性能和擴(kuò)展性的要求l 避免商業(yè)、硬件設(shè)備的l 技術(shù)團(tuán)隊(duì)需要具備將數(shù)據(jù)可以遷移到任何一種數(shù)據(jù)庫平臺(tái)的能力l 技術(shù)領(lǐng)先性的驅(qū)動(dòng)l 阿里要成為互聯(lián)網(wǎng)企業(yè)中的技術(shù)領(lǐng)頭羊l 100+的DBA團(tuán)隊(duì),5000+ 的技術(shù)團(tuán)隊(duì)如何去IOEl

7、 傳統(tǒng)數(shù)據(jù)庫架構(gòu)l 小型機(jī) vs PC服務(wù)器l 高端vs Flash技術(shù)l 共享Redo+Flash的架構(gòu)l QData for Oracle數(shù)據(jù)庫一體機(jī)架構(gòu)l QData Oracle RAC雙節(jié)點(diǎn) FREE-SAN架構(gòu)l Oracle vs MySQL or NoSQLl QData for MySQL一體機(jī)架構(gòu)傳統(tǒng)數(shù)據(jù)庫架構(gòu)· 主數(shù)據(jù)庫· 主數(shù)據(jù)庫··DG數(shù)據(jù)庫存放主數(shù)據(jù)庫Online Redo的一組Member, 保障切換DG后數(shù)據(jù)0丟失···物理HA備機(jī)實(shí)時(shí)Dataguard 延時(shí)Dataguard穩(wěn)定;成本高;黑

8、盒子;難擴(kuò)展小型機(jī) vs PC服務(wù)器l X86 cpu與Power cpu的對(duì)比(spec)l HP ProLiant DL560 Gen8(2.70 GHz,32core, Intel Xeon E5-4650) SPECint_rate2006 =1240l IBM Power 750 Express(3.3 GHz, 32 core)SPECint_rate2006 =1010l 穩(wěn)定性是l 中國(guó)問題大型機(jī)宕機(jī)4小時(shí)l 阿里小型機(jī)穩(wěn)定運(yùn)行7年后,宕機(jī)5小時(shí)l 不能依賴于硬件本身l 基于PC服務(wù)器高可用方案l Dataguard HAl 共享架構(gòu)HAl 共享Redo+Flash的架構(gòu)Dat

9、aguard HAQGuard HA系統(tǒng)QGuard HA系統(tǒng)3.ping網(wǎng)關(guān)確定不是孤島gatewaygateway2.檢查備庫恢復(fù)延遲1.自動(dòng)切換數(shù)據(jù)庫,可能丟數(shù)據(jù)1.update xdual(heartbeat)3.情況下可強(qiáng)行poweroff 服務(wù)器2.漂移VIPVIPVIPDataguardDataguardPrimary DBPrimary DB發(fā)生切換正常狀態(tài)Maxium Avaliable高端vs Flash技術(shù)互聯(lián)設(shè)備EthernetSANInfinibandBandwidth110Gb/s816Gb/s4056Gb/sLatency10us2us200nsSAS磁盤SSDP

10、CIe Flash設(shè)備IOPS1502006,000100,000Throughput150MB/s250MB/s1.5GB/sLatency10ms100us30usPCIe Flashl 可用性 類似Raid5+hotspare MLC 10000次擦寫320G 可寫 4PB 受PC服務(wù)器影響l 擴(kuò)展性 容量單卡超過3TB 受限于PCIe插槽數(shù)量l TCO 服務(wù)器數(shù)量縮減8:1 省機(jī)架、省電 管理方便,運(yùn)維成本降低VSIOPS吞吐成本高端(200塊磁盤)5萬700MB超過百萬PCIe Flash10萬1.5GB1/10Infiniband的高帶寬,低延遲共享Redo+Flash的架構(gòu)-支付

11、寶QGuard HA系統(tǒng)QGuard HA系統(tǒng)2.備庫將的datafile,3.ping網(wǎng)關(guān)確定不是孤島gateway2.檢查備庫恢復(fù)延遲1.update xdual(heartbeat)VIP應(yīng)用原主庫onlineredoctrlspfile恢復(fù),保證數(shù)據(jù)零丟失,將備庫切換到主庫4.poweroff原主庫服務(wù)器VIP3.新主庫接管VIP, 提供數(shù)據(jù)庫服務(wù)1.將共享掛DataguardPrimary DB載到備用服務(wù)器· 主、備庫數(shù)據(jù)文件存放于本地flash設(shè)備上獲得高IO· 共享,只存放主庫online redo、ctrl、spfile正常狀態(tài)發(fā)生切換Maxium Ava

12、liableQData for Oracle數(shù)據(jù)庫一體機(jī)架構(gòu)計(jì)算節(jié)點(diǎn)高配PC服務(wù)器,運(yùn)行Oracle 11g R2,支持單實(shí)例和RAC架構(gòu),提供數(shù)據(jù)運(yùn)算服務(wù). 經(jīng)過驗(yàn)證的OS及版本:· Linux (RHEL 5.*,6.3)··CentOS(RHEL 5.*,6.3) SUSE(11.1,11.2)QLinkQLink高速互聯(lián)基于Infiniband的低延遲(端到端延遲200ns以內(nèi))、高帶寬互聯(lián)技術(shù),用于將節(jié)點(diǎn)的Flash和磁盤輸出到計(jì)算節(jié)點(diǎn),供數(shù)據(jù)庫使用。QLinkQLinkQLink節(jié)點(diǎn)配置Flash卡和SAS磁盤,提供數(shù)據(jù)服務(wù)。輸出方式:· Q

13、Link基于rdma相關(guān)的Infiniband 40/56Gb輸出協(xié)議實(shí)現(xiàn)·FC 4/8Gb,F(xiàn)CoE 10GbInfinibandInfinibandQLink高性能組件RDMA(Remote Direct Memory Access): 通信繞過OS和CPU,CPU利用率低,IO延遲低全RDMA實(shí)現(xiàn):帶來的好處:l 在IO、心跳方面的開銷大大降低之間的rdmall RAC之間GC的rdmal RAC 集群可以有的節(jié)點(diǎn)QLink運(yùn)維自動(dòng)化計(jì)算節(jié)點(diǎn) 多路徑管理 磁盤狀態(tài)管理 鏈路狀態(tài)管理 磁盤attach 磁盤detach節(jié)點(diǎn) 磁盤屬性修改 動(dòng)態(tài)增刪磁盤磁盤智能管理 從ASM發(fā)現(xiàn)壞盤

14、,到節(jié)點(diǎn)更換磁盤, 數(shù)據(jù)rebalance,整個(gè)流程無需人工干預(yù)。 通過自動(dòng)化軟件實(shí)現(xiàn)了磁盤的hotspare,磁盤更換,build功能。平衡、可擴(kuò)展的架構(gòu) 單卡100000隨機(jī)iops 800MB以上吞吐每個(gè)端口40/56Gb 納秒級(jí)別延遲 最多達(dá)240coreQLink RDMA 高性能組合高可用的架構(gòu)全冗余架構(gòu)基于所有硬件不可靠性設(shè)計(jì)的全冗余架構(gòu)Oracle高可用RAC自身實(shí)現(xiàn)數(shù)據(jù)高可用通過ASM/Veritas Volume Manager/cLVM 等實(shí)現(xiàn)的數(shù)據(jù)多份寫入設(shè)備全冗余節(jié)點(diǎn)、交換機(jī)、鏈路全冗余QData與傳統(tǒng)架構(gòu)對(duì)比傳統(tǒng)架構(gòu)QData計(jì)算能力IBM Power6:(4 cp

15、u×8 core×16線程,4.7GHz) SPEC 得分206Intel X5570:(4cpu×8 core×16線程,2.93GHz)SPEC 得分:243網(wǎng)絡(luò)互聯(lián)設(shè)備:FC SAN 帶寬:816Gb 延時(shí):2µs級(jí)別設(shè)備:Infiniband 帶寬:主流為40Gb 延時(shí):200ns左右(通過IB解決RAC節(jié)點(diǎn)互聯(lián))性能介質(zhì):SAS機(jī)械磁盤延時(shí):6ms吞吐(單塊盤):150MB左右IOPS(單塊盤):160左右配置200塊磁盤的,可提供5 萬IOPS及700MB/s吞吐能力介質(zhì):Flash卡技術(shù)延時(shí):10µs級(jí)別吞吐(單塊盤):

16、1.5GB/s IOPS(單塊盤):20w左右最低配置3個(gè)節(jié)點(diǎn)即可提供14萬IOPS和4GB的吞吐能力整體投入非常高價(jià)格透明,50%以內(nèi)QData for Oracle 一體機(jī)配置配置與技術(shù)指標(biāo)組件類型硬件詳細(xì)配置數(shù)量CPU內(nèi)存磁盤計(jì)算節(jié)點(diǎn)服務(wù)器Intel E5-2640*2 或AMD Opteron 6274*296GBSAS 15K 450GB*62服務(wù)器Intel E5-2600*1 或AMD Opteron 6212*124GBSAS 15K 450GB*63節(jié)點(diǎn)Flash卡PCIe Flash卡3交換機(jī)IB交換機(jī)Mellanox 36-port Grid Director 4036

17、Series Switches2HCA卡ConnectX®-3 VPI adapter card, dual-port QSFP7IB數(shù)據(jù)線Mellanox copper cable16QLink軟件沃趣QLink高速互聯(lián)軟件3容量、性能指標(biāo)總攬可用容量(TB)混合IOPS (75/25 r/w)吞吐量延遲RAC GCFlash 卡磁盤1400004GB/s<2ms600MB1.926.75數(shù)據(jù)庫 Failover指標(biāo)總攬鏈路切換節(jié)點(diǎn)切換計(jì)算節(jié)點(diǎn)切換<2s<15s<3sQData一體機(jī)優(yōu)勢(shì)¡ 開放使用x86通用平臺(tái)、PCIe Flash高性能卡替代封

18、閉體系的小型機(jī)l、高端¡ 定制l 基于用戶需求提供定制化的計(jì)算性能和容量¡ 高性能l 510倍于傳統(tǒng)架構(gòu)的性能提升,在OLTP場(chǎng)景下性能不低于OracleExadata¡ 高可用l 計(jì)算層、互聯(lián)層、¡ 高性價(jià)比層無單點(diǎn),全冗余l(xiāng) 低于傳統(tǒng)架構(gòu)50%的成本,專業(yè)的服務(wù)團(tuán)隊(duì)QData案例一:中國(guó)移動(dòng)浙江閱讀基地¡ 與傳統(tǒng)架構(gòu)對(duì)比測(cè)試l 基于QDATA架構(gòu)的Oracle數(shù)據(jù)庫的IOPS最高可達(dá)12.98萬,每秒SQL語句的 執(zhí)行數(shù)超過11萬。l 在同等環(huán)境下,其IOPS和SQL執(zhí)行數(shù)分別為傳統(tǒng)架構(gòu)的9.7倍和4.1倍¡ 小庫整合項(xiàng)目l 移動(dòng)

19、學(xué)習(xí)DB(300G)l 云書架DB(1.5T)報(bào)云端DB(300G) 報(bào)(200G)lll 等共超過10套小庫¡ QData上線效果l 3個(gè)計(jì)算節(jié)點(diǎn)、3個(gè)節(jié)點(diǎn)、7TB Flash容量l 實(shí)現(xiàn)在10GB/s吞吐,50萬IOPS的l 數(shù)據(jù)庫處理能力得到10倍以上的提升l 管理成本急劇降低性能QData案例二:平安金融科技通¡ 項(xiàng)目背景通平臺(tái),主要用于,活動(dòng)兌換ll 原數(shù)據(jù)庫采用HP小機(jī)加陣列¡ 客戶的困境l 設(shè)備維保到期,續(xù)保還是新購?預(yù)算成本受到極大l 業(yè)務(wù)l 傳統(tǒng)急增,系統(tǒng)IO出現(xiàn)瓶頸,期達(dá)1.5W IOPScache不夠,單個(gè)IO響應(yīng)時(shí)間高達(dá)13ms,應(yīng)用連接池

20、暴增l 業(yè)務(wù)促銷對(duì)數(shù)據(jù)庫是,如何應(yīng)對(duì)現(xiàn)有規(guī)模2倍以上的沖擊l 項(xiàng)目周期短,新采購設(shè)備到貨周期能否盡量縮短¡ QData上線效果l 2個(gè)計(jì)算節(jié)點(diǎn)、3個(gè)節(jié)點(diǎn)、5TB Flash容量,4GB/s吞吐,14萬IOPS的性能l 整體QPS提升300%,事務(wù)處理能力提升200%期IO響應(yīng)時(shí)間穩(wěn)定在1ms,系統(tǒng)余量足夠支持業(yè)務(wù)促銷l¡ 用戶反饋“QData上線后,系統(tǒng)IO的響應(yīng)速度明顯提升,現(xiàn)在業(yè)務(wù)期延遲在1毫秒,并發(fā)lIOPS上升到2W,即使是在活動(dòng)促銷期間,我們的數(shù)據(jù)庫也可以穩(wěn)定運(yùn)行,這確實(shí)是個(gè)低成本,高的方案,我們?cè)诤罄m(xù)的,杭州容災(zāi)體系里面也引入了這套架構(gòu)?!盦Data案例二:平安

21、金融科技通¡ 上線前后對(duì)比上線前上線后急增但響應(yīng)時(shí)間降低到1ms傳統(tǒng)IO響應(yīng)時(shí)間QDataIO響應(yīng)時(shí)間QData案例三:寧波市政務(wù)云計(jì)算中心寧波市政務(wù)云計(jì)算中心:l 市主導(dǎo)建設(shè),統(tǒng)一的政務(wù)信息共享和政務(wù)應(yīng)用支撐、孵化平臺(tái)。建設(shè)目標(biāo):l QData數(shù)據(jù)庫一體機(jī)為政務(wù)云的DaaS層提供技術(shù)支持l 全市的電子政務(wù)數(shù)據(jù)架構(gòu)體系,規(guī)范和引導(dǎo)應(yīng)用項(xiàng)目建設(shè)l 全市電子政務(wù)數(shù)據(jù)的深度融合共享,為綜合管理、協(xié)同工作奠定基礎(chǔ)l 有效的數(shù)據(jù)挖掘,為城市的綜合管理與公共服務(wù)提供必要的決策支持l 提供標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù),為智慧城市建設(shè)各項(xiàng)應(yīng)用提供數(shù)據(jù)服務(wù)支撐技術(shù)參數(shù):l 配置:2個(gè)計(jì)算節(jié)點(diǎn),4個(gè)節(jié)點(diǎn),6.4T可Q

22、LinkQLink用Flash空間l 性能:可支撐31.5萬8K IOPS,3.4GB吞吐l 高可用:在高下,進(jìn)行斷鏈路、poweroff的破壞性測(cè)試,數(shù)據(jù)庫表現(xiàn)穩(wěn)定QLinkQLinkQLinkQLinkInfinibandInfinibandQData Oracle RAC雙節(jié)點(diǎn) FREE-SAN架構(gòu)物理架構(gòu)圖邏輯架構(gòu)圖l 高性能PCIe Flash、Intel x86 新一代CPU配置大內(nèi)存QLink實(shí)現(xiàn)高效無損性能傳輸雙40Gb鏈路及HAIP的雙機(jī)高性能互聯(lián)l 高可用Oracle RAC + ASM2條鏈路的voting,fencing機(jī)制確保正常工作l 低成本無需SAN Switch

23、、l 可擴(kuò)展可完成到QData 三層架構(gòu)的擴(kuò)展Oracle vs MySQL or NoSQLl Oraclel 商業(yè)軟件,數(shù)據(jù)庫巨人l 穩(wěn)定,功能強(qiáng)大,代碼嚴(yán)謹(jǐn),極少低級(jí)bugl license很貴,軟件黑盒子,屬于重量級(jí)數(shù)據(jù)庫l 適合傳統(tǒng)行業(yè),業(yè)務(wù)場(chǎng)景復(fù)雜,對(duì)數(shù)據(jù)庫穩(wěn)定性要求非常高的業(yè)務(wù)(運(yùn)營(yíng)商、l MySQLl 開源),輕量級(jí)數(shù)據(jù)庫l 開放、活躍的社區(qū),優(yōu)秀的開源分支Percona、MariaDBl 擴(kuò)展性好,可定制,地雷多l(xiāng) 適合于變化非??斓幕ヂ?lián)網(wǎng),業(yè)務(wù)場(chǎng)景簡(jiǎn)單,數(shù)據(jù)量急劇膨脹,但數(shù)據(jù)的重要 性相對(duì)不那么carel NoSQL特定場(chǎng)景,社區(qū)不成熟,運(yùn)維問題,曇花一現(xiàn)l常用MySQL架

24、構(gòu)一主多從數(shù)據(jù)恢復(fù)Dead MasterLatest SlaveSlave(i)masterslave112slave23slave34主備切換:a. 盡可能保存master的binlogb. 尋找Latest Slave,應(yīng)用其差異binlog到其他Slave c.將保存的master的binlog應(yīng)用到所有slaved.選定某個(gè)slave為新master,修改其他slave指向它數(shù)據(jù)恢復(fù):1.等待Slave的SQL thread執(zhí)行完所有的events 2.補(bǔ)齊Partial Transaction,并應(yīng)用3. 將Latest Slave新于其他Slave的數(shù)據(jù)應(yīng)用4. 將Dead Mas

25、ter新于Latest Slave的數(shù)據(jù)應(yīng)用到所有slave5.6 Global Transaction ID常用MySQL架構(gòu)阿里ShardingAPPDB proxydb1技術(shù)點(diǎn) DB proxy,數(shù)據(jù)路由+HA 犧牲跨庫join和事務(wù) SQL都要有分庫鍵條件db2db1'db3單機(jī)多實(shí)例db2' Flash, Flashcache、Flashdisk。 Numa、CGroup,分配CPU內(nèi)存 網(wǎng)卡軟中斷db3'QData for MySQL一體機(jī)架構(gòu)l QLink主備高速互聯(lián),binlog數(shù)據(jù)共享,確保主備之間數(shù)據(jù)零丟失,且備庫可讀l 對(duì)于一主多從架構(gòu),主庫可自動(dòng)

26、故障切換,對(duì)所有從庫透明,并繼續(xù)l 多年運(yùn)維經(jīng)驗(yàn)的配置最佳實(shí)踐,集成QMonitorl 嵌入高性能PCIe Flash技術(shù)提升IO性能平臺(tái),QGuard高可用系統(tǒng)數(shù)字化運(yùn)維l QMonitor數(shù)據(jù)庫平臺(tái)QMonitor數(shù)據(jù)庫平臺(tái)¡ 實(shí)警l 支持多個(gè)數(shù)據(jù)庫項(xiàng),根據(jù)用戶設(shè)置及時(shí)有效地將數(shù)據(jù)庫的異和郵件方式通知用戶及運(yùn)維常進(jìn)行,通過¡ 狀態(tài)曲線l 支持140多項(xiàng)指標(biāo),6種粒度和三種對(duì)比方式,動(dòng)態(tài)實(shí)時(shí)的將性能數(shù)據(jù)通過圖表的方式呈現(xiàn)給用戶,方便用戶進(jìn)行性能優(yōu)化分析¡ 報(bào)表中心l 對(duì)空間,性能, 呈現(xiàn)給用戶,運(yùn)行時(shí)間等各個(gè)維度繪制報(bào)表,關(guān)鍵數(shù)據(jù)¡ 特色功能l 例如A

27、WR報(bào)告自動(dòng),自動(dòng)分析,備庫的延時(shí)性能和監(jiān)控,自動(dòng)巡檢,性能智能推薦等QMonitor數(shù)據(jù)庫平臺(tái)¡ 支持的數(shù)據(jù)庫及OS列表l Oracle 9i11g/MySQL 5.05.6/Percona /MariaDBl IBM AIX ;HP-UX; Linux:REHL, CentOS, Federa, SUSE, SunOS¡ 軟件優(yōu)勢(shì)l 零客戶端:對(duì)目標(biāo)零侵入,性能影響極小l 分布式架構(gòu):通過水平擴(kuò)展,可1000個(gè)以上數(shù)據(jù)庫實(shí)例l 功能實(shí)用:功能設(shè)計(jì)是DBA多年運(yùn)維經(jīng)驗(yàn)的結(jié)晶l 運(yùn)維自動(dòng)化:自動(dòng)巡檢、性能異常自動(dòng)捕獲,極大降低人力成本l 低學(xué)習(xí)成本:簡(jiǎn)單實(shí)用,快速掌握l 高

28、度可定制:根據(jù)用戶需要增加個(gè)性化功能l 服務(wù):多年互聯(lián)網(wǎng)運(yùn)維經(jīng)驗(yàn)的數(shù)據(jù)庫運(yùn)維團(tuán)隊(duì)提供專業(yè)服務(wù)QMonitor數(shù)據(jù)庫平臺(tái)QMonitor數(shù)據(jù)庫平臺(tái)l 超過210個(gè)用戶Demoll客戶案例l 案例一:浙江電信Siebel數(shù)據(jù)庫優(yōu)化l 案例二:南方航空MySQL讀寫分離l 案例三:電信院線通l 案例四:浙江移動(dòng)閱讀基地案例一:浙江電信Siebel數(shù)據(jù)庫優(yōu)化¡ 客戶的困境l 集中式小型機(jī)+架構(gòu),性能遇到瓶頸,無法通過線性擴(kuò)展?jié)M足未來增長(zhǎng)l 傳統(tǒng)硬件架構(gòu)投入巨大,基于該架構(gòu)的分庫分表不現(xiàn)實(shí)l HP-UNIX上OGG存在BUG,讀寫分離方案無法實(shí)施¡ 我們的服務(wù)l 將現(xiàn)有的小型機(jī)+架構(gòu)

29、首先過渡到x86 PC Server+架構(gòu),實(shí)現(xiàn)去Il 配合應(yīng)用,分地市進(jìn)行數(shù)據(jù)分離,實(shí)現(xiàn)一定程度的水平拆分l 通過OGG將數(shù)據(jù)到多套QData,實(shí)現(xiàn)讀寫分離方案,部分程度去E¡ 對(duì)客戶的價(jià)值l 引入開放x86架構(gòu),替換封閉的小型機(jī)及部分,節(jié)約硬件投入的風(fēng)險(xiǎn)l 數(shù)據(jù)庫拆分成小庫,分流,降低集中高l 利用遷移拆分,可以整理并初始化現(xiàn)有表的數(shù)據(jù),大幅收縮空洞數(shù)據(jù)l 解決HP-UNIX上OGG不能實(shí)時(shí)傳輸?shù)膯栴}案例二:南方航空MySQL讀寫分離¡ 客戶的困境l 數(shù)據(jù)庫軟硬件成本巨大l 從封閉架構(gòu)到開源架構(gòu)的嘗試與技術(shù)積累¡ 我們的服務(wù)l 將在AIX平臺(tái)和Window平臺(tái)的Websphere逐步替換成Linux REHL+apache+tomcatl 提供Oracle向MySQL全量同步和增量同步的方案和軟件¡ 對(duì)客戶的價(jià)值l 數(shù)據(jù)庫性能得到最大

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論