高可用數(shù)據(jù)庫平臺架構(gòu)及日常管理經(jīng)驗介紹整理ppt

1、高可用數(shù)據(jù)庫平臺架構(gòu) 及日常管理經(jīng)驗介紹 研發(fā)中心研發(fā)中心 邵宗文邵宗文 傳統(tǒng)基礎(chǔ)設(shè)施平臺 無法解決擁堵問題，不適合繁華地區(qū)。 高可用的基礎(chǔ)設(shè)施平臺 為何需要搭建數(shù)據(jù)庫平臺n各大部門自己申請數(shù)據(jù)庫服務(wù)器，運維成本過高。n操作系統(tǒng)，數(shù)據(jù)庫版本不一。n出現(xiàn)突發(fā)熱點，造成數(shù)據(jù)庫讀寫訪問巨增，受限于部門數(shù)據(jù)庫資源機器，而錯失擴大業(yè)務(wù)良機。n缺乏統(tǒng)一的數(shù)據(jù)庫服務(wù)器性能監(jiān)控和報警。n新項目產(chǎn)品上線數(shù)量過多，單個部門的數(shù)據(jù)庫資源無法滿足。n無專門的人進行全局數(shù)據(jù)庫各種讀寫操作統(tǒng)計的分析。n存在磁盤故障導(dǎo)致不可訪問，無自動切換的問題。目前新浪數(shù)據(jù)庫平臺現(xiàn)狀n多個idc數(shù)據(jù)中心nmysql5.0n數(shù)據(jù)庫服務(wù)幾百

2、臺.(不斷增長中)n約有幾百t的數(shù)據(jù)量.（線上+備份存檔）n約有幾百個項目產(chǎn)品使用。n平臺重點產(chǎn)品有：財經(jīng)，體育，統(tǒng)一通行證，無線wap，讀書，音樂，空間, 通用投票，博客圈，博客雜志，汽車，科技，發(fā)布系統(tǒng)等。 不可避免的故障高可用數(shù)據(jù)庫架構(gòu)機器故障容錯idc級容災(zāi)誤操作之后快速恢復(fù)自動化監(jiān)控報警數(shù)據(jù)庫網(wǎng)絡(luò)結(jié)構(gòu)簡圖數(shù)據(jù)庫平臺的其他好處：n提升全球擴展性，包括新浪香港和北美等都能共享到重要數(shù)據(jù)資源，如體育，財經(jīng)數(shù)據(jù)。n讓用戶訪問就近idc，提升服務(wù)質(zhì)量。n很多剛開始的項目可以混用同一個服務(wù)器資源。關(guān)于一些數(shù)據(jù)庫日常管理的經(jīng)驗介紹n如何去了解應(yīng)用項目的數(shù)據(jù)庫使用情況？n大項目的有效切分方式？n一個

3、庫下多少表比較合適？n長期運行的數(shù)據(jù)庫，如何避免表性能下降？n減少慢查詢語句的方法有哪些？n數(shù)據(jù)庫服務(wù)器負載急劇上升的主要原因？ 不要超過自身運輸能力數(shù)據(jù)庫應(yīng)用項目規(guī)劃和優(yōu)化原則1. 了解自己的應(yīng)用n應(yīng)用類型讀多寫少（如體育，讀書），讀寫比例差不多（如音樂），和寫多讀少（如投票，統(tǒng)計）n預(yù)計數(shù)據(jù)量半年？一年？后續(xù)擴展？ 決定單表還是多表，擴展的方法(hash分表) n預(yù)計訪問量多少讀？多少寫？峰值？ com_select,com_update(insert,delete)n實時數(shù)據(jù)和非實時數(shù)據(jù)哪些必須實時查詢？哪些可以預(yù)先準備或可以cache？哪些用于統(tǒng)計匯總？n時間的要求實時性高的項目，如財

4、經(jīng)，體育，實時性低的項目如博客圈等。 合理分配調(diào)度，實現(xiàn)全球快速到達。2.如何對大應(yīng)用項目切分n保證數(shù)據(jù)庫單個實例盡量不要超過150g。n切分盡量多的小實例，一個機器跑7-8個實例，平常load avg不超過1-2，峰值不超過6-7為合理。n分表原則的選擇按時間(財經(jīng))按id號hash分(統(tǒng)一通行證)按業(yè)務(wù)項目(通用投票)3. 單庫表數(shù)量的限制- 為什么？ - 受文件系統(tǒng)操作限制，文件數(shù)過大需要更多文件句柄，且大目錄操作造成復(fù)制、壓縮、備份效率低。 - 打開表占用數(shù)據(jù)庫資源（table_cache） 建議一個庫不應(yīng)超過300-400個表 建議一般帶char字段的表不應(yīng)超過500萬rows.基于

5、數(shù)字的字段為主的表不要超過1000萬rows. 4.表的優(yōu)化n正確使用索引，避免全表搜索n使用定長表,且定期做optimize table命令（注意這個命令會鎖表，請在數(shù)據(jù)庫訪問小的時候做）n在對大表進行添加索引，一定要選擇訪問小的時間段做，否則會導(dǎo)致嚴重問題。注:一般臨晨2-3點時候是大部分項目訪問的低谷。5.索引優(yōu)化、選擇和試驗n穩(wěn)妥地改進將需要優(yōu)化的相關(guān)表復(fù)制到測試環(huán)境在測試環(huán)境啟動一個測試daemon，關(guān)閉query cache或是使用select sql_no_cache 方式。未優(yōu)化時測試若干次查詢時間，以及explain檢查掃描集。選擇合適的索引試驗建立。可以通過use index(xx)來強制使用。檢查是否有效。測試查詢時間變化，反復(fù)試驗得到最優(yōu)結(jié)果n保持關(guān)注，根據(jù)情況隨時改變索引設(shè)置6.關(guān)于排序的問題n盡量使用帶主鍵的字段做order by 的排序n盡量不要多提供頁面的查找（最好只提供100頁內(nèi)），避免機器爬蟲抓取數(shù)據(jù)，導(dǎo)致數(shù)據(jù)庫壓力負載過高