![新浪微博數(shù)據(jù)庫資源調度平臺架構實踐_第1頁](http://file4.renrendoc.com/view/8872a5fa8fd68d630146c349311789c3/8872a5fa8fd68d630146c349311789c31.gif)
![新浪微博數(shù)據(jù)庫資源調度平臺架構實踐_第2頁](http://file4.renrendoc.com/view/8872a5fa8fd68d630146c349311789c3/8872a5fa8fd68d630146c349311789c32.gif)
![新浪微博數(shù)據(jù)庫資源調度平臺架構實踐_第3頁](http://file4.renrendoc.com/view/8872a5fa8fd68d630146c349311789c3/8872a5fa8fd68d630146c349311789c33.gif)
![新浪微博數(shù)據(jù)庫資源調度平臺架構實踐_第4頁](http://file4.renrendoc.com/view/8872a5fa8fd68d630146c349311789c3/8872a5fa8fd68d630146c349311789c34.gif)
![新浪微博數(shù)據(jù)庫資源調度平臺架構實踐_第5頁](http://file4.renrendoc.com/view/8872a5fa8fd68d630146c349311789c3/8872a5fa8fd68d630146c349311789c35.gif)
版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、技術創(chuàng)新,變革未來新浪微博數(shù)據(jù)庫資源調度平臺架構實踐部門介紹微博數(shù)據(jù)庫平臺負責新浪微博所有業(yè)務的數(shù)據(jù)庫服務托管覆蓋主流關系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫提供整體的OLTP和OLAP解決方案支撐微博平臺、微博主站、微博廣告、熱門微博和機器學習等公司核心業(yè)務推動公司數(shù)據(jù)庫技術創(chuàng)新和落地資源調度平臺shanks的產(chǎn)生背景微博當前資源規(guī)模和dba配比其他亟需解決的痛點資源規(guī)模服務器近萬臺規(guī)模近10萬的數(shù)據(jù)庫實例數(shù)PB級關系數(shù)據(jù)存儲萬億級NoSQL訪問DBA人數(shù)個位數(shù),人均管理實例近萬服務SLA 99.99%其他痛點數(shù)據(jù)庫資源多樣網(wǎng)絡環(huán)境復雜多云環(huán)境熱點事件帶來的極速峰值流量持續(xù)增長的資源訪問期待一個英雄的降
2、臨基于資源調度姿勢的考量主動被動主動和被動相結合基于資源調度姿勢的考量被動姿勢 Saltstack Ansible自動化運維平臺基于資源調度姿勢的考量主動姿勢 AIops (智能運維) SAAS (software as a service)基于資源調度姿勢的考量相對柔和和穩(wěn)定的方式:主動和被動相結合主動感知主動處理+ 被動處理節(jié)奏可控、規(guī)??煽亟y(tǒng)一資源調度平臺 shanks命名來自漫畫:海賊王四皇之一一個資源服務平臺(RAAS)萬物皆資源,資源即服務為所有支持的資源提供服務化的治理和全生命周期管理提升資源管理效率提升資源穩(wěn)定性與可靠性基于go開發(fā)高性能可擴展弱狀態(tài)Shanks架構輕量agen
3、t元數(shù)據(jù)存儲基于LevelDB高效的內存訪問支持萬臺規(guī)模支持機器和實例層面調度Shanks架構Agent干啥metric采集和上報 login free無狀態(tài)最低功能原則:別的模塊能完成的功能一律不提供 0依賴原則: agent的啟動、運行不依賴任何第三方提供的服務 0配置原則: agent的啟動、運行不依賴任何靜態(tài)配置最小化暴露原則:不額外提供不需要的未知的功能Shanks架構Server干啥接收并分析metrics,如果觸發(fā)閾值,生成報警事件監(jiān)控資源的運行狀態(tài)依據(jù)配置的策略進行報警,觸發(fā)不同的exception handler進行處理,生成 對應的task list;接收resource
4、admin提交的任務;調度并執(zhí)行任務:尋找合適的agent,將任務轉換成相應的command下發(fā) 給agent,完成任務的執(zhí)行提供通用API核心功能資源操作標準化自動注冊、服務發(fā)現(xiàn)多維度監(jiān)控與報警服務自愈彈性調度設計理念足夠簡潔、抽象:cs模式、界限清晰將redis、mc、mysql、HBase、mcq、qservice、DNS等統(tǒng)一描述成資源將資源的變更:包括擴容、縮容、DDL、備份、遷移等等抽象對資源的action,以task的 方式提交Agent安裝不依賴任何環(huán)境Agent只做metric上報和login free,Server只做metric分析統(tǒng)計和任務下發(fā)足夠健壯:應對單點、網(wǎng)絡割
5、接、agent掛起足夠智能:自動恢復大比例覆蓋全網(wǎng)資源異常,降低人為干預足夠全面:將日常運維經(jīng)驗逐步反哺到shanks中,讓其發(fā)揮更大的作用足夠靈活:介于主動運維和被動運維之間資源標準化抽象資源類型和操作提供通用http api支持實例部署、升級、擴縮容和遷移方便和各種運維平臺整合批量操作成本更低自動注冊、服務發(fā)現(xiàn)服務器初始化后agent進程會自動啟動Agent會定期上報服務器上面所有服務的相關指標agent和server定期通信,如果agent掛掉,server會感知,并會將其拉起上報的資源信息會和統(tǒng)一配置中心結合 供業(yè)務使用多維度監(jiān)控與報警agent上報的相關指標會同步到監(jiān)控dashboa
6、rd和指標決 策系統(tǒng)指標決策系統(tǒng) 提供多維度的指標聚合計算,生成資源健康 檢查報告和報警事件決策系統(tǒng)會對報警事件進行判斷,觸發(fā)不同的處理策略服務自愈支持常規(guī)實例資源故障自愈基于標準化api封裝自定義配置自愈策略支持多種資源類型故障切換和自動恢復機房級別網(wǎng)絡故障切換降低服務故障時間,降低人為干預成本彈性調度支持資源指標維度的容量水位自動調度支持多種資源的彈性擴縮容基于資源池和產(chǎn)品線為基本調度單位支持分鐘級擴容百臺的規(guī)模典型應用場景容量問題應對微博熱點數(shù)據(jù)庫訪問質量自動治理容量問題報警觸發(fā)業(yè)務風險被動處理風險前置重復工作巡檢自動化資源利用自動發(fā)現(xiàn)應對微博熱點微博典型場景: 新聞熱點 明星事件等峰值
7、高資源有狀態(tài)如何快速擴容成本自動彈性擴容基于公有云的彈性快速擴容依靠云的彈性來提高資源冗余度降低成本進一步降低彈性擴容時間數(shù)據(jù)庫訪問質量治理業(yè)務反饋訪問資源慢單一實例訪問超時但是資源基礎監(jiān)控正常數(shù)據(jù)庫訪問質量治理實時的訪問質量監(jiān)控資源耗時的同比環(huán)比報警異常實例自動處理和降級平臺收益資源管理效率提升資源穩(wěn)定性與可靠性提升自動恢復覆蓋全網(wǎng)60%以上資源異常減少資源故障定位和恢復時間DBA工作效率提升未來展望資源服務化、規(guī)格化、云化提升DB類快速擴縮容能力資源精細化管理、智能化管理資源服務化、規(guī)格化、云化進一步標準化統(tǒng)一資源使用姿勢減少和業(yè)務溝通成本,資源開箱即用最大化資源利用率,應對各種復雜場景的資源調度資源和機房解耦提升DB類快速擴縮容能力數(shù)據(jù)量大 如何彈性?大DB拆小,DB規(guī)格化高效的數(shù)據(jù)備份恢復體系高效的數(shù)據(jù)傳輸體系高效
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年全球及中國冷凍廣式點心行業(yè)頭部企業(yè)市場占有率及排名調研報告
- 2025-2030全球半導體旋涂玻璃行業(yè)調研及趨勢分析報告
- 2025年全球及中國高分辨率盤式離心粒度分析儀行業(yè)頭部企業(yè)市場占有率及排名調研報告
- 2025銷售合同天津步思特科技有限公司貨物與售后服務
- 家庭裝修合同書
- 2025二期消防水炮火災自動報警及聯(lián)動控制系統(tǒng)供貨維修項目施工合同
- 2025鋼筋勞務用工合同全面版
- 預拌混凝土采購合同
- 提高污水處理效果的技術改進研究
- 民間借款合同示范文本
- SB-T 11238-2023 報廢電動汽車回收拆解技術要求
- 旅游公司發(fā)展規(guī)劃
- 新舊施工現(xiàn)場臨時用電安全技術規(guī)范對照表
- 03軸流式壓氣機b特性
- 五星級酒店收入測算f
- 某省博物館十大展陳評選項目申報書
- GB/T 9109.5-2017石油和液體石油產(chǎn)品動態(tài)計量第5部分:油量計算
- GB/T 16316-1996電氣安裝用導管配件的技術要求第1部分:通用要求
- GA/T 455-2021居民身份證印刷要求
- 邀請函模板完整
- 建設工程施工合同糾紛涉及的法律適用問題課件
評論
0/150
提交評論