中大型企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)建設(shè)實(shí)踐

1、中大型企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)建設(shè)實(shí)踐01企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)建設(shè)背景02ShinDataDMP平臺(tái)架構(gòu)和設(shè)計(jì)03ShinDataDMP平臺(tái)主要功能04客戶使用總結(jié)和未來計(jì)劃01企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)的建設(shè)背景在傳統(tǒng)企業(yè)業(yè)務(wù)互聯(lián)網(wǎng)化的背景下，企業(yè)數(shù)據(jù)庫(kù)運(yùn)維需求急劇增長(zhǎng)，主要表現(xiàn)為運(yùn)維的 數(shù)據(jù)庫(kù)的數(shù)量越來越多，運(yùn)維的數(shù)據(jù)庫(kù)種類越越來越多，數(shù)據(jù)庫(kù)的運(yùn)行環(huán)境和架構(gòu)越來 越豐富，應(yīng)用上線變更越來越頻繁。數(shù)據(jù)庫(kù)數(shù)量越來越多目前某銀行數(shù)據(jù)庫(kù)運(yùn)維團(tuán)隊(duì)管理著數(shù)千套 生產(chǎn)數(shù)據(jù)庫(kù)系統(tǒng)，隨著業(yè)務(wù)發(fā)展以及越來 越多的使用分布式數(shù)據(jù)庫(kù)解決方案，數(shù)據(jù) 庫(kù)的數(shù)量還在急劇增長(zhǎng)，未來可能到上萬(wàn) 規(guī)模數(shù)據(jù)庫(kù)種類越來越多該銀行過去

2、主要使用成熟商業(yè)數(shù)據(jù)庫(kù)軟件， 發(fā)展到現(xiàn)在越來越多的使用開源數(shù)據(jù)庫(kù)、 國(guó)產(chǎn)數(shù)據(jù)庫(kù)、新型分布式數(shù)據(jù)庫(kù)，以及各 種針對(duì)特定場(chǎng)景的NoSQL數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)架構(gòu)越來越豐富從過去高性能物理服務(wù)器+共享存儲(chǔ)轉(zhuǎn)變?yōu)?各種虛擬化甚至容器化部署；從過去主要 基于共享存儲(chǔ)的雙機(jī)互備高可用架構(gòu)，發(fā) 展為雙活數(shù)據(jù)中心、兩地三中心、讀寫分 離、分庫(kù)分表等適用于不同場(chǎng)景、不同需 求、不同數(shù)據(jù)庫(kù)產(chǎn)品特性的多種架構(gòu)方式。運(yùn)維需求爆炸式增長(zhǎng)在業(yè)務(wù)互聯(lián)網(wǎng)化的轉(zhuǎn)型之中，應(yīng)用上線變 更也越來越頻繁，這也帶來了大量的數(shù)據(jù) 庫(kù)運(yùn)維需求。企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)的建設(shè)背景業(yè)務(wù)互聯(lián)網(wǎng)化背景下的企業(yè)數(shù)據(jù)庫(kù)管理企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)的建設(shè)背景傳統(tǒng)數(shù)據(jù)

3、庫(kù)運(yùn)維方式的低吞吐量和高延時(shí)面臨挑戰(zhàn)需求驅(qū)動(dòng)事件驅(qū)動(dòng)技能要求高運(yùn)維團(tuán)隊(duì)被動(dòng)的為產(chǎn)品 或開發(fā)部門提供操作服 務(wù)，例如建庫(kù)，擴(kuò)容， 升級(jí)，性能優(yōu)化等DBA工作繁瑣，對(duì)于事 件缺乏預(yù)防機(jī)制，通常 是是事件發(fā)生后( 業(yè)務(wù) 或開發(fā)部門反饋后) 才 介入對(duì)數(shù)據(jù)庫(kù)運(yùn)維人員技術(shù) 要求高，同時(shí)由于缺乏 有效的運(yùn)維工具導(dǎo)致效 率低，成本高建設(shè)運(yùn)維工具優(yōu)化運(yùn)維體系規(guī)范運(yùn)維操作提升運(yùn)維效率實(shí)現(xiàn)自動(dòng)化、自助化和智能化的統(tǒng)一數(shù)據(jù)庫(kù)管理平臺(tái)成為迫切需求為應(yīng)對(duì)挑戰(zhàn)，數(shù)據(jù)庫(kù)運(yùn)維團(tuán)隊(duì)急需建立一個(gè)統(tǒng)一的數(shù)據(jù)庫(kù)管理平臺(tái)，實(shí)現(xiàn)自動(dòng)化、 自助化和智能化的數(shù)據(jù)庫(kù)運(yùn)維管理。企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)的建設(shè)背景自動(dòng)化、自助化和智能化的企業(yè)數(shù)據(jù)庫(kù)全

4、生命周期管理平臺(tái)企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)的建設(shè)背景面向所有用戶、自主可控、無縫集成、可擴(kuò)展面向所有用戶、自主可控、無縫集成、功能可擴(kuò)展的企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái) 企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)與傳統(tǒng)數(shù)據(jù)庫(kù)管理工具的重要區(qū)別在于它不僅僅作為輔助運(yùn) 維的工具在數(shù)據(jù)庫(kù)運(yùn)維團(tuán)隊(duì)內(nèi)部使用，而是面向企業(yè)所有用戶，包括應(yīng)用運(yùn)維團(tuán) 隊(duì)和應(yīng)用開發(fā)團(tuán)隊(duì)。 其核心思想是將數(shù)據(jù)庫(kù)運(yùn)維團(tuán)隊(duì)目前為應(yīng)用部門提供的數(shù)據(jù) 庫(kù)運(yùn)維操作通過平臺(tái)實(shí)現(xiàn)，形成標(biāo)準(zhǔn)化和自動(dòng)化的數(shù)據(jù)庫(kù)運(yùn)維服務(wù)。自主可控客戶之前使用過一些傳 統(tǒng)數(shù)據(jù)庫(kù)管理產(chǎn)品， 在 開始建設(shè)數(shù)據(jù)庫(kù)P a a S 平臺(tái)之前， 經(jīng)過多方考 察調(diào)研， 最終決定采用 借鑒整合外部成熟數(shù)據(jù) 庫(kù)管理

5、平臺(tái)， 結(jié)合自主 建設(shè)整合， 建設(shè)自主可 控的數(shù)據(jù)庫(kù)P a a S 平臺(tái)。無縫集成客戶已經(jīng)擁有了豐富的 I T 運(yùn)維資產(chǎn)， 這些運(yùn)維 資產(chǎn)運(yùn)行穩(wěn)定， 經(jīng)融入 了運(yùn)維團(tuán)隊(duì)的日常使用 習(xí)慣。數(shù)據(jù)庫(kù)P a a S 平 臺(tái)需要與現(xiàn)有的運(yùn)維體 系無縫集成， 這樣才能 融入運(yùn)維體系， 降低使用門檻， 提高接納程度。面向所有用戶數(shù)據(jù)庫(kù)P a a S 平臺(tái)的核心思 想是將數(shù)據(jù)庫(kù)運(yùn)維團(tuán)隊(duì)目前 為應(yīng)用部門提供的數(shù)據(jù)庫(kù)運(yùn) 維操作通過平臺(tái)實(shí)現(xiàn)， 形成 標(biāo)準(zhǔn)化和自動(dòng)化的數(shù)據(jù)庫(kù)運(yùn) 維服務(wù)。因此平臺(tái)的功能設(shè)計(jì)需要更 多的面向應(yīng)用開發(fā)人員， 實(shí) 現(xiàn)面向應(yīng)用開發(fā)人員的數(shù)據(jù) 庫(kù)自助化服務(wù)， 提供面向開 發(fā)人員的從安裝部署、上線

6、審核、性能容量?jī)?yōu)化的數(shù)據(jù) 庫(kù)全生命周期管理。功能可擴(kuò)展平臺(tái)必須具備功能可擴(kuò)展 性設(shè)計(jì)， 在大部分場(chǎng)景下， 通過配置就可以為平臺(tái)增 加新的功能， 無需修改代 碼。自主可控能夠保證隨時(shí)調(diào) 整需求， 但如果任何新功 能的實(shí)現(xiàn)都需要通過修改 代碼來實(shí)現(xiàn)， 在成本和質(zhì) 量方面都難以接受。性能可擴(kuò)展和高可用平臺(tái)的各服務(wù)模塊要求 能夠橫向擴(kuò)展以支持未 來更多的目標(biāo)數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)P a a S 平臺(tái)自身就 會(huì)對(duì)可用性有很高的要 求， 因此在設(shè)計(jì)的時(shí)候 要考慮高可用設(shè)計(jì)， 平 臺(tái)中的每個(gè)服務(wù)或組件 都應(yīng)該有冗余配置， 不 能造成單點(diǎn)故障。02ShinData DMP平臺(tái)架構(gòu)和設(shè)計(jì)新數(shù)科技ShinData DMP

7、平臺(tái)采用微服務(wù)架構(gòu)，幫助企業(yè)實(shí)現(xiàn)分層次、可擴(kuò)展的企業(yè)數(shù)據(jù)庫(kù)PaaS平臺(tái)，且可以與企業(yè)現(xiàn)有IT運(yùn)維資產(chǎn) 無縫集成。ShinData DMP架構(gòu)和設(shè)計(jì)基于微服務(wù)的分層次和模塊化架構(gòu)ShinDataDMP架構(gòu)和設(shè)計(jì)原則數(shù)據(jù)層負(fù)責(zé)存儲(chǔ)和管理平臺(tái)所 有數(shù)據(jù)，包括CMDB數(shù)據(jù)，配 置元數(shù)據(jù)，監(jiān)控?cái)?shù)據(jù)，以及數(shù) 據(jù)庫(kù)日志數(shù)據(jù)等Perfect Concept主要包括SQL執(zhí)行，監(jiān)控?cái)?shù)據(jù) 采集和數(shù)據(jù)展現(xiàn)等，不直接面 對(duì)用戶，通過接口為上層功能 或其它系統(tǒng)提供基礎(chǔ)服務(wù)面向最終用戶，提供各種按照主 題和維度劃分的數(shù)據(jù)庫(kù)管理功能， 例如資源管理，性能管理，容量 管理，問題管理，自動(dòng)化運(yùn)維等基于微服務(wù)的分層次和模塊化架構(gòu)

8、ShinDataDMP架構(gòu)和設(shè)計(jì)ShinData DMP的功能可擴(kuò)展性設(shè)計(jì)告警和問題規(guī)則引擎基于規(guī)則引擎的告警和問題生成機(jī)制支持基于狀態(tài)、表達(dá)式及多種告警條件的組合支持自定義告警級(jí)別和閾值可擴(kuò)展的自動(dòng)化運(yùn)維框架支持對(duì)接客戶的自動(dòng)化運(yùn)維平臺(tái)支持集成和擴(kuò)展新的自動(dòng)化運(yùn)維操作工具箱運(yùn)維人員可以為某一主題或某特定問題構(gòu)建分析工具支持多種豐富展現(xiàn)形式，包括表格、柱狀圖、折線圖等發(fā)揮團(tuán)隊(duì)優(yōu)勢(shì)，降低運(yùn)維門檻監(jiān)控引擎支持自定義監(jiān)控?cái)?shù)據(jù)采集項(xiàng)支持自定義監(jiān)控?cái)?shù)據(jù)采集時(shí)段和采集頻率支持自定義監(jiān)控?cái)?shù)據(jù)存儲(chǔ)及發(fā)布(Kafka等)“平臺(tái)”的意義在于允許用戶可以根據(jù)實(shí)際需求在上面打造自己的工具，而不是簡(jiǎn)單的監(jiān)控和運(yùn)維功能的

9、集合。ShinDataDMP架構(gòu)和設(shè)計(jì)ShinData DMP的無縫集成設(shè)計(jì)幫助企 業(yè)打造統(tǒng)一的一體化IT運(yùn)維PaaS平臺(tái)ShinDataDMP架構(gòu)和設(shè)計(jì)ShinData DMP性能擴(kuò)展和高可用03ShinData DMP平臺(tái)主要功能ShinData DMP平臺(tái)為客戶提供了全生命周期的數(shù)據(jù)庫(kù)統(tǒng)一管理功能，包括數(shù)據(jù)庫(kù)基礎(chǔ)資源管理、監(jiān)控和告警、性能容量管理、問 題管理、自動(dòng)化運(yùn)維操作、報(bào)表服務(wù)等ShinDataDMP平臺(tái)的主要功能分層次的ShinData DMP數(shù)據(jù)庫(kù)管理功能n 集中管理各種不同硬件、虛擬 化環(huán)境或云端運(yùn)行的數(shù)據(jù)庫(kù)系 統(tǒng)；n支持大部分主流數(shù)據(jù)庫(kù)產(chǎn)品， 包括Oracle，MySQL，

10、Db2，SQLServer等；n 功能可擴(kuò)展性設(shè)計(jì)，無需或少 量修改即可實(shí)現(xiàn)對(duì)其它關(guān)系型 數(shù)據(jù)庫(kù)的支持；n內(nèi)部預(yù)留針對(duì)非關(guān)系型數(shù)據(jù)庫(kù) 的SDK，少量定制代碼即可實(shí)現(xiàn) 對(duì)非關(guān)系型數(shù)據(jù)庫(kù)的支持，如MongDB，Redis等ShinDataDMP平臺(tái)的主要功能全局?jǐn)?shù)據(jù)庫(kù)資源管理ShinDataDMP平臺(tái)的主要功能n 基本信息覆蓋數(shù)據(jù)庫(kù)運(yùn) 行的基本狀態(tài)和指標(biāo)， 包括數(shù)據(jù)庫(kù)狀態(tài)，激活 時(shí)間，版本，服務(wù)器信 息以及一些關(guān)鍵的運(yùn)行 指標(biāo)；n 用戶可以定制和展現(xiàn)最 關(guān)注的指標(biāo)；數(shù)據(jù)庫(kù)基本信息ShinDataDMP平臺(tái)的主要功能從宏觀到微觀的數(shù)據(jù)庫(kù)性能管理數(shù)據(jù)庫(kù)性能量評(píng)分n 數(shù)據(jù)庫(kù)性能量化評(píng)價(jià)體系n提供全面準(zhǔn)確

11、的數(shù)據(jù)庫(kù)系統(tǒng)性能量化評(píng)分 報(bào)告n提供全局的數(shù)據(jù)庫(kù)性能視圖，幫助掌握企 業(yè)數(shù)據(jù)庫(kù)的整體性能狀況和趨勢(shì)n提供橫向和縱向兩個(gè)維度的數(shù)據(jù)庫(kù)性能比 對(duì)n 從宏觀到微觀的性能下鉆分析n以數(shù)據(jù)庫(kù)整體性能評(píng)分為入口；n展現(xiàn)數(shù)據(jù)庫(kù)性能評(píng)分的詳細(xì)情況；n定位到影響性能評(píng)分的SQL語(yǔ)句和表，并 給出響應(yīng)的建議；數(shù)據(jù)庫(kù)性能評(píng)分 分布數(shù)據(jù)庫(kù)性能評(píng)分 分布及變化趨勢(shì)ShinDataDMP平臺(tái)的主要功能SQL瓶頸分析ShinDataDMP平臺(tái)的主要功能n從整體到局部的容量分析；n容量、容量歷史及容量增長(zhǎng) 趨勢(shì)分析和預(yù)測(cè)；n從全局容量-單庫(kù)容量- 表空間-對(duì)象的關(guān)聯(lián)性分 析，實(shí)現(xiàn)對(duì)大表、大對(duì)象的 管控；數(shù)據(jù)庫(kù)容量管理Shin

12、DataDMP平臺(tái)的主要功能適用于不同場(chǎng)景和不同用戶的報(bào)表類型、：1.2.3.深度巡檢報(bào)告：深度分析數(shù)據(jù)庫(kù)各項(xiàng)指標(biāo)，提供豐富全面的數(shù)據(jù) 庫(kù)指標(biāo)，準(zhǔn)確反映數(shù)據(jù)庫(kù)的全方面健康情況。匯總報(bào)告：反映同類型數(shù)據(jù)庫(kù)的運(yùn)行情況總覽，從整體上了解被 監(jiān)控?cái)?shù)據(jù)庫(kù)的運(yùn)行情況，對(duì)比分析同類型數(shù)據(jù)庫(kù)的運(yùn)行情況。 性能容量報(bào)告：定位需要調(diào)優(yōu)的表或者 SQL，提供專業(yè)的調(diào)優(yōu) 建議。對(duì)于 SQL 語(yǔ)句，提供超鏈接跳轉(zhuǎn)功能，準(zhǔn)確定位到 SQL 分析頁(yè)面，提供SQL 詳細(xì)分析信息。自動(dòng)化報(bào)表生成，節(jié)省大量人力1.2.所有報(bào)表根據(jù)監(jiān)控?cái)?shù)據(jù)一鍵化生成，節(jié)省了大量的人力 可以根據(jù)需求定制報(bào)表，并通過郵件自動(dòng)推送準(zhǔn)確和全面1.報(bào)表內(nèi)容

13、來自于監(jiān)控?cái)?shù)據(jù)，數(shù)據(jù)更準(zhǔn)確，覆蓋更全面標(biāo)準(zhǔn)化和自動(dòng)化的報(bào)表系統(tǒng)ShinDataDMP平臺(tái)的主要功能建立和完善問題知識(shí)庫(kù)管理體系n覆蓋問題的生成、處理、解決和關(guān)閉n n智能識(shí)別，自動(dòng)生成和關(guān)閉問題數(shù)據(jù)庫(kù)問題全生命周期管理n 支持對(duì)主機(jī)和數(shù)據(jù)庫(kù)進(jìn)行 自動(dòng)化運(yùn)維操作；n 內(nèi)置常用的數(shù)據(jù)庫(kù)運(yùn)維功 能，支持Oracle、MySQL、Db2等常見的關(guān)系型數(shù)據(jù) 庫(kù)；n 開放的平臺(tái)，運(yùn)維團(tuán)隊(duì)可 以根據(jù)需求自己開發(fā)運(yùn)維 腳本并發(fā)布到平臺(tái)上；n 記錄所有運(yùn)維操作歷史記 錄，并提供多種維度查看， 可用于對(duì)運(yùn)維操作進(jìn)行審 計(jì)；n數(shù)據(jù)庫(kù)安裝部署n數(shù)據(jù)庫(kù)對(duì)象管理；n數(shù)據(jù)庫(kù)啟停激活操作；n表空間擴(kuò)容；n數(shù)據(jù)庫(kù)自動(dòng)備份；nM

14、ySQL主從復(fù)制切換；n數(shù)據(jù)導(dǎo)入導(dǎo)出；n數(shù)據(jù)庫(kù)參數(shù)變更n數(shù)據(jù)庫(kù)用戶管理；n一鍵降高水位n一鍵Hang/Down處理n一鍵綁包n一鍵統(tǒng)計(jì)信息ShinDataDMP平臺(tái)的主要功能數(shù)據(jù)庫(kù)自動(dòng)化運(yùn)維ShinDataDMP平臺(tái)的主要功能定義和發(fā)布工具可視化分析（以TPS與CPU趨勢(shì)分析為例）n自定義工具n根據(jù)采集的監(jiān)控?cái)?shù)據(jù)自定義運(yùn)維工具；n支持表格、趨勢(shì)圖、餅圖等多種展現(xiàn)形 式；n支持?jǐn)?shù)據(jù)導(dǎo)出；n隨需擴(kuò)展n技術(shù)專家可以在平臺(tái)上定義新的監(jiān)控、 診斷和管理工具；n將自己的技能集成到平臺(tái)之中供團(tuán)隊(duì)使 用；n整個(gè)過程無需修改程序或部署，用戶自 己通過平臺(tái)提供的配置功能即可完成；工具箱04客戶使用總結(jié)和未來計(jì)劃某

15、大型金融企業(yè)從年初開始啟動(dòng)數(shù)據(jù)庫(kù)PaaS平臺(tái)建設(shè)，到6月份上線運(yùn)行，已經(jīng)穩(wěn)定運(yùn)行了近三月，納管了上千套數(shù)據(jù)庫(kù)產(chǎn)品，覆 蓋了目前使用的Oracle、Db2、MySQL等主要的數(shù)據(jù)庫(kù)種類，且具備分庫(kù)分報(bào)表架構(gòu)下的分布式數(shù)據(jù)庫(kù)管理能力。1000套100000次87%解決率客戶使用總結(jié)和未來規(guī)劃客戶使用總結(jié)29客戶使用總結(jié)和未來規(guī)劃產(chǎn)生的價(jià)值客戶使用總結(jié)和未來規(guī)劃特別是開源數(shù)據(jù)庫(kù)和自主可控 的國(guó)產(chǎn)數(shù)據(jù)庫(kù)種類，例如 Postgre SQL，Guass DB等Perfect Concept特別是針對(duì)應(yīng)用開發(fā)人員使用的功能， 例如：應(yīng)用上線變更支持SQL執(zhí)行計(jì)劃管控SQL自動(dòng)優(yōu)化 數(shù)據(jù)庫(kù)對(duì)象管控對(duì)于系統(tǒng)發(fā)生過的數(shù)據(jù)庫(kù)問題，將 問題現(xiàn)象、分析過程、解決辦法， 進(jìn)行歸納和總結(jié)，形成確實(shí)可行的 指導(dǎo)手冊(cè)，并納入知識(shí)庫(kù)，后續(xù)運(yùn) 維過程中如發(fā)生類似問題，可快速 定位和響應(yīng)未來規(guī)劃北京新數(shù)科技有限公司(ShinData)，成立于2014年，國(guó) 家高新技術(shù)企業(yè)，中關(guān)村高新技術(shù)企業(yè)，營(yíng)業(yè)范圍包含軟 件咨詢 、服務(wù)