生產(chǎn)數(shù)據(jù)庫架構(gòu)改造方案

1、生產(chǎn)數(shù)據(jù)庫性能優(yōu)化方案（初稿）1. 背景生產(chǎn)數(shù)據(jù)庫上線一段時間后由于數(shù)據(jù)量遠大于預(yù)期，導(dǎo)致數(shù)據(jù)庫性能低下而影響正常業(yè)務(wù)，故需要對數(shù)據(jù)庫進行性能優(yōu)化。2. 現(xiàn)狀當前數(shù)據(jù)庫結(jié)構(gòu)如下圖所示：圖2-1 系統(tǒng)結(jié)構(gòu)示意圖上游三個數(shù)據(jù)源通過DI工具以定時任務(wù)的方式將上游數(shù)據(jù)抽取到基礎(chǔ)數(shù)據(jù)庫中（紅色部分），從基礎(chǔ)庫到下游目標庫則是通過用戶操作應(yīng)用程序?qū)⒒A(chǔ)數(shù)據(jù)庫中的數(shù)據(jù)調(diào)度到目標數(shù)據(jù)庫中。根據(jù)目前對數(shù)據(jù)量的統(tǒng)計基礎(chǔ)庫約為400GB+的數(shù)據(jù)總量。目前基礎(chǔ)數(shù)據(jù)庫的性能低下，主要表現(xiàn)于定時抽取任務(wù)執(zhí)行時間過長，任務(wù)間的時間間隔變短；應(yīng)用執(zhí)行數(shù)據(jù)調(diào)度時間過長，導(dǎo)致應(yīng)用長時間處于無響應(yīng)狀態(tài)。3. 分析基礎(chǔ)數(shù)據(jù)庫獲取上游

2、數(shù)據(jù)時，數(shù)據(jù)傳輸量較大，數(shù)據(jù)庫寫操作頻繁，操作系統(tǒng)層表現(xiàn)于數(shù)據(jù)文件所在磁盤寫IO高，并持續(xù)時間長。由于基礎(chǔ)庫放數(shù)據(jù)到下游數(shù)據(jù)庫是人為操作，數(shù)據(jù)庫讀操作頻繁，操作系統(tǒng)層表現(xiàn)于數(shù)據(jù)文件所在磁盤讀IO高，且經(jīng)常會與DI定時任務(wù)同時執(zhí)行，通過系統(tǒng)監(jiān)控發(fā)現(xiàn)磁盤出現(xiàn)大量IO等待狀態(tài)。圖 3-1 磁盤IO狀態(tài)圖 3-2 磁盤等待狀態(tài)由于基礎(chǔ)庫保存原始數(shù)據(jù)并不對數(shù)據(jù)進行處理，所以CPU消耗很低，從監(jiān)控看CPU不視為性能瓶頸點。圖 3-3 CPU使用率從以上分析可以判斷數(shù)據(jù)庫操作性能低下主要在高磁盤IO時造成IO掙用較大導(dǎo)致拖慢整體性能。故本次優(yōu)化將重點放在解決磁盤IO掙用問題和提高磁盤IOPS上。4. 優(yōu)化方

3、案本著應(yīng)用層變動最小的原則，為解決基礎(chǔ)庫磁盤IO性能低下問題，我們將從三個方面著手進行，即：優(yōu)化數(shù)據(jù)庫物理架構(gòu)、優(yōu)化DI任務(wù)執(zhí)行時間和優(yōu)化數(shù)據(jù)庫數(shù)據(jù)文件所在Path的磁盤VG結(jié)構(gòu)。4.1. 優(yōu)化數(shù)據(jù)庫物理架構(gòu)根據(jù)基礎(chǔ)庫的業(yè)務(wù)特點，這里將對基礎(chǔ)庫的讀寫操作進行分離（即：讀、寫分離）。這樣做的好處在于可以最大限度規(guī)避數(shù)據(jù)庫讀、寫同時操作所帶來的磁盤IO掙用問題。調(diào)整后的架構(gòu)如下圖：數(shù)據(jù)庫采用主/從模式，使用binlog復(fù)制方式實現(xiàn)數(shù)據(jù)同步。由于考慮到大數(shù)據(jù)量復(fù)制可能帶來的同步延遲問題，實現(xiàn)時需要注意優(yōu)化復(fù)制線程參數(shù)。4.2. 優(yōu)化DI任務(wù)執(zhí)行時間為了避免多任務(wù)同時寫一個數(shù)據(jù)庫產(chǎn)生磁盤寫IO過高的問

4、題，需要對每一個DI任務(wù)的執(zhí)行時間進行估算，并根據(jù)磁盤性能合理編排任務(wù)并行度。同時還需要考慮數(shù)據(jù)單位時間內(nèi)的數(shù)據(jù)增長量對任務(wù)執(zhí)行時間的影響，避免由于數(shù)據(jù)量的增加延長任務(wù)執(zhí)行時間而導(dǎo)致的任務(wù)并行執(zhí)行。4.3. 優(yōu)化磁盤VG提高磁盤IOPS最有效的方法就是增加通過增加物理磁盤數(shù)量并實現(xiàn)條帶化來提高整體的IOPS。但隨之帶來的硬件投資成本也會增加。這里我們可以通過將現(xiàn)有磁盤更換成等容量的小磁盤，目的是為了增加磁盤數(shù)量從而提高整體磁盤IOPS性能。如：當前一塊磁盤容量為600GB，我們可以將其拆解成6塊100GB Raid5磁盤或者12塊50GB Raid5磁盤進行VG條帶化處理。5. 實現(xiàn)5.1.

5、資源規(guī)劃硬件資源： 服務(wù)器2臺 數(shù)據(jù)磁盤12塊50GB Raid5磁盤（每臺服務(wù)器）軟件資源： CentOS 7.1 x86_64 (mini installed) MySQL 5.7 x86_645.2. 磁盤配置 分別將兩臺服務(wù)器的各12塊Raid5磁盤初始化并創(chuàng)建VG。在創(chuàng)建LV時特別注意要制定LV所跨PV的數(shù)量從而實現(xiàn)VG條帶化。 指定磁盤文件系統(tǒng)為xfs。5.3. 數(shù)據(jù)庫部署配置 安裝MySQL數(shù)據(jù)庫并配置兩臺服務(wù)器的主從模式，將從庫定義為Read_only模式。 配置binlog復(fù)制線程數(shù)。 優(yōu)化數(shù)據(jù)庫內(nèi)存模型。 導(dǎo)入數(shù)據(jù)5.4. 應(yīng)用配置將用于數(shù)據(jù)調(diào)度的應(yīng)用程序數(shù)據(jù)源從原來的數(shù)據(jù)庫服務(wù)器IP地址改為只讀數(shù)據(jù)庫服務(wù)器IP地址。6. 測試實施完成后為保證最終優(yōu)化效果，將對系統(tǒng)各個關(guān)鍵環(huán)節(jié)進行性能測試。測試將分為如下三個階段。6.1. 磁盤性能測試VG創(chuàng)建好后，確保磁盤可寫的前提下使用dd命令對磁盤的讀、寫分別進行性能測試。讀、寫測試將各進行5次從而選出最合適的磁盤塊大小。使用10GB文件大小，每次創(chuàng)建塊大小分別為4k、8k、16k、32k和64k，并記錄每次測試的時間結(jié)果。6.2. 數(shù)據(jù)庫性能測試數(shù)據(jù)庫性能測試可以使用tp