破解分布式數(shù)據(jù)庫(kù)使用難點(diǎn)：數(shù)據(jù)分片策略

1.數(shù)據(jù)分片策略是什么分布式數(shù)據(jù)庫(kù)的核心能力之一，就是通過(guò)數(shù)據(jù)分片存儲(chǔ)，來(lái)承載更大的數(shù)據(jù)規(guī)模和計(jì)算負(fù)載。數(shù)據(jù)分片，是把數(shù)據(jù)庫(kù)橫向擴(kuò)展到多個(gè)物理節(jié)點(diǎn)上的一種分布式技術(shù)?？梢岳斫鉃閷⒈頂?shù)據(jù)按照特定的分片規(guī)則水平切分成若干片段(shard)，使這些數(shù)據(jù)片段分布在不同物理節(jié)點(diǎn)上。數(shù)據(jù)分片從大類可分為垂直分片和水平分片，前者是按業(yè)務(wù)類別進(jìn)行拆分，常見(jiàn)為業(yè)務(wù)拆庫(kù)；后者則是以字段為依據(jù)，按照一定策略拆分到若干表中。本文后面所談的數(shù)據(jù)分片，是針對(duì)后者。那么如何將數(shù)據(jù)從單體更換為分布式，這就需要考慮數(shù)據(jù)分片策略。數(shù)據(jù)分片策略包括分片算法、數(shù)據(jù)分布、分布關(guān)系等，簡(jiǎn)單描述參見(jiàn)下表。2.分布式數(shù)據(jù)庫(kù)分片策略業(yè)內(nèi)分布式數(shù)據(jù)庫(kù)產(chǎn)品，針對(duì)數(shù)據(jù)分片策略通常有三種做法。一種是基于主鍵/唯一索引/隱含主鍵等做統(tǒng)一數(shù)據(jù)分片，即用戶無(wú)需人為設(shè)置分片策略；一種是開(kāi)放若干數(shù)據(jù)分片算法，用戶可自行創(chuàng)建數(shù)據(jù)對(duì)象時(shí)人為指定；還有一些數(shù)據(jù)庫(kù)中間件產(chǎn)品，支持更為靈活的分片方式，可以讓用戶自行擴(kuò)展。上面三種，我們可命名為內(nèi)置、開(kāi)放、自定義。下面從開(kāi)發(fā)者角度，簡(jiǎn)單對(duì)比下這幾種方式。這里解釋一下：內(nèi)置方式產(chǎn)品，通常對(duì)開(kāi)發(fā)者來(lái)說(shuō)更容易上手，使用體驗(yàn)與單機(jī)數(shù)據(jù)庫(kù)基本一致。但由于無(wú)法干預(yù)分片策略，其靈活性較差且與業(yè)務(wù)無(wú)關(guān)。在大部分業(yè)務(wù)場(chǎng)景下，是需要犧牲性能體驗(yàn)、消耗更多硬件資源來(lái)彌補(bǔ)上述不足。開(kāi)放方式產(chǎn)品，需要開(kāi)發(fā)者從內(nèi)置策略中選擇一種相對(duì)最優(yōu)解，其具備一定靈活性也兼具了性能表現(xiàn)，可滿足絕大多數(shù)場(chǎng)景的需要，只有個(gè)別業(yè)務(wù)因其特殊性很難找到合適分片策略，需要業(yè)務(wù)定制改造。自定義方式產(chǎn)品，為開(kāi)發(fā)者提供最大的靈活自由度，但也意味著易用性較差及需要開(kāi)發(fā)運(yùn)維方面做更多工作，很難做到標(biāo)準(zhǔn)產(chǎn)品化。3.分片實(shí)施難點(diǎn)與解法除了第一種方式外，其余兩種都涉及一個(gè)問(wèn)題就是現(xiàn)有數(shù)據(jù)對(duì)象如何拆分？好的拆分策略，一定是兼顧業(yè)務(wù)模型、性能最佳、穩(wěn)定可靠、研發(fā)改造、運(yùn)維難點(diǎn)等多種因素下，結(jié)合分布式數(shù)據(jù)庫(kù)的特點(diǎn)而做的最優(yōu)解，這是在多種因素下平衡的結(jié)果。在具體實(shí)施上，需要收集大量信息后才能做出決定，下面將主要部分整理為一個(gè)表格。

從上表可見(jiàn)，數(shù)據(jù)分片設(shè)計(jì)過(guò)程中，需考慮的問(wèn)題很多，是一個(gè)多維立體的模型分析過(guò)程。包括對(duì)企業(yè)的業(yè)務(wù)流、數(shù)據(jù)流、數(shù)據(jù)模型、業(yè)務(wù)特征、基礎(chǔ)環(huán)境等諸多方面的考慮。上述還需要結(jié)合分布式架構(gòu)數(shù)據(jù)庫(kù)的能力理解才能得出一個(gè)相對(duì)“適合”的設(shè)計(jì)方案。這對(duì)于企業(yè)來(lái)說(shuō)是非常痛苦的，也是阻礙企業(yè)上到分布式數(shù)據(jù)庫(kù)的難點(diǎn)之一。不能將上述包袱完全推給用戶去完成，而是盡量在數(shù)據(jù)庫(kù)產(chǎn)品側(cè)給出答案，即產(chǎn)品需具備數(shù)據(jù)分片優(yōu)化推薦功能。如果分片設(shè)計(jì)不合理，可能造成影響到業(yè)務(wù)系統(tǒng)的穩(wěn)定可靠、服務(wù)體驗(yàn)，往往服務(wù)體驗(yàn)是忽快忽慢且最可怕是某一些時(shí)刻或者業(yè)務(wù)場(chǎng)景是最慢的，從而導(dǎo)致排錯(cuò)分析的困難復(fù)雜增加。當(dāng)然，開(kāi)始設(shè)計(jì)很難做到十全十美，但系統(tǒng)在運(yùn)行中經(jīng)過(guò)不斷摸索后還需數(shù)據(jù)庫(kù)具備一定的在線分片調(diào)整能力，例如針對(duì)分片類型或分片字段的調(diào)整。在這一過(guò)程中要做到不中斷現(xiàn)有業(yè)務(wù)服務(wù)的正常運(yùn)行，其次要做到盡量少地影響現(xiàn)有業(yè)務(wù)服務(wù)的性能體驗(yàn)（也即控制資源占用對(duì)生產(chǎn)環(huán)境的業(yè)務(wù)服務(wù)影響），最后要做到盡量快地完成分片信息的調(diào)整。4.業(yè)內(nèi)產(chǎn)品現(xiàn)狀及展望目前國(guó)內(nèi)很多分布式數(shù)據(jù)庫(kù)廠商都加強(qiáng)了遷移能力的支持，一般是通過(guò)外置工具的方式提供收集、評(píng)估、輔助遷移、驗(yàn)證等一系列流程的支持。下圖是以O(shè)ceanBase的OMA工具舉例，說(shuō)明其提供的支持能力。通過(guò)上圖可見(jiàn)，產(chǎn)品針對(duì)數(shù)據(jù)分片策