分布式數(shù)據(jù)庫設(shè)計方案

大型分布式數(shù)據(jù)庫解決方案企業(yè)數(shù)據(jù)庫的數(shù)據(jù)量很大時候，即使服務(wù)器在沒有任何壓力的情況下，某些復(fù)雜的查詢操作都會非常緩慢,影響最終用戶的體驗；當(dāng)數(shù)據(jù)量很大的時候，對數(shù)據(jù)庫的裝載與導(dǎo)出，備份與恢復(fù)，結(jié)構(gòu)的調(diào)整，索引的調(diào)整等都會讓數(shù)據(jù)庫停止服務(wù)或者高負(fù)荷運轉(zhuǎn)很長時間，影響數(shù)據(jù)庫的可用性和易管理性。分區(qū)表技術(shù)讓用戶能夠把數(shù)據(jù)分散存放到不同的物理磁盤中，提高這些磁盤的并行處理能力，達(dá)到優(yōu)化查詢性能的目的。但是分區(qū)表只能把數(shù)據(jù)分散到同一機(jī)器的不同磁盤中，也就是還是依賴于一個機(jī)器的硬件資源，不能從根本上解決問題。扌璀殺主間舉主聞仏廠卷主間巒仝間衷txili賦I11驅(qū)111^94-3=1934^5^^=1397113=2000:心二嚴(yán)3=2001:11L1|L!分布式分區(qū)視圖分布式分區(qū)視圖允許用戶將大型表中的數(shù)據(jù)分散到不同機(jī)器的數(shù)據(jù)庫上，用戶不需要知道直接訪問哪個基礎(chǔ)表而是通過視圖訪問數(shù)據(jù)，在開發(fā)上有一定的透明性。但是并沒有簡化分區(qū)數(shù)據(jù)集的管理、設(shè)計。用戶使用分區(qū)視圖時，必須單獨創(chuàng)建、管理每個基礎(chǔ)表（在其中定義視圖的表），而且必須單獨為每個表管理數(shù)據(jù)完整性約束，管理工作變得非常復(fù)雜。而且還有一些限制，比如不能使用自增列，不能有大數(shù)據(jù)對象。對于全局查詢并不是并行計算，有時還不如不分區(qū)的響應(yīng)快。

Databasel2月份Databasel2月份庫表散列在開發(fā)基于庫表散列的數(shù)據(jù)庫架構(gòu)，經(jīng)過數(shù)次數(shù)據(jù)庫升級，最終采用按照用戶進(jìn)行的庫表散列，但是這些都是基于自己業(yè)務(wù)邏輯進(jìn)行的，沒有一個通用的實現(xiàn)?？蛻粼趯嶋H應(yīng)用中要投入很大的研發(fā)成本，面臨很大的風(fēng)險。面對海量數(shù)據(jù)庫在高并發(fā)的應(yīng)用環(huán)境下，僅僅靠提升服務(wù)器的硬件配置是不能從根本上解決問題的，分布式網(wǎng)格集群通過數(shù)據(jù)分區(qū)把數(shù)據(jù)拆分成更小的部分，分配到不同的服務(wù)器中。查詢可以由多個服務(wù)器上的CPU、I/O來共同負(fù)載，通過各節(jié)點并行處理數(shù)據(jù)來提高性能；寫入時，可以在多個分區(qū)數(shù)據(jù)庫中并行寫入，顯著提升數(shù)據(jù)庫的寫入速度。容戶堆應(yīng)哥眾務(wù)彗fWim用諾與垃據(jù)互麋吾逢議*內(nèi)亶券種處載均當(dāng)H容戶堆應(yīng)哥眾務(wù)彗fWim用諾與垃據(jù)互麋吾逢議*內(nèi)亶券種處載均當(dāng)H注…訪問層（調(diào)度1數(shù)據(jù)層（執(zhí)行）管理、建護(hù)第群中的各節(jié)點中用件程序宿主T程訪問晨戰(zhàn)需匡1里匪.杵析5QL常句<..■價值所在通過分區(qū)把數(shù)據(jù)放到不同的機(jī)器中，每次查詢可以由多個機(jī)器上的CPU,I/O來共同負(fù)載，通過各節(jié)點并行處理數(shù)據(jù)來提高性能。冗余的數(shù)據(jù)結(jié)構(gòu)（矩陣列）消除了單點故障，任何一個機(jī)器出現(xiàn)故障后都不會影響系統(tǒng)的正常運行，數(shù)據(jù)庫集群能提供不中斷的服務(wù)。無共享磁盤架構(gòu)節(jié)省了硬件，利用中小型的服務(wù)器取代大型服務(wù)器大幅降低了硬件的成本，系統(tǒng)中不再有閑置的資源，降低了系統(tǒng)TCO（總體擁有成本）。分區(qū)把數(shù)據(jù)分成更小的部分，提高了數(shù)據(jù)庫的可用性和可管理性。根據(jù)業(yè)務(wù)的需要，訪問層和數(shù)據(jù)層都可以增加，集群具有良好的擴(kuò)展性。中間件宿主在數(shù)據(jù)庫中的創(chuàng)新使集群變得更透明，數(shù)據(jù)庫的管理成本，以及面向數(shù)據(jù)庫的開發(fā)成本都最小化。數(shù)據(jù)實時復(fù)制解決方案經(jīng)過分析，大多數(shù)應(yīng)用系統(tǒng)以查詢操作為主，造成數(shù)據(jù)庫壓力迅速增加的主要因素也是復(fù)雜的查詢操作，為了能夠得到同一份數(shù)據(jù)的多個副本來響應(yīng)用戶的查詢，SQLServer提供了復(fù)制技術(shù)（Replication），主要有合并復(fù)制、事務(wù)復(fù)制、快照復(fù)制等，這些技術(shù)可以有效緩解查詢的壓力。伴隨著企業(yè)發(fā)展的需要，企業(yè)對信息實時性要求越來越高，如股票、航空票務(wù)、連鎖店甚至是一些服務(wù)系統(tǒng)等等，這些系統(tǒng)的用戶希望更新的數(shù)據(jù)馬上就可以查詢到。SQLServer數(shù)據(jù)庫的復(fù)制/訂閱技術(shù)復(fù)制/訂閱數(shù)技術(shù)可以實現(xiàn)讀、寫分離，數(shù)據(jù)先寫到中心數(shù)據(jù)庫上，寫成功即返回給應(yīng)用程序；通過復(fù)制將數(shù)據(jù)復(fù)制到只讀服務(wù)器，查詢時從只讀服務(wù)器查。

意味著訂閱端的數(shù)據(jù)和中心數(shù)據(jù)庫的數(shù)據(jù)不同步，是個異步的過程，所以數(shù)據(jù)滯后嚴(yán)重，數(shù)據(jù)同步的實時性得不到保障，中心數(shù)據(jù)庫在正常的壓力下10秒左右。當(dāng)訪問負(fù)荷很高或者中心數(shù)據(jù)庫在整理數(shù)據(jù)時，將出現(xiàn)大量DML操作延遲時間比較長或者出現(xiàn)堵塞的情況；某些修改操作需要重新建立復(fù)制關(guān)系并初始化，這期間需要停止數(shù)據(jù)庫的讀取服務(wù)，規(guī)模越大的應(yīng)用停止的時間越長，嚴(yán)重影響了數(shù)據(jù)庫的可用性。結(jié)論：復(fù)制訂閱技術(shù)的實時性差，初始化時對系統(tǒng)的影響非常大；在數(shù)據(jù)復(fù)制過程中沒有采用智能的策略,數(shù)據(jù)的復(fù)制速度慢；中心數(shù)據(jù)庫仍然為失敗轉(zhuǎn)移集群模式。構(gòu)建數(shù)據(jù)庫集群，節(jié)點間數(shù)據(jù)同步都是實時的，數(shù)據(jù)是一致性的，可以部署為讀、寫分離，也可以部署為所有節(jié)點可讀可寫；中間件監(jiān)測到數(shù)據(jù)庫變化并同步數(shù)據(jù)，數(shù)據(jù)同步完成后客戶端才會得到響應(yīng)，同步過程是并發(fā)完成的，所以同步到多個數(shù)據(jù)庫和同步到一個數(shù)據(jù)庫的時間基本相等；另外同步的過程是在事務(wù)的環(huán)境下完成的，保證了多份數(shù)據(jù)在任何時刻數(shù)據(jù)的一致性。中間件在同步數(shù)據(jù)時采用了多項智能同步策略，滿足了不同類型的應(yīng)用模式，可以同步數(shù)據(jù)，同步SQL語句，并行執(zhí)行SQL語句，升級數(shù)據(jù)庫的鎖,啟用數(shù)據(jù)壓縮等。

1—燔?蛙堞I枉朗?料讀?。㊣中庇伴裡序啟主體垃推庠帳面.搶醐蓋據(jù)的更比，間洋血品；1—燔?蛙堞I枉朗?料讀取）I中庇伴裡序啟主體垃推庠帳面.搶醐蓋據(jù)的更比，間洋血品；ui占育Harbfiu*nehiusStfif烏散礎(chǔ)眾建攝由強負(fù)鞭均團(tuán)戛法?通過虛擬ip指定異前果節(jié)歳口鞏$常他號牧均雷寫損作皿機(jī)ipamst）M^iiJSQLSsrvpr200SHormEnreKtWtHpiu中工署、蒼理、眾護(hù)集甘中間件在同步數(shù)據(jù)時采取了智能同步策略，同步速度更快；提供了多種人工干預(yù)的機(jī)制，對數(shù)據(jù)庫表結(jié)構(gòu)的調(diào)整、批量更改數(shù)據(jù)等操的時間大幅縮減。無需搭建失敗轉(zhuǎn)移集群，中心數(shù)據(jù)庫Cluster中閑置的一臺機(jī)器被利用起來，提高了整個系統(tǒng)的使用率；系統(tǒng)支持無共享磁盤架構(gòu)，可以節(jié)省共享的存儲設(shè)備。連接數(shù)據(jù)庫，提供專門針對數(shù)據(jù)庫系統(tǒng)的負(fù)載均衡軟件，無需使用昂貴的均衡硬件，無需程序員自己實現(xiàn)。提供故障檢測及失敗轉(zhuǎn)移功能。數(shù)據(jù)庫選擇在SQL中使用Oracle鏈接服務(wù)器，因為是異地數(shù)據(jù)，在SQL中的更新，刪除等是隱式事務(wù)，而在Oracle中是顯示的,所以直接調(diào)用速度是很慢的?并且很容易崩掉。數(shù)據(jù)查詢1秒鐘時間，在幾千億條話單數(shù)據(jù)中找到用戶想要的數(shù)據(jù)，在分區(qū)、并行查詢、列存、集群等技術(shù)統(tǒng)統(tǒng)粉墨登場仍無法滿足響應(yīng)要求時，數(shù)據(jù)壓縮和索引技術(shù)成為了致勝的關(guān)鍵。無論是使用傳統(tǒng)的B樹索引，或通用的壓縮算法，都不是問題的正解，在如此大的數(shù)據(jù)量下，需要使用更加專業(yè)高效的技術(shù)方法?；谔囟l件（產(chǎn)品型號、產(chǎn)品名稱、起止時間等）組合的詳單查詢，絕大多數(shù)查詢只會返回少量的結(jié)

②分段塞縮助按務(wù)規(guī)則c列內(nèi)+列間＞和后端兩層汪縮%后端支持使用第三方的通馬壓縮模塊理行列混合存儲?支持多伍縮級別壓縮總體結(jié)構(gòu)壓縮的主要目的不是減少空間占用，而是提高查詢性能現(xiàn)CPU與I/O處理均衡，提高查詢性能最基砒的編碼方法適用于中低密度的詭'1451.大大減少空間暫字與有厚組織，提高查詢性能1401^]7i-wawe】蟲1】玄】1如154右mieij1^01￡]7inlineiwnsi6現(xiàn)CPU與I/O處理均衡，提高查詢性能最基砒的編碼方法適用于中低密度的詭'1451.大大減少空間暫字與有厚組織，提高查詢性能1401^]7i-wawe】蟲1】玄】1如154右mieij1^01￡]7inlineiwnsi6】軸】護(hù)百1強1呀石1REF列內(nèi)規(guī)則使用通用壓縮算法LZMA：CPU處理帶寬太低壓縮比18.9：1,解碼速度171MB/秒/核（折算后）CPU處理帶寬991MB/秒,I/O處理帶寬5.7GB/秒LZOP：壓縮率太低

壓縮比7.2：1,解碼速度891Mb/秒/核（折算后）CPU處理帶寬2.4GB/秒，I/O處理帶寬2.2GB/秒列劇.黠耀ki壩道隔列劇.黠耀ki壩道隔T幀?適用于（近似）常量的疤性列勁實際應(yīng)用中大量存在OPERftTiarfl-TYPE^IO1TTXWtn2ncioooi3TTCI0QQ14tTCWMOl5-丄nc.fQftpiDefaultValue7T7CI0001TTGtOOOl8T7C*6&61TTCWOW)!1'io"TTGIODOIExccptiotiTablen?f^CH)3F!11TTGIQ00312TTCIWOl20hDCfDftlO13ncwoooi14TTCWOW)!15TTGfWOl1$S7TTCW0&01n1STTCiOWl113TTCIOOOl\J**.^ijiR20TWM^Ull朕列內(nèi)規(guī)則對壓縮的要求壓縮率不低于15：1CPU處理帶寬不低于5GB/秒索引查詢高選擇率的特點適合選擇索引傳統(tǒng)索引空間占用大維護(hù)成本高，對裝載速度影響大對索引的要求占用空間對壓縮率貢獻(xiàn)可忽略不計維護(hù)開銷對裝載速度無明顯影響選擇率接近于數(shù)據(jù)的實際選擇率，遠(yuǎn)快于表掃描適用于兩列C適用于兩列C近似）拒等的場合對于高密度列之間存在的相等關(guān)系非常有效CALLED^NUMQLHMMH006^727soeeis?*31Gfil65.宓601CALLED^NUMQLHMMH006^727soeeis?*31Gfil65.宓601■&55s&eesg冒6633^66V7頤甜38?他瞌1屎理^340S49SOS7913^344csza?f^Cl'PtlO3iLQ215^」苕卷12ii^1?&731S2|j呂甜散船軌畐j157W7&55EqS7()17653咖1甜112M21-BS173361Z615161ML!813934仙82!3&344?1821313891?674：70洌T隔細(xì)70-332BL8■焦DhUIVI&ERTHmB_NUMBEHH-.：1：-'：U冷尹舸w沖*心15TOl伽序!(:■.一zcrta卸IT_FftlZE」1*坯云苗麗ExcrptianTHI2NVMBER列內(nèi)規(guī)則傳統(tǒng)索引的不足維護(hù)成本高對數(shù)據(jù)裝載速度影響極大先建模式下：索引需要同步維護(hù)，隨機(jī)插入影響性能，插入過程中無法引入壓縮后建模式下：需要大規(guī)模的排序，創(chuàng)建成本高空間占用大以B樹為例，＜鍵值，ROWID＞二元組，按照鍵值順序排列，按列壓縮ROWID隨機(jī)性強，難以被壓縮，整體空間成本＞6字節(jié)/分片索引技術(shù)要點：將表按照一定行數(shù)據(jù)分成多個數(shù)據(jù)包為每個壓縮包建立其中各列的摘要信息（如最大值、最小值），所有數(shù)據(jù)包上的屬于特定列的全部摘要信息，構(gòu)成該列的分片索引利用摘要信息，來