分布式數(shù)據(jù)庫(kù)設(shè)計(jì)方案

大型分布式數(shù)據(jù)庫(kù)解決方案企業(yè)數(shù)據(jù)庫(kù)的數(shù)據(jù)量很大時(shí)候，即使服務(wù)器在沒(méi)有任何壓力的情況下，某些復(fù)雜的查詢操作都會(huì)非常緩慢,影響最終用戶的體驗(yàn)；當(dāng)數(shù)據(jù)量很大的時(shí)候，對(duì)數(shù)據(jù)庫(kù)的裝載與導(dǎo)出，備份與恢復(fù)，結(jié)構(gòu)的調(diào)整，索引的調(diào)整等都會(huì)讓數(shù)據(jù)庫(kù)停止服務(wù)或者高負(fù)荷運(yùn)轉(zhuǎn)很長(zhǎng)時(shí)間，影響數(shù)據(jù)庫(kù)的可用性和易管理性。分區(qū)表技術(shù)讓用戶能夠把數(shù)據(jù)分散存放到不同的物理磁盤(pán)中，提高這些磁盤(pán)的并行處理能力，達(dá)到優(yōu)化查詢性能的目的。但是分區(qū)表只能把數(shù)據(jù)分散到同一機(jī)器的不同磁盤(pán)中，也就是還是依賴于一個(gè)機(jī)器的硬件資源，不能從根本上解決問(wèn)題。扌璀殺主間舉主聞仏廠卷主間巒仝間衷txili賦I11驅(qū)111^94-3=1934^5^^=1397113=2000:心二嚴(yán)3=2001:11L1|L!分布式分區(qū)視圖分布式分區(qū)視圖允許用戶將大型表中的數(shù)據(jù)分散到不同機(jī)器的數(shù)據(jù)庫(kù)上，用戶不需要知道直接訪問(wèn)哪個(gè)基礎(chǔ)表而是通過(guò)視圖訪問(wèn)數(shù)據(jù)，在開(kāi)發(fā)上有一定的透明性。但是并沒(méi)有簡(jiǎn)化分區(qū)數(shù)據(jù)集的管理、設(shè)計(jì)。用戶使用分區(qū)視圖時(shí)，必須單獨(dú)創(chuàng)建、管理每個(gè)基礎(chǔ)表（在其中定義視圖的表），而且必須單獨(dú)為每個(gè)表管理數(shù)據(jù)完整性約束，管理工作變得非常復(fù)雜。而且還有一些限制，比如不能使用自增列，不能有大數(shù)據(jù)對(duì)象。對(duì)于全局查詢并不是并行計(jì)算，有時(shí)還不如不分區(qū)的響應(yīng)快。

Databasel2月份Databasel2月份庫(kù)表散列在開(kāi)發(fā)基于庫(kù)表散列的數(shù)據(jù)庫(kù)架構(gòu)，經(jīng)過(guò)數(shù)次數(shù)據(jù)庫(kù)升級(jí)，最終采用按照用戶進(jìn)行的庫(kù)表散列，但是這些都是基于自己業(yè)務(wù)邏輯進(jìn)行的，沒(méi)有一個(gè)通用的實(shí)現(xiàn)?？蛻粼趯?shí)際應(yīng)用中要投入很大的研發(fā)成本，面臨很大的風(fēng)險(xiǎn)。面對(duì)海量數(shù)據(jù)庫(kù)在高并發(fā)的應(yīng)用環(huán)境下，僅僅靠提升服務(wù)器的硬件配置是不能從根本上解決問(wèn)題的，分布式網(wǎng)格集群通過(guò)數(shù)據(jù)分區(qū)把數(shù)據(jù)拆分成更小的部分，分配到不同的服務(wù)器中。查詢可以由多個(gè)服務(wù)器上的CPU、I/O來(lái)共同負(fù)載，通過(guò)各節(jié)點(diǎn)并行處理數(shù)據(jù)來(lái)提高性能；寫(xiě)入時(shí)，可以在多個(gè)分區(qū)數(shù)據(jù)庫(kù)中并行寫(xiě)入，顯著提升數(shù)據(jù)庫(kù)的寫(xiě)入速度。容戶堆應(yīng)哥眾務(wù)彗fWim用諾與垃據(jù)互麋吾逢議*內(nèi)亶券種處載均當(dāng)H容戶堆應(yīng)哥眾務(wù)彗fWim用諾與垃據(jù)互麋吾逢議*內(nèi)亶券種處載均當(dāng)H注…訪問(wèn)層（調(diào)度1數(shù)據(jù)層（執(zhí)行）管理、建護(hù)第群中的各節(jié)點(diǎn)中用件程序宿主T程訪問(wèn)晨戰(zhàn)需匡1里匪.杵析5QL常句<..■價(jià)值所在通過(guò)分區(qū)把數(shù)據(jù)放到不同的機(jī)器中，每次查詢可以由多個(gè)機(jī)器上的CPU,I/O來(lái)共同負(fù)載，通過(guò)各節(jié)點(diǎn)并行處理數(shù)據(jù)來(lái)提高性能。冗余的數(shù)據(jù)結(jié)構(gòu)（矩陣列）消除了單點(diǎn)故障，任何一個(gè)機(jī)器出現(xiàn)故障后都不會(huì)影響系統(tǒng)的正常運(yùn)行，數(shù)據(jù)庫(kù)集群能提供不中斷的服務(wù)。無(wú)共享磁盤(pán)架構(gòu)節(jié)省了硬件，利用中小型的服務(wù)器取代大型服務(wù)器大幅降低了硬件的成本，系統(tǒng)中不再有閑置的資源，降低了系統(tǒng)TCO（總體擁有成本）。分區(qū)把數(shù)據(jù)分成更小的部分，提高了數(shù)據(jù)庫(kù)的可用性和可管理性。根據(jù)業(yè)務(wù)的需要，訪問(wèn)層和數(shù)據(jù)層都可以增加，集群具有良好的擴(kuò)展性。中間件宿主在數(shù)據(jù)庫(kù)中的創(chuàng)新使集群變得更透明，數(shù)據(jù)庫(kù)的管理成本，以及面向數(shù)據(jù)庫(kù)的開(kāi)發(fā)成本都最小化。數(shù)據(jù)實(shí)時(shí)復(fù)制解決方案經(jīng)過(guò)分析，大多數(shù)應(yīng)用系統(tǒng)以查詢操作為主，造成數(shù)據(jù)庫(kù)壓力迅速增加的主要因素也是復(fù)雜的查詢操作，為了能夠得到同一份數(shù)據(jù)的多個(gè)副本來(lái)響應(yīng)用戶的查詢，SQLServer提供了復(fù)制技術(shù)（Replication），主要有合并復(fù)制、事務(wù)復(fù)制、快照復(fù)制等，這些技術(shù)可以有效緩解查詢的壓力。伴隨著企業(yè)發(fā)展的需要，企業(yè)對(duì)信息實(shí)時(shí)性要求越來(lái)越高，如股票、航空票務(wù)、連鎖店甚至是一些服務(wù)系統(tǒng)等等，這些系統(tǒng)的用戶希望更新的數(shù)據(jù)馬上就可以查詢到。SQLServer數(shù)據(jù)庫(kù)的復(fù)制/訂閱技術(shù)復(fù)制/訂閱數(shù)技術(shù)可以實(shí)現(xiàn)讀、寫(xiě)分離，數(shù)據(jù)先寫(xiě)到中心數(shù)據(jù)庫(kù)上，寫(xiě)成功即返回給應(yīng)用程序；通過(guò)復(fù)制將數(shù)據(jù)復(fù)制到只讀服務(wù)器，查詢時(shí)從只讀服務(wù)器查。

意味著訂閱端的數(shù)據(jù)和中心數(shù)據(jù)庫(kù)的數(shù)據(jù)不同步，是個(gè)異步的過(guò)程，所以數(shù)據(jù)滯后嚴(yán)重，數(shù)據(jù)同步的實(shí)時(shí)性得不到保障，中心數(shù)據(jù)庫(kù)在正常的壓力下10秒左右。當(dāng)訪問(wèn)負(fù)荷很高或者中心數(shù)據(jù)庫(kù)在整理數(shù)據(jù)時(shí)，將出現(xiàn)大量DML操作延遲時(shí)間比較長(zhǎng)或者出現(xiàn)堵塞的情況；某些修改操作需要重新建立復(fù)制關(guān)系并初始化，這期間需要停止數(shù)據(jù)庫(kù)的讀取服務(wù)，規(guī)模越大的應(yīng)用停止的時(shí)間越長(zhǎng)，嚴(yán)重影響了數(shù)據(jù)庫(kù)的可用性。結(jié)論：復(fù)制訂閱技術(shù)的實(shí)時(shí)性差，初始化時(shí)對(duì)系統(tǒng)的影響非常大；在數(shù)據(jù)復(fù)制過(guò)程中沒(méi)有采用智能的策略,數(shù)據(jù)的復(fù)制速度慢；中心數(shù)據(jù)庫(kù)仍然為失敗轉(zhuǎn)移集群模式。構(gòu)建數(shù)據(jù)庫(kù)集群，節(jié)點(diǎn)間數(shù)據(jù)同步都是實(shí)時(shí)的，數(shù)據(jù)是一致性的，可以部署為讀、寫(xiě)分離，也可以部署為所有節(jié)點(diǎn)可讀可寫(xiě)；中間件監(jiān)測(cè)到數(shù)據(jù)庫(kù)變化并同步數(shù)據(jù)，數(shù)據(jù)同步完成后客戶端才會(huì)得到響應(yīng)，同步過(guò)程是并發(fā)完成的，所以同步到多個(gè)數(shù)據(jù)庫(kù)和同步到一個(gè)數(shù)據(jù)庫(kù)的時(shí)間基本相等；另外同步的過(guò)程是在事務(wù)的環(huán)境下完成的，保證了多份數(shù)據(jù)在任何時(shí)刻數(shù)據(jù)的一致性。中間件在同步數(shù)據(jù)時(shí)采用了多項(xiàng)智能同步策略，滿足了不同類型的應(yīng)用模式，可以同步數(shù)據(jù)，同步SQL語(yǔ)句，并行執(zhí)行SQL語(yǔ)句，升級(jí)數(shù)據(jù)庫(kù)的鎖,啟用數(shù)據(jù)壓縮等。

1—燔?蛙堞I枉朗?料讀?。㊣中庇伴裡序啟主體垃推庠帳面.搶醐蓋據(jù)的更比，間洋血品；1—燔?蛙堞I枉朗?料讀取）I中庇伴裡序啟主體垃推庠帳面.搶醐蓋據(jù)的更比，間洋血品；ui占育Harbfiu*nehiusStfif烏散礎(chǔ)眾建攝由強(qiáng)負(fù)鞭均團(tuán)戛法?通過(guò)虛擬ip指定異前果節(jié)歳口鞏$常他號(hào)牧均雷寫(xiě)損作皿機(jī)ipamst）M^iiJSQLSsrvpr200SHormEnreKtWtHpiu中工署、蒼理、眾護(hù)集甘中間件在同步數(shù)據(jù)時(shí)采取了智能同步策略，同步速度更快；提供了多種人工干預(yù)的機(jī)制，對(duì)數(shù)據(jù)庫(kù)表結(jié)構(gòu)的調(diào)整、批量更改數(shù)據(jù)等操的時(shí)間大幅縮減。無(wú)需搭建失敗轉(zhuǎn)移集群，中心數(shù)據(jù)庫(kù)Cluster中閑置的一臺(tái)機(jī)器被利用起來(lái)，提高了整個(gè)系統(tǒng)的使用率；系統(tǒng)支持無(wú)共享磁盤(pán)架構(gòu)，可以節(jié)省共享的存儲(chǔ)設(shè)備。連接數(shù)據(jù)庫(kù)，提供專門(mén)針對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的負(fù)載均衡軟件，無(wú)需使用昂貴的均衡硬件，無(wú)需程序員自己實(shí)現(xiàn)。提供故障檢測(cè)及失敗轉(zhuǎn)移功能。數(shù)據(jù)庫(kù)選擇在SQL中使用Oracle鏈接服務(wù)器，因?yàn)槭钱惖財(cái)?shù)據(jù)，在SQL中的更新，刪除等是隱式事務(wù)，而在Oracle中是顯示的,所以直接調(diào)用速度是很慢的?并且很容易崩掉。數(shù)據(jù)查詢1秒鐘時(shí)間，在幾千億條話單數(shù)據(jù)中找到用戶想要的數(shù)據(jù)，在分區(qū)、并行查詢、列存、集群等技術(shù)統(tǒng)統(tǒng)粉墨登場(chǎng)仍無(wú)法滿足響應(yīng)要求時(shí)，數(shù)據(jù)壓縮和索引技術(shù)成為了致勝的關(guān)鍵。無(wú)論是使用傳統(tǒng)的B樹(shù)索引，或通用的壓縮算法，都不是問(wèn)題的正解，在如此大的數(shù)據(jù)量下，需要使用更加專業(yè)高效的技術(shù)方法。基于特定條件（產(chǎn)品型號(hào)、產(chǎn)品名稱、起止時(shí)間等）組合的詳單查詢，絕大多數(shù)查詢只會(huì)返回少量的結(jié)

②分段塞縮助按務(wù)規(guī)則c列內(nèi)+列間＞和后端兩層汪縮%后端支持使用第三方的通馬壓縮模塊理行列混合存儲(chǔ)?支持多伍縮級(jí)別壓縮總體結(jié)構(gòu)壓縮的主要目的不是減少空間占用，而是提高查詢性能現(xiàn)CPU與I/O處理均衡，提高查詢性能最基砒的編碼方法適用于中低密度的詭'1451.大大減少空間暫字與有厚組織，提高查詢性能1401^]7i-wawe】蟲(chóng)1】玄】1如154右mieij1^01￡]7inlineiwnsi6現(xiàn)CPU與I/O處理均衡，提高查詢性能最基砒的編碼方法適用于中低密度的詭'1451.大大減少空間暫字與有厚組織，提高查詢性能1401^]7i-wawe】蟲(chóng)1】玄】1如154右mieij1^01￡]7inlineiwnsi6】軸】護(hù)百1強(qiáng)1呀石1REF列內(nèi)規(guī)則使用通用壓縮算法LZMA：CPU處理帶寬太低壓縮比18.9：1,解碼速度171MB/秒/核（折算后）CPU處理帶寬991MB/秒,I/O處理帶寬5.7GB/秒LZOP：壓縮率太低

壓縮比7.2：1,解碼速度891Mb/秒/核（折算后）CPU處理帶寬2.4GB/秒，I/O處理帶寬2.2GB/秒列劇.黠耀ki壩道隔列劇.黠耀ki壩道隔T幀?適用于（近似）常量的疤性列勁實(shí)際應(yīng)用中大量存在OPERftTiarfl-TYPE^IO1TTXWtn2ncioooi3TTCI0QQ14tTCWMOl5-丄nc.fQftpiDefaultValue7T7CI0001TTGtOOOl8T7C*6&61TTCWOW)!1'io"TTGIODOIExccptiotiTablen?f^CH)3F!11TTGIQ00312TTCIWOl20hDCfDftlO13ncwoooi14TTCWOW)!15TTGfWOl1$S7TTCW0&01n1STTCiOWl113TTCIOOOl\J**.^ijiR20TWM^Ull朕列內(nèi)規(guī)則對(duì)壓縮的要求壓縮率不低于15：1CPU處理帶寬不低于5GB/秒索引查詢高選擇率的特點(diǎn)適合選擇索引傳統(tǒng)索引空間占用大維護(hù)成本高，對(duì)裝載速度影響大對(duì)索引的要求占用空間對(duì)壓縮率貢獻(xiàn)可忽略不計(jì)維護(hù)開(kāi)銷對(duì)裝載速度無(wú)明顯影響選擇率接近于數(shù)據(jù)的實(shí)際選擇率，遠(yuǎn)快于表掃描適用于兩列C適用于兩列C近似）拒等的場(chǎng)合對(duì)于高密度列之間存在的相等關(guān)系非常有效CALLED^NUMQLHMMH006^727soeeis?*31Gfil65.宓601CALLED^NUMQLHMMH006^727soeeis?*31Gfil65.宓601■&55s&eesg冒6633^66V7頤甜38?他瞌1屎理^340S49SOS7913^344csza?f^Cl'PtlO3iLQ215^」苕卷12ii^1?&731S2|j呂甜散船軌畐j157W7&55EqS7()17653咖1甜112M21-BS173361Z615161ML!813934仙82!3&344?1821313891?674：70洌T隔細(xì)70-332BL8■焦DhUIVI&ERTHmB_NUMBEHH-.：1：-'：U冷尹舸w沖*心15TOl伽序!(:■.一zcrta卸IT_FftlZE」1*坯云苗麗ExcrptianTHI2NVMBER列內(nèi)規(guī)則傳統(tǒng)索引的不足維護(hù)成本高對(duì)數(shù)據(jù)裝載速度影響極大先建模式下：索引需要同步維護(hù)，隨機(jī)插入影響性能，插入過(guò)程中無(wú)法引入壓縮后建模式下：需要大規(guī)模的排序，創(chuàng)建成本高空間占用大以B樹(shù)為例，＜鍵值，ROWID＞二元組，按照鍵值順序排列，按列壓縮ROWID隨機(jī)性強(qiáng)，難以被壓縮，整體空間成本＞6字節(jié)/分片索引技術(shù)要點(diǎn)：將表按照一定行數(shù)據(jù)分成多個(gè)數(shù)據(jù)包為每個(gè)壓縮包建立其中各列的摘要信息（如最大值、最小值），所有數(shù)據(jù)包上的屬于特定列的全部摘要信息，構(gòu)成該列的分片索引利用摘要信息，來(lái)