星瑞格數(shù)據(jù)庫(kù)在云計(jì)算平臺(tái)的應(yīng)用

星瑞格數(shù)據(jù)庫(kù)應(yīng)用于云計(jì)算平臺(tái)_________________________________________________________________________________________星瑞格數(shù)據(jù)庫(kù)應(yīng)用于云計(jì)算平臺(tái)福建星瑞格軟件有限公司目錄TOC\o"1-2"\h\z\u一、 前言 3二、 云計(jì)算平臺(tái) 3三、 星瑞格數(shù)據(jù)庫(kù)支持云平臺(tái)特性 43.1高可用 43.2靈活網(wǎng)格(FlexibleGrid) 63.3多租戶 73.4分片(Sharding) 8四、 星瑞格云計(jì)算平臺(tái) 10五、 星瑞格應(yīng)用于云平臺(tái) 104.1某全國(guó)性連鎖超市 104.2電力系統(tǒng) 114.3某鐵道公司 12

前言隨著近年來(lái)互聯(lián)網(wǎng)的蓬勃發(fā)展，在社交網(wǎng)絡(luò)、電子商務(wù)、數(shù)字城市、游戲、視頻直播等大規(guī)模的互聯(lián)網(wǎng)應(yīng)用發(fā)展越來(lái)越迅猛。這些新興的應(yīng)用具有數(shù)據(jù)存儲(chǔ)量大、業(yè)務(wù)增長(zhǎng)速度快等特點(diǎn)。為了解決軟硬件成本與維護(hù)的問(wèn)題與大規(guī)模資源管理技術(shù)的融合與發(fā)展，2006年谷歌、亞瑪遜等公司提出“云計(jì)算”的構(gòu)想。也就是計(jì)算機(jī)資源服務(wù)化，它為用戶屏蔽了數(shù)據(jù)中心管理、大規(guī)模數(shù)據(jù)處理、應(yīng)用程序部署等問(wèn)題。云計(jì)算的特點(diǎn)可歸納如下：1.彈性化服務(wù):服務(wù)的規(guī)?？煽焖偕炜s，因應(yīng)業(yè)務(wù)負(fù)載的動(dòng)態(tài)變化調(diào)整。2.用戶按需服務(wù):以服務(wù)的形式提供應(yīng)用程序、數(shù)據(jù)存儲(chǔ)、基礎(chǔ)設(shè)施等資源，并可以根據(jù)用戶需求，分配資源或自動(dòng)調(diào)整。3.資源池化:資源以共享資源池的方式統(tǒng)一管理。4.服務(wù)可計(jì)費(fèi):可監(jiān)控用戶的資源使用量，并根據(jù)資源的使用情況計(jì)費(fèi)。星瑞格數(shù)據(jù)庫(kù)除具備海量大數(shù)據(jù)處理能力外，也支持高并發(fā)、高可用特性,同時(shí)也具備SDS,DataSharding,網(wǎng)格計(jì)算(Grid)等水平擴(kuò)展特性可彈性增減資源的分配與部署，更提供了多租戶管理,方便資源監(jiān)控管理與記量計(jì)費(fèi)服務(wù)，也支持開(kāi)發(fā)工具的多樣性，可以滿足云計(jì)算特性，作為云計(jì)算平臺(tái)大數(shù)據(jù)庫(kù)。云計(jì)算平臺(tái)云計(jì)算可以按需提供彈性資源，它的表現(xiàn)形式是一系列服務(wù)的集合。按照提供服務(wù)的形式,其核心服務(wù)架構(gòu)大致可分為以下3層?；A(chǔ)設(shè)施即服務(wù)層（infrastructureasaservice，IaaS）,平臺(tái)即服務(wù)層（platformasaservice，PaaS）和軟件即服務(wù)層（softwareasaservice，SaaS）。IaaS提供硬件基礎(chǔ)設(shè)施部署服務(wù)，為用戶按需提供實(shí)體或虛擬的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源的分配與部署。在使用Iaas層服務(wù)的過(guò)程中，用戶需要向Iaas層服務(wù)提供商提出基礎(chǔ)設(shè)施的配置需求、運(yùn)行于基礎(chǔ)設(shè)施的程序代碼以及相關(guān)的用戶數(shù)據(jù)。由于數(shù)據(jù)中心是Iaas層的基礎(chǔ)，因此數(shù)據(jù)中心的管理和優(yōu)化問(wèn)題是Iaas服務(wù)的重點(diǎn)。另外，為了優(yōu)化硬件資源的分配，Iaas層引入了虛擬化技術(shù),虛擬化技術(shù)近年發(fā)展迅速,市場(chǎng)上已有多種選擇。數(shù)據(jù)中心為云計(jì)算提供了大規(guī)模資源。為了實(shí)現(xiàn)基礎(chǔ)設(shè)施服務(wù)的按需分配，需要虛擬化技術(shù)將物理服務(wù)器拆分成若干虛擬機(jī)，以提高服務(wù)器的資源利用率，減少浪費(fèi)，而且有助于服務(wù)器的負(fù)載均衡和節(jié)能。基于以上特點(diǎn)，虛擬化技術(shù)成為實(shí)現(xiàn)云計(jì)算資源池化和按需服務(wù)的基礎(chǔ)。PaaS是云計(jì)算應(yīng)用程序運(yùn)行環(huán)境，提供應(yīng)用程序部署與管理服務(wù)。通過(guò)PaaS層的軟件工具和開(kāi)發(fā)語(yǔ)言，應(yīng)用程序開(kāi)發(fā)者只需上傳程序代碼和數(shù)據(jù)即可使用服務(wù)。PaaS平臺(tái)不僅要實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)，而且要提供面向海量數(shù)據(jù)的分析處理功能。由于PaaS平臺(tái)部署于大規(guī)模硬件資源上，所以海量數(shù)據(jù)的分析處理需要抽象處理過(guò)程，并要求其編程模型支持規(guī)模擴(kuò)展，屏蔽底層細(xì)節(jié)并且簡(jiǎn)單有效。SaaS層是面向云計(jì)算終端用戶，提供基于互聯(lián)網(wǎng)的軟件應(yīng)用服務(wù)。Saas是讓用戶可以通過(guò)互聯(lián)網(wǎng)直接訪問(wèn)云計(jì)算平臺(tái)上的應(yīng)用軟件,而不需要在本地計(jì)算機(jī)上安裝該應(yīng)用軟件"這免去了用戶安裝,維護(hù),升級(jí)本地應(yīng)用軟件的麻煩,用戶只需對(duì)資源使用量付費(fèi)，而不必考慮購(gòu)置、維護(hù)等問(wèn)題。星瑞格SinoregalDS作為云計(jì)算平臺(tái)數(shù)據(jù)庫(kù)，可以滿足政府,企業(yè)建構(gòu)云平臺(tái)服務(wù),不論是從那個(gè)層面提供服務(wù)都可采用。星瑞格數(shù)據(jù)庫(kù)支持云平臺(tái)特性3.1高可用星瑞格SinoregalDS可按需服務(wù),打造靈活的高可用性架構(gòu)。它首先由備份和恢復(fù)這些基本的實(shí)用功能開(kāi)始，具有非常深入的細(xì)粒度功能實(shí)現(xiàn)和可擴(kuò)展性，能夠用于您所有的數(shù)據(jù)，甚至最小的數(shù)據(jù)子集。此外，它還增加了一些額外的功能，通過(guò)高可用性數(shù)據(jù)復(fù)制(HDR)功能創(chuàng)建熱備份，從而創(chuàng)建并維護(hù)生產(chǎn)環(huán)境的副本，或者創(chuàng)建備用環(huán)境的精確副本，對(duì)其進(jìn)行實(shí)時(shí)維護(hù)，當(dāng)主系統(tǒng)出現(xiàn)故障無(wú)法正常工作時(shí)能夠立即對(duì)其進(jìn)行接管。隨著產(chǎn)品功能的增多，可用性功能選項(xiàng)也隨之增多，通過(guò)遠(yuǎn)程備用服務(wù)器(RSS)功能，您可以獲得任意數(shù)量的持續(xù)維護(hù)的副本，無(wú)論是本地的還是遠(yuǎn)程的，都可以實(shí)現(xiàn)全球可用性。最后，通過(guò)共享磁盤(pán)備用服務(wù)器(SDS)功能，您可以在眾多服務(wù)器之間共享位于同一網(wǎng)絡(luò)中的數(shù)據(jù)副本，對(duì)您在存儲(chǔ)領(lǐng)域的投資進(jìn)行擴(kuò)展，使更多的SinoregalDS數(shù)據(jù)庫(kù)服務(wù)器可以共享訪問(wèn)磁盤(pán)上同樣的數(shù)據(jù)副本。這些可用性解決方案甚至還能為您實(shí)現(xiàn)更高的價(jià)值，讓您在所有查詢之間對(duì)工作負(fù)載進(jìn)行均衡，而不會(huì)干擾或影響其可用性結(jié)構(gòu)。您可以將這些解決方案整合起來(lái)，保護(hù)您的系統(tǒng)在發(fā)生故障或?yàn)?zāi)難時(shí)不受影響，無(wú)論是人為故障還是自然災(zāi)害。通過(guò)SinoregalDS，這些解決方案能夠輕松實(shí)現(xiàn)無(wú)縫合作。3.2靈活網(wǎng)格(FlexibleGrid)網(wǎng)格(Grid)是SinoregalDS的新特性。網(wǎng)格是由分布式環(huán)境中的一組服務(wù)器組成，是一個(gè)高度可擴(kuò)展的多節(jié)點(diǎn)的高可用性解決方案。通過(guò)網(wǎng)格架構(gòu)可以應(yīng)用多個(gè)數(shù)據(jù)庫(kù)服務(wù)器共同運(yùn)作支撐云端數(shù)據(jù)庫(kù)部署，充分發(fā)揮靈活的彈性擴(kuò)展（Scale-out)。網(wǎng)格建立在ER(EnterpriseReplication)基礎(chǔ)之上，不僅能夠復(fù)制DML語(yǔ)句，還提供了多節(jié)點(diǎn)之間復(fù)制DDL的方法。網(wǎng)格支持在不同的硬件、操作系統(tǒng)和SinoregalDS版本上操作。網(wǎng)格簡(jiǎn)單易用，具有較強(qiáng)的自我管理能力，通過(guò)網(wǎng)格可以輕松監(jiān)控管理位于不同物理位置的服務(wù)器，能夠極大地減輕數(shù)據(jù)庫(kù)管理員的維護(hù)工作。網(wǎng)格的工作原理是建立在ER基礎(chǔ)之上的，ER傳播的是執(zhí)行結(jié)果(邏輯日志)，而Grid中傳播的是執(zhí)行的SQL語(yǔ)句。3.3多租戶多租戶（MultiTenancy/Tenant）是一種軟件架構(gòu)，其定義是：在一臺(tái)服務(wù)器上運(yùn)行單個(gè)應(yīng)用實(shí)例，為多個(gè)租戶提供服務(wù)。在SaaS實(shí)施過(guò)程中，有一個(gè)顯著的考量點(diǎn)，就是如何對(duì)應(yīng)用數(shù)據(jù)進(jìn)行設(shè)計(jì)，以支持多租戶，而這種設(shè)計(jì)的思路，是要在數(shù)據(jù)的共享、安全隔離和性能間取得平衡。傳統(tǒng)的應(yīng)用，僅僅服務(wù)于單個(gè)租戶，數(shù)據(jù)庫(kù)多部署在企業(yè)內(nèi)部網(wǎng)絡(luò)環(huán)境，對(duì)于數(shù)據(jù)擁有者來(lái)說(shuō)，這些數(shù)據(jù)是自己“私有”的，它符合自己所定義的全部安全標(biāo)準(zhǔn)。而在云計(jì)算時(shí)代，隨著應(yīng)用本身被放到云端，導(dǎo)致數(shù)據(jù)層也經(jīng)常被公開(kāi)化，但租戶對(duì)數(shù)據(jù)安全性的要求，并不因之下降。同時(shí)，多租戶應(yīng)用在租戶數(shù)量增多的情況下，會(huì)比單租戶應(yīng)用面臨更多的性能壓力。SinoregalDS可以在單個(gè)實(shí)例上創(chuàng)建多租戶數(shù)據(jù)庫(kù)分離給多個(gè)客戶組織使用，每個(gè)租戶數(shù)據(jù),存儲(chǔ)空間和處理資源都是格離開(kāi)的。例如，假設(shè)要為小企業(yè)提供薪酬管理服務(wù)。您可以提供使用薪酬數(shù)據(jù)庫(kù)的應(yīng)用程序?yàn)樾∑髽I(yè)客戶提供服務(wù)，這個(gè)薪酬數(shù)據(jù)庫(kù)，就可以單獨(dú)配置成租戶數(shù)據(jù)庫(kù)提供給這個(gè)客戶使用。SinoregalDS多租戶的優(yōu)勢(shì)：?jiǎn)我粋€(gè)實(shí)例中包含了多個(gè)租戶可將資源(處理器/內(nèi)存)指定分配到指定的租戶每一個(gè)租戶的數(shù)據(jù)是格離且安全的每一個(gè)租戶都有特定的存儲(chǔ)空間按需服務(wù),依服務(wù)計(jì)費(fèi)各自的租戶只會(huì)分配到部分的軟件及硬件資源特別適用于SAAS/PAAS的環(huán)境上3.4分片(Sharding)分片（sharding）是數(shù)據(jù)庫(kù)分區(qū)的一種技術(shù)，它將大量數(shù)據(jù)分成更小、更快、更容易管理的部分，這些部分叫做數(shù)據(jù)碎片。碎片這個(gè)詞意思就是整體的一小部分。技術(shù)上來(lái)說(shuō)，分片（sharding）是水平分區(qū)的同義詞。在實(shí)際操作中，這個(gè)術(shù)語(yǔ)常用來(lái)表示讓一個(gè)大型數(shù)據(jù)庫(kù)更易于管理的所有數(shù)據(jù)庫(kù)分區(qū)。分片（sharding）的核心理念基于一個(gè)想法：數(shù)據(jù)庫(kù)大小以及數(shù)據(jù)庫(kù)上每單元時(shí)間內(nèi)的交易數(shù)呈線型增長(zhǎng)，查詢數(shù)據(jù)庫(kù)的響應(yīng)時(shí)間（responsetime）以指數(shù)方式增長(zhǎng)。分片目的就是為突破單節(jié)點(diǎn)數(shù)據(jù)服務(wù)器I/O能力限制，解決數(shù)據(jù)庫(kù)ScaleOut水平擴(kuò)展的問(wèn)題。通過(guò)Sharding可以將數(shù)據(jù)按照物理位置貼合用戶分布，得到更加快速的響應(yīng)；操作龐然大物總是讓人頭疼，Sharding將數(shù)據(jù)分塊，更小的數(shù)據(jù)集操作匯總能夠得到更加的體驗(yàn)；分片使得數(shù)據(jù)分?jǐn)傇诟鱾€(gè)數(shù)據(jù)節(jié)點(diǎn)，對(duì)其操作實(shí)現(xiàn)負(fù)載均衡。Sharding按方向可以分為兩類(lèi)。垂直分區(qū)：以表為單位，把不同的表分散到不同的數(shù)據(jù)庫(kù)上，特點(diǎn)是規(guī)則簡(jiǎn)單，實(shí)施方便，適合業(yè)務(wù)之間耦合度低的系統(tǒng)。水平分區(qū)：以行為單位，將同一個(gè)表中的數(shù)據(jù)按照某種條件拆分到不同的數(shù)據(jù)庫(kù)上。SinoregalDS可以對(duì)表中的數(shù)據(jù)和索引進(jìn)行分片，主要是為了提高應(yīng)程序的效率，由于SinoregalDS可以并行地掃描多個(gè)磁盤(pán)上的數(shù)據(jù)，從而實(shí)現(xiàn)內(nèi)部查詢的并行操作，因此采用“分片”技術(shù)可以提高查詢效率。內(nèi)部查詢的并行化有助于減少對(duì)一個(gè)復(fù)雜查詢的響應(yīng)時(shí)間?！氨矸制奔夹g(shù)與并行數(shù)據(jù)查詢（PDQ）特征聯(lián)系在一起使用，這樣SinoregalDS可以分配多條線程，從所有數(shù)據(jù)分片上并行地選取數(shù)據(jù)。此外，還可以僅僅對(duì)包含“目標(biāo)數(shù)據(jù)”的數(shù)據(jù)分片進(jìn)行掃描。數(shù)據(jù)庫(kù)Sharding通過(guò)對(duì)數(shù)據(jù)庫(kù)進(jìn)行水平擴(kuò)展，緩解單一數(shù)據(jù)庫(kù)的性能問(wèn)題。具體來(lái)說(shuō)，Sharding的效果是將存儲(chǔ)了海量數(shù)據(jù)的表的數(shù)據(jù)，按某種規(guī)則切分到多個(gè)數(shù)據(jù)庫(kù)服務(wù)器上。星瑞格云計(jì)算平臺(tái)星瑞格數(shù)據(jù)庫(kù)具備上述高可用、多租戶、彈性網(wǎng)格及數(shù)據(jù)分片等各項(xiàng)特性,足以作為云計(jì)算平臺(tái)數(shù)據(jù)庫(kù),除此之外星瑞格數(shù)據(jù)庫(kù)具備大數(shù)據(jù)處理能力，因此也可應(yīng)用于云上大數(shù)據(jù)分析平臺(tái)。星瑞格數(shù)據(jù)庫(kù)云平臺(tái)架構(gòu)如下圖：星瑞格應(yīng)用于云平臺(tái)4.1某全國(guó)性連鎖超市某全國(guó)性連鎖超市利用星瑞格云計(jì)算平臺(tái)管理全國(guó)各城市數(shù)據(jù)庫(kù)服務(wù)器,結(jié)合各城市各個(gè)節(jié)點(diǎn)構(gòu)建一個(gè)云端網(wǎng)格數(shù)據(jù)庫(kù)，用戶可以通過(guò)深圳節(jié)點(diǎn)管理操作整個(gè)網(wǎng)格上各城市數(shù)據(jù)庫(kù),總公司可以發(fā)布一些基本信息到各地區(qū)數(shù)據(jù)庫(kù)，直接插入或異動(dòng),總公司也需要了解各地區(qū)營(yíng)銷(xiāo)狀況，通過(guò)網(wǎng)格可以調(diào)用各區(qū)數(shù)據(jù)庫(kù)數(shù)據(jù)，管理者也可以從管理節(jié)點(diǎn)同步維護(hù)各地區(qū)數(shù)據(jù)庫(kù)。大幅降低管理維護(hù)成本。4.2電力系統(tǒng)電力系統(tǒng)云計(jì)算平臺(tái)是由通過(guò)網(wǎng)絡(luò)相互連接的多種設(shè)備和用戶組成的一個(gè)復(fù)雜實(shí)體，云計(jì)算平臺(tái)可以分為兩個(gè)主要部分即云計(jì)算控制中心和被云計(jì)算平臺(tái)整合的各種計(jì)算資源設(shè)備。云計(jì)算控制中心的主要功能是根據(jù)用戶的請(qǐng)求，將用戶的計(jì)算任務(wù)分成若干子任務(wù)，再動(dòng)態(tài)地將各子任務(wù)通過(guò)網(wǎng)絡(luò)分配給被云計(jì)算平臺(tái)整合的計(jì)算設(shè)備，各子任務(wù)完成后，其計(jì)算結(jié)果將通過(guò)網(wǎng)絡(luò)重新匯總到控制中心，最后再反饋給用戶。此外云計(jì)算控制中心還負(fù)責(zé)將各種需要存儲(chǔ)的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)利用分片技術(shù)分配給至數(shù)據(jù)庫(kù)存儲(chǔ)設(shè)備，并在需要時(shí)將數(shù)據(jù)從各數(shù)據(jù)庫(kù)中讀取出來(lái)，利用虛擬化和分片技術(shù)，上述計(jì)算和數(shù)據(jù)存儲(chǔ)任務(wù)的調(diào)度分配過(guò)程對(duì)用戶而言是完全不可見(jiàn)的，云計(jì)算平臺(tái)通過(guò)網(wǎng)絡(luò)與由大量傳感器和其他數(shù)據(jù)采集設(shè)備組成的數(shù)據(jù)采集網(wǎng)絡(luò)相連接，對(duì)電力系統(tǒng)而言，未來(lái)的數(shù)據(jù)采集網(wǎng)絡(luò)既包括傳統(tǒng)的SCADA系統(tǒng)的傳感器，還可能包括PMU和安置在終端用戶家中的智能電表，甚至是各種智能家電的嵌入式系統(tǒng)，這些裝置能夠提供全方位的系統(tǒng)信息。此外電力系統(tǒng)云計(jì)算平臺(tái)也可以和其他的數(shù)據(jù)源，例如,區(qū)域氣象數(shù)據(jù)庫(kù)相互連接，以獲取溫度、濕度、風(fēng)速、日照等數(shù)據(jù)，由這樣一個(gè)大規(guī)模的網(wǎng)絡(luò)所采集的數(shù)據(jù)量將是驚人的只有憑借云計(jì)算平臺(tái)強(qiáng)大的計(jì)算能力才能進(jìn)行存儲(chǔ)和分析?？紤]到很多電力系統(tǒng)分析任務(wù)對(duì)實(shí)時(shí)性要求較高，可以考慮構(gòu)造專用高性能網(wǎng)絡(luò)來(lái)連接云計(jì)算平臺(tái)和數(shù)據(jù)采集網(wǎng)絡(luò)以提高數(shù)據(jù)傳輸?shù)目煽啃浴?.3某鐵道公司某鐵道公司總共有55個(gè)站點(diǎn)，總營(yíng)運(yùn)鐵道長(zhǎng)度為2800公里。每個(gè)站都有一個(gè)小型數(shù)據(jù)庫(kù)和維護(hù)該站的營(yíng)運(yùn)數(shù)據(jù)，總部數(shù)據(jù)庫(kù)維護(hù)整個(gè)鐵道公司的列車(chē)運(yùn)營(yíng)，人力資源，帳戶管理，訂票管理和庫(kù)存