數(shù)據(jù)存儲解決方案設計-神舟通用

數(shù)據(jù)管理與方案概 數(shù)據(jù)中心A的低優(yōu)先級數(shù)據(jù)庫架 數(shù)據(jù)庫集群的部 數(shù)據(jù)中心B和C的低優(yōu)先級數(shù)據(jù)庫架 數(shù)據(jù)中心B、C到A的數(shù)據(jù)同 硬件層的架構設 3.1容量估 3.2分析與策 3.2.1需求分 集群NAS簡 A、B、C數(shù)據(jù)中心的架 總體構 集群NAS方案的特 集群NAS所具備的增強功 集群NAS的參 數(shù)據(jù)與管理方案的總體指 數(shù)據(jù)與管理方案的價格測 數(shù)據(jù)與管理方案的特 數(shù)據(jù)管理與方案概勢、軟硬件產(chǎn)品的新產(chǎn)品成熟度等方面的內容，完成了A、B、C三個數(shù)據(jù)中心的集群NAS、SAN等先進的產(chǎn)品及技術，達到滿足PB級非結構化數(shù)據(jù)和管理，TB級結構化數(shù)據(jù)分析的設計目標。根據(jù)應急中心的海量和海量數(shù)特點，設計的集群NAS方案、并行數(shù)據(jù)庫分析集群方案、異地數(shù)據(jù)庫之間快速數(shù)據(jù)同步方案相結合形成一套集非結構化數(shù)據(jù)結構化數(shù)據(jù)管理與分析于一體的綜合與管理方案。上T批量非結構化數(shù)據(jù)的快速具有實時讀寫負載特性的事務與分析結合的上TPB級非結構化數(shù)據(jù)的彈性的問整個數(shù)據(jù)與管理軟硬件系統(tǒng)的高性價三個數(shù)據(jù)中心數(shù)據(jù)的和管理問題以下章節(jié)將對整個方案的設計做一個詳細的闡述。整個方案分成結數(shù)據(jù)庫層主要用于和管理數(shù)據(jù)中心A、B、C中的高優(yōu)先級的結構化以及低優(yōu)先級數(shù)據(jù)中的結構化數(shù)據(jù)而高優(yōu)先級的非結構化數(shù)據(jù)于高優(yōu)先級數(shù)據(jù)庫服務器本地磁盤的文件系統(tǒng)中，低優(yōu)先級的非結構化數(shù)據(jù)存于后端集群NAS中檢索出非結構化的小文件或流文件之后應用程序再到文件系統(tǒng)上去或修改小文件和流文件。邏輯和結構如圖2-1讀讀讀讀讀讀讀讀讀讀讀備恢中心A備恢備恢S絡備恢備恢備恢中心B中心C中心AIP絡（與文海文件量件存小存儲文與）件流

集群網(wǎng)圖2-1三個中心的邏輯和架構高優(yōu)先級數(shù)據(jù)的數(shù)據(jù)庫架構每條結構化數(shù)據(jù)對應一個非結構化文件,A、B、C三個數(shù)據(jù)中心都部分高優(yōu)先級數(shù)據(jù)但是數(shù)據(jù)重要程度高，且與高優(yōu)先級結構化數(shù)據(jù)對應的非結構化文件量不小約為00M1T分三個中心因此AC每個數(shù)據(jù)中心的高50.5T在高優(yōu)先級數(shù)據(jù)管理架構中擬采用在每個數(shù)據(jù)中心部署一套雙機盤配RAID5，數(shù)據(jù)備份到的硬件中。2-22-2OracleDataguard，采用日志傳輸技術的方案通過在兩臺神通數(shù)服務器的對外提供數(shù)據(jù)務器的繼續(xù)進行與主服務器進行日志同步工作?？蛻糁鲾?shù)據(jù)主數(shù)據(jù)雙機熱從數(shù)據(jù)集群NAS網(wǎng)光纖交換光纖磁盤陣2-3結構化數(shù)據(jù)于數(shù)據(jù)庫中心高優(yōu)先級非結構化數(shù)據(jù)在服務器的本地磁盤上，后端的NAS和SAN用于結構化和非結構化數(shù)據(jù)的備份。結構化數(shù)低優(yōu)先級結構化數(shù)據(jù)的數(shù)據(jù)庫架根據(jù)ABC1結構化記錄從C匯總到A2日均千萬級結構化記錄每條約K。3周期性生成日報、周報、月報、年報，報表保存；可以估算：30300G，A1T。由于ATPC服務器是難以完成的，為此我A、B、C數(shù)據(jù)中心低優(yōu)先級結構化數(shù)據(jù)的量級和特點，分別設計的架構數(shù)據(jù)中心A的低優(yōu)先級數(shù)據(jù)庫架2-4Clusterware神通數(shù)據(jù)庫并行集群介128Shared-nothing架構每個數(shù)據(jù)節(jié)點不受共享磁盤的帶寬限制非單純的“只讀”操作，支INSERT、UPDATE，DELETE標準的聯(lián)接接口，支持JDBC，ODBC，ADO.NET數(shù)據(jù)庫集群的部客戶備用協(xié)調客戶備用協(xié)調集群NAS網(wǎng)光纖交換磁盤陣心跳主協(xié)調2-5計算分析節(jié)點層是實現(xiàn)數(shù)據(jù)中心ATB結構化數(shù)據(jù)管理和分析的關鍵執(zhí)行層，SQL型SQL的執(zhí)行速度，達到對低優(yōu)先級數(shù)據(jù)中心A的數(shù)據(jù)進行快速統(tǒng)計分析。數(shù)據(jù)庫集群的組成說主協(xié)調主協(xié)調員是整個集群的對外接口，并負責集群的一系列操作實時的元數(shù)據(jù)庫，以獲取生成計劃所需的信執(zhí)行常規(guī)的DBMS管理server同各個Agent2)元數(shù)據(jù)記錄表的分區(qū)、鏡像等信記錄集群的DDL操作生成的模式信息，包括表、索引、視圖，表空間，記錄集群中的各個節(jié)點的信息，包括：IP，端口，JDBCxsysconstraints,xsystabspaces,xsysindexes,xsysindexkeys,xsysviews,xsysstatin,xsysstad3）數(shù)據(jù)節(jié)點SQL數(shù)據(jù)庫集群的語句執(zhí)行特DDL(數(shù)據(jù)定義語言)操DDL操作的主要對象是基本表，對基本表進行創(chuàng)建與修改等基礎操作，按照4種方式定義基本表：基于某一列進行哈希分區(qū)（Partitionedby定義基本表在集群中按照哈希分區(qū)的方式在各節(jié)點上分別循環(huán)分發(fā)到若干節(jié)點（Roundrobin）到若干節(jié)點data僅存在于單節(jié)點（Single適用非頻繁，且通常為單表操作的基本表創(chuàng)建表 INTEGERNOT CHAR(25)NOTNULL, 創(chuàng)建分區(qū)表（哈希到所有節(jié)點，同時指定哈希桶數(shù)為4）CREATETABLEORDERS(O_ORDERKEY INTEGERNOTNULL, INTEGERNOTNULL, CHAR(1)NOTNULL, FLOAT8NOTNULL, DATENOTNULL, CHAR(15)NOTNULL, CHAR(15)NOTNULL, INTEGERNOTNULL, PARTITIONINGKEYO_ORDERKEYONALLBUCKETS4;數(shù)據(jù)分儲的關系，查找到對應的目標節(jié)點。循環(huán)分集群采用循環(huán)的方式，依次各個節(jié)點，最終各個節(jié)點的數(shù)據(jù)量應該表集群會將數(shù)據(jù)發(fā)送到表所在的各個節(jié)點3）數(shù)據(jù)裝4普通的單行記錄操作：insert批量的文本導入：copyfrom帶有容錯操作的批量文本導入：oscar-loader.bat或oscar-loader.sh；獨立于server的第并發(fā)導入工具；并發(fā)導入會使server數(shù)據(jù)導入操作變?yōu)槠款i，影響并發(fā)性能，因此提供了第并發(fā)導入工具數(shù)據(jù)庫集群的高速和高擴展集群中各類表的數(shù)據(jù)查詢特希算法以及元數(shù)據(jù)庫中的關系查找目標節(jié)點，最終會將查詢局限到循環(huán)分查找循環(huán)分時，必須要查找表對應的所有節(jié)點，當循環(huán)分的數(shù)表集群的均衡負載特如圖2-6所示。為方便用戶查詢當前的集群狀態(tài)，集群有一套機制，于衡負載是通過調整表到各個節(jié)點的關系來實現(xiàn)的；集群調節(jié)負載的基本操查找位于該些節(jié)點上的hash調整hash分區(qū)表到各節(jié)點上的舉例：hash分區(qū)表分布到節(jié)點123，節(jié)點41的表與節(jié)點間的關系）將節(jié)點1上此后的操作和數(shù)據(jù)分流到節(jié)點3。ash個新的關系續(xù)上例如果集群上尚有個負載較小的節(jié)點也通過均1（5上對應的ash分區(qū)表就變?yōu)榉植嫉?。哈?/p>

(可調整

SNSNSN58679數(shù)據(jù)遷

哈希

(可調整

SNSNSN負載信58679負

負負載信

負2-6集群的動態(tài)擴展能力動態(tài)擴

SN不需要停止集群，擴展添加節(jié)點操作，不影響業(yè)務2-7數(shù)據(jù)庫集群線性提高分析性能的機查詢解析（Query查詢優(yōu)化（Query生成計劃（Query分階段執(zhí)行（QueryExecutedIn以操作為例，可以分為如下幾個階段先將第一次操作下降到各個節(jié)點并行執(zhí)在相應的節(jié)點上的執(zhí)行第二次操（orderby）操作，協(xié)調者會相應的先做合并排序（mergesort）操作SQL的例子--ordershash4個節(jié)點selectcount(*)fromorders;Query將 0_Select:SELECTCOUNT(*)AS"XCOL1"FROM 操作變?yōu)榱薙UMStep:

Select:SELECT--lineitemhash4個節(jié)點 ty)as sum(l_extendedprice)as sum(l_extendedprice*(1-l_discount))as sum(l_extendedprice*(1-l_discount)*(1+l_tax))as ty)as avg(l_discount)as count(*)ascount_order l_shipdate<=date'1998-12-01'-interval'120day'groupby orderby Query四個節(jié)點并行做查詢，因為函數(shù)的存在，在匯聚了各個節(jié)點的結果后需要做二次操作，因此Step0操作需要查詢額外的信息。比如：計算c1avg平c1sum值與count值:CREATE T1_1"("XCOL1"CHAR(1),"XCOL2"CHAR(1),"XCOL3"DOUBLEPRECISION,"XCOL4"DOUBLEPRECISION,"XCOL5"DOUBLEPRECISION,"XCOL6"DOUBLEPRECISION,"XCOL7"DOUBLEPRECISION,"XCOL8"BIGINT,"XCOL9"DOUBLEPRECISION,"XCOL10"BIGINT,"XCOL11"DOUBLEPRECISION,"XCOL12"BIGINT,"XCOL13"INT)NOLOGGINGSelect:SELECT"LINEITEM"."L_RETURNFLAG"AS"XCOL1","LINEITEM"."L_LINESTATUS"AS"XCOL2",SUM("LINEITEM"."L_TY")AS"XCOL3",SUM("LINEITEM"."L_EXTENDEDPRICE")AS"XCOL4",SUM(("LINEITEM"."L_EXTENDEDPRICE"*(1-"LINEITEM"."L_DISCOUNT")))AS"XCOL5",SUM((("LINEITEM"."L_EXTENDEDPRICE"*(1-"LINEITEM"."L_DISCOUNT"))*(1+ AS"XCOL6",SUM("LINEITEM"."L_TY") "XCOL10",SUM("LINEITEM"."L_DISCOUNT")AS"XCOL11",COUNT("LINEITEM"."L_DISCOUNT")AS"XCOL12",COUNT(*)AS"XCOL13"FROM"LINEITEM"WHERE("LINEITEM"."L_SHIPDATE"<='19980803')groupby"LINEITEM"."L_RETURNFLAG","LINEITEM"."L_LINESTATUS"步的匯聚操作，如：sum1+sum2+sum3+sum4=sum，Step:Select:SELECT"XCOL1"AS"L_RETURNFLAG","XCOL2"AS"L_LINESTATUS",SUM("XCOL3") "SUM_DISC_PRICE",SUM("XCOL6")AS"SUM_CHARGE",(SUM("XCOL7")/SUM("XCOL8"))AS"AVG_QTY",(SUM("XCOL9")/SUM("XCOL10"))AS"AVG_PRICE",(SUM("XCOL11")/SUM("XCOL12"))AS"AVG_DISC",SUM("XCOL13")AS"COUNT_ORDER"FROM"TMPTT1_1"groupby"XCOL1","XCOL2","XCOL1","XCOL2"--orderslineitemhash4selectl_returnflag,l_linestatusfromorders,lineitemwhereo_orderkey=Query Step: "L_RETURNFLAG","LINEITEM"."L_LINESTATUS"AS"L_LINESTATUS"FROM"ORDERS"INNERJOIN"LINEITEM"ON("ORDERS"."O_ORDERKEY"="LINEITEM"."L_ORDERKEY")神通數(shù)據(jù)庫集群的優(yōu)1)為智能分析和數(shù)據(jù)倉庫等大型數(shù)據(jù)庫應用提供了快速創(chuàng) 和使用的OLTP將報表從昂貴的OLTP硬件平臺上移植到廉 使數(shù)據(jù)易于通過在超大數(shù)據(jù)集上使用報告和決策支持系統(tǒng)，提高組織的能力，分析能力、并且對關鍵信息提供更方便的方式。由各個節(jié)點組成的數(shù)據(jù)庫層在應用中被當做一個的虛擬數(shù)據(jù)庫提供服靈活的分區(qū)策略結合了對大表的的分區(qū)和對lookup表或dimension表的，使得在所有分布式服務器上數(shù)據(jù)存取更加快速。Clusterware使用帶有Clusterware的神通數(shù)據(jù)庫集群進行應用開發(fā)將和使用單個神通用標準的SQL，并且可以通過各種形式的連接接口，比如JDBC和ODBC，它們實集中的管理/神通Clusterware管理控制臺提供了一個圖形化的工具來監(jiān)測性能以及整數(shù)據(jù)中心BC的低優(yōu)先級數(shù)據(jù)庫架鑒于數(shù)據(jù)中心B、C的結構化數(shù)據(jù)屬于暫存性質，最終將匯總到數(shù)據(jù)中心A進行分析，數(shù)據(jù)中心B和C的數(shù)據(jù)庫主要接受新的結構化數(shù)據(jù)的增刪改，屬于事務型操作，因此擬在數(shù)據(jù)中心B、C應用通用的關系型數(shù)據(jù)庫。A、B、C三個數(shù)據(jù)中心低優(yōu)先級結構化數(shù)據(jù)的總量預估為1T，在三B、C500G32GCPUPC2-8：客戶主數(shù)據(jù)主數(shù)據(jù)雙機熱從數(shù)據(jù)集群NAS網(wǎng)光纖交換光纖磁盤陣2-8數(shù)據(jù)中心B、CA的數(shù)據(jù)同數(shù)據(jù)中心B、C的低優(yōu)先級數(shù)據(jù)庫需要匯總到數(shù)據(jù)中心A的低優(yōu)先級數(shù)據(jù)庫進行分析，產(chǎn)生日、周、月的各種報表，由于對A中心的低優(yōu)先級數(shù)據(jù)庫的查詢時隨時而不定期的，因此從B、C中心到A中心低優(yōu)先級數(shù)據(jù)庫的同步需要準實時快速的完成。鑒于本方案設計的B、C中心低優(yōu)先級數(shù)據(jù)庫和A中心的神步工具可以實現(xiàn)即時同步，故在本方案中首推神通SIB（SystemIntegrationBus）B、CASIB據(jù)的構件（Source類進行數(shù)據(jù)轉換的構件（Transform類進行數(shù)據(jù)傳輸?shù)臉嫾═ransfer類，接收數(shù)據(jù)的構件（類，實現(xiàn)應用程序之間進行同2-9圖2-9采用數(shù)據(jù)集成方式實現(xiàn)連接模式通過在數(shù)據(jù)中心A、B、CSIB，可以配置實現(xiàn)秒級的數(shù)據(jù)同步，將數(shù)據(jù)及時從中心B、C匯總到中心A2-10所示。圖2-10三個中心的低優(yōu)先級結構化數(shù)據(jù)庫關硬件層（即磁盤陣列）是整個系統(tǒng)的基石，它負責低優(yōu)先層的磁盤陣列通過集群文件系統(tǒng)被虛擬成的共享資源用于存PB級的非結構化數(shù)據(jù)。在業(yè)務系統(tǒng)工作的過程中，在數(shù)據(jù)庫中查詢到非結構容量估根據(jù)A、B、C三個數(shù)據(jù)中心的非結構化數(shù)據(jù)的要求：1）日均千萬級非1MB。2）日均萬級非結構化流文件，每個約百M至GB。3）數(shù)據(jù)保存三個月。可測算：小文件量留文件量即三個數(shù)據(jù)中心的非結構化小文件和流文件的總量為2P考慮到需消除單點故障所有數(shù)據(jù)軍需做備份整個的實際容量需要翻倍即實際總4P4P在磁盤柜上進行備份，故設計A、B、C1.4P分析與策需求分根據(jù)A、B、C三個數(shù)據(jù)中心的硬件需求特點PB級的容量需求屬于非結構化小文件和流文件屬于、共享類應用，需要隨時查詢A、B、C三個中心的數(shù)據(jù)非結構數(shù)據(jù)的常進行批量，需要IO處理能力高，結合對高性價比的考量通過對比SAN云NAS等技術，結合上層數(shù)據(jù)庫的特點，以某公司一款產(chǎn)品為例，提出了通過集群NAS技術產(chǎn)品來構建A、B、C三個數(shù)據(jù)中心平臺的方案。，集群NAS簡本文所述的集群NAS是由多個SAN基于集群NAS網(wǎng)關聯(lián)接形成的大型存儲架構，其一般構成圖由下圖3-1所示，由磁盤陣列、SAN網(wǎng)絡、集群NAS網(wǎng)關、以及上層的服務器組成。目前同類產(chǎn)品主要有：賽門鐵克的N8000，IBMSONAS、BlueArcTitanMercuryEMC公司配備有多鏈路文件系統(tǒng)(MPFS)CelerraNS-960，ExanetExaStore，HPIbrixFusion以及StorageWorks系列的可擴展NAS(之前被稱作PolyServe)，HDSHNAS以及3200系列，Isilon系統(tǒng)的IQ，NetApp公司的OntapGX，Panasas公司的ActiveStor以及ScaleComputing的SN系列等產(chǎn)品，屬于較成集群產(chǎn)NASNAS3-1NASNASNAS節(jié)點以及百萬至十億數(shù)量級的可管理文件對象的大容量空間系統(tǒng)采用集群架構，支持上百個控制節(jié)點，支持多節(jié)點共享的虛擬池，具備單卷支持100T以上，系統(tǒng)最大可達10PB以上的海量能力，可以支持多廠商異構SAN磁盤陣列，通常配有豐富的數(shù)據(jù)和管理軟于互聯(lián)網(wǎng)、廣電、企業(yè)、的非結構化文件數(shù)據(jù)和備份應用。便利的文件8)自動分層、識別熱點數(shù)A、B、C數(shù)據(jù)中心的架總體構針對A、B、C三個數(shù)據(jù)中心的4PB總需求和三地分部的特點，本文所設計的硬件總體架構如圖3-2所示整個集群NAS由9臺集群NAS網(wǎng)關構的集群NAS網(wǎng)絡，SAN層在三個中心各選用2臺光纖交換機形成多路徑、高可用的高速層，磁盤陣列層三個中心各配兩臺柜，每個機柜裝8各陣列，每個陣列容量100T，形成總容量達100T*8*2*3=4.8P的和備份能力.這些空間,通過集群NAS提供的集群文件系統(tǒng),虛擬成多個數(shù)據(jù)節(jié)點均可的共享磁盤,每個共享磁盤最大可以達到100TB,可以有多個這樣的磁盤空間構成三個中心的共4T以上的能力.ABCB務器構建兩套雙機熱備方案完成結構化數(shù)據(jù)的和管理。由于結構化數(shù)據(jù)在各中心上的數(shù)據(jù)量均在1TB以下，故都通過服務器主機配多塊磁盤實現(xiàn)結構化數(shù)據(jù)的管理在后端集群NAS上進行數(shù)據(jù)的備份以達中心A中心A中心A（并行數(shù)據(jù)庫集群中心B中心B中心C中心C主據(jù)從據(jù)主據(jù)從據(jù)主據(jù)從據(jù)主據(jù)從據(jù)雙熱雙熱雙熱雙熱主據(jù)從據(jù)

與非結構化數(shù)據(jù)圖3-2硬 總架構

集群NAS方案的特配備相應的功能后，本集群NAS方案可實現(xiàn)如下技術NASNAS供一個高性能的接口； 達到了空間使用限額，系統(tǒng)自動用戶的使用請求；數(shù)據(jù)鏡像可以將生產(chǎn)數(shù)據(jù)本地或到另一個文件系統(tǒng)中NAS真正的文件共享基于TCP/IP或UDP的數(shù)據(jù)傳輸，支持NFS、CIFS采用NAS模式，文件系統(tǒng)被放置在設備端，數(shù)據(jù)獨立于主機操作平臺，可以支持Windows，UNIX,Linux,MAC等，實現(xiàn)真正的跨共享，同時保證了各自的權限；高可用，高性能系統(tǒng)整體性能高，無需應用服務器的干預，NAS設備允許用戶在網(wǎng)絡上CPU、內存等資源開銷，也能可以滿足20000用戶并發(fā)，2.4GB帶寬，可以支持64000個并發(fā)視隨需應變的容量擴展40PB易于管理，最大限度減低用戶性價比的SAS磁盤，使用戶投資選擇更靈活；集群NAS所具備的增強功快照技集群NAS的快照技術是一項功能強大的工具，是管理員的理想選擇。該3-23-3NAS提供即時恢復的數(shù)據(jù)保IT通過采取高效的自動快照策略企業(yè)可以避免意外或損失無“備份窗口”如何都可以執(zhí)行備份；用戶能夠迅速地檢索自己丟失的數(shù)據(jù)；IT員工可以將更多精力投入到工作中?？煺占夹g的工作副本也不會產(chǎn)生任何影響。實施可按需動態(tài)分配并且無需專為快照保留卷第一次進行快照時，將文件系統(tǒng)的整個只讀圖像。當對文件系統(tǒng)進行更改時獨立的塊級讀寫記錄通過寫時技術不斷進行更改獲取下一個快照時，錄與上一個快照的差異，因此只需要非常少的空間。設置快儲管理員可以設置快照頻率和每個卷每小時、每天、每周的最大快照數(shù)量。當達到最大快照數(shù)量時，最早的快照將被刪除，的快照取代其位置。另外，并且可以保存。這對更新前后非常有用。典型的方案可以是在滾動482這意味著磁帶備份中斷次數(shù)將大大減少并且可以在主要班次時間予以本方案的快照技術集成了領先的備份應用程序。快照恢IT數(shù)據(jù)容災—鏡本方案的DataMirror在多個廠商陣列之間提供異步數(shù)據(jù)功能它無需昂貴的近線設備即可快速獲得基于磁盤的備份和接近即時數(shù)據(jù)的恢復。Mirror可在同一地點或異地的多廠商陣列之間數(shù)據(jù)。開放方法經(jīng)濟高效（包含SATA陣列，可作為目標進行部署。能夠以超低3-43-4NASDataMirror不同陣列之間的磁盤到磁盤異步數(shù)據(jù)基于SAN的消除了局域網(wǎng)瓶頸可以隨時和備份數(shù)據(jù)處理器可在備份作業(yè)期間確保全面的文NDMP支持行業(yè)領先的備份支持多種方式，用于適應不同的容災環(huán)境，包括：準同步，異步，且異步方式的對于生產(chǎn)系統(tǒng)和容災系統(tǒng)的距離沒有限制；支持多種網(wǎng)絡環(huán)境，用于適應不同的容災環(huán)境，包括：IPFC接支持多種拓撲方式的，包括：1對多；多對只傳輸變化的數(shù)據(jù)塊，可以網(wǎng)絡帶寬和減輕節(jié)點的負載DataMirror采用非對稱容災方式，即主和容災可以為不同型號、不同級別、甚至不同介質（FC或SATA）的設備，滿足經(jīng)備份—當通知集群