銀行大數(shù)據(jù)應(yīng)用解決方案(智慧銀行-智慧金融-銀行業(yè)大數(shù)據(jù))

銀行大數(shù)據(jù)解決方案（智慧銀行）目錄TOC\o"1-5"\h\z1云數(shù)據(jù)中心項(xiàng)目概述 101.1建設(shè)背景 101.2金融業(yè)大數(shù)據(jù)應(yīng)用投資分布 111.2.1銀行大數(shù)據(jù)應(yīng)用 113面臨的風(fēng)險(xiǎn)和挑戰(zhàn) 171.4建設(shè)目標(biāo) 171.5建設(shè)原則 186云計(jì)算大數(shù)據(jù)中心優(yōu)勢(shì) 212云數(shù)據(jù)中心需求分析 241現(xiàn)狀分析 242總體建設(shè)需求 243云數(shù)據(jù)中心總體規(guī)劃設(shè)計(jì) 271整體建設(shè)思想 272整體系統(tǒng)結(jié)構(gòu) 273計(jì)算資源和存儲(chǔ)資源配置估算 304云數(shù)據(jù)中心資源層規(guī)劃設(shè)計(jì) 321云計(jì)算平臺(tái)基礎(chǔ)架構(gòu)體系 321.1設(shè)計(jì)原則 321.2系統(tǒng)總體架構(gòu) 341.3虛擬化拓?fù)涞慕Y(jié)構(gòu) 374.2云計(jì)算中心虛擬化組件 392.1遷移 394.2.2高可靠性(HA) 394.2.3容錯(cuò) 404.2.4動(dòng)態(tài)資源分配 414.2.5分布式電源管理 414.3分布式集群存儲(chǔ)平臺(tái) 434.3.1方案拓?fù)鋱D 434.3.2方案描述 434.3.3系統(tǒng)軟件 454.3.3.1云平臺(tái)系統(tǒng)管理支撐系統(tǒng) 454.3.3.1.1產(chǎn)品定位 464.3.3.1.2XX銀行云應(yīng)用 474.3.3.1.3客戶收益 474.3.3.1.4產(chǎn)品架構(gòu) 484.3.3.1.5產(chǎn)品體系 504.3.3.1.6產(chǎn)品功能 524.3.3.2集群存儲(chǔ)系統(tǒng) 554.3.3. 2. 1集群存儲(chǔ)系統(tǒng)的特點(diǎn) 554.3.3. 2. 2集群存儲(chǔ)硬件介紹 594.3.3. 2. 3系統(tǒng)功能及特點(diǎn) 604.3.3. 2.3. 1國產(chǎn)硬件自主可控 604.3.3. 2.3. 2海量數(shù)據(jù)高效管理 604.3.3. 2.3. 3數(shù)據(jù)讀寫性能 614.3.3. 2.3. 4數(shù)據(jù)全局共享 624.3.3. 2.3. 5數(shù)據(jù)安全性 634.3.3. 2.3. 6系統(tǒng)可擴(kuò)展性 654.3.3. 2.3. 7與現(xiàn)有環(huán)境無縫兼容 664.3.3. 2.3. 8系統(tǒng)的整體擁有成本 674.3.3.3.1.2.4.3.3.3.1.2.3完善的業(yè)務(wù)分析報(bào)表系統(tǒng).804.3.3.2.3.4.3.3.2.3.9使用分布式提高投資回報(bào)率…674.3.3.2.3.10降低管理及運(yùn)行成本一一簡(jiǎn)易TOC\o"1-5"\h\z存儲(chǔ) 694.3.3.2.3.11提高用戶應(yīng)用的生產(chǎn)力……704.3.3.3基于大數(shù)據(jù)的銀行數(shù)據(jù)管理與分析系統(tǒng)714.3.3.3.1.1大數(shù)據(jù)平臺(tái)介紹 724.3.3. 3. 1. 1. 1平臺(tái)功能框架 724.3.3. 3. 1. 1. 2分布式存儲(chǔ)功能 724.3.3. 3. 1. 1. 3分布式計(jì)算功能 744.3.3.3.1.1.4NoSQL功能 754.3.3. 3. 1. 1. 5數(shù)據(jù)倉庫功能 754.3.3. 3. 1. 1. 6分布式協(xié)調(diào)功能 764.3.3. 3. 1. 1. 7工作流管理功能 774.3.3. 3. 1. 1. 8維護(hù)管理功能 784.3.3.3.1.2銀行數(shù)據(jù)分析系統(tǒng)架構(gòu) 794.3.3.3.1.2.1非格式數(shù)據(jù)的分類存儲(chǔ)...794.3.3.3.1.2.2對(duì)格式化數(shù)據(jù)的全文檢索合多線索加權(quán)檢索 804.3.3.3.1.2.3.1國內(nèi)經(jīng)濟(jì)形勢(shì)分析圖.81TOC\o"1-5"\h\z4.3.3.3.1.2.3.2按照國家名稱分析各國經(jīng)濟(jì)形勢(shì)圖 814.3.3.3.1.2.3.3按照全球各大交易所數(shù)據(jù)技術(shù)分析各類產(chǎn)品的價(jià)格趨向圖；...814.3.3.3.1.2.3.4用戶可以定制所關(guān)心的數(shù)據(jù)統(tǒng)計(jì)圖 824.3.3.3.1.2.4數(shù)據(jù)分類存儲(chǔ)與自動(dòng)化數(shù)據(jù)引擎 824.3.3.3.1.3交易數(shù)據(jù)存儲(chǔ)管理分析系統(tǒng)架構(gòu) 834.3.3.3.1.3.1交易數(shù)據(jù)按照產(chǎn)品分類存儲(chǔ)844.3.3.3.1.3.2交易數(shù)據(jù)按照產(chǎn)品分類趨勢(shì)分析圖 844.3.3.3.1.3.3交易數(shù)據(jù)按照客戶分類盈利分析圖 844.3.3.3.1.3.4交易數(shù)據(jù)按照傭金盈利分析圖 854.3.3.3.1.3.4.3.3.3.1.3.5交易數(shù)據(jù)按照客戶操作手法分析圖 854.3.3.3.1.3.6交易數(shù)據(jù)按照可戶盈利排名分析圖 854.3.3.3.1.3.7交易數(shù)據(jù)可以提示用戶適合那種產(chǎn)品交易 854.3.3.3.1.3.8用戶分布情況報(bào)表分析???854.3.3.3.1.3.9提供精準(zhǔn)化客戶服務(wù)指南.864.3.3.3.2XX大數(shù)據(jù)統(tǒng)一平臺(tái) 864.3. 3. 3.2. 1 數(shù)據(jù)采集 884.3. 3. 3.2. 2 數(shù)據(jù)接入 894.3. 3. 3.2. 3 規(guī)則過濾 904.3. 3. 3.2. 4 數(shù)據(jù)存儲(chǔ) 914.3. 3. 3.2. 5 計(jì)算引擎 924.3.3.3. 2. 5. 1 功能 924.3.3.3. 2. 5. 2 組成 934.3.3.3. 2. 5. 3 基本算子集 944.3.3.3.2.6 業(yè)務(wù)處理 974.3. 3. 3.2. 7 業(yè)務(wù)管理 994.3. 3. 3.2. 8用戶權(quán)限管理 994.3. 3. 3.2. 9 業(yè)務(wù)管理 1004.3.3. 4云計(jì)算中心安全層規(guī)劃設(shè)計(jì) 1044.3.3.4.1云平臺(tái)安全建設(shè)需求 1044.3.3.4.2云平臺(tái)安全建設(shè)思路 1064.3.3.4.3云數(shù)據(jù)中心安全系統(tǒng)總體設(shè)計(jì)..1104.3.3.4.4云平臺(tái)安全防護(hù)詳細(xì)設(shè)計(jì) 1114.3.3. 4.4. 1平云終端接入安全設(shè)計(jì) 1114.3.3. 4.4. 2主機(jī)層安全 1134.3.3. 4.4. 3服務(wù)器負(fù)載均衡 1134.3.3. 4.4. 4虛擬機(jī)VM之間訪問安全????1164.3.3. 4. 5平臺(tái)層安全 1184.3.3. 4. 6數(shù)據(jù)層安全 1264.3.3.5云計(jì)算數(shù)據(jù)中心備份設(shè)計(jì) 1274.3.3. 5. 1 邏輯架構(gòu) 1274.3.3. 5. 2方案實(shí)現(xiàn)設(shè)計(jì) 1284.3.3.6云計(jì)算數(shù)據(jù)中心整體方案拓?fù)洹?304.3.3.6.1.1網(wǎng)絡(luò)拓?fù)?1301云數(shù)據(jù)中心項(xiàng)目概述1?1建設(shè)背景數(shù)據(jù)顯示，中國大數(shù)據(jù)IT應(yīng)用投資規(guī)模以五大行業(yè)最高，其中以互聯(lián)網(wǎng)行業(yè)占比最高，占大數(shù)據(jù)IT應(yīng)用投資規(guī)模的28.9%,其次是電信領(lǐng)域(19.9%),第三為金融領(lǐng)域(17.5%),政府和醫(yī)療分別為第四和第五中國大數(shù)據(jù)IT應(yīng)用行業(yè)投資結(jié)構(gòu)其他，8.8%數(shù)據(jù)來源：賽迪姣r.2O12XP根據(jù)國際知名咨詢公司麥肯錫的報(bào)告顯示：在大數(shù)據(jù)應(yīng)用綜合價(jià)值潛力方面，信息技術(shù)、金融保險(xiǎn)、政府及批發(fā)貿(mào)易四大行業(yè)潛力最高高。具體到行業(yè)內(nèi)每家公司的數(shù)據(jù)量來看，信息、金融保險(xiǎn)、計(jì)算機(jī)及電子設(shè)備、公用事業(yè)四類的數(shù)據(jù)量最大。1.2金融業(yè)大數(shù)據(jù)應(yīng)用投資分布從投資結(jié)構(gòu)上來看，銀行將會(huì)成為金融類企業(yè)中的重要部分，證券和保險(xiǎn)分列第二和第三位。接下來，我們將分別介紹銀行、保險(xiǎn)和證券行業(yè)的大數(shù)據(jù)應(yīng)用情況。中國金融行業(yè)大數(shù)據(jù)應(yīng)用投資結(jié)構(gòu)保險(xiǎn)，加采源：賽迪蘇.2012年2.1銀行大數(shù)據(jù)應(yīng)用國內(nèi)不少銀行已經(jīng)開始嘗試通過大數(shù)據(jù)來驅(qū)動(dòng)業(yè)務(wù)運(yùn)營，如中信銀行信用卡中心使用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)了實(shí)時(shí)營銷，光大銀行建立了社交網(wǎng)絡(luò)信息數(shù)據(jù)庫，招商銀行則利用大數(shù)據(jù)發(fā)展小微貸款?？偟膩砜淬y行大數(shù)據(jù)應(yīng)用可以分為四大方面：

運(yùn)營優(yōu)化.韋場(chǎng)和渠道分析?產(chǎn)品優(yōu)化.運(yùn)營優(yōu)化.韋場(chǎng)和渠道分析?產(chǎn)品優(yōu)化.輿情分忻客戶畫像?個(gè)人客戶畫像?企業(yè)客戶畫像厠亍大數(shù)據(jù)楕準(zhǔn)營銷交叉營銷泊生展薦客戶生命周期管理風(fēng)險(xiǎn)管控.中小企業(yè)貸款風(fēng)險(xiǎn)評(píng)估?實(shí)時(shí)欺詐交易分析■反5^11^析第一方面：客戶畫像應(yīng)用?？蛻舢嬒駪?yīng)用主要分為個(gè)人客戶畫像和企業(yè)客戶畫像。個(gè)人客戶畫像包括人口統(tǒng)計(jì)學(xué)特征、消費(fèi)能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險(xiǎn)偏好等；企業(yè)客戶畫像包括企業(yè)的生產(chǎn)、流通、運(yùn)營、財(cái)務(wù)、銷售和客戶數(shù)據(jù)、相關(guān)產(chǎn)業(yè)鏈上下游等數(shù)據(jù)。值得注意的是，銀行擁有的客戶信息并不全面，基于銀行自身擁有的數(shù)據(jù)有時(shí)候難以得出理想的結(jié)果甚至可能得出錯(cuò)誤的結(jié)論。比如，如果某位信用卡客戶月均刷卡8次，平均每次刷卡金額800元，平均每年打4次客服電話，從未有過投訴，按照傳統(tǒng)的數(shù)據(jù)分析,該客戶是一位滿意度較高流失風(fēng)險(xiǎn)較低的客戶。但如果看到該客戶的微博，得到的真實(shí)情況是：工資卡和信用卡不在同一家銀行，還款不方便，好幾次打客服電話沒接通，客戶多次在微博上抱怨，該客戶流失風(fēng)險(xiǎn)較高。所以銀行不僅僅要考慮銀行自身業(yè)務(wù)所采集到的數(shù)據(jù)，更應(yīng)考慮整合外部更多的數(shù)據(jù)，以擴(kuò)展對(duì)客戶的了解。包括：客戶在社交媒體上的行為數(shù)據(jù)(如光大銀行建立了社交網(wǎng)絡(luò)信息數(shù)據(jù)庫)。通過打通銀行內(nèi)部數(shù)據(jù)和外部社會(huì)化的數(shù)據(jù)可以獲得更為完整的客戶拼圖，從而進(jìn)行更為精準(zhǔn)的營銷和管理；客戶在電商網(wǎng)站的交易數(shù)據(jù)，如建設(shè)銀行則將自己的電子商務(wù)平臺(tái)和信貸業(yè)務(wù)結(jié)合起來，阿里金融為阿里巴巴用戶提供無抵押貸款，用戶只需要憑借過去的信用即可；企業(yè)客戶的產(chǎn)業(yè)鏈上下游數(shù)據(jù)。如果銀行掌握了企業(yè)所在的產(chǎn)業(yè)鏈上下游的數(shù)據(jù)，可以更好掌握企業(yè)的外部環(huán)境發(fā)展情況，從而可以預(yù)測(cè)企業(yè)未來的狀況；其他有利于擴(kuò)展銀行對(duì)客戶興趣愛好的數(shù)據(jù),如網(wǎng)絡(luò)廣告界目前正在興起的DMP數(shù)據(jù)平臺(tái)的互聯(lián)網(wǎng)用戶行為數(shù)據(jù)。第二方面：精準(zhǔn)營銷。在客戶畫像的基礎(chǔ)上銀行可以有效的開展精準(zhǔn)營銷，包括：實(shí)時(shí)營銷。實(shí)時(shí)營銷是根據(jù)客戶的實(shí)時(shí)狀態(tài)來進(jìn)行營銷，比如客戶當(dāng)時(shí)的所在地、客戶最近一次消費(fèi)等信息來有針對(duì)地進(jìn)行營銷(某客戶采用信用卡采購孕婦用品，可以通過建模推測(cè)懷孕的概率并推薦孕婦類喜歡的業(yè)務(wù))；或者將改變生活狀態(tài)的事件(換工作、改變婚姻狀況、置居等)視為營銷機(jī)會(huì)；交叉營銷。即不同業(yè)務(wù)或產(chǎn)品的交叉推薦，如招商銀行可以根據(jù)客戶交易記錄分析，有效地識(shí)別小微企業(yè)客戶，然后用遠(yuǎn)程銀行來實(shí)施交叉銷售；個(gè)性化推薦。銀行可以根據(jù)客戶的喜歡進(jìn)行服務(wù)或者銀行產(chǎn)品的個(gè)性化推薦，如根據(jù)客戶的年齡、資產(chǎn)規(guī)模、理財(cái)偏好等，對(duì)客戶群進(jìn)行精準(zhǔn)定位,分析岀其潛在金融服務(wù)需求，進(jìn)而有針對(duì)性的營銷推廣；客戶生命周期管理。客戶生命周期管理包括新客戶獲取、客戶防流失和客戶贏回等。如招商銀行通過構(gòu)建客戶流失預(yù)警模型，對(duì)流失率等級(jí)前20%的客戶發(fā)售高收益理財(cái)產(chǎn)品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個(gè)和7個(gè)百分點(diǎn)。第三方面：風(fēng)險(xiǎn)管控。包括中小企業(yè)貸款風(fēng)險(xiǎn)評(píng)估和欺詐交易識(shí)別等手段。中小企業(yè)貸款風(fēng)險(xiǎn)評(píng)估。銀行可通過企業(yè)的產(chǎn)、流通、銷售、財(cái)務(wù)等相關(guān)信息結(jié)合大數(shù)據(jù)挖掘方法進(jìn)行貸款風(fēng)險(xiǎn)分析，量化企業(yè)的信用額度，更有效的開展中小企業(yè)貸款。實(shí)時(shí)欺詐交易識(shí)別和反洗錢分析。銀行可以利用持卡人基本信息、卡基本信息、交易歷史、客戶歷史行為模式、正在發(fā)生行為模式(如轉(zhuǎn)賬)等，結(jié)合智能規(guī)則引擎(如從一個(gè)不經(jīng)常出現(xiàn)的國家為一個(gè)特有用戶轉(zhuǎn)賬或從一個(gè)不熟悉的位置進(jìn)行在線交易)進(jìn)行實(shí)時(shí)的交易反欺詐分析。如IBM金融犯罪管理解決方案幫助銀行利用大數(shù)據(jù)有效地預(yù)防與管理金融犯罪，摩根大通銀行則利用大數(shù)據(jù)技術(shù)追蹤盜取客戶賬號(hào)或侵入自動(dòng)柜員機(jī)(ATM)系統(tǒng)的罪犯第四方面：運(yùn)營優(yōu)化。市場(chǎng)和渠道分析優(yōu)化。通過大數(shù)據(jù)，銀行可以監(jiān)控不同市場(chǎng)推廣渠道尤其是網(wǎng)絡(luò)渠道推廣的質(zhì)量，從而進(jìn)行合作渠道的調(diào)整和優(yōu)化。同時(shí)，也可以分析哪些渠道更適合推廣哪類銀行產(chǎn)品或者服務(wù)，從而進(jìn)行渠道推廣策略的優(yōu)化。產(chǎn)品和服務(wù)優(yōu)化：銀行可以將客戶行為轉(zhuǎn)化為信息流，并從中分析客戶的個(gè)性特征和風(fēng)險(xiǎn)偏好，更深層次地理解客戶的習(xí)慣，智能化分析和預(yù)測(cè)客戶需求，從而進(jìn)行產(chǎn)品創(chuàng)新和服務(wù)優(yōu)化。如興業(yè)銀行目前對(duì)大數(shù)據(jù)進(jìn)行初步分析，通過對(duì)還款數(shù)據(jù)挖掘比較區(qū)分優(yōu)質(zhì)客戶，根據(jù)客戶還款數(shù)額的差別，提供差異化的金融產(chǎn)品和服務(wù)方式。輿情分析：銀行可以通過爬蟲技術(shù)，抓取社區(qū)、論壇和微博上關(guān)于銀行以及銀行產(chǎn)品和服務(wù)的相關(guān)信息，并通過自然語言處理技術(shù)進(jìn)行正負(fù)面判斷，尤其是及時(shí)掌握銀行以及銀行產(chǎn)品和服務(wù)的負(fù)面信息，及時(shí)發(fā)現(xiàn)和處理問題；對(duì)于正面信息，可以加以總結(jié)并繼續(xù)強(qiáng)化。同時(shí)，銀行也可以抓取同行業(yè)的銀行正負(fù)面信息，及時(shí)了解同行做的好的方面，以作為自身業(yè)務(wù)優(yōu)化的借鑒。1.3面臨的風(fēng)險(xiǎn)和挑戰(zhàn)XX銀行面臨著同行業(yè)務(wù)和對(duì)客戶招攬的競(jìng)爭(zhēng)；客戶也需要XX銀行為客戶提供更加精準(zhǔn)的產(chǎn)品、技術(shù)的指導(dǎo)；XX銀行為了提高公司經(jīng)營的競(jìng)爭(zhēng)力也需要對(duì)客戶的交易數(shù)據(jù)進(jìn)行分析、了解不同客戶適合在哪種類型產(chǎn)品上交易更高更好的盈利；通過大數(shù)據(jù)，也可以把中國乃至全球的經(jīng)濟(jì)、政治、文化、軍事等情報(bào)對(duì)銀行業(yè)乃至整個(gè)金融業(yè)的影響趨勢(shì)，讓公司也有較強(qiáng)的規(guī)避風(fēng)險(xiǎn)的能力；1.4建設(shè)目標(biāo)依托云計(jì)算技術(shù)，對(duì)XX銀行內(nèi)部業(yè)務(wù)平臺(tái)、數(shù)據(jù)、交易數(shù)據(jù)管理、交易數(shù)據(jù)分析、國內(nèi)、國外經(jīng)濟(jì)、軍事、政治情報(bào)的分析系統(tǒng)實(shí)行統(tǒng)一規(guī)劃和建設(shè)。所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，并可按需進(jìn)行動(dòng)態(tài)擴(kuò)展和配置。按照分階段可升級(jí)的標(biāo)準(zhǔn)要求，為多級(jí)單位提供應(yīng)用支撐基礎(chǔ)平臺(tái)服務(wù)和數(shù)據(jù)存儲(chǔ)、備份、交換等服務(wù)，實(shí)現(xiàn)基礎(chǔ)軟硬件資源的統(tǒng)一管理、按需分配、綜合利用，增強(qiáng)數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速業(yè)務(wù)系統(tǒng)的部署，提升硬件資源的利用率；1.5建設(shè)原則結(jié)合本項(xiàng)目的實(shí)際應(yīng)用和發(fā)展要求，在進(jìn)行云計(jì)算、大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)過程中，應(yīng)始終堅(jiān)持以下原則：1） 可擴(kuò)展性原則為了保護(hù)已有的投資以及不斷增長的業(yè)務(wù)需求，系統(tǒng)必須具有靈活的結(jié)構(gòu)并留有合理的擴(kuò)充余地，以便根據(jù)需要進(jìn)行適當(dāng)?shù)淖儎?dòng)和擴(kuò)充；主要業(yè)務(wù)平臺(tái)系統(tǒng)應(yīng)采用開放的結(jié)構(gòu)，符合國際標(biāo)準(zhǔn)、工業(yè)標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，適應(yīng)技術(shù)的發(fā)展和變化。由于本次市局信息系統(tǒng)整體東遷，相當(dāng)于系統(tǒng)重新規(guī)劃和建設(shè)，所以我們把主要精力放在滿足現(xiàn)有業(yè)務(wù)需求和對(duì)未來的系統(tǒng)擴(kuò)展的支持性上，也就是需要設(shè)計(jì)成一個(gè)便于擴(kuò)展的系統(tǒng)架構(gòu)，系統(tǒng)應(yīng)具備良好的擴(kuò)展能力并能夠便捷地進(jìn)行擴(kuò)展。2） 合理性原則在一定的資金條件下，以適當(dāng)?shù)耐度?，建立性能價(jià)格比高的、先進(jìn)的、完善的業(yè)務(wù)系統(tǒng)。所有軟硬件的選型和配置要堅(jiān)持性能價(jià)格比最優(yōu)原則，同時(shí)兼顧與市局已有設(shè)備和系統(tǒng)的互聯(lián)互通能力，以及與目前操作系統(tǒng)和應(yīng)用系統(tǒng)的兼容性。在滿足系統(tǒng)性能、功能以及考慮到在可預(yù)見的未來不失去先進(jìn)性的條件下，盡量取得整個(gè)系統(tǒng)的投入合理性，以構(gòu)成一個(gè)性能價(jià)格比優(yōu)化的應(yīng)用系統(tǒng)。系統(tǒng)架構(gòu)的設(shè)計(jì)應(yīng)盡可能地運(yùn)用虛擬化、云計(jì)算等新技術(shù)，以符合未來的技術(shù)發(fā)展方向。這種設(shè)計(jì)方法可以最大化地利用投資，并在利用率、管理、能源等各方面提高用戶投資的效率，降低總體擁有成本，減少浪費(fèi)的發(fā)生。結(jié)合新技術(shù)的運(yùn)用，也可以讓各應(yīng)用系統(tǒng)更好地融入未來整體IT建設(shè)規(guī)劃中，避免發(fā)生推到重建的現(xiàn)象，從而更好地保護(hù)市局在信息系統(tǒng)上的投入。3）可靠性原則系統(tǒng)要具有高可靠性及強(qiáng)大的容錯(cuò)能力。該系統(tǒng)必須保證7X24全天候不間斷地工作，核心設(shè)備比如數(shù)據(jù)庫服務(wù)器和存儲(chǔ)設(shè)備具有全容錯(cuò)結(jié)構(gòu)，并具有熱插拔功能，可帶電修復(fù)有關(guān)故障而不影響整個(gè)系統(tǒng)的工作，設(shè)計(jì)應(yīng)保持一定數(shù)量的冗余以保證整體系統(tǒng)的高可靠性和高可用性。即便是在系統(tǒng)建設(shè)初期也要著重考慮系統(tǒng)可用性、可靠性問題，防止出現(xiàn)系統(tǒng)停頓等問題造成信息系統(tǒng)的中斷服務(wù)。通過結(jié)合云計(jì)算等新技術(shù)，可以更好地提高系統(tǒng)的可靠性和可用性。4） 可管理性原則選擇基于開放的技術(shù)，采用標(biāo)準(zhǔn)化、規(guī)范化設(shè)計(jì)；同時(shí)采用先進(jìn)的設(shè)備，易于日后擴(kuò)展，便于向更新技術(shù)的升級(jí)與銜接，實(shí)現(xiàn)系統(tǒng)較長的生命力；保證后期在系統(tǒng)上進(jìn)行有效的開發(fā)和使用，并為今后的發(fā)展提供一個(gè)良好的環(huán)境；在設(shè)計(jì)、組建中心機(jī)房系統(tǒng)時(shí)，采用先進(jìn)的、標(biāo)準(zhǔn)的設(shè)備；在選購服務(wù)器、存儲(chǔ)和連接設(shè)備時(shí)，確保系統(tǒng)部件間的嚴(yán)密配合和無縫聯(lián)接，并獲得良好的售后服務(wù)和技術(shù)支持；整個(gè)系統(tǒng)建成后按照整理一套完整的文檔資料，以便提高整個(gè)系統(tǒng)的可管理性與可維護(hù)性。5） 安全性原則嚴(yán)格按照XX關(guān)于信息安全的規(guī)定和要求，規(guī)劃和部署中心機(jī)房的業(yè)務(wù)系統(tǒng)和備份系統(tǒng)；采用安全服務(wù)器、備份還原系統(tǒng)、來防止內(nèi)外部的網(wǎng)絡(luò)安全威協(xié)和數(shù)據(jù)丟失竊取威脅等；所有軟硬件采用國產(chǎn)、自主研發(fā)的產(chǎn)品，從根本上保障系統(tǒng)的安全性。1.6云計(jì)算大數(shù)據(jù)中心優(yōu)勢(shì)通過建立云計(jì)算大數(shù)據(jù)中心，通過服務(wù)的方式交付對(duì)物理硬件的需求，代替?zhèn)鹘y(tǒng)硬件設(shè)備跟隨著應(yīng)有系統(tǒng)的增加而增加的模式，對(duì)現(xiàn)有應(yīng)用系統(tǒng)進(jìn)行整合，實(shí)現(xiàn)IT服務(wù)的快速交付，節(jié)能響應(yīng)國家號(hào)召，提升業(yè)務(wù)系統(tǒng)安全。1） 國產(chǎn)硬件自主可控?cái)?shù)據(jù)存儲(chǔ)硬件采用我國完全自主研發(fā)的存儲(chǔ)服務(wù)器，硬件和軟件設(shè)計(jì)完全自主可控。存儲(chǔ)服務(wù)器采國產(chǎn)化架構(gòu)的高可靠性硬件平臺(tái)和國產(chǎn)睿思操作系統(tǒng)，從根本上保證數(shù)據(jù)的安全性。2） 海量數(shù)據(jù)高效管理隨著地理信息處理業(yè)務(wù)的增多，存數(shù)據(jù)中心存儲(chǔ)大量的數(shù)據(jù)，這就需要存儲(chǔ)系統(tǒng)能夠容納海量的數(shù)據(jù)。同時(shí)，存儲(chǔ)系統(tǒng)里面的文件數(shù)量也會(huì)快速增長，當(dāng)文件數(shù)量增長到數(shù)千萬以上時(shí)，文件的檢索查找等操作將會(huì)給文件系統(tǒng)帶來巨大的壓力，特別是一個(gè)目錄下面存放的文件超過一定數(shù)量甚至?xí)斐晌募檎倚始眲∠陆?。采用的分布式存?chǔ)系統(tǒng)單卷可支持300PB以上的存儲(chǔ)空間，高效的管理上千億個(gè)文件，單目錄可以高效支持千萬級(jí)的文件數(shù)量。分布式存儲(chǔ)系統(tǒng)擁有高效的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上千億文件的同時(shí)保持極高的文件檢索效率。統(tǒng)能夠在單個(gè)目錄下高效管理上千萬個(gè)文件的存儲(chǔ)系統(tǒng)，在單目錄下存放上千萬數(shù)量文件時(shí)，仍然能夠提供每秒數(shù)萬的文件檢索效率。3）合理利用硬件資源，減少運(yùn)行消耗云計(jì)算平臺(tái)可將服務(wù)器物理資源轉(zhuǎn)換成池化的可動(dòng)態(tài)分配的計(jì)算單元，從云計(jì)算數(shù)據(jù)中心具體需求出發(fā)，在資源池中劃分出適合具體業(yè)務(wù)需要的服務(wù)計(jì)算單元，不再受限于物理上的界限，從而提高資源的利用率，簡(jiǎn)化系統(tǒng)管理，讓信息化建設(shè)對(duì)地理情報(bào)工作的變化更具適應(yīng)力，從而構(gòu)建出信息系統(tǒng)平臺(tái)的基礎(chǔ)。云平臺(tái)建成后，可減少物理服務(wù)器數(shù)量至原有數(shù)量的一半以上，機(jī)房空間占用面積大大減少，機(jī)房相應(yīng)配套設(shè)施建設(shè)也可能夠相應(yīng)減少，在實(shí)際工作中預(yù)計(jì)可節(jié)省能源達(dá)到70%以上,響應(yīng)國家節(jié)能減排的要求。4） 完善應(yīng)急安全機(jī)制云平臺(tái)可以自動(dòng)監(jiān)控資源池中計(jì)算單元和應(yīng)用單元的可用性，檢測(cè)物理服務(wù)器故障，如果檢測(cè)到故障,可重新在資源池中其他物理服務(wù)器上重新啟動(dòng)相關(guān)業(yè)務(wù)，整個(gè)過程無需人工干預(yù)。通過云安全平臺(tái)，可快速部署網(wǎng)絡(luò)安全應(yīng)用防火墻、IPS、WEB應(yīng)用防火墻等。5） 提供便捷的管理運(yùn)維方式。可以通過一個(gè)統(tǒng)一的管理平臺(tái)，來進(jìn)行對(duì)平臺(tái)中運(yùn)行的各項(xiàng)功能設(shè)立不同權(quán)限的管理賬號(hào)，根據(jù)工作需要設(shè)置不同的管理權(quán)限，并可通過其管理日志追溯操作過程。2云數(shù)據(jù)中心需求分析2.1現(xiàn)狀分析目前，辦公管理信息數(shù)據(jù)、交易信息數(shù)據(jù)和情報(bào)信息數(shù)據(jù)規(guī)模已經(jīng)發(fā)展得非常龐大，信息化平臺(tái)已日益變成業(yè)務(wù)運(yùn)營與管理的重要支撐平臺(tái)。在信息化平臺(tái)建設(shè)的過程中，各個(gè)應(yīng)用系統(tǒng)的業(yè)務(wù)之間的聯(lián)系非常緊密，流程自動(dòng)化程度非常高。因此在信息化高速發(fā)展的形勢(shì)下，急需形成統(tǒng)一完備的綜合技術(shù)集成體系，能提供一體化的數(shù)據(jù)存儲(chǔ)共享，應(yīng)用集成和統(tǒng)一展現(xiàn)能力。隨著信息化建設(shè)和應(yīng)用工作的進(jìn)一步深入，對(duì)信息網(wǎng)絡(luò)傳輸能力，數(shù)據(jù)中心存儲(chǔ)能力和處理能力提出了更高要求，為支撐流程集成和業(yè)務(wù)應(yīng)用的深入融合，需要提供統(tǒng)一高效的流程處理能力，數(shù)據(jù)轉(zhuǎn)換能力以及數(shù)據(jù)分析能力；需要建立和完善統(tǒng)一的綜合技術(shù)平臺(tái)體系，涵蓋數(shù)據(jù)采集，存儲(chǔ)，共享，交互和展現(xiàn)能力。2總體建設(shè)需求建立一個(gè)統(tǒng)一的超過300TB的數(shù)據(jù)存儲(chǔ)系統(tǒng),能夠無縫兼容現(xiàn)有系統(tǒng)設(shè)備和云平臺(tái)、大數(shù)據(jù)平臺(tái)；建立統(tǒng)一的云平臺(tái)系統(tǒng)，可以快速管理、擴(kuò)展、配置XX銀行內(nèi)部的各種業(yè)務(wù)服務(wù)和數(shù)據(jù)存儲(chǔ)服務(wù)，并能夠提供相應(yīng)服務(wù)冗余性；建立基于云平臺(tái)的大數(shù)據(jù)存儲(chǔ)管理與分析系統(tǒng)，可以管理XX銀行歷年來的交易數(shù)據(jù)、時(shí)實(shí)交易數(shù)據(jù)，并能根據(jù)數(shù)據(jù)交易情況和IP數(shù)據(jù)報(bào)文情況分析各種用戶的交易習(xí)慣、產(chǎn)品分布、盈利能力，方便XX銀行對(duì)客戶提供精準(zhǔn)化服務(wù)的能力；建立基于云平臺(tái)的大數(shù)據(jù)情報(bào)管理與分析系統(tǒng)，可以方便的把全球的經(jīng)濟(jì)數(shù)據(jù)、政策變化、軍事變化、文化等多各種金融產(chǎn)品交易的影響，能夠指導(dǎo)公司規(guī)避即將產(chǎn)生的或潛在經(jīng)濟(jì)風(fēng)險(xiǎn)，提高公司和客戶對(duì)交易風(fēng)險(xiǎn)的預(yù)判能力。通過建立統(tǒng)一的云平臺(tái)運(yùn)維管理系統(tǒng)，可以快速提高公司IT技術(shù)人員對(duì)所有IT資源的管理應(yīng)用能力，保障公司實(shí)際的設(shè)備資源、網(wǎng)絡(luò)資源能夠得到充分的使用，同時(shí)也能夠提高公司能效節(jié)約的能力。3云數(shù)據(jù)中心總體規(guī)劃設(shè)計(jì)3.1整體建設(shè)思想XX銀行云平臺(tái)大數(shù)據(jù)中心將利用云計(jì)算相關(guān)技術(shù)，結(jié)合綠色數(shù)據(jù)中心建設(shè)的目標(biāo)和需求，以戰(zhàn)略支持型信息化建設(shè)為導(dǎo)向，以支持保障信息化業(yè)務(wù)發(fā)展為建設(shè)思路，構(gòu)造一個(gè)功能齊全、設(shè)備先進(jìn)、運(yùn)行高效、使用靈活、維護(hù)方便、易于擴(kuò)展、投資省、高安全可靠的全局性基于云平臺(tái)數(shù)據(jù)資源中心。2整體系統(tǒng)結(jié)構(gòu)本次云數(shù)據(jù)中心解決方案將針對(duì)計(jì)算服務(wù)整體架構(gòu)中的云計(jì)算服務(wù)區(qū)，通過對(duì)底層服務(wù)器硬件及存儲(chǔ)資源實(shí)現(xiàn)虛擬化聚合部署，配合以云計(jì)算管理平臺(tái)，實(shí)現(xiàn)云計(jì)算中基礎(chǔ)架構(gòu)即服務(wù)（IaaS）部分，同時(shí)該IaaS平臺(tái)也為地球信息發(fā)布平臺(tái)、大數(shù)據(jù)分析平臺(tái)、web發(fā)布平臺(tái)等（Paas）層提供更高層次的云計(jì)算服務(wù)，通過Paas層平臺(tái)提供數(shù)據(jù)匯集管理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用功能（Saas層），最終通過統(tǒng)一的系統(tǒng)門戶向最終用戶提供服務(wù)，總體邏輯架構(gòu)如下:統(tǒng)一管理安全1主機(jī)層安］數(shù)據(jù)安全［網(wǎng)絡(luò)安全］

［安全準(zhǔn)則］其他用戶首長機(jī)關(guān)宜屬情報(bào)分隊(duì)基地1W報(bào)分隊(duì)J系統(tǒng)門戶設(shè)備虛擬化統(tǒng)一門戶:統(tǒng)一管理

門戶設(shè)備存儲(chǔ)虛擬化■虛擬交換機(jī)業(yè)務(wù)運(yùn)營統(tǒng)一管理安全1主機(jī)層安］數(shù)據(jù)安全［網(wǎng)絡(luò)安全］

［安全準(zhǔn)則］其他用戶首長機(jī)關(guān)宜屬情報(bào)分隊(duì)基地1W報(bào)分隊(duì)J系統(tǒng)門戶設(shè)備虛擬化統(tǒng)一門戶:統(tǒng)一管理

門戶設(shè)備存儲(chǔ)虛擬化■虛擬交換機(jī)業(yè)務(wù)運(yùn)營、資源發(fā)放,日志管理圖3-1云數(shù)據(jù)中心總體邏輯架構(gòu)云數(shù)據(jù)中心的各個(gè)關(guān)鍵組件及邏輯層次?！鲈茢?shù)據(jù)中心基礎(chǔ)架構(gòu)：提供了一個(gè)功能完整的、標(biāo)準(zhǔn)開放的方便集成的IaaS服務(wù)層。這層提供的動(dòng)態(tài)基礎(chǔ)架構(gòu)是整個(gè)云數(shù)據(jù)中心的核心支撐層，其最核心的部分包括采用了國產(chǎn)服務(wù)器、國產(chǎn)存儲(chǔ)存儲(chǔ)系統(tǒng)和虛擬化軟件構(gòu)建的云計(jì)算服務(wù)基礎(chǔ)架構(gòu)。該基礎(chǔ)架構(gòu)具備良好的性能、可用性和可靠性。通過部署虛擬化軟件、服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備，內(nèi)部搭建虛擬化環(huán)境，通過虛擬化技術(shù)構(gòu)建新一代的數(shù)據(jù)中心，形成統(tǒng)一的云計(jì)算信息系統(tǒng)平臺(tái)。在數(shù)據(jù)中心,這些資源根據(jù)需要進(jìn)行動(dòng)態(tài)擴(kuò)展和配置，各單位最終信息系統(tǒng)業(yè)務(wù)按需使用資源。通過虛擬化技術(shù)，增強(qiáng)數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速應(yīng)用的部署，提升硬件資源的利用率，降低能源消耗?！銎脚_(tái)層：通過大數(shù)據(jù)分析平臺(tái)、辦公0A系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、交易管理系統(tǒng)、web發(fā)布平臺(tái)、用戶管理系統(tǒng)等應(yīng)用，平臺(tái)為上層門戶提供數(shù)據(jù)采集、數(shù)據(jù)處理等功能。?云計(jì)算服務(wù)門戶：為用戶提供統(tǒng)一的服務(wù)門戶,用以支撐整個(gè)云數(shù)據(jù)中心的日常運(yùn)營。包括用戶登錄、服務(wù)加載、下載、審批、疊加顯示、拼接請(qǐng)求等功能。?云計(jì)算服務(wù)數(shù)據(jù)安全保護(hù)：通過部署云安全平臺(tái)，可以幫助用戶建立起一個(gè)既能充分利用云計(jì)算優(yōu)勢(shì)，同時(shí)又不犧牲安全性、控制力和遵從性的環(huán)境，其為虛擬數(shù)據(jù)中心和云計(jì)算環(huán)境提供了支持虛擬化的保護(hù)，使用戶可以加強(qiáng)應(yīng)用程序和數(shù)據(jù)安全，提高可見性和控制力，以及加快整個(gè)云計(jì)算中心的遵從性舉措。?云計(jì)算服務(wù)運(yùn)維管理體系：為整個(gè)云數(shù)據(jù)中心平臺(tái)搭建一套長期運(yùn)維管理的體系，為云計(jì)算平臺(tái)的長期有效運(yùn)行提供保障。云計(jì)算運(yùn)維管理體系包括組織管理模式、制度規(guī)范體系、技術(shù)支撐體系等多個(gè)層面的內(nèi)容，采用云計(jì)算技術(shù)手段和云計(jì)算管理制度結(jié)合的方式保障整個(gè)政務(wù)云平臺(tái)的平穩(wěn)運(yùn)行。3.3計(jì)算資源和存儲(chǔ)資源配置估算計(jì)算資源和存儲(chǔ)資源是云中心的兩大類核心資源。對(duì)計(jì)算資源和存儲(chǔ)資源的合理估算和配置，是建設(shè)先進(jìn)、高效云平臺(tái)的必要條件。以下給出我們根據(jù)云計(jì)算數(shù)據(jù)中心現(xiàn)有業(yè)務(wù)應(yīng)用和數(shù)據(jù)資源所作出的云中心計(jì)算資源、存儲(chǔ)資源、基礎(chǔ)網(wǎng)絡(luò)和安全設(shè)施的初步估算。經(jīng)詳細(xì)調(diào)研計(jì)算資源需要cpu計(jì)算單元320核內(nèi)存5120G存儲(chǔ)空間300TBo擬新增10臺(tái)高性能服務(wù)器，供云計(jì)算、云存儲(chǔ)使用，新增2臺(tái)高性能服務(wù)器器供云安全平臺(tái)使用。4云數(shù)據(jù)中心資源層規(guī)劃設(shè)計(jì)4.1云計(jì)算平臺(tái)基礎(chǔ)架構(gòu)體系4.1.1設(shè)計(jì)原則方案設(shè)計(jì)遵循以下幾個(gè)原則：先進(jìn)性、標(biāo)準(zhǔn)性、實(shí)用性、可擴(kuò)展性、兼容性、易用性、安全性、可靠性和前瞻性：先進(jìn)性系統(tǒng)設(shè)計(jì)達(dá)到業(yè)界領(lǐng)先水平，采用當(dāng)今最新且成熟的計(jì)算機(jī)、網(wǎng)絡(luò)、控制、數(shù)據(jù)存儲(chǔ)等技術(shù)。符合最新的技術(shù)發(fā)展潮流，且各系統(tǒng)設(shè)計(jì)切實(shí)可行、并容易實(shí)現(xiàn)。標(biāo)準(zhǔn)性系統(tǒng)設(shè)計(jì)嚴(yán)格的按照國際和國家標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì)，并遵循國內(nèi)外有關(guān)的規(guī)范要求。具體包括：遵循標(biāo)準(zhǔn)的整體協(xié)議框架、提供標(biāo)準(zhǔn)接口、使用標(biāo)準(zhǔn)的數(shù)據(jù)傳輸協(xié)議等。實(shí)用性系統(tǒng)設(shè)計(jì)注重實(shí)用性，系統(tǒng)配置滿足整個(gè)預(yù)警平臺(tái)的實(shí)際應(yīng)用需要并符合用戶的實(shí)際需要?？蓴U(kuò)展性系統(tǒng)設(shè)計(jì)考慮了預(yù)警平臺(tái)未來功能擴(kuò)充發(fā)展的需要，留有充分的擴(kuò)充余地，方便地實(shí)現(xiàn)系統(tǒng)的平滑擴(kuò)展和升級(jí)。易用性系統(tǒng)設(shè)計(jì)注重易用性，要求系統(tǒng)參數(shù)配置少，調(diào)整少，自動(dòng)化程度高，使用方便，操作簡(jiǎn)單，管理方便。安全性系統(tǒng)設(shè)計(jì)具備安全性，采用多種安全防范技術(shù)和措施，在物理、系統(tǒng)、網(wǎng)絡(luò)、應(yīng)用以及管理上全面的保障系統(tǒng)的安全。可靠性系統(tǒng)設(shè)計(jì)注重可靠性，能夠長期穩(wěn)定工作，保證7*24小時(shí)不間斷地穩(wěn)定可靠運(yùn)行，適應(yīng)工作環(huán)境能力強(qiáng)，故障率低，維護(hù)維修方便。前瞻性系統(tǒng)設(shè)計(jì)具有前瞻性，整個(gè)系統(tǒng)的硬件配置，應(yīng)符合長遠(yuǎn)的規(guī)劃和設(shè)計(jì)，保證3年內(nèi)系統(tǒng)的需要。通過需求分析我們可以得知，本次項(xiàng)目建設(shè)項(xiàng)目的設(shè)計(jì)目標(biāo)是構(gòu)造一個(gè)功能齊全、設(shè)備先進(jìn)、運(yùn)行高效、使用靈活、維護(hù)方便、易于擴(kuò)展、投資省、高安全可靠的信息系統(tǒng)。云計(jì)算技術(shù)的岀現(xiàn)卻給我們一最佳的選擇，隨著數(shù)據(jù)信息的增長，技術(shù)也需要隨之變化。這些變化常常實(shí)施在運(yùn)行關(guān)鍵業(yè)務(wù)應(yīng)用的復(fù)雜系統(tǒng)內(nèi)。通常會(huì)對(duì)共享硬件和軟件資源有越來越多的需求，虛擬環(huán)境下有效的管理和控制了這種需求。虛擬化是通過對(duì)IT硬件資源整合、優(yōu)化、共享的成熟高新技術(shù)，是實(shí)現(xiàn)云計(jì)算最基礎(chǔ)的支撐技術(shù)。它可以有效增加組織的靈活性和效率，同時(shí)又可以降低其成本。虛擬化技術(shù)以其系統(tǒng)的先進(jìn)性、高可用性、系統(tǒng)的靈活擴(kuò)展能力、開放性以及高可管理性等可完全滿足當(dāng)前和未來幾年內(nèi)云數(shù)據(jù)平臺(tái)信息系統(tǒng)的發(fā)展需求。4.1.2系統(tǒng)總體架構(gòu)通過部署虛擬化軟件、服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備，內(nèi)部搭建虛擬化環(huán)境，通過虛擬化技術(shù)構(gòu)建新一代的數(shù)據(jù)中心，形成統(tǒng)一的云計(jì)算信息系統(tǒng)平臺(tái)。在數(shù)據(jù)中心，所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，這些資源根據(jù)需要進(jìn)行動(dòng)態(tài)擴(kuò)展和配置，各單位最終信息系統(tǒng)業(yè)務(wù)按需使用資源。通過虛擬化技術(shù)，增強(qiáng)數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速應(yīng)用的部署，提升硬件資源的利用率，降低能源消耗。虛擬化是云計(jì)算的基礎(chǔ)，在數(shù)據(jù)中心，通過虛擬化技術(shù)將物理服務(wù)器進(jìn)行虛擬化，具體為CPU虛擬化、內(nèi)存虛擬化、設(shè)備I/O虛擬化等，實(shí)現(xiàn)在單一物理服務(wù)器上運(yùn)行多個(gè)虛擬服務(wù)器（虛擬機(jī)），把應(yīng)用程序?qū)Φ讓拥南到y(tǒng)和硬件的依賴抽象岀來，從而解除應(yīng)用與操作系統(tǒng)和硬件的耦合關(guān)系，使得物理設(shè)備的差異性與兼容性與上層應(yīng)用透明，不同的虛擬機(jī)之間相互隔離、互不影響，可以運(yùn)行不同的操作系統(tǒng)，并提供不同的應(yīng)用服務(wù)。什么是服務(wù)器虛擬化服務(wù)器虛擬化將硬件、操作系統(tǒng)和應(yīng)用程序一同裝入一個(gè)可遷移的虛擬機(jī)檔案文件中如圖所示：虛擬化前虛擬化后?軟件必須與鞭件柑結(jié)合?每臺(tái)機(jī)器匕只冇單一的操作系統(tǒng)鏡像?每個(gè)操作系統(tǒng)只有個(gè)應(yīng)用程序負(fù)載OperatingSfHemx86ArchitectureDisk應(yīng)用0%毎日?u＞眩 II卄?MngS??耒更說過的osVMw?r?Vlrtu?UxHiMl?y?fcrvMtlBtry?毎臺(tái)機(jī)器卜?有篦個(gè)負(fù)載?軟件相對(duì)于硬件獨(dú)立虛擬化前虛擬化后?軟件必須與鞭件柑結(jié)合?每臺(tái)機(jī)器匕只冇單一的操作系統(tǒng)鏡像?每個(gè)操作系統(tǒng)只有個(gè)應(yīng)用程序負(fù)載OperatingSfHemx86ArchitectureDisk應(yīng)用0%毎日?u＞眩 II卄?MngS??耒更說過的osVMw?r?Vlrtu?UxHiMl?y?fcrvMtlBtry?毎臺(tái)機(jī)器卜?有篦個(gè)負(fù)載?軟件相對(duì)于硬件獨(dú)立圖4-1服務(wù)器虛擬化在單臺(tái)服務(wù)器虛擬化基礎(chǔ)上，通過虛擬化管理中心(vCenter)將多臺(tái)服務(wù)器、存儲(chǔ)硬件基礎(chǔ)資源進(jìn)行整合，構(gòu)建硬件(CPU、內(nèi)存、I/O)資源池，實(shí)現(xiàn)數(shù)據(jù)中心整體硬件資源的按需分配。虛擬化結(jié)構(gòu)如圖所示：應(yīng)用程序1應(yīng)用程序】應(yīng)用程序；應(yīng)用程序J操作系纟克操作系統(tǒng)處理器

內(nèi)存

設(shè)備IO

網(wǎng)絡(luò)接口處理器

內(nèi)存

設(shè)備IO

網(wǎng)絡(luò)接口圖4-2服務(wù)器虛擬化結(jié)構(gòu)將服務(wù)器物理資源抽象成邏輯資源，讓一臺(tái)服務(wù)器變成幾臺(tái)甚至上百臺(tái)相互隔離的虛擬服務(wù)器，或者讓幾臺(tái)服務(wù)器變成一臺(tái)服務(wù)器來用，我們不再受限于物理上的界限，而是讓CPU、內(nèi)存、磁盤、I/O等硬件變成可以動(dòng)態(tài)管理的'‘資源池”，從而提高資源的利用率，簡(jiǎn)化系統(tǒng)管理，實(shí)現(xiàn)服務(wù)器整合，讓IT對(duì)業(yè)務(wù)的變化更具適應(yīng)力，從而構(gòu)建出數(shù)據(jù)中心系統(tǒng)平臺(tái)的基礎(chǔ)。4.1.3虛擬化拓?fù)涞慕Y(jié)構(gòu)■務(wù)Mi OKCT2 丨K?8fT3■—■a——[flua圖4-3虛擬化拓?fù)浣Y(jié)構(gòu)針對(duì)上面的拓?fù)鋱D，詳細(xì)說明如下：整體架構(gòu)可以分為三層，最底層為存儲(chǔ)網(wǎng)絡(luò)層，中間層為虛擬化系統(tǒng)，最上層為虛擬服務(wù)器層；其中，下面的兩層為資源提供方，最上層為資源用戶；而中間層的虛擬化系統(tǒng)又起到了資源分配調(diào)度的作用。部署虛擬化系統(tǒng)之后的整體架構(gòu)和傳統(tǒng)架構(gòu)下是沒很大區(qū)別的，利用共享存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)集中和共享，結(jié)合管理中心實(shí)現(xiàn)應(yīng)用系統(tǒng)的統(tǒng)一管理；虛擬化集群的形成，直接為應(yīng)用系統(tǒng)提供了高可用和負(fù)載均衡的功能。4.2云計(jì)算中心虛擬化組件2.1遷移使運(yùn)行中的虛擬機(jī)從一臺(tái)物理服務(wù)器實(shí)時(shí)遷移到另一臺(tái)物理服務(wù)器，同時(shí)保持業(yè)務(wù)的連續(xù)運(yùn)行。實(shí)現(xiàn)了零停機(jī)時(shí)間和連續(xù)可用的服務(wù)，并能全面保證事務(wù)的完整性。是用于創(chuàng)建動(dòng)態(tài)、自動(dòng)化、自我優(yōu)化的數(shù)據(jù)中心的關(guān)鍵促成技術(shù)。圖4-4擬機(jī)遷移4.2.2高可靠性（HA）自動(dòng)監(jiān)控物理服務(wù)器的可用性?？蓹z測(cè)物理服務(wù)器故障，如果檢測(cè)到故障，可重新在資源池中其他物理服務(wù)器上啟動(dòng)虛擬機(jī)，整個(gè)過程無需人工干預(yù)。該功能組件比傳統(tǒng)的雙機(jī)冷備更具有自動(dòng)啟動(dòng)的優(yōu)勢(shì)。

圖4-5高可靠性(HA)4.2.3容錯(cuò)功能相當(dāng)于雙機(jī)熱備，但是比傳統(tǒng)的雙機(jī)熱備更具有優(yōu)勢(shì)，它可以時(shí)刻在兩個(gè)不同的物理服務(wù)器上保持兩個(gè)相同的鏡像，其中一臺(tái)出現(xiàn)故障時(shí)，不影響業(yè)務(wù)的運(yùn)行，同時(shí)自動(dòng)在另一臺(tái)物理服務(wù)器上建立以特相同的鏡像，物理服務(wù)器不受硬件型號(hào)配置的限制。圖4-6容錯(cuò)4.2.4動(dòng)態(tài)資源分配跨資源池不間斷地監(jiān)控利用率，并在多臺(tái)虛擬機(jī)之間智能地分配可用資源，使資源優(yōu)先用于最重要的應(yīng)用程序，以便讓資源與業(yè)務(wù)目標(biāo)相協(xié)調(diào)。自動(dòng)、不間斷地優(yōu)化硬件利用率，以響應(yīng)不斷變化的情況。為業(yè)務(wù)部門提供專用的虛擬基礎(chǔ)結(jié)構(gòu)，同時(shí)讓IT部門能夠集中、全面地控制硬件。執(zhí)行零停機(jī)服務(wù)器維護(hù)。通過使用分布式電源管理來整合工作負(fù)載和關(guān)閉集群中的虛擬機(jī)暫時(shí)不需要的耗電服務(wù)器，從而減少數(shù)據(jù)中心的能耗。業(yè)務(wù)需求資源油圖4-7動(dòng)態(tài)資源分配(DRS)4.2.5分布式電源管理可用管理系統(tǒng)中，為了在虛擬化環(huán)境中能達(dá)到節(jié)能

減排放的作用，設(shè)置了DPM的功能。這是一個(gè)高級(jí)電源管理功能它可以提供當(dāng)虛擬化環(huán)境中不需要那么大的運(yùn)算資源的的時(shí)候，同過統(tǒng)一管理平臺(tái)功能管理模塊相結(jié)合?？梢允菍?shí)現(xiàn)當(dāng)我們的業(yè)務(wù)系統(tǒng)在不需要云平臺(tái)提供那么大的計(jì)算能力的時(shí)候,為了節(jié)能減排放.通過自動(dòng)調(diào)度將某些服務(wù)器上的虛擬機(jī)通過在線遷移的方式自動(dòng)遷移到平臺(tái)中的其它物理服務(wù)器中運(yùn)行，將空閑服務(wù)器進(jìn)行下電。當(dāng)業(yè)務(wù)重新增長后，需要平臺(tái)提供大規(guī)模計(jì)算的時(shí)候，會(huì)重新啟動(dòng)該服務(wù)器加入到平臺(tái)中，為虛擬服務(wù)器提供運(yùn)算支持。＞群集需要的資源越少，就將工作負(fù)載整合到越少的服務(wù)器上＞將不需要的服務(wù)器置于待機(jī)模式＞工作負(fù)載需要增加時(shí)，再恢復(fù)服務(wù)器在線狀態(tài)＞保證服務(wù)級(jí)別的同時(shí)減少電力消耗＞虛擬機(jī)不中斷、不停機(jī)圖4-8分布式電源管理

4.3分布式集群存儲(chǔ)平臺(tái)4.3.1方案拓?fù)鋱D系統(tǒng)架構(gòu)云平臺(tái)下的冬種應(yīng)用服務(wù)系統(tǒng)（辦公0A、云平臺(tái)下的冬種應(yīng)用服務(wù)系統(tǒng)（辦公0A、大數(shù)據(jù)分析等）圖4-9分布式集群存儲(chǔ)架構(gòu)圖4.3.2方案描述分布式存儲(chǔ)系統(tǒng)主要由云平臺(tái)下的應(yīng)用服務(wù)器集群、智能存儲(chǔ)服務(wù)器集群、元數(shù)據(jù)服務(wù)器集群三大部分組成，配置存儲(chǔ)服務(wù)器10臺(tái)，元數(shù)據(jù)服務(wù)器2臺(tái)。應(yīng)用服務(wù)器集群：運(yùn)行客戶應(yīng)用程序的集群，進(jìn)行特定的計(jì)算、信息處理及業(yè)務(wù)服務(wù)等。應(yīng)用服務(wù)器上需要安裝分布式的應(yīng)用服務(wù)器模塊高效的訪問存儲(chǔ)。智能存儲(chǔ)服務(wù)器集群：由萬兆存儲(chǔ)服務(wù)器組成。存儲(chǔ)用戶的實(shí)際數(shù)據(jù)，是整個(gè)分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)資源提供者。當(dāng)應(yīng)用服務(wù)器進(jìn)行數(shù)據(jù)訪問時(shí)，存儲(chǔ)服務(wù)器集群提供實(shí)際的數(shù)據(jù)10服務(wù)。數(shù)據(jù)10壓力能夠非常均衡的分布在存儲(chǔ)服務(wù)器集群之間。元數(shù)據(jù)服務(wù)器集群：由萬兆元數(shù)據(jù)存儲(chǔ)服務(wù)器組成。管理文件系統(tǒng)的元數(shù)據(jù)（包括文件目錄樹組織、屬性維護(hù)、文件操作日志記錄、授權(quán)訪問等），管理整個(gè)存儲(chǔ)系統(tǒng)的命名空間，對(duì)外提供單一的系統(tǒng)映像，并負(fù)責(zé)整個(gè)存儲(chǔ)集群的管理監(jiān)控。元數(shù)據(jù)服務(wù)器協(xié)調(diào)指揮應(yīng)用服務(wù)器和存儲(chǔ)服務(wù)器之間的活動(dòng)，并且元數(shù)據(jù)服務(wù)器集群能夠均衡的負(fù)擔(dān)整個(gè)分布式集群存儲(chǔ)系統(tǒng)的相關(guān)元數(shù)據(jù)訪問負(fù)載。本期項(xiàng)目配置10臺(tái)存儲(chǔ)服務(wù)器2臺(tái)元數(shù)據(jù)服務(wù)器組成存儲(chǔ)集群直接接入萬兆交換機(jī)，提供高性能共享存儲(chǔ)系統(tǒng)；計(jì)算節(jié)點(diǎn)均通過以太網(wǎng)交換機(jī)與存儲(chǔ)系統(tǒng)能共享存儲(chǔ)系統(tǒng)連接。工作機(jī)通過以太網(wǎng)與存儲(chǔ)系統(tǒng)相連。計(jì)算節(jié)點(diǎn)均安裝集群系統(tǒng)客戶端，可根據(jù)權(quán)限以本地盤符的方式訪問文件級(jí)統(tǒng)一命名空間，對(duì)存儲(chǔ)系統(tǒng)進(jìn)行并發(fā)訪問，而且所有計(jì)算節(jié)點(diǎn)均通過光纖直接共享存儲(chǔ)系統(tǒng)中數(shù)據(jù)，充分發(fā)揮光纖高帶寬，低延遲的特點(diǎn)，提高了效率。系統(tǒng)具有良好的可靠性和冗余措施，元數(shù)據(jù)服務(wù)器成對(duì)配置，當(dāng)其中1臺(tái)發(fā)生故障后，另1臺(tái)會(huì)自動(dòng)接替系統(tǒng)服務(wù)，最大程度保證業(yè)務(wù)時(shí)效性。隨著規(guī)模、容量的不斷增加可以通過在線添加擴(kuò)展柜的方式，擴(kuò)展系統(tǒng)的容量、10帶寬和負(fù)載能力。4.3.3系統(tǒng)軟件4.3.3.1云平臺(tái)系統(tǒng)管理支撐系統(tǒng)云平臺(tái)系統(tǒng)支撐系統(tǒng)是數(shù)據(jù)中心的核心系統(tǒng)，在此系統(tǒng)上可以快速配置和部署各種營運(yùn)支持系統(tǒng)（0A辦公系統(tǒng)、財(cái)務(wù)系統(tǒng)、CRM客戶關(guān)系系統(tǒng)、交易支撐系統(tǒng)、大數(shù)據(jù)交易數(shù)據(jù)管理系統(tǒng)與分析系統(tǒng)、大數(shù)據(jù)情報(bào)數(shù)據(jù)管理系統(tǒng)與分析系統(tǒng)）等；XX云系統(tǒng)面向云數(shù)據(jù)中心，如大型企業(yè)私有數(shù)據(jù)中心、公有云平臺(tái)、行業(yè)云服務(wù)平臺(tái)等，提供從底層資源，到上層應(yīng)用和數(shù)據(jù)管理的一體化管理平臺(tái)，支持云基礎(chǔ)架構(gòu)以及各類物理資源、虛擬資源的管理，為網(wǎng)絡(luò)應(yīng)用提供安全、可靠的運(yùn)行支撐環(huán)境，并面向大數(shù)據(jù)應(yīng)用提供多源異構(gòu)大數(shù)據(jù)的存儲(chǔ)與處理。4.3.3.1.1產(chǎn)品定位?管資源：快速地構(gòu)建起跨地域的云平臺(tái)基礎(chǔ)架構(gòu)，對(duì)其中的物理資源和虛擬資源進(jìn)行靈活的管理，對(duì)用戶的IT需求實(shí)現(xiàn)快速的交付，并且支持資源彈性動(dòng)態(tài)擴(kuò)展。?管應(yīng)用：支撐業(yè)務(wù)應(yīng)用的開發(fā)、測(cè)試、部署和維護(hù)等整個(gè)生命周期過程，并全方位監(jiān)控應(yīng)用的運(yùn)行情況，及時(shí)對(duì)應(yīng)用資源進(jìn)行彈性伸縮，確保最大的應(yīng)用穩(wěn)定性和可靠性。?管數(shù)據(jù)：對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)一存儲(chǔ)，并且為應(yīng)用提供相應(yīng)的接口，并可以進(jìn)行大數(shù)據(jù)分析和可視化展現(xiàn)。?用數(shù)據(jù)：對(duì)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行整合利用，形成信息資源中心，開放信息資源目錄，支撐大數(shù)據(jù)應(yīng)用開發(fā)。?用軟件：支持軟件服務(wù)化接入，實(shí)現(xiàn)軟件服務(wù)的上線、訂購、開通、使用、下線等全生命周期管理。4.3.3.1.2XX銀行云應(yīng)用?希望以云計(jì)算的模式對(duì)本單位的信息化平臺(tái)進(jìn)行管理和運(yùn)營的金融、金融等行業(yè)?希望對(duì)數(shù)據(jù)中心進(jìn)行云化并提供彈性云主機(jī)服務(wù)的服務(wù)商?需要快速完成開發(fā)、測(cè)試和部署運(yùn)行，簡(jiǎn)化應(yīng)用開發(fā)和發(fā)布流程的軟件企業(yè)?致力于行業(yè)軟件開發(fā)，并希望搭建行業(yè)SaaS云服務(wù)平臺(tái)的軟件服務(wù)提供商?需要采集、存儲(chǔ)、處理來自物聯(lián)網(wǎng)、互聯(lián)網(wǎng)的大數(shù)據(jù)并進(jìn)行分析的企事業(yè)單位4.3.3.1.3客戶收益?數(shù)據(jù)中心整合：從地理分散到邏輯統(tǒng)一，將服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等設(shè)備整合到虛擬資源池中，提升資源利用率；

?運(yùn)維投入節(jié)約：硬件資源、運(yùn)維人力資源成本大幅降低；?云服務(wù)能力提升：提升信息化運(yùn)維能力，有效保障業(yè)務(wù)交付；?創(chuàng)新的業(yè)務(wù)模式：創(chuàng)新云計(jì)算、大數(shù)據(jù)業(yè)務(wù)，提升自主創(chuàng)新能力。4.3.3.1.4產(chǎn)品架構(gòu)運(yùn)營管理自脈務(wù)門戶標(biāo)準(zhǔn)規(guī)范

安全體系運(yùn)營管理自脈務(wù)門戶標(biāo)準(zhǔn)規(guī)范

安全體系甜礎(chǔ)架構(gòu)層大數(shù)堀借理垢抒平自恃理資iffi管理虛擬化物理資源?物理資源層。物理資源層包括支撐XX云系統(tǒng)自身運(yùn)行和提供服務(wù)所需的物理基礎(chǔ)設(shè)施，XX云系統(tǒng)可對(duì)分布在云數(shù)據(jù)中心的各類物理資源進(jìn)行統(tǒng)一集中管理與運(yùn)維，提供數(shù)據(jù)中心、物理資源兩級(jí)資源管理，支持多數(shù)據(jù)中心管理。?基礎(chǔ)架構(gòu)層?；A(chǔ)架構(gòu)層是XX云系統(tǒng)的核心技術(shù)支撐層，由一個(gè)虛擬化管理平臺(tái)、三大管理組件和四大核心引擎組成。該層的核心支撐是虛擬化管理平臺(tái)，基于虛擬化管理平臺(tái)，將支撐資源、數(shù)據(jù)和應(yīng)用管理的核心技術(shù)封裝為資源管理、大數(shù)據(jù)管理和運(yùn)行平臺(tái)管理三大管理組件，并將云管理平臺(tái)的共性支撐技術(shù)封裝為調(diào)度、服務(wù)、數(shù)據(jù)、監(jiān)控四大引擎服務(wù)，為上層服務(wù)和應(yīng)用提供基礎(chǔ)支撐。?服務(wù)層。服務(wù)層是XX云系統(tǒng)提供服務(wù)的核心支撐層，除資源、數(shù)據(jù)、應(yīng)用三大核心服務(wù)組件外，服務(wù)層還兼容第三方服務(wù)。服務(wù)層還為支撐服務(wù)開發(fā)與管理提供了服務(wù)目錄、服務(wù)封裝、服務(wù)集成和服務(wù)質(zhì)量組件，通過通用接口規(guī)范對(duì)外提供服務(wù)。?應(yīng)用層。應(yīng)用層主要為應(yīng)用開發(fā)與自動(dòng)化部署提供技術(shù)支撐，包括開發(fā)、測(cè)試、生產(chǎn)環(huán)境的流程化定制與自動(dòng)化部署，對(duì)應(yīng)用運(yùn)行環(huán)境的監(jiān)控，對(duì)應(yīng)用所需資源的彈性伸縮調(diào)度。通過應(yīng)用層的技術(shù)支撐，用戶可基于XX云系統(tǒng)平臺(tái)快速開發(fā)并部署應(yīng)用，同時(shí)可直接發(fā)布到XX云系統(tǒng)云平臺(tái)提供云應(yīng)用。?門戶層。門戶層包括兩部分：用戶自服務(wù)門戶和運(yùn)營管理門戶，用戶自服務(wù)門戶集成了用戶所需的虛擬數(shù)據(jù)中心管理運(yùn)維以及應(yīng)用部署等功能；運(yùn)營管理門戶則集成了云平臺(tái)運(yùn)營所需的資源管理、服務(wù)管理以及計(jì)量計(jì)費(fèi)等功能。?平臺(tái)管理體系。平臺(tái)管理體系包括三部分：運(yùn)維管理體系、安全體系和標(biāo)準(zhǔn)規(guī)范體系。運(yùn)維管理體系針對(duì)XX云系統(tǒng)的資源管理架構(gòu)規(guī)范了各種監(jiān)控、報(bào)警、日志等日常運(yùn)維管理機(jī)制；安全體系針對(duì)XX云系統(tǒng)提供的資源、數(shù)據(jù)和應(yīng)用服務(wù)提供了一系列安全管理機(jī)制；標(biāo)準(zhǔn)規(guī)范體系則對(duì)XX云系統(tǒng)的資源管理、數(shù)據(jù)管理、服務(wù)管理提供了一系列開發(fā)與管理的技術(shù)規(guī)范和操作規(guī)程。4.3.3.1.5產(chǎn)品體系XX云系統(tǒng)是一套由多個(gè)軟件構(gòu)成的軟件套裝，有多個(gè)軟件或者模塊組成。XX云系統(tǒng)采用分布式部署方式，各個(gè)軟件或模塊之間采用松耦合的架構(gòu)進(jìn)行交互，易于擴(kuò)展，易于根據(jù)用戶需求進(jìn)行定制和實(shí)施。產(chǎn)品架構(gòu)圖如下圖所不。用戶自服務(wù)系統(tǒng) 運(yùn)營管理系統(tǒng) 云安全用戶自服務(wù)系統(tǒng) 運(yùn)營管理系統(tǒng) 云安全資源申請(qǐng)應(yīng)用

部署I監(jiān)控服務(wù)目錄基于OpenStack的核心架構(gòu)平臺(tái)管理調(diào)度監(jiān)控計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池imi濮弼m匕筋:計(jì)算網(wǎng)絡(luò)存儲(chǔ)［計(jì)算網(wǎng)絡(luò)存儲(chǔ)資源申請(qǐng)應(yīng)用

部署I監(jiān)控服務(wù)目錄基于OpenStack的核心架構(gòu)平臺(tái)管理調(diào)度監(jiān)控計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池imi濮弼m匕筋:計(jì)算網(wǎng)絡(luò)存儲(chǔ)［計(jì)算網(wǎng)絡(luò)存儲(chǔ)監(jiān)控審核審批服務(wù)發(fā)布服務(wù)計(jì)量服務(wù)質(zhì)量展務(wù)集成審計(jì)報(bào)警虛擬資源管理物理資源管理Is服務(wù)受理日志故障處理備份I高可用訂單管理?核心架構(gòu)平臺(tái)。采用業(yè)內(nèi)先進(jìn)的云計(jì)算技術(shù)構(gòu)建的自主可控的虛擬化、資源調(diào)度以及服務(wù)管理平臺(tái)，支持KVM、Xen、VMware等主流虛擬化技術(shù)。?運(yùn)維管理系統(tǒng)。平臺(tái)運(yùn)維管理員使用該系統(tǒng)，對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等各類云資源以及整個(gè)平臺(tái)的基礎(chǔ)架構(gòu)進(jìn)行管理，支持資源的全方位監(jiān)控和應(yīng)用集群的彈性伸縮。?運(yùn)營管理系統(tǒng)。平臺(tái)運(yùn)營管理員使用該系統(tǒng)，對(duì)平臺(tái)服務(wù)進(jìn)行發(fā)布、計(jì)費(fèi)、受理等運(yùn)營管理，對(duì)所有平臺(tái)租戶及其訂單進(jìn)行管理。?服務(wù)管理系統(tǒng)?；谄脚_(tái)基礎(chǔ)服務(wù)，形成整個(gè)平臺(tái)的服務(wù)目錄，并可按照一定的策略對(duì)服務(wù)進(jìn)行組裝和編排。另外對(duì)服務(wù)的使用情況進(jìn)行計(jì)量；提供開放接口，支持服務(wù)集成。?自服務(wù)系統(tǒng)。云平臺(tái)租戶使用該系統(tǒng)，申請(qǐng)?jiān)浦鳈C(jī)、云硬盤等各類虛擬資源，部署、運(yùn)行并監(jiān)控業(yè)務(wù)系統(tǒng)。?云安全保障。身份認(rèn)證、訪問控制、容災(zāi)等，另外還包括從物理層、虛擬層到服務(wù)層、應(yīng)用層的安全保障體系。4.3.3.1.6產(chǎn)品功能融合管理的云基礎(chǔ)架構(gòu)?將多地傳統(tǒng)數(shù)據(jù)中心快速整合并虛擬化，兼容各種異構(gòu)的x86服務(wù)器、各種品牌的存儲(chǔ)設(shè)備及網(wǎng)絡(luò)設(shè)備。按需交付、彈性擴(kuò)展的IaaS服務(wù)?云主機(jī)：Windows>Linux全系列虛擬機(jī)，并可根據(jù)用戶需求進(jìn)行定制。?云硬盤：各種規(guī)格的云硬盤的快速掛載和使用。?私有網(wǎng)絡(luò)：構(gòu)建獨(dú)立的虛擬路由器、虛擬交換機(jī)和子網(wǎng)，良好的網(wǎng)絡(luò)隔離。?負(fù)載均衡：構(gòu)建負(fù)載均衡集群，某節(jié)點(diǎn)宕機(jī)不影響業(yè)務(wù)系統(tǒng)運(yùn)行。?云集群：彈性應(yīng)用集群，自定義彈性策略，根據(jù)集群負(fù)載自動(dòng)伸縮。?數(shù)據(jù)備份：支持主機(jī)備份、硬盤備份、異地災(zāi)備等多種備份方式。無需配置、一鍵即用的PaaS服務(wù)?云數(shù)據(jù)庫：快速創(chuàng)建MySQL、SQLServer.MangoDB等數(shù)據(jù)庫實(shí)例，即刻獲得數(shù)據(jù)庫URL并訪問使用，無需安裝配置。?運(yùn)行時(shí)：快速創(chuàng)建Tomcat、IIS、Apache等主流運(yùn)行時(shí)服務(wù)?；ヂ?lián)互通、數(shù)據(jù)的大數(shù)據(jù)服務(wù)?大數(shù)據(jù)存儲(chǔ)：對(duì)象存儲(chǔ)，企業(yè)級(jí)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)服務(wù)，打造專屬私有“云盤”；物聯(lián)數(shù)據(jù)存儲(chǔ)，來自傳感器的海量半結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)服務(wù)。?大數(shù)據(jù)分析：定制數(shù)據(jù)挖掘算法和模型，支持海量數(shù)據(jù)的分析、挖掘和可視化展現(xiàn)。?數(shù)據(jù)整合共享：無障礙獲取業(yè)務(wù)系統(tǒng)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)共享和交換，打通“信息孤島”。?信息資源中心：抽取、清洗、轉(zhuǎn)換業(yè)務(wù)系統(tǒng)數(shù)據(jù)，建立企業(yè)級(jí)信息資源中心，形成信息資源目錄，開放數(shù)據(jù)規(guī)范接口，支持新應(yīng)用開發(fā)。一處安裝、多租戶共用的SaaS服務(wù)SaaS管理服務(wù)平臺(tái)：構(gòu)建SaaS服務(wù)的訂購、授權(quán)、使用流程，整合企業(yè)應(yīng)用，打造一站式辦公門戶。SaaS服務(wù)化改造和標(biāo)準(zhǔn)化接入：將傳統(tǒng)BS應(yīng)用進(jìn)行服務(wù)化改造為多租戶模式，按照統(tǒng)一接口規(guī)范集成至SaaS服務(wù)平臺(tái)，全面支持SaaS服務(wù)運(yùn)營。全方位、多方式的監(jiān)控預(yù)警服務(wù)?監(jiān)控預(yù)警：對(duì)物理資源、虛擬資源以及應(yīng)用的全方位監(jiān)控和多方式預(yù)警，可自定義資源監(jiān)控指標(biāo)，100多種指標(biāo)任意組合4.3.3.2集群存儲(chǔ)系統(tǒng)4.3.3.2.1集群存儲(chǔ)系統(tǒng)的特點(diǎn)數(shù)據(jù)負(fù)載能力現(xiàn)有的諸多存儲(chǔ)方案一般都不具備存儲(chǔ)容量動(dòng)態(tài)擴(kuò)展的能力，而且經(jīng)過動(dòng)態(tài)擴(kuò)展之后如果沒有數(shù)據(jù)動(dòng)態(tài)負(fù)載均衡的功能，即使存儲(chǔ)系統(tǒng)的容量增長，性能不會(huì)隨之增長。負(fù)載均衡模塊是專門針對(duì)存儲(chǔ)擴(kuò)展性需求較高的應(yīng)用環(huán)境而提供。當(dāng)存儲(chǔ)系統(tǒng)按需在線動(dòng)態(tài)擴(kuò)展容量之后，管理員可以選擇在合適的時(shí)間啟動(dòng)或者停止負(fù)載均衡軟件，該功能將數(shù)據(jù)在存儲(chǔ)服務(wù)器之間遷移，直到數(shù)據(jù)分布較為均衡停止。通過負(fù)載均衡模塊的數(shù)據(jù)遷移工作，分布式集群存儲(chǔ)系統(tǒng)的性能能夠隨著容量的增長而線性增長?？趧?dòng)均衡數(shù)據(jù)分布，提疝碇件利用率圖3-2圖4T0自動(dòng)均衡數(shù)據(jù)分布示意圖靈活冗余能力靈活冗余模塊是一種高效的數(shù)據(jù)保護(hù)方式，通過將冗余數(shù)據(jù)同時(shí)存放到不同的存儲(chǔ)服務(wù)器上來對(duì)數(shù)據(jù)進(jìn)行保護(hù)，不但消除了單點(diǎn)故障，還能夠提高數(shù)據(jù)并發(fā)訪問性能。冗余數(shù)據(jù)存放在不同的服務(wù)器上防止數(shù)據(jù)丟失和存儲(chǔ)服務(wù)中斷。而且用戶可以將不同的數(shù)據(jù)設(shè)置不同的冗余數(shù)據(jù)等級(jí)，當(dāng)冗余等級(jí)越高，數(shù)據(jù)就能夠在極端惡劣的情況保證數(shù)據(jù)的完整性和服務(wù)的連續(xù)性。（3）故障自動(dòng)恢復(fù)能力故障自動(dòng)恢復(fù)模塊內(nèi)置有一整套完整的故障恢復(fù)流程，能夠自動(dòng)探測(cè)集群存儲(chǔ)系統(tǒng)內(nèi)各類可能出現(xiàn)的故障，如磁盤損壞、系統(tǒng)宕機(jī)、網(wǎng)絡(luò)中斷等。該軟件一旦發(fā)現(xiàn)了軟硬件故障就會(huì)立刻啟動(dòng)相應(yīng)的故障處理恢復(fù)流程對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的恢復(fù)保護(hù)，確保數(shù)據(jù)的完整性，并且整個(gè)恢復(fù)過程完全不影響業(yè)務(wù)連續(xù)運(yùn)行。而且由于故障自動(dòng)恢復(fù)軟件能夠提供的是整個(gè)集群全局的數(shù)據(jù)恢復(fù)，充分的利用了集群內(nèi)的空閑資源進(jìn)行相應(yīng)的處理，能夠高岀RAID技術(shù)五倍的數(shù)據(jù)恢復(fù)速度確保數(shù)據(jù)完整性，為業(yè)務(wù)長期穩(wěn)定運(yùn)行打下基礎(chǔ)。多種軟碩件故障不影響前竭使用圖3-3圖4-11硬件故障恢復(fù)示意圖大目錄支持能力傳統(tǒng)的存儲(chǔ)方案都存在著文件數(shù)量、單目錄下文件數(shù)量等諸多限制，并且當(dāng)存儲(chǔ)系統(tǒng)內(nèi)文件數(shù)量到達(dá)一定數(shù)量時(shí)，文件的檢索效率就會(huì)急劇下降，從而影響了業(yè)務(wù)的運(yùn)行效率。圖3-4圖4-12集群存數(shù)文件效率集群系統(tǒng)大目錄支持軟件打破了存儲(chǔ)系統(tǒng)在面向海量小文件時(shí)的種種限制，提供了幾乎無限的單目錄文件數(shù)量支持、高效的文件檢索效率支持，幫助企業(yè)解決海量小文件存儲(chǔ)帶來的煩惱。4.3.3.2.2集群存儲(chǔ)硬件介紹國產(chǎn)存儲(chǔ)服務(wù)器是基于專業(yè)控制器架構(gòu)的存儲(chǔ)陣列產(chǎn)品，提供標(biāo)準(zhǔn)網(wǎng)絡(luò)文件共享服務(wù)，實(shí)現(xiàn)IPSAN/NAS一體化解決方案，為各種視頻監(jiān)控系統(tǒng)提供大容量、高擴(kuò)展性、高安全性的集中存儲(chǔ)解決方案,支持外接擴(kuò)展柜，：4.3.3.2.3系統(tǒng)功能及特點(diǎn)4.3.3.2.3.1國產(chǎn)硬件自主可控分布式集群的硬件基礎(chǔ)采用我國完全自主研發(fā)的處理器，硬件和軟件設(shè)計(jì)完全自主可控。分布式存儲(chǔ)服務(wù)器采用了非X86架構(gòu)的高可靠性硬件平臺(tái)和國產(chǎn)睿思操作系統(tǒng)，從根本上保證了用戶數(shù)據(jù)的安全性。分布式存儲(chǔ)服務(wù)器具有優(yōu)良的網(wǎng)絡(luò)性能和數(shù)據(jù)吞吐能力，運(yùn)行穩(wěn)定，能耗低，維護(hù)簡(jiǎn)單，適合大批量部署，為信息安全隱患的消除提供有力保障。4.3.3.2.3.2海量數(shù)據(jù)高效管理隨著資料處理業(yè)務(wù)的增多，存儲(chǔ)系統(tǒng)中將積累大量的數(shù)據(jù)，這就需要存儲(chǔ)系統(tǒng)能夠容納海量的數(shù)據(jù)。同時(shí)，存儲(chǔ)系統(tǒng)里面的文件數(shù)量也會(huì)快速增長，當(dāng)文件數(shù)量增長到數(shù)千萬以上時(shí)，文件的檢索查找等操作將會(huì)給文件系統(tǒng)帶來巨大的壓力，特別是一個(gè)目錄下面存放的文件超過一定數(shù)量甚至?xí)斐晌募檎倚始眲∠陆?。分布式集群存?chǔ)系統(tǒng)單卷可支持300PB以上的存儲(chǔ)空間，高效的管理上千億個(gè)文件，單目錄可以高效支持千萬級(jí)的文件數(shù)量。分布式集群存儲(chǔ)系統(tǒng)擁有高效的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上千億文件的同時(shí)保持極高的文件檢索效率。分布式集群存儲(chǔ)系統(tǒng)能夠在單個(gè)目錄下高效管理上千萬個(gè)文件的存儲(chǔ)系統(tǒng)，在單目錄下存放上千萬數(shù)量文件時(shí)，仍然能夠提供每秒數(shù)萬的文件檢索效率。＞單目錄下高達(dá)千萬級(jí)的文件，單一文件系統(tǒng)文件數(shù)量支持超過千億（實(shí)際案例：260億小文件）；＞單個(gè)共享文件系統(tǒng)支持上百PB級(jí)（4500TB、1024應(yīng)用節(jié)點(diǎn)支持實(shí)際案例）；＞不停機(jī)在線擴(kuò)展系統(tǒng)容量；4.3.3.2.3.3數(shù)據(jù)讀寫性能分布式集群存儲(chǔ)系統(tǒng)通過多臺(tái)存儲(chǔ)服務(wù)器提供同時(shí)數(shù)據(jù)存取服務(wù)的方法以滿足大量應(yīng)用服務(wù)器的并發(fā)訪問需求。在應(yīng)用服務(wù)器端，當(dāng)應(yīng)用程序往存儲(chǔ)系統(tǒng)上寫文件時(shí)，文件將會(huì)被根據(jù)一定大小進(jìn)行分片存放到多臺(tái)存儲(chǔ)服務(wù)器上；在應(yīng)用程序讀文件時(shí)，則并發(fā)的從多個(gè)服務(wù)器上讀取數(shù)據(jù)。由于大量的數(shù)據(jù)10請(qǐng)求都被分散到多臺(tái)存儲(chǔ)服務(wù)器上，使得所有的存儲(chǔ)服務(wù)器上的磁盤性能和網(wǎng)絡(luò)帶寬都可以同時(shí)得到充分的利用，這樣分布式集群存儲(chǔ)系統(tǒng)的聚合帶寬由多臺(tái)的存儲(chǔ)服務(wù)器上的10帶寬相加而成，從而克服了NAS的單一出口點(diǎn)所造成性能瓶頸，可以滿足多臺(tái)應(yīng)用節(jié)點(diǎn)并發(fā)訪問的帶寬需求。通過實(shí)現(xiàn)多存儲(chǔ)服務(wù)器的并發(fā)數(shù)據(jù)訪問支持，消除了傳統(tǒng)存儲(chǔ)方案中常見的負(fù)載不均導(dǎo)致的熱點(diǎn)數(shù)據(jù)問題。分布式通過數(shù)據(jù)在存儲(chǔ)服務(wù)器集群中的條帶化分布實(shí)現(xiàn)高效、全面的負(fù)載均衡功能，充分利用硬件和網(wǎng)絡(luò)的性能，發(fā)揮岀最高10吞吐量。＞提供高達(dá)數(shù)百GB/s的10帶寬和上百萬的I0PS；＞單套存儲(chǔ)系統(tǒng)支撐數(shù)千個(gè)應(yīng)用節(jié)點(diǎn)并發(fā)訪問數(shù)據(jù);＞不停機(jī)在線擴(kuò)展10帶寬；＞系統(tǒng)故障自動(dòng)恢復(fù)和負(fù)載均衡，保證性能隨規(guī)模線性增長；4.3.3.2.3.4數(shù)據(jù)全局共享分布式大規(guī)模集群存儲(chǔ)系統(tǒng)采用文件系統(tǒng)全局命名空間，所有計(jì)算節(jié)點(diǎn)都可看到一致文件系統(tǒng)視圖。數(shù)據(jù)的全局共享可以加強(qiáng)各計(jì)算節(jié)點(diǎn)之間的協(xié)作，提高了作業(yè)的運(yùn)行效率。而且數(shù)據(jù)的統(tǒng)一管理也方便用戶數(shù)據(jù)的統(tǒng)一管理，并簡(jiǎn)化應(yīng)用系統(tǒng)的開發(fā)。圖4T多用戶訪問不意圖4.3.3.2.3.5數(shù)據(jù)安全性基于數(shù)據(jù)安全性方面的考慮，用戶可以通過分布式配置工具設(shè)置數(shù)據(jù)相應(yīng)的安全等級(jí)，選擇將數(shù)據(jù)和校驗(yàn)數(shù)據(jù)分別存放在不同的存儲(chǔ)服務(wù)器上。分布式存儲(chǔ)系統(tǒng)可以同時(shí)使用多條高速數(shù)據(jù)通道，可消除網(wǎng)絡(luò)層的單點(diǎn)故障，進(jìn)一步提高系統(tǒng)的高可用性。在這樣的情況下，即使出現(xiàn)存儲(chǔ)服務(wù)器宕機(jī)、網(wǎng)絡(luò)中斷、磁盤損壞時(shí)，仍然能夠保障數(shù)據(jù)完整性和數(shù)據(jù)服務(wù)的持續(xù)運(yùn)行。例如，在運(yùn)行中存儲(chǔ)服務(wù)器由于磁盤損壞而丟失了該磁盤上的部分?jǐn)?shù)據(jù)，分布式集群存儲(chǔ)系統(tǒng)將會(huì)立刻發(fā)現(xiàn)該異常并自發(fā)的啟動(dòng)數(shù)據(jù)恢復(fù)流程，利用存放于其它存儲(chǔ)服務(wù)器中該部分?jǐn)?shù)據(jù)的校驗(yàn)數(shù)據(jù)重新生成一份以保證數(shù)據(jù)仍有一定的冗余度。由于分布式的數(shù)據(jù)恢復(fù)是基于真實(shí)丟失的數(shù)據(jù)，并且數(shù)據(jù)恢復(fù)是通過整個(gè)存儲(chǔ)集群同時(shí)并發(fā)進(jìn)行，所以相對(duì)于傳統(tǒng)的RAID技術(shù)具備更快的數(shù)據(jù)重建速度，這也能夠有效提升數(shù)據(jù)的安全性。通過將數(shù)據(jù)和校驗(yàn)數(shù)據(jù)存放在不同存儲(chǔ)服務(wù)器的方法可以對(duì)一系列的軟硬件故障（網(wǎng)絡(luò)、主機(jī)、磁盤等）進(jìn)行自動(dòng)的隔離，消除了存儲(chǔ)系統(tǒng)的任何單點(diǎn)故障，而且也無需配置任何復(fù)雜的配置。＞用數(shù)據(jù)全局冗余技術(shù)取代Raid,提供了史無前例的可靠性；＞可根據(jù)不同數(shù)據(jù)定制的數(shù)據(jù)安全性保證；＞系統(tǒng)自動(dòng)探測(cè)故障并恢復(fù)，實(shí)現(xiàn)最高的業(yè)務(wù)連續(xù)性保證；4.3.3.2.3.6系統(tǒng)可擴(kuò)展性分布式集群存儲(chǔ)系統(tǒng)可以支持動(dòng)態(tài)的擴(kuò)展存儲(chǔ)容量，而無需中斷應(yīng)用的運(yùn)行。用戶可以通過分布式的配置工具動(dòng)態(tài)添加存儲(chǔ)服務(wù)器以擴(kuò)大系統(tǒng)的容量和規(guī)模，而且隨著存儲(chǔ)服務(wù)器數(shù)據(jù)的增多，整套系統(tǒng)的聚合帶寬也會(huì)線性的增長，完全可以滿足業(yè)務(wù)不斷發(fā)展所產(chǎn)生的容量和性能需求。而工業(yè)標(biāo)準(zhǔn)的通用硬件良好的兼容性和可獲得性方便了整套存儲(chǔ)系統(tǒng)將來的使用和擴(kuò)展，分布式支持在1小時(shí)內(nèi)部署上百TB的存儲(chǔ)系統(tǒng)，無縫的在線增加存儲(chǔ)容量。擴(kuò)展性對(duì)比應(yīng)用服務(wù)器應(yīng)用服務(wù)器傳統(tǒng)縱向擴(kuò)展橫向無展應(yīng)用服務(wù)器應(yīng)用服務(wù)器傳統(tǒng)縱向擴(kuò)展橫向無展圖4-2傳統(tǒng)與分布式擴(kuò)展對(duì)比4.3.3.2.3.7與現(xiàn)有環(huán)境無縫兼容分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)是面向通用的硬件和軟件環(huán)境，如使用通用的以太網(wǎng)絡(luò)作為數(shù)據(jù)傳輸通道可以確保充分利用現(xiàn)有的環(huán)境，并且可以無需對(duì)環(huán)境做出任何修改。另外分布式能夠直接支持Linux‘Windows、Mac等常用的操作系統(tǒng)之間進(jìn)行數(shù)據(jù)共享，無需對(duì)操作系統(tǒng)做任何修改，所以能夠無縫的接入到企業(yè)現(xiàn)有的軟硬件環(huán)境。4.3.3.2.3.8系統(tǒng)的整體擁有成本分布式大規(guī)模集群存儲(chǔ)系統(tǒng)能夠極大的降低構(gòu)建和運(yùn)維成本，主要有以下幾點(diǎn)：＞極大地提高了數(shù)據(jù)可用性:通過分布式內(nèi)置的高可用和故障自動(dòng)恢復(fù)功能等卓越的功能，無需任何第三方軟件，極大減少了系統(tǒng)由于維護(hù)或備份恢復(fù)所需的大量時(shí)間，從而徹底提高了企業(yè)的生產(chǎn)效率。＞數(shù)據(jù)的充分共享:數(shù)據(jù)可以被前端的各種類型的主機(jī)共享，無需在Linux和Windows＞Mac系統(tǒng)之間進(jìn)行數(shù)據(jù)遷移。這允許一個(gè)數(shù)據(jù)拷貝被所有人員與進(jìn)程共享，大大減少了對(duì)不同環(huán)境下相同的數(shù)據(jù)的多種形式的管理費(fèi)用。＞存儲(chǔ)的運(yùn)維成本：由于分布式采用了通用、企業(yè)級(jí)的硬件構(gòu)建，具有極高的性價(jià)比和兼容性。管理員可以輕易的掌握分布式的運(yùn)維管理，使得培訓(xùn)支出上的費(fèi)用大大減少。4.3.3.2.3.9使用分布式提高投資回報(bào)率＞真正的按需購買分布式存儲(chǔ)系統(tǒng)的動(dòng)態(tài)可擴(kuò)展技術(shù)，使得用戶可以按需擴(kuò)展存儲(chǔ)容量，無需一次性投入大量成本來構(gòu)建存儲(chǔ)系統(tǒng)，有效降低了用戶投資的風(fēng)險(xiǎn)。＞內(nèi)置的高可用架構(gòu)分布式存儲(chǔ)系統(tǒng)提供特有的全系統(tǒng)規(guī)模數(shù)據(jù)高可用技術(shù)，用戶無需投入額外的資金。在傳統(tǒng)的NAS和SAN系統(tǒng)中，高可用意味著價(jià)格高昂的軟件和冗余硬件。＞高存儲(chǔ)空間利用率分布式存儲(chǔ)系統(tǒng)將所有的存儲(chǔ)設(shè)備聚合成單一的存儲(chǔ)池，提供給所有的前端應(yīng)用服務(wù)器集群共享訪問，克服了使用傳統(tǒng)的DAS和SAN時(shí)所出現(xiàn)的存儲(chǔ)設(shè)備利用率不均衡的情況。A安全應(yīng)用隔離分布式存儲(chǔ)系統(tǒng)可以將不同的應(yīng)用在邏輯上進(jìn)行隔離，不同應(yīng)用之間的存儲(chǔ)內(nèi)容相互獨(dú)立，有效降低人為因素造成的數(shù)據(jù)損壞，大幅度提升了存儲(chǔ)內(nèi)容的安全性和數(shù)據(jù)的完整性。4.3.3.2.3.10降低管理及運(yùn)行成本一一簡(jiǎn)易存儲(chǔ)＞更低的存儲(chǔ)架構(gòu)規(guī)劃成本分布式存儲(chǔ)系統(tǒng)可與用戶的現(xiàn)有應(yīng)用環(huán)境無縫連接，便捷地加入到用戶的應(yīng)用環(huán)境中，并即時(shí)對(duì)外提供存儲(chǔ)服務(wù)。無需像傳統(tǒng)存儲(chǔ)系統(tǒng)一樣對(duì)大量復(fù)雜的硬件設(shè)備進(jìn)行長期的分析、規(guī)劃和配置，大大節(jié)約了前期的規(guī)劃成本，極大提高了存儲(chǔ)系統(tǒng)部署的效率。＞快速的安裝及配置用戶可在極短時(shí)間內(nèi)為分布式存儲(chǔ)系統(tǒng)部署上百TB存儲(chǔ)空間和上千臺(tái)應(yīng)用服務(wù)器。無需像SAN那樣對(duì)光纖交換機(jī)、光纖適配器等大量的專用硬件進(jìn)行配置，極大簡(jiǎn)化了配置流程。＞簡(jiǎn)易管理分布式存儲(chǔ)系統(tǒng)簡(jiǎn)單靈活的管理模塊極大降低了管理員對(duì)系統(tǒng)管理的參與程度，減化了管理員操作出錯(cuò)風(fēng)險(xiǎn)，有效降低了系統(tǒng)的管理成本。＞減少培訓(xùn)費(fèi)用分布式存儲(chǔ)系統(tǒng)采用圖形化管理工具，極大簡(jiǎn)化了

對(duì)系統(tǒng)使用的復(fù)雜度，減短了對(duì)管理員的培訓(xùn)時(shí)間。4.3.3.2.3.11提高用戶應(yīng)用的生產(chǎn)力＞提高應(yīng)用服務(wù)器之間的協(xié)作效率廠S

廠S

?I使用龍威豹?\ /軸I威\,由磴）毬co丿6使用龍威后圖4-3應(yīng)用協(xié)作對(duì)比圖＞快速的數(shù)據(jù)交付分布式存儲(chǔ)系統(tǒng)提供的數(shù)據(jù)讀寫加速技術(shù)極大縮短了對(duì)應(yīng)用程序的響應(yīng)時(shí)間，每秒高達(dá)幾十萬個(gè)的文件檢索速度輕易的滿足互聯(lián)網(wǎng)等文件密集型應(yīng)用的需求。A快速的故障恢復(fù)分布式存儲(chǔ)系統(tǒng)高效的自動(dòng)數(shù)據(jù)恢復(fù)技術(shù)，使得故障恢復(fù)時(shí)間是通用RAID技術(shù)的五分之一，恢復(fù)過程不影響相應(yīng)業(yè)務(wù)的運(yùn)行，保證業(yè)務(wù)的連續(xù)性。4.3.3.3基于大數(shù)據(jù)的銀行數(shù)據(jù)管理與分析系統(tǒng)大數(shù)據(jù)銀行數(shù)據(jù)綜合分析平臺(tái)和大數(shù)據(jù)交易數(shù)據(jù)管理與分析系統(tǒng)分別是兩款大數(shù)據(jù)平臺(tái)軟件產(chǎn)品，都是集成海量數(shù)據(jù)的釆集、過濾、轉(zhuǎn)換、存儲(chǔ)、檢索、查詢、統(tǒng)計(jì)、分析、可視化與安全管理等全生命周期管理的綜合系統(tǒng)，但對(duì)數(shù)的關(guān)注點(diǎn)和管理方式有很大的不同。系統(tǒng)不僅提供了常用的數(shù)據(jù)采集，檢索，分析功能,而且還提供了基本的檢索，分析功能單元，可以根據(jù)各種行業(yè)應(yīng)用和最終用戶的需求，進(jìn)行不同的組合，適應(yīng)用戶的不同業(yè)務(wù)場(chǎng)景，完成大規(guī)模行業(yè)數(shù)據(jù)的挖掘分析和應(yīng)用對(duì)接。作為大數(shù)據(jù)分析平臺(tái)，系統(tǒng)具有如下特點(diǎn)：?軟硬件國產(chǎn)自主可控?多源異構(gòu)數(shù)據(jù)接入?數(shù)據(jù)關(guān)聯(lián)融合、統(tǒng)一訪問?大規(guī)模、高性能、可擴(kuò)展?高可靠、高可用4.3.3.3.1.1大數(shù)據(jù)平臺(tái)介紹4.3.3.平臺(tái)功能框架大數(shù)據(jù)平臺(tái)必須是一個(gè)開放的體系，相關(guān)軟件系統(tǒng)和硬件設(shè)備應(yīng)是業(yè)界主流產(chǎn)品，遵循國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)，保證平臺(tái)、設(shè)備、管理系統(tǒng)能夠隨時(shí)無障礙地進(jìn)行更新和移植。大數(shù)據(jù)管理平臺(tái)還應(yīng)遵循統(tǒng)一的標(biāo)準(zhǔn)規(guī)范,充分考慮與外部系統(tǒng)（4A及其它網(wǎng)管系統(tǒng)、業(yè)務(wù)系統(tǒng)等）的接口。支撐數(shù)據(jù)挖掘、數(shù)據(jù)實(shí)時(shí)存儲(chǔ)和訪問、ETL計(jì)算平臺(tái)這三類業(yè)務(wù)應(yīng)用。4.3.3.3.1.1.2分布式存儲(chǔ)功能基于申威平臺(tái)的分布式存儲(chǔ)為用戶提供企業(yè)級(jí)大數(shù)據(jù)平臺(tái)軟件一體化解決方案；并支持特殊應(yīng)用場(chǎng)景下的定制化硬件加速。面對(duì)結(jié)構(gòu)復(fù)雜、需求多變的異構(gòu)數(shù)據(jù)處理業(yè)務(wù)，分布式存儲(chǔ)不僅提供統(tǒng)一、穩(wěn)定、高效的存儲(chǔ)子系統(tǒng)，還整合了先進(jìn)的分布式集群資源

管理和進(jìn)程調(diào)度方案、高性能數(shù)據(jù)總線技術(shù)、全并行架構(gòu)分布式關(guān)系數(shù)據(jù)庫、面向圖計(jì)算的并行圖數(shù)據(jù)庫、分布式KV存數(shù)據(jù)庫，以及面向用戶業(yè)務(wù)的各類工具軟件和庫支持?；诜植际酱鎯?chǔ)平臺(tái)，用戶可以以非常低的時(shí)間代價(jià)構(gòu)建大規(guī)模企業(yè)大數(shù)據(jù)一體化解決方案。流式數(shù)據(jù)龍威集群存儲(chǔ)(申威國產(chǎn)平臺(tái))［音視頻I郵件消息多維數(shù)據(jù)DSQL流式數(shù)據(jù)龍威集群存儲(chǔ)(申威國產(chǎn)平臺(tái))［音視頻I郵件消息多維數(shù)據(jù)DSQLGraphDB圖4-13存儲(chǔ)組件的結(jié)構(gòu)圖上圖是存儲(chǔ)組件的結(jié)構(gòu)圖，主要包括如下功能組件：分布式集群存儲(chǔ)：基于對(duì)象的高性能分布式文件存儲(chǔ)系統(tǒng)。DFS:分布式文件系統(tǒng)。HBase：分布式Key-Value數(shù)據(jù)庫。DSQL：分布式關(guān)系數(shù)據(jù)庫。GraphDB：并行圖數(shù)據(jù)庫。DB:傳統(tǒng)數(shù)據(jù)庫。集群存儲(chǔ)系統(tǒng)基于自主可控的申威硬件平臺(tái)，采用帶外分布式架構(gòu)，隔離元數(shù)據(jù)信息與數(shù)據(jù)信息，降低二者之間的性能干擾，采用對(duì)象存儲(chǔ)技術(shù)將文件切片分布式存儲(chǔ)在存儲(chǔ)服務(wù)器集群上，充分利用所有存儲(chǔ)服務(wù)器硬件性能，并且同時(shí)對(duì)客戶端提供訪問服務(wù)，形成高效聚合帶寬，增加業(yè)務(wù)讀寫效率。Hadoop分布式文件系統(tǒng)HDFS(HadoopDistributedFileSystem)能提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用。通過聚合數(shù)十上百臺(tái)，甚至數(shù)千臺(tái)服務(wù)器本地文件系統(tǒng)的吞吐能力，HDFS提供同時(shí)對(duì)超大數(shù)據(jù)文件的訪問能力。4.3.3.3.1.1.3分布式計(jì)算功能MapReduce是一種簡(jiǎn)化并行計(jì)算的編程模型，名字源于該模型中的兩項(xiàng)核心操作：Map和ReduceoMap將一個(gè)任務(wù)分解成為多個(gè)任務(wù),Reduce將分解后多任務(wù)處理的結(jié)果匯總起來，得岀最終的分析結(jié)果。MapReduce適合于半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。4.3.3.3.1.1.4NoSQL功能HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，其設(shè)計(jì)目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時(shí)的局限性。HBase使用場(chǎng)景有如下幾個(gè)特點(diǎn)：海量數(shù)據(jù)（TB或PB級(jí)別以上）；需要很高的吞吐量；需要在海量數(shù)據(jù)中實(shí)現(xiàn)高效的隨機(jī)讀取；需要很好的伸縮能力；能夠同時(shí)處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)；不需要完全擁有傳統(tǒng)關(guān)系型數(shù)據(jù)庫所具備的ACID特性。UnitedHadoop的HBase支持地理容災(zāi)、二級(jí)索引等高級(jí)特性，滿足極高可靠性和開發(fā)易用性要求。HBase適合于建立海量數(shù)據(jù)存儲(chǔ)平臺(tái)，用于數(shù)據(jù)的存儲(chǔ)和實(shí)時(shí)訪問，例如歷史明細(xì)查詢、詳單查詢等業(yè)務(wù)。4.3.3.3.1.1.5數(shù)據(jù)倉庫功能Hive是一個(gè)建立在Hadoop上的數(shù)據(jù)倉庫框架，提供類似SQL的HQL語言操作結(jié)構(gòu)化數(shù)據(jù)，其基本原理是將HQL語言自動(dòng)轉(zhuǎn)換成MapReduce任務(wù)，從而完成對(duì)Hadoop集群中存儲(chǔ)的海量數(shù)據(jù)進(jìn)行查詢和分析。Hive主要特點(diǎn)如下:通過1IQL語言非常容易的完成數(shù)據(jù)提取、轉(zhuǎn)換和加載（ETL）；通過IIQL完成海量結(jié)構(gòu)化數(shù)據(jù)分析;靈活的數(shù)據(jù)存儲(chǔ)格式，支持JSON,CSV,TEXTFILE,RCFILE,SEQUENCEFILE等存儲(chǔ)格式，并支持自定義擴(kuò)展;Hive的主要應(yīng)用于海量數(shù)據(jù)的離線分析（如日志分析，集群狀態(tài)分析）、大規(guī)模的數(shù)據(jù)挖掘（用戶行為分析，興趣分區(qū)，區(qū)域展示）等場(chǎng)景下。為保證Hive服務(wù)的高可用性、用戶數(shù)據(jù)的安全及訪問服務(wù)的可控制，UnitedHadoop的Hive具有如下特性：基于kerberos技術(shù)的安全認(rèn)證機(jī)制；數(shù)據(jù)文件加密機(jī)制；雙機(jī)熱備；完善的權(quán)限管理。Hive適合于結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。4.3.3.3.1.1.6分布式協(xié)調(diào)功能ZooKeeper是一個(gè)分布式、高可用性的協(xié)調(diào)服務(wù)。在Hadoop系統(tǒng)中主要提供兩個(gè)功能：一個(gè)功能是幫助系統(tǒng)避免單點(diǎn)故障，建立可靠的應(yīng)用程序，另一個(gè)功能是提供分布式協(xié)作服務(wù)和維護(hù)配置信息。ZooKeeper主要特點(diǎn)：?順序一致性：按照客戶端發(fā)送請(qǐng)求的順序更新數(shù)據(jù)。?原子性：更新要么成功，要么失敗，不會(huì)岀現(xiàn)部分更新。?單一,性:無論客戶端連接哪個(gè)server,都會(huì)看到同一個(gè)視圖。?可靠性：一旦數(shù)據(jù)更新成功，將一直保持，直到新的更新。?及時(shí)性：客戶端會(huì)在一個(gè)確定的時(shí)間內(nèi)得到最新的數(shù)據(jù)。4.3.3.3.1.1.7工作流管理功能Oozie是一個(gè)用來管理Hadoopjob任務(wù)的工作流引擎，Oozie流程基于有向無環(huán)圖(DirectedAcyclicalGraph)來定義和描述，支持多種工作流模式及流程定時(shí)觸發(fā)機(jī)制。易擴(kuò)展、易維護(hù)、可靠性高，與Hadoop生態(tài)系統(tǒng)各組件緊密結(jié)合。Oozie主要特點(diǎn)：支持分發(fā)、聚合、選擇等工作流流程模式；與Hadoop生態(tài)系統(tǒng)各組件緊密結(jié)合；流程變量支持參數(shù)化；支持流程定時(shí)觸發(fā)；提供了HA機(jī)制；自帶一個(gè)WebConsole,提供了流程查看、流程監(jiān)控、日志查看等功能。4.3.3.3.1.1.8維護(hù)管理功能提供的維護(hù)管理功能是Hadoop平臺(tái)的維護(hù)管理系統(tǒng)，是Hadoop系統(tǒng)操作和維護(hù)的統(tǒng)一入口，提供操作的定義和流程引導(dǎo)，并對(duì)于系統(tǒng)中的各項(xiàng)資源運(yùn)行情況和操作進(jìn)行監(jiān)控記錄，為系統(tǒng)的日常維護(hù)提供依據(jù)；運(yùn)維管理包括升級(jí)向?qū)?、日常向?qū)А⑷罩臼占c分析、告警、監(jiān)控、安裝向?qū)?、配置管理、審?jì)管理、用戶管理等。集群管理包括集群資源授權(quán)管理、數(shù)據(jù)服務(wù)封裝接口、集群資源動(dòng)態(tài)調(diào)度、并發(fā)控制、備份和容災(zāi)、用戶和應(yīng)用接入安全、集群組件HA和數(shù)據(jù)私密性。集群管理系統(tǒng)負(fù)責(zé)整個(gè)系統(tǒng)的管理，包括北向接口、南向接口和本地管理GUI界面。北向接口包括0M類的Syslog>SNMP,以及安全管理對(duì)接接口LDAPo本地管理GUI界面提供系統(tǒng)中各類軟硬件的圖形化維護(hù)入口，包括日常維護(hù)，以及安裝、升級(jí)和擴(kuò)容向?qū)У取?.3.3.3.1.2銀行數(shù)據(jù)分析系統(tǒng)架構(gòu)文件提取信令?yuàn)W取內(nèi)容分析數(shù)據(jù)匯聚協(xié)議還原采集系統(tǒng)管理存儲(chǔ)、分析業(yè)務(wù)管理文件提取信令?yuàn)W取內(nèi)容分析數(shù)據(jù)匯聚協(xié)議還原采集系統(tǒng)管理存儲(chǔ)、分析業(yè)務(wù)管理圖4-14情報(bào)分析系統(tǒng)系統(tǒng)架構(gòu)圖如上圖所示，作為一款情報(bào)綜合分析平臺(tái)，平臺(tái)可以分為四個(gè)大的子系統(tǒng)。包括：采集子系統(tǒng)、存儲(chǔ)分析子系統(tǒng)、業(yè)務(wù)管理子系統(tǒng)、系統(tǒng)管理子系統(tǒng)。存儲(chǔ)分析子系統(tǒng)又自下而上可以分三層，情報(bào)來源方式、數(shù)據(jù)類型存儲(chǔ)方式、關(guān)聯(lián)分析模型算法以及業(yè)務(wù)跟蹤與各種類型報(bào)表。4.3.3.3.1.2.1非格式數(shù)據(jù)的分類存儲(chǔ)系統(tǒng)采用分布式文件、分布式數(shù)據(jù)庫、分布式集群計(jì)算等多種分布式技術(shù)作為構(gòu)建系統(tǒng)的基礎(chǔ)平臺(tái)，使得整個(gè)系統(tǒng)平臺(tái)具有了高擴(kuò)展、高容錯(cuò)、高性能、高可用的能力。采集子系統(tǒng)提供多種接口，支持對(duì)不同數(shù)據(jù)源的采集，支持對(duì)多種數(shù)據(jù)類型的提取信息，同時(shí)對(duì)采集的數(shù)據(jù)進(jìn)行分析提取，對(duì)數(shù)據(jù)內(nèi)容進(jìn)行匹配過濾，將各種類型的數(shù)據(jù)分門別類的存儲(chǔ)到存儲(chǔ)分析子系統(tǒng)中，供后者分析使用。子系統(tǒng)提供對(duì)多種文檔類型的導(dǎo)入功能，包括word,ppt,execl,pdf,rtf,txt等多種文件類型。4.3.3.3.1.2.2對(duì)格式化數(shù)據(jù)的全文檢索合多線索加權(quán)檢索業(yè)務(wù)管理子系統(tǒng)管理客戶的大數(shù)據(jù)分析業(yè)務(wù)，系統(tǒng)提供用戶權(quán)限、業(yè)務(wù)管理、數(shù)據(jù)全文檢索、業(yè)務(wù)定義等功能模塊，滿足客戶業(yè)務(wù)分析的管理需求，通過全文檢索和加權(quán)檢索，可以把不同的情報(bào)內(nèi)容針對(duì)一個(gè)時(shí)間、事件進(jìn)行關(guān)聯(lián)起來，并形成事件發(fā)展趨勢(shì)的分析圖表，用來提供領(lǐng)導(dǎo)層對(duì)金融項(xiàng)目的決策和分析。4.3.3.3.1.2.3完善的業(yè)務(wù)分析報(bào)表系統(tǒng)系統(tǒng)運(yùn)維子系統(tǒng)管理整個(gè)系統(tǒng)的設(shè)備，軟件，配置等，采用統(tǒng)計(jì)報(bào)表、狀態(tài)顯示等多種方式展示系統(tǒng)運(yùn)行狀態(tài)，維護(hù)整個(gè)系統(tǒng)穩(wěn)定運(yùn)行，實(shí)現(xiàn)系統(tǒng)的高可用性，高擴(kuò)展性。存儲(chǔ)分析子系統(tǒng)是整個(gè)系統(tǒng)的核心部分。實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)、檢索、分析等功能。實(shí)現(xiàn)對(duì)目標(biāo)數(shù)據(jù)、圖像信息、聲音信息等各種文件類型的海量存儲(chǔ)，實(shí)現(xiàn)對(duì)這些類型的文件的關(guān)鍵字快速檢索結(jié)果，并形成各種形式的業(yè)務(wù)報(bào)表系統(tǒng)。4.3.3.3.1.2.3.1國內(nèi)經(jīng)濟(jì)形勢(shì)分析圖根據(jù)大數(shù)據(jù)中，爬蟲爬到的全球各國的經(jīng)濟(jì)數(shù)據(jù)和經(jīng)濟(jì)事件、就業(yè)數(shù)量、銀行調(diào)整數(shù)據(jù)，分析每個(gè)國家的經(jīng)濟(jì)發(fā)展趨勢(shì)；4.3.3.3.1.2.3.2按照國家名稱分析各國經(jīng)濟(jì)形勢(shì)圖根據(jù)國家名稱可以方便把各個(gè)國家發(fā)展趨勢(shì)圖、經(jīng)濟(jì)熱點(diǎn)分布圖分析岀來；4.3.3.3.1.2.3.3按照全球各大交易所數(shù)據(jù)技術(shù)分析各類產(chǎn)品的價(jià)格趨向圖；根據(jù)全球各個(gè)交易所每天的公開的價(jià)格數(shù)據(jù)，可以分析各種產(chǎn)品的價(jià)格趨勢(shì)圖（技術(shù)分析）；4.3.3.3.1.2.3.4用戶可以定制所關(guān)心的數(shù)據(jù)統(tǒng)計(jì)圖根據(jù)存在的數(shù)據(jù)和定