江蘇省軟件工程技術(shù)研究開發(fā)中心云計算平臺方案建議書

1.1(-)專家評價與修改意見表.........................錯誤!未定義書簽。

1.2(二)科研機構(gòu)基本信息.............................錯誤!未定義書簽。

2系統(tǒng)總體概述................................................................4

2.1系統(tǒng)基本功能........................................................5

2.2系統(tǒng)建設(shè)的主要設(shè)計思想和設(shè)計目標、設(shè)計原則........................6

2.3系統(tǒng)的主顆術(shù)特點..................................................8

2.4系統(tǒng)總體構(gòu)架........................................................9

2.5eProc云處理平臺簡介...............................................11

2.6cStor云存儲系統(tǒng)簡介...............................................14

2.7OpenStack簡介....................................................17

2.8系統(tǒng)削性能.......................................................18

2.8.1數(shù)據(jù)流量處理能力..............................................18

2.8.2數(shù)據(jù)存儲讀取能力..............................................19

2.9系統(tǒng)功能...........................................................22

3系統(tǒng)設(shè)計實施與關(guān)鍵技術(shù)方法................................................24

3.1eProc云處理平臺...................................................24

3.1.1數(shù)據(jù)立方(DataCube)............................................................................................24

3.1.2任務(wù)監(jiān)控器(JobKeeper).................................................................................28

3.1.3eProc數(shù)據(jù)處理.................................................31

3.1.4數(shù)據(jù)壓縮.......................................................33

3.1.5適應(yīng)應(yīng)用需求的混合存儲策略....................................34

3.1.6HBase數(shù)據(jù)存儲................................................35

3.1.7數(shù)據(jù)庫存儲.....................................................38

3.2eProc云處理平臺可靠性設(shè)計........................................41

3.2.1可靠性概述.....................................................41

3.2.2HDFS可靠性設(shè)計...............................................43

3.2.3HBase可靠性蚓..............................................46

3.2.4MapReduce可靠性設(shè)計........................................49

3.2.5Zookeeper可靠性設(shè)計.........................................52

3.2.6數(shù)據(jù)存儲的可靠性設(shè)計..........................................55

3.2.7處理與存儲集群Master單點失效容錯處理........................57

3.2.8處理與存儲集群的負載均衡處理..................................65

3.3cStor云存儲系統(tǒng)...................................................69

3.3.1技術(shù)架構(gòu).......................................................69

3.3.2工作原理.......................................................72

3.3.3管理機制.......................................................74

3.3.4關(guān)鍵技術(shù).......................................................75

3.4OpenStack介紹....................................................78

3.4.1OpenStack是什么.............................................78

3.4.2云服務(wù)提供商的概念架構(gòu).......................................80

3.4.3OpenStackCompute架構(gòu)......................................82

3.4.4OpenStackImageService.................................................................................92

3.4.5OpenStackObjectStorage...............................................................................93

3.4.6OpenStack界面圖............................................102

3.5平臺安全.........................................................102

3.5.1云處理平臺信任保護...........................................102

3.5.2基于多級信任保護的訪問控制...................................109

3.5.3云處理平臺安全審計...........................................113

3.5.4云處理平臺安全網(wǎng)關(guān)..........................................117

3.6軟硬件設(shè)施清單....................................................122

4項目WS和實施...........................................................132

4.1項目開發(fā)周期......................................................132

4.2項目計劃進度......................................................132

4.3項目實施..........................................................134

4.4客戶受益..........................................................134

1系統(tǒng)總體概述

1.1系統(tǒng)需求分析

系統(tǒng)需要廣泛應(yīng)用于移動互聯(lián)網(wǎng)、金融證券、電子政務(wù)、教育科研等需要海

量數(shù)據(jù)存儲和處理的領(lǐng)域。同時，能為中小企業(yè)提供基于SaaS的低成本的信息

化服務(wù)、虛擬化服務(wù)，降低企業(yè)信息化的門檻。云計算平臺的建設(shè)能增強蘇州市

云計算與智能信息處理領(lǐng)域的自主開發(fā)能力，從而有力的推動該產(chǎn)業(yè)長期穩(wěn)定的

發(fā)展，進一步提升蘇州市信息技術(shù)產(chǎn)業(yè)的競爭力和影響力；能為蘇州市中小企業(yè)

提供信息化、虛擬化服務(wù)平臺，對目前企業(yè)信息集成中存在的主要問題，如基礎(chǔ)

數(shù)據(jù)缺失、計劃和安排生產(chǎn)的盲目性、流程不規(guī)范、現(xiàn)場采集數(shù)據(jù)困難等提供解

決方案，推動蘇州信息基礎(chǔ)設(shè)施建設(shè)和中小企業(yè)信息化進程。

1.2系統(tǒng)基本功能

本項目在充分研究云計算現(xiàn)有成果的基礎(chǔ)上，面向中小企業(yè)智能信息服務(wù)、

新一代智能信息處理、移動互聯(lián)網(wǎng)等重點領(lǐng)域的云計算需求，開展云計算關(guān)鍵技

術(shù)研究。首先研究綠色環(huán)保節(jié)能云計算中心構(gòu)建方案，基于先進的海量數(shù)據(jù)云存

儲技術(shù)構(gòu)建一個高度可靠、可在線彈性伸縮、能夠支持高并發(fā)大吞吐量的快速存

取訪問的云存儲系統(tǒng)平臺，用于海量的教學(xué)信息資源的存儲和共享，并為上層云

計算數(shù)據(jù)處理和應(yīng)用服務(wù)提供基礎(chǔ)的數(shù)據(jù)存儲平臺;然后研究建立適合于中小企

業(yè)智能信息服務(wù)、移動互聯(lián)網(wǎng)應(yīng)用服務(wù)等的云計算應(yīng)用模式；最后針對云服務(wù)中

的用戶數(shù)據(jù)安全與隱私保護等核心問題開展研究，形成支撐具體云服務(wù)應(yīng)用的關(guān)

鍵技術(shù)體系。最終為后續(xù)具體應(yīng)用服務(wù)構(gòu)建一個安全、穩(wěn)定、可靠的基礎(chǔ)云平臺。

系統(tǒng)基本功能和組成如下：

海量信息智能搜索與數(shù)據(jù)挖掘技術(shù)

能夠支撐DeepWeb深度挖掘、自然語言處理、圖形圖像處理與理解和大

規(guī)模知識庫自動構(gòu)建等需要復(fù)雜信息處理

基于云計算的新型移動服務(wù)

基于云計算的移動圖像搜索與挖掘系統(tǒng)和基于云計算的移動位置地理信息

服務(wù)系統(tǒng),為移動互聯(lián)網(wǎng)用戶提供新穎的拍照購物搜索服務(wù)和基于位置的地理信

息服務(wù)

基于智能生成模型的云計算信息技術(shù)支撐服務(wù)

建立動態(tài)工作流的智能生成模型，該模型能依據(jù)業(yè)務(wù)類型智能生成動態(tài)工作

流，并能依據(jù)過程信息反饋調(diào)整生成類型

基于云計算的海量數(shù)據(jù)存儲平臺

搭建高度可靠、可在線彈性伸縮、能夠支持高并發(fā)大吞吐量的快速存取訪問，

用于海量的教學(xué)信息資源的存儲和共享，并為上層云計算數(shù)據(jù)處理和應(yīng)用服務(wù)提

供基礎(chǔ)的數(shù)據(jù)存儲平臺

企業(yè)虛擬化服、網(wǎng)站托管

為企業(yè)提供資源虛擬化、資源共享等服務(wù)，最大利用硬件資源，節(jié)約成本的

同時，降低企業(yè)對資源的管理難度

1.3系統(tǒng)建設(shè)的主要設(shè)計思想和設(shè)計目標、設(shè)計原則

設(shè)計思想：在充分研究移動互聯(lián)網(wǎng)、云計算理論的基礎(chǔ)上，研究基于云計算

的移動互聯(lián)網(wǎng)應(yīng)用服務(wù)，通過云計算提供的高性能計算和海量數(shù)據(jù)存儲能力，突

破移動終端在計算能力和存儲空間上的限制、擴展移動應(yīng)用軟件的類型、提高移

動軟件的服務(wù)質(zhì)量和降低服務(wù)成本。

設(shè)計目標：采用云計算、物聯(lián)網(wǎng)和信息網(wǎng)格技術(shù)，構(gòu)建一個綠色環(huán)保、安全、

穩(wěn)定、可靠的云基礎(chǔ)平臺；基于云計算技術(shù)實現(xiàn)DeepWeb、自然語言處理、

圖形圖像處理與理解和大規(guī)模知識庫自動構(gòu)建等海量信息的高效處理;建立基于

云計算的企業(yè)信息化應(yīng)用軟件模式，開發(fā)出涵蓋企業(yè)產(chǎn)品全生命周期的集成應(yīng)用

支撐軟件系統(tǒng)和中小企業(yè)智能信息服務(wù)平臺;建立基于云計算的移動互聯(lián)網(wǎng)軟件

服務(wù)的應(yīng)用模式，實現(xiàn)基于云計算的移動圖像搜索與挖掘系統(tǒng)和基于云計算的移

動位置地理信息服務(wù)系統(tǒng)。

設(shè)計原則：

(1)技術(shù)領(lǐng)先，性能優(yōu)異

系統(tǒng)將采用國際先進的云存儲和云計算技術(shù)，并在此基礎(chǔ)上提供高效的查詢

和分析處理、資源虛擬化服務(wù)、網(wǎng)站托管等功能。

(2)數(shù)據(jù)安全可靠

系統(tǒng)將采用多種容錯技術(shù)保證存儲的數(shù)據(jù)安全和故障的自動恢復(fù)。

1.4系統(tǒng)的主要技術(shù)特點

海量數(shù)據(jù)存儲及處理：基于先進的海量數(shù)據(jù)云存儲技術(shù)構(gòu)建一個高度可靠、

可在線彈性伸縮、能夠支持高并發(fā)大吞吐量的快速存取訪問的云存儲系統(tǒng)平臺，

用于海量的教學(xué)信息資源的存儲和共享，并為上層云計算數(shù)據(jù)處理和應(yīng)用服務(wù)提

供基礎(chǔ)的數(shù)據(jù)存儲平臺

高效處理能力和實時性：平臺在高效率并行分布式軟件的支撐下，可以實時

完成數(shù)據(jù)入庫、分析和管理工作。海量數(shù)據(jù)入庫不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分

析和查詢工作基本都在秒級完成，具有前所未有的高效性。

高可靠性：基于對云計算可靠性深厚的研究積累，徹底解決了當前分布式計

算平臺易出現(xiàn)的單點故障問題。任何一個節(jié)點出現(xiàn)故障，系統(tǒng)將自動屏蔽，而且

不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。

可伸縮性：在不停機的情況下，增加節(jié)點，平臺的處理能力自動增加；減少

節(jié)點，平臺的處理能力自動縮減。這樣，可以做到與云計算平臺的無縫對接，根

據(jù)計算和存儲任務(wù)動態(tài)地申請或釋放資源，最大限度地提高資源利用率。

高性價比：采用X86架構(gòu)廉價計算機構(gòu)建云計算平臺，用軟件容錯替代硬

件容錯，大大節(jié)省成本。在目標性能和可靠性條件下，可比傳統(tǒng)的小型機加商用

數(shù)據(jù)庫方案節(jié)省10倍左右的成本。

全業(yè)務(wù)支持：采用分布式數(shù)據(jù)庫模式，絕大部分海量數(shù)據(jù)存放于分布式平臺

并進行分布式處理，少量實時性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫中，可支撐各

種類型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)

智能分析業(yè)務(wù)。

1.5系統(tǒng)總體構(gòu)架

構(gòu)建一個綠色環(huán)保、安全、穩(wěn)定、可靠的云基礎(chǔ)平臺；基于云計算技術(shù)實現(xiàn)

DeepWeb、自然語言處理、圖形圖像處理與理解和大規(guī)模知識庫自動構(gòu)建等海

量信息的高效處理；建立基于云計算的企業(yè)信息化應(yīng)用軟件模式，開發(fā)出涵蓋企

業(yè)產(chǎn)品全生命周期的集成應(yīng)用支撐軟件系統(tǒng)和中小企業(yè)智能信息服務(wù)平臺；建立

基于云計算的移動互聯(lián)網(wǎng)軟件服務(wù)的應(yīng)用模式，實現(xiàn)基于云計算的移動圖像搜索

與挖掘系統(tǒng)和基于云計算的移動位置地理信息服務(wù)系統(tǒng);

應(yīng)

構(gòu)建

自動

識庫

模知

大規(guī)

解

與理

處理

圖像

圖形

處理

語言

自然

挖掘

深度

Web

用Deep

層

統(tǒng)

掘系

與挖

搜索

圖像

移動

務(wù)

息服

理信

的地

位置

基于

務(wù)

化服

虛擬

資源

服務(wù)

搜索

購物

拍照

虛

擬

化

ce

Glan

Swift

Nova

管KVM

□

stack

理open

術(shù)

理技

行處

式并

分布

技術(shù)

處理

定性

不確

技術(shù)

挖掘

數(shù)據(jù)

技術(shù)

搜索

云智能

處

理

平

臺

再胤

勵楊

立方

數(shù)據(jù)

云

存

儲

儲系統(tǒng)

r云存

系cSto

統(tǒng)

圖

示息

系統(tǒng)

圖表1

海量

，提供

系統(tǒng)

存儲

的云

價比

高性

搭建

器上

服務(wù)

通x86

：在普

統(tǒng)層

儲系

云存

量的

吞吐

發(fā)大

高并

支持

能夠

縮、

性伸

線彈

可在

靠、

度可

有高

力，具