以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心

1、以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心四川環(huán)境信息資源中心建設(shè)總體四川環(huán)境信息資源中心建設(shè)總體思路探討思路探討2以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心，可以實現(xiàn)整合來自各種環(huán)境業(yè)務應用系統(tǒng)中的數(shù)據(jù)，以建設(shè)數(shù)據(jù)倉庫為基礎(chǔ)，利用ETL、OLAP 等數(shù)據(jù)處理和加工工具，對數(shù)據(jù)進行整理、轉(zhuǎn)換、匹配、校驗、整合和分析，使環(huán)境數(shù)據(jù)標準化，并通過統(tǒng)一的接口實現(xiàn)環(huán)境數(shù)據(jù)的共享和綜合利用，解決“信息孤島”問題。通過虛擬化與云計算技術(shù)，實現(xiàn)IT資源的按需動態(tài)分配，并將各種計算資源以服務的形式提供給業(yè)務系統(tǒng)，解決“資源孤島”問題，節(jié)約大量投資，減少系統(tǒng)運行成本。摘摘 要要以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算

2、技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心隨著我國經(jīng)濟的高速發(fā)展，環(huán)境質(zhì)量整體惡化，污染物排放總量居高不下，大大超出環(huán)境容量。黨中央、國務院從治國理念的高度把環(huán)境保護擺上了更加突出的重要位置?！笆晃濉逼陂g一系列重大建設(shè)項目的實施，環(huán)境信息化建設(shè)取得了顯著成效。引引 言言以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心本文是在以環(huán)保的核心問題“數(shù)據(jù)來源”基礎(chǔ)上，結(jié)合當前環(huán)境信息化的實際情況，提出構(gòu)建標準統(tǒng)一、接口開放、可持續(xù)擴展的環(huán)境數(shù)據(jù)中心，并探討依托當前信息技術(shù)發(fā)展主流趨勢的“云計算”技術(shù)來構(gòu)建環(huán)境數(shù)據(jù)中心的建設(shè)思路和方法。以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心第一章析析環(huán)境信息化建設(shè)

3、現(xiàn)狀分析以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心一、環(huán)境信息化建設(shè)現(xiàn)狀分析一、環(huán)境信息化建設(shè)現(xiàn)狀分析建成了涵蓋部、省、市三級的“國控重點污染源自動監(jiān)控系統(tǒng)”；建成了覆蓋“部、省、市、縣”四級聯(lián)通的環(huán)保專網(wǎng)；即將建成：“減排應用支撐平臺”、“建設(shè)項目管理”、“環(huán)境統(tǒng)計業(yè)務系統(tǒng)”、“數(shù)據(jù)傳輸與交換平臺”、“GIS地理信息系統(tǒng)平臺”。一、環(huán)境信息化建設(shè)現(xiàn)狀分析一、環(huán)境信息化建設(shè)現(xiàn)狀分析環(huán)境數(shù)據(jù)來源復雜，多數(shù)環(huán)境數(shù)據(jù)分散于各部門，沒有統(tǒng)一的元數(shù)據(jù)標準，缺乏應有的處理和加工，難以進行共享和應用；不同的環(huán)境管理業(yè)務涉及的管理對象存在不同程度的重疊，但對應的信息系統(tǒng)卻相互獨立，造成系統(tǒng)內(nèi)數(shù)出

4、多門、一數(shù)多源，相互矛盾的事情時有發(fā)生。u 從環(huán)境管理業(yè)務的角度來看，現(xiàn)有的環(huán)境數(shù)據(jù)管理和應用主要存在如下兩方面的問題：一、環(huán)境信息化建設(shè)現(xiàn)狀分析一、環(huán)境信息化建設(shè)現(xiàn)狀分析數(shù)據(jù)難以共享，不一致，真實性、可靠性低；缺乏統(tǒng)一的標準；數(shù)據(jù)分散存放，不安全；數(shù)據(jù)難以轉(zhuǎn)化為信息和知識，難以在環(huán)境管理中發(fā)揮應有的作用。u 從信息化的角度出發(fā)，環(huán)境信息化所面臨的最大問題是“信息孤島”，主要表現(xiàn)在以下幾個方面：一、環(huán)境信息化建設(shè)現(xiàn)狀分析一、環(huán)境信息化建設(shè)現(xiàn)狀分析u 利用當前較成熟的IT技術(shù)手段來建設(shè)環(huán)境數(shù)據(jù)中心，能夠全面整合環(huán)境數(shù)據(jù)，徹底消除“信息孤島”，實現(xiàn)環(huán)境數(shù)據(jù)的和諧共享，同時可以糾正數(shù)據(jù)自身的問題，避

5、免“數(shù)出多門”，真正摸清“家底”。第二章析析環(huán)境數(shù)據(jù)中心定義及建設(shè)目標以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心二、環(huán)境數(shù)據(jù)中心定義及建設(shè)目標二、環(huán)境數(shù)據(jù)中心定義及建設(shè)目標環(huán)境數(shù)據(jù)中心建設(shè)重點強調(diào)環(huán)境數(shù)據(jù)集中管理和環(huán)境信息資源整合，其采用集中與分布相結(jié)合的方式管理環(huán)境數(shù)據(jù)，是環(huán)境信息資源數(shù)據(jù)的存儲中心、管理服務中心、共享交換中心以及環(huán)境管理決策的支持中心。環(huán)境數(shù)據(jù)中心是環(huán)境信息資源整合的核心二、環(huán)境數(shù)據(jù)中心定義及建設(shè)目標二、環(huán)境數(shù)據(jù)中心定義及建設(shè)目標二、環(huán)境數(shù)據(jù)中心定義及建設(shè)目標二、環(huán)境數(shù)據(jù)中心定義及建設(shè)目標建立統(tǒng)一的標準規(guī)范；實現(xiàn)數(shù)據(jù)的和諧共享；聯(lián)合監(jiān)管污染源；提供更有效、有力

6、、科學的決策依據(jù)。2. 環(huán)境數(shù)據(jù)中心建設(shè)的目標第三章析析環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)u 環(huán)境數(shù)據(jù)中心的技術(shù)架構(gòu)設(shè)計如下圖:三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)SOA面向服務的體系結(jié)構(gòu) 環(huán)境數(shù)據(jù)中心的建設(shè)是一項大型和復雜的系統(tǒng)工程，需要實現(xiàn)多個應用系統(tǒng)的集成，各個應用系統(tǒng)之間需要進行數(shù)據(jù)交換和整合，因此每個子系統(tǒng)的設(shè)計應該遵循面向服務的體系結(jié)構(gòu)，使各個子系統(tǒng)之間可以完整地集成在一起； 面向服務的體系結(jié)構(gòu)（SOA）表示如何合理的使用 Web 服務。三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)三、環(huán)境數(shù)據(jù)中心技術(shù)

7、架構(gòu)2. 基于Web Service的數(shù)據(jù)調(diào)用機制 Web Services是指以一種松散的服務捆綁集合形式，能夠快速、低代價地開發(fā)、發(fā)布、發(fā)現(xiàn)和動態(tài)綁定應用； Web Services可以實現(xiàn)應用程序之間的函數(shù)或方法級的集成。三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)3. 基于XML的數(shù)據(jù)交換規(guī)范 XML是一種數(shù)據(jù)交換格式，允許在不同的系統(tǒng)或應用程序之間交換數(shù)據(jù)，通過一種網(wǎng)絡化的處理機構(gòu)來遍歷數(shù)據(jù)，每個網(wǎng)絡節(jié)點存儲或處理數(shù)據(jù)并且將結(jié)果傳輸給相鄰的節(jié)點； 是一組用于設(shè)計數(shù)據(jù)格式和結(jié)構(gòu)的規(guī)則和方法，易于生成便于不同的計算機和應用程序讀取的數(shù)據(jù)文件。三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)三、環(huán)境數(shù)據(jù)中心技

8、術(shù)架構(gòu)4. 基于ETL過程實現(xiàn)數(shù)據(jù)的有效整合 ETL過程是環(huán)境數(shù)據(jù)中心建設(shè)的關(guān)鍵步驟，利用ETL工具實現(xiàn)各業(yè)務的異構(gòu)數(shù)據(jù)庫系統(tǒng)和文本、電子表格等文件系統(tǒng)格式的數(shù)據(jù)整合和集成，并針對具體的每個分系統(tǒng)編寫具體的數(shù)據(jù)轉(zhuǎn)換代碼，來一起完成從原始數(shù)據(jù)采集、錯誤數(shù)據(jù)清理、異構(gòu)數(shù)據(jù)整合、數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)儲和數(shù)據(jù)定期刷新的全部過程。三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)三、環(huán)境數(shù)據(jù)中心技術(shù)架構(gòu)5. 基于數(shù)據(jù)倉庫技術(shù)的建模機制 環(huán)境數(shù)據(jù)中心已經(jīng)集成了相對豐富的各類環(huán)境業(yè)務數(shù)據(jù)，這些業(yè)務系統(tǒng)大多是OLTP系統(tǒng)(聯(lián)機事務處理系統(tǒng))，這些系統(tǒng)中積累了大量的歷史環(huán)境數(shù)據(jù)； 關(guān)鍵問題：環(huán)境數(shù)據(jù)中心在現(xiàn)有數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)上應用數(shù)據(jù)倉

9、庫技術(shù)第四章析析環(huán)境數(shù)據(jù)中心建設(shè)內(nèi)容以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心四、環(huán)境數(shù)據(jù)中心建設(shè)內(nèi)容四、環(huán)境數(shù)據(jù)中心建設(shè)內(nèi)容u 環(huán)境數(shù)據(jù)中心建設(shè)是一項復雜的系統(tǒng)工程，其建設(shè)內(nèi)容如下： 完成基礎(chǔ)信息采集及共享完成數(shù)據(jù)資源規(guī)劃，收集、采集各類數(shù)據(jù)源，完成公共代碼、污染源代碼、污染源主數(shù)據(jù)梳理，通過共享接口、基礎(chǔ)檔案應用等功能實現(xiàn)環(huán)境基礎(chǔ)信息的充分共享利用。四、環(huán)境數(shù)據(jù)中心建設(shè)內(nèi)容四、環(huán)境數(shù)據(jù)中心建設(shè)內(nèi)容2. 建立數(shù)據(jù)倉庫整合環(huán)境數(shù)據(jù)資源完成數(shù)據(jù)資源規(guī)劃，收集、采集各類數(shù)據(jù)源，完成公共代碼、污染源代碼、污染源主數(shù)據(jù)梳理，通過共享接口、基礎(chǔ)檔案應用等功能實現(xiàn)環(huán)境基礎(chǔ)信息的充分共享利用。

10、3. 完成數(shù)據(jù)分析應用通過數(shù)據(jù)倉庫和技術(shù)，建設(shè)各類分析專題，為各級環(huán)境管理應用提供決策數(shù)據(jù)支持。四、環(huán)境數(shù)據(jù)中心建設(shè)內(nèi)容四、環(huán)境數(shù)據(jù)中心建設(shè)內(nèi)容4. 無縫集成業(yè)務數(shù)據(jù)與空間數(shù)據(jù)將GIS的空間數(shù)據(jù)和環(huán)境業(yè)務數(shù)據(jù)通過業(yè)務對象的唯一編碼實現(xiàn)空間數(shù)據(jù)和業(yè)務屬性數(shù)據(jù)的關(guān)聯(lián)，從而實現(xiàn)空間數(shù)據(jù)和環(huán)境業(yè)務數(shù)據(jù)的無縫集成。5. 采用開放式體系結(jié)構(gòu)確保其可擴展性環(huán)境數(shù)據(jù)中心建設(shè)應統(tǒng)籌規(guī)劃，分步實施，與未來環(huán)境信息化的宏觀發(fā)展規(guī)劃相適應。第五章析析云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 傳統(tǒng)數(shù)據(jù)中心的不足 資源

11、利用率低造成服務器資源利用率低的主要原因是各個業(yè)務部門在提出業(yè)務應用需求時，都在單獨規(guī)劃、設(shè)計其業(yè)務應用的運行環(huán)境，并且按照最大業(yè)務規(guī)模的要求進行系統(tǒng)容量的規(guī)劃和設(shè)計。五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 傳統(tǒng)數(shù)據(jù)中心的不足2. 資源孤島根據(jù)業(yè)務系統(tǒng)的要求建設(shè)相應軟硬件設(shè)施的傳統(tǒng)數(shù)據(jù)中心建設(shè)模式，則從系統(tǒng)資源上導致了“資源孤島”。傳統(tǒng)數(shù)據(jù)中心建設(shè)模式很難從整體基礎(chǔ)架構(gòu)的角度來考慮資源分配及使用的合理性，因此從基礎(chǔ)設(shè)施的角度來看應用系統(tǒng)，它們還是一個個獨立的“煙囪”。五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u “煙囪”型的基礎(chǔ)設(shè)施五、云計算技術(shù)構(gòu)建環(huán)

12、境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 傳統(tǒng)數(shù)據(jù)中心的不足3. 增加資源管理開銷傳統(tǒng)數(shù)據(jù)中心資源配置和部署過程多采用人工方式，沒有相應的平臺支持，使大量人力資源耗費在繁重的重復性工作上，沒有自服務和自動部署的能力。因此，對業(yè)務部門的需求往往無法做到及時響應和準確有效，并極大的增加了資源管理的難度和投入。五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 什么是云計算美國國家技術(shù)和標準研究院（NIST，National Institute of Standards and Technology）將云計算定義為：“云計算是一個提供便捷的可通過網(wǎng)絡訪問一個可定制的計算資源共享池能力的

13、模式（計算資源包括網(wǎng)絡，服務器，存儲，應用和服務）；這些資源能夠快速部署，并只需要很少的管理工作或與服務供應商很少的交互?！蔽濉⒃朴嬎慵夹g(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 簡而言之，云計算就是信息技術(shù)作為服務（IT as a Service）的一種計算供應和消費方式。其特征主要表現(xiàn)在如下幾個方面： 云計算強調(diào)資源的共享，而不是獨占; 云計算強調(diào)的是資源集中，而不是分散; 云計算強調(diào)的是一種服務，而不是技術(shù); 云計算強調(diào)動態(tài)資源配置，而不是靜態(tài)資源分配; 云計算強調(diào)的是專業(yè)分工，而不是事必躬親。五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 云計算的技術(shù)架構(gòu)五、云

14、計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 傳統(tǒng)IT的資源使用模型五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 云計算的資源使用模型五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 使用云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心 數(shù)據(jù)中心建設(shè)的未來發(fā)展方向是對傳統(tǒng)數(shù)據(jù)中心進行虛擬化和云計算架構(gòu)的轉(zhuǎn)型，不斷提高IT基礎(chǔ)設(shè)施的靈活性，降低硬件、能源和空間等成本，從而讓用戶能夠快速響應業(yè)務需求，提高業(yè)務敏捷性； 云計算技術(shù)能提高IT基礎(chǔ)設(shè)施資源的利用效率，提升基礎(chǔ)設(shè)施的應用和管理水平，實現(xiàn)計算資源的動態(tài)優(yōu)化。五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u

15、 云計算技術(shù)構(gòu)建數(shù)據(jù)中心主要有以下特點： 集中管理環(huán)境數(shù)據(jù)中心的硬件資源，包括服務器，存儲和網(wǎng)絡等； 可以動態(tài)分配服務資源； 用戶可以根據(jù)需求自助申請計算資源，平臺根據(jù)SLA和用戶付費情況，決定審批結(jié)果； 應用管理，服務度量計費和SLA（Service-Level Agreement）等； 提供高效的數(shù)據(jù)存儲和安全的災備服務。五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心的邏輯架構(gòu)五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心五、云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心u 云計算環(huán)境數(shù)據(jù)中心的建設(shè)思路：在省、市已建成并投入運行的“國控重點污染源自動監(jiān)控中心”基礎(chǔ)上，使用虛擬化和云

16、計算技術(shù)，在建設(shè)“省控重點污染源自動監(jiān)控中心”的過程中，將現(xiàn)有的軟、硬件IT基礎(chǔ)資源進行整合，建成省、市兩級環(huán)保部門的私有云，并將環(huán)境數(shù)據(jù)中心虛擬化和云化，在整合IT基礎(chǔ)資源的私有云平臺上，建成四川省“云計算環(huán)境數(shù)據(jù)中心”。第六章析析云計算環(huán)境數(shù)據(jù)中心在環(huán)境保護工作中的應用和意義以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心以云計算技術(shù)構(gòu)建環(huán)境數(shù)據(jù)中心六、云計算環(huán)境數(shù)據(jù)中心的應用意義六、云計算環(huán)境數(shù)據(jù)中心的應用意義u 提升各級環(huán)保部門對環(huán)境數(shù)據(jù)管理和應用的綜合水平，可實現(xiàn)如下應用： 環(huán)境數(shù)據(jù)資源目錄服務、環(huán)境數(shù)據(jù)資源目錄管理系統(tǒng)； “一源一檔”的污染源檔案管理系統(tǒng)； 環(huán)境質(zhì)量分析系統(tǒng)； 污染源分析系統(tǒng)； 基于環(huán)

17、?！耙粡垐D”理念的空間信息共享服務平臺六、云計算環(huán)境數(shù)據(jù)中心的應用意義六、云計算環(huán)境數(shù)據(jù)中心的應用意義u 相較傳統(tǒng)的業(yè)務系統(tǒng)建設(shè)和環(huán)境數(shù)據(jù)應用模式，云計算環(huán)境數(shù)據(jù)中心具有如下的優(yōu)勢：提供集中化、基于策略的環(huán)境數(shù)據(jù)和IT資源管理模式，節(jié)約了系統(tǒng)管理成本和人力投資；將IT基礎(chǔ)資源虛擬化，可智能的調(diào)配IT資源來支持環(huán)境業(yè)務系統(tǒng)的運行，既能快速應對業(yè)務需求變化，又能最大化利用IT基礎(chǔ)資源，減少軟硬件的重復采購投資；六、云計算環(huán)境數(shù)據(jù)中心的應用意義六、云計算環(huán)境數(shù)據(jù)中心的應用意義u 相較傳統(tǒng)的業(yè)務系統(tǒng)建設(shè)和環(huán)境數(shù)據(jù)應用模式，云計算環(huán)境數(shù)據(jù)中心具有如下的優(yōu)勢：3. 云平臺將保證環(huán)境業(yè)務系統(tǒng)的不間斷運行，并提供多重的數(shù)據(jù)存儲和災難恢復機制，使應用系統(tǒng)和數(shù)據(jù)資源獲得更多的安全保障；4. 提供統(tǒng)一的數(shù)據(jù)集成和管理方案，通過跨區(qū)域的數(shù)據(jù)整合共享，形成環(huán)境管理的數(shù)據(jù)基礎(chǔ)，使用業(yè)務系統(tǒng)及相關(guān)的報表分析工具，為領(lǐng)導決策與應急處理工作提供定量化與精細化的管理依據(jù)。六、云計算環(huán)境數(shù)據(jù)中心的應用意義六、云計算環(huán)境數(shù)據(jù)中心的應用意義5. 提供統(tǒng)一的數(shù)據(jù)發(fā)布平臺，可及時發(fā)布污染源防控信息，解釋相關(guān)法律政策，普及環(huán)?；A(chǔ)知識，發(fā)動公眾監(jiān)督力量，實現(xiàn)環(huán)保