云南省省級氣象信息存儲共享系統(tǒng)_第1頁
云南省省級氣象信息存儲共享系統(tǒng)_第2頁
云南省省級氣象信息存儲共享系統(tǒng)_第3頁
云南省省級氣象信息存儲共享系統(tǒng)_第4頁
云南省省級氣象信息存儲共享系統(tǒng)_第5頁
已閱讀5頁,還剩59頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、云南省級氣象信息存儲共享系統(tǒng)云南省級氣象信息存儲共享系統(tǒng) 可行性研究報告可行性研究報告 云云南南省省氣氣象象局局 2 20 00 06 6 年年 4 4 月月 目目錄錄 1 建設目的意義.1 1.1 目的.1 1.2 意義.2 1.3 項目開展必要性.3 2 現(xiàn)狀及發(fā)展趨勢.5 2.1 現(xiàn)狀.5 2.2 發(fā)展趨勢.8 3 需求分析.10 3.1 氣象信息存儲需求.10 3.2 氣象預報、服務業(yè)務發(fā)展的需求.14 3.3 氣象信息資源開發(fā)利用的需求.14 3.4 經濟社會發(fā)展對氣象信息的需求.15 3.5 系統(tǒng)功能與性能需求.15 3.5.1 系統(tǒng)功能需求.15 3.5.2 系統(tǒng)性能需求.22

2、4 建設內容.26 4.1 網絡存儲.26 4.2 數據庫.27 4.3 信息共享平臺.27 4.3 異地數據災難備份.27 5 信息存儲共享的主流技術.28 5.1 網絡存儲.28 5.1.1現(xiàn)有信息網絡存儲的主流技術.28 5.1.2 san的主流技術.32 5.2 數據庫技術.35 5.2.1主流數據庫.35 5.2.2 數據倉庫技術.39 5.3 信息共享技術.40 6 項目的技術方案.40 6.1 網絡存儲.40 6.2 數據庫.42 6.2.1氣象資料的分類.42 6.2.2各類資料的存儲方式.42 6.2.3主流數據庫產品分析.43 6.2.4數據倉庫.44 6.3 信息共享平臺

3、.45 6.3.1建設原則.45 6.3.2總體設計.46 6.3.3主要功能設計.49 6.3.4技術關鍵及應對措施.50 7 項目關鍵和應對措施.52 8 項目可行性和經濟可行性.53 8.1 技術可行性.53 8.2 工程可行性.54 8.3 經濟可行性.54 8.4 環(huán)境可行性.54 9 投資估算和進度安排.54 9.1 投資估算.54 9.2 進度安排.56 10 經濟效益、社會效益分析.56 11 負責單位審核意見.59 1 建設目的意義 1.1 目的 云南省氣象信息存儲共享系統(tǒng)既是國家氣象信息系統(tǒng)乃至國家 基礎信息系統(tǒng)的組成部分,又是云南省級基礎信息系統(tǒng)的重要組成 部分。在國家氣

4、象信息共享平臺建設的基礎上,增強氣象信息的自 動存儲、加工處理和綜合分析應用能力,滿足氣象業(yè)務現(xiàn)代化的需 要,實現(xiàn)與部門內外的信息共享。 1.1.1 提高氣象信息的存儲管理能力提高氣象信息的存儲管理能力 隨著氣象衛(wèi)星、多普勒雷達、氣象自動觀測站等現(xiàn)代探測技術 和網絡通訊技術的快速發(fā)展、目前獲取的氣象觀測數據、資料成倍 增長。通過項目建設,運用當今先進的計算機計算、存儲技術和計 算機網絡技術,積極推進云南氣象信息共享平臺建設;統(tǒng)一數據源, 提高氣象資料的一致性。對觀測信息進行科學組織、管理、存儲, 為各部門提供快捷、高效、準確、全方位的氣象信息服務。 1.1.2 建設氣象信息服務系統(tǒng)建設氣象信息

5、服務系統(tǒng) 建成先進的省級氣象信息共享平臺和現(xiàn)代化的氣象信息服務系 統(tǒng),實現(xiàn)連通相關行業(yè)的信息中心的氣象信息交換與信息共享,建 成以數據庫為核心的存儲共享系統(tǒng),實現(xiàn)信息管理的自動化和規(guī)范 化。 1.1.3 實現(xiàn)氣象信息共享實現(xiàn)氣象信息共享 利用云南省氣象寬帶光纖通信網絡、網絡存儲系統(tǒng)、分布式數 據庫,形成縱向和全國氣象部門、橫向和云南省相關部門聯(lián)通的氣 象通信和信息交換共享業(yè)務,充分發(fā)揮氣象信息和網絡資源優(yōu)勢, 統(tǒng)一組織和管理云南省氣象局所收集的省內乃至全球范圍的觀測資 料及其分析加工產品,實現(xiàn)氣象信息的共享和服務。 1.1.4 異地存儲提高氣象信息安全性異地存儲提高氣象信息安全性 氣象信息是氣

6、象業(yè)務、氣象科研和服務發(fā)展的不可缺少的基礎, 是無數氣象科研工作者心血的結晶。通過基于網絡的異地數據災難 備份的建設,能極大的提高氣象信息的安全性。 1.2 意義 1.2.1 充分發(fā)揮氣象信息資源的使用效益充分發(fā)揮氣象信息資源的使用效益 隨著社會的進步和經濟的發(fā)展,人們對天氣、氣候的變化越來 越敏感,相關領域的科學研究對氣象數據信息的需求和應用越來越 廣泛。特別是在氣象部門內部,隨著科技的進步和社會需求的發(fā)展, 氣候資源的利用、預報服務、數值預報的應用、高性能計算以及研 究型業(yè)務的開展,對氣象資料的規(guī)范化、實時化、共享化的要求越 來越高,通過建設氣象信息存儲共享系統(tǒng)來提高氣象信息化水平已 成為

7、云南氣象發(fā)展的必然。 本項目一方面提供基本氣象資料并匯集其生成的各種氣象服務 產品,另一方面又對部門外部非商業(yè)用戶提供氣象資料服務而成為 氣象資料服務的主窗口。本項目的開展將提升氣象資料的使用效益, 為科技創(chuàng)新、政府決策、經濟建設、國防安全和社會公眾提供多層 次的全面的氣象科學數據服務。 1.2.2 提高氣象信息資源的管理水平和共享能力 氣象在人類挽救自身生命和財產的努力中具有獨特的作用,氣 象服務的公益性質和互惠互利性質,決定了氣象信息資源的共享具 有一定的基礎,但提升其共享水平也存在著很大的局限性。 目前云南氣象部門的省、市(州) 、縣三級寬帶網絡已建設業(yè)完 成,全省所有市(州) 、縣都通

8、過光纖通信網與省級中心聯(lián)成廣域網 絡。隨著自動氣象站、自動雨量氣溫雙要素站、自動雨量站的建設, 各級各類資料大幅增加,目前我省已形成了基本的基礎資料信息共 享。但由于存在諸多原因,我省大量的歷史資料、實時資料等氣象 信息的管理和共享主要采用半人工方式,缺乏聯(lián)機自動檢索和加工 處理能力,隨著氣象與其他相關單位的信息交互日漸頻繁,信息量 不斷增加,現(xiàn)在的信息存儲能力難以滿足業(yè)務、科研發(fā)展的需要, 氣象信息人工存儲方式的缺陷日益顯現(xiàn),我省氣象部門的氣象信息 資源的管理水平和共享能力還遠遠不能滿足內部需求,更不能夠滿 足日益發(fā)展的社會需求。 本項目將以信息存儲管理、共享服務需求開展研究,將顯著提 高云

9、南省氣象信息的科學管理水平,增強氣象信息資源的共享能力, 提高全省業(yè)務服務能力。 1.3 項目開展必要性 1.3.1 滿足業(yè)務科研需要滿足業(yè)務科研需要 隨著網絡通訊技術、新一代數值預報技術和天氣預報業(yè)務的飛 速發(fā)展、以氣象自動觀測站、多普勒雷達為核心的省級新一代氣象 綜合探測系統(tǒng)的建成和投入業(yè)務使用,使我省可獲取的氣象數據資 料量呈海量增加,所有這些,都對氣象數據存儲共享提出了迫切的 需求和嚴峻的挑戰(zhàn)。 建立省級數據存儲共享系統(tǒng),對數量龐大的信息進行科學地組 織、管理、存儲和使用,實現(xiàn)快捷、高效、準確、全方位氣象資料 服務,是氣象業(yè)務、科研及社會經濟建設的需要。省級數據存儲共 享系統(tǒng)的建設,將

10、大大提高氣象數據的收集服務能力,擴展收集的 覆蓋面及處理時效,滿足云南省氣象業(yè)務、氣象科研不斷發(fā)展的需 要。 1.3.2 滿足服務需要 社會進步、經濟發(fā)展和科學研究對氣象資料的社會共享提出了 迫切的要求。對大數據量氣象信息服務,用戶一方面提出很高的時 效要求;另一方面又要有統(tǒng)一數據源,提高可靠的氣象信息。 云南省級氣象信息存儲共享系統(tǒng)的建設,將大大地提高我省氣 象數據收集、服務的能力,極大地擴展收集的覆蓋面及處理時效, 為國民經濟宏觀決策,如應用氣候規(guī)律開發(fā)云南,指導政府經濟建 設、在減災防災制定重大決策中發(fā)揮作用。近年來,隨著我省國民 經濟的持續(xù)、快速發(fā)展,各行各業(yè)對氣候資料的需求大幅增加。

11、尤 其是對國家安全和軍事戰(zhàn)略具有重要意義的氣候資料尤其是高空資 料的需求極大增加,在開發(fā)西部的戰(zhàn)略指導下,云南的發(fā)展急需氣 候資料部門提供詳實、全面的全省氣候環(huán)境數據,以指導我省合理 開發(fā)。盡快建設氣象信息存儲共享系統(tǒng),以滿足國民經濟發(fā)展和國 防建設、保衛(wèi)國家安全及領土完整、減災防災的需要是十分迫切的。 2 現(xiàn)狀及發(fā)展趨勢 2.1 現(xiàn)狀 氣象信息存儲管理作為基礎氣象業(yè)務工作受到越來越高度的重 視,包括資料收集、加工處理、存儲和服務的數據管理工作在標準 化、規(guī)范化和現(xiàn)代化方面取得了重要進步。經過多年的努力,越來 越多的歷史資料已經成為可供計算機管理的數字化資料,主要的氣 象資料已經進入數據庫系統(tǒng)

12、進行管理和服務,已經建立的大量標準、 規(guī)范的可供用戶直接使用的數據集產品,使氣象資料的完整性、安 全性和準確性得到越來越多的保障。以氣象通信網絡、高性能計算 技術為代表的我省氣象信息網絡系統(tǒng)的發(fā)展已取得長足進步,以 sybase、sql server 為主的商用數據庫管理系統(tǒng)在我省的氣象信息 業(yè)務中得到初步應用,以數據為中心的業(yè)務流程正在逐步形成。省 局大院內的各單位以及部分市(州)氣象局從自己的業(yè)務工作需要 出發(fā),陸續(xù)建立起針對本單位工作內容所需要的資料管理系統(tǒng);這 些資料管理系統(tǒng)有些是配有資料輸入、處理、管理、檢索、以及備 份歸檔,并帶有一定監(jiān)控等功能的較為完整、完備和規(guī)范的工作流 程,并

13、建立在較為可靠的硬件、軟件平臺上的業(yè)務系統(tǒng),有些則相 對簡單,有些甚至僅僅是一些資料的累計,既無相應的信息檢索功 能,更沒有質量控制、管理維護等措施。 隨著氣象科技的發(fā)展,我省大氣探測系統(tǒng)將以自動觀測站、特 種氣象要素觀測、大氣本底站、多譜勒雷達、氣象衛(wèi)星、eos 資源 衛(wèi)星等為核心建設新一代氣象綜合探測系統(tǒng),獲取的氣象資料將呈 海量增加。氣象信息的增加和政府、社會服務需求的不斷增長,現(xiàn) 有的氣象信息系統(tǒng)已不適應氣象事業(yè)發(fā)展的需要,主要體現(xiàn)在: 現(xiàn)有信息存儲能力不足,管理效率不高,影響相關業(yè)務的開現(xiàn)有信息存儲能力不足,管理效率不高,影響相關業(yè)務的開 展展 現(xiàn)有氣象資料種類較多,數據量較大。其中

14、,常規(guī)觀測資料 (包括農氣資料、業(yè)務服務產品資料等)數據量較小;而數值模式 資料、衛(wèi)星觀測資料以及天氣雷達觀測及產品資料的數據量較大。 由于缺少較好的存儲系統(tǒng),不同的信息暫存于不同的計算機和多種 介質上,沒有掌握對氣象信息控制的主動權,無法對氣象信息進行 有效的控制,使得氣象信息的綜合處理不僅費時、費力,且無法在 有效時間內獲得業(yè)務或服務用氣象數據。服務器系統(tǒng)幾乎都是以單 機形式運行,缺乏容錯保護功能,很容易因某一服務器故障而導致 業(yè)務的短時中斷;運行在各計算機系統(tǒng)上的業(yè)務作業(yè)沒有統(tǒng)一的數 據來源、數據格式和缺少二進制代碼級的兼容。 管理分散、使用不便管理分散、使用不便 由于歷史原因,資料管理

15、工作一直未能很好解決,各類數據庫 系統(tǒng)分散于不同的部門。到目前為止,云南省氣象檔案館所真正掌 握的完整的氣象資料仍僅限于常規(guī)氣象觀測資料及其相關的統(tǒng)計產 品,其它如數值預報產品、數值分析產品、衛(wèi)星觀測及產品資料、 雷達觀測及產品資料、特種觀測資料等資料的管理分散,保存時間 不能滿足業(yè)務及研究的需求,而且大量的數據使用后就丟棄沒有延 續(xù)保存,管理的疏漏導致資料使用的不便,以致影響一些業(yè)務及研 究工作的開展。由于現(xiàn)有數據庫的容量有限,致使大量的氣象信息 資料存儲在光盤上,沒有聯(lián)機自動存儲能力,對數據備份、信息的 使用以及信息管理均有一定的影響。同時,部分常用的觀測和產品 資料由于未做進一步的加工處

16、理,使得眾多的用戶重復進行報文解 碼和質量控制工作。 資料管理和服務缺少統(tǒng)一規(guī)范資料管理和服務缺少統(tǒng)一規(guī)范 我省氣象資料的管理還沒有統(tǒng)一的規(guī)范,無論是在數據的收集、 加工處理,還是在數據本身的格式上都沒有形成統(tǒng)一的符合業(yè)務標 準的規(guī)范;在數據的服務上,既沒有統(tǒng)一的提供者,也沒有統(tǒng)一的 數據源,更沒有規(guī)范的支持用戶檢索獲取數據軟硬件環(huán)境。 信息資源的開發(fā)利用水平和共享程度低信息資源的開發(fā)利用水平和共享程度低 盡管隨著新的大氣探測技術和業(yè)務的發(fā)展,各類氣象信息資料 大量增加,但存在著條塊分割和數據壁壘的問題。由于歷史原因, 云南省局內已建立的各數據庫系統(tǒng)相對孤立,沒有共享功能,整體 性弱。各業(yè)務、

17、科研系統(tǒng)為了自身系統(tǒng)運行的需要,只好另行建立 基于本系統(tǒng)需求的資料庫,或從對應的數據庫中提取有關資料,保 存于本地,雖然這些資料庫中的大部分資料在其他數據庫中已經存 在,造成信息資源的嚴重浪費。目前,我局除實時氣象資料能夠實 現(xiàn)聯(lián)機調用外,大量的歷史資料及特種觀測信息檢索主要采用半人 工方式,缺乏聯(lián)機自動檢索和加工處理功能,自動加工處理能力明 顯不足,雖然已有部分資料在局域網內實現(xiàn)了共享,但其距離氣 象資料共享管理辦法的要求還有很大差距,共享服務能力較弱, 不能很好滿足行業(yè)及社會共享需求。 資料庫缺少面向業(yè)務應用的靈活的檢索接口資料庫缺少面向業(yè)務應用的靈活的檢索接口 一般而言,資料庫目前在檢索

18、功能基本上主要有聯(lián)機檢索和程 序調用檢索兩種方式:聯(lián)機檢索基本上局限于資料的瀏覽和下載, 程序調用檢索則必須在數據庫服務器上運行。 目前省局已建立的各數據庫在檢索功能大部分僅限于資料的瀏 覽和下載,基本沒有程序檢索功能,大量的應用都跑在數據庫服務 器上,勢必影響資料訪問效率,無論從數據庫安全,還是數據庫服 務器運行能力等方面考慮,都是不科學的。 由此造成各業(yè)務、科研系統(tǒng)為了自身系統(tǒng)運行的需要,必須另 行建立基于本系統(tǒng)需求的資料庫,雖然這些資料庫中的大部分資料 在公用數據庫中已經存在。 2.2 發(fā)展趨勢 信息技術是當代發(fā)展最快的技術之一,信息技術的飛速發(fā)展為 氣象信息系統(tǒng)發(fā)展提供了良好的發(fā)展機遇

19、和技術基礎。 數據庫管理技術數據庫管理技術 數據庫管理技術應用領域不斷拓寬,適合于因特網上各種應用 目的的管理技術將得到更進一步的發(fā)展,管理的數據類型多樣化, 開發(fā)工具更加豐富、智能化;多級管理技術、統(tǒng)一透明的應用界面 日趨成熟,檢索效率將進一步提高;并行數據管理技術更加成熟, 并行查詢算法更加先進;分布式數據庫管理功能日趨強化,數據的 一致性、整合性、安全性等更加完善;數據備份功能更加強化,把 數據和數據庫系統(tǒng)作為兩個獨立的資源,確保數據安全,建立一個 高效、合理和安全的數據備份機制,是當今各大數據庫開發(fā)商追逐 的方向。 數據倉庫和數據挖掘技術數據倉庫和數據挖掘技術 由傳統(tǒng)的數據倉庫向動態(tài)數

20、據倉庫發(fā)展。傳統(tǒng)的數據倉庫提供 的決策信息是戰(zhàn)略性的、長期的;動態(tài)數據倉庫是網絡經濟飛速發(fā) 展需求驅動的產物,主要用于經營性決策,其要求決策要快,以防 錯失良機,造成重大的經濟損失;數據挖掘技術是從大量的數據中 找出有價值的信息,供決策使用,使決策者或被服務對象從中收益。 隨著人工智能研究的發(fā)展,數據挖掘技術也將得到相應的快速發(fā)展。 存域網(存域網(sansan)和網絡附加存儲()和網絡附加存儲(nasnas)技術)技術 存儲越來越成為氣象資料共享的瓶頸和薄弱環(huán)節(jié),如何更好地 利用現(xiàn)有的網絡通信優(yōu)勢,實現(xiàn)現(xiàn)有及未來的更多的氣象數據的應 用,使現(xiàn)有氣象數據利用率和實時性得以大幅度提高,為精細化預

21、 報提供實時資料保障,更好地為氣象事業(yè)服務,是我省迫切需要解 決的問題。隨著網絡存儲技術的發(fā)展,近年來從應用為中心向以存 儲(數據)為中心的應用架構方向轉移,其特點為:大容量及優(yōu)異 的容量擴展性;高速的 i/o 性能;高可用性;易于實現(xiàn)多主機、多 os 共享存儲、多服務器集群高速、可靠的備份。存域網技術逐步走 向成熟,并將成為數據管理技術對多級存儲介質進行集中統(tǒng)一管理 的較好的運行平臺之一;網絡附加存儲技術性能不斷改進,并將與 san 共存,配置在同一個環(huán)境中,達到優(yōu)勢互補。 數字圖書館技術數字圖書館技術 數字圖書館技術的發(fā)展將為紙質歷史記錄的數字化(掃描、壓 縮成圖像文件) 、信息化(提取出

22、有結構的數據、存入數據庫)提供 技術方法。數字圖書館具有虛擬網絡特點,是一個超大規(guī)模、開放 性、分布式的數字信息資源網絡體系結構。能實現(xiàn)復雜信息的加工 存取和海量信息存貯的功能。網絡系統(tǒng)具有良好的兼容性、互操作 性、可擴充性,并具有智能化檢索功能,符合國際標準和規(guī)范。 信息共享技術信息共享技術 以滿足國家和社會公眾對氣象科學數據的共享需求為目的,依 托成熟的業(yè)務技術體系,以現(xiàn)有氣象數據資源為基礎,通過整合集 成,標準化和歸一化處理,形成一批以大氣圈層為核心,涵蓋氣候 系統(tǒng)范疇的數據集產品;采用大規(guī)模商用數據庫技術、層次化存儲 管理技術和 web 技術,建設體系基本完整、項目較為齊全、質量比 較

23、可靠的共享氣象資料數據庫和可視化、分布式的氣象資料共享網 絡服務平臺,構建覆蓋全省、網通行業(yè)、聯(lián)結全國的基于 internet 網絡的氣象科學數據共享服務平臺,為各方面用戶提供全方位、多 層次、網絡化和可視化的氣象基礎信息共享服務。 3 需求分析 3.1 氣象信息存儲需求 從中國局下載的數據量估算從中國局下載的數據量估算 中國局下發(fā)全球常規(guī)觀測資料,每天 105mb。 中國局下發(fā)數值預報產品資料 grib, mm5 資料(cn) ,每天約 210mb。 hlafs 資料(ch) ,每天約 45mb。 t213 資料(bj) ,每天 121mb。 歐洲中心資料(ec) ,每天 1.5mb。 日本

24、降水量資料(rj) ,每天 600kb。 德國降水量資料(ed) ,每天 2mb。 本省收集的數據量估算本省收集的數據量估算 氣象衛(wèi)星觀測資料: 接收風云靜止衛(wèi)星云圖每天約 3gb; 每天接收 27 張風云靜止云圖,共 2.9gb。其中正點接收全圓盤 圖 24 張,每張 110mb;半點(5:30、11:30、23:30)接收半圓盤 圖 3 張,每張 72mb。轉換格式文件每天 40mb; 風云極軌衛(wèi)星云圖約 450mb; 美國極軌衛(wèi)星云圖約 2500mb; eos 衛(wèi)星遙感資料約 2400mb; 本省六部多普勒雷達觀測資料: 6 個雷達站每天傳輸的雷達產品資料約 432mb:每次(約 6 分

25、 鐘 1 次)生成的 25 個雷達產品,一個站一次發(fā)送文件 300kb,一天 300*6*240=432mb; 6 個雷達站傳輸的雷達體掃文件(基數據)壓縮后為 480mb: 一個站一天 80mb,6 個站 80*6=480mb。 自動站資料: 目前包括每小時一次,每 10 分鐘一次的自動站報文,每天共約 3.5mb。以后將提高到每分鐘一次,每天共約 35mb。 本省常規(guī)地面高空觀測資料: 本省常規(guī)地面高空觀測資料及其加工產品,每天 11mb; 每月常規(guī)地面高空觀測資料報表文件為 150mb,每年 1.8gb; 本省高性能計算機數值預報產品,預計約 50 mb; 本省其它綜合觀測資料: 含閃電

26、定位、酸雨檢測、土壤水分監(jiān)測等等資料每天 10mb; 與外系統(tǒng)合作獲得的資料如水文資料、環(huán)境監(jiān)測資料、風能監(jiān) 測資料、國土資源資料等約每天 100mb; 資料匯總資料匯總 省局目前及未來 5 年的資料存儲量估算見下表: 目前資料量未來資料量 資料名稱日資料量 (mb) 年資料量 (gb) 日資料量 (mb) 年資料量 (gb) 風云靜止衛(wèi)星云圖31001131.531001131.5 風云極軌衛(wèi)星遙感 資料 450164900328 美國極軌衛(wèi)星遙感 資料 2500912.52500912.5 eos 衛(wèi)星遙感資料24008762400876 多普勒雷達資料1000365300005400 自

27、動站資料3.51.310.53.83 micaps 資料1024373.761024373.76 mm5 資料21076.6521076.65 hlafs 資料4516.4254516.425 t213 資料12144.16512144.165 歐洲中心資料1.50.551.50.55 日本降水量資料0.62.190.62.19 德國降水量資料20.7320.73 pcvsat 接收常規(guī)資 料 10538.32510538.325 本地加工常規(guī)資料114.015114.015 合計10973.64007.140430.69208.6 小結小結 云南省的氣象信息工作主要是面向實時業(yè)務及準實時業(yè)務

28、、 科研和服務,對氣象資料的應用及存儲需求涉及到所有的氣象觀測 資料及產品資料。長期以來,由于存儲能力的限制,省級存儲只能 在基本滿足業(yè)務需要的情況下選擇性的存儲,許多資料分散在各業(yè) 務單位?,F(xiàn)存數據量大約 5tb (包括將信息化的紙質資料、歸檔在 省氣象臺信息檔案科歷史資料、分散保存在各個業(yè)務單位的資料)。 考慮新的信息資料和新的業(yè)務應用的增加,現(xiàn)在年數據增量約為 6tb,估計 5 年后省級數據庫存儲共享系統(tǒng)保存的數據總量為 35tb,其中在線保存部分占 14tb,歸檔部分占 21tb。 部分珍貴資料需信息化。目前,許多珍貴的氣象觀測資料仍 以紙張的形式存放在氣象資料室,如序列完整、質量可靠

29、、應用廣 泛的太陽輻射和農業(yè)氣象報表資料以及數量眾多的溫度、濕度、風、 降水自記紙均未作數字化處理,不能利用計算機進行加工處理和服 務,需進行信息化。 正在建立與氣象相關的一些資料正式收集途徑。環(huán)境保護局 觀測資料、水文氣象觀測資料、農業(yè)等與氣象有關行業(yè)的觀測資料 目前尚無獲取的正式途徑,而氣象業(yè)務對這些資料的需求是不言而 喻的,所以要建立正式的收集途徑。 氣象業(yè)務未來發(fā)展對數據存儲和利用的要求很高,估計未來 年數據存儲量將成倍增長,因此,省級數據庫存儲共享系統(tǒng)應留 有足夠的存儲空間以滿足未來年的數據存儲需求。 3.2 氣象預報、服務業(yè)務發(fā)展的需求 省級氣象信息存儲共享系統(tǒng)是氣象基本業(yè)務體系的

30、重要組成部 分,是省級資料工作的核心業(yè)務系統(tǒng),本系統(tǒng)為基本氣象信息分析 預測系統(tǒng)提供基礎資料支撐,同時又是各種加工分析產品的省級匯 集地;對于氣象信息服務系統(tǒng),一方面,本系統(tǒng)為其提供基本氣象 資料并匯集其生成的各種氣象服務產品,另一方面,又對部門外部 非商業(yè)用戶提供氣象資料服務而成為氣象資料服務的主窗口,與其 他基本業(yè)務系統(tǒng)有著密切的聯(lián)系。 3.3 氣象信息資源開發(fā)利用的需求 氣象信息存儲共享系統(tǒng)收集省內觀測資料的主要數據源,統(tǒng)一 組織和管理云南省氣象局所收集的省內乃至全球范圍的觀測資料及 其分析加工產品。承擔云南省氣象局各業(yè)務系統(tǒng)、科研工作和管理 部門對氣象資料及其相關產品開發(fā)利用的聯(lián)機檢索

31、和調用。 3.4 經濟社會發(fā)展對氣象信息的需求 依托氣象信息綜合業(yè)務網向下級氣象部門分發(fā)各類資料產品, 同時向有關政府部門提供決策服務產品和基本氣象資料;通過因特 網向社會上的授權用戶提供基本氣象資料服務,從而實現(xiàn)氣象資料 多層次的共享。 3.5 系統(tǒng)功能與性能需求 3.5.1 系統(tǒng)功能需求 省級基本氣候資料存儲系統(tǒng)的主要目標是實現(xiàn)氣象信息的高效 管理和充分共享,高效規(guī)范的應用軟件是系統(tǒng)順利建成并充分發(fā)揮 效益的關鍵。系統(tǒng)對軟件的功能需求包括以下幾個部份。 資料收集需求資料收集需求 氣象業(yè)務的特點是既有實時性很強的中短期和短時天氣預報, 又有時間要求相對低的氣候業(yè)務、農氣業(yè)務和科研,不同的業(yè)務

32、性 質對資料的時效要求也會有所不同。因此氣象資料的獲取就有實時 和非實時之分,在資料的收集功能方面要考慮采用不同的手段對不 同類型的資料進行有效的收集。 實時資料的絕大部分都是實時產生、實時傳送、實時應用,所 以對這些資料的接收時效要求非常高,要求能夠隨時到達隨時接收, 將延遲時間降到最低。 省局氣象檔案館珍藏有大量的以紙張形式保存的歷史氣象資料, 它們對氣象業(yè)務和科研工作的發(fā)展具有重要的使用價值。需要將這 些非信息化的資料進行數字化處理,轉化為計算機可讀的信息化資 料,一方面服務于氣象業(yè)務科研工作,充分開發(fā)和利用這些數據資 源;另一方面拯救這些瀕臨丟失的寶貴資料。 數據加工處理需求數據加工處

33、理需求 數據的加工處理是存儲共享系統(tǒng)中極其重要的工作,通過加工 處理使各類氣象資料進行有效的分類檢測、形成格式化和標準化的 數據,為數據的入庫和管理乃至檢索應用打好基礎。 數據在進入存儲共享系統(tǒng)之前要進行相應的預加工處理,而預 加工處理的內容要視具體的資料而有所不同。 在存儲共享系統(tǒng)中,觀測資料的量相比其它資料而言并不大, 但對它的處理卻是最為復雜的。對觀測資料的預處理主要是指對從 通信線路上接收的資料(包括實時傳輸的報文和非實時傳輸的氣象 月報表文件)進行格式檢查,對那些格式有錯誤的報文和文件則要 根據一定的原則由程序自動進行糾正,而不能由程序糾正的有格式 錯誤的報文則應該剔除放入人工糾錯的

34、目錄,以保證在質量控制前 資料格式的正確性。 對產品資料,凡是以報文格式傳送的也都要進行基本的格式檢 測。為了應用的方便,對那些以分塊傳送的格點資料,例如數值預 報產品,則要進行多塊拼接,形成有效的區(qū)域、或半球、或全球產 品后再進入數據庫管理。其它以文件方式形成或傳送的產品資料, 要根據其具體格式進行適當的檢測與處理,尤其是文件首行的關鍵 信息需要進行檢測與確認。 對于特定的氣候資料、統(tǒng)計分析資料、特種觀測及其它科學實 驗資料等,也必須經過事先的加工處理或進行必要的格式轉換再進 入存儲系統(tǒng)。 元數據是數據管理的核心數據,它包括存儲系統(tǒng)中各數據庫子 庫、目錄文件、數據集、被遷移數據的信息描述以及

35、存在于本系統(tǒng) 之外的其它單位或載體的數據記錄的說明等,按照所制定的元數據 標準和元數據描述標準專門制作形成的元數據文件。存儲共享系統(tǒng) 中除了應具有完整的元數據集外,還應有相應的管理軟件,當管理 的數據發(fā)生變化時,元數據信息的生成與更新也隨之進行。 氣象數據種類的多樣化,也使得其格式多種多樣,為了使本系 統(tǒng)所管理的數據能夠在內容和格式上統(tǒng)一規(guī)范,則必須在資料入庫 前按照相應的數據格式標準,對經過預處理或質量控制后的資料再 進行格式轉換,以形成入庫前的標準數據格式。這樣才有利于數據 庫的統(tǒng)一管理和用戶使用數據的格式標準化。 數據存儲管理需求數據存儲管理需求 存儲共享系統(tǒng)的服務對象是基本氣象業(yè)務、科

36、研和對外數據共 享,主要解決公共氣象數據的存儲共享問題。這些數據包括各種探 測資料和業(yè)務分析加工預報產品。 對于那些特定業(yè)務系統(tǒng)的專用數據,或服務于特定業(yè)務系統(tǒng)的 專用數據庫不進入本系統(tǒng)管理,根據其專用的特性進行專門管理, 但基本的公用數據和服務產品則必須納入到本系統(tǒng)統(tǒng)一管理。 對資料的需求分析表明,不同種類的資料,用戶檢索需要的響 應時間及用戶檢索的頻度有很大差別,而不同需求的資料總量在數 量級上均超過 tb 量級,年數據增長量也超過 tb 量級。綜合考慮用 戶的需求和系統(tǒng)設備配置的性價比,存儲共享系統(tǒng)需采用多級存儲 的概念來進行管理。 對用戶而言,希望主要數據長期或永久保存在在線的存儲設備

37、 中,顯然這是不現(xiàn)實的。存儲共享系統(tǒng)可以通過多級分層管理,滿 足用戶對資料的檢索時效要求,這就需要合理規(guī)定各類數據在不同 存儲設備中的保存期限。在具體設計時,將視具體資料和磁盤空間 而定,其原則是必須滿足業(yè)務對資料使用的時間要求。 氣象數據種類的多樣性、格式的復雜性和應用的時效性,決定 了數據管理的復雜性。不同種類的資料,其檢索方式是不一樣的。 例如,對常規(guī)觀測資料,用戶需要提供關于要素、時間、空間、值 域等多項條件組合的檢索,顯然,對這類資料用數據庫方式管理較 為合適;而對數值分析和預報二維格點場資料以及圖形圖像資料, 用戶一般需要某時次的完整的場資料和圖形圖像文件,顯然,對這 類資料用文件

38、庫方式管理較為合適。 因此對數據的存儲管理將包括對數據庫的管理和對文件庫的管 理,并把它們很好地結合起來,實現(xiàn)對系統(tǒng)整體數據的集中統(tǒng)一管 理。 數據類型的不斷增加和數據量的快速增長是氣象資料的顯著特 點,這得益于現(xiàn)代觀(探)測技術的發(fā)展以及計算機技術的快速發(fā) 展,特別是數值預報模式分辨率的提高將會使產品數據成倍增長。 因此存儲共享系統(tǒng)不但要考慮現(xiàn)有數據的管理和使用,更要考慮未 來數據的增長趨勢,特別是要適應新的資料類型的增加。 與此同時,隨著氣象事業(yè)的發(fā)展,新的業(yè)務種類的增加也會對 數據的管理有新的需求。這就要求存儲共享系統(tǒng)具有良好的可擴充 性,預留足夠的擴展接口,這包括新種類資料的入庫、新的

39、檢索需 求、存儲空間的預留及可擴充性等因素,以適應新增數據和新的業(yè) 務需求。 數據維護需求數據維護需求 對于保存于在線設備中的數據,無論是采用數據庫管理還是采 用文件系統(tǒng)管理,總是要不斷地進行追加與更新,這是氣象數據的 應用特點所決定的。特別是對于實時資料,必須具有隨時處理、隨 時入庫、隨時更新的能力。 實時資料的更新一般是由運行的程序自動完成的,但如果資料 格式有變化或者有新的資料類型出現(xiàn),則原來的程序將不能正確處 理,必須對相應的程序進行修改才能保證數據的正確與完整。 對于非實時資料的追加,應有自動和人工兩種方式。對由實時 轉入非實時的數據采用自動方式,對那些分散的、通過加工收集的 零散數

40、據則采用人工輸入命令方式追加入庫。 為了保證有足夠的磁盤空間存儲最新的氣象數據,系統(tǒng)必須制 定定時清除庫中超出保存周期的數據的策略,清除策略要依據不同 類型數據保存周期的不同而有所不同。 數據的清除功能包括對數據庫中的數據、文件系統(tǒng)管理的數據 以及其它相關目錄的數據進行清除。除了程序定時自動清除外,系 統(tǒng)還應提供交互式人工指定清除功能,指定的內容包括日期、時間 段、資料內容等。 數據檢索需求數據檢索需求 數據的檢索對用戶來說應該是透明的,即無論用戶索要的資料 存放在何處、何種設備上,用戶都能通過同一界面獲得數據;實時 氣象資料和非實時氣象資料盡管在存儲和管理上有所區(qū)別,但對檢 索應用的用戶而言

41、,它們是透明的,即用戶檢索的界面是一致的, 檢索的資料不存在實時和非實時的差別。數據檢索應該提供以下三 種方式: 程序調用 程序調用是內部業(yè)務系統(tǒng)、服務系統(tǒng)乃至科研工作的主要數據 獲取方式,存儲共享系統(tǒng)中實時需求的所有數據都必須支持程序調 用方式,并且應提供標準的 c 語言接口。用戶通過程序調用可以獲 得本系統(tǒng)中的任意數據子集. 通過程序調用的資料檢索速度要求在秒鐘級。 終端檢索 通過主機終端或其它客戶終端實現(xiàn)聯(lián)機用戶的數據檢索,也是 數據應用的重要方式之一。終端檢索除了應具有程序調用的功能外, 還應具有一定的統(tǒng)計功能,在可視化終端上,用戶界面提供菜單操 作方式,并具有一定的圖表顯示功能。 w

42、eb 服務 外部用戶主要通過 web 服務器獲取本系統(tǒng)的有關資料。原則上 web 服務器應具有獲取存儲共享系統(tǒng)所有數據的功能,但對于具體 的數據或用戶則要視其安全級別和使用權限決定是否能夠獲取相應 的數據。一般來說,提供給 web 用戶的是那些可以實現(xiàn)共享的基本 數據和經過加工的產品數據。 在 web 界面中,用戶可以按照資料類別、日期及時段、地理范 圍及層次等檢索所選擇的資料,但所有選項均是以鼠標點擊的方式 實現(xiàn)。 為保證數據的安全性和規(guī)范管理,基于瀏覽器檢索的 web 服務 應建立完善的用戶管理系統(tǒng),實現(xiàn)用戶網上登記、身份確認、在線 資料下載成本支付等功能。 用戶管理與安全控制需求用戶管理

43、與安全控制需求 系統(tǒng)對每一個數據用戶都要進行身份注冊與登記,并根據用戶 性質劃分不同的等級和相應的數據訪問權限。一旦有用戶進行非法 操作和訪問時,系統(tǒng)要根據安全策略進行控制或拒絕。 系統(tǒng)要對用戶的所有行為,包括檢索數據的類型、時間和空間 范圍、訪問數據的頻率等進行相應的統(tǒng)計,以便掌握系統(tǒng)的數據應 用情況,或通過相應的分析及時調整數據訪問策略。 存儲共享系統(tǒng)必須制定有效的措施來保證數據的安全性與完整 性,數據的安全保護一方面是要防止高級別的、保密性強的數據不 隨意被其它用戶訪問;另一方面是要防止不測用戶對數據的惡意破 壞。 系統(tǒng)監(jiān)控需求系統(tǒng)監(jiān)控需求 數據流的狀態(tài)反映了系統(tǒng)運行的情況,特別是系統(tǒng)異

44、常情況的 反映。因此在具有實時性很強的存儲共享系統(tǒng)中對數據流的實時監(jiān) 控就顯得十分重要。監(jiān)控的對象主要是數據收集、加工處理及檢索 應用等環(huán)節(jié),因此在系統(tǒng)設計時要考慮在各個重要運行環(huán)節(jié)設置觀 察點,并且能夠隨時獲取該點的運行狀態(tài)參數,當某一個環(huán)節(jié)出現(xiàn) 異常時,也能夠及時發(fā)出警告信息通知系統(tǒng)管理人員。 數據存儲管理狀態(tài)包括有關數據管理軟件的運行狀態(tài)、系統(tǒng)中 數據遷移的情況、數據存儲類型及總量、數據應用情況等。對這些 狀態(tài)進行有效監(jiān)控將有助于從宏觀上對系統(tǒng)進行掌握和控制,從而 保證系統(tǒng)運行的有效性。 存儲共享系統(tǒng)的設備包括高性能服務器、存儲設備、存域網設 備、存域網管理服務器、以及有關的網絡及接口設

45、備等。監(jiān)控的內 容包括服務器 cpu 的使用率、運行進程的數量、存儲設備的空間使 用率、網絡端口的流量、設備本身運行的狀況等。 存儲共享系統(tǒng)應該有專門的系統(tǒng)監(jiān)控平臺,在監(jiān)控平臺上有比 較完善的監(jiān)控信息顯示功能,既有系統(tǒng)正常運行的狀態(tài)顯示,也有 系統(tǒng)異常狀態(tài)的顯示,如果出現(xiàn)較為嚴重的故障還應發(fā)出警告信息。 監(jiān)控畫面應該清晰明了,能夠反映系統(tǒng)整體運行情況,也可以 通過子畫面切換查看各分系統(tǒng)的運行狀況。 系統(tǒng)監(jiān)控信息平臺除主要提供給系統(tǒng)管理員使用,還可提供給 授權的特殊用戶使用。因此,該平臺應具有多用戶共享功能。 3.5.2 系統(tǒng)性能需求 整體性能需求整體性能需求 云南省級存儲共享系統(tǒng)在整體性能上必

46、須滿足省級氣象資料存 儲不斷增長的需求,保證基礎網絡和存儲系統(tǒng)的安全、可靠、實時、 高效。該系統(tǒng)應當具有開放性和標準性,整體設計符合國際慣例與 標準。系統(tǒng)總體設計具有可靠性和先進性,選用成熟可靠的先進技 術和產品組織系統(tǒng), 充分考慮系統(tǒng)的容錯功能,充分滿足省級氣象 資料業(yè)務實時不間斷的工作,及時為業(yè)務服務提供穩(wěn)定支持。 該系統(tǒng)應當采用最新主流技術和產品,符合技術發(fā)展方向,具 有較長的技術周期。采用模塊化結構化設計,使系統(tǒng)的規(guī)模擴充, 功能增加更易實現(xiàn),提高整個系統(tǒng)的可擴充性;同時,應盡可能降 低存儲系統(tǒng)運行維護平均成本,達到易于使用,易于管理與維護的 目的。該系統(tǒng)應具有集中管理的能力,可方便地

47、實現(xiàn)系統(tǒng)狀態(tài)監(jiān)控 和系統(tǒng)配置。設備和系統(tǒng)應具有良好的故障診斷功能,便于及時發(fā) 現(xiàn)故障,排除故障,縮短故障恢復時間。整體系統(tǒng)應具有安全保障 體系,確保系統(tǒng)的安全和保密。 可靠性可靠性 氣象業(yè)務系統(tǒng)(特別是天氣預報系統(tǒng)和數值天氣預報系統(tǒng))具 有很強的時效性要求和不可間斷性要求,這一切要求存儲共享系統(tǒng) 的運行平臺滿足 24 小時7 天的運行要求,故障率應小于 0.01%, 單次故障時間(包括發(fā)現(xiàn)故障、處理故障和系統(tǒng)恢復時間)應小于 1 小時。同時應當確保在任何情況下數據不被丟失。 安全性安全性 安全性包括物理安全性、系統(tǒng)安全性、用戶安全性、文件安全 性和入侵安全性等幾個方面。 物理安全性指網絡服務器

48、不能放在公共場所,應放在一個專用 機房里;系統(tǒng)安全性指操作系統(tǒng)和核心服務器系統(tǒng)支持安全性部署 策略,具有模塊化的認證機制;用戶安全性,方便用戶對資源的訪 問,防止用戶訪問與其工作無關的資源;文件安全性實現(xiàn)控制對用 戶訪問的同時,保護文件的安全性;入侵安全性實現(xiàn)對系統(tǒng)內部的 漏洞檢測與對外來攻擊的實時偵測,同時系統(tǒng)在可能的情況下能夠 支持實時病毒檢測和查殺。 穩(wěn)定性穩(wěn)定性 系統(tǒng)應具備應對突發(fā)的應用峰值事件的能力,不因這些突發(fā)事 件的出現(xiàn)而導致系統(tǒng)性能的下降。 系統(tǒng)性能穩(wěn)定性包括系統(tǒng)運行平臺性能的穩(wěn)定性,存儲設備性 能的穩(wěn)定性、網絡及傳輸通道(包括設備)性能的穩(wěn)定性等。 標準性標準性 為保證存儲共

49、享系統(tǒng)的可維護性、可移植性、可兼容性和可擴 展性等,系統(tǒng)在各方面應盡可能采用當前業(yè)界流行的、技術先進并 具有較長生命周期的國際工業(yè)標準。 通用性通用性 考慮到省一級的數據存儲共享系統(tǒng)面對的是多種系統(tǒng)平臺的各 種復雜的應用,存儲共享系統(tǒng)應當具備能夠有效地支持這種異構處 理環(huán)境的能力,因此系統(tǒng)應當盡可能選用通用的技術。 可擴展性可擴展性 為適應氣象業(yè)務工作不斷發(fā)展所帶來的新的要求,保護現(xiàn)有的 投資,存儲共享系統(tǒng)應當具備良好的可擴展能力;其中包括性能的 可擴展能力和規(guī)模的可擴展能力。 性能的可擴展能力指系統(tǒng)各部分設備的性能具備擴展能力,主 要包括系統(tǒng)運行平臺、存儲設備及網絡傳輸設備等。 規(guī)模的可擴展

50、能力指存儲共享系統(tǒng)在存儲容量、管理范圍等方 面具備擴展能力。 開放性開放性 存儲共享系統(tǒng)面向局大院所有合法用戶,系統(tǒng)應對分布于不同 物理地址、不同局域網、不同網段的用戶提供資料的透明檢索。 系統(tǒng)及數據的可管理性系統(tǒng)及數據的可管理性 系統(tǒng)的可管理性指系統(tǒng)(包括管理人員)能隨時掌握信息的存 儲位置,存儲系統(tǒng)和子系統(tǒng)的狀態(tài),按照需要進行信息存儲容量的 再分配,并通過性能的監(jiān)視、分析和調整實現(xiàn)包括信息存儲系統(tǒng)、 服務器和應用在內的整個系統(tǒng)性能優(yōu)化。 數據的可管理性指存儲共享系統(tǒng)在數據的收集、加工處理、質 量控制、入庫、被使用、遷移/回遷以及備份等所有環(huán)節(jié)上對數據具 有完備的管理能力和相應的策略,這是確

51、保數據完整性、可用性、 安全性等要求的必要條件。 系統(tǒng)高效性系統(tǒng)高效性 存儲設備應具備高性能、高容量,響應及時、快速,以保證系 統(tǒng)檢索、管理、擴充的高效性。 檢索性能要求檢索性能要求 省級數據存儲共享系統(tǒng)應提供較強的檢索能力,使得授權用戶 能在任何時間、任何情況下快速、便捷地檢索到其所需要的數據。 省、市州氣象臺承擔著各種氣象預報服務的職責,目前及未來一段 時間內高峰時段對省級數據庫存儲共享系統(tǒng)進行檢索操作的并發(fā)用 戶數會有上百個,在一定的數據塊大小范圍內,多用戶訪問在線設 備的響應時間應為秒鐘級,訪問近線設備的響應時間為分鐘級,訪 問離線設備的響應時間為十分鐘至幾十分鐘。系統(tǒng)應支持多用戶的

52、并發(fā)程序檢索,并滿足數據的讀一致性、完整性和檢索的準確性。 資料傳輸性能要求資料傳輸性能要求 為充分滿足并發(fā)用戶在檢索相應時間上的要求,云南省級數據 庫存儲共享系統(tǒng)在資料的傳輸方面應當具備以下能力: 基于內部基于內部 i/o 的資料傳輸性能的資料傳輸性能 系統(tǒng)內部及各設備間的傳輸能力應不低于千兆級。 基于網絡基于網絡 i/o 的資料傳輸性能的資料傳輸性能 存儲共享系統(tǒng)服務器與網絡設備間應實現(xiàn)千兆網連接。 4 建設內容 4.1 網絡存儲 建設省級的網絡氣象信息存儲系統(tǒng),形成所有氣象資料的在線 存儲,實現(xiàn)從以應用為中心的現(xiàn)有業(yè)務架構轉向以數據為中心的共 享數據平臺架構,并且隨著業(yè)務技術的發(fā)展,將作

53、為氣象信息管理 系統(tǒng)對象的氣象信息,包括實時和歷史兩大部分,進行統(tǒng)一管理、 有機結合,形成我省氣象數據的核心結點。為保證系統(tǒng)的整體可用 性,該系統(tǒng)還具有異地數據災難備份功能。 在正常情況下,所有業(yè)務都在主數據中心運行,其相應的數據 信息也保存在主數據中心的存儲系統(tǒng)上,這些重要的信息數據通過 系統(tǒng)平臺實時地拷貝到備份數據中心存儲系統(tǒng)上。 一旦主數據中心 的存儲設備或其它相關的連接設備發(fā)生故障,并導致業(yè)務應用無法 正常訪問主數據中心的數據時,業(yè)務主機可以通過備份鏈路直接訪 問備份數據中心的數據,從而保證了氣象數據關鍵業(yè)務的連續(xù)運行。 4.2 數據庫 使用數據庫技術以及新興的數據倉庫技術,在云南省氣

54、象光纖 寬帶專線網上,統(tǒng)一規(guī)劃、逐步建設省、州(市)二級分布式氣象信 息數據庫。實現(xiàn)實時信息的處理、存儲、共享及各類產品信息的存 儲共享,歷史資料信息的共享,設計和建立數據共享平臺,完善數 據庫與各種應用系統(tǒng)的接口。以分級訪問數據庫和網頁、文件傳輸 下載等方式提供資料訪問和服務,實現(xiàn)氣候資料、氣象探測資料在 全省氣象臺站的實時共享。 4.3 信息共享平臺 建設云南省的氣象信息共享平臺,實現(xiàn)全社會的氣象信息共享; 建成現(xiàn)代化的氣象信息服務系統(tǒng);連通相關行業(yè)的信息中心,實現(xiàn) 行業(yè)間的信息交換與信息共享。建設氣象信息存儲的業(yè)務備份(異 地數據災難備份系統(tǒng)) ,提高全省氣象信息數據的安全可靠。 4.3

55、 異地數據災難備份 由于受建設規(guī)模的制約,本次建設中我省主要實現(xiàn)對數據的異 地災難備份。建設與省級氣象信息存儲共享系統(tǒng)功能與能力相一致 的備份子系統(tǒng),實現(xiàn)將省級氣象信息存儲共享系統(tǒng)的信息實時備份 到異地災難備份中心,保證信息的安全。 5 信息存儲共享的主流技術 5.1 網絡存儲 5.1.1 現(xiàn)有信息網絡存儲的主流技術 目前,市場上較為流行的海量存儲系統(tǒng)成熟產品有以下幾種: das 系統(tǒng)(direct attached storage:直接連接存儲系統(tǒng)) nas 系統(tǒng)(network attached storage:網絡連接存儲系統(tǒng)) san 系統(tǒng)(storage area network:存

56、儲區(qū)域網絡系統(tǒng)) das 存儲系統(tǒng)存儲系統(tǒng) das 系統(tǒng)是采用獨立的外接式設備(如 raid, jbod 等)并 通過標準接口技術(如 scsi、ide、sata 接口)與服務器建立連 接,實現(xiàn)存儲設備與服務器相互獨立的要求,磁盤的容量也得到相 應的擴展。實現(xiàn)多個服務器共享相同的存儲,為服務器集群創(chuàng)造了 條件。但服務器仍是訪問的瓶頸,當很多用戶對同一個存儲器同時 進行大量數據訪問時,服務器的性能和數據存取時間都受到一定程 度的影響。 但是隨著信息化建設對存儲需求的日益提高和數據量的日益增 多,das 采用的分布式計算、分布式存儲的缺點也日益暴露出來, 主要表現(xiàn)在以下幾個方面: 1 1)可擴展性

57、差)可擴展性差。當有新的業(yè)務需求時,如果服務器與存儲設備 直接連接的方式不能滿足,只能為新增的服務器單獨配置存儲設備, 造成大量的重復投資,同時也增加了單點失效結點,增加了更多的 信息孤島。 2 2)存儲資源利用率低)存儲資源利用率低。在das方式的存儲中,如果a服務器需要 b服務器的數據資源時,必需將b服務器的das存儲設備中的數據復制 相同的一份到a服務器,使得存儲空間無法充分利用,存在巨大的浪 費。這樣,由于不同的應用服務器所訪問的存儲數據量是不一致的, 不同業(yè)務的發(fā)展狀況也決定了存儲數據量的不斷變化。因此,出現(xiàn) 了各應用系統(tǒng)存儲空間局部短缺和局部浪費的不均衡狀況。 3 3)可管理性差)

58、可管理性差。das方式下數據的存儲依然是分散的,不同的 應用各有一套存儲設備,形成多個信息孤島和失效結點,造成備份 困難,管理分散繁瑣。 4 4)異構化嚴重)異構化嚴重。das 方式使得企業(yè)在不同階段采購了不同型號 不同廠商的存儲設備,設備之間異構化現(xiàn)象嚴重,維護成本居高不 下。 nasnas 存儲系統(tǒng)存儲系統(tǒng) nas系統(tǒng)是一種把數據看作一種網絡資源,由nas設備的專用 系統(tǒng)(相應的器件和專用操作系統(tǒng))來管理。與das相比,nas設 備直接連接到網絡上,而不是服務器上。其優(yōu)點是實現(xiàn)了即插即用 (plug and play)和nas設備的集中管理,并支持多種應用平臺。同 時,由于nas設備的固件

59、和瘦客戶操作系統(tǒng)分擔了服務器的部分i/o 操作,服務器的訪問性能得以提高。但它也有著其固有的缺點,主 要表現(xiàn)如下: 1) 受局域網性能所限,數據傳輸速率不高。由于nas直接連接 在局域網絡上,在服務器進行數據訪問時,占用了大量的網絡帶寬, 容易造成局域網上的擁塞,因此,在數據訪量大的局域網中不宜采 用。 2) 只提供文件級存儲空間,不能滿足數據庫的要求。在nas存 儲設備上,服務器通過cifs等文件協(xié)議對磁盤進行訪問,這樣,對 采用大量數據庫管理軟件的氣象部門來說,nas設備難以滿足要求。 由于nas設備的以上缺點,決定了nas存儲設備只適應于小型網 絡,只限于信息量不大、實時性不強的單位應用

60、,對于氣象局這樣 數據流量較大的網絡而言,nas難以擔此重任,訪問nas設備所占 用的大量網絡帶寬必然影響服務器的效率和網絡帶寬,不宜在大型 數據共享平臺中使用。 sansan存儲系統(tǒng)存儲系統(tǒng) san 存儲系統(tǒng)是存儲系統(tǒng)模型的最新發(fā)展。即不像 das 直接 連接到服務器上,也不像 nas 連接到網絡上,而是所有的存儲設備 相互連接,形成獨立于服務器的網絡(存儲區(qū)域網絡 san) 。它有 以下特點: 以太網交換機/光纖交換機 san 是一個開放的系統(tǒng)。也就是說,san 支持異構操作系統(tǒng) 平臺,即支持各種各樣的主流操作系統(tǒng)和服務器,它是一個非常健 壯的基礎設施,適應于新的變化的數據模式和無法預料的

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論