信息數(shù)據(jù)整合方案

1、信息資源整合方案一、總體思路全面梳理市局各氣象業(yè)務(wù)系統(tǒng)的硬件架構(gòu)、數(shù)據(jù)流程、存儲(chǔ)方式 等，根據(jù)梳理結(jié)果制定現(xiàn)有服務(wù)器、存儲(chǔ)資源整合方案，將滿足虛擬 化整合技術(shù)要求的服務(wù)器及存儲(chǔ)設(shè)備，整合到資源池。實(shí)現(xiàn)信息資源 的有效共享和關(guān)鍵數(shù)據(jù)的多業(yè)務(wù)復(fù)用，最終形成統(tǒng)一的全局?jǐn)?shù)據(jù)視圖， 促進(jìn)氣象信息數(shù)據(jù)的優(yōu)化管理。二、信息資源整合方案利用今年新購(gòu)置的Isilon高性能存儲(chǔ)設(shè)備對(duì)市局?jǐn)?shù)據(jù)存儲(chǔ)業(yè)務(wù)進(jìn) 行初步整合。充分發(fā)揮Isilon設(shè)備可擴(kuò)展容量大、擴(kuò)容速度快、數(shù)據(jù) 處理性能高的優(yōu)勢(shì)，利用可靠性高、可維護(hù)性高、空間利用率高的集 中式NAS存儲(chǔ)逐步替代市局原有松散的存儲(chǔ)設(shè)備，并接管其上的數(shù) 據(jù)存儲(chǔ)業(yè)務(wù)，達(dá)到信息資

2、源整合的目的。目前新購(gòu)置的Isilon高性能存儲(chǔ)設(shè)備為裸空間99TB的3節(jié)點(diǎn)集 群，每個(gè)節(jié)點(diǎn)配置24GB內(nèi)存，33TB數(shù)據(jù)盤(pán)，800GB SSD緩存盤(pán)。按 照其實(shí)際可用空間80T估算，預(yù)計(jì)可對(duì)市局以下存儲(chǔ)業(yè)務(wù)進(jìn)行整合。1、支撐預(yù)報(bào)一體化平臺(tái)高性能存儲(chǔ)需求。購(gòu)置Isilon高性能存儲(chǔ)設(shè)備的最初目的是為了解決預(yù)報(bào)一體 化平臺(tái)數(shù)據(jù)訪問(wèn)I/O瓶頸，滿足數(shù)據(jù)產(chǎn)品共享存儲(chǔ)高效訪問(wèn)的需 求。因此，Isilon首要目的是支撐預(yù)報(bào)一體化平臺(tái)高效運(yùn)行。按 照項(xiàng)目開(kāi)發(fā)組提供的需求，Isilon將分別為數(shù)據(jù)庫(kù)提供12TB數(shù)據(jù) 存儲(chǔ)，為虛擬化服務(wù)器提供10TB本地存儲(chǔ)，為數(shù)據(jù)加工產(chǎn)品提 供一年38T的共享存儲(chǔ)空間，合計(jì)

3、60TB。未來(lái)根據(jù)存儲(chǔ)實(shí)際使 用情況，可考慮對(duì)Isilon空間進(jìn)行擴(kuò)容。2、接管氣象臺(tái)WRF模式存儲(chǔ)管理業(yè)務(wù)。由于氣象臺(tái)7TB的模式數(shù)據(jù)二級(jí)存儲(chǔ)已經(jīng)應(yīng)用多年，設(shè)備老 化，性能較低，存在一定的不穩(wěn)定因素，擬在Isilon設(shè)備中分配 10TB空間，用以替代氣象臺(tái)現(xiàn)有7TB二級(jí)存儲(chǔ)，逐步接管氣象 臺(tái)WRF模式存儲(chǔ)管理業(yè)務(wù)。3、其他數(shù)據(jù)存儲(chǔ)業(yè)務(wù)整合預(yù)報(bào)一體化平臺(tái)的主要存儲(chǔ)遷移到Isilon設(shè)備上之后，將為 服務(wù)器虛擬化平臺(tái)釋放掉大約20T存儲(chǔ)空間。山洪項(xiàng)目采購(gòu)設(shè)備 到位之后，預(yù)報(bào)一體化平臺(tái)的數(shù)據(jù)庫(kù)和產(chǎn)品加工等密集計(jì)算節(jié)點(diǎn) 將遷移至物理資源池，服務(wù)器虛擬化平臺(tái)的計(jì)算資源將得到有效 釋放，為更多低開(kāi)銷型應(yīng)

4、用、業(yè)務(wù)遷移至虛擬化平臺(tái)提供足夠資 源。根據(jù)實(shí)際業(yè)務(wù)需求，考慮在NAS設(shè)備上分配2TB空間用于存 放CMACast短期廣播數(shù)據(jù)，對(duì)局域網(wǎng)用戶提供全開(kāi)放訪問(wèn)，同時(shí) 將MICAPS3數(shù)據(jù)處理服務(wù)由物理服務(wù)器遷移至虛擬化平臺(tái)， MICAPS3實(shí)時(shí)歷史數(shù)據(jù)逐步遷移至虛擬化平臺(tái)，其它探測(cè)資料的 歷史歸檔數(shù)據(jù)也逐步遷移到存儲(chǔ)資源池進(jìn)行統(tǒng)一管理。原存儲(chǔ)設(shè) 備釋放出空間后，將根據(jù)設(shè)備可用性實(shí)際情況，加入到虛擬化平 臺(tái)進(jìn)行異構(gòu)管理。三、整合步驟與安排1、需求調(diào)研（2016年12月）分別對(duì)預(yù)報(bào)一體化平臺(tái)項(xiàng)目開(kāi)發(fā)組、氣象臺(tái)、科研所等單位進(jìn)行 調(diào)研，了解存儲(chǔ)資源實(shí)際需求，理清各業(yè)務(wù)系統(tǒng)之間的關(guān)聯(lián)關(guān)系，確 定存儲(chǔ)資源分

5、配、遷移、整合、回收方案。2、數(shù)據(jù)遷移（2016年12月-2017年3月）根據(jù)調(diào)研結(jié)果，對(duì)現(xiàn)有存儲(chǔ)資源池進(jìn)行資源分配劃分，根據(jù)業(yè)務(wù) 實(shí)際情況開(kāi)展數(shù)據(jù)遷移工作。將預(yù)報(bào)一體化平臺(tái)主要存儲(chǔ)需求遷移 到Isilon設(shè)備中，將數(shù)據(jù)庫(kù)、產(chǎn)品加工等密集計(jì)算節(jié)點(diǎn)遷移到物理資 源池。請(qǐng)科研所將WRF模式回傳到氣象臺(tái)二級(jí)存儲(chǔ)的同時(shí)，分發(fā)到 NAS存儲(chǔ)資源池。將CMACast衛(wèi)星廣播數(shù)據(jù)分發(fā)到NAS存儲(chǔ)設(shè)備， 并制定清理策略。探測(cè)資料直接分發(fā)到存儲(chǔ)資源池進(jìn)行歸檔，MICAPS、 探測(cè)資料等歷史數(shù)據(jù)往存儲(chǔ)資源池遷移。3、業(yè)務(wù)遷移整合（2017年3月-2017年5月）調(diào)整數(shù)據(jù)處理流程，需要業(yè)務(wù)并行運(yùn)行的，開(kāi)展3個(gè)月的業(yè)務(wù)并 行期，業(yè)務(wù)并行期間，將原數(shù)據(jù)存儲(chǔ)上的業(yè)務(wù)應(yīng)用系統(tǒng)遷移整合到存 儲(chǔ)資源池。依賴于原模式二級(jí)存儲(chǔ)的業(yè)務(wù)應(yīng)用逐步調(diào)整到NAS存儲(chǔ) 資源池。MICAPS3處理程序遷移到虛擬化平臺(tái)，以NAS共享的CMACast 數(shù)據(jù)做為數(shù)據(jù)源進(jìn)行MICAPS3產(chǎn)品加工處理，產(chǎn)品直接落地到存儲(chǔ) 資源池進(jìn)行歸檔管理。4、原有資源回收（2017