數(shù)據(jù)挖掘與倉(cāng)庫(kù)在天氣預(yù)報(bào)中的決策作用

1、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘 黃瑋婷數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在天氣預(yù)報(bào)決策中的應(yīng)用【摘要】數(shù)據(jù)倉(cāng)庫(kù)技術(shù)將原始數(shù)據(jù)轉(zhuǎn)換為便于分析的數(shù)據(jù)，并增強(qiáng)了管理和使用歷史數(shù)據(jù)及特種觀測(cè)數(shù)據(jù)的能力，能夠幫助預(yù)報(bào)員快速積累經(jīng)驗(yàn)，OLAP使預(yù)報(bào)員的分析突破了過(guò)去固有框架的限制。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)作為數(shù)據(jù)庫(kù)技術(shù)新的應(yīng)用，經(jīng)過(guò)數(shù)年的發(fā)展已經(jīng)逐漸完善，將數(shù)據(jù)倉(cāng)庫(kù)技術(shù)應(yīng)用于天氣預(yù)報(bào)中將會(huì)給氣象服務(wù)保障能力的提高產(chǎn)生巨大的推動(dòng)作用?！娟P(guān)鍵詞】數(shù)據(jù)倉(cāng)庫(kù)；聯(lián)機(jī)分析；數(shù)據(jù)挖掘引言目前國(guó)內(nèi)外的預(yù)報(bào)員工作平臺(tái)在天氣預(yù)報(bào)決策支持方面主要是以提供數(shù)據(jù)查詢(xún)?yōu)橹?，講預(yù)報(bào)員常用的預(yù)報(bào)圖表在計(jì)算機(jī)中集成地顯示出來(lái)，同時(shí)也提供了一些初步的數(shù)據(jù)分析功能。但只有這些功能是不夠的

2、。首先，現(xiàn)代化天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)提供的很多數(shù)據(jù)，預(yù)報(bào)員基本沒(méi)有使用經(jīng)驗(yàn)，同時(shí)在業(yè)務(wù)工作中預(yù)報(bào)員每次匯總分析數(shù)據(jù)和會(huì)商的時(shí)間很有限，使預(yù)報(bào)員既無(wú)時(shí)間也無(wú)經(jīng)驗(yàn)充分利用現(xiàn)代化系統(tǒng)提供的豐富數(shù)據(jù)。其次，各臺(tái)站在長(zhǎng)期的業(yè)務(wù)工作中積累了大量歷史數(shù)據(jù)，要有效利用這些數(shù)據(jù)，就必須增加管理和分析歷史數(shù)據(jù)的工具。最后，隨著探測(cè)技術(shù)的迅速發(fā)展，中尺度觀測(cè)網(wǎng)和特種觀測(cè)網(wǎng)的建立，增加了許多非常規(guī)的氣象數(shù)據(jù)，要有效地管理和應(yīng)用這些數(shù)據(jù)，也必須增加管理和分析這些特種數(shù)據(jù)的能力。因此，將數(shù)據(jù)倉(cāng)庫(kù)作為新一代預(yù)報(bào)決策系統(tǒng)的核心技術(shù)是值得嘗試的。一、 數(shù)據(jù)挖掘與數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的基本概念數(shù)據(jù)挖掘DM(Data Mining)是指從數(shù)據(jù)中

3、識(shí)別出潛在有用的、先前未知的、最終可理解的模式的非平凡過(guò)程。數(shù)據(jù)挖掘提取的知識(shí)可以表示成概念、規(guī)律、模式等形式。其挖掘?qū)ο蟛粌H可以是數(shù)據(jù)庫(kù)，也可以是文件系統(tǒng)或組織在一起的數(shù)據(jù)集合，更主要的是數(shù)據(jù)倉(cāng)庫(kù)。簡(jiǎn)單的說(shuō)數(shù)據(jù)挖掘是提取或“挖掘”知識(shí)。 數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）的概念是有Inmon首先提出來(lái)的，講數(shù)據(jù)倉(cāng)庫(kù)定義為一個(gè)支持管理決策過(guò)程的、面向主題的、集成的、穩(wěn)定的、隨時(shí)間而變的數(shù)據(jù)集合。二、氣象數(shù)據(jù)與天氣預(yù)報(bào)業(yè)務(wù)特點(diǎn)（1）表數(shù)據(jù)種類(lèi)多:各級(jí)氣象臺(tái)站日常收集的資料通常包括各種模式物理量場(chǎng)的空間格點(diǎn)資料、氣象觀測(cè)站點(diǎn)的地面(及海上)和高空實(shí)況資料以及衛(wèi)星、雷達(dá)的探測(cè)資料,以及本地的氣

4、象觀探測(cè)資料,還有根據(jù)任務(wù)需要而實(shí)施的其他氣象觀探測(cè)資料,每種氣象數(shù)據(jù)資料又包含若干類(lèi)數(shù)據(jù),因此數(shù)據(jù)種類(lèi)非常多.（2）數(shù)據(jù)量大:各級(jí)氣象臺(tái)站收集的各種資料每天都有若干時(shí)次,收集、存儲(chǔ)的數(shù)據(jù)資料數(shù)據(jù)總量達(dá)上百兆,總的資料甚至可達(dá)GB量級(jí).（3）預(yù)報(bào)業(yè)務(wù)范圍廣:從大類(lèi)分為統(tǒng)計(jì)預(yù)報(bào)和數(shù)值預(yù)報(bào),而每類(lèi)又包括若干種天氣預(yù)報(bào)項(xiàng)目如天氣形勢(shì)、物理量場(chǎng)、天氣現(xiàn)象、氣象要素等,決定了天氣預(yù)報(bào)所需的氣象數(shù)據(jù)多（4）氣象數(shù)據(jù)需要精心篩選:氣象臺(tái)站每天收集的數(shù)據(jù)很多,但并不是所有的數(shù)據(jù)對(duì)所有的氣象臺(tái)站進(jìn)行的氣象預(yù)報(bào)業(yè)務(wù)都有用,所需要的數(shù)據(jù)也可能很多也可能很少,這需要?dú)庀箢A(yù)報(bào)專(zhuān)家根據(jù)預(yù)報(bào)業(yè)務(wù)項(xiàng)目的需要對(duì)氣象數(shù)據(jù)資料進(jìn)行

5、嚴(yán)格的精心篩選.(5）數(shù)據(jù)的深加工應(yīng)用:通過(guò)人工或儀器觀探測(cè)到的數(shù)據(jù)不足以充分反映大氣系統(tǒng)的物理結(jié)構(gòu)和物理場(chǎng),只有經(jīng)過(guò)對(duì)數(shù)據(jù)進(jìn)行更深層次的篩選及計(jì)算,才能計(jì)算出大氣的運(yùn)動(dòng)矢量、垂直運(yùn)動(dòng)、梯度、渦度、散度等物理量,從而更好地認(rèn)識(shí)大氣演變的規(guī)律及模式,進(jìn)而提高氣象預(yù)報(bào)的能力與水平.(6）數(shù)據(jù)可挖掘性高:由于氣象預(yù)報(bào)理論和氣象預(yù)報(bào)模型在某種程度上還具有一定的不完善性與不完備性,在天氣預(yù)報(bào)實(shí)踐中常常表現(xiàn)為預(yù)報(bào)準(zhǔn)確率低以及一些氣象預(yù)報(bào)業(yè)務(wù)無(wú)法高效率地展開(kāi),隨著數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在天氣預(yù)報(bào)業(yè)務(wù)的應(yīng)用,數(shù)據(jù)挖掘技術(shù)必將挖掘出大量的相關(guān)數(shù)據(jù),促進(jìn)氣象預(yù)報(bào)理論和氣象預(yù)報(bào)模型進(jìn)一步完善與完備.(7）數(shù)據(jù)更新要求低:天氣

6、系統(tǒng)的演變有一定規(guī)律,而且氣候變遷是一個(gè)漫長(zhǎng)的過(guò)程,從而決定了數(shù)據(jù)不需要頻繁更新三、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)要點(diǎn)1確定主題與開(kāi)發(fā)模式數(shù)據(jù)倉(cāng)庫(kù)是面向主題的,數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)首先要考慮所面向的主題,主題要針對(duì)具體的預(yù)報(bào)項(xiàng)目確定,主題的確定將決定數(shù)據(jù)倉(cāng)庫(kù)的規(guī)模和數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)組織模型及使用效果.對(duì)于基層氣象臺(tái)站技術(shù)力量相對(duì)薄弱,可以考慮從日常常規(guī)預(yù)報(bào)項(xiàng)目入手,在使用數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中再逐步擴(kuò)大與完善數(shù)據(jù)倉(cāng)庫(kù).由于各氣象臺(tái)站以前和現(xiàn)在使用的數(shù)據(jù)庫(kù)系統(tǒng)都是關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng),從節(jié)省成本和降低復(fù)雜性角度出發(fā),在建立數(shù)據(jù)倉(cāng)庫(kù)時(shí)建議考慮建立關(guān)系型數(shù)據(jù)倉(cāng)庫(kù).如果僅僅從氣象數(shù)據(jù)特點(diǎn)角度考慮,建立多維數(shù)據(jù)倉(cāng)庫(kù)也是一種理想的選擇.在天氣預(yù)

7、報(bào)中,有些不同的預(yù)報(bào)項(xiàng)目需要的數(shù)據(jù)是相同的,建立統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù),采用“自頂向下”的開(kāi)發(fā)模式,可以避免數(shù)據(jù)的重復(fù)處理.“自頂向下”模式中數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系是單方面的,數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)流向數(shù)據(jù)集市.2數(shù)據(jù)建模數(shù)據(jù)建模在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中,為了讓不具備數(shù)據(jù)庫(kù)專(zhuān)業(yè)知識(shí)的預(yù)報(bào)專(zhuān)家容易理解和使用數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)模式,必須設(shè)計(jì)成簡(jiǎn)單的數(shù)據(jù)模式.氣象業(yè)務(wù)數(shù)據(jù)根據(jù)觀探測(cè)手段和業(yè)務(wù)需要分成地面觀測(cè)數(shù)據(jù)、高空探測(cè)數(shù)據(jù)、雷達(dá)探測(cè)數(shù)據(jù)、數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)等,每一類(lèi)數(shù)據(jù)又可再具體細(xì)分,從氣象業(yè)務(wù)數(shù)據(jù)角度分析數(shù)據(jù)模型設(shè)計(jì)成雪片模型是比較合適的.在下面建立了雪片模型(見(jiàn)圖3,由于數(shù)值預(yù)報(bào)產(chǎn)品涉及物理量及其產(chǎn)品類(lèi)型都很多,數(shù)據(jù)量

8、很大,鑒于篇幅原因模型中略去不再給出),這里建立的數(shù)據(jù)模型是根據(jù)陸基氣象臺(tái)站的預(yù)報(bào)業(yè)務(wù)需要的數(shù)據(jù)模型,對(duì)于島嶼氣象臺(tái)站由于預(yù)報(bào)任務(wù)以及海洋性氣候與陸地氣候的差異,收集的數(shù)據(jù)稍有差異,但不影響數(shù)據(jù)建模的選擇.這里建立的數(shù)據(jù)模型沒(méi)有對(duì)數(shù)據(jù)進(jìn)行綜合與加工處理,這樣的數(shù)據(jù)大部分還不能在氣象預(yù)報(bào)中直接應(yīng)用,必須進(jìn)行進(jìn)一步的計(jì)算加工處理.在氣象預(yù)報(bào)中即使對(duì)很簡(jiǎn)單的氣象要素進(jìn)行預(yù)報(bào)也要涉及到大量的數(shù)據(jù),并且即使對(duì)同一種氣象要素進(jìn)行預(yù)報(bào),不同的地區(qū)、不同的站點(diǎn)所要考慮的因素往往差距也很大,所以各基層臺(tái)站需要針對(duì)特定業(yè)務(wù)在全局統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上建立自己的數(shù)據(jù)集市,數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)流向數(shù)據(jù)集市,在數(shù)據(jù)集市從數(shù)據(jù)倉(cāng)

9、庫(kù)提取數(shù)據(jù)時(shí)根據(jù)氣象預(yù)報(bào)需求對(duì)數(shù)據(jù)進(jìn)行計(jì)算、綜合等加工處理。3數(shù)據(jù)抽取為保證數(shù)據(jù)的一致性,需要整理和檢驗(yàn)裝載到數(shù)據(jù)倉(cāng)庫(kù)前的源數(shù)據(jù),清除有問(wèn)題的數(shù)據(jù),以保證進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是一致的,同時(shí)還要對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行一致性維護(hù).建立數(shù)據(jù)倉(cāng)庫(kù)的大部分工作量實(shí)際上主要集中在數(shù)據(jù)的抽取與裝載過(guò)程中.由于各種原因氣象資料中肯定存在著一定的錯(cuò)誤數(shù)據(jù),這些數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前必須予以處理.設(shè)計(jì)源數(shù)據(jù)的抽取規(guī)則或模型時(shí)要慎重考慮,要根據(jù)不同情況、不同原因做出相應(yīng)處理.4數(shù)據(jù)集市數(shù)據(jù)集市是用于特殊目的的數(shù)據(jù)倉(cāng)庫(kù)部分,在氣象預(yù)報(bào)中根據(jù)特定的項(xiàng)目建立數(shù)據(jù)集市,重點(diǎn)從氣象預(yù)報(bào)角度出發(fā)考慮所需要的數(shù)據(jù)以及對(duì)數(shù)據(jù)的加工處理

10、.例如以某站風(fēng)的預(yù)報(bào)建立一個(gè)數(shù)據(jù)集市,需要考慮氣壓、過(guò)去3h變壓、氣溫、空中風(fēng)、逆溫等項(xiàng)要素?cái)?shù)據(jù),在偏東大風(fēng)預(yù)報(bào)中,偏東大風(fēng)主要是因?yàn)槔淇諝鈴钠珫|路經(jīng)南下造成的,預(yù)報(bào)思路冷空氣強(qiáng)度及空中低層風(fēng)出發(fā),對(duì)氣壓、空中風(fēng)、氣溫等項(xiàng)要素?cái)?shù)據(jù)進(jìn)行處理建立數(shù)據(jù)集市,經(jīng)進(jìn)一步計(jì)算處理后建立預(yù)報(bào)方程為,、是本站氣壓與上游站臺(tái)站間的氣壓差,是上游某兩站之間的氣壓差,是本站過(guò)去3h變壓與上游過(guò)去3h正變壓中心的變壓差,是與上游某站的氣溫差,、是本站及上游某站1000m以下低層空中風(fēng)平均風(fēng)速,是本站低層逆溫層溫差,為24h日本FSAS預(yù)報(bào)傳真圖冷高壓中心與本站氣壓梯度.因?yàn)椴煌呐_(tái)站具有自己的地方性特點(diǎn),影響風(fēng)的各要

11、素?fù)裰攸c(diǎn)考慮也不同,這就要各臺(tái)站在設(shè)計(jì)時(shí)要考慮選取哪些臺(tái)站,對(duì)氣壓、氣溫以及空中風(fēng)哪個(gè)作為側(cè)重點(diǎn)進(jìn)行計(jì)算.對(duì)于其他的氣象預(yù)報(bào)業(yè)務(wù)項(xiàng)目同樣存在這樣的問(wèn)題,這些問(wèn)題的良好解決必須由氣象預(yù)報(bào)專(zhuān)家來(lái)完成.5.聯(lián)機(jī)分析處理(OLAP)和數(shù)據(jù)挖掘(DM)聯(lián)機(jī)分析處理(OLAP:OnLineAnalyticalProcessing)能提供數(shù)據(jù)的多維概念視圖,多維數(shù)據(jù)集為維度表中的數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)中的事實(shí)數(shù)據(jù)表建立模型,數(shù)據(jù)的多維實(shí)體使最終用戶(hù)能多角度、多側(cè)面、多層次地考察數(shù)據(jù),從而深入地理解包含在數(shù)據(jù)中的信息及其內(nèi)涵.數(shù)據(jù)挖掘(DM:DataMining)是對(duì)數(shù)據(jù)庫(kù)中大量的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化

12、處理,從中提取輔助決策的關(guān)鍵性數(shù)據(jù).在氣象預(yù)報(bào)中由于各種原因,預(yù)報(bào)員對(duì)于某些天氣現(xiàn)象的產(chǎn)生機(jī)制以及影響因素認(rèn)識(shí)不夠充分,通過(guò)聯(lián)機(jī)分析和數(shù)據(jù)挖掘可以將這些不為預(yù)報(bào)員事先知道的信息和知識(shí)提取出來(lái),并從預(yù)報(bào)理論與模型出發(fā),結(jié)合觀測(cè)記錄設(shè)定預(yù)報(bào)因子,對(duì)數(shù)據(jù)進(jìn)行綜合、計(jì)算等處理,利用聯(lián)機(jī)分析處理對(duì)相關(guān)數(shù)據(jù)進(jìn)行分析考察,找出預(yù)報(bào)指標(biāo),完善預(yù)報(bào)理論與模型和預(yù)報(bào)手段,提高預(yù)報(bào)準(zhǔn)確率.仍以前面提到的某站偏東大風(fēng)的預(yù)報(bào)為例,對(duì)數(shù)據(jù)進(jìn)行聯(lián)機(jī)分析和挖掘處理發(fā)現(xiàn)了x3,x7,x9因子,重新建立預(yù)報(bào)方程,偏東大風(fēng)分級(jí)預(yù)報(bào)分別準(zhǔn)確率提高到了86.98%,88.79%,84.67%(風(fēng)速12m/s,812m/s,<8m/s),提高了預(yù)報(bào)準(zhǔn)確率.聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘常用方法很多,應(yīng)注意到結(jié)合氣象預(yù)報(bào)業(yè)務(wù)特點(diǎn)有選擇的利用。四、總結(jié)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)本質(zhì)是一種人工智能技術(shù)，它根據(jù)預(yù)報(bào)專(zhuān)家在業(yè)務(wù)中使用的各個(gè)概念把原始數(shù)據(jù)轉(zhuǎn)換為分析型數(shù)據(jù)，DM技術(shù)自動(dòng)在分析性數(shù)據(jù)集上尋找各種概念之間的關(guān)系，幫助預(yù)報(bào)員快熟累計(jì)經(jīng)驗(yàn)，OLAP使預(yù)報(bào)員的分析突破了過(guò)去固有的框架的限制，元數(shù)據(jù)庫(kù)增強(qiáng)了系統(tǒng)管理歷史和特種觀測(cè)數(shù)據(jù)的能力。氣象數(shù)據(jù)挖掘能彌補(bǔ)氣象模式預(yù)報(bào)對(duì)計(jì)算資源依賴(lài)的不足,能發(fā)現(xiàn)隱藏在復(fù)雜氣象數(shù)據(jù)中的隱含知識(shí),是提高預(yù)報(bào)預(yù)測(cè)準(zhǔn)確率和災(zāi)害天氣預(yù)警能力有益補(bǔ)充