數(shù)據(jù)倉(cāng)庫(kù)在商情價(jià)格系統(tǒng)中的應(yīng)用

1、數(shù)據(jù)倉(cāng)庫(kù)在商情價(jià)格系統(tǒng)中的應(yīng)用周小軍（中石化長(zhǎng)嶺分公司信息技術(shù)管理中心）摘要：通過(guò)使用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)作為基礎(chǔ)，使用在線分析處理技術(shù)作為應(yīng)用，為用戶提供油品各時(shí)間段平均價(jià)格查詢，輔助商業(yè)人士對(duì)油品價(jià)格進(jìn)行分析預(yù)測(cè)，為油品的生產(chǎn)銷(xiāo)售提供決策支持。主題詞: ADO ADOMD ASP1 數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介數(shù)據(jù)倉(cāng)庫(kù)作為決策支持系統(tǒng)的基礎(chǔ)，具有面向主題、集成、非易失且隨時(shí)間變化的特點(diǎn)。決策支持系統(tǒng)以在線分析處理和數(shù)據(jù)采掘方式從數(shù)據(jù)倉(cāng)庫(kù)獲取數(shù)據(jù)進(jìn)行決策分析和發(fā)現(xiàn)知識(shí)。傳統(tǒng)的事務(wù)型系統(tǒng)是處理公司日常的數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)是針對(duì)數(shù)據(jù)模型中的主題領(lǐng)域的業(yè)務(wù)，例如：顧客、產(chǎn)品、活動(dòng)。數(shù)據(jù)倉(cāng)庫(kù)的集成性是指當(dāng)數(shù)據(jù)由多個(gè)事務(wù)型系統(tǒng)

2、裝入數(shù)據(jù)倉(cāng)庫(kù)時(shí)，要采用抽取、清除、轉(zhuǎn)換等方法來(lái)消除應(yīng)用中的不一致性。例如，應(yīng)在數(shù)據(jù)倉(cāng)庫(kù)中統(tǒng)一編碼。此外，它的非易失性是指數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通過(guò)事務(wù)型數(shù)據(jù)進(jìn)行聚集，不通過(guò)自身數(shù)據(jù)進(jìn)行更新。最后，數(shù)據(jù)隨時(shí)間變化的特性表現(xiàn)在：數(shù)據(jù)倉(cāng)庫(kù)中保存的是長(zhǎng)期的若干年的歷史數(shù)據(jù)，而事務(wù)型系統(tǒng)中保存的一般是一年以內(nèi)的數(shù)據(jù)。事務(wù)型系統(tǒng)含有某一時(shí)刻的精確數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)則是一系列事務(wù)數(shù)據(jù)生成的復(fù)雜的快照。事務(wù)數(shù)據(jù)的結(jié)構(gòu)不一定包含年、月、日等時(shí)間元素，而數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)總是包含時(shí)間元素。2 需求概述商情信息在煉化企業(yè)進(jìn)行市場(chǎng)決策和生產(chǎn)安排中起著至關(guān)重要的作用，分析人員根據(jù)產(chǎn)品當(dāng)前價(jià)格與過(guò)去某一時(shí)間段的平均價(jià)格作比較

3、，來(lái)預(yù)測(cè)未來(lái)價(jià)格。具體來(lái)說(shuō)，分析人員需要對(duì)比產(chǎn)品上周均價(jià)、本周均價(jià)和最近三天的價(jià)格，還要對(duì)比上月均價(jià)、本月均價(jià)和最近一個(gè)月的價(jià)格，以及查看油品每月均價(jià)、上年均價(jià)和本年均價(jià)。基于這樣的需求，我使用數(shù)據(jù)倉(cāng)庫(kù)和在線分析處理技術(shù)，對(duì)事務(wù)數(shù)據(jù)進(jìn)行高粒度的聚合，實(shí)現(xiàn)了均價(jià)查詢。3 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)與組織數(shù)據(jù)倉(cāng)庫(kù)在設(shè)計(jì)階段應(yīng)明確其主題，主題概括了一個(gè)分析領(lǐng)域，具體來(lái)說(shuō)就是決策所要解決的問(wèn)題，而且主題必須建立在事務(wù)型數(shù)據(jù)之上，否則設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)將沒(méi)有數(shù)據(jù)源用作存儲(chǔ)。商情價(jià)格系統(tǒng)的主題就是油品在某一天的價(jià)格，具體包括：原油在某一天的國(guó)際市場(chǎng)價(jià)格和相應(yīng)的完稅價(jià)，油品在某一天的出廠價(jià)格，油品在某一天的市場(chǎng)價(jià)格和相應(yīng)的完

4、稅價(jià)。在確定主題后需要設(shè)計(jì)數(shù)據(jù)粒度和數(shù)據(jù)分割。粒度是指數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)存儲(chǔ)時(shí)的細(xì)化或綜合程度的級(jí)別，它不但決定了存放數(shù)據(jù)量的大小，同時(shí)也影響數(shù)據(jù)倉(cāng)庫(kù)所能響應(yīng)的查詢數(shù)量。細(xì)化程度越低，粒度級(jí)就越大，只要少量的字節(jié)和索引就可以存放數(shù)據(jù)，但是，由于細(xì)化程度低，所能回答查詢的能力就會(huì)降低。所以，幾乎每個(gè)機(jī)構(gòu)都采用多粒度級(jí)而非單一粒度級(jí)，多重粒度級(jí)既能減少存儲(chǔ)，又能有效地回答任何能夠回答的問(wèn)題。商情價(jià)格系統(tǒng)的粒度級(jí)包括事務(wù)型細(xì)節(jié)數(shù)據(jù)（即油品在某一天的價(jià)格）和高粒度聚合型數(shù)據(jù)（即油品在某周、某月及某年的平均價(jià)格）。收稿日期：2010-01-04作者簡(jiǎn)介：周小軍，1996年畢業(yè)于大連理工大學(xué)計(jì)算機(jī)科學(xué)與工程專業(yè)

5、，工程師，現(xiàn)從事網(wǎng)頁(yè)制作，ERP開(kāi)發(fā)工作。數(shù)據(jù)分割是指把數(shù)據(jù)分散到較小的物理單元中去，使得它們能被獨(dú)立地處理的數(shù)據(jù)組織方式。較小的物理單元能為操作者在管理數(shù)據(jù)時(shí)提供更大的靈活性，例如更易重構(gòu)索引、更易監(jiān)控等。由于數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)總是包含時(shí)間元素，所以按日期進(jìn)行分割成為一種必然選擇。分割可以在系統(tǒng)層次和應(yīng)用層次上進(jìn)行，系統(tǒng)層次是指某些數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)和操作系統(tǒng)能夠提供數(shù)據(jù)分割功能，應(yīng)用層次是指通過(guò)應(yīng)用程序代碼完成數(shù)據(jù)分割功能，它的特點(diǎn)是能從一個(gè)數(shù)據(jù)處理集合轉(zhuǎn)移到另一個(gè)數(shù)據(jù)處理集合而沒(méi)有數(shù)據(jù)損失。商情價(jià)格系統(tǒng)使用月份作為標(biāo)準(zhǔn)在應(yīng)用層次分割數(shù)據(jù)。 在確定了以上問(wèn)題后，需要根據(jù)主題設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)，一般采用星

6、型模型和雪花模型設(shè)計(jì)其數(shù)據(jù)模型，原則是保證數(shù)據(jù)倉(cāng)庫(kù)的規(guī)范化和事實(shí)維度間的必要聯(lián)系。商情價(jià)格系統(tǒng)使用SQL SERVER Analysis Manager集成環(huán)境建立了shsq多維數(shù)據(jù)集，它以每日價(jià)格表作為事實(shí)表，以產(chǎn)品表、廠家表、地區(qū)表、價(jià)格類(lèi)型表、計(jì)量單位表和時(shí)間表作為維度表，圖1是相應(yīng)的星型模型。圖1 相應(yīng)的星型模型圖在確定數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)后，要制定數(shù)據(jù)抽取方案，具體包括：各主題所在的數(shù)據(jù)源，數(shù)據(jù)源種類(lèi)（如數(shù)據(jù)庫(kù)、文本文件等），是否需要進(jìn)行清理、轉(zhuǎn)換、組織加工，數(shù)據(jù)轉(zhuǎn)換成怎樣的統(tǒng)一中間格式，裝載到數(shù)據(jù)倉(cāng)庫(kù)的哪個(gè)立方體中，多長(zhǎng)時(shí)間對(duì)數(shù)據(jù)源進(jìn)行一次抽取，多長(zhǎng)時(shí)間對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行一次更新等。商情價(jià)格系

7、統(tǒng)采用相同的頻率（即每30分鐘）對(duì)數(shù)據(jù)源進(jìn)行抽取和對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行更新。4 在線分析處理應(yīng)用設(shè)計(jì)在數(shù)據(jù)倉(cāng)庫(kù)建立后，還要在此基礎(chǔ)上建立應(yīng)用，才能使用其中的數(shù)據(jù)進(jìn)行分析決策。在線分析處理應(yīng)用就是這樣一種應(yīng)用，它通過(guò)OLAP服務(wù)訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)，微軟公司的SQL SERVER所包含的Analysis Server就提供了這種服務(wù)。在具體實(shí)現(xiàn)中，商情價(jià)格系統(tǒng)使用Visual Basic集成開(kāi)發(fā)環(huán)境建立了CubeData組件，它封裝了調(diào)用ADOMD組件、通過(guò)OLAP服務(wù)訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的邏輯，使得系統(tǒng)運(yùn)行效率大幅度提高，圖2是此組件的UML類(lèi)圖，其中Display方式的功能是直接將多維數(shù)據(jù)集通過(guò)WEB方式發(fā)送到客

8、戶端瀏覽器。圖2 CubeData組件的UML類(lèi)圖 圖3是查詢條件為20091207這一天時(shí)，得到的國(guó)際原油本周、上周均價(jià)和最近3天價(jià)格及漲跌、最近1天完稅價(jià)格。 圖4是查詢條件為2009年時(shí)，得到的國(guó)際原油2009年每月均價(jià)、2008年均價(jià)和2009年均價(jià)。圖3 查詢條件為2009年12月7日一天的國(guó)際原油各類(lèi)數(shù)據(jù)圖4 查詢條件為2009年國(guó)際原油各類(lèi)數(shù)據(jù)5 系統(tǒng)工作流程當(dāng)用戶請(qǐng)求一個(gè)ASP頁(yè)面時(shí)，IIS服務(wù)器響應(yīng)HTTP請(qǐng)求，調(diào)用ASP引擎，解釋被請(qǐng)求文件。當(dāng)遇到任何與ActiveX Scripting兼容的腳本（如VBScript和JScript）時(shí)，ASP引擎調(diào)用相應(yīng)的腳本引擎進(jìn)行處理

9、。若腳本中含有訪問(wèn)數(shù)據(jù)庫(kù)的請(qǐng)求，就通過(guò)OLE DB與后臺(tái)數(shù)據(jù)庫(kù)相連，由數(shù)據(jù)庫(kù)訪問(wèn)組件ADO執(zhí)行訪庫(kù)操作。類(lèi)似地，若腳本中含有訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的請(qǐng)求，就通過(guò)OLAP服務(wù)器與后臺(tái)數(shù)據(jù)倉(cāng)庫(kù)相連，由數(shù)據(jù)倉(cāng)庫(kù)訪問(wèn)組件ADOMD執(zhí)行訪庫(kù)操作。ASP腳本在服務(wù)器端解釋執(zhí)行，它根據(jù)訪問(wèn)的結(jié)果集自動(dòng)生成符合HTML語(yǔ)言的頁(yè)面，去響應(yīng)用戶的請(qǐng)求。所有相關(guān)的發(fā)布工作由IIS服務(wù)器負(fù)責(zé)。在后臺(tái)通過(guò)定時(shí)調(diào)度執(zhí)行讀取數(shù)據(jù)庫(kù)變化數(shù)據(jù)的作業(yè)，使得數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)得到更新。圖5是商情價(jià)格系統(tǒng)從后臺(tái)數(shù)據(jù)庫(kù)抽取數(shù)據(jù)更新數(shù)據(jù)倉(cāng)庫(kù)，應(yīng)用層使用數(shù)據(jù)存取組件訪問(wèn)數(shù)據(jù)的工作流程圖，是典型的基于WEB的三層架構(gòu)。圖5 應(yīng)用層使用數(shù)據(jù)存取組件訪問(wèn)數(shù)據(jù)

10、的工作流程圖6 技術(shù)特點(diǎn)與分析在商情價(jià)格系統(tǒng)中使用了以下關(guān)鍵技術(shù)： Microsoft Active Server Pages（ASP）：ASP是一種開(kāi)放的，可以將HTML，腳本及可重用的ActiveX Server組件結(jié)合在一起，以建立高效的動(dòng)態(tài)的基于WEB的應(yīng)用程序環(huán)境。Microsoft ActiveX Data Objects （ADO）：ASP支持ActiveX Server組件的使用，ActiveX Server組件通過(guò)組件對(duì)象模型(COM)為ASP提供了可編程的接口，其中組件之一ADO提供了與數(shù)據(jù)庫(kù)相連的機(jī)制。使用ADO對(duì)象可以建立和管理數(shù)據(jù)庫(kù)的連接，從數(shù)據(jù)庫(kù)服務(wù)器提取數(shù)據(jù)，執(zhí)行

11、更新，刪除添加數(shù)據(jù)的操作。ADO建立在微軟新的數(shù)據(jù)庫(kù)API，即OLE DB之上，OLE DB再通過(guò)ODBC引擎與數(shù)據(jù)庫(kù)交互。在本系統(tǒng)中通過(guò)使用ADO API，來(lái)取得日常事務(wù)型數(shù)據(jù)。Microsoft ActiveX Data Objects（Multidimensional）（ADO MD）： ADOMD組件通過(guò)組件對(duì)象模型（COM）為ASP提供了可編程的接口，它是ADO在多維數(shù)據(jù)模型下的擴(kuò)展。ADOMD通過(guò)OLAP服務(wù)訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)獲得多維數(shù)據(jù)集。在本系統(tǒng)中通過(guò)使用ADOMD API，來(lái)取得高粒度聚合型數(shù)據(jù)。 COM組件對(duì)象模型： COM組件是遵循COM規(guī)范編寫(xiě)、以Win32動(dòng)態(tài)鏈接庫(kù)或可執(zhí)行文件的形式發(fā)布的二進(jìn)制代碼