油田數(shù)據(jù)融合關(guān)鍵技術(shù)研究

1、油田數(shù)據(jù)交融關(guān)鍵技術(shù)研究摘要對于油田信息化建立而言，建立一個高度共享、界面友好、高效運行的數(shù)據(jù)交融平臺有著重要而深遠(yuǎn)的現(xiàn)實意義。經(jīng)過深化調(diào)研和分析，該文結(jié)合國內(nèi)外數(shù)據(jù)中心建立的理論經(jīng)歷歸納總結(jié)了影響數(shù)據(jù)交融平臺建立成敗的五大關(guān)鍵技術(shù)因素。并在此根底上，提出了以虛擬數(shù)據(jù)倉庫為核心的油田數(shù)據(jù)中心系統(tǒng)架構(gòu)及關(guān)鍵技術(shù)道路。關(guān)鍵詞虛擬數(shù)據(jù)倉庫；數(shù)據(jù)中心；聯(lián)邦；信息門戶；元數(shù)據(jù)1引言隨著信息技術(shù)的飛速開展，國內(nèi)外各大石油公司的競爭已經(jīng)表如今信息技術(shù)應(yīng)用的競爭，都在設(shè)法借助信息技術(shù)的力量，尋找新的增長點，從石油天然氣行業(yè)的上、中、下游陸續(xù)建立了各類信息系統(tǒng)，歷經(jīng)數(shù)十年，投資數(shù)十億美金不等。另一方面，國內(nèi)大多

2、數(shù)油氣田，現(xiàn)有的信息系統(tǒng)多為自主開發(fā)和部分引進(jìn)系統(tǒng)。已經(jīng)完成的各類專業(yè)應(yīng)用軟件、專業(yè)數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫等分別建立在不同的平臺上，數(shù)據(jù)源各異，信息標(biāo)準(zhǔn)不一、互相獨立，信息來源渠道分散并分別集中在不同的層次，互相間難以實現(xiàn)不同層次信息交換；這些系統(tǒng)不僅各自獨立，分散，甚至存在某些數(shù)據(jù)重復(fù)建立的情況，數(shù)據(jù)冗余嚴(yán)重，同一份數(shù)據(jù)重復(fù)出如今多個應(yīng)用系統(tǒng)中，存在數(shù)據(jù)不一致的風(fēng)險。數(shù)據(jù)中心數(shù)據(jù)交融平臺通過將油田各應(yīng)用系統(tǒng)有機(jī)集成和業(yè)務(wù)重組，最終構(gòu)建一個統(tǒng)一的、標(biāo)準(zhǔn)的、集成的、可以包容各業(yè)務(wù)流程的數(shù)據(jù)中心體系架構(gòu)和數(shù)據(jù)交換和共享平臺，支持分散的、松藕合的分布式應(yīng)用集成。大大地防止油田在信息系統(tǒng)方面重復(fù)建立，重

3、復(fù)投資，為油田節(jié)省大量的資金。然而，各大油田對數(shù)據(jù)交融平臺建立目的和建立內(nèi)容的理解各不一樣。所采用的技術(shù)也是五花八門，這樣實現(xiàn)的數(shù)據(jù)中心往往運行效率不高、對原有系統(tǒng)改動大有的甚至直接放棄原系統(tǒng)、難于推廣，這勢必會嚴(yán)重影響數(shù)據(jù)中心的全局應(yīng)用。在本文中我們試圖通過分析影響數(shù)據(jù)中心建立的假設(shè)干關(guān)鍵技術(shù)因素及解決方案，得到一個具有普遍意義的、先進(jìn)、高效的數(shù)據(jù)交融平臺架構(gòu)。2關(guān)鍵技術(shù)因素分析2.1如何有效整合大量異構(gòu)、異平臺數(shù)據(jù)源隨著油田信息化建立的深化進(jìn)展，大量的信息系統(tǒng)被開發(fā)并投入運行，由此而產(chǎn)生出了大量的同構(gòu)異數(shù)據(jù)庫、異構(gòu)異平臺的不同數(shù)據(jù)源，在這些數(shù)據(jù)源中有些是構(gòu)造化的、有些那么是文檔、曲線數(shù)據(jù)等

4、非構(gòu)造化數(shù)據(jù)，還包括a、erp、紙制文檔等一大批數(shù)據(jù)源。如不能有效整合和管理這些數(shù)據(jù)，將很容易造成數(shù)據(jù)遺失和管理混亂。然而，如何有效整合如此龐大、復(fù)雜的數(shù)據(jù)源呢？是將所有數(shù)據(jù)集中到一個大庫中統(tǒng)一管理？還是采用分布式技術(shù)建立統(tǒng)一訪問平臺？如何在各數(shù)據(jù)源的根底上實現(xiàn)綜合、分析、挖掘？這些問題都將成為油田數(shù)據(jù)中心建立所面臨的難題。2.2如何為用戶提供統(tǒng)一的登錄及平安可靠的數(shù)據(jù)訪問平臺油田數(shù)據(jù)中心建立用戶提供統(tǒng)一的登錄及平安訪問的目的是為理解決以下幾大問題：1各系統(tǒng)之間互不兼容，數(shù)據(jù)信息不能共享。2用戶使用不同系統(tǒng)時，需要在不同系統(tǒng)中不停登錄切換，效率低下。3管理人員需要記憶一大堆的用戶名和密碼。4不

5、同系統(tǒng)需要很多不同專業(yè)的人員更新維護(hù)，維護(hù)本錢很高。針對上述問題，目前行業(yè)內(nèi)提出了很多解決方案，但是在施行中如何選擇最優(yōu)的方案以解決面臨的諸多難點問題：1如何解決靈敏性適應(yīng)性差，花費大量時間建立的信息系統(tǒng)不能適應(yīng)需求的變化，一旦需求改變，就將不斷修改程序甚至全部重建，增加時間和資金投入的問題。2如何建立起全局的平安訪問目錄，為用戶提供靈敏、方便、平安的數(shù)據(jù)效勞。3如何有效集成大量圖形、圖表工具，為不同角色、管理級別的用戶提供直觀、靈敏的查詢界面。4個性化效勞問題，即為用戶定制訪問首頁及訪問內(nèi)容。2.3如何有效管理元數(shù)據(jù)元數(shù)據(jù)的定義一般泛稱為：dataabutdata管理數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)的詳細(xì)

6、定義和應(yīng)用隨學(xué)科不同和應(yīng)用領(lǐng)域不同而異。在石油領(lǐng)域，元數(shù)據(jù)是描繪一個詳細(xì)的油田數(shù)據(jù)庫數(shù)據(jù)資源對象數(shù)據(jù)集或數(shù)據(jù)，并能對這個對象進(jìn)展定位管理，且有助于它的發(fā)現(xiàn)與獲取的數(shù)據(jù)。從元數(shù)據(jù)的定義可以看出，所謂元數(shù)據(jù)就是要定義一種管理數(shù)據(jù)的格式或數(shù)據(jù)字典，與此同時數(shù)據(jù)之間的關(guān)聯(lián)也應(yīng)定義在元數(shù)據(jù)中。然而在詳細(xì)施行中卻存在著一系列難點問題需要解決，例如：1在石油領(lǐng)域里需要定義怎樣的數(shù)據(jù)格式？2元數(shù)據(jù)的規(guī)模有多大？3如何將元數(shù)據(jù)的定義與數(shù)據(jù)源進(jìn)展抽娶過濾、轉(zhuǎn)換、映射關(guān)聯(lián)在一起，從而實現(xiàn)元數(shù)據(jù)定義的自動化？4如何為元數(shù)據(jù)管理提供完好易用的操作界面甚至是圖形化的界面？2.4如何充分利用企業(yè)現(xiàn)有硬、軟件資源及網(wǎng)絡(luò)資源企

7、業(yè)現(xiàn)有效勞器、網(wǎng)絡(luò)資源往往得不到充分的利用，如何高效的組織企業(yè)現(xiàn)有硬、軟件環(huán)境為消費應(yīng)用效勞，這也是數(shù)據(jù)中心建立中急需解決的一大問題。施行中可能遇到的難點問題包括：1如何評估企業(yè)現(xiàn)有硬件、網(wǎng)絡(luò)資源的使用效率？2如何根據(jù)數(shù)據(jù)中心運行需求來優(yōu)化配置企業(yè)現(xiàn)有資源？3網(wǎng)絡(luò)及硬件設(shè)備管理標(biāo)準(zhǔn)。2.5如何從海量數(shù)據(jù)中整理、挖掘出有價值的數(shù)據(jù)倉庫模型建立面向主題的數(shù)據(jù)倉庫首先面臨的問題就是如何區(qū)分決策關(guān)鍵數(shù)據(jù)。其次是主題分類的問題，不同的專業(yè)需要不同的決策數(shù)據(jù)，需要建立不同的數(shù)據(jù)倉庫模型，這一點不同于研究院現(xiàn)有的數(shù)模和建模，需要在龐雜的業(yè)務(wù)數(shù)據(jù)中不斷挖掘出新的、不同規(guī)模的主題和倉庫模型，并為這些主題建立起專

8、業(yè)分類以方便管理，隨著應(yīng)用的深化可以被開掘出來的主題會越來越多、越來越細(xì)。最后，怎樣把這樣大量的數(shù)據(jù)轉(zhuǎn)換成可靠的、商用的信息以便于決策支持的問題也是數(shù)據(jù)倉庫建立中必需要解決。3數(shù)據(jù)整合平臺的總體技術(shù)架構(gòu)設(shè)計3.1數(shù)據(jù)交融平臺系統(tǒng)設(shè)計思想通過上述關(guān)鍵技術(shù)因素分析，我們明確了所要解決的主要目的問題，在此根底上我們進(jìn)一步提出數(shù)據(jù)交融平臺系統(tǒng)設(shè)計思想和關(guān)鍵技術(shù)道路。1數(shù)據(jù)交融平臺建立是一個龐大的系統(tǒng)工程，需要分階段、分步驟施行。從上述關(guān)鍵技術(shù)因素分析中我們可以提煉出系統(tǒng)建立的三個主要層次，即：首先要完成數(shù)據(jù)中心所需數(shù)據(jù)的分析、整理工作，從而制度出統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和元數(shù)據(jù)標(biāo)準(zhǔn)；其次是已數(shù)據(jù)標(biāo)準(zhǔn)為根底建立數(shù)

9、據(jù)交換與共享平臺；最后建立工程數(shù)據(jù)庫和數(shù)據(jù)挖掘、知識管理環(huán)境。2數(shù)據(jù)交融平臺需要建立在一個高效率、高穩(wěn)定、高可擴(kuò)展性以及高平安的運行環(huán)境中，因此作為目前技術(shù)主流的j2ee符合此類大型系統(tǒng)的設(shè)計需要，它具有可靠、穩(wěn)定、跨平臺的諸多優(yōu)勢。另一方面，數(shù)據(jù)交融平臺需要一套完好的而有機(jī)結(jié)合的技術(shù)解決方案，要解決包括異構(gòu)、異平臺乃至非構(gòu)造化數(shù)據(jù)的有機(jī)交融、符合個性化和平安要求的信息門戶與數(shù)據(jù)交換平臺的有機(jī)整合、知識管理、數(shù)據(jù)挖掘環(huán)境與數(shù)據(jù)交換平臺的有機(jī)整合。在眾多j2ee平臺中，只有ib方案可以有效滿足上述三大結(jié)合的需要，其主流產(chǎn)品ebsphereii、ebsphereprtal、d9已被廣泛運用于電力、

10、銀行等大型企業(yè)數(shù)據(jù)整合系統(tǒng)中并具有較高的性價比。3針對數(shù)據(jù)集中還是分布的問題，我們提出的虛擬數(shù)據(jù)倉庫體系架構(gòu)有效結(jié)合了集中式和分布式優(yōu)點，既可以保證原有系統(tǒng)不會因為數(shù)據(jù)集中而影響使用，又可以通過etl從虛擬數(shù)據(jù)倉庫中導(dǎo)出工程數(shù)據(jù)到工程數(shù)據(jù)庫中。有效滿足了用戶對數(shù)據(jù)的各類需求。4需要建立一個可擴(kuò)展的集成數(shù)據(jù)挖掘、知識管理、lap等多種分析工具在內(nèi)的工程環(huán)境為知識發(fā)現(xiàn)提供根底運行平臺。5需要建立以數(shù)據(jù)中心為核心的效勞器群集環(huán)形網(wǎng)絡(luò)架構(gòu)體系及數(shù)據(jù)存儲nas和san混合架構(gòu)。效勞器群集環(huán)形網(wǎng)絡(luò)架構(gòu)體系包含群集件和負(fù)載平衡管理，可以定義規(guī)那么使之在正常工作時和應(yīng)對故障時自動為每個效勞分配處理資源。3.2

11、虛擬數(shù)據(jù)倉庫總體技術(shù)架構(gòu)下面我們給出虛擬數(shù)據(jù)倉庫總體技術(shù)架構(gòu)，本架構(gòu)全面覆蓋了五大技術(shù)因素，并有機(jī)交融了目前國際領(lǐng)先、成熟的技術(shù)、產(chǎn)品包括聯(lián)邦技術(shù)、門戶技術(shù)、元數(shù)據(jù)管理、數(shù)據(jù)評分及多維數(shù)據(jù)分析技術(shù)，效勞器群集環(huán)形網(wǎng)絡(luò)架構(gòu)體系及數(shù)據(jù)存儲nas和san混合架構(gòu)等。圖1虛擬數(shù)據(jù)倉庫總體技術(shù)架構(gòu)技術(shù)架構(gòu)分析：本技術(shù)架構(gòu)由兩大資源管理平臺構(gòu)成：石油數(shù)據(jù)資產(chǎn)化管理與應(yīng)用系統(tǒng)平臺專業(yè)應(yīng)用和綜合應(yīng)用數(shù)據(jù)資源平臺上圖中兩大平臺所涉及領(lǐng)域用白色虛線區(qū)分石油數(shù)據(jù)資產(chǎn)化管理與應(yīng)用系統(tǒng)平臺主要內(nèi)容介紹：1目前分散在各部門的數(shù)據(jù)庫系統(tǒng)包括勘探、開發(fā)、消費調(diào)度等在物理位置上保持現(xiàn)狀，但在邏輯上和管理上統(tǒng)一納入分布式數(shù)據(jù)庫系

12、統(tǒng)管理范疇。它們的數(shù)據(jù)源采集流程及數(shù)據(jù)質(zhì)量保障那么納入標(biāo)準(zhǔn)化體系，對錄入數(shù)據(jù)進(jìn)展數(shù)據(jù)整理、質(zhì)量審核、數(shù)據(jù)加載。2虛擬數(shù)據(jù)倉庫體系建立在分布式數(shù)據(jù)管理系統(tǒng)根底之上，提供索引編目、平安管理、元數(shù)據(jù)管理、權(quán)限管理、空間數(shù)據(jù)集成、數(shù)據(jù)抽取等效勞。3數(shù)據(jù)中心數(shù)據(jù)管理門戶為虛擬數(shù)據(jù)倉庫管理人員提供統(tǒng)一的登陸和管理操作界面。4企業(yè)應(yīng)用門戶提供數(shù)據(jù)資源需求用戶統(tǒng)一的登陸、檢索界面。專業(yè)應(yīng)用和綜合應(yīng)用數(shù)據(jù)資源平臺主要內(nèi)容介紹：1數(shù)據(jù)需求者根據(jù)需求，通過虛擬數(shù)據(jù)倉庫抽取出所需要的數(shù)據(jù)建立數(shù)據(jù)集市。2根據(jù)以建立的數(shù)據(jù)集市提供用戶數(shù)據(jù)挖掘、高級檢索、lap所需的相關(guān)工具支持。3數(shù)據(jù)集市還包含地震、測井等大體數(shù)據(jù)。4油

13、田數(shù)據(jù)整合關(guān)鍵技術(shù)4.1聯(lián)邦技術(shù)聯(lián)邦是指對跨越多個數(shù)據(jù)資源的數(shù)據(jù)關(guān)聯(lián)查詢的技術(shù)。通過實現(xiàn)該技術(shù)從而支持不同數(shù)據(jù)庫表之間甚至文本文件間數(shù)據(jù)的關(guān)聯(lián)查詢。整合不同數(shù)據(jù)分布式和大型機(jī)，構(gòu)造化和非構(gòu)造化，公共和私有，在處理使其如同是在單個數(shù)據(jù)源中。聯(lián)邦技術(shù)可以統(tǒng)一地訪問以任何格式構(gòu)造化的和非構(gòu)造化的存儲的任何數(shù)字信息。通過采用數(shù)據(jù)聯(lián)邦，可在不影響現(xiàn)有應(yīng)用的前提下，將各類系統(tǒng)的數(shù)據(jù)源通過聯(lián)邦的方式映射到一個邏輯的數(shù)據(jù)庫中。聯(lián)邦的特性：透明性。所有信息源看起來就像是一個信息源。異構(gòu)性。從不同數(shù)據(jù)源整合數(shù)據(jù)?？蓴U(kuò)展性和工具化。可以訪問任何數(shù)據(jù)源?？梢酝ㄟ^標(biāo)準(zhǔn)的分析、報告和開發(fā)工具來無縫利用的高級功能。查詢接口

14、提供了基于標(biāo)準(zhǔn)的完好功能包括對后端數(shù)據(jù)源中缺少才能的補(bǔ)償。防止需要對現(xiàn)有數(shù)據(jù)源和應(yīng)用程序進(jìn)展更改的自主性。其性能可以滿足實際應(yīng)用程序和可能應(yīng)用程序的需要，包括高級查詢優(yōu)化技術(shù)、本地數(shù)據(jù)訪問以及透明緩存支持。聯(lián)邦的技術(shù)組織構(gòu)造：圖2聯(lián)邦技術(shù)組織構(gòu)造圖2中：聯(lián)邦效勞器federateddatabaseserver通過稱為包裝器rapper的軟件模塊與數(shù)據(jù)源進(jìn)展通信。對于上述各類數(shù)據(jù)源，ebsphereii提供專用的rapper，每個rapper實現(xiàn)異構(gòu)數(shù)據(jù)源的sql處理，支持異構(gòu)數(shù)據(jù)庫間數(shù)據(jù)類型的轉(zhuǎn)換和函數(shù)的轉(zhuǎn)換。對關(guān)系型數(shù)據(jù)庫數(shù)據(jù)源而言，包裝器通過安裝在信息整合平臺的該數(shù)據(jù)庫的客戶端與其進(jìn)展交互

15、。對非關(guān)系型數(shù)據(jù)源，包裝器直接進(jìn)展數(shù)據(jù)訪問。包裝器從信息整合效勞器承受數(shù)據(jù)訪問指令，進(jìn)展轉(zhuǎn)換為數(shù)據(jù)源所支持的sql，通過數(shù)據(jù)源的客戶端提交執(zhí)行。然后將結(jié)果返回給信息整合效勞器處理。4.2prtlet技術(shù)基于ibebsphereprtal技術(shù)實現(xiàn)的油田信息門戶平臺可以高效地把各種應(yīng)用系統(tǒng)、數(shù)據(jù)資源和互聯(lián)網(wǎng)資源統(tǒng)一集成到通用門戶之下，根據(jù)每個用戶使用特點和角色的不同，形成個性化的應(yīng)用界面，并通過對事件和消息的處理傳輸把用戶有機(jī)地聯(lián)絡(luò)在一起。簡單而言，門戶平臺是可以充分滿足用戶個性化需求，使得用戶可以以自己的方式交互訪問相關(guān)信息、應(yīng)用軟件以及業(yè)務(wù)流程的集成平臺。該平臺主要技術(shù)特點包括：多平臺系統(tǒng)的單

16、點登錄集成框架在統(tǒng)一的閱讀器環(huán)境下，通過一次身份認(rèn)證，即可按照各自的權(quán)限存取不同的應(yīng)用系統(tǒng)，動態(tài)閱讀企業(yè)內(nèi)部管理信息、外部經(jīng)營管理信息。多平臺系統(tǒng)內(nèi)容集成框架在統(tǒng)一的閱讀器環(huán)境下，通過與原有應(yīng)用系統(tǒng)(如a系統(tǒng)、erp系統(tǒng)、勘探信息系統(tǒng)，開發(fā)信息系統(tǒng)等)進(jìn)展集成，在保存現(xiàn)有系統(tǒng)的前提下，使得通過統(tǒng)一的門戶可以進(jìn)入這些應(yīng)用系統(tǒng)，并可以prtlet形式集成原有應(yīng)用系統(tǒng)的內(nèi)容。強(qiáng)大的文檔搜索功能石油行業(yè)的各種文檔形式多樣，格式可能是文本、xl、rd文檔、pdf及ppt文件，存儲在文件系統(tǒng)、內(nèi)容資料庫、數(shù)據(jù)庫及郵件系統(tǒng)中，并且平安級別各不一樣。因此，該系統(tǒng)提供區(qū)別于其他搜索引擎的專有引擎來搜索各種文檔。

17、與erp工作流、原始報表和水晶報表系統(tǒng)無縫集成在統(tǒng)一的閱讀器環(huán)境下，在各自的使用權(quán)限下通過prtlet集成展現(xiàn)erp工作流的審批過程及各種報表，統(tǒng)計圖表。用于協(xié)同工作的信息即時交流平臺在該門戶系統(tǒng)上工作的同時，用戶可看到其他在線的人員，然后通過內(nèi)部郵件系統(tǒng)、在線聊天等手段與之交流，進(jìn)步工作效率。用戶的個性化定制在該門戶系統(tǒng)上工作時，可自定義頁面，在自己的頁面上添加經(jīng)常關(guān)注的信息，或經(jīng)常要使用的集成的各種應(yīng)用系統(tǒng)。強(qiáng)大的平安管理平臺在基于ldap的技術(shù)上，提供基于角色的用戶平安管理功能，使得各級用戶只能閱讀權(quán)限范圍內(nèi)的信息，確保系統(tǒng)平安運行。整個系統(tǒng)，只需要一次登錄，即可訪問所有具有權(quán)限的信息和功能。用戶口令實現(xiàn)集中管理。4.3元數(shù)據(jù)管理首先，油田各類數(shù)據(jù)庫可以利用元數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)化其現(xiàn)有的數(shù)據(jù)資源。每個專業(yè)領(lǐng)域建立自己的元數(shù)據(jù)標(biāo)準(zhǔn)，各專業(yè)子庫按照這種標(biāo)準(zhǔn)的格式向外發(fā)布數(shù)據(jù)。這樣，用戶可以通過元數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)步數(shù)據(jù)查詢和使用的效率和準(zhǔn)確性。其次，這些元數(shù)據(jù)將記錄有關(guān)于數(shù)據(jù)的所有上下文資料，數(shù)據(jù)管理者可以通過這些元數(shù)據(jù)對數(shù)據(jù)資源進(jìn)展有效的管理，數(shù)據(jù)的使用者可以根據(jù)這些元數(shù)據(jù)理解數(shù)據(jù)資源的背景資料等信息。最后，元數(shù)據(jù)的使用可以進(jìn)一步的消除各個數(shù)據(jù)資源之間的語義的獨立性和異構(gòu)性，可以到達(dá)一定限度的數(shù)據(jù)整合和交換。圖3油田元數(shù)據(jù)管理油田