數(shù)據(jù)庫新技術(shù)

1、數(shù)據(jù)庫新技術(shù)綜述摘要：綜述數(shù)據(jù)庫新技術(shù)，指出數(shù)據(jù)庫技術(shù)目前的研究狀態(tài)和開展趨勢，介 紹一些數(shù)據(jù)庫新技術(shù)的最新動態(tài)，并指出數(shù)據(jù)庫應(yīng)用所面臨的挑戰(zhàn)，指出數(shù)據(jù)庫 技術(shù)當今的研究熱點和未來的開展趨勢。關(guān)鍵詞：數(shù)據(jù)庫；面向?qū)ο髷?shù)據(jù)庫；分布式數(shù)據(jù)庫；數(shù)據(jù)倉庫；數(shù)據(jù)挖掘； 聯(lián)機分析處理；開展一、引言：自從計算機問世以來，就有了處理數(shù)據(jù)、管理數(shù)據(jù)的需求，由此，計算機技 術(shù)新的研究分支一一數(shù)據(jù)庫技術(shù)應(yīng)運而生。隨著計算機應(yīng)用領(lǐng)域的不斷擴展和多 媒體技術(shù)的開展，數(shù)據(jù)庫已經(jīng)是計算機科學技術(shù)中開展最快、 應(yīng)用最廣泛的重要 分支之一。目前，數(shù)據(jù)庫技術(shù)已經(jīng)相當成熟，被廣泛應(yīng)用于各行各業(yè)中，成為現(xiàn) 代信息技術(shù)的主要組成局部，

2、是現(xiàn)代計算機信息系統(tǒng)和計算機應(yīng)用的根底和核心。另外，各種學科與數(shù)據(jù)庫技術(shù)的有機結(jié)合，從而使數(shù)據(jù)庫領(lǐng)域中新內(nèi)容、新 應(yīng)用、新技術(shù)層出不窮，形成了各種各樣的數(shù)據(jù)庫系統(tǒng)：面向?qū)ο髷?shù)據(jù)庫系統(tǒng)、 分布式數(shù)據(jù)庫系統(tǒng)、知識數(shù)據(jù)庫系統(tǒng)、模糊數(shù)據(jù)庫系統(tǒng)、并行數(shù)據(jù)庫系統(tǒng)、多媒 體數(shù)據(jù)庫系統(tǒng)等；數(shù)據(jù)庫系統(tǒng)被應(yīng)用到特定的領(lǐng)域后，乂出現(xiàn)了工程數(shù)據(jù)庫、演 繹數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、統(tǒng)計數(shù)據(jù)庫、空間數(shù)據(jù)庫、科學數(shù)據(jù)庫、文獻數(shù)據(jù)庫等； 他們繼承了傳統(tǒng)數(shù)據(jù)庫的成果和技術(shù)，加以開展優(yōu)化，從而形成的新的數(shù)據(jù)庫， 視為“進化的數(shù)據(jù)庫?？梢哉f新一代數(shù)據(jù)庫技術(shù)的研究與開展呈現(xiàn)了白花齊放 的局面。首先我們來了解一下數(shù)據(jù)庫新技術(shù)有哪些： 面向?qū)?/p>

3、象數(shù)據(jù)庫；分布式數(shù)據(jù)庫； 數(shù)據(jù)倉庫；數(shù)據(jù)挖掘；聯(lián)機分析處理等。二、概述新技術(shù)(一).面向?qū)ο髷?shù)據(jù)庫技術(shù)面向?qū)ο笫且环N認識方法學，也是一種新的程序設(shè)計方法學。把面向?qū)ο蟮?方法和數(shù)據(jù)庫技術(shù)結(jié)合起來可以使數(shù)據(jù)庫系統(tǒng)的分析、 設(shè)計最大程度地與人們對 客觀世界的認識相一致。面向?qū)ο髷?shù)據(jù)庫系統(tǒng)是為了滿足新的數(shù)據(jù)庫應(yīng)用需要而 產(chǎn)生的新一代數(shù)據(jù)庫系統(tǒng)。其優(yōu)點為：(1).易維護：可讀性高且方便低本錢；(2).質(zhì)量高：在設(shè)計時，可重用現(xiàn)有的，在以前的工程的領(lǐng)域中已被測試過的類使系統(tǒng)滿足業(yè)務(wù)需求并具有較高的質(zhì)量；(3) .效率高：在軟件開發(fā)時，根據(jù)設(shè)計的需要對現(xiàn)實世界的事物進行抽象, 產(chǎn)生類。使用這樣的方法解決問

4、題，接近于日常生活和自然的思考方式，勢 必提高軟件開發(fā)的效率和質(zhì)量。(4) .易擴展：由于繼承、封裝、多態(tài)的特性，自然設(shè)計出高內(nèi)聚、低耦合 的系統(tǒng)結(jié)構(gòu)，使得系統(tǒng)更靈活、更容易擴展，而且本錢較低。面向?qū)ο髷?shù)據(jù)庫研究的另一個進展是在現(xiàn)有關(guān)系數(shù)據(jù)庫中參加許多純面 向?qū)ο髷?shù)據(jù)庫的功能。在商業(yè)應(yīng)用中對關(guān)系模型的面向?qū)ο髷U展著重于性能 優(yōu)化，處理各種環(huán)境的對象的物理表示的優(yōu)化和增加 SQL 模型以賦予面向?qū)?象特征。如Versant、UNISQL O2等，它們均具有關(guān)系數(shù)據(jù)庫的根本功能， 采用類似于 SQL的語言，用戶很容易掌握。(二).分布式數(shù)據(jù)庫技術(shù)分布式數(shù)據(jù)庫是指：數(shù)據(jù)物理上被存放在網(wǎng)絡(luò)的多個節(jié)點上

5、，邏輯上是一個 整體。其擁有 3種模式：存儲模式、邏輯模式、用戶模式。典型特點：1.三性自主性：單個 DBMS 的本地運算不因多數(shù)據(jù)庫系統(tǒng)中其他 DBMS 的參加而受 影響；單個 DBMS 處理查詢和優(yōu)化查詢的方式不受訪問多數(shù)據(jù)庫的全局查詢 執(zhí)行的影響；系統(tǒng)已執(zhí)行的操作在單個 DBMS 參加或者離開多數(shù)據(jù)庫聯(lián)盟是 不會受到傷害。異質(zhì)性：硬件的異質(zhì)性；網(wǎng)絡(luò)協(xié)議的差異性；數(shù)據(jù)管理器的多樣性。分布性：數(shù)據(jù)分布、控制分布、管理分布。2.特點1.在分布式數(shù)據(jù)庫系統(tǒng)里不強調(diào)集中控制概念，它具有一個以全局數(shù)據(jù)庫管 理員為根底的分層控制結(jié)構(gòu)，但是每個局部數(shù)據(jù)庫管理員都具有高度的自 主權(quán)。2.在分布式數(shù)據(jù)庫系統(tǒng)

6、中數(shù)據(jù)獨立性概念也同樣重要，然而增加了一個新的概念，就是分布式透明性。所謂分布式透明性就是在編寫程序時好象數(shù)據(jù) 沒有被分布一樣，因此把數(shù)據(jù)進行轉(zhuǎn)移不會影響程序的正確性。但程序的執(zhí)行速度會有所降低。3.集中式數(shù)據(jù)庫系統(tǒng)不同，數(shù)據(jù)冗余在分布式系統(tǒng)中被看作是所需要的特性， 其原因在于：首先，如果在需要的節(jié)點復(fù)制數(shù)據(jù)，那么可以提高局部的應(yīng)用 性。其次，當某節(jié)點發(fā)生故障時，可以操作其它節(jié)點上的復(fù)制數(shù)據(jù)，因此 這可以增加系統(tǒng)的有效性。當然，在分布式系統(tǒng)中對最正確冗余度的評價是 很復(fù)雜的。3.迅速開展的原因(1).它可以解決組織機構(gòu)分散而數(shù)據(jù)需要相互聯(lián)系的問題。比方銀行系統(tǒng)，總行與各分行處于不同的城市或城市

7、中的各個地區(qū)， 在業(yè)務(wù)上它們需要 處理各自的數(shù)據(jù)，也需要彼此之間的交換和處理，這就需要分布式的系 統(tǒng)。(2).如果一個組織機構(gòu)需要增加新的相對自主的組織單位來擴充機構(gòu)，那么分布式數(shù)據(jù)庫系統(tǒng)可以在對當前機構(gòu)影響最小的情況下進行擴充。(3).均衡負載的需要。數(shù)據(jù)的分解采用使局部應(yīng)用到達最大，這使得各處理機之間的相互十擾降到最低。負載在各處理機之間分擔，可以防止 臨界瓶頸。(4).當現(xiàn)有機構(gòu)中已存在幾個數(shù)據(jù)庫系統(tǒng)，而且實現(xiàn)全局應(yīng)用的必要性增加時，就可以由這些數(shù)據(jù)庫自下而上構(gòu)成分布式數(shù)據(jù)庫系統(tǒng)。(5).相等規(guī)模的分布式數(shù)據(jù)庫系統(tǒng)在出現(xiàn)故障的幾率上不會比集中式數(shù)據(jù)庫系統(tǒng)低，但由于其故障的影響僅限于局部數(shù)

8、據(jù)應(yīng)用，因此就整個系 統(tǒng)來講它的可靠性是比擬高的。(三).數(shù)據(jù)倉庫數(shù)據(jù)倉庫，英文名稱為 Data Warehouse,可簡寫為 DW 或 DWH。數(shù)據(jù)倉 庫是為企業(yè)所有級別的決策制定過程提供支持的所有類型數(shù)據(jù)的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持的目的而創(chuàng)立。為企業(yè)提供需要業(yè)務(wù)智能來指導(dǎo)業(yè)務(wù)流程改良和監(jiān)視時間、本錢、質(zhì)量和控制。1.定義：數(shù)據(jù)倉庫是決策支持系統(tǒng)(dss)和聯(lián)機分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境 數(shù)據(jù)倉庫研究和解決從數(shù)據(jù)庫中獲取信息的問題。數(shù)據(jù)倉庫的特征在于面向 主題、集成性、穩(wěn)定性和時變性。2.特點：(1).效率足夠高數(shù)據(jù)倉庫的分析數(shù)據(jù)一般分為日、周、月、季、年等，

9、可以看出，日為周 期的數(shù)據(jù)要求的效率最高，要求 24 小時甚至 12小時內(nèi)，客戶能看到昨天的 數(shù)據(jù)分析。(2).數(shù)據(jù)質(zhì)量數(shù)據(jù)倉庫所提供的各種信息，肯定要準確的數(shù)據(jù)，但由于數(shù)據(jù)倉庫流程通 常分為多個步驟，包括數(shù)據(jù)活洗，裝載，查詢，展現(xiàn)等等，復(fù)雜的架構(gòu)會更 多層次，那么由于數(shù)據(jù)源有臟數(shù)據(jù)或者代碼不嚴謹，都可以導(dǎo)致數(shù)據(jù)失真， 客戶看到錯誤的信息就可能導(dǎo)致分析出錯誤的決策， 造成損失，而不是效益 C(3).擴展性之所以有的大型數(shù)據(jù)倉庫系統(tǒng)架構(gòu)設(shè)計復(fù)雜，是因為考慮到了未來3-5 年的擴展性，這樣的話，未來不用太快花錢去重建數(shù)據(jù)倉庫系統(tǒng)，就能很穩(wěn)定 運行。3.從數(shù)據(jù)庫到數(shù)據(jù)倉庫企業(yè)的數(shù)據(jù)處理大致分為兩類：

10、一類是操作型處理，也稱為聯(lián)機事務(wù)處理, 它是針對具體業(yè)務(wù)在數(shù)據(jù)庫聯(lián)機的日常操作，通常對少數(shù)記錄進行查詢、修 改。另一類是分析型處理，一般針對某些主題的歷史數(shù)據(jù)進行分析，支持管 理決策。數(shù)據(jù)庫已經(jīng)在信息技術(shù)領(lǐng)域有了廣泛的應(yīng)用，我們社會生活的各個部門， 幾乎都有各種各樣的數(shù)據(jù)庫保存著與我們的生活息息相關(guān)的各種數(shù)據(jù)。作為 數(shù)據(jù)庫的一個分支，數(shù)據(jù)倉庫概念的提出，相對丁數(shù)據(jù)庫從時間上就近得多。美國著名信息工程專家 WilliamInmON 博士在 90 年代初提出了數(shù)據(jù)倉庫概念 的一個表述，認為：乙個數(shù)據(jù)倉庫通常是一個面向主題的、集成的、隨時間 變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，它用丁對管理決策過程

11、的支持。四.數(shù)據(jù)挖掘數(shù)據(jù)挖掘英語：Datamining,乂譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫 知識發(fā)現(xiàn)英語：Knowledge-Discovery in Databases簡稱：KDD 沖的一個步驟。 數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏丁其中信息的過程。數(shù)據(jù)挖掘通常與計算機科學有關(guān)，并 通過統(tǒng)計、在線分析處理、情報檢索、機器學習、 專家系統(tǒng)依靠過去的經(jīng)驗法那么和模式識別等諸多方法來實現(xiàn)上述目標。?新的檢索線索數(shù)據(jù)挖掘流程圖:1.數(shù)據(jù)挖掘與數(shù)據(jù)倉庫的關(guān)系假設(shè)將 Data Warehousing 數(shù)據(jù)倉庫比喻作礦坑，Data Mining 就是深入礦 坑采 礦的工作。畢竟 Data M

12、ining不是一種無中生有的魔術(shù)，也不是點石成 金的煉金術(shù)，假設(shè)沒有夠豐富完整的數(shù)據(jù)，是很難期待 Data Mining能挖掘出什 么有意義的信息的。2.數(shù)據(jù)挖掘的主要功能Data Mining 實際應(yīng)用功能可分為三大類六分項來說明：Classification和Clustering 屆于分類區(qū)隔類；Regression 和 Time-series屆于推算預(yù)測類；Association和 Sequence那么屆于序歹 U規(guī)那么類。3.數(shù)據(jù)挖掘的過程數(shù)據(jù)開采以數(shù)據(jù)庫中的數(shù)據(jù)為數(shù)據(jù)源，整個過程可分為數(shù)據(jù)集成、數(shù)據(jù)選 擇、預(yù)處理、數(shù)據(jù)開采、結(jié)果表達和解析等過程。開采的范圍可針對多媒體 數(shù)據(jù)庫、數(shù)據(jù)倉

13、庫、Web 數(shù)據(jù)庫、主動型數(shù)據(jù)庫、時間型及概率型數(shù)據(jù)庫等。 采用的技術(shù)有人工神經(jīng)網(wǎng)絡(luò)、決策樹、遺傳算法、規(guī)那么歸納、分類、聚類、 減維、模式識別、不確定性處理等。發(fā)現(xiàn)的知識有廣義型知識、特征型知識、 差異型知識、關(guān)聯(lián)型知識、預(yù)測型知識、偏離型知識。目前數(shù)據(jù)采掘的研究 和應(yīng)用所面臨的主要挑戰(zhàn)是：對大型數(shù)據(jù)庫的數(shù)據(jù)采掘方法；對非結(jié)構(gòu)和無 結(jié)構(gòu)數(shù)據(jù)庫中的數(shù)據(jù)采掘操作；用戶參與的交互采掘；對采掘得到的知識的 證實技術(shù)；知識的解釋和表達機制；由于數(shù)據(jù)庫的更新，原有知識的修正； 采掘所得知識庫的建立、使用和維護。五.聯(lián)機分析處理聯(lián)機分析處理OLAP 系統(tǒng)是數(shù)據(jù)倉庫系統(tǒng)最主要的應(yīng)用，專門設(shè)計用于 支持復(fù)雜的

14、分析操作，側(cè)重對決策人員和高層管理人員的決策支持，可以根 據(jù)分析人員的要求快速、靈活地進行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種 直觀而易懂的形式將查詢結(jié)果提供應(yīng)決策人員，以便他們準確掌握企業(yè)公 司的經(jīng)營狀況，了解對象的需求，制定正確的方案。1.聯(lián)機分析處理的作用聯(lián)機分析處理是共享多維信息的、針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析 的快速軟件技術(shù)。它通過對信息的多種可能的觀察形式進行快速、穩(wěn)定一致 和交互性的存取，允許管理決策人員對數(shù)據(jù)進行深入觀察。決策數(shù)據(jù)是多維 數(shù)據(jù)，多維數(shù)據(jù)就是決策的主要內(nèi)容。OLAP專門設(shè)計用于支持復(fù)雜的分析操 作，側(cè)重對決策人員和高層管理人員的決策支持，可以根據(jù)分析人員的要求

15、快速、靈活地進行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀而易懂的形式 將查詢結(jié)果提供應(yīng)決策人員，以便他們準確掌握企業(yè)公司的經(jīng)營狀況， 了解對象的需求，制定正確的方案。2.主要特點直接仿照用戶的多角度思考模式，預(yù)先為用戶組建多維的數(shù)據(jù)模型，在 這里，維指的是用戶的分析角度。例如對銷售數(shù)據(jù)的分析，時間周期是一個 維度，產(chǎn)品類別、 分銷渠道、地理分布、客戶群類也分別是一個維度。一 旦多維數(shù)據(jù)模型建立完成，用戶可以快速地從各個分析角度獲取數(shù)據(jù)，也能 動態(tài)的在各個角度之間切換或者進 行多角度綜合分析，具有極大的分析靈 活性。這也是聯(lián)機分析處理被廣泛關(guān)注的根本原因，它從設(shè)計理念和真正實 現(xiàn)上都與舊有的管理信息系統(tǒng)有著本質(zhì)的區(qū)別。3.體系結(jié)構(gòu)數(shù)據(jù)倉庫與 OLAP的關(guān)系是互補的，現(xiàn)代 OLAP 系統(tǒng)一般以數(shù)據(jù)倉庫作為根底，即從數(shù)據(jù)倉庫中抽取詳細數(shù)據(jù)的一個子集并經(jīng)過必要的聚集存儲到 OLAP存儲器中供前端分析工具讀取。三、結(jié)束語:數(shù)據(jù)庫系統(tǒng)的功能從早期的數(shù)據(jù)存儲、查詢到聯(lián)機事務(wù)處理，再到數(shù)據(jù)挖掘， 從單純的數(shù)據(jù)庫開展到與之相關(guān)的模型庫、知識庫的集成，其所取得成就是令人 矚目的。當然，所有這些都還有許多局限性，還有許多關(guān)鍵問題等待解決，而且， 隨著應(yīng)用領(lǐng)域日益廣泛，硬件技術(shù)的不斷提高，數(shù)據(jù)庫技術(shù)還要面臨新的挑戰(zhàn)。當前數(shù)據(jù)庫技術(shù)的開展呈現(xiàn)出與多