基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù)

第一章

數(shù)據(jù)庫、數(shù)據(jù)庫管理系統(tǒng)與數(shù)據(jù)倉庫

第1章數(shù)據(jù)據(jù)庫、數(shù)數(shù)據(jù)庫管管理系統(tǒng)統(tǒng)與數(shù)據(jù)據(jù)倉庫1.1數(shù)據(jù)庫與與數(shù)據(jù)庫庫技術(shù)1.1..1數(shù)據(jù)、數(shù)數(shù)據(jù)庫與與數(shù)據(jù)庫庫系統(tǒng)1.1..2數(shù)據(jù)庫系系統(tǒng)的特特點1.1..3數(shù)據(jù)庫技技術(shù)新發(fā)發(fā)展1.2數(shù)據(jù)倉庫庫1.2..1從傳統(tǒng)數(shù)數(shù)據(jù)庫到到數(shù)據(jù)倉倉庫1.2..2數(shù)據(jù)倉庫庫的基本本特性1.3數(shù)據(jù)倉庫庫及其數(shù)數(shù)據(jù)分析析工具1.3..1聯(lián)機分析析與數(shù)據(jù)據(jù)挖掘1.3..2數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)挖掘1.3..3數(shù)據(jù)倉庫庫未來發(fā)發(fā)展方向向1.1數(shù)據(jù)庫與與數(shù)據(jù)庫庫技術(shù)數(shù)據(jù)庫是是按一定定組織方方式存儲儲在計算算機存儲儲器中的的相互關(guān)關(guān)聯(lián)的數(shù)數(shù)據(jù)集合合,數(shù)據(jù)庫的的建立獨獨立于程程序。數(shù)數(shù)據(jù)庫管管理系統(tǒng)統(tǒng)是一個個管理數(shù)數(shù)據(jù)庫的的軟件系系統(tǒng),它為用戶戶提供了了描述數(shù)數(shù)據(jù)庫、、操縱數(shù)數(shù)據(jù)庫和和維護數(shù)數(shù)據(jù)庫的的方法和和命令，，并且能能自動控控制數(shù)據(jù)據(jù)庫的安安全以及及數(shù)據(jù)完完整。數(shù)據(jù)庫系系統(tǒng)是在在文件系系統(tǒng)的基基礎(chǔ)上發(fā)發(fā)展起來來的。數(shù)數(shù)據(jù)庫系系統(tǒng)是一一個具有有管理數(shù)數(shù)據(jù)庫功功能的計計算機系系統(tǒng)，它它包括應(yīng)應(yīng)用軟件件、數(shù)據(jù)據(jù)庫、數(shù)數(shù)據(jù)庫管管理系統(tǒng)統(tǒng)和數(shù)據(jù)據(jù)庫管理理人員幾幾部分。。1.1..1數(shù)據(jù)、數(shù)數(shù)據(jù)庫與與數(shù)據(jù)庫庫系統(tǒng)1．數(shù)據(jù)(Data)數(shù)據(jù)是信信息系統(tǒng)統(tǒng)的基本本概念和和計算機機系統(tǒng)要要處理的的基本對對象之一一。嚴格地說說，數(shù)據(jù)據(jù)可定義義為：數(shù)數(shù)據(jù)是對對客觀事事物記錄錄下來的的、可以以鑒別的的符號。。數(shù)據(jù)是是客觀觀事物的的屬性、、數(shù)量、、位置及及相互關(guān)關(guān)系等等等的抽象象表示。。2．數(shù)據(jù)庫庫(DataBase，DB)數(shù)據(jù)庫是是自描述述的，這這個描述述稱作數(shù)數(shù)據(jù)字典典(或數(shù)據(jù)目目錄，或或元數(shù)據(jù)據(jù))。3．數(shù)據(jù)庫系系統(tǒng)(DataBaseSystem，DBS))數(shù)據(jù)庫系系統(tǒng)是指指在計算算機系統(tǒng)統(tǒng)中引入入數(shù)據(jù)庫庫后的系系統(tǒng)。4．數(shù)據(jù)庫庫管理系系統(tǒng)隨著計算算機軟、、硬件和和相應(yīng)技技術(shù)的發(fā)發(fā)展，數(shù)數(shù)據(jù)管理理經(jīng)歷了了人工管管理、文文件系系統(tǒng)和數(shù)數(shù)據(jù)庫系系統(tǒng)3個階段。。1.1..2數(shù)據(jù)庫系系統(tǒng)的特特點1.數(shù)據(jù)的結(jié)結(jié)構(gòu)化2.數(shù)據(jù)的共共享性3.數(shù)據(jù)的獨獨立性4.數(shù)據(jù)統(tǒng)一一由DBMS管理和控控制(1)數(shù)據(jù)的安安全性(2)數(shù)據(jù)的完完整性(3)并發(fā)控制制(4)數(shù)據(jù)庫恢恢復(fù)1.1..3數(shù)據(jù)庫技技術(shù)新發(fā)發(fā)展1.數(shù)據(jù)模型型：關(guān)系系數(shù)據(jù)庫庫與面向向?qū)ο髷?shù)數(shù)據(jù)庫(1)關(guān)系數(shù)據(jù)據(jù)庫用數(shù)字來來表明自自然界的的各種事事物是按按照實體體、屬性性、值進進行的。。關(guān)系數(shù)據(jù)據(jù)庫是支支持關(guān)系系模型的的數(shù)據(jù)庫庫系統(tǒng)，，而關(guān)系系模型由由關(guān)系數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)、關(guān)系系操作集集合和完完整性約約束三部部分組成成。(2)結(jié)構(gòu)化查查詢語言言SQLSQL是結(jié)構(gòu)化化查詢語語言(StructedQueryLanguage),,也被稱為為StandardQueryLanguage(標準化查查詢語言言)。SQL有兩大突突出的特特點：一一是所有有SQL數(shù)據(jù)庫中中的數(shù)據(jù)據(jù)都存儲儲在表中中，一個個表有行行和列組組成。二二是這種種語言被被設(shè)計為為不允許許按照某某種特定定的順序序來取出出，使用用SQL只能按查查詢條件件來讀取取記錄。。

(3)面向?qū)ο笙髷?shù)據(jù)庫庫面向?qū)ο笙髷?shù)據(jù)庫庫系統(tǒng)是是數(shù)據(jù)庫庫技術(shù)與與面向?qū)ο蟪绦蛐蛟O(shè)計方方法相結(jié)結(jié)合的產(chǎn)產(chǎn)物。圖1-4數(shù)據(jù)庫系系統(tǒng)ODBCAPI應(yīng)用程程序序ODBC驅(qū)動程序序管理器器ODBC驅(qū)動程序序ODBC驅(qū)動程序序ODBC驅(qū)動程序序數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源

將傳統(tǒng)數(shù)數(shù)據(jù)庫技技術(shù)與其其他學科科的內(nèi)容容相結(jié)合合以開發(fā)發(fā)新型數(shù)數(shù)據(jù)庫是是數(shù)據(jù)庫庫技術(shù)的的一個新新發(fā)展,目前已經(jīng)經(jīng)發(fā)展出出一些新新型的數(shù)數(shù)據(jù)庫系系統(tǒng)。如如：分布布式數(shù)據(jù)據(jù)庫、并并行數(shù)據(jù)據(jù)庫、知知識數(shù)據(jù)據(jù)庫、主主動數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng)、多媒媒體數(shù)據(jù)據(jù)庫、模模糊數(shù)據(jù)據(jù)庫。2.傳統(tǒng)數(shù)據(jù)據(jù)數(shù)據(jù)庫庫技術(shù)與與其他技技術(shù)結(jié)合合3.面向應(yīng)用用的數(shù)據(jù)據(jù)庫數(shù)據(jù)庫技技術(shù)被應(yīng)應(yīng)用于特特定領(lǐng)域域中時，，就出現(xiàn)現(xiàn)了數(shù)據(jù)據(jù)倉庫、、工程數(shù)數(shù)據(jù)庫、、統(tǒng)計數(shù)數(shù)據(jù)庫、、空間數(shù)數(shù)據(jù)庫、、科學數(shù)數(shù)據(jù)庫等等多種數(shù)數(shù)據(jù)庫，，使數(shù)據(jù)據(jù)庫領(lǐng)域域的應(yīng)用用范圍不不斷擴大大。1.2..1從傳統(tǒng)數(shù)數(shù)據(jù)庫到到數(shù)據(jù)倉倉庫傳統(tǒng)數(shù)據(jù)據(jù)庫在聯(lián)聯(lián)機事物物處理中中取得了了較大的的成功,但在基于于事物處處理的數(shù)數(shù)據(jù)庫幫幫助決策策分析時時卻產(chǎn)生生了很大大的困難難。主要要原因是是傳統(tǒng)數(shù)數(shù)據(jù)庫的的處理方方式和決決策分析析中的數(shù)數(shù)據(jù)需求求不相稱稱，導(dǎo)致致傳統(tǒng)數(shù)數(shù)據(jù)庫無無法支持持決策分分析活動動。這些些不相稱稱主要體體現(xiàn)在如如下幾個個方面：：(1)..決策處理理的系統(tǒng)統(tǒng)響應(yīng)問問題(2)..決策數(shù)據(jù)據(jù)需求的的問題(3)..決策數(shù)據(jù)據(jù)操作的的問題(4)..數(shù)據(jù)倉庫庫與傳統(tǒng)統(tǒng)數(shù)據(jù)庫庫的比較較1.2..2數(shù)據(jù)倉庫庫的基本本特性1.數(shù)據(jù)倉庫庫的定義義數(shù)據(jù)倉庫庫就是一一個面向向主題的的、集成成的、不不可更新新的、隨隨時間不不斷變化化的數(shù)據(jù)據(jù)集合，，它用以以支持企企業(yè)或組組織的決決策分析析處理。。

表1-1數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)庫的對對比對比內(nèi)容

數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當前值歷史的、存檔的、歸納的、計算的數(shù)據(jù)數(shù)據(jù)目標面向業(yè)務(wù)操作程序，重復(fù)處理面向主題域，分析應(yīng)用數(shù)據(jù)特性動態(tài)變化，按字段更新靜態(tài)、不能直接更新，只能定時添加、刷新數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜，適合操作計算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個事物只訪問少量記錄有的事物可能需要訪問大量記錄對響應(yīng)時間的要求以秒為單位時間長2.數(shù)據(jù)倉庫庫的基本本特征(1)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)是面向向主題的的(2)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)是集成成的(3)數(shù)據(jù)倉庫庫是隨時時間變化化的(4)數(shù)據(jù)倉庫庫是不可可更新的的1.3..1聯(lián)機分析析與數(shù)據(jù)據(jù)挖掘1.聯(lián)機分析析處理技技術(shù)及工工具聯(lián)機分析析處理OLAP(On-LineAnalyticalProcessing)應(yīng)用是不不同于與與聯(lián)機事事務(wù)處理理(OLTP)的一類應(yīng)應(yīng)用。它它專門設(shè)設(shè)計用于于支持復(fù)復(fù)雜的分分析操作作，側(cè)重重對分析析人員和和高層管管理人員員的決策策支持，，可以應(yīng)應(yīng)分析人人員的要要求快速速、靈活活地進行行大數(shù)據(jù)據(jù)量的復(fù)復(fù)雜查詢詢處理，，并且以以一種直直觀易懂懂的形式式將查詢詢結(jié)果提提供給決決策制定定人，以以便他們們準確掌掌握企業(yè)業(yè)（公司司）的經(jīng)經(jīng)營狀況況，了解解市場需需求，制制定正確確方案，，增加效效益。2.數(shù)據(jù)挖掘掘技術(shù)和和工具數(shù)據(jù)挖掘掘(DataMining,,DM))是從超大大型數(shù)據(jù)據(jù)庫(VLDB)或數(shù)據(jù)倉倉庫中發(fā)發(fā)現(xiàn)并提提取隱藏藏在內(nèi)部部的信息息的一種種新技術(shù)術(shù)。目的的是幫助助決策者者尋找數(shù)數(shù)據(jù)間潛潛在的關(guān)關(guān)系，發(fā)發(fā)現(xiàn)經(jīng)營營者被忽忽略的要要素，而而這些要要素對預(yù)預(yù)測趨勢勢、決策策行為也也許是十十分有用用的信息息。數(shù)據(jù)挖掘掘技術(shù)是是可以滿滿足和解解決當前前“數(shù)據(jù)據(jù)太多，，信息不不足”的的技術(shù)。。對于數(shù)據(jù)據(jù)挖掘和和知識發(fā)發(fā)現(xiàn)（KnowledgeDiscoveryinDataBase,KDD)的確切定定義一直直有混淆淆。（1）數(shù)據(jù)挖挖掘嚴格來說說，數(shù)據(jù)據(jù)挖掘可可定義為為：應(yīng)用用一系列列技術(shù)從從大型數(shù)數(shù)據(jù)庫或或數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)中提提取人們們感興趣趣的信息息和知識識，這些些知識或或信息是是隱含的的、事先先未知而而潛在有有用的，，提取的的知識表表示為概概念、規(guī)規(guī)則、規(guī)規(guī)律、模模式等形形式。（2）知識發(fā)發(fā)現(xiàn)過程程1.數(shù)據(jù)準備備2.數(shù)據(jù)挖掘掘3.結(jié)果表述述和解釋釋1.3..2數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)挖掘1.數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)挖掘數(shù)據(jù)挖掘掘和數(shù)據(jù)據(jù)倉庫作作為決策策支持新新技術(shù),在近10年來得到到了迅速速發(fā)展.數(shù)據(jù)倉庫庫和數(shù)據(jù)據(jù)挖掘是是相互結(jié)結(jié)合起來來一起發(fā)發(fā)展的,二者是相相互影響響、相互互促進的的。二者者的聯(lián)系系可以概概括為以以下幾點點：（1）數(shù)據(jù)倉倉庫為數(shù)數(shù)據(jù)挖掘掘提供了了更好的的、更廣廣泛的數(shù)數(shù)據(jù)源（2）數(shù)據(jù)倉倉庫為數(shù)數(shù)據(jù)挖掘掘提供了了新的支支持平臺臺（3）數(shù)據(jù)倉倉庫為更更好地使使用數(shù)據(jù)據(jù)挖掘工工具提供供了方便便（4）數(shù)據(jù)挖挖掘為數(shù)數(shù)據(jù)倉庫庫提供了了更好的的決策支支持（5）數(shù)據(jù)挖挖掘?qū)?shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)組織提提供了更更高的要要求（6）數(shù)據(jù)挖挖掘還為為數(shù)據(jù)倉倉庫提供供了廣泛泛的技術(shù)術(shù)支持2.數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)挖掘的的區(qū)別數(shù)據(jù)倉庫庫是一種種存儲技技術(shù),它的數(shù)據(jù)據(jù)存儲量量是一般般數(shù)據(jù)庫庫的百倍倍,它包含大大量的歷歷史數(shù)據(jù)據(jù)、當前前的詳細細數(shù)據(jù)以以及綜合合數(shù)據(jù)，，能為不不同用戶戶的不同同決策需需求提供供所需的的數(shù)據(jù)和和信息。。3.基于數(shù)據(jù)據(jù)庫技術(shù)術(shù)的DSS解決方案案1.3..3數(shù)據(jù)倉庫庫未來發(fā)發(fā)展方向向1.數(shù)據(jù)倉庫庫技術(shù)和和應(yīng)用數(shù)據(jù)倉庫庫技術(shù)的的發(fā)展包包括數(shù)據(jù)據(jù)抽取、、數(shù)據(jù)管管理、數(shù)數(shù)據(jù)表現(xiàn)現(xiàn)和方法法論等方方面。數(shù)據(jù)倉庫庫的發(fā)展展趨勢主主要表現(xiàn)現(xiàn)在三個個方面：：（1）對非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)的處處理（2）實現(xiàn)共共享數(shù)據(jù)據(jù)（3）對信息息進行打打包2.國內(nèi)數(shù)據(jù)據(jù)倉庫的的需求與與應(yīng)用特特點國內(nèi)數(shù)據(jù)據(jù)倉庫的的需求主主要表現(xiàn)現(xiàn)在如下下方面：：（1）由于銀銀行商業(yè)業(yè)化的步步伐正在在加大，，各大、、中型銀銀行開始始重新考考慮自身身的業(yè)務(wù)務(wù)，特別別是加強強對自身身的信貸貸風險的的管理，，因而對對有關(guān)信信貸風險險管理和和風險規(guī)規(guī)避的決決策支持持系統(tǒng)的的需求逐逐漸多了了起來。。（2）由于電電子商務(wù)務(wù)的迅速速發(fā)展，，不少網(wǎng)網(wǎng)站開始始考慮如如何提高高對顧客客的忠誠誠度，為為客戶提提供更進進一步的的“貼身身”服務(wù)務(wù)。（3）各大型型企業(yè)如如移動通通信局等等開始考考慮著手手進行決決策支持持以及數(shù)