數(shù)據(jù)倉庫基本概念課件

數(shù)據(jù)倉庫基礎(chǔ)知識(shí)數(shù)據(jù)倉庫基礎(chǔ)知識(shí)第一章數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.2數(shù)據(jù)倉庫定義及基本特性1.3數(shù)據(jù)倉庫體系結(jié)構(gòu)1.4數(shù)據(jù)倉庫相關(guān)概念第一章數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場競爭的加劇，信息系統(tǒng)的用戶已經(jīng)不滿足于僅僅用計(jì)算機(jī)去處理每天所發(fā)生的事務(wù)數(shù)據(jù)，而是需要信息——能夠支持決策的信息，去幫助管理決策。這就需要一種能夠?qū)⑷粘I(yè)務(wù)處理中所收集到的各種數(shù)據(jù)轉(zhuǎn)變?yōu)榫哂猩虡I(yè)價(jià)值信息的技術(shù)，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法承擔(dān)這一責(zé)任。因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱。這些不相稱性主要表現(xiàn)在決策處理中的系統(tǒng)響應(yīng)問題、決策數(shù)據(jù)需求的問題和決策數(shù)據(jù)操作的問題。1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場競爭的加劇，信息系統(tǒng)的用1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù))傳統(tǒng)的事務(wù)處理環(huán)境不適宜于決策支持應(yīng)用事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問題數(shù)據(jù)動(dòng)態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題操作型環(huán)境和分析型環(huán)境的分離:數(shù)據(jù)抽取1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù))傳統(tǒng)的事務(wù)處理環(huán)境不適宜于現(xiàn)實(shí)生活中面臨的問題人們在日常生活中經(jīng)常會(huì)遇到這樣的情況：超市的經(jīng)營者希望將經(jīng)常被同時(shí)購買的商品放在一起，以增加銷售；保險(xiǎn)公司想知道購買保險(xiǎn)的客戶一般具有哪些特征；醫(yī)學(xué)研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；……現(xiàn)實(shí)生活中面臨的問題人們在日常生活中經(jīng)常會(huì)遇到這樣的情況：企業(yè)面臨的問題經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù),它是企業(yè)生產(chǎn)經(jīng)營活動(dòng)的真實(shí)記錄由于缺乏集中存儲(chǔ)和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用,不能進(jìn)行有效的統(tǒng)計(jì)、分析及評估，無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息企業(yè)面臨的問題經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場積累，許多企業(yè)保存了數(shù)據(jù)爆炸問題自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)、數(shù)據(jù)庫和其它的信息庫中。我們會(huì)淹死在數(shù)據(jù)中,但卻為信息、知識(shí)所餓!數(shù)據(jù)爆炸問題自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃光點(diǎn)？如何使您的企業(yè)或組織在激烈的市場競爭中保持對客戶的吸引力？如何預(yù)先發(fā)現(xiàn)和避免企業(yè)運(yùn)作過程中不易察覺的商業(yè)風(fēng)險(xiǎn)？面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃數(shù)據(jù)倉庫應(yīng)運(yùn)而生數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展是數(shù)據(jù)庫和OLTP技術(shù)發(fā)展、數(shù)據(jù)庫應(yīng)用深化的產(chǎn)物；目的是把數(shù)據(jù)庫中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進(jìn)行決策服務(wù)。數(shù)據(jù)倉庫應(yīng)運(yùn)而生數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展是數(shù)據(jù)庫和OLTP技術(shù)發(fā)討論話題一數(shù)據(jù)倉庫產(chǎn)生的源動(dòng)力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動(dòng)還是需求驅(qū)動(dòng)的?討論話題一數(shù)據(jù)倉庫產(chǎn)生的源動(dòng)力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動(dòng)

“我們花了20多年的時(shí)間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿出來的時(shí)候了?！?/p>

----著名的數(shù)據(jù)倉庫專家RalphKimball市場需求是技術(shù)發(fā)展的源動(dòng)力 “我們花了20多年的時(shí)間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿1.2數(shù)據(jù)倉庫定義及基本特性1.2.1數(shù)據(jù)倉庫定義1.2.2數(shù)據(jù)倉庫基本特性1.2數(shù)據(jù)倉庫定義及基本特性1.2.1數(shù)據(jù)倉庫定義1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫（DataWarehouse）是一個(gè)面向主題的（SubjectOriented）集成的（Integrate）相對穩(wěn)定的（Non-Volatile）反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫（DataWarehouse1.2數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。數(shù)據(jù)倉庫之父--BillInmon1.2數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集1.2數(shù)據(jù)倉庫基本特性面向主題性數(shù)據(jù)集成性數(shù)據(jù)的時(shí)變性數(shù)據(jù)的非易失性1.2數(shù)據(jù)倉庫基本特性面向主題性面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織的。確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)。不同的主題之間可能會(huì)出現(xiàn)相互重疊的信息。主題在數(shù)據(jù)倉庫中可以用多維數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)。主題的劃分中，必須保證每一個(gè)主題的獨(dú)立性。面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作，最終集成到數(shù)據(jù)倉庫中。業(yè)務(wù)數(shù)據(jù)庫1業(yè)務(wù)數(shù)據(jù)庫2……業(yè)務(wù)數(shù)據(jù)庫n數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、數(shù)據(jù)的時(shí)變性數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化，不斷地生成主題的新快照。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)……Tn時(shí)點(diǎn)增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時(shí)點(diǎn)主題數(shù)據(jù)……Tn時(shí)點(diǎn)主題數(shù)據(jù)數(shù)據(jù)的時(shí)變性數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化，不斷地生成主題數(shù)據(jù)的非易失性數(shù)據(jù)的相對穩(wěn)定性。數(shù)據(jù)倉庫中的數(shù)據(jù)只進(jìn)行刷新，從不進(jìn)行更新處理。反映歷史變化。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)……Tn時(shí)點(diǎn)增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時(shí)點(diǎn)主題數(shù)據(jù)……Tn時(shí)點(diǎn)主題數(shù)據(jù)時(shí)間戳鎖定數(shù)據(jù)數(shù)據(jù)的非易失性數(shù)據(jù)的相對穩(wěn)定性。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)……討論話題二數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？討論話題二數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？數(shù)據(jù)庫與數(shù)據(jù)倉庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時(shí)添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計(jì)算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個(gè)事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對響應(yīng)時(shí)間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時(shí)為計(jì)量單位數(shù)據(jù)庫與數(shù)據(jù)倉庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷1.3數(shù)據(jù)倉庫體系結(jié)構(gòu)接口數(shù)據(jù)倉庫管理環(huán)境細(xì)節(jié)級數(shù)據(jù)數(shù)據(jù)集市1數(shù)據(jù)集市2數(shù)據(jù)集市n…ETL邏輯數(shù)據(jù)倉庫組織與管理數(shù)據(jù)利用元數(shù)據(jù)(MetaData)數(shù)據(jù)集市x主題數(shù)據(jù)∑主題數(shù)據(jù)∑主題數(shù)據(jù)∑業(yè)務(wù)數(shù)據(jù)系統(tǒng)市場調(diào)查信息數(shù)據(jù)源外部數(shù)據(jù)……OLAPDataMiningForecasting應(yīng)用環(huán)境專家經(jīng)驗(yàn)數(shù)據(jù)1.3數(shù)據(jù)倉庫體系結(jié)構(gòu)接數(shù)據(jù)倉庫管理環(huán)境細(xì)節(jié)級數(shù)據(jù)數(shù)據(jù)集市11.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含：數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識(shí)挖掘庫以及各種管理工具和應(yīng)用工具。數(shù)據(jù)集市/知識(shí)挖掘庫業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具應(yīng)用工具數(shù)據(jù)集市/知識(shí)挖掘庫1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含1.3.2數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是按照主題進(jìn)行構(gòu)思所形成的數(shù)據(jù)倉庫，沒有一個(gè)獨(dú)立的數(shù)據(jù)倉庫。系統(tǒng)的數(shù)據(jù)不存儲(chǔ)在同一數(shù)據(jù)倉庫中，每個(gè)主題有自己的物理存儲(chǔ)區(qū)。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題21.3.2數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是1.3.3單一數(shù)據(jù)倉庫結(jié)構(gòu)將所有的主題都集中到一個(gè)大型數(shù)據(jù)庫中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標(biāo)準(zhǔn)抽取到獨(dú)立的數(shù)據(jù)倉庫中，用戶在使用時(shí)再根據(jù)主題將數(shù)據(jù)倉庫中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)據(jù)集市21.3.3單一數(shù)據(jù)倉庫結(jié)構(gòu)將所有的主題都集中到一個(gè)大型數(shù)據(jù)庫1.3.4分布式數(shù)據(jù)倉庫結(jié)構(gòu)在企業(yè)各個(gè)分公司具有相當(dāng)大的獨(dú)立性時(shí)，企業(yè)總部設(shè)置一個(gè)全局?jǐn)?shù)據(jù)倉庫，各個(gè)分公司設(shè)置各自的局部數(shù)據(jù)倉庫。局部數(shù)據(jù)倉庫主要存儲(chǔ)各自的未經(jīng)轉(zhuǎn)換的細(xì)節(jié)數(shù)據(jù)，全局?jǐn)?shù)據(jù)倉庫中主要存儲(chǔ)經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù)。

站點(diǎn)A站點(diǎn)B

總部

站點(diǎn)C站點(diǎn)D

站點(diǎn)C站點(diǎn)D全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫1.3.4分布式數(shù)據(jù)倉庫結(jié)構(gòu)在企業(yè)各個(gè)分公司具有相當(dāng)大的獨(dú)立1.4數(shù)據(jù)倉庫相關(guān)概念BI(商務(wù)智能)ETL（抽取、轉(zhuǎn)換、加載）METADATA（元數(shù)據(jù)）DATAMART(數(shù)據(jù)集市)SUBJECT(主題)DIMENSION(維度)1.4數(shù)據(jù)倉庫相關(guān)概念商務(wù)智能簡單定義

綜合企業(yè)所有沉淀下來的信息，用科學(xué)的分析方法，為企業(yè)領(lǐng)導(dǎo)提供科學(xué)決策信息的過程。完整定義

基于數(shù)據(jù)倉庫技術(shù)的決策支持系統(tǒng)(DSS)。它

以數(shù)據(jù)倉庫（DW）技術(shù)為基礎(chǔ)，通過抽取、轉(zhuǎn)換和清洗將分散在企業(yè)各處的數(shù)據(jù)整合在一起，轉(zhuǎn)化為信息；進(jìn)而以聯(lián)機(jī)分析處理（OLAP）工具、數(shù)據(jù)挖掘（DM）工具、報(bào)表工具為手段將信息提升為知識(shí)；最后運(yùn)用可視化技術(shù)以快捷直觀的方式將探察分析結(jié)果呈現(xiàn)給最終用戶，為管理決策層提供量化依據(jù)的過程。商務(wù)智能簡單定義ETL抽取、轉(zhuǎn)換、加載（ETL）數(shù)據(jù)抽取（Extract）、轉(zhuǎn)換Transform）、清洗（Cleansing）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。ETL抽取、轉(zhuǎn)換、加載（ETL）元數(shù)據(jù)元數(shù)據(jù)（MetaData）

關(guān)于數(shù)據(jù)倉庫的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標(biāo)定義，轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時(shí)元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息，所有這些信息都應(yīng)當(dāng)妥善保存，并很好地管理。為數(shù)據(jù)倉庫的發(fā)展和使用提供方便。元數(shù)據(jù)元數(shù)據(jù)（MetaData）數(shù)據(jù)集市數(shù)據(jù)集市（Datamart） 即”小數(shù)據(jù)倉庫”。如果說數(shù)據(jù)倉庫是建立在企業(yè)級的數(shù)據(jù)模型之上的話。那么數(shù)據(jù)集市就是企業(yè)級數(shù)據(jù)倉庫的一個(gè)子集，他主要面向部門級業(yè)務(wù)，并且只是面向某個(gè)特定的主題。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉庫的瓶頸。數(shù)據(jù)集市數(shù)據(jù)集市（Datamart）主題主題（SUBJECT）是一個(gè)在較高層次將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個(gè)主題對應(yīng)一個(gè)宏觀的分析領(lǐng)域，針對具體決策需求可細(xì)化為多個(gè)主題表，具體來說就是確定決策涉及的范圍和所要解決的問題。主題主題（SUBJECT）維度維度(DIMENSION）

是人們觀察數(shù)據(jù)的特定角度，是考慮問題時(shí)的一類屬性，屬性集合構(gòu)成一個(gè)維(時(shí)間維、地理維等)。維度維度(DIMENSION）數(shù)據(jù)倉庫基礎(chǔ)知識(shí)數(shù)據(jù)倉庫基礎(chǔ)知識(shí)第一章數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.2數(shù)據(jù)倉庫定義及基本特性1.3數(shù)據(jù)倉庫體系結(jié)構(gòu)1.4數(shù)據(jù)倉庫相關(guān)概念第一章數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場競爭的加劇，信息系統(tǒng)的用戶已經(jīng)不滿足于僅僅用計(jì)算機(jī)去處理每天所發(fā)生的事務(wù)數(shù)據(jù)，而是需要信息——能夠支持決策的信息，去幫助管理決策。這就需要一種能夠?qū)⑷粘I(yè)務(wù)處理中所收集到的各種數(shù)據(jù)轉(zhuǎn)變?yōu)榫哂猩虡I(yè)價(jià)值信息的技術(shù)，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法承擔(dān)這一責(zé)任。因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱。這些不相稱性主要表現(xiàn)在決策處理中的系統(tǒng)響應(yīng)問題、決策數(shù)據(jù)需求的問題和決策數(shù)據(jù)操作的問題。1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場競爭的加劇，信息系統(tǒng)的用1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù))傳統(tǒng)的事務(wù)處理環(huán)境不適宜于決策支持應(yīng)用事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問題數(shù)據(jù)動(dòng)態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題操作型環(huán)境和分析型環(huán)境的分離:數(shù)據(jù)抽取1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù))傳統(tǒng)的事務(wù)處理環(huán)境不適宜于現(xiàn)實(shí)生活中面臨的問題人們在日常生活中經(jīng)常會(huì)遇到這樣的情況：超市的經(jīng)營者希望將經(jīng)常被同時(shí)購買的商品放在一起，以增加銷售；保險(xiǎn)公司想知道購買保險(xiǎn)的客戶一般具有哪些特征；醫(yī)學(xué)研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；……現(xiàn)實(shí)生活中面臨的問題人們在日常生活中經(jīng)常會(huì)遇到這樣的情況：企業(yè)面臨的問題經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù),它是企業(yè)生產(chǎn)經(jīng)營活動(dòng)的真實(shí)記錄由于缺乏集中存儲(chǔ)和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用,不能進(jìn)行有效的統(tǒng)計(jì)、分析及評估，無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息企業(yè)面臨的問題經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場積累，許多企業(yè)保存了數(shù)據(jù)爆炸問題自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)、數(shù)據(jù)庫和其它的信息庫中。我們會(huì)淹死在數(shù)據(jù)中,但卻為信息、知識(shí)所餓!數(shù)據(jù)爆炸問題自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃光點(diǎn)？如何使您的企業(yè)或組織在激烈的市場競爭中保持對客戶的吸引力？如何預(yù)先發(fā)現(xiàn)和避免企業(yè)運(yùn)作過程中不易察覺的商業(yè)風(fēng)險(xiǎn)？面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃數(shù)據(jù)倉庫應(yīng)運(yùn)而生數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展是數(shù)據(jù)庫和OLTP技術(shù)發(fā)展、數(shù)據(jù)庫應(yīng)用深化的產(chǎn)物；目的是把數(shù)據(jù)庫中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進(jìn)行決策服務(wù)。數(shù)據(jù)倉庫應(yīng)運(yùn)而生數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展是數(shù)據(jù)庫和OLTP技術(shù)發(fā)討論話題一數(shù)據(jù)倉庫產(chǎn)生的源動(dòng)力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動(dòng)還是需求驅(qū)動(dòng)的?討論話題一數(shù)據(jù)倉庫產(chǎn)生的源動(dòng)力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動(dòng)

“我們花了20多年的時(shí)間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿出來的時(shí)候了。”

----著名的數(shù)據(jù)倉庫專家RalphKimball市場需求是技術(shù)發(fā)展的源動(dòng)力 “我們花了20多年的時(shí)間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿1.2數(shù)據(jù)倉庫定義及基本特性1.2.1數(shù)據(jù)倉庫定義1.2.2數(shù)據(jù)倉庫基本特性1.2數(shù)據(jù)倉庫定義及基本特性1.2.1數(shù)據(jù)倉庫定義1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫（DataWarehouse）是一個(gè)面向主題的（SubjectOriented）集成的（Integrate）相對穩(wěn)定的（Non-Volatile）反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫（DataWarehouse1.2數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。數(shù)據(jù)倉庫之父--BillInmon1.2數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集1.2數(shù)據(jù)倉庫基本特性面向主題性數(shù)據(jù)集成性數(shù)據(jù)的時(shí)變性數(shù)據(jù)的非易失性1.2數(shù)據(jù)倉庫基本特性面向主題性面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織的。確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)。不同的主題之間可能會(huì)出現(xiàn)相互重疊的信息。主題在數(shù)據(jù)倉庫中可以用多維數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)。主題的劃分中，必須保證每一個(gè)主題的獨(dú)立性。面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作，最終集成到數(shù)據(jù)倉庫中。業(yè)務(wù)數(shù)據(jù)庫1業(yè)務(wù)數(shù)據(jù)庫2……業(yè)務(wù)數(shù)據(jù)庫n數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、數(shù)據(jù)的時(shí)變性數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化，不斷地生成主題的新快照。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)……Tn時(shí)點(diǎn)增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時(shí)點(diǎn)主題數(shù)據(jù)……Tn時(shí)點(diǎn)主題數(shù)據(jù)數(shù)據(jù)的時(shí)變性數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化，不斷地生成主題數(shù)據(jù)的非易失性數(shù)據(jù)的相對穩(wěn)定性。數(shù)據(jù)倉庫中的數(shù)據(jù)只進(jìn)行刷新，從不進(jìn)行更新處理。反映歷史變化。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)……Tn時(shí)點(diǎn)增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時(shí)點(diǎn)主題數(shù)據(jù)……Tn時(shí)點(diǎn)主題數(shù)據(jù)時(shí)間戳鎖定數(shù)據(jù)數(shù)據(jù)的非易失性數(shù)據(jù)的相對穩(wěn)定性。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)……討論話題二數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？討論話題二數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？數(shù)據(jù)庫與數(shù)據(jù)倉庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時(shí)添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計(jì)算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個(gè)事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對響應(yīng)時(shí)間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時(shí)為計(jì)量單位數(shù)據(jù)庫與數(shù)據(jù)倉庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷1.3數(shù)據(jù)倉庫體系結(jié)構(gòu)接口數(shù)據(jù)倉庫管理環(huán)境細(xì)節(jié)級數(shù)據(jù)數(shù)據(jù)集市1數(shù)據(jù)集市2數(shù)據(jù)集市n…ETL邏輯數(shù)據(jù)倉庫組織與管理數(shù)據(jù)利用元數(shù)據(jù)(MetaData)數(shù)據(jù)集市x主題數(shù)據(jù)∑主題數(shù)據(jù)∑主題數(shù)據(jù)∑業(yè)務(wù)數(shù)據(jù)系統(tǒng)市場調(diào)查信息數(shù)據(jù)源外部數(shù)據(jù)……OLAPDataMiningForecasting應(yīng)用環(huán)境專家經(jīng)驗(yàn)數(shù)據(jù)1.3數(shù)據(jù)倉庫體系結(jié)構(gòu)接數(shù)據(jù)倉庫管理環(huán)境細(xì)節(jié)級數(shù)據(jù)數(shù)據(jù)集市11.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含：數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識(shí)挖掘庫以及各種管理工具和應(yīng)用工具。數(shù)據(jù)集市/知識(shí)挖掘庫業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具應(yīng)用工具數(shù)據(jù)集市/知識(shí)挖掘庫1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含1.3.2數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是按照主題進(jìn)行構(gòu)思所形成的數(shù)據(jù)倉庫，沒有一個(gè)獨(dú)立的數(shù)據(jù)倉庫。系統(tǒng)的數(shù)據(jù)不存儲(chǔ)在同一數(shù)據(jù)倉庫中，每個(gè)主題有自己的物理存儲(chǔ)區(qū)。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題21.3.2數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是1.3.3單一數(shù)據(jù)倉庫結(jié)構(gòu)將所有的主題都集中到一個(gè)大型數(shù)據(jù)庫中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標(biāo)準(zhǔn)抽取到獨(dú)立的數(shù)據(jù)倉庫中，用戶在使用時(shí)再根據(jù)主題將數(shù)據(jù)倉庫中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)據(jù)集市21.3.3單一數(shù)據(jù)倉庫結(jié)構(gòu)將所有的主題都集中到一個(gè)大型數(shù)據(jù)庫1.3.4分布式數(shù)據(jù)倉庫結(jié)構(gòu)在企業(yè)各個(gè)分公司具有相當(dāng)大的獨(dú)立性時(shí)，企業(yè)總部設(shè)置一個(gè)全局?jǐn)?shù)據(jù)倉庫，各個(gè)分公司設(shè)置各自的局部數(shù)據(jù)倉庫。局部數(shù)據(jù)倉庫主要存儲(chǔ)各自的未經(jīng)轉(zhuǎn)換的細(xì)節(jié)數(shù)據(jù)，全局?jǐn)?shù)據(jù)倉庫中主要存儲(chǔ)經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù)。

站點(diǎn)A站點(diǎn)B

總部

站點(diǎn)C站點(diǎn)D

站點(diǎn)C站點(diǎn)D全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫