CQI項目實施與管理工具的使用

數(shù)據(jù)倉庫基本概念2024/3/31數(shù)據(jù)倉庫基本概念[1]數(shù)據(jù)倉庫基本概念2024/3/31數(shù)據(jù)倉庫基本概念[1]1數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.2數(shù)據(jù)倉庫定義及基本特性1.3數(shù)據(jù)倉庫與決策支持系統(tǒng)1.4數(shù)據(jù)倉庫體系結(jié)構(gòu)1.5數(shù)據(jù)倉庫相關(guān)概念數(shù)據(jù)倉庫基本概念[1]數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫數(shù)據(jù)倉庫基本概念21.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場競爭的加劇，信息系統(tǒng)的用戶已經(jīng)不滿足于僅僅用計算機去處理每天所發(fā)生的事務(wù)數(shù)據(jù)，而是需要信息——能夠支持決策的信息，去幫助管理決策。這就需要一種能夠?qū)⑷粘I(yè)務(wù)處理中所收集到的各種數(shù)據(jù)轉(zhuǎn)變?yōu)榫哂猩虡I(yè)價值信息的技術(shù)，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法承擔這一責任。因為傳統(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱。這些不相稱性主要表現(xiàn)在決策處理中的系統(tǒng)響應(yīng)問題、決策數(shù)據(jù)需求的問題和決策數(shù)據(jù)操作的問題。數(shù)據(jù)倉庫基本概念[1]1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場競爭的加劇，信息系統(tǒng)的用31.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù))傳統(tǒng)的事務(wù)處理環(huán)境不適宜于決策支持應(yīng)用事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問題數(shù)據(jù)動態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題操作型環(huán)境和分析型環(huán)境的分離:數(shù)據(jù)抽取數(shù)據(jù)倉庫基本概念[1]1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù))傳統(tǒng)的事務(wù)處理環(huán)境不適宜于4現(xiàn)實生活中面臨的問題人們在日常生活中經(jīng)常會遇到這樣的情況：超市的經(jīng)營者希望將經(jīng)常被同時購買的商品放在一起，以增加銷售；保險公司想知道購買保險的客戶一般具有哪些特征；醫(yī)學研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；……數(shù)據(jù)倉庫基本概念[1]現(xiàn)實生活中面臨的問題人們在日常生活中經(jīng)常會遇到這樣的情況：數(shù)5企業(yè)面臨的問題經(jīng)過多年的計算機應(yīng)用和市場積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù),它是企業(yè)生產(chǎn)經(jīng)營活動的真實記錄由于缺乏集中存儲和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用,不能進行有效的統(tǒng)計、分析及評估，無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息數(shù)據(jù)倉庫基本概念[1]企業(yè)面臨的問題經(jīng)過多年的計算機應(yīng)用和市場積累，許多企業(yè)保存了6數(shù)據(jù)爆炸問題自動的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導致巨大的數(shù)據(jù)存儲在文件系統(tǒng)、數(shù)據(jù)庫和其它的信息庫中。我們會淹死在數(shù)據(jù)中,但卻為信息、知識所餓!數(shù)據(jù)倉庫基本概念[1]數(shù)據(jù)爆炸問題自動的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導致巨大的數(shù)7面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價值的閃光點？如何使您的企業(yè)或組織在激烈的市場競爭中保持對客戶的吸引力？如何預先發(fā)現(xiàn)和避免企業(yè)運作過程中不易察覺的商業(yè)風險？數(shù)據(jù)倉庫基本概念[1]面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價值的閃8數(shù)據(jù)倉庫應(yīng)運而生數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展是數(shù)據(jù)庫和OLTP技術(shù)發(fā)展、數(shù)據(jù)庫應(yīng)用深化的產(chǎn)物；目的是把數(shù)據(jù)庫中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進行決策服務(wù)。數(shù)據(jù)倉庫基本概念[1]數(shù)據(jù)倉庫應(yīng)運而生數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展是數(shù)據(jù)庫和OLTP技術(shù)發(fā)9討論話題一數(shù)據(jù)倉庫產(chǎn)生的源動力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動還是需求驅(qū)動的?數(shù)據(jù)倉庫基本概念[1]討論話題一數(shù)據(jù)倉庫產(chǎn)生的源動力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動10

“我們花了20多年的時間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿出來的時候了?！?/p>

----著名的數(shù)據(jù)倉庫專家RalphKimball市場需求是技術(shù)發(fā)展的源動力數(shù)據(jù)倉庫基本概念[1] “我們花了20多年的時間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿111.2數(shù)據(jù)倉庫定義及基本特性1.2.1數(shù)據(jù)倉庫定義1.2.2數(shù)據(jù)倉庫基本特性數(shù)據(jù)倉庫基本概念[1]1.2數(shù)據(jù)倉庫定義及基本特性1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫基121.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫（DataWarehouse）是一個面向主題的（SubjectOriented）集成的（Integrate）相對穩(wěn)定的（Non-Volatile）反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫基本概念[1]1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫（DataWarehouse131.2數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時間相關(guān)的、不可修改的數(shù)據(jù)集合。數(shù)據(jù)倉庫之父--BillInmon數(shù)據(jù)倉庫基本概念[1]1.2數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集141.2數(shù)據(jù)倉庫基本特性面向主題性數(shù)據(jù)集成性數(shù)據(jù)的時變性數(shù)據(jù)的非易失性數(shù)據(jù)倉庫基本概念[1]1.2數(shù)據(jù)倉庫基本特性面向主題性數(shù)據(jù)倉庫基本概念[1]15面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織的。確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)。不同的主題之間可能會出現(xiàn)相互重疊的信息。主題在數(shù)據(jù)倉庫中可以用多維數(shù)據(jù)庫方式進行存儲。主題的劃分中，必須保證每一個主題的獨立性。數(shù)據(jù)倉庫基本概念[1]面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)16數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進行抽取、篩選、清理、綜合等工作，最終集成到數(shù)據(jù)倉庫中。業(yè)務(wù)數(shù)據(jù)庫1業(yè)務(wù)數(shù)據(jù)庫2……業(yè)務(wù)數(shù)據(jù)庫n數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載數(shù)據(jù)倉庫基本概念[1]數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進行抽取、17數(shù)據(jù)的時變性數(shù)據(jù)應(yīng)該隨著時間的推移而發(fā)生變化，不斷地生成主題的新快照。存量數(shù)據(jù)T1時點增量數(shù)據(jù)……Tn時點增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時點主題數(shù)據(jù)……Tn時點主題數(shù)據(jù)數(shù)據(jù)倉庫基本概念[1]數(shù)據(jù)的時變性數(shù)據(jù)應(yīng)該隨著時間的推移而發(fā)生變化，不斷地生成主題18數(shù)據(jù)的非易失性數(shù)據(jù)的相對穩(wěn)定性。數(shù)據(jù)倉庫中的數(shù)據(jù)只進行刷新，從不進行更新處理。反映歷史變化。存量數(shù)據(jù)T1時點增量數(shù)據(jù)……Tn時點增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時點主題數(shù)據(jù)……Tn時點主題數(shù)據(jù)時間戳鎖定數(shù)據(jù)數(shù)據(jù)倉庫基本概念[1]數(shù)據(jù)的非易失性數(shù)據(jù)的相對穩(wěn)定性。存量數(shù)據(jù)T1時點增量數(shù)據(jù)……19討論話題二數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？數(shù)據(jù)倉庫基本概念[1]討論話題二數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？數(shù)據(jù)倉庫基本概念[1]20數(shù)據(jù)庫與數(shù)據(jù)倉庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當前值歷史的、存檔的、歸納的、計算的數(shù)據(jù)數(shù)據(jù)目標面向業(yè)務(wù)操作程序、重復處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復雜、適合操作計算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對響應(yīng)時間的要求以秒為單位計量以秒、分鐘、甚至小時為計量單位數(shù)據(jù)倉庫基本概念[1]數(shù)據(jù)庫與數(shù)據(jù)倉庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當前值歷211.3數(shù)據(jù)倉庫與決策支持系統(tǒng)決策支持系統(tǒng)的發(fā)展階段初始階段（DSS階段）與專家系統(tǒng)結(jié)合階段（IDSS階段）基于數(shù)據(jù)倉庫技術(shù)階段（BI階段）基于數(shù)據(jù)倉庫的決策支持系統(tǒng)數(shù)據(jù)倉庫基本概念[1]1.3數(shù)據(jù)倉庫與決策支持系統(tǒng)決策支持系統(tǒng)的發(fā)展階段數(shù)據(jù)倉庫基22DSS的先天不足DSS的先天不足決策所需信息不足，難以滿足決策支持系統(tǒng)的需要。模型庫提供的分析能力有限人機接口部件占整個DSS開發(fā)工作量的一半，成為DSS實施中的一個瓶頸。數(shù)據(jù)倉庫基本概念[1]DSS的先天不足DSS的先天不足數(shù)據(jù)倉庫基本概念[1]23基于數(shù)據(jù)倉庫的DSS基于數(shù)據(jù)倉庫的DSS數(shù)據(jù)倉庫為DSS的發(fā)展開辟了新途徑目前DSS的開發(fā)模式（BI解決方案）以數(shù)據(jù)倉庫技術(shù)為基礎(chǔ)以聯(lián)機分析、數(shù)據(jù)挖掘工具為手段數(shù)據(jù)倉庫基本概念[1]基于數(shù)據(jù)倉庫的DSS基于數(shù)據(jù)倉庫的DSS數(shù)據(jù)倉庫基本概念[1241.4數(shù)據(jù)倉庫體系結(jié)構(gòu)接口數(shù)據(jù)倉庫管理環(huán)境細節(jié)級數(shù)據(jù)數(shù)據(jù)集市1數(shù)據(jù)集市2數(shù)據(jù)集市n…ETL邏輯數(shù)據(jù)倉庫組織與管理數(shù)據(jù)利用元數(shù)據(jù)(MetaData)數(shù)據(jù)集市x主題數(shù)據(jù)∑主題數(shù)據(jù)∑主題數(shù)據(jù)∑業(yè)務(wù)數(shù)據(jù)系統(tǒng)市場調(diào)查信息數(shù)據(jù)源外部數(shù)據(jù)……OLAPDataMiningForecasting應(yīng)用環(huán)境專家經(jīng)驗數(shù)據(jù)數(shù)據(jù)倉庫基本概念[1]1.4數(shù)據(jù)倉庫體系結(jié)構(gòu)接數(shù)據(jù)倉庫管理環(huán)境細節(jié)級數(shù)據(jù)數(shù)據(jù)集市1251.4.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含：數(shù)據(jù)源、數(shù)據(jù)準備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識挖掘庫以及各種管理工具和應(yīng)用工具。數(shù)據(jù)集市/知識挖掘庫業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具應(yīng)用工具數(shù)據(jù)集市/知識挖掘庫數(shù)據(jù)倉庫基本概念[1]1.4.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含261.4.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)虛擬數(shù)據(jù)倉庫利用描述了業(yè)務(wù)系統(tǒng)中數(shù)據(jù)位置和抽取數(shù)據(jù)算法的元數(shù)據(jù)直接從業(yè)務(wù)系統(tǒng)中抽取查詢的數(shù)據(jù)進行概括、聚合操作后，將最終結(jié)果提供給用戶。

用戶圖1.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫基本概念[1]1.4.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)虛擬數(shù)據(jù)倉庫利用描述了業(yè)務(wù)系統(tǒng)271.4.3數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是按照主題進行構(gòu)思所形成的數(shù)據(jù)倉庫，沒有一個獨立的數(shù)據(jù)倉庫。系統(tǒng)的數(shù)據(jù)不存儲在同一數(shù)據(jù)倉庫中，每個主題有自己的物理存儲區(qū)。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題2數(shù)據(jù)倉庫基本概念[1]1.4.3數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是281.4.4單一數(shù)據(jù)倉庫結(jié)構(gòu)將所有的主題都集中到一個大型數(shù)據(jù)庫中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標準抽取到獨立的數(shù)據(jù)倉庫中，用戶在使用時再根據(jù)主題將數(shù)據(jù)倉庫中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)據(jù)集市2數(shù)據(jù)倉庫基本概念[1]1.4.4單一數(shù)據(jù)倉庫結(jié)構(gòu)將所有的主題都集中到一個大型數(shù)據(jù)庫291.4.5分布式數(shù)據(jù)倉庫結(jié)構(gòu)在企業(yè)各個分公司具有相當大的獨立性時，企業(yè)總部設(shè)置一個全局數(shù)據(jù)倉庫，各個分公司設(shè)置各自的局部數(shù)據(jù)倉庫。局部數(shù)據(jù)倉庫主要存儲各自的未經(jīng)轉(zhuǎn)換的細節(jié)數(shù)據(jù)，全局數(shù)據(jù)倉庫中主要存儲經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù)。

站點A站點B

總部站點C站點D

站點C站點D全局數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫數(shù)據(jù)倉庫基本概念[1]1.4.5分布式數(shù)據(jù)倉庫結(jié)構(gòu)在企業(yè)各個分公司具有相當大的獨立30討論話題三數(shù)據(jù)倉庫、數(shù)據(jù)集市、分析主題的關(guān)系是什么？在數(shù)據(jù)集市間如何保證數(shù)據(jù)的一致性？數(shù)據(jù)倉庫基本概念[1]討論話題三數(shù)據(jù)倉庫、數(shù)據(jù)集市、分析主題的關(guān)系是什么？數(shù)據(jù)倉庫311.5數(shù)據(jù)倉庫相關(guān)概念BI(商務(wù)智能)ETL（抽取、轉(zhuǎn)換、加載）METADATA（元數(shù)據(jù)）DATAMART(數(shù)據(jù)集市)SUBJECT(主題)DIMENSION(維度)數(shù)據(jù)倉庫基本概念[1]1.5數(shù)據(jù)倉庫相關(guān)概念數(shù)據(jù)倉庫基本概念[1]32商務(wù)智能簡單定義

綜合企業(yè)所有沉淀下來的信息，用科學的分析方法，為企業(yè)領(lǐng)導提供科學決策信息的過程。完整定義

基于數(shù)據(jù)倉庫技術(shù)的決策支持系統(tǒng)(DSS)。它

以數(shù)據(jù)倉庫（DW）技術(shù)為基礎(chǔ)，通過抽取、轉(zhuǎn)換和清洗將分散在企業(yè)各處的數(shù)據(jù)整合在一起，轉(zhuǎn)化為信息；進而以聯(lián)機分析處理（OLAP）工具、數(shù)據(jù)挖掘（DM）工具、報表工具為手段將信息提升為知識；最后運用可視化技術(shù)以快捷直觀的方式將探察分析結(jié)果呈現(xiàn)給最終用戶，為管理決策層提供量化依據(jù)的過程。數(shù)據(jù)倉庫基本概念[1]商務(wù)智能簡單定義數(shù)據(jù)倉庫基本概念[1]33ETL抽取、轉(zhuǎn)換、加載（ETL）數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換Transform）、清洗（Cleansing）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預先定義好的數(shù)