數(shù)據(jù)倉(cāng)庫(kù)環(huán)境-第二章

數(shù)據(jù)倉(cāng)庫(kù)環(huán)境-第二章數(shù)據(jù)倉(cāng)庫(kù)的定義以1992年出版《BuildingtheDataWarehouse》為標(biāo)志，數(shù)據(jù)倉(cāng)庫(kù)速度發(fā)展起來(lái)，Inmon也被譽(yù)為“數(shù)據(jù)倉(cāng)庫(kù)之父”。對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義是：“數(shù)據(jù)倉(cāng)庫(kù)是支持決策過(guò)程的、面向主題的、集成的、隨時(shí)間變化的、持久的數(shù)據(jù)集合。數(shù)據(jù)倉(cāng)庫(kù)是體系結(jié)構(gòu)化環(huán)境的核心,是決策支持系統(tǒng)DSS處理的基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的特征數(shù)據(jù)倉(cāng)庫(kù)是面向主題

(Subject-Orientation)的;數(shù)據(jù)倉(cāng)庫(kù)是集成(Integration)的;數(shù)據(jù)倉(cāng)庫(kù)是穩(wěn)定/非易失性

(Nonvolatile)的;數(shù)據(jù)倉(cāng)庫(kù)是隨時(shí)間變化

(TimeVagrancy)的;數(shù)據(jù)倉(cāng)庫(kù)是信息的概括和聚集。面向主題汽車人壽健康意外傷亡操作型環(huán)境應(yīng)用顧客保險(xiǎn)單保險(xiǎn)費(fèi)索賠數(shù)據(jù)倉(cāng)庫(kù)主題集成

操作型環(huán)境

應(yīng)用Am,f應(yīng)用B1,0應(yīng)用Cx,y應(yīng)用D男，女

數(shù)據(jù)倉(cāng)庫(kù)

m,f編碼應(yīng)用A管道cm應(yīng)用B管道inches應(yīng)用C管道m(xù)cf應(yīng)用D管道yds管道cm屬性度量應(yīng)用A描述應(yīng)用B描述應(yīng)用C描述應(yīng)用D描述應(yīng)用Achar(10)應(yīng)用Bdecfixed(9,2)應(yīng)用Cpic‘9999999’應(yīng)用Dchar(12)多重信息源描述char(12)沖突的鍵碼集成?操作型環(huán)境數(shù)據(jù)倉(cāng)庫(kù)JJones女1945年7月20日。。。JJones去年有兩張罰單一次大事故。。。JJonesMain大街123號(hào)已婚。。。JJones兩個(gè)孩子高血壓。。。人壽保險(xiǎn)汽車保險(xiǎn)房產(chǎn)保險(xiǎn)健康保險(xiǎn)JJones女1945年7月20日出生去年兩張罰單一次大事故已婚兩個(gè)孩子高血壓。。。顧客非易失性插入刪除插入修改刪除訪問(wèn)修改訪問(wèn)數(shù)據(jù)的逐個(gè)記錄方式處理數(shù)據(jù)的批量載入/訪問(wèn)操作型環(huán)境數(shù)據(jù)倉(cāng)庫(kù)隨時(shí)間變化操作型環(huán)境數(shù)據(jù)倉(cāng)庫(kù)時(shí)間期限：當(dāng)前到60—90天記錄更新鍵碼結(jié)構(gòu)可能包括也可能不包括時(shí)間元素時(shí)間期限：5—10年數(shù)據(jù)的復(fù)雜快照關(guān)鍵字結(jié)構(gòu)包括時(shí)間元素?cái)?shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)元數(shù)據(jù)高度綜合級(jí)輕度綜合級(jí)(數(shù)據(jù)集市)銷售細(xì)節(jié)級(jí)2000-2001操作型轉(zhuǎn)換早期細(xì)節(jié)級(jí)每月銷售1994-2001每周銷售1994-2001當(dāng)前細(xì)節(jié)級(jí)銷售細(xì)節(jié)級(jí)1994-1999面向主題數(shù)據(jù)倉(cāng)庫(kù)面向在高層企業(yè)數(shù)據(jù)模型中已定義好的企業(yè)主題域每個(gè)主要主題域都是以一組相關(guān)的表來(lái)具體實(shí)現(xiàn)的,一般通過(guò)一個(gè)公共關(guān)鍵字聯(lián)系起來(lái)數(shù)據(jù)倉(cāng)庫(kù)中可能有多個(gè)DBMS對(duì)數(shù)據(jù)進(jìn)行管理,或根本沒(méi)有DBMS管理GIS中表現(xiàn)為:河流、宗地、土地利用圖斑、地形等面向主題---“顧客”主題主題可能包含不同介質(zhì)上的數(shù)據(jù)每個(gè)表都有時(shí)間元素粒度粒度——是指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級(jí)別。粒度是設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)最重要的方面。細(xì)化程度越高，粒度級(jí)就越小；

細(xì)化程度越低，粒度級(jí)就越大。粒度——細(xì)節(jié)的級(jí)別粒度的劃分決定了數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)量的大小和查詢的詳細(xì)程度。多重粒度:圖幅比例尺大小、投影方式、數(shù)據(jù)采集的精度、數(shù)據(jù)的時(shí)間和空間分辨力、系統(tǒng)功能等來(lái)合理劃分不同的粒度。粒度——細(xì)節(jié)的級(jí)別高細(xì)化——低粒度例如：一個(gè)顧客一個(gè)月內(nèi)的每個(gè)的細(xì)節(jié)低細(xì)化——高粒度例如：一個(gè)顧客一個(gè)月內(nèi)的的綜合數(shù)據(jù)倉(cāng)庫(kù)中粒度化的數(shù)據(jù)是重用性的關(guān)鍵可利用數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)一致性進(jìn)行協(xié)調(diào)粒度數(shù)據(jù)包含了整個(gè)企業(yè)的活動(dòng)和事件歷史可以預(yù)測(cè)將來(lái)未知的需求低粒度化數(shù)據(jù)的優(yōu)點(diǎn):可由多個(gè)用戶以不同的方式使用低級(jí)別粒度具有更高的靈活性不足:粒度級(jí)別低會(huì)占用更多的存儲(chǔ)空間粒度級(jí)別低會(huì)降低數(shù)據(jù)的訪問(wèn)能力粒度級(jí)別低需要更多的索引項(xiàng)高粒度化數(shù)據(jù)的優(yōu)點(diǎn):如果數(shù)據(jù)倉(cāng)庫(kù)空間有限,高粒度表示數(shù)據(jù)將比用低粒度級(jí)表示效率高很多高粒度級(jí)只需要較少的字節(jié)表示,而且只需較少的索引數(shù)據(jù)壓縮在數(shù)據(jù)倉(cāng)庫(kù)中很有用不足:高粒度的數(shù)據(jù)回答細(xì)節(jié)查詢的能力較低DSS中對(duì)單個(gè)事件查詢很少數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)必須滿足實(shí)體需要的最低粒度級(jí)鑒于費(fèi)用,效率,訪問(wèn)的便利和能夠回答任何可以回答的查詢的能力,數(shù)據(jù)雙重粒度級(jí)是大多數(shù)機(jī)構(gòu)建造數(shù)據(jù)倉(cāng)庫(kù)細(xì)節(jié)級(jí)的最好的體系結(jié)構(gòu)選擇.只有當(dāng)一個(gè)機(jī)構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中數(shù)據(jù)相對(duì)較少時(shí),才能嘗試采用數(shù)據(jù)粒度的單一級(jí)別多重粒度級(jí)在該時(shí)間倉(cāng)庫(kù)中包括兩種類型數(shù)據(jù)：輕度綜合數(shù)據(jù)和細(xì)節(jié)數(shù)據(jù)大部分處理針對(duì)輕度綜合數(shù)據(jù)針對(duì)更大細(xì)節(jié)數(shù)據(jù)可以深入真實(shí)檔案層（<5%）活樣本數(shù)據(jù)庫(kù)活樣本數(shù)據(jù)庫(kù)是從數(shù)據(jù)倉(cāng)庫(kù)中取得的真實(shí)檔案數(shù)據(jù)或輕度綜合數(shù)據(jù)的一個(gè)子集.“活”是指這個(gè)數(shù)據(jù)庫(kù)需要進(jìn)行周期性的刷新.在某些情況下,使用活樣本數(shù)據(jù)庫(kù)可以節(jié)約大量資源活樣本數(shù)據(jù)庫(kù)不是通用的數(shù)據(jù)庫(kù),主要適于作統(tǒng)計(jì)分析和觀察發(fā)展趨勢(shì)數(shù)據(jù)裝載—用一個(gè)抽取/選擇程序搜索一個(gè)大規(guī)模的數(shù)據(jù)庫(kù),選擇其中部分記錄送到活樣本數(shù)據(jù)庫(kù)對(duì)活樣本中記錄的選取一般是隨機(jī)的，必要時(shí)可采用一個(gè)判斷樣本最大的好處—存取效率非常高，誤差在可接受范圍在活樣本數(shù)據(jù)庫(kù)中要想取得高精度的統(tǒng)計(jì)結(jié)果,需要將要求形式化,并在活樣本數(shù)據(jù)庫(kù)上進(jìn)行反復(fù)處理分區(qū)設(shè)計(jì)方法數(shù)據(jù)分區(qū)是指把數(shù)據(jù)分散到可獨(dú)立處理的分離物理單元中.數(shù)據(jù)分區(qū)的優(yōu)點(diǎn):數(shù)據(jù)裝載數(shù)據(jù)訪問(wèn)數(shù)據(jù)存檔數(shù)據(jù)刪除數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)存儲(chǔ)分區(qū)的目的—把數(shù)據(jù)劃分成小的可管理的物理單元任何給定的數(shù)據(jù)單元屬于且僅屬于一個(gè)分區(qū)分區(qū)設(shè)計(jì)方法數(shù)據(jù)分區(qū)的標(biāo)準(zhǔn):時(shí)間業(yè)務(wù)范圍地理位置組織單位所有上述標(biāo)準(zhǔn)其中,日期幾乎總是分區(qū)標(biāo)準(zhǔn)中的一個(gè)必然組成部分分區(qū)方式:系統(tǒng)層上分區(qū)—一定程度上指某些DBMS和操作系統(tǒng)的功能應(yīng)用層上分區(qū)—由設(shè)計(jì)的應(yīng)用程序完成,并由開(kāi)發(fā)者和程序員嚴(yán)格控制應(yīng)用層上分區(qū)相對(duì)更有意義,因?yàn)槊磕甑臄?shù)據(jù)可以有不同的定義,而且數(shù)據(jù)從一個(gè)物理設(shè)備轉(zhuǎn)到另一個(gè)物理設(shè)備不會(huì)有問(wèn)題數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織簡(jiǎn)單堆積數(shù)據(jù)輪轉(zhuǎn)綜合數(shù)據(jù)簡(jiǎn)化直接數(shù)據(jù)連續(xù)數(shù)據(jù)簡(jiǎn)單堆積文件1月1日1月2日1月3日……2月1日2月2日2月3日……3月1日3月2日3月3日……………………輪轉(zhuǎn)綜合文件星期一星期二……星期天第一周第二周……第五周一月二月……十二月

………………輪轉(zhuǎn)綜合文件與簡(jiǎn)單堆積結(jié)構(gòu)的比較簡(jiǎn)單直接文件數(shù)據(jù)庫(kù)快照姓名顧客號(hào)地址張平C960100北京王珂C960101上海劉輝C960102天津李強(qiáng)C960103成都

...

一月份顧客表操作型數(shù)據(jù)生成簡(jiǎn)化直接文件連續(xù)文件姓名顧客號(hào)地址張平C020100北京王珂C020101上海張順C020102天津李強(qiáng)C020103成都姓名顧客號(hào)地址張平C020100北京王珂C020101上海張順C020101廣州李強(qiáng)C020103成都劉誠(chéng)C020105杭州姓名顧客號(hào)日期地址張平C0201001-2月北京王珂C0201011-2月上海張順C0201031月天津張順C0201032月廣州李強(qiáng)C0201031-2月成都劉誠(chéng)C0201052月杭州1月份顧客表2月份顧客表1-2月份顧客表審計(jì)與數(shù)據(jù)倉(cāng)庫(kù)能對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行審計(jì),但不該審計(jì),原因在于:原先在數(shù)據(jù)倉(cāng)庫(kù)中沒(méi)有的數(shù)據(jù)會(huì)突然出現(xiàn)當(dāng)需要審計(jì)能力時(shí),數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)的時(shí)間標(biāo)定過(guò)程會(huì)發(fā)生急劇變化當(dāng)需要審計(jì)能力時(shí),數(shù)據(jù)倉(cāng)庫(kù)的備份和恢復(fù)限制會(huì)發(fā)生急劇變化會(huì)使數(shù)據(jù)粒度處于最低的級(jí)別上數(shù)據(jù)的同構(gòu)/異構(gòu)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是異構(gòu)的第一次劃分是按企業(yè)主要主題進(jìn)行的，但每一個(gè)主題域還有更細(xì)的劃分，主題域中的數(shù)據(jù)又劃分到多個(gè)表中。數(shù)據(jù)的同構(gòu)/異構(gòu)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)按下列標(biāo)準(zhǔn)劃分：主題域表數(shù)據(jù)在表中的位置基于數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)建立的體系結(jié)構(gòu)，數(shù)據(jù)的各個(gè)部分非常容易理解和訪問(wèn)。數(shù)據(jù)倉(cāng)庫(kù)中的錯(cuò)誤數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)出錯(cuò)時(shí),具有多種解決方案.但每種方法都是優(yōu)勢(shì)與劣執(zhí)共存,沒(méi)有一種是絕對(duì)正確或錯(cuò)誤的.只是在某種條件下一種占優(yōu).例：假設(shè)7月1日在操作型系統(tǒng)中，賬戶ABC加入了一條5000美元的賬目。7月2日在數(shù)據(jù)倉(cāng)庫(kù)中為賬戶ABC產(chǎn)生了這5000美元賬目的一個(gè)快照。接著，在8月15日發(fā)現(xiàn)錯(cuò)誤。這個(gè)賬目不是5000美元，而是750美元。那么，該如何糾正這個(gè)錯(cuò)誤呢？數(shù)據(jù)倉(cāng)庫(kù)中的錯(cuò)誤數(shù)據(jù)修正方法一：直接將7月2日的數(shù)據(jù)5000修改為750，問(wèn)題：數(shù)據(jù)集成破壞更新必須在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中