數(shù)據(jù)庫(kù)原理與應(yīng)用：分布式數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)

數(shù)據(jù)庫(kù)原理與應(yīng)用9.1.1分布式數(shù)據(jù)庫(kù)系統(tǒng)什么是分布式數(shù)據(jù)庫(kù)？分布式數(shù)據(jù)庫(kù)由一組數(shù)據(jù)組成，這些數(shù)據(jù)物理上分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同結(jié)點(diǎn)(亦稱場(chǎng)地)上，邏輯上是屬于同一個(gè)系統(tǒng)。分布性邏輯整體性分布式數(shù)據(jù)庫(kù)系統(tǒng)(續(xù))圖9.1一個(gè)分布式數(shù)據(jù)庫(kù)系統(tǒng)

［例1］如圖9.1所示分布式數(shù)據(jù)庫(kù)系統(tǒng)(續(xù))區(qū)分一個(gè)系統(tǒng)是若干集中式數(shù)據(jù)庫(kù)的簡(jiǎn)單連網(wǎng)還是分布式數(shù)據(jù)庫(kù)系統(tǒng)的技術(shù)要點(diǎn)在于：

系統(tǒng)是否支持全局應(yīng)用

一個(gè)典型的例子是銀行轉(zhuǎn)賬從一個(gè)分行的賬戶(設(shè)在DB1數(shù)據(jù)庫(kù))中轉(zhuǎn)移若干金額到另一個(gè)分行的賬戶(設(shè)在DB3數(shù)據(jù)庫(kù))中去要同時(shí)更新兩個(gè)結(jié)點(diǎn)上的數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)系統(tǒng)(續(xù))圖9.2一個(gè)多處理機(jī)系統(tǒng)(SN并行結(jié)構(gòu))［例2］如圖9.2所示分布式數(shù)據(jù)庫(kù)系統(tǒng)(續(xù))多處理機(jī)系統(tǒng)(SN并行結(jié)構(gòu))沒(méi)有局部應(yīng)用分布式數(shù)據(jù)庫(kù)不僅要求數(shù)據(jù)的物理分布，而且要求這種分布是面向處理、面向應(yīng)用的分布式數(shù)據(jù)庫(kù)系統(tǒng)(續(xù))分布式數(shù)據(jù)庫(kù)：分布式數(shù)據(jù)庫(kù)是由一組數(shù)據(jù)組成的，這組數(shù)據(jù)分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同計(jì)算機(jī)上，網(wǎng)絡(luò)中的每個(gè)結(jié)點(diǎn)具有獨(dú)立處理的能力(稱為場(chǎng)地自治)，可以執(zhí)行局部應(yīng)用。同時(shí)，每個(gè)結(jié)點(diǎn)也能通過(guò)網(wǎng)絡(luò)通信子系統(tǒng)執(zhí)行全局應(yīng)用。場(chǎng)地自治性自治場(chǎng)地之間的協(xié)作性9.1概述9.1.1分布式數(shù)據(jù)庫(kù)系統(tǒng)9.1.2分布式數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn)分布式數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn)(續(xù))一、數(shù)據(jù)獨(dú)立性邏輯獨(dú)立性物理獨(dú)立性數(shù)據(jù)分布獨(dú)立性(分布透明性)用戶的應(yīng)用程序書(shū)寫(xiě)起來(lái)就如同數(shù)據(jù)沒(méi)有分布一樣分布式數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn)(續(xù))二、集中與自治相結(jié)合的控制結(jié)構(gòu)數(shù)據(jù)共享：(1)局部共享(2)全局共享控制機(jī)制：集中自治分布式數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn)(續(xù))三、適當(dāng)增加數(shù)據(jù)冗余度提高系統(tǒng)的可靠性、可用性提高系統(tǒng)性能四、全局的一致性、可串行性和可恢復(fù)性局部數(shù)據(jù)庫(kù)要保證ACID全局?jǐn)?shù)據(jù)庫(kù)也要保證ACID9.2分布式數(shù)據(jù)庫(kù)系統(tǒng)的體系結(jié)構(gòu)9.2.1分布式數(shù)據(jù)庫(kù)系統(tǒng)的模式結(jié)構(gòu)9.2.2數(shù)據(jù)分片9.2.3分布透明性9.2.4分布式數(shù)據(jù)庫(kù)管理系統(tǒng)9.2.1分布式數(shù)據(jù)庫(kù)系統(tǒng)的模式結(jié)構(gòu)圖9.3分布式數(shù)據(jù)庫(kù)系統(tǒng)的模式結(jié)構(gòu)分布式數(shù)據(jù)庫(kù)系統(tǒng)的模式結(jié)構(gòu)(續(xù))分布式數(shù)據(jù)庫(kù)系統(tǒng)增加的模式級(jí)別(1)全局外模式(GlobalExternalSchema)(2)全局概念模式(GlobalConceptualSchema)(3)分片模式(FragmentationSchema)片段(Fragment)定義片段以及全局關(guān)系到片段的映象(4)分布模式(AllocationSchema)定義片段的存放地點(diǎn)9.2分布式數(shù)據(jù)庫(kù)系統(tǒng)的體系結(jié)構(gòu)9.2.1分布式數(shù)據(jù)庫(kù)系統(tǒng)的模式結(jié)構(gòu)9.2.2數(shù)據(jù)分片9.2.3分布透明性9.2.4分布式數(shù)據(jù)庫(kù)管理系統(tǒng)9.2.2數(shù)據(jù)分片數(shù)據(jù)分片有利于按照用戶的需求較好地組織數(shù)據(jù)的分布有利于控制數(shù)據(jù)的冗余度數(shù)據(jù)分片的方式水平分片垂直分片混合分片導(dǎo)出分片數(shù)據(jù)分片(續(xù))水平分片按一定的條件將關(guān)系按行(水平方向)分為若干不相交的子集，每個(gè)子集為關(guān)系的一個(gè)片段。垂直分片指將關(guān)系按列(垂直方向)分為若干子集。每個(gè)片段通常都包含關(guān)系的碼

數(shù)據(jù)分片(續(xù))導(dǎo)出分片是指導(dǎo)出水平分片，即水平分片的條件不是本身屬性的條件而是其他關(guān)系的屬性的條件。

數(shù)據(jù)分片(續(xù))[例]學(xué)生選課關(guān)系SC(Sno，Cno，Grade)，按照學(xué)生年齡＞18歲和≤18歲分片(學(xué)生年齡是學(xué)生關(guān)系Student的屬性)年齡＞18歲的學(xué)生選課片段由下面的查詢結(jié)果組成：

SELECTSno，Cno，GradeFROMS，SCWHERES.Sno＝SC.SnoANDS.Sage＞18；年齡≤18歲的片段SC_B由下面的查詢結(jié)果組成：

SELECTSno，Cno，GradeFROMS，SCWHERES.Sno＝SC.SnoANDS.Sage≤18；數(shù)據(jù)分片(續(xù))混合分片是指按上述三種分片方式得到的片段繼續(xù)按另一種方式分片。例如，先按垂直分片再按水平分片方式繼續(xù)分片。例如，先按水平分片得到的某一片段再進(jìn)行垂直分片。數(shù)據(jù)分片(續(xù))分片應(yīng)滿足的條件完全性不相交性可重構(gòu)性垂直分片：連接水平分片：并操作9.2分布式數(shù)據(jù)庫(kù)系統(tǒng)的體系結(jié)構(gòu)9.2.1分布式數(shù)據(jù)庫(kù)系統(tǒng)的模式結(jié)構(gòu)9.2.2數(shù)據(jù)分片9.2.3分布透明性9.2.4分布式數(shù)據(jù)庫(kù)管理系統(tǒng)9.2.3分布透明性分片透明性–最高層次用戶或應(yīng)用程序只對(duì)全局關(guān)系進(jìn)行操作而不必考慮關(guān)系的分片位置透明–下一層次用戶或應(yīng)用程序不必了解片段的存儲(chǔ)場(chǎng)地，當(dāng)存儲(chǔ)場(chǎng)地改變了，由于分片模式到分布模式的映像(映像3)，應(yīng)用程序不必改變局部數(shù)據(jù)模型透明性–較低層次是指用戶或用戶程序不必了解局部場(chǎng)地上使用的是哪種數(shù)據(jù)模型，模型的轉(zhuǎn)換以及數(shù)據(jù)庫(kù)語(yǔ)言的轉(zhuǎn)換均由映像4完成分布透明性(續(xù))［例1］設(shè)在分布式數(shù)據(jù)庫(kù)系統(tǒng)中有全局關(guān)系

Student(Sno，Sname，Sdept，Sage)Student關(guān)系被劃分為兩個(gè)片段S_A和S_B。

S_A代表理學(xué)院的學(xué)生，S_B代表文學(xué)院的學(xué)生。

S_A存儲(chǔ)在場(chǎng)地1(Site1)，S_B冗余地存儲(chǔ)在場(chǎng)地2和場(chǎng)地3上。分布透明性(續(xù))要求從終端讀入一個(gè)學(xué)號(hào)，查找該學(xué)號(hào)的學(xué)生姓名、年齡，并把它們顯示在屏幕上。設(shè)應(yīng)用程序是用嵌入SQL語(yǔ)句的C語(yǔ)言寫(xiě)的?，F(xiàn)給出查詢部分的算法思想。分布透明性(續(xù))情況1系統(tǒng)具有分片透明性

Scanf(“%s”,Snumber)；

EXECSQLSELECTSname,SageINTO:NAME,:AGEFROMStudentWHERESno

＝：Snumber；

Printf("%s，%d"，NAME，AGE)； 程序變量分布透明性(續(xù))情況2系統(tǒng)具有位置透明性，但不具有分片透明性

Scanf("%s“,Snumber);EXECSQLSELECTSname,SageINTO:NAME,:AGE

FROMS_AWHERESno

＝:Snumber;

If(!FOUND)｛

EXECSQLSELECTSname,SageINTO:NAME,:AGE

FROMS_B

WHERESno

＝:Snumber;

｝

Printf("%s,%d“,NAME,AGE)；分布透明性(續(xù))情況3系統(tǒng)只具有局部數(shù)據(jù)模型透明性，不具有位置透明性

Scanf("%s“,Snumber);EXECSQLSELECTSname,SageINTO:NAME,:AGE

FROMS_AATSite1

WHERESno

＝:Snumber;If(!FOUND){EXECSQLSELECTSname,SageINTO:NAME,:AGE

FROMS_BATSite2

WHERESno＝:Snumber; }

Printf(“%s,%d”,NAME,AGE);9.2分布式數(shù)據(jù)庫(kù)系統(tǒng)的體系結(jié)構(gòu)9.2.1分布式數(shù)據(jù)庫(kù)系統(tǒng)的模式結(jié)構(gòu)9.2.2數(shù)據(jù)分片9.2.3分布透明性9.2.4分布式數(shù)據(jù)庫(kù)管理系統(tǒng)9.2.4分布式數(shù)據(jù)庫(kù)管理系統(tǒng)分布式數(shù)據(jù)庫(kù)管理系統(tǒng)

(DistributedDataManagementSystem，D-DBMS)建立、管理和維護(hù)分布式數(shù)據(jù)庫(kù)的一組軟件

分布式數(shù)據(jù)庫(kù)管理系統(tǒng)(續(xù))D-DBMS的結(jié)構(gòu)分布式數(shù)據(jù)庫(kù)管理系統(tǒng)的結(jié)構(gòu)

分布式數(shù)據(jù)庫(kù)管理系統(tǒng)(續(xù))D-DBMS由四部分組成：(1)局部數(shù)據(jù)庫(kù)管理系統(tǒng)LDBMS(LocalDBMS)(2)全局?jǐn)?shù)據(jù)庫(kù)管理系統(tǒng)GDBMS(GlobalDBMS)(3)全局?jǐn)?shù)據(jù)字典(GlobalDataDirectory，GDD)(4)通信管理(CommunicationManagement，CM)分布式數(shù)據(jù)庫(kù)管理系統(tǒng)(續(xù))一、按全局控制方式分類1.全局控制集中的D-DBMS全局控制成分GDBMS集中在某一結(jié)點(diǎn)上，全局?jǐn)?shù)據(jù)字典只有一個(gè)，也存放在該結(jié)點(diǎn)上。2.全局控制分散的D-DBMS全局控制成分GDBMS分散在網(wǎng)絡(luò)的每一個(gè)結(jié)點(diǎn)上，全局?jǐn)?shù)據(jù)字典也在每個(gè)結(jié)點(diǎn)上存放一份。3.全局控制部分分散的D-DBMS根據(jù)應(yīng)用的需要將GDBMS和全局?jǐn)?shù)據(jù)字典分散在某些結(jié)點(diǎn)上。分布式數(shù)據(jù)庫(kù)管理系統(tǒng)(續(xù))二、按局部DBMS的類型分類同構(gòu)型D-DBMS每個(gè)結(jié)點(diǎn)的局部數(shù)據(jù)庫(kù)具有相同的DBMS即使操作系統(tǒng)和計(jì)算機(jī)硬件并不相同異構(gòu)型D-DBMS各結(jié)點(diǎn)的局部數(shù)據(jù)庫(kù)具有不同的DBMS第十章數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生操作型處理（也叫事務(wù)處理）：對(duì)數(shù)據(jù)庫(kù)聯(lián)機(jī)的日常操作，通常是對(duì)一個(gè)或一組記錄的查詢和修改特點(diǎn)：快速響應(yīng)用戶請(qǐng)求，對(duì)數(shù)據(jù)的安全性、完整性以及事務(wù)吞吐量要求很高。分析型處理：對(duì)數(shù)據(jù)的查詢和分析操作，通常是對(duì)海量的歷史數(shù)據(jù)查詢和分析特點(diǎn)：要訪問(wèn)的數(shù)據(jù)量非常大，查詢和分析的操作十分復(fù)雜。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)為了構(gòu)建新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲(chǔ)和組織技術(shù)10.1數(shù)據(jù)倉(cāng)庫(kù)技術(shù)表17.1操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取瞬間是準(zhǔn)確的代表過(guò)去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一元組一個(gè)時(shí)刻操作一集合事務(wù)驅(qū)動(dòng)分析驅(qū)動(dòng)面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理決策需求數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù))數(shù)據(jù)倉(cāng)庫(kù)定義：是一個(gè)用以更好地支持企業(yè)（或組織）決策分析處理的、面向主題的、集成的、不可更新的、隨時(shí)間不斷變化的數(shù)據(jù)集合。本質(zhì)上和數(shù)據(jù)庫(kù)一樣，是長(zhǎng)期儲(chǔ)存在計(jì)算機(jī)內(nèi)的、有組織、可共享的數(shù)據(jù)集合。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù))一、數(shù)據(jù)倉(cāng)庫(kù)的基本特征數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是面向主題的；數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是集成的；數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是不可更新的；數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是隨時(shí)間不斷變化的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù))二、數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織結(jié)構(gòu)

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù))三、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù))數(shù)據(jù)倉(cāng)庫(kù)的后臺(tái)工具包括數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載和維護(hù)(Maintain)工具。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器相當(dāng)于數(shù)據(jù)庫(kù)系統(tǒng)中的DBMS，負(fù)責(zé)管理數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存儲(chǔ)管理和數(shù)據(jù)存取，并給OLAP服務(wù)器和前臺(tái)工具提供存取接口(如SQL查詢接口)OLAP服務(wù)器透明地為前臺(tái)工具和用戶提供多維數(shù)據(jù)視圖

OLAP服務(wù)器則必須考慮物理上這些分析數(shù)據(jù)的存儲(chǔ)問(wèn)題前臺(tái)工具包括查詢報(bào)表工具、多維分析工具、數(shù)據(jù)挖掘工具和分析結(jié)果可視化工具等第十章數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)10.1數(shù)據(jù)倉(cāng)庫(kù)技術(shù)10.2聯(lián)機(jī)分析處理技術(shù)107.3數(shù)據(jù)挖掘技術(shù)10.2聯(lián)機(jī)分析處理技術(shù)OLAP(On-LineAnalyticalProcessing)即聯(lián)機(jī)分析處理，是以海量數(shù)據(jù)為基礎(chǔ)的復(fù)雜分析技術(shù)一、多維數(shù)據(jù)模型數(shù)據(jù)分析時(shí)用戶的數(shù)據(jù)視圖，是面向分析的數(shù)據(jù)模型，用于給分析人員提供多種觀察的視角和面向分析的操作可用這樣來(lái)一個(gè)多維數(shù)組來(lái)表示：(維1，維2，…，維n，度量值)聯(lián)機(jī)分析處理技術(shù)(續(xù))一、多維數(shù)據(jù)模型(續(xù))

例如：(地區(qū)，時(shí)間，電器商品種類，銷售額)

三維數(shù)組可以用一個(gè)立方體來(lái)直觀地表示一般地多維數(shù)組用多維立方體CUBE（超立方體）來(lái)表示聯(lián)機(jī)分析處理技術(shù)(續(xù))二、多維分析操作

常用的OLAP多維分析操作切片(slice)切塊(dice)旋轉(zhuǎn)(pivot)向上綜合(roll-up)向下鉆取(drill-down)等聯(lián)機(jī)分析處理技術(shù)(續(xù))三、OLAP的實(shí)現(xiàn)方式按照多維數(shù)據(jù)模型的不同實(shí)現(xiàn)方式MOLAP結(jié)構(gòu)ROLAP結(jié)構(gòu)HOLAP結(jié)構(gòu)OLAP的實(shí)現(xiàn)方式(續(xù))MOLAP結(jié)構(gòu)以多維立方體CUBE來(lái)組織數(shù)據(jù)，以多維數(shù)組來(lái)存儲(chǔ)數(shù)據(jù)，支持直接對(duì)多維數(shù)據(jù)的各種操作。多維數(shù)據(jù)庫(kù)(Multi-DimensionDataBase，簡(jiǎn)記為MDDB)。例如：Arbor公司的Essbase聯(lián)機(jī)分析處理技術(shù)(續(xù))ROLAP結(jié)構(gòu)用RDBMS或擴(kuò)展的RDBMS來(lái)管理多維數(shù)據(jù)，用關(guān)系的表來(lái)組織和存儲(chǔ)多維數(shù)據(jù)兩類表：一類是事實(shí)(fact)表，另一類是維表事實(shí)表用來(lái)描述和存儲(chǔ)多維立方體的度量值及各個(gè)維的碼值；維表用來(lái)描述維信息。ROLAP用“星形模式”和“雪片模式”來(lái)表示多維數(shù)據(jù)模型聯(lián)機(jī)分析處理技術(shù)(續(xù))星形模式（StarSchema）通常由一個(gè)中心表(事實(shí)表)和一組維表組成如下圖所示的星形模式星形模式的中心是銷售事實(shí)表維表有時(shí)間維表、顧客維表、銷售員維表、制造商維表和產(chǎn)品維表

圖10.4星形模式聯(lián)機(jī)分析處理技術(shù)(續(xù))雪片模式就是對(duì)維表按層次進(jìn)一步細(xì)化后形成的圖10.5雪片模式第十七章數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)17.1數(shù)據(jù)倉(cāng)庫(kù)技術(shù)17.2聯(lián)機(jī)分析處理技術(shù)17.3數(shù)據(jù)挖掘技術(shù)17.3數(shù)