村上崗-第1講 分布式數(shù)據(jù)庫(kù)系統(tǒng)概論

1、第一(dy)講 分布式數(shù)據(jù)庫(kù)系統(tǒng)概論共五十五頁(yè)1 什么是分布式數(shù)據(jù)庫(kù)系統(tǒng)？2 課程教學(xué)(jio xu)思路3 課程考核方法第2頁(yè)，共73頁(yè)內(nèi)容提要(ni rn t yo)共五十五頁(yè)1.1 分布式數(shù)據(jù)庫(kù)系統(tǒng)的產(chǎn)生1.2 分布式數(shù)據(jù)庫(kù)系統(tǒng)的定義(dngy)1.3 分布式數(shù)據(jù)庫(kù)系統(tǒng)的發(fā)展及研究熱點(diǎn)1.4 分布式數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展趨勢(shì) 第3頁(yè)，共73頁(yè)1 什么(shn me)是分布式數(shù)據(jù)庫(kù)系統(tǒng)？共五十五頁(yè)1.1 分布式數(shù)據(jù)庫(kù)系統(tǒng)的產(chǎn)生(chnshng)分布式數(shù)據(jù)庫(kù)系統(tǒng)的產(chǎn)生是隨著各大網(wǎng)站的信息訪問(wèn)量激增而產(chǎn)生及不斷發(fā)展的。傳統(tǒng)的集中式數(shù)據(jù)庫(kù)存儲(chǔ)與管理模式已經(jīng)(y jing)不能應(yīng)對(duì)新的數(shù)據(jù)存儲(chǔ)與訪問(wèn)需求。

2、1PB=1024TB 1TB=1024GB分布式數(shù)據(jù)庫(kù)系統(tǒng)基本構(gòu)型：C/S與B/S分布式數(shù)據(jù)庫(kù)不是單獨(dú)存在的，它對(duì)需求非滿足是成體系存在的。共五十五頁(yè)第5頁(yè)，共73頁(yè)集中式數(shù)據(jù)庫(kù)系統(tǒng)的優(yōu)點(diǎn)易于(yy)管理低冗余度應(yīng)用程序和數(shù)據(jù)庫(kù)相對(duì)獨(dú)立數(shù)據(jù)恢復(fù)能力強(qiáng)等主機(jī)數(shù)據(jù)庫(kù)終端用戶處理結(jié)果存取請(qǐng)求集中式系統(tǒng)模型共五十五頁(yè)第6頁(yè)，共73頁(yè)集中式數(shù)據(jù)庫(kù)系統(tǒng)的不足系統(tǒng)規(guī)模有限；可擴(kuò)充性和安全性相對(duì)較差；主機(jī)瓶頸，可靠性不高；通信開(kāi)銷加大，影響性能；很難適應(yīng)地理分散的大型公司管理(gunl)數(shù)據(jù)需要；共五十五頁(yè)更新硬件，如升級(jí)到性能更高的服務(wù)器更新軟件，如移植到Oracle上利用復(fù)制訂閱(dngyu)、鏡像等功能

3、做擴(kuò)展使用分布式數(shù)據(jù)庫(kù)架構(gòu)，用若干臺(tái)中小型的服務(wù)器去替代大型的服務(wù)器第7頁(yè)，共73頁(yè)問(wèn)題(wnt)解決方案共五十五頁(yè)分布式系統(tǒng)的定義：分布式系統(tǒng)（distributed system）是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)。分布式系統(tǒng)由多個(gè)高度內(nèi)聚性和透明性的站點(diǎn)組成。這些站點(diǎn)分別承擔(dān)數(shù)據(jù)訪問(wèn)管理、數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)服務(wù)器監(jiān)控管理等功能。內(nèi)聚性是指每一個(gè)數(shù)據(jù)庫(kù)分布(fnb)節(jié)點(diǎn)高度自治，有本地的數(shù)據(jù)庫(kù)管理系統(tǒng)。透明性是指每一個(gè)數(shù)據(jù)庫(kù)分布節(jié)點(diǎn)對(duì)用戶的應(yīng)用來(lái)說(shuō)都是透明的，看不出是由哪臺(tái)數(shù)據(jù)存儲(chǔ)服務(wù)器來(lái)完成。第8頁(yè)，共73頁(yè)共五十五頁(yè)分布式系統(tǒng)的特點(diǎn)：在一個(gè)分布式系統(tǒng)中，一組互相獨(dú)立的計(jì)算機(jī)展現(xiàn)給用戶的是一個(gè)整體

4、。系統(tǒng)擁有多種通用的物理和邏輯資源，可動(dòng)態(tài)分配任務(wù)。分散的物理和邏輯資源通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)信息交換(jiohun)。系統(tǒng)中存在一個(gè)以全局的方式管理計(jì)算機(jī)資源的分布式操作系統(tǒng)。分布式操作系統(tǒng)往往又以現(xiàn)有的計(jì)算機(jī)操作系統(tǒng)為基礎(chǔ)。對(duì)用戶來(lái)說(shuō)，分散的數(shù)據(jù)分布與數(shù)據(jù)處理對(duì)應(yīng)了同一個(gè)模型或范型。分布式操作系統(tǒng)之上有一層中間件負(fù)責(zé)實(shí)現(xiàn)這個(gè)模型。一個(gè)著名的分布式系統(tǒng)的例子是萬(wàn)維網(wǎng)。在萬(wàn)維網(wǎng)中，所有的一切看起來(lái)就好像是一個(gè)文檔（Web頁(yè)面）一樣。第9頁(yè)，共73頁(yè)共五十五頁(yè)分布式系統(tǒng)與網(wǎng)絡(luò)系統(tǒng)的區(qū)別：在計(jì)算機(jī)網(wǎng)絡(luò)中，這種統(tǒng)一性、模型以及其中的軟件都不存在。用戶看到的是實(shí)際的機(jī)器，如果這些機(jī)器有不同的硬件(yn j

5、in)或不同的操作系統(tǒng)，計(jì)算機(jī)網(wǎng)絡(luò)并沒(méi)有使這些機(jī)器看起來(lái)是統(tǒng)一的。由于多數(shù)分布式系統(tǒng)是建立在計(jì)算機(jī)網(wǎng)絡(luò)之上的，所以分布式系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)在物理結(jié)構(gòu)上是基本相同的。第10頁(yè)，共73頁(yè)目前存在很多動(dòng)態(tài)網(wǎng)站，如學(xué)校(xuxio)教務(wù)系統(tǒng)、選課系統(tǒng)，它們屬于分布式系統(tǒng)嗎？共五十五頁(yè)分布式系統(tǒng)一般由以下幾個(gè)部分等組成：分布式操作系統(tǒng)負(fù)責(zé)管理分布式處理系統(tǒng)資源和控制分布式程序運(yùn)行。不需要(xyo)直接管理系統(tǒng)硬件資源，因此它往往建立在現(xiàn)有操作系統(tǒng)基礎(chǔ)之上。分布式程序設(shè)計(jì)語(yǔ)言用于編寫運(yùn)行于分布式計(jì)算機(jī)系統(tǒng)上的分布式程序?，F(xiàn)實(shí)是大部分現(xiàn)行分布式系統(tǒng)都采用普通的程序設(shè)計(jì)語(yǔ)言進(jìn)行開(kāi)發(fā)。第11頁(yè)，共73頁(yè)共五十五頁(yè)

6、分布式數(shù)據(jù)庫(kù)系統(tǒng)由分布于多個(gè)計(jì)算機(jī)結(jié)點(diǎn)上的若干個(gè)數(shù)據(jù)庫(kù)系統(tǒng)組成,它提供有效的存取手段來(lái)操縱這些結(jié)點(diǎn)上的子數(shù)據(jù)庫(kù)。分布式文件系統(tǒng)具有執(zhí)行遠(yuǎn)程文件存取的能力,并以透明方式對(duì)分布在網(wǎng)絡(luò)上的文件進(jìn)行(jnxng)管理和存取。第12頁(yè)，共73頁(yè)共五十五頁(yè)分布式數(shù)據(jù)庫(kù)系統(tǒng)（Distributed DataBase System，簡(jiǎn)稱DDBS）由一組被管理的數(shù)據(jù)及管理軟件（也就是熟稱的管理系統(tǒng)）組成，這些數(shù)據(jù)以及管理軟件分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同計(jì)算機(jī)上。分布式數(shù)據(jù)庫(kù)系統(tǒng)強(qiáng)調(diào)場(chǎng)地自治性（局部應(yīng)用）以及自治場(chǎng)地之間的協(xié)作性（全局應(yīng)用）。分布式數(shù)據(jù)庫(kù)系統(tǒng)是數(shù)據(jù)庫(kù)技術(shù)(jsh)和網(wǎng)絡(luò)技術(shù)兩者相互滲透和有機(jī)結(jié)合的結(jié)果。

7、主要的目的是用廉價(jià)的機(jī)器提供高性能的服務(wù)。第13頁(yè)，共73頁(yè)1.2 分布式數(shù)據(jù)庫(kù)系統(tǒng)的定義(dngy)共五十五頁(yè)第14頁(yè)，共73頁(yè)網(wǎng)絡(luò)場(chǎng)地3圖1 DDBMS結(jié)構(gòu)圖場(chǎng)地1LDBLDBMSGDBMSCM用戶GDD場(chǎng)地2共五十五頁(yè)DDBMS由以下部分組成：LDBMS（Local Database Management System，局部數(shù)據(jù)庫(kù)管理系統(tǒng)），主要用于管理局部數(shù)據(jù)庫(kù)，提供場(chǎng)地自治能力，執(zhí)行(zhxng)局部應(yīng)用以及全局查詢的子查詢。LDB（Local Database，局部數(shù)據(jù)庫(kù)），主要用于存儲(chǔ)部分?jǐn)?shù)據(jù)。GDBMS（Global Database Management System，全局?jǐn)?shù)

8、據(jù)庫(kù)管理系統(tǒng)），主要用于向終端用戶提供分布透明性、協(xié)調(diào)全局事務(wù)的執(zhí)行、協(xié)調(diào)各局部DBMS以完成全局應(yīng)用、保證各數(shù)據(jù)庫(kù)的全局一致性、執(zhí)行并發(fā)控制、實(shí)現(xiàn)更新同步、提供全局恢復(fù)等。第15頁(yè)，共73頁(yè)共五十五頁(yè)GDD（Global Data Dictionlary，全局?jǐn)?shù)據(jù)字典），存放全局概念模式、分片模式、分布模式等的定義，以及(yj)各模式之間的映像定義，存放有關(guān)用戶存取權(quán)限的定義、完整性約束的定義等。CM（Communication Management，通信管理），主要用于在GDBMS與LDBMS或各LDBMS之間的通信調(diào)度與路由。共五十五頁(yè)按全局(qunj)控制類型分類全局控制集中型DDBM

9、S全局?jǐn)?shù)據(jù)庫(kù)和全局?jǐn)?shù)據(jù)字典集中于某一結(jié)點(diǎn)，其優(yōu)點(diǎn)是控制簡(jiǎn)單，容易實(shí)現(xiàn)更新一致性，但該結(jié)點(diǎn)容易成為系統(tǒng)的瓶頸，系統(tǒng)也較脆弱。第17頁(yè)，共73頁(yè)分布式數(shù)據(jù)庫(kù)系統(tǒng)的分類(fn li)共五十五頁(yè)全局控制分散的DDBMS全局?jǐn)?shù)據(jù)庫(kù)控制器和全局?jǐn)?shù)據(jù)字典分散在網(wǎng)絡(luò)上的每一個(gè)結(jié)點(diǎn)上，每個(gè)結(jié)點(diǎn)都能完成全局事務(wù)的協(xié)調(diào)和局部數(shù)據(jù)庫(kù)事務(wù)的控制功能。每個(gè)結(jié)點(diǎn)既是全局事務(wù)的參與者，也是全局事務(wù)的協(xié)調(diào)者。其優(yōu)點(diǎn)是結(jié)點(diǎn)獨(dú)立，自治性強(qiáng)，但全局控制的協(xié)調(diào)機(jī)制和一致性維護(hù)都比較(bjio)困難。全局控制部分分散的DDBMS介于上述兩者之間，根據(jù)應(yīng)用的需要將全局?jǐn)?shù)據(jù)庫(kù)管理器和全局?jǐn)?shù)據(jù)字典分散在某些結(jié)點(diǎn)上。第18頁(yè)，共73頁(yè)共五十五頁(yè)

10、按局部DBMS的數(shù)據(jù)模型類型分類同構(gòu)型DDBMS每個(gè)結(jié)點(diǎn)的局部數(shù)據(jù)庫(kù)具有相同(xin tn)的DBMS；異構(gòu)型DDBMS各結(jié)點(diǎn)的局部數(shù)據(jù)庫(kù)具有不同的DBMS；第19頁(yè)，共73頁(yè)共五十五頁(yè)數(shù)據(jù)(shj)獨(dú)立性數(shù)據(jù)的邏輯獨(dú)立性數(shù)據(jù)的物理獨(dú)立性數(shù)據(jù)的分布透明性集中與自治相結(jié)合的控制機(jī)構(gòu)數(shù)據(jù)的共享有兩個(gè)層次：一是局部共享；二是全局共享。第20頁(yè)，共73頁(yè)分布式數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn)(tdin)共五十五頁(yè)全局一致性分布式數(shù)據(jù)庫(kù)系統(tǒng)中各局部數(shù)據(jù)庫(kù)應(yīng)滿足集中式數(shù)據(jù)庫(kù)的一致性、并發(fā)事務(wù)的可串行性和可恢復(fù)性。應(yīng)保證數(shù)據(jù)庫(kù)的全局一致性、全局并發(fā)事務(wù)的可串行性和系統(tǒng)全局的可恢復(fù)性。分布式數(shù)據(jù)庫(kù)系統(tǒng)中全局應(yīng)用要涉及(shj

11、)兩個(gè)以上結(jié)點(diǎn)的數(shù)據(jù)，全局事務(wù)可能由不同結(jié)點(diǎn)上的多個(gè)操作組成。第21頁(yè)，共73頁(yè)共五十五頁(yè)數(shù)據(jù)存在一定冗余在不同的結(jié)點(diǎn)存儲(chǔ)同一數(shù)據(jù)的多個(gè)副本目的一：提高(t go)系統(tǒng)的可靠性、可用性，當(dāng)某一結(jié)點(diǎn)出現(xiàn)故障時(shí)，系統(tǒng)可以對(duì)另一結(jié)點(diǎn)的相同副本進(jìn)行操作，不會(huì)因?yàn)橐惶幑收隙斐烧麄€(gè)系統(tǒng)的癱瘓；目的二提高系統(tǒng)性能，系統(tǒng)可以選擇用戶最近的數(shù)據(jù)副本來(lái)進(jìn)行操作，減少通信代價(jià)，改善整個(gè)系統(tǒng)的性能。第22頁(yè)，共73頁(yè)共五十五頁(yè)第23頁(yè)，共73頁(yè)分布式數(shù)據(jù)庫(kù)系統(tǒng)的優(yōu)點(diǎn)：成本(chngbn)低廉?dāng)?shù)據(jù)訪問(wèn)速度快數(shù)據(jù)存儲(chǔ)量大易于拓展分布式數(shù)據(jù)庫(kù)系統(tǒng)的缺點(diǎn)：存取結(jié)構(gòu)復(fù)雜系統(tǒng)開(kāi)銷大數(shù)據(jù)安全性和保密性較難處理共五十五頁(yè)現(xiàn)在的分布

12、式數(shù)據(jù)庫(kù)模式大致有兩種：在原有關(guān)系型數(shù)據(jù)庫(kù)的基礎(chǔ)上進(jìn)行拓展，如Oracle、IBM DB2、MySQL、Amobea等。重新構(gòu)造適合應(yīng)用需求的分布式數(shù)據(jù)結(jié)構(gòu)，如以XML或其它(qt)文件形式進(jìn)行數(shù)據(jù)存儲(chǔ)，包括BigTable、HyperTable、HBase、Cassandra等。很多開(kāi)源分布式數(shù)據(jù)庫(kù)系統(tǒng)都是基于Google公開(kāi)發(fā)表的BigTable-a distributed storage system for structured data進(jìn)行設(shè)計(jì)與實(shí)現(xiàn)的。第24頁(yè)，共73頁(yè)1.3 分布式數(shù)據(jù)庫(kù)系統(tǒng)的發(fā)展(fzhn)現(xiàn)狀共五十五頁(yè)分布式數(shù)據(jù)庫(kù)系統(tǒng)的發(fā)展階段20世紀(jì)70年代末期產(chǎn)生(chn

13、shng)20世紀(jì)80年代成長(zhǎng)階段20世紀(jì)90年代商品化應(yīng)用階段21世紀(jì)大規(guī)模應(yīng)用階段第25頁(yè)，共73頁(yè)共五十五頁(yè)目前開(kāi)源分布式數(shù)據(jù)庫(kù)系統(tǒng)類型主要包括：以Google的BigTable為原型和基礎(chǔ)建立起來(lái)的面向數(shù)據(jù)半結(jié)構(gòu)化的開(kāi)源分布式數(shù)據(jù)庫(kù)系統(tǒng)，其中包括Hypertable、Hbase、Cassandra。它們支持(zhch)的是稀疏矩陣化的結(jié)構(gòu)化數(shù)據(jù)。面向文檔的分布式數(shù)據(jù)庫(kù)系統(tǒng)，包括MongoDB、CouchDB等。實(shí)現(xiàn)分布式緩存，如Memcached等。實(shí)現(xiàn)Key/Value數(shù)據(jù)庫(kù)引擎，包括Riak、Redis、Keyspace、Tokyo Cabinet等?；谇度胧降姆植际綌?shù)據(jù)庫(kù)，包括

14、Neo4j、Oracle Berkeley DB等。共五十五頁(yè)目前分布式數(shù)據(jù)庫(kù)系統(tǒng)的研究熱點(diǎn)分布式數(shù)據(jù)存儲(chǔ)模式：Nosql和SQL模式分布式數(shù)據(jù)查詢與優(yōu)化分布式數(shù)據(jù)庫(kù)管理模式分配與監(jiān)管問(wèn)題(wnt)分布式事務(wù)處理分布式數(shù)據(jù)并發(fā)控制分布式數(shù)據(jù)一致性問(wèn)題安全與可靠性問(wèn)題異構(gòu)互聯(lián)：？ 第27頁(yè)，共73頁(yè)共五十五頁(yè)分布式數(shù)據(jù)庫(kù)的發(fā)展趨勢(shì)與計(jì)算機(jī)網(wǎng)絡(luò)、移動(dòng)、網(wǎng)格數(shù)據(jù)庫(kù)整合(zhn h)成為物流網(wǎng)、云計(jì)算基礎(chǔ)云計(jì)算將網(wǎng)絡(luò)上分布的計(jì)算、存儲(chǔ)、服務(wù)構(gòu)件、網(wǎng)絡(luò)軟件等資源集中起來(lái)，基于資源虛擬化的方式，為用戶提供方便快捷的服務(wù)，它可以實(shí)現(xiàn)計(jì)算與存儲(chǔ)的分布式與并行處理。第28頁(yè)，共73頁(yè)1.4 分布式數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展

15、趨勢(shì)共五十五頁(yè)物聯(lián)網(wǎng)（Internet of Things,IoT）最早于1999年由麻省理工學(xué)院提出。最開(kāi)始的物聯(lián)網(wǎng)是指依托射頻識(shí)別（Radio Frequency Identification，RFID）技術(shù)和設(shè)備(shbi)，按約定的通信協(xié)議與互聯(lián)網(wǎng)相結(jié)合，使物品實(shí)現(xiàn)智能化識(shí)別和管理，實(shí)現(xiàn)物品信息互聯(lián)?，F(xiàn)代意義的物聯(lián)網(wǎng)可以實(shí)現(xiàn)對(duì)物的感知識(shí)別控制、網(wǎng)絡(luò)化互聯(lián)和智能處理有機(jī)統(tǒng)一，從而形成高智能決策。第29頁(yè)，共73頁(yè)共五十五頁(yè)第30頁(yè)，共73頁(yè)共五十五頁(yè)第31頁(yè)，共73頁(yè)共五十五頁(yè)第32頁(yè)，共73頁(yè)架構(gòu)演變第一步：物理分離webserver和數(shù)據(jù)庫(kù)架構(gòu)演變第二步：增加頁(yè)面緩存補(bǔ)充材料(cil

16、io)1：大型網(wǎng)站構(gòu)架變遷共五十五頁(yè)第33頁(yè)，共73頁(yè)架構(gòu)演變第三步：增加頁(yè)面片段緩存架構(gòu)演變第四步：數(shù)據(jù)緩存共五十五頁(yè)第34頁(yè)，共73頁(yè)架構(gòu)演變第五步：增加webserver架構(gòu)演變第六步：分庫(kù)共五十五頁(yè)第35頁(yè)，共73頁(yè)架構(gòu)演變第七步：分表、DAL和分布式緩存共五十五頁(yè)第36頁(yè)，共73頁(yè)架構(gòu)演變第八步：增加更多的webserver共五十五頁(yè)第37頁(yè)，共73頁(yè)架構(gòu)演變第九步：數(shù)據(jù)讀寫分離和廉價(jià)存儲(chǔ)方案共五十五頁(yè)第38頁(yè)，共73頁(yè)架構(gòu)演變第十步：進(jìn)入大型分布式應(yīng)用時(shí)代和廉價(jià)服務(wù)器群時(shí)代共五十五頁(yè)第39頁(yè)，共73頁(yè)共五十五頁(yè)第40頁(yè)，共73頁(yè)補(bǔ)充材料2：淘寶網(wǎng)數(shù)據(jù)庫(kù)技術(shù)架構(gòu)(ji u)變遷共五十五頁(yè)第41頁(yè)，共73頁(yè)共五十五頁(yè)第42頁(yè)，共73頁(yè)共五十五頁(yè)第43頁(yè)，共73頁(yè)共五十五頁(yè)第44頁(yè)，共73頁(yè)共五十五頁(yè)第45頁(yè)，共73頁(yè)共五十五頁(yè)第46頁(yè)，共73頁(yè)共五十五頁(yè)第47頁(yè)，共73頁(yè)共五十五頁(yè)第48頁(yè)，共73頁(yè)共五十五頁(yè)第49頁(yè)，共73頁(yè)共五十五頁(yè)第50頁(yè)，共73頁(yè)共五十五頁(yè)第51頁(yè)，共73頁(yè)共五十五頁(yè)第52頁(yè)，共73頁(yè)共五十五頁(yè)2022/7/2753 Any Questions共五十五頁(yè)謝謝(xi xie)！2022/7/2754共五十五頁(yè)內(nèi)容摘要第一講 分布式數(shù)據(jù)庫(kù)系統(tǒng)概論。分布式數(shù)據(jù)庫(kù)系統(tǒng)基本構(gòu)型：C/S與B/S。分布式操作系統(tǒng)往往又以現(xiàn)有的計(jì)算機(jī)操作