村上崗-第1講分布式數(shù)據(jù)庫(kù)系統(tǒng)概論ppt課件

1、第一講 分布式數(shù)據(jù)庫(kù)系統(tǒng)概論.1 什么是分布式數(shù)據(jù)庫(kù)系統(tǒng)？2 課程教學(xué)思緒3 課程考核方法第2頁(yè)，共73頁(yè)內(nèi)容提要.1.1 分布式數(shù)據(jù)庫(kù)系統(tǒng)的產(chǎn)生1.2 分布式數(shù)據(jù)庫(kù)系統(tǒng)的定義1.3 分布式數(shù)據(jù)庫(kù)系統(tǒng)的開展及研討熱點(diǎn)1.4 分布式數(shù)據(jù)庫(kù)系統(tǒng)開展趨勢(shì) 第3頁(yè)，共73頁(yè)1 什么是分布式數(shù)據(jù)庫(kù)系統(tǒng)？.1.1 分布式數(shù)據(jù)庫(kù)系統(tǒng)的產(chǎn)生分布式數(shù)據(jù)庫(kù)系統(tǒng)的產(chǎn)生是隨著各大網(wǎng)站的信息訪問(wèn)量激增而產(chǎn)生及不斷開展的。傳統(tǒng)的集中式數(shù)據(jù)庫(kù)存儲(chǔ)與管理方式曾經(jīng)不能應(yīng)對(duì)新的數(shù)據(jù)存儲(chǔ)與訪問(wèn)需求。1PB=1024TB 1TB=1024GB分布式數(shù)據(jù)庫(kù)系統(tǒng)根本構(gòu)型：C/S與B/S分布式數(shù)據(jù)庫(kù)不是單獨(dú)存在的，它對(duì)需求非滿足是成體系存

2、在的。.第5頁(yè)，共73頁(yè)集中式數(shù)據(jù)庫(kù)系統(tǒng)的優(yōu)點(diǎn)易于管理低冗余度運(yùn)用程序和數(shù)據(jù)庫(kù)相對(duì)獨(dú)立數(shù)據(jù)恢復(fù)才干強(qiáng)等主機(jī)數(shù)據(jù)庫(kù)終端用戶處置結(jié)果存取懇求集中式系統(tǒng)模型.第6頁(yè)，共73頁(yè)集中式數(shù)據(jù)庫(kù)系統(tǒng)的缺乏系統(tǒng)規(guī)模有限；可擴(kuò)展性和平安性相對(duì)較差；主機(jī)瓶頸，可靠性不高；通訊開銷加大，影響性能；很難順應(yīng)地理分散的大型公司管理數(shù)據(jù)需求；.更新硬件，如晉級(jí)到性能更高的效力器更新軟件，如移植到Oracle上利用復(fù)制定閱、鏡像等功能做擴(kuò)展運(yùn)用分布式數(shù)據(jù)庫(kù)架構(gòu)，用假設(shè)干臺(tái)中小型的效力器去替代大型的效力器第7頁(yè)，共73頁(yè)問(wèn)題處理方案.分布式系統(tǒng)的定義：分布式系統(tǒng)distributed system是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)。

3、分布式系統(tǒng)由多個(gè)高度內(nèi)聚性和透明性的站點(diǎn)組成。這些站點(diǎn)分別承當(dāng)數(shù)據(jù)訪問(wèn)管理、數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)效力器監(jiān)控管理等功能。內(nèi)聚性是指每一個(gè)數(shù)據(jù)庫(kù)分布節(jié)點(diǎn)高度自治，有本地的數(shù)據(jù)庫(kù)管理系統(tǒng)。透明性是指每一個(gè)數(shù)據(jù)庫(kù)分布節(jié)點(diǎn)對(duì)用戶的運(yùn)用來(lái)說(shuō)都是透明的，看不出是由哪臺(tái)數(shù)據(jù)存儲(chǔ)效力器來(lái)完成。第8頁(yè)，共73頁(yè).分布式系統(tǒng)的特點(diǎn)：在一個(gè)分布式系統(tǒng)中，一組相互獨(dú)立的計(jì)算機(jī)展現(xiàn)給用戶的是一個(gè)整體。系統(tǒng)擁有多種通用的物理和邏輯資源，可動(dòng)態(tài)分配義務(wù)。分散的物理和邏輯資源經(jīng)過(guò)計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)信息交換。系統(tǒng)中存在一個(gè)以全局的方式管理計(jì)算機(jī)資源的分布式操作系統(tǒng)。分布式操作系統(tǒng)往往又以現(xiàn)有的計(jì)算機(jī)操作系統(tǒng)為根底。對(duì)用戶來(lái)說(shuō)，分散的數(shù)據(jù)

4、分布與數(shù)據(jù)處置對(duì)應(yīng)了同一個(gè)模型或范型。分布式操作系統(tǒng)之上有一層中間件擔(dān)任實(shí)現(xiàn)這個(gè)模型。一個(gè)著名的分布式系統(tǒng)的例子是萬(wàn)維網(wǎng)。在萬(wàn)維網(wǎng)中，一切的一切看起來(lái)就好似是一個(gè)文檔Web頁(yè)面一樣。第9頁(yè)，共73頁(yè).分布式系統(tǒng)與網(wǎng)絡(luò)系統(tǒng)的區(qū)別：在計(jì)算機(jī)網(wǎng)絡(luò)中，這種一致性、模型以及其中的軟件都不存在。用戶看到的是實(shí)踐的機(jī)器，假設(shè)這些機(jī)器有不同的硬件或不同的操作系統(tǒng)，計(jì)算機(jī)網(wǎng)絡(luò)并沒(méi)有使這些機(jī)器看起來(lái)是一致的。由于多數(shù)分布式系統(tǒng)是建立在計(jì)算機(jī)網(wǎng)絡(luò)之上的，所以分布式系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)在物理構(gòu)造上是根本一樣的。第10頁(yè)，共73頁(yè)目前存在很多動(dòng)態(tài)網(wǎng)站，如學(xué)校教務(wù)系統(tǒng)、選課系統(tǒng)，它們屬于分布式系統(tǒng)嗎？.分布式系統(tǒng)普通由以下幾

5、個(gè)部分等組成：分布式操作系統(tǒng)擔(dān)任管理分布式處置系統(tǒng)資源和控制分布式程序運(yùn)轉(zhuǎn)。不需求直接納理系統(tǒng)硬件資源，因此它往往建立在現(xiàn)有操作系統(tǒng)根底之上。分布式程序設(shè)計(jì)言語(yǔ)用于編寫運(yùn)轉(zhuǎn)于分布式計(jì)算機(jī)系統(tǒng)上的分布式程序?，F(xiàn)實(shí)是大部分現(xiàn)行分布式系統(tǒng)都采用普通的程序設(shè)計(jì)言語(yǔ)進(jìn)展開發(fā)。第11頁(yè)，共73頁(yè).分布式數(shù)據(jù)庫(kù)系統(tǒng)由分布于多個(gè)計(jì)算機(jī)結(jié)點(diǎn)上的假設(shè)干個(gè)數(shù)據(jù)庫(kù)系統(tǒng)組成,它提供有效的存取手段來(lái)支配這些結(jié)點(diǎn)上的子數(shù)據(jù)庫(kù)。分布式文件系統(tǒng)具有執(zhí)行遠(yuǎn)程文件存取的才干,并以透明方式對(duì)分布在網(wǎng)絡(luò)上的文件進(jìn)展管理和存取。第12頁(yè)，共73頁(yè).分布式數(shù)據(jù)庫(kù)系統(tǒng)Distributed DataBase System，簡(jiǎn)稱DDBS由一組

6、被管理的數(shù)據(jù)及管理軟件也就是熟稱的管理系統(tǒng)組成，這些數(shù)據(jù)以及管理軟件分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同計(jì)算機(jī)上。分布式數(shù)據(jù)庫(kù)系統(tǒng)強(qiáng)調(diào)場(chǎng)地自治性部分運(yùn)用以及自治場(chǎng)地之間的協(xié)作性全局運(yùn)用。分布式數(shù)據(jù)庫(kù)系統(tǒng)是數(shù)據(jù)庫(kù)技術(shù)和網(wǎng)絡(luò)技術(shù)兩者相互浸透和有機(jī)結(jié)合的結(jié)果。主要的目的是用廉價(jià)的機(jī)器提供高性能的效力。第13頁(yè)，共73頁(yè)1.2 分布式數(shù)據(jù)庫(kù)系統(tǒng)的定義.第14頁(yè)，共73頁(yè)網(wǎng)絡(luò)場(chǎng)地3圖1 DDBMS構(gòu)造圖場(chǎng)地1LDBLDBMSGDBMSCM用戶GDD場(chǎng)地2.DDBMS由以下部分組成：LDBMSLocal Database Management System，部分?jǐn)?shù)據(jù)庫(kù)管理系統(tǒng)，主要用于管理部分?jǐn)?shù)據(jù)庫(kù)，提供場(chǎng)地自治才干，

7、執(zhí)行部分運(yùn)用以及全局查詢的子查詢。LDBLocal Database，部分?jǐn)?shù)據(jù)庫(kù)，主要用于存儲(chǔ)部分?jǐn)?shù)據(jù)。GDBMSGlobal Database Management System，全局?jǐn)?shù)據(jù)庫(kù)管理系統(tǒng)，主要用于向終端用戶提供分布透明性、協(xié)調(diào)全局事務(wù)的執(zhí)行、協(xié)調(diào)各部分DBMS以完成全局運(yùn)用、保證各數(shù)據(jù)庫(kù)的全局一致性、執(zhí)行并發(fā)控制、實(shí)現(xiàn)更新同步、提供全局恢復(fù)等。第15頁(yè)，共73頁(yè).GDDGlobal Data Dictionlary，全局?jǐn)?shù)據(jù)字典，存放全局概念方式、分片方式、分布方式等的定義，以及各方式之間的映像定義，存放有關(guān)用戶存取權(quán)限的定義、完好性約束的定義等。CMCommunication

8、Management，通訊管理，主要用于在GDBMS與LDBMS或各LDBMS之間的通訊調(diào)度與路由。.按全局控制類型分類全局控制集中型DDBMS全局?jǐn)?shù)據(jù)庫(kù)和全局?jǐn)?shù)據(jù)字典集中于某一結(jié)點(diǎn)，其優(yōu)點(diǎn)是控制簡(jiǎn)單，容易實(shí)現(xiàn)更新一致性，但該結(jié)點(diǎn)容易成為系統(tǒng)的瓶頸，系統(tǒng)也較脆弱。第17頁(yè)，共73頁(yè)分布式數(shù)據(jù)庫(kù)系統(tǒng)的分類.全局控制分散的DDBMS全局?jǐn)?shù)據(jù)庫(kù)控制器和全局?jǐn)?shù)據(jù)字典分散在網(wǎng)絡(luò)上的每一個(gè)結(jié)點(diǎn)上，每個(gè)結(jié)點(diǎn)都能完成全局事務(wù)的協(xié)調(diào)和部分?jǐn)?shù)據(jù)庫(kù)事務(wù)的控制功能。每個(gè)結(jié)點(diǎn)既是全局事務(wù)的參與者，也是全局事務(wù)的協(xié)調(diào)者。其優(yōu)點(diǎn)是結(jié)點(diǎn)獨(dú)立，自治性強(qiáng)，但全局控制的協(xié)調(diào)機(jī)制和一致性維護(hù)都比較困難。全局控制部分分散的DDBMS介

9、于上述兩者之間，根據(jù)運(yùn)用的需求將全局?jǐn)?shù)據(jù)庫(kù)管理器和全局?jǐn)?shù)據(jù)字典分散在某些結(jié)點(diǎn)上。第18頁(yè)，共73頁(yè).按部分DBMS的數(shù)據(jù)模型類型分類同構(gòu)型DDBMS每個(gè)結(jié)點(diǎn)的部分?jǐn)?shù)據(jù)庫(kù)具有一樣的DBMS；異構(gòu)型DDBMS各結(jié)點(diǎn)的部分?jǐn)?shù)據(jù)庫(kù)具有不同的DBMS；第19頁(yè)，共73頁(yè).數(shù)據(jù)獨(dú)立性數(shù)據(jù)的邏輯獨(dú)立性數(shù)據(jù)的物理獨(dú)立性數(shù)據(jù)的分布透明性集中與自治相結(jié)合的控制機(jī)構(gòu)數(shù)據(jù)的共享有兩個(gè)層次：一是部分共享；二是全局共享。第20頁(yè)，共73頁(yè)分布式數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn).全局一致性分布式數(shù)據(jù)庫(kù)系統(tǒng)中各部分?jǐn)?shù)據(jù)庫(kù)應(yīng)滿足集中式數(shù)據(jù)庫(kù)的一致性、并發(fā)事務(wù)的可串行性和可恢復(fù)性。應(yīng)保證數(shù)據(jù)庫(kù)的全局一致性、全局并發(fā)事務(wù)的可串行性和系統(tǒng)全局的可恢

10、復(fù)性。分布式數(shù)據(jù)庫(kù)系統(tǒng)中全局運(yùn)用要涉及兩個(gè)以上結(jié)點(diǎn)的數(shù)據(jù)，全局事務(wù)能夠由不同結(jié)點(diǎn)上的多個(gè)操作組成。第21頁(yè)，共73頁(yè).數(shù)據(jù)存在一定冗余在不同的結(jié)點(diǎn)存儲(chǔ)同一數(shù)據(jù)的多個(gè)副本目的一：提高系統(tǒng)的可靠性、可用性，當(dāng)某一結(jié)點(diǎn)出現(xiàn)缺點(diǎn)時(shí)，系統(tǒng)可以對(duì)另一結(jié)點(diǎn)的一樣副本進(jìn)展操作，不會(huì)由于一處缺點(diǎn)而呵斥整個(gè)系統(tǒng)的癱瘓；目的二提高系統(tǒng)性能，系統(tǒng)可以選擇用戶最近的數(shù)據(jù)副本來(lái)進(jìn)展操作，減少通訊代價(jià)，改善整個(gè)系統(tǒng)的性能。第22頁(yè)，共73頁(yè).第23頁(yè)，共73頁(yè)分布式數(shù)據(jù)庫(kù)系統(tǒng)的優(yōu)點(diǎn)：本錢低廉?dāng)?shù)據(jù)訪問(wèn)速度快數(shù)據(jù)存儲(chǔ)量大易于拓展分布式數(shù)據(jù)庫(kù)系統(tǒng)的缺陷：存取構(gòu)造復(fù)雜系統(tǒng)開銷大數(shù)據(jù)平安性和嚴(yán)密性較難處置.如今的分布式數(shù)據(jù)庫(kù)方式大致

11、有兩種：在原有關(guān)系型數(shù)據(jù)庫(kù)的根底上進(jìn)展拓展，如Oracle、IBM DB2、MySQL、Amobea等。重新構(gòu)造合順運(yùn)用需求的分布式數(shù)據(jù)構(gòu)造，如以XML或其它文件方式進(jìn)展數(shù)據(jù)存儲(chǔ)，包括BigTable、HyperTable、HBase、Cassandra等。很多開源分布式數(shù)據(jù)庫(kù)系統(tǒng)都是基于Google公開發(fā)表的進(jìn)展設(shè)計(jì)與實(shí)現(xiàn)的。第24頁(yè)，共73頁(yè)1.3 分布式數(shù)據(jù)庫(kù)系統(tǒng)的開展現(xiàn)狀.分布式數(shù)據(jù)庫(kù)系統(tǒng)的開展階段20世紀(jì)70年代末期產(chǎn)生20世紀(jì)80年代生長(zhǎng)階段20世紀(jì)90年代商品化運(yùn)用階段21世紀(jì)大規(guī)模運(yùn)用階段第25頁(yè)，共73頁(yè).目前開源分布式數(shù)據(jù)庫(kù)系統(tǒng)類型主要包括：以Google的BigTable

12、為原型和根底建立起來(lái)的面向數(shù)據(jù)半構(gòu)造化的開源分布式數(shù)據(jù)庫(kù)系統(tǒng)，其中包括Hypertable、Hbase、Cassandra。它們支持的是稀疏矩陣化的構(gòu)造化數(shù)據(jù)。面向文檔的分布式數(shù)據(jù)庫(kù)系統(tǒng)，包括MongoDB、CouchDB等。實(shí)現(xiàn)分布式緩存，如Memcached等。實(shí)現(xiàn)Key/Value數(shù)據(jù)庫(kù)引擎，包括Riak、Redis、Keyspace、Tokyo Cabinet等?；谇度胧降姆植际綌?shù)據(jù)庫(kù)，包括Neo4j、Oracle Berkeley DB等。.目前分布式數(shù)據(jù)庫(kù)系統(tǒng)的研討熱點(diǎn)分布式數(shù)據(jù)存儲(chǔ)方式：Nosql和SQL方式分布式數(shù)據(jù)查詢與優(yōu)化分布式數(shù)據(jù)庫(kù)管理方式分配與監(jiān)管問(wèn)題分布式事務(wù)處置分

13、布式數(shù)據(jù)并發(fā)控制分布式數(shù)據(jù)一致性問(wèn)題平安與可靠性問(wèn)題異構(gòu)互聯(lián)：？ 第27頁(yè)，共73頁(yè).分布式數(shù)據(jù)庫(kù)的開展趨勢(shì)與計(jì)算機(jī)網(wǎng)絡(luò)、挪動(dòng)、網(wǎng)格數(shù)據(jù)庫(kù)整合成為物流網(wǎng)、云計(jì)算根底云計(jì)算將網(wǎng)絡(luò)上分布的計(jì)算、存儲(chǔ)、效力構(gòu)件、網(wǎng)絡(luò)軟件等資源集中起來(lái)，基于資源虛擬化的方式，為用戶提供方便快捷的效力，它可以實(shí)現(xiàn)計(jì)算與存儲(chǔ)的分布式與并行處置。第28頁(yè)，共73頁(yè)1.4 分布式數(shù)據(jù)庫(kù)系統(tǒng)開展趨勢(shì).物聯(lián)網(wǎng)Internet of Things,IoT最早于1999年由麻省理工學(xué)院提出。最開場(chǎng)的物聯(lián)網(wǎng)是指依托射頻識(shí)別Radio Frequency Identification，RFID技術(shù)和設(shè)備，按商定的通訊協(xié)議與互聯(lián)網(wǎng)相結(jié)合，

14、使物品實(shí)現(xiàn)智能化識(shí)別和管理，實(shí)現(xiàn)物品信息互聯(lián)?，F(xiàn)代意義的物聯(lián)網(wǎng)可以實(shí)現(xiàn)對(duì)物的感知識(shí)別控制、網(wǎng)絡(luò)化互聯(lián)和智能處置有機(jī)一致，從而構(gòu)成高智能決策。第29頁(yè)，共73頁(yè).第30頁(yè)，共73頁(yè).第31頁(yè)，共73頁(yè).第32頁(yè)，共73頁(yè)架構(gòu)演化第一步：物理分別webserver和數(shù)據(jù)庫(kù)架構(gòu)演化第二步：添加頁(yè)面緩存補(bǔ)充資料1：大型網(wǎng)站構(gòu)架變化.第33頁(yè)，共73頁(yè)架構(gòu)演化第三步：添加頁(yè)面片段緩存架構(gòu)演化第四步：數(shù)據(jù)緩存.第34頁(yè)，共73頁(yè)架構(gòu)演化第五步：添加webserver架構(gòu)演化第六步：分庫(kù).第35頁(yè)，共73頁(yè)架構(gòu)演化第七步：分表、DAL和分布式緩存.第36頁(yè)，共73頁(yè)架構(gòu)演化第八步：添加更多的webserver.第37頁(yè)，共73頁(yè)架構(gòu)演化第九步：數(shù)據(jù)讀寫分別和廉價(jià)存儲(chǔ)方案.第38頁(yè)，共73頁(yè)架構(gòu)演化第