《商務(wù)大數(shù)據(jù)分析與應(yīng)用》課件-3-2 數(shù)據(jù)存儲(chǔ)和管理

商業(yè)大數(shù)據(jù)分析與應(yīng)用數(shù)據(jù)存儲(chǔ)和管理項(xiàng)目四存儲(chǔ)和管理能運(yùn)用數(shù)據(jù)存儲(chǔ)和管理技術(shù)等知識(shí)做好準(zhǔn)備工作能根據(jù)學(xué)習(xí)需要查閱資料能夠區(qū)分傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理技術(shù)與大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)和管理技術(shù)間的區(qū)別養(yǎng)成對(duì)事物分析的客觀、敏感的職業(yè)思維養(yǎng)成對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)與管理的職業(yè)習(xí)慣職業(yè)能力職業(yè)素養(yǎng)知識(shí)圖譜數(shù)據(jù)存儲(chǔ)概述任務(wù)一任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述自人類誕生以來(lái)，數(shù)據(jù)的存儲(chǔ)就一直伴隨人們左右。最早的原始人類采用結(jié)繩記事的方式實(shí)現(xiàn)數(shù)據(jù)的記錄與存儲(chǔ)，后來(lái)商代利用甲骨文記錄信息，西周和春秋時(shí)期則利用竹簡(jiǎn)作為信息記錄的載體，再到東漢造紙術(shù)的成功出現(xiàn)都持續(xù)地體現(xiàn)了數(shù)據(jù)存儲(chǔ)對(duì)人類生活的重要性。從公元1900年到現(xiàn)在，人們相對(duì)較快地經(jīng)歷了機(jī)器打孔、電子存儲(chǔ)計(jì)算器、在線數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、多類型數(shù)據(jù)處理5個(gè)階段后，正式進(jìn)入了大數(shù)據(jù)處理階段。張明不禁有些疑惑，該怎樣向?qū)W弟學(xué)妹們解釋數(shù)據(jù)存儲(chǔ)的概念呢？數(shù)據(jù)存儲(chǔ)的方式又有哪些？它們有什么異同呢？知識(shí)準(zhǔn)備

數(shù)據(jù)存儲(chǔ)是指數(shù)據(jù)流在加工過(guò)程中產(chǎn)生的臨時(shí)文件或加工過(guò)程中需要查找的信息。定義數(shù)據(jù)存儲(chǔ)的概念一數(shù)據(jù)以某種格式記錄在計(jì)算機(jī)內(nèi)部或外部存儲(chǔ)介質(zhì)上。常用的存儲(chǔ)介質(zhì)為磁盤和磁帶。知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)的方式二（一）DAS（DirectAttachedStorage）直接附加存儲(chǔ)

DAS這種存儲(chǔ)方式與普通的PC存儲(chǔ)架構(gòu)一樣，外部存儲(chǔ)設(shè)備都是直接掛接在服務(wù)器內(nèi)部總線上，數(shù)據(jù)存儲(chǔ)設(shè)備是整個(gè)服務(wù)器結(jié)構(gòu)的一部分。

DAS存儲(chǔ)方式主要適用的環(huán)境小型網(wǎng)絡(luò)地理位置分散的網(wǎng)絡(luò)提高DAS存儲(chǔ)性能特殊應(yīng)用服務(wù)器知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)的方式二（二）NAS（NetworkAttachedStorage）數(shù)據(jù)存儲(chǔ)方式

NAS（網(wǎng)絡(luò)附加存儲(chǔ)）方式全面改進(jìn)了以前低效的DAS存儲(chǔ)方式。NAS是通過(guò)網(wǎng)線連接的磁盤陣列，具備磁盤陣列的所有主要特征：高容量、高效能、高可靠。NAS是部件級(jí)的存儲(chǔ)方法。NAS的缺點(diǎn)真正的即插即用存儲(chǔ)部署簡(jiǎn)單存儲(chǔ)設(shè)備位置非常靈活管理容易且成本低NAS的優(yōu)點(diǎn)存儲(chǔ)性能較低可靠度不高知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)的方式二（三）SAN（StorageAreaNetwork）存儲(chǔ)方式

SAN存儲(chǔ)方式創(chuàng)造了存儲(chǔ)的網(wǎng)絡(luò)化。存儲(chǔ)網(wǎng)絡(luò)化順應(yīng)了計(jì)算機(jī)服務(wù)器體系結(jié)構(gòu)網(wǎng)絡(luò)化的趨勢(shì)。SAN的支撐技術(shù)是光纖通道（FCFiberChannel）技術(shù)。它是ANSI為網(wǎng)絡(luò)和通道/O接口建立的一個(gè)標(biāo)準(zhǔn)集成。SAN的硬件基礎(chǔ)設(shè)施是光纖通道，用光纖通道構(gòu)建的SAN由以下三個(gè)部分組成：包括備份軟件、存儲(chǔ)資源管理軟件和存儲(chǔ)設(shè)備管理軟件

包括磁帶、磁盤和光盤庫(kù)等

包括主機(jī)總線適配卡、驅(qū)動(dòng)程序、光纜、集線器、交換機(jī)、光纖通道和SCSI間的橋接器1.存儲(chǔ)和備份設(shè)備2.光纖通道網(wǎng)絡(luò)連接部件3.應(yīng)用和管理軟件知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)的方式二（三）SAN（StorageAreaNetwork）存儲(chǔ)方式

SAN的優(yōu)勢(shì)網(wǎng)絡(luò)部署容易高速存儲(chǔ)性能因?yàn)镾AN采用了光纖通道技術(shù)，所以它具有更高的存儲(chǔ)帶寬，存儲(chǔ)性能明顯提高。SAN的光纖通道使用全雙工串行通信原理傳輸數(shù)據(jù)，傳輸速率高達(dá)1062.5Mb/s。良好的擴(kuò)展能力由于SAN采用了網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)展能力更強(qiáng)。光纖接口提供了10公里的連接距離，這使得實(shí)現(xiàn)物理上分離，不在本地機(jī)房的存儲(chǔ)變得非常容易。知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)方式的比較三

DAS、NAS和SAN三種存儲(chǔ)方式比較存儲(chǔ)應(yīng)用最大的特點(diǎn)是沒(méi)有標(biāo)準(zhǔn)的體系結(jié)構(gòu)，這三種存儲(chǔ)方式共存，互相補(bǔ)充，已經(jīng)很好滿足企業(yè)信息化應(yīng)用。從連接方式上看：DASNASSAN采用了存儲(chǔ)設(shè)備直接連接應(yīng)用服務(wù)器，具有一定的靈活性和限制性通過(guò)網(wǎng)絡(luò)（TCPIP，ATMFDD）技術(shù)連接存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器，存儲(chǔ)設(shè)備位置靈活，隨著萬(wàn)兆網(wǎng)的出現(xiàn)，傳輸速率有了很大的提高通過(guò)光纖通道（FibreChannel）技術(shù)連接存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器，具有很好的傳輸速率和擴(kuò)展性能課堂研討數(shù)據(jù)存儲(chǔ)方式的變化給人們的生活帶來(lái)了哪些變化？拓展訓(xùn)練01簡(jiǎn)述你所了解的生活中數(shù)據(jù)存儲(chǔ)的情形。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理技術(shù)任務(wù)二任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR張明發(fā)現(xiàn)，由于云計(jì)算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)的發(fā)展使人類社會(huì)的數(shù)據(jù)產(chǎn)生方式發(fā)生了變化，社會(huì)數(shù)據(jù)的規(guī)模正在以前所未有的速度增長(zhǎng)，數(shù)據(jù)的種類不勝枚舉。這種海量、異構(gòu)的數(shù)據(jù)不僅改變?nèi)藗兊纳?，也帶?lái)了數(shù)據(jù)存儲(chǔ)技術(shù)的變革與發(fā)展。那么在傳統(tǒng)的數(shù)據(jù)存儲(chǔ)中用到了哪些管理技術(shù)呢？任務(wù)描述知識(shí)準(zhǔn)備文件系統(tǒng)是操作系統(tǒng)用于明確存儲(chǔ)設(shè)備（常見(jiàn)的是磁盤，也有基于NANDFlash的固態(tài)硬盤）或分區(qū)上的文件的方法和數(shù)據(jù)結(jié)構(gòu)；即在存儲(chǔ)設(shè)備上組織文件的方法。操作系統(tǒng)中負(fù)責(zé)管理和存儲(chǔ)文件信息的軟件機(jī)構(gòu)稱為文件管理系統(tǒng)，簡(jiǎn)稱文件系統(tǒng)。定義一文件系統(tǒng)文件系統(tǒng)由三部分組成：文件系統(tǒng)的接口對(duì)對(duì)象操縱和管理的軟件集合對(duì)象及屬性知識(shí)準(zhǔn)備二關(guān)系數(shù)據(jù)庫(kù)

目前市場(chǎng)上常見(jiàn)的關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品包括Oracle、SQLServer、MySQL、DB2等。一個(gè)關(guān)系數(shù)據(jù)庫(kù)可以看成是許多關(guān)系表的集合，每個(gè)關(guān)系表可以看成一張二維表格，如表4-1學(xué)生信息表所示。知識(shí)準(zhǔn)備二關(guān)系數(shù)據(jù)庫(kù)

關(guān)系數(shù)據(jù)庫(kù)的特點(diǎn)序號(hào)項(xiàng)目?jī)?nèi)容1存儲(chǔ)方式采用表格的儲(chǔ)存方式，數(shù)據(jù)以行和列的方式進(jìn)行存儲(chǔ)，要讀取和查詢都十分方便2存儲(chǔ)結(jié)構(gòu)按照結(jié)構(gòu)化的方法存儲(chǔ)數(shù)據(jù)，每個(gè)數(shù)據(jù)表的結(jié)構(gòu)都必須事先定義好，然后再根據(jù)表的結(jié)構(gòu)存入數(shù)據(jù)，但數(shù)據(jù)模型不夠靈活，存入后修改困難3存儲(chǔ)規(guī)范把數(shù)據(jù)按照最小關(guān)系表的形式進(jìn)行存儲(chǔ)。當(dāng)存在多個(gè)表時(shí)，表和表之間通過(guò)主外鍵關(guān)系發(fā)生關(guān)聯(lián)，并通過(guò)連接查詢獲得相關(guān)結(jié)果。4擴(kuò)展方式一般的關(guān)系型數(shù)據(jù)庫(kù)只具備有限的縱向擴(kuò)展能力5查詢方式采用結(jié)構(gòu)化查詢語(yǔ)言（即SQL：StructuredQueryLanguage）來(lái)對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢6事務(wù)性可以支持事務(wù)的ACID特性（原子性（Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久性（Durability））7連接方式不同的關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品都遵守一個(gè)統(tǒng)一的數(shù)據(jù)庫(kù)連接接口標(biāo)準(zhǔn)，即ODBC（OpenDatabaseConnectivity）知識(shí)準(zhǔn)備三數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)（DataWarehouse）是一個(gè)數(shù)據(jù)集合，用于支持管理決策。特點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。面向主題在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)，會(huì)每隔一定的時(shí)間（比如每周、每天或每小時(shí)）從數(shù)據(jù)源抽取數(shù)據(jù)并加載到數(shù)據(jù)倉(cāng)庫(kù)。反映歷史變化數(shù)據(jù)倉(cāng)庫(kù)是不可更新的，數(shù)據(jù)倉(cāng)庫(kù)主要是為決策分析提供數(shù)據(jù)，所涉及的操作主要是數(shù)據(jù)的查詢。相對(duì)穩(wěn)定數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來(lái)的數(shù)據(jù)中抽取出來(lái)，進(jìn)行加工與集成、統(tǒng)一與綜合之后才能進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)。集成知識(shí)準(zhǔn)備三數(shù)據(jù)倉(cāng)庫(kù)

如圖4-1所示，一個(gè)典型的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲(chǔ)和管理、OLAP服務(wù)器、前端工具和應(yīng)用等四個(gè)部分。圖4-1數(shù)據(jù)倉(cāng)庫(kù)體系架構(gòu)知識(shí)準(zhǔn)備四并行數(shù)據(jù)庫(kù)定義：在無(wú)共享的體系結(jié)構(gòu)中進(jìn)行數(shù)據(jù)操作的數(shù)據(jù)庫(kù)系統(tǒng)。關(guān)系表的水平劃分和SQL查詢的分區(qū)執(zhí)行兩個(gè)關(guān)鍵技術(shù)高性能和高可用性目標(biāo)沒(méi)有較好的彈性系統(tǒng)的容錯(cuò)性較差主要缺點(diǎn)并行數(shù)據(jù)庫(kù)課堂研討傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與管理技術(shù)有哪些特點(diǎn)？拓展訓(xùn)練01請(qǐng)?jiān)诰W(wǎng)上查找有關(guān)傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與管理技術(shù)的應(yīng)用實(shí)例。大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)和管理技術(shù)任務(wù)三任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR存儲(chǔ)本身就是大數(shù)據(jù)中一個(gè)很重要的組成部分，隨著大數(shù)據(jù)技術(shù)的到來(lái)，對(duì)于結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)也呈現(xiàn)出新的要求，特別對(duì)統(tǒng)一存儲(chǔ)也有了新的變化。大數(shù)據(jù)集容易消耗巨大的時(shí)間和成本，從而造成非結(jié)構(gòu)化數(shù)據(jù)的雪崩。也即是說(shuō)如果沒(méi)有合適的大數(shù)據(jù)存儲(chǔ)方式，就不能輕松訪問(wèn)或部署大量數(shù)據(jù)。于是張明想知道大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)與管理技術(shù)優(yōu)勢(shì)是怎樣的呢？任務(wù)描述知識(shí)準(zhǔn)備

分布式文件系統(tǒng)（DistributedFileSystem）是一種通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)文件在多臺(tái)主機(jī)上進(jìn)行分布式存儲(chǔ)的文件系統(tǒng)。定義分布式文件系統(tǒng)一作用：可以有效解決數(shù)據(jù)的存儲(chǔ)和管理難題：將固定于某個(gè)地點(diǎn)的某個(gè)文件系統(tǒng)，擴(kuò)展到任意多個(gè)地點(diǎn)/多個(gè)文件系統(tǒng)，眾多的節(jié)點(diǎn)組成一個(gè)文件系統(tǒng)網(wǎng)絡(luò)。知識(shí)準(zhǔn)備分布式文件系統(tǒng)一分布式文件系統(tǒng)的發(fā)展的三個(gè)階段第一階段是網(wǎng)絡(luò)文件系統(tǒng)第二階段是共享SAN文件系統(tǒng)第三階段是面向?qū)ο蟮牟⑿形募到y(tǒng)知識(shí)準(zhǔn)備分布式文件系統(tǒng)一圖4-2分布式文件系統(tǒng)的整體結(jié)構(gòu)知識(shí)準(zhǔn)備NewSQL和NoSQL數(shù)據(jù)庫(kù)二（一）NewSQL數(shù)據(jù)庫(kù)

NewSQL是對(duì)各種新的可擴(kuò)展、高性能數(shù)據(jù)庫(kù)的簡(jiǎn)稱，這類數(shù)據(jù)庫(kù)不僅具有對(duì)海量數(shù)據(jù)的存儲(chǔ)管理能力，還保持了傳統(tǒng)數(shù)據(jù)庫(kù)支持ACID和SQL等特性。定義目前具有代表性的NewSQL數(shù)據(jù)庫(kù)主要包括Spanner、Clustrix、GenieDB、ScalArc、Schooner、VoltDB、RethinkDB、ScaleDB、Akiban、CodeFutures、ScaleBase、Translattice、NimbusDB、Drizzle、Tokutek、JustOneDB等。知識(shí)準(zhǔn)備NewSQL和NoSQL數(shù)據(jù)庫(kù)二（二）NoSQL數(shù)據(jù)庫(kù)

NoSQL是一種不同于關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)管理系統(tǒng)設(shè)計(jì)方式，是對(duì)非關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)稱，它所采用的數(shù)據(jù)模型并非傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的關(guān)系模型，而是類似鍵/值、列族、文檔等非關(guān)系模型。定義NoSQL數(shù)據(jù)庫(kù)沒(méi)有固定的表結(jié)構(gòu)，通常也不存在連接操作，也沒(méi)有嚴(yán)格遵守ACID約束，因此，與關(guān)系數(shù)據(jù)庫(kù)相比，NoSQL具有靈活的水平可擴(kuò)展性，可以支持海量數(shù)據(jù)存儲(chǔ)。知識(shí)準(zhǔn)備NewSQL和NoSQL數(shù)據(jù)庫(kù)二（三）大數(shù)據(jù)引發(fā)數(shù)據(jù)庫(kù)架構(gòu)變革美國(guó)著名數(shù)據(jù)庫(kù)科學(xué)家邁克爾·斯通布雷克（Michael·Stonebraker）指出，行業(yè)技術(shù)的發(fā)展趨勢(shì)是由一種架構(gòu)支持所有應(yīng)用轉(zhuǎn)變?yōu)橛枚喾N架構(gòu)支持多類應(yīng)用。在大數(shù)據(jù)和云計(jì)算的背景下，這一理論導(dǎo)致了數(shù)據(jù)庫(kù)市場(chǎng)的大裂變：數(shù)據(jù)庫(kù)市場(chǎng)分化為三大陣營(yíng)，包括OldSQL（傳統(tǒng)數(shù)據(jù)庫(kù)）、NewSQL（新型數(shù)據(jù)庫(kù)）和NoSQL（非關(guān)系型數(shù)據(jù)庫(kù)）。邁克爾·斯通布雷克知識(shí)準(zhǔn)備NewSQL和NoSQL數(shù)據(jù)庫(kù)二（三）大數(shù)據(jù)引發(fā)數(shù)據(jù)庫(kù)架構(gòu)變革圖4-3大數(shù)據(jù)引發(fā)數(shù)據(jù)庫(kù)架構(gòu)變革知識(shí)準(zhǔn)備云數(shù)據(jù)庫(kù)三研究機(jī)構(gòu)IDC預(yù)言，大數(shù)據(jù)將按照每年60%的速度增加，其中包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。如何方便、快捷、低成本地存儲(chǔ)這些海量數(shù)據(jù)，是許多企業(yè)和機(jī)構(gòu)面臨的一個(gè)嚴(yán)峻挑戰(zhàn)。云數(shù)據(jù)庫(kù)就是一個(gè)非常好的解決方案。通過(guò)云