大數(shù)據(jù)基礎(chǔ)與實務(wù)（商科版）（第二版）課件 項目四 百度網(wǎng)盤存儲服務(wù)

大數(shù)據(jù)基礎(chǔ)與實務(wù)項目四數(shù)據(jù)存儲和管理數(shù)據(jù)存儲概述任務(wù)一任務(wù)描述知識準備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述自人類誕生以來，數(shù)據(jù)的存儲就一直伴隨人們左右。最早的原始人類采用結(jié)繩記事的方式實現(xiàn)數(shù)據(jù)的記錄與存儲，后來商代利用甲骨文記錄信息，西周和春秋時期則利用竹簡作為信息記錄的載體，再到東漢造紙術(shù)的成功出現(xiàn)都持續(xù)地體現(xiàn)了數(shù)據(jù)存儲對人類生活的重要性。從公元1900年到現(xiàn)在，人們相對較快地經(jīng)歷了機器打孔、電子存儲計算器、在線數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫、多類型數(shù)據(jù)處理5個階段后，正式進入了大數(shù)據(jù)處理階段。小明不禁有些疑惑，該怎樣向?qū)W弟學(xué)妹們解釋數(shù)據(jù)存儲的概念呢？數(shù)據(jù)存儲的方式又有哪些？它們有什么異同呢？知識準備

數(shù)據(jù)存儲是指數(shù)據(jù)流在加工過程中產(chǎn)生的臨時文件或加工過程中需要查找的信息。定義數(shù)據(jù)存儲的概念一數(shù)據(jù)以某種格式記錄在計算機內(nèi)部或外部存儲介質(zhì)上。常用的存儲介質(zhì)為磁盤和磁帶。知識準備數(shù)據(jù)存儲的方式二（一）DAS（DirectAttachedStorage）直接附加存儲

DAS這種存儲方式與普通的PC存儲架構(gòu)一樣，外部存儲設(shè)備都是直接掛接在服務(wù)器內(nèi)部總線上，數(shù)據(jù)存儲設(shè)備是整個服務(wù)器結(jié)構(gòu)的一部分。

DAS存儲方式主要適用的環(huán)境小型網(wǎng)絡(luò)地理位置分散的網(wǎng)絡(luò)提高DAS存儲性能特殊應(yīng)用服務(wù)器知識準備數(shù)據(jù)存儲的方式二（二）NAS（NetworkAttachedStorage）數(shù)據(jù)存儲方式

NAS（網(wǎng)絡(luò)附加存儲）方式全面改進了以前低效的DAS存儲方式。NAS是通過網(wǎng)線連接的磁盤陣列，具備磁盤陣列的所有主要特征：高容量、高效能、高可靠。NAS是部件級的存儲方法。NAS的缺點真正的即插即用存儲部署簡單存儲設(shè)備位置非常靈活管理容易且成本低NAS的優(yōu)點存儲性能較低可靠度不高知識準備數(shù)據(jù)存儲的方式二（三）SAN（StorageAreaNetwork）存儲方式

SAN存儲方式創(chuàng)造了存儲的網(wǎng)絡(luò)化。存儲網(wǎng)絡(luò)化順應(yīng)了計算機服務(wù)器體系結(jié)構(gòu)網(wǎng)絡(luò)化的趨勢。SAN的支撐技術(shù)是光纖通道（FCFiberChannel）技術(shù)。它是ANSI為網(wǎng)絡(luò)和通道/O接口建立的一個標準集成。SAN的硬件基礎(chǔ)設(shè)施是光纖通道，用光纖通道構(gòu)建的SAN由以下三個部分組成：包括備份軟件、存儲資源管理軟件和存儲設(shè)備管理軟件

包括磁帶、磁盤和光盤庫等

包括主機總線適配卡、驅(qū)動程序、光纜、集線器、交換機、光纖通道和SCSI間的橋接器1.存儲和備份設(shè)備2.光纖通道網(wǎng)絡(luò)連接部件3.應(yīng)用和管理軟件知識準備數(shù)據(jù)存儲的方式二（三）SAN（StorageAreaNetwork）存儲方式

SAN的優(yōu)勢網(wǎng)絡(luò)部署容易高速存儲性能因為SAN采用了光纖通道技術(shù)，所以它具有更高的存儲帶寬，存儲性能明顯提高。SAN的光纖通道使用全雙工串行通信原理傳輸數(shù)據(jù)，傳輸速率高達1062.5Mb/s。良好的擴展能力由于SAN采用了網(wǎng)絡(luò)結(jié)構(gòu)，擴展能力更強。光纖接口提供了10公里的連接距離，這使得實現(xiàn)物理上分離，不在本地機房的存儲變得非常容易。知識準備數(shù)據(jù)存儲方式的比較三

DAS、NAS和SAN三種存儲方式比較存儲應(yīng)用最大的特點是沒有標準的體系結(jié)構(gòu)，這三種存儲方式共存，互相補充，已經(jīng)很好滿足企業(yè)信息化應(yīng)用。從連接方式上看：DASNASSAN采用了存儲設(shè)備直接連接應(yīng)用服務(wù)器，具有一定的靈活性和限制性通過網(wǎng)絡(luò)（TCPIP，ATMFDD）技術(shù)連接存儲設(shè)備和應(yīng)用服務(wù)器，存儲設(shè)備位置靈活，隨著萬兆網(wǎng)的出現(xiàn)，傳輸速率有了很大的提高通過光纖通道（FibreChannel）技術(shù)連接存儲設(shè)備和應(yīng)用服務(wù)器，具有很好的傳輸速率和擴展性能課堂研討數(shù)據(jù)存儲方式的變化給人們的生活帶來了哪些變化？拓展訓(xùn)練01簡述你所了解的生活中數(shù)據(jù)存儲的情形。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實務(wù)項目四數(shù)據(jù)存儲和管理傳統(tǒng)的數(shù)據(jù)存儲和管理技術(shù)任務(wù)二任務(wù)描述知識準備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR小明發(fā)現(xiàn)，由于云計算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)的發(fā)展使人類社會的數(shù)據(jù)產(chǎn)生方式發(fā)生了變化，社會數(shù)據(jù)的規(guī)模正在以前所未有的速度增長，數(shù)據(jù)的種類不勝枚舉。這種海量、異構(gòu)的數(shù)據(jù)不僅改變?nèi)藗兊纳?，也帶來了?shù)據(jù)存儲技術(shù)的變革與發(fā)展。那么在傳統(tǒng)的數(shù)據(jù)存儲中用到了哪些管理技術(shù)呢？任務(wù)描述知識準備文件系統(tǒng)是操作系統(tǒng)用于明確存儲設(shè)備（常見的是磁盤，也有基于NANDFlash的固態(tài)硬盤）或分區(qū)上的文件的方法和數(shù)據(jù)結(jié)構(gòu)；即在存儲設(shè)備上組織文件的方法。操作系統(tǒng)中負責管理和存儲文件信息的軟件機構(gòu)稱為文件管理系統(tǒng)，簡稱文件系統(tǒng)。定義一文件系統(tǒng)文件系統(tǒng)由三部分組成：文件系統(tǒng)的接口對對象操縱和管理的軟件集合對象及屬性知識準備二關(guān)系數(shù)據(jù)庫

目前市場上常見的關(guān)系數(shù)據(jù)庫產(chǎn)品包括Oracle、SQLServer、MySQL、DB2等。一個關(guān)系數(shù)據(jù)庫可以看成是許多關(guān)系表的集合，每個關(guān)系表可以看成一張二維表格，如表4-1學(xué)生信息表所示。知識準備二關(guān)系數(shù)據(jù)庫

關(guān)系數(shù)據(jù)庫的特點序號項目內(nèi)容1存儲方式采用表格的儲存方式，數(shù)據(jù)以行和列的方式進行存儲，要讀取和查詢都十分方便2存儲結(jié)構(gòu)按照結(jié)構(gòu)化的方法存儲數(shù)據(jù)，每個數(shù)據(jù)表的結(jié)構(gòu)都必須事先定義好，然后再根據(jù)表的結(jié)構(gòu)存入數(shù)據(jù)，但數(shù)據(jù)模型不夠靈活，存入后修改困難3存儲規(guī)范把數(shù)據(jù)按照最小關(guān)系表的形式進行存儲。當存在多個表時，表和表之間通過主外鍵關(guān)系發(fā)生關(guān)聯(lián)，并通過連接查詢獲得相關(guān)結(jié)果。4擴展方式一般的關(guān)系型數(shù)據(jù)庫只具備有限的縱向擴展能力5查詢方式采用結(jié)構(gòu)化查詢語言（即SQL：StructuredQueryLanguage）來對數(shù)據(jù)庫進行查詢6事務(wù)性可以支持事務(wù)的ACID特性（原子性（Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久性（Durability））7連接方式不同的關(guān)系數(shù)據(jù)庫產(chǎn)品都遵守一個統(tǒng)一的數(shù)據(jù)庫連接接口標準，即ODBC（OpenDatabaseConnectivity）知識準備三數(shù)據(jù)倉庫

數(shù)據(jù)倉庫（DataWarehouse）是一個數(shù)據(jù)集合，用于支持管理決策。特點數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進行組織，一個主題通常與多個操作型信息系統(tǒng)相關(guān)。面向主題在構(gòu)建數(shù)據(jù)倉庫時，會每隔一定的時間（比如每周、每天或每小時）從數(shù)據(jù)源抽取數(shù)據(jù)并加載到數(shù)據(jù)倉庫。反映歷史變化數(shù)據(jù)倉庫是不可更新的，數(shù)據(jù)倉庫主要是為決策分析提供數(shù)據(jù)，所涉及的操作主要是數(shù)據(jù)的查詢。相對穩(wěn)定數(shù)據(jù)倉庫的數(shù)據(jù)來自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來的數(shù)據(jù)中抽取出來，進行加工與集成、統(tǒng)一與綜合之后才能進入數(shù)據(jù)倉庫。集成知識準備三數(shù)據(jù)倉庫

如圖4-1所示，一個典型的數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲和管理、OLAP服務(wù)器、前端工具和應(yīng)用等四個部分。圖4-1數(shù)據(jù)倉庫體系架構(gòu)知識準備四并行數(shù)據(jù)庫定義：在無共享的體系結(jié)構(gòu)中進行數(shù)據(jù)操作的數(shù)據(jù)庫系統(tǒng)。關(guān)系表的水平劃分和SQL查詢的分區(qū)執(zhí)行兩個關(guān)鍵技術(shù)高性能和高可用性目標沒有較好的彈性系統(tǒng)的容錯性較差主要缺點并行數(shù)據(jù)庫課堂研討傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)有哪些特點？拓展訓(xùn)練01請在網(wǎng)上查找有關(guān)傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)的應(yīng)用實例。課堂研討比較傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)與大數(shù)據(jù)時代的數(shù)據(jù)存儲與管理技術(shù)有什么異同。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實務(wù)項目四數(shù)據(jù)存儲和管理大數(shù)據(jù)時代的數(shù)據(jù)存儲和管理技術(shù)任務(wù)三任務(wù)描述知識準備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR存儲本身就是大數(shù)據(jù)中一個很重要的組成部分，隨著大數(shù)據(jù)技術(shù)的到來，對于結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)存儲也呈現(xiàn)出新的要求，特別對統(tǒng)一存儲也有了新的變化。大數(shù)據(jù)集容易消耗巨大的時間和成本，從而造成非結(jié)構(gòu)化數(shù)據(jù)的雪崩。也即是說如果沒有合適的大數(shù)據(jù)存儲方式，就不能輕松訪問或部署大量數(shù)據(jù)。于是小明想知道大數(shù)據(jù)時代的數(shù)據(jù)存儲與管理技術(shù)優(yōu)勢是怎樣的呢？任務(wù)描述知識準備

分布式文件系統(tǒng)（DistributedFileSystem）是一種通過網(wǎng)絡(luò)實現(xiàn)文件在多臺主機上進行分布式存儲的文件系統(tǒng)。定義分布式文件系統(tǒng)一作用：可以有效解決數(shù)據(jù)的存儲和管理難題：將固定于某個地點的某個文件系統(tǒng)，擴展到任意多個地點/多個文件系統(tǒng)，眾多的節(jié)點組成一個文件系統(tǒng)網(wǎng)絡(luò)。知識準備分布式文件系統(tǒng)一分布式文件系統(tǒng)的發(fā)展的三個階段第一階段是網(wǎng)絡(luò)文件系統(tǒng)第二階段是共享SAN文件系統(tǒng)第三階段是面向?qū)ο蟮牟⑿形募到y(tǒng)知識準備分布式文件系統(tǒng)一圖4-2分布式文件系統(tǒng)的整體結(jié)構(gòu)知識準備NewSQL和NoSQL數(shù)據(jù)庫二（一）NewSQL數(shù)據(jù)庫

NewSQL是對各種新的可擴展、高性能數(shù)據(jù)庫的簡稱，這類數(shù)據(jù)庫不僅具有對海量數(shù)據(jù)的存儲管理能力，還保持了傳統(tǒng)數(shù)據(jù)庫支持ACID和SQL等特性。定義目前具有代表性的NewSQL數(shù)據(jù)庫主要包括Spanner、Clustrix、GenieDB、ScalArc、Schooner、VoltDB、RethinkDB、ScaleDB、Akiban、CodeFutures、ScaleBase、Translattice、NimbusDB、Drizzle、Tokutek、JustOneDB等。知識準備NewSQL和NoSQL數(shù)據(jù)庫二（二）NoSQL數(shù)據(jù)庫

NoSQL是一種不同于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)設(shè)計方式，是對非關(guān)系型數(shù)據(jù)庫的統(tǒng)稱，它所采用的數(shù)據(jù)模型并非傳統(tǒng)關(guān)系數(shù)據(jù)庫的關(guān)系模型，而是類似鍵/值、列族、文檔等非關(guān)系模型。定義NoSQL數(shù)據(jù)庫沒有固定的表結(jié)構(gòu)，通常也不存在連接操作，也沒有嚴格遵守ACID約束，因此，與關(guān)系數(shù)據(jù)庫相比，NoSQL具有靈活的水平可擴展性，可以支持海量數(shù)據(jù)存儲。知識準備NewSQL和NoSQL數(shù)據(jù)庫二（三）大數(shù)據(jù)引發(fā)數(shù)據(jù)庫架構(gòu)變革美國著名數(shù)據(jù)庫科學(xué)家邁克爾·斯通布雷克（Michael·Stonebraker）指出，行業(yè)技術(shù)的發(fā)展趨勢是由一種架構(gòu)支持所有應(yīng)用轉(zhuǎn)變?yōu)橛枚喾N架構(gòu)支持多類應(yīng)用。在大數(shù)據(jù)和云計算的背景下，這一理論導(dǎo)致了數(shù)據(jù)庫市場的大裂變：數(shù)據(jù)庫市場分化為三大陣營，包括OldSQL（傳統(tǒng)數(shù)據(jù)庫）、NewSQL（新型數(shù)據(jù)庫）和NoSQL（非關(guān)系型數(shù)據(jù)庫）。邁克爾·斯通布雷克知識準備NewSQL和NoSQL數(shù)據(jù)庫二（三）大數(shù)據(jù)引發(fā)數(shù)據(jù)庫架構(gòu)變革圖4-3大數(shù)據(jù)引發(fā)數(shù)據(jù)庫架構(gòu)變革知識準備云數(shù)據(jù)庫三研究機構(gòu)IDC預(yù)言，大數(shù)據(jù)將按照每年60%的速度增加，其中包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。如何方便、快捷、低成本地存儲這些海量數(shù)據(jù)，是許多企業(yè)和機構(gòu)面臨的一個嚴峻挑戰(zhàn)。云數(shù)據(jù)庫就是一個非常好的解決方案。通過云技術(shù)推出更多可在公有云中托管數(shù)據(jù)庫的方法，將用戶從繁瑣的數(shù)據(jù)庫硬件定制中解放出來讓用戶擁有強大的數(shù)據(jù)庫擴展能力，滿足海量數(shù)據(jù)的存儲需求能夠很好地滿足企業(yè)動態(tài)變化的數(shù)據(jù)存儲需求和中小企業(yè)的低成本數(shù)據(jù)存儲需求云數(shù)據(jù)庫優(yōu)點123知識準備云數(shù)據(jù)庫三圖4-4關(guān)系數(shù)據(jù)庫、NoSQL、NewSQL和云數(shù)據(jù)庫產(chǎn)品分類課堂研討比較傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)與大數(shù)據(jù)時代的數(shù)據(jù)存儲與管理技術(shù)有什么異同。拓展訓(xùn)練01請在網(wǎng)上查找有關(guān)大數(shù)據(jù)時代的數(shù)據(jù)存儲與管理技術(shù)的應(yīng)用實例。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實務(wù)項目四百度網(wǎng)盤存儲服務(wù)百度網(wǎng)盤存儲服務(wù)任務(wù)四任務(wù)描述知識準備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述

網(wǎng)盤，是由互聯(lián)網(wǎng)公司推出的在線存儲服務(wù)，能為用戶提供文件的存儲、訪問、備份、共享等文件管理等功能。自2012年百度推出百度網(wǎng)盤之后，各大互聯(lián)網(wǎng)移動公司都推出了自己的網(wǎng)盤服務(wù)，如115網(wǎng)盤、騰訊微云、金山快盤、華為網(wǎng)盤等，網(wǎng)盤服務(wù)極大地方便了信息化時代人們的生活。

知識準備

百度網(wǎng)盤個人版是百度面向個人用戶的網(wǎng)盤存儲服務(wù)，滿足用戶工作生活各類需求，已上線的產(chǎn)品包括網(wǎng)盤、個人主頁、群組功能、通訊錄、相冊、人臉識別、文章、記事本、短信、手機找回。百度網(wǎng)盤功能百度網(wǎng)盤的功能一知識準備

在瀏覽器中輸入百度網(wǎng)盤網(wǎng)址（/），并登