《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目六 解析非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目六解析非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)任務(wù)一走進(jìn)非結(jié)構(gòu)化存儲(chǔ)技術(shù)什么是半結(jié)構(gòu)化數(shù)據(jù)？什么是Redis？什么是ElasticSearch？ElasticSearch的應(yīng)用場(chǎng)景？回顧任務(wù)引入-GlusterFileSystemGlusterFileSystem是一款自由軟件，主要由ZRESEARCH公司負(fù)責(zé)開(kāi)發(fā)，十幾名開(kāi)發(fā)者，最近非?；钴S。文檔也比較齊全，不難上手。任務(wù)描述:本節(jié)任務(wù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行探討，結(jié)合非結(jié)構(gòu)化數(shù)據(jù)特性剖析非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)特點(diǎn)。任務(wù)教學(xué)目標(biāo)：了解非結(jié)構(gòu)化存儲(chǔ)技術(shù)的概念。掌握非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的特點(diǎn)。任務(wù)概要教學(xué)內(nèi)容非結(jié)構(gòu)化數(shù)據(jù)概述非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)特點(diǎn)一二非結(jié)構(gòu)化數(shù)據(jù)概述知識(shí)點(diǎn)一（一）非結(jié)構(gòu)化數(shù)據(jù)概述非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒(méi)有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)其格式非常多樣，標(biāo)準(zhǔn)也是多樣性的，而且在技術(shù)上非結(jié)構(gòu)化信息比結(jié)構(gòu)化信息更難標(biāo)準(zhǔn)化和理解。

安裝依賴(lài)（53&54）1.體量大非結(jié)構(gòu)化數(shù)據(jù)可以是公司內(nèi)部的郵件信息、聊天記錄以及搜集到的調(diào)查結(jié)果，也可以是個(gè)人網(wǎng)站上的評(píng)論、客戶(hù)關(guān)系管理系統(tǒng)中的評(píng)論或者是從個(gè)人應(yīng)用程序中得到的文本字段。還可以是公司外部的社會(huì)媒體、社交論壇以及來(lái)自于一些感興趣的話題的評(píng)論。（二）非結(jié)構(gòu)化數(shù)據(jù)優(yōu)勢(shì)

安裝依賴(lài)（53&54）2.價(jià)值高非結(jié)構(gòu)化數(shù)據(jù)中蘊(yùn)藏著大量的價(jià)值信息，利用非結(jié)構(gòu)化數(shù)據(jù)分析能夠幫助企業(yè)快速地了解現(xiàn)狀、分析趨勢(shì)并且識(shí)別新出現(xiàn)的問(wèn)題。（二）非結(jié)構(gòu)化數(shù)據(jù)優(yōu)勢(shì)

安裝依賴(lài)（53&54）3.可分析數(shù)據(jù)分析不需要一個(gè)專(zhuān)業(yè)性很強(qiáng)的數(shù)學(xué)家或數(shù)據(jù)科學(xué)團(tuán)隊(duì)，終端用戶(hù)有能力、也有權(quán)利和動(dòng)機(jī)去改善商業(yè)實(shí)踐，并且視覺(jué)文本分析工具可以幫助他們快速識(shí)別最相關(guān)的問(wèn)題，及時(shí)采取行動(dòng)，而這都不需要依靠數(shù)據(jù)科學(xué)家。（二）非結(jié)構(gòu)化數(shù)據(jù)優(yōu)勢(shì)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)特點(diǎn)知識(shí)點(diǎn)二

安裝依賴(lài)（53&54）針對(duì)非結(jié)構(gòu)化數(shù)據(jù)體積大、增長(zhǎng)快、格式標(biāo)準(zhǔn)多樣化的特點(diǎn)，非結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)技術(shù)必須具備以下能力：一、能夠快速地對(duì)大體積的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行讀/寫(xiě)操作；二、存儲(chǔ)容量能根據(jù)需要適應(yīng)非結(jié)構(gòu)化數(shù)據(jù)的快速增長(zhǎng)，能進(jìn)行動(dòng)態(tài)彈性的擴(kuò)容；三、能存儲(chǔ)多種格式或標(biāo)準(zhǔn)的非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)特點(diǎn)任務(wù)小結(jié)本節(jié)介紹了非結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)技術(shù)，包括非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲(chǔ)和管理，并為非結(jié)構(gòu)化數(shù)據(jù)的分析、挖掘及應(yīng)用提供支撐。非結(jié)構(gòu)化數(shù)據(jù)有體量大、價(jià)值高、可分析等優(yōu)勢(shì)，非結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)技術(shù)必須具備三個(gè)能力。拓展訓(xùn)練Gluster官方文檔獨(dú)立學(xué)習(xí)因?yàn)镚luster可以以不同的方式用于不同的任務(wù)，所以很難同時(shí)解釋所有的事情。我們建議您首先遵循快速入門(mén)指南。通過(guò)使用大量虛擬機(jī)，您將創(chuàng)建一個(gè)功能測(cè)試設(shè)置來(lái)學(xué)習(xí)基本概念。這樣，您就可以更好地閱讀更詳細(xì)的安裝指南。通過(guò)官網(wǎng)學(xué)習(xí)：快速入門(mén)指南-如果您是Gluster新手，請(qǐng)從這里開(kāi)始！安裝指南介紹了先決條件，并提供了在各種操作系統(tǒng)上安裝GlusterFS的分步說(shuō)明。會(huì)議和峰會(huì)上與Gluster相關(guān)的演講。1.什么是非結(jié)構(gòu)化數(shù)據(jù)？2.非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)需要具備哪三種能力？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目六解析非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)任務(wù)一走進(jìn)非結(jié)構(gòu)化存儲(chǔ)技術(shù)什么是半結(jié)構(gòu)化數(shù)據(jù)？什么是Redis？什么是ElasticSearch？ElasticSearch的應(yīng)用場(chǎng)景？回顧任務(wù)引入-GlusterFileSystemGlusterFileSystem是一款自由軟件，主要由ZRESEARCH公司負(fù)責(zé)開(kāi)發(fā)，十幾名開(kāi)發(fā)者，最近非?；钴S。文檔也比較齊全，不難上手。任務(wù)描述:本節(jié)將帶領(lǐng)同學(xué)們一起學(xué)習(xí)GlusterFS存儲(chǔ)技術(shù)架構(gòu)和技術(shù)特性。任務(wù)教學(xué)目標(biāo)：了解GlusterFS基本概念。理解GlusterFS系統(tǒng)架構(gòu)。理解GlusterFS技術(shù)特性。任務(wù)概要教學(xué)內(nèi)容Gluster概述Gluster系統(tǒng)架構(gòu)一二二Gluster技術(shù)特性三GlusterFS概述知識(shí)點(diǎn)一

安裝依賴(lài)（53&54）GlusterFS是一款免費(fèi)的開(kāi)源軟件，主要應(yīng)用在集群系統(tǒng)中，具有很好的可擴(kuò)展性。GlusterFS具有良好的系統(tǒng)結(jié)構(gòu)，易于擴(kuò)展、配置方便，通過(guò)各個(gè)模塊的靈活搭配來(lái)得到針對(duì)性的解決方案。GlusterFS具有強(qiáng)大的橫向擴(kuò)展能力，通過(guò)擴(kuò)展能夠支持?jǐn)?shù)PB級(jí)別的存儲(chǔ)容量和處理數(shù)千客戶(hù)端。GlusterFS將來(lái)自多個(gè)服務(wù)器的磁盤(pán)存儲(chǔ)資源聚合到一個(gè)全局名稱(chēng)空間中。GlusterFS概述GlusterFS系統(tǒng)架構(gòu)知識(shí)點(diǎn)二

安裝依賴(lài)（53&54）GlusterFS管理守護(hù)進(jìn)程（glusterd）在每臺(tái)服務(wù)器上運(yùn)行，并管理一個(gè)塊進(jìn)程（glusterfsd），該進(jìn)程反過(guò)來(lái)導(dǎo)出底層磁盤(pán)存儲(chǔ)（XFS文件系統(tǒng)）?？蛻?hù)機(jī)進(jìn)程裝載卷并將所有塊中的存儲(chǔ)作為單個(gè)統(tǒng)一存儲(chǔ)命名空間公開(kāi)給訪問(wèn)它的應(yīng)用程序?？蛻?hù)機(jī)和brick進(jìn)程的堆棧中加載了各種轉(zhuǎn)換器。來(lái)自應(yīng)用程序的I/O通過(guò)這些轉(zhuǎn)換器路由到不同的程序塊。（一）GlusterFS系統(tǒng)架構(gòu)

安裝依賴(lài)（53&54）分布存儲(chǔ)是Glusterfs默認(rèn)使用的存儲(chǔ)卷類(lèi)型。文件會(huì)被分布得存儲(chǔ)到邏輯卷中的各個(gè)存儲(chǔ)塊上去。以?xún)蓚€(gè)存儲(chǔ)塊的邏輯卷為例，文件file1可能被存放在brick1或brick2中，但不會(huì)在每個(gè)塊中都存一份。分布存儲(chǔ)不提供數(shù)據(jù)冗余保護(hù)。（二）分布存儲(chǔ)卷

安裝依賴(lài)（53&54）在鏡像存儲(chǔ)邏輯卷中，數(shù)據(jù)至少會(huì)在不同的brick上存儲(chǔ)兩份，具體采取存儲(chǔ)幾份的冗余數(shù)據(jù)則可以在創(chuàng)建鏡像存儲(chǔ)卷時(shí)由客戶(hù)端進(jìn)行設(shè)定。鏡像存儲(chǔ)可以有效的防止存儲(chǔ)塊損壞引發(fā)的數(shù)據(jù)丟失風(fēng)險(xiǎn)。（三）鏡像存儲(chǔ)卷

安裝依賴(lài)（53&54）分布式復(fù)制GlusterFS邏輯卷中，文件是跨鏡像存儲(chǔ)塊的集合（replicatedsetsofbricks）進(jìn)行分布式存儲(chǔ)，即文件可能被存儲(chǔ)在某一個(gè)鏡像存儲(chǔ)塊集合中，但不會(huì)同時(shí)存儲(chǔ)到多個(gè)集合。而在一個(gè)鏡像存儲(chǔ)塊的集合內(nèi)，文件在每個(gè)存儲(chǔ)塊（brick）上各存一份。（四）分布式復(fù)制卷

安裝依賴(lài)（53&54）在分片式存儲(chǔ)卷中，一個(gè)文件會(huì)被切分成多份，數(shù)量等于brick的數(shù)量，每個(gè)brick中保存一份。分布式片存儲(chǔ)方式不提供數(shù)據(jù)冗余保護(hù)。（五）分片式存儲(chǔ)卷））

安裝依賴(lài)（53&54）分布式分片存儲(chǔ)卷由分片式存儲(chǔ)卷的基礎(chǔ)上擴(kuò)展而來(lái)，根據(jù)設(shè)定的分片參數(shù)（一個(gè)文件分成幾片）和為邏輯卷加入的bricks數(shù)量可以組成多個(gè)分片存儲(chǔ)塊集合，形成了分布式分片存儲(chǔ)卷。每個(gè)分片存儲(chǔ)塊集合中存儲(chǔ)的的數(shù)據(jù)不同。（六）分布式分片式存儲(chǔ)卷GlusterFS技術(shù)特性知識(shí)點(diǎn)三兼容性使用通用的商用硬件，與POSIX（PortableOperatingSystemInterface，可移植操作系統(tǒng)接口）兼容，可以使用任何支持?jǐn)U展屬性的On-Disk文件系統(tǒng)，可以使用NFS和SMB等行業(yè)標(biāo)準(zhǔn)協(xié)議進(jìn)行訪問(wèn)。并發(fā)可處理成千上萬(wàn)的客戶(hù)訪問(wèn)。易管理性Self-HealNFS類(lèi)磁盤(pán)布局，提供復(fù)制、配額、地理復(fù)制、快照和Bitrot檢測(cè)，允許針對(duì)不同工作負(fù)載進(jìn)行優(yōu)化。容量集群可以拓展支持PB級(jí)別的存儲(chǔ)容量。開(kāi)源開(kāi)放源代碼。這里插入主標(biāo)題GlusterFS技術(shù)特性任務(wù)小結(jié)本節(jié)系統(tǒng)講解了GlusterFS存儲(chǔ)技術(shù)、系統(tǒng)架構(gòu)和特性GlusterFS作為一款免費(fèi)的開(kāi)源軟件，因其良好的系統(tǒng)結(jié)構(gòu)、易于拓展、方便配置等特性而得到廣泛應(yīng)用。GlusterFS可以支持多種類(lèi)型的邏輯卷，以實(shí)現(xiàn)不同的數(shù)據(jù)保護(hù)級(jí)別和存取性能。GlusterFS存儲(chǔ)卷進(jìn)有：分布存儲(chǔ)卷、鏡像存儲(chǔ)卷、分布式復(fù)制卷、分片式存儲(chǔ)卷、分布式分片存儲(chǔ)卷。每一種存儲(chǔ)卷?yè)碛胁煌奶攸c(diǎn)，需要根據(jù)不同的應(yīng)用場(chǎng)景進(jìn)行設(shè)計(jì)。拓展訓(xùn)練Gluster官方文檔獨(dú)立學(xué)習(xí)因?yàn)镚luster可以以不同的方式用于不同的任務(wù)，所以很難同時(shí)解釋所有的事情。我們建議您首先遵循快速入門(mén)指南。通過(guò)使用大量虛擬機(jī)，您將創(chuàng)建一個(gè)功能測(cè)試設(shè)置來(lái)學(xué)習(xí)基本概念。這樣，您就可以更好地閱讀更詳細(xì)的安裝指南。通過(guò)官網(wǎng)學(xué)習(xí)：快速入門(mén)指南-如果您是Gluster新手，請(qǐng)從這里開(kāi)始！安裝指南介紹了先決條件，并提供了在各種操作系統(tǒng)上安裝GlusterFS的分步說(shuō)明。會(huì)議和峰會(huì)上與Gluster相關(guān)的演講。1.什么是GlusterFS分布式文件系統(tǒng)？2.GlusterFS五個(gè)技術(shù)特性？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目六解析非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)任務(wù)三部署GlusterFS集群什么是GlusterFS分布式文件系統(tǒng)？GlusterFS分布式文件系統(tǒng)架構(gòu)？GlusterFS五個(gè)技術(shù)特性？GlusterFS的應(yīng)用場(chǎng)景？回顧任務(wù)引入-GlusterFileSystemGlusterFileSystem是一款自由軟件，主要由ZRESEARCH公司負(fù)責(zé)開(kāi)發(fā)，十幾名開(kāi)發(fā)者，最近非?；钴S。文檔也比較齊全，不難上手。GlusterFS系統(tǒng)架構(gòu)

安裝依賴(lài)（53&54）

GlusterFS網(wǎng)絡(luò)配置主機(jī)名glusterfs53glusterfs54glusterfs55IP地址345任務(wù)描述:本節(jié)可以通過(guò)使用許多虛擬機(jī)，創(chuàng)建一個(gè)GlusterFS集群，部署GlusterFS分布式文件系統(tǒng)。任務(wù)教學(xué)目標(biāo)：搭建一個(gè)3節(jié)點(diǎn)的GlusterFS集群。任務(wù)概要教學(xué)內(nèi)容安裝依賴(lài)（53&54）安裝userspace-rcu-master（53&54）一二二安裝glusterfs（53&54）三建立集群（53）gluster性能調(diào)優(yōu)四五六、部署客戶(hù)端并掛載GlusterFS文件系統(tǒng)(55)六安裝依賴(lài)（53&54）知識(shí)點(diǎn)一安裝依賴(lài)[root@glusterfs53~]#yuminstall-yflexbisonopensslopenssl-develacllibacllibacl-develsqlite-devellibxml2-develpython-develmakecmakegccgcc-c++autoconfautomakelibtoolunzipzipLoadedplugins:fastestmirrorLoadingmirrorspeedsfromcachedhostfile*base:*extras:ap.stykers.moe*updates:ap.stykers.moeResolvingDependencies-->Runningtransactioncheck--->Packageacl.x86_640:2.2.51-12.el7willbeupdated…………xz-libs.x86_640:5.2.2-1.el7zlib.x86_640:1.2.7-18.el7Complete!在安裝部署glusterfs分布式文件系統(tǒng)前，需要先安裝相應(yīng)的依賴(lài)包。安裝userspace-rcu-master（53&54）知識(shí)點(diǎn)二安裝userspace-rcu-master（53&54）[root@glusterfs53~]#wget/urcu/userspace-rcu/zip/master--2019-06-2106:32:50--/urcu/userspace-rcu/zip/masterResolving()...6Connectingto()|6|:443...connected.HTTPrequestsent,awaitingresponse...200OKLength:unspecified[application/zip]Savingto:‘master’[<=>]516,52311.2KB/sin63s2019-06-2106:33:56(7.97KB/s)-‘master’saved[516523]下載userspace-rcu-master。安裝glusterfs（53&54）知識(shí)點(diǎn)三安裝glusterfs（53&54）[root@glusterfs53~]#wget/pub/gluster/glusterfs/old-releases/3.6/3.6.9/glusterfs-3.6.9.tar.gz--2019-06-2101:30:28--/pub/gluster/glusterfs/old-releases/3.6/3.6.9/glusterfs-3.6.9.tar.gzResolving()...85Connectingto()|85|:443...connected.HTTPrequestsent,awaitingresponse...200OK下載glusterfs。建立集群知識(shí)點(diǎn)四建立集群（53）[root@glusterfs53~]#glusterpeerprobe4peerprobe:success.執(zhí)行以下命令，將4節(jié)點(diǎn)加入到集群：[root@glusterfs53~]#glusterpeerstatusNumberofPeers:1Hostname:4Uuid:7783adb8-3a97-4465-b902-f8100f455698State:PeerinCluster(Connected)查看集群（53）GlusterFS性能調(diào)優(yōu)知識(shí)點(diǎn)五gluster性能調(diào)優(yōu)[root@glusterfs53~]#glustervolumequotamodelsenablevolumequota:success開(kāi)啟指定volume的配額。[root@glusterfs53~]#glustervolumequotamodelslimit-usage/5GBvolumequota:success限制models總目錄最大使用5GB空間（5GB并非絕對(duì)，可根據(jù)實(shí)際硬盤(pán)大小配置）。部署客戶(hù)端并掛載GlusterFS文件系統(tǒng)(55)知識(shí)點(diǎn)六部署客戶(hù)端并掛載GlusterFS文件系統(tǒng)[root@glusterfs55~]#yuminstall-yglusterfsglusterfs-fuseLoadedplugins:fastestmirrorbase|3.6kB00:00:00extras