《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目三 淺析云存儲(chǔ)服務(wù)

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)一了解云存儲(chǔ)起源文件系統(tǒng)的作用？硬盤接口的種類？RAID存儲(chǔ)的類型？典型的數(shù)據(jù)備份策略？回顧任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。任務(wù)描述:本節(jié)任務(wù)闡述了分布式存儲(chǔ)、云存儲(chǔ)技術(shù)的起源和發(fā)展，進(jìn)而介紹了云存儲(chǔ)的定義和特點(diǎn)。任務(wù)教學(xué)目標(biāo)：了解分布式存儲(chǔ)了解云存儲(chǔ)起源及發(fā)展掌握云存儲(chǔ)概念及特點(diǎn)任務(wù)概要教學(xué)內(nèi)容什么是分布式存儲(chǔ)云存儲(chǔ)技術(shù)的起源云存儲(chǔ)技術(shù)的發(fā)展一二三四五云存儲(chǔ)概念云存儲(chǔ)的特點(diǎn)什么是分布式存儲(chǔ)知識(shí)點(diǎn)一（一）分布式云存儲(chǔ)特性01可擴(kuò)展02低成本03高性能04易用（二）分布式存儲(chǔ)系統(tǒng)的挑戰(zhàn)容錯(cuò)C負(fù)載均衡事務(wù)與并發(fā)控制壓縮/解壓縮易用性DEFG數(shù)據(jù)分布A一致性B

（三）分布式存儲(chǔ)數(shù)據(jù)分類包括所有格式的辦公文檔、文本、圖片、圖像、音頻和視頻信息等。一般存儲(chǔ)在關(guān)系數(shù)據(jù)庫中，可以用二維關(guān)系表結(jié)構(gòu)來表示。結(jié)構(gòu)化數(shù)據(jù)的模式（Schema，包括屬性、數(shù)據(jù)類型以及數(shù)據(jù)之間的聯(lián)系）和內(nèi)容是分開的，數(shù)據(jù)的模式需要預(yù)先定義。介于非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)之間，HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的，與結(jié)構(gòu)化數(shù)據(jù)最大的區(qū)別在于，半結(jié)構(gòu)化數(shù)據(jù)的模式結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分，也不需要預(yù)先定義數(shù)據(jù)的模式結(jié)構(gòu)。非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)（三）分布式存儲(chǔ)系統(tǒng)分類分布式文件系統(tǒng)1分布式鍵值（Key-Value）系統(tǒng)2分布式表格系統(tǒng)3分布式數(shù)據(jù)庫4（四）分布存儲(chǔ)系統(tǒng)對(duì)應(yīng)的數(shù)據(jù)類型分布式存儲(chǔ)系統(tǒng)數(shù)據(jù)類型分布式文件系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)分布式鍵值（Key-Value）系統(tǒng)比較簡單半結(jié)構(gòu)化數(shù)據(jù)分布式表格系統(tǒng)較為復(fù)雜半結(jié)構(gòu)化數(shù)據(jù)分布式數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)云存儲(chǔ)技術(shù)的起源知識(shí)點(diǎn)二（一）云存儲(chǔ)是由云計(jì)算逐步演變分化而來云計(jì)算是一種典型的破壞性創(chuàng)新，它利用技術(shù)進(jìn)步效應(yīng)，從IT產(chǎn)業(yè)不斷高漲的成本投入和運(yùn)營商薄弱環(huán)節(jié)切入，重構(gòu)傳統(tǒng)的IT市場結(jié)構(gòu)，創(chuàng)新或優(yōu)化IT產(chǎn)品和服務(wù)。廣域網(wǎng)和互聯(lián)網(wǎng)云存儲(chǔ)技術(shù)的發(fā)展知識(shí)點(diǎn)三

云存儲(chǔ)技術(shù)的發(fā)展1數(shù)據(jù)爆發(fā)的推動(dòng)2數(shù)據(jù)安全的制約3發(fā)展趨勢云存儲(chǔ)概念知識(shí)點(diǎn)四云存儲(chǔ)概念云存儲(chǔ)通過網(wǎng)絡(luò)和分布式文件系統(tǒng)將分散的存儲(chǔ)設(shè)備連接、整合成一個(gè)高效、便捷、可靠的系統(tǒng)，通過某種應(yīng)用軟件共同一致地對(duì)外提供在線數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問服務(wù)。云存儲(chǔ)概念云存儲(chǔ)的特點(diǎn)知識(shí)點(diǎn)五（一）與傳統(tǒng)存儲(chǔ)對(duì)比比較項(xiàng)云存儲(chǔ)傳統(tǒng)存儲(chǔ)架構(gòu)不僅是一種架構(gòu)，更是一種服務(wù)。底層采用分布式架構(gòu)和虛擬化技術(shù)，易于擴(kuò)展，單點(diǎn)失效不影響整體服務(wù)針對(duì)某種特殊應(yīng)用而采用的專用、特定的硬件組件構(gòu)成的架構(gòu)服務(wù)模式按需使用，按使用計(jì)費(fèi)，服務(wù)提供商可迅速交付和響應(yīng)用戶通過整機(jī)購買或租貨獲取存儲(chǔ)容置容量支持PB級(jí)以上無限擴(kuò)展針對(duì)某個(gè)特定的應(yīng)用存儲(chǔ)，由應(yīng)用需求決定容量，難于擴(kuò)展數(shù)據(jù)管理不僅提供傳統(tǒng)訪問方式，而且提供海置數(shù)據(jù)的管理和對(duì)外的公眾服務(wù)支撐，同時(shí)采用保護(hù)數(shù)據(jù)安全的策略，采取如分片存儲(chǔ)、EC、ACL、證書等多重保護(hù)策略和技術(shù)，用戶可靈活配置用戶數(shù)據(jù)管理員可見，信息不夠安全。通常使用RAID提供數(shù)據(jù)保護(hù)，用戶無法靈活配置個(gè)性化存儲(chǔ)策略和保護(hù)策略（二）云存儲(chǔ)技術(shù)特點(diǎn)低成本高可靠服務(wù)模式高可用動(dòng)態(tài)伸縮安全性大容量規(guī)范化任務(wù)小結(jié)通過使用云存儲(chǔ)，企業(yè)獲得了以下好處：①節(jié)約了采購存儲(chǔ)設(shè)備的成本。②縮短了系統(tǒng)建設(shè)周期。③減少了維護(hù)存儲(chǔ)設(shè)備的人力和資源費(fèi)用。另一方面，云存儲(chǔ)服務(wù)商通過云化的管理，也獲得了不少益處：①自身的存儲(chǔ)資源整合后，將多余的存儲(chǔ)空間租賃給企業(yè)，不僅有效利用了資源，也降低了運(yùn)營成本。②快速便捷地為用戶部署了遠(yuǎn)程存儲(chǔ)資源，顛覆了用戶對(duì)存儲(chǔ)設(shè)備部署的體驗(yàn)。③云存儲(chǔ)虛擬化和智能管理技術(shù)使服務(wù)商能夠?qū)υ拼鎯?chǔ)系統(tǒng)進(jìn)行簡便、高效的運(yùn)營維護(hù)。拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項(xiàng)目之一，開發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個(gè)組織/機(jī)構(gòu)的680多位開發(fā)者累計(jì)提交了15000項(xiàng)修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.分布式存儲(chǔ)系統(tǒng)的分類？2.云存儲(chǔ)的定義？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)二淺談云存儲(chǔ)基礎(chǔ)技術(shù)文件系統(tǒng)的作用？硬盤接口的種類？RAID存儲(chǔ)的類型？典型的數(shù)據(jù)備份策略？回顧任務(wù)描述:本節(jié)任務(wù)闡述了存儲(chǔ)空間管理、數(shù)據(jù)使用及存儲(chǔ)、存儲(chǔ)高可用技術(shù)、數(shù)據(jù)備份和數(shù)據(jù)一致性處理問題，同時(shí)，對(duì)云存儲(chǔ)基礎(chǔ)技術(shù)問題進(jìn)行了剖析。任務(wù)教學(xué)目標(biāo)：掌握云存儲(chǔ)基礎(chǔ)技術(shù)任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容存儲(chǔ)空間管理數(shù)據(jù)使用及存儲(chǔ)存儲(chǔ)高可用技術(shù)一二三四五

數(shù)據(jù)備份數(shù)據(jù)一致性處理存儲(chǔ)空間管理知識(shí)點(diǎn)一（一）存儲(chǔ)空間管理存儲(chǔ)空間就是存儲(chǔ)的物理空間主要有卷、RAID技術(shù)及LUN3種。

（二）卷簡單卷是物理磁盤的一部分，通過將卷擴(kuò)展到相同或不同磁盤上的未分配空間上，以增加現(xiàn)有簡單卷的大小。跨區(qū)卷是一種和簡單卷結(jié)構(gòu)相似的動(dòng)態(tài)卷，其將來自多個(gè)磁盤的未分配空間合并到一個(gè)邏輯卷中。帶區(qū)卷由兩塊或兩塊以上的硬盤組成，也是一種動(dòng)態(tài)卷。當(dāng)文件存到帶區(qū)卷時(shí)，系統(tǒng)會(huì)將數(shù)據(jù)分散存于各塊硬盤的空間。鏡像卷是具有容錯(cuò)能力的動(dòng)態(tài)卷。（三）RAID0（四）RAID1（五）RAID5（六）RAID10（七）RAID技術(shù)級(jí)別特征原理單元冗余性能利用率最多壞用途缺陷RAID0條帶分片分散存入2塊硬盤2否讀寫速度2倍100%0/2SWAP/TMP不冗余，數(shù)據(jù)難恢復(fù)RAID1鏡像相同數(shù)據(jù)存入2塊硬盤2是寫速度不變讀速度2倍50%1/2數(shù)據(jù)備份讀寫速度沒加，利用率低RAID4校驗(yàn)分片分散存入2塊硬盤校驗(yàn)碼存入第3塊硬盤3是讀寫速度2倍2/3=66%1/3用的很少1.壞盤時(shí)另外2塊需要重新計(jì)算還原壞盤數(shù)據(jù)2.校驗(yàn)碼盤壓力大成為瓶頸RAID5校驗(yàn)分片和校驗(yàn)碼混合存儲(chǔ)3是讀寫速度2倍2/3=66%1/3用的不多壞盤時(shí)另外2塊需要重新計(jì)算還原壞盤數(shù)據(jù)RAID101+02塊硬盤1組先做RAID1多組RAID1再做RAID04是讀寫速度N倍N為組數(shù)2/42/41∈2用的最多-數(shù)據(jù)使用及存儲(chǔ)知識(shí)點(diǎn)二（一）早期存儲(chǔ)設(shè)備——紙帶（二）早期存儲(chǔ)設(shè)備——卡片（三）早期存儲(chǔ)設(shè)備——磁鼓IBM650計(jì)算機(jī)上的16英寸長磁鼓，有40個(gè)磁道，容量10KB，每分鐘12,500轉(zhuǎn)。（四）磁盤驅(qū)動(dòng)器（五）存儲(chǔ)角色的演變數(shù)據(jù)的增漲導(dǎo)致了以“計(jì)算”為中心到以“數(shù)據(jù)存儲(chǔ)”為中心的的觀念革新。存儲(chǔ)領(lǐng)域的兩個(gè)重要轉(zhuǎn)折點(diǎn)：并行存儲(chǔ)：比如磁盤陣列技術(shù)（RAID）。網(wǎng)絡(luò)存儲(chǔ)：NAS,SAN存儲(chǔ)高可用技術(shù)知識(shí)點(diǎn)三（一）存儲(chǔ)高可用技術(shù)在高可用技術(shù)中，根據(jù)不同的應(yīng)用環(huán)境，從性能、經(jīng)濟(jì)等方面考慮，主要有雙機(jī)熱備、雙機(jī)互備、集群并發(fā)存取3種。（二）雙機(jī)熱備份方式（三）雙機(jī)互備方式（四）群集并發(fā)存取方式（五）對(duì)存儲(chǔ)系統(tǒng)的要求雙機(jī)熱備份方式：系統(tǒng)運(yùn)行時(shí)，只有主服務(wù)器與存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)交換。當(dāng)發(fā)生主機(jī)故障切換時(shí)，要求存儲(chǔ)系統(tǒng)能與備份服務(wù)器快速建立數(shù)據(jù)通道，以支持業(yè)務(wù)的快速切換。雙機(jī)互備份方式：系統(tǒng)運(yùn)行時(shí)，兩臺(tái)主機(jī)需要同時(shí)對(duì)磁盤陣列進(jìn)行讀寫操作，這要求存儲(chǔ)系統(tǒng)具備良好的并發(fā)讀取能力和一定的負(fù)載均衡功能。（五）對(duì)存儲(chǔ)系統(tǒng)的要求群集并發(fā)存取方式：并發(fā)處理能力數(shù)據(jù)共享能力大規(guī)模與可擴(kuò)展性可管理性高可用性（六）數(shù)據(jù)備份數(shù)據(jù)備份一般是指利用備份軟件把數(shù)據(jù)從磁盤備份到磁帶進(jìn)行離線保存（最新的備份技術(shù)也支持磁盤到磁盤的備份，也就是把磁盤作為備份數(shù)據(jù)的存放介質(zhì)，以加快數(shù)據(jù)的備份和恢復(fù)速度）。（六）數(shù)據(jù)備份數(shù)據(jù)備份在一定程度上是可以保證數(shù)據(jù)安全的，但應(yīng)用于容災(zāi)系統(tǒng)時(shí)卻面臨眾多問題。備份窗口恢復(fù)時(shí)間備份間隔數(shù)據(jù)的可恢復(fù)性介質(zhì)的保管和運(yùn)送備份的成本數(shù)據(jù)備份知識(shí)點(diǎn)三（一）常規(guī)備份實(shí)現(xiàn)方式010302備份方式增量備份完全備份差量備份（二）增量備份只有那些在上次完全制定的備份策略自動(dòng)或手動(dòng)將數(shù)據(jù)備份到磁帶上。（三）差異備份備份那些從上次完全備份后被修改過的文件。數(shù)據(jù)一致性處理知識(shí)點(diǎn)四（一）數(shù)據(jù)一致性處理數(shù)據(jù)一致性是指關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整?？梢岳斫鉃閼?yīng)用程序自己認(rèn)為的數(shù)據(jù)狀態(tài)與最終寫入到磁盤中的數(shù)據(jù)狀態(tài)是否一致。數(shù)據(jù)一致性問題文件共享中的數(shù)據(jù)一致性問題時(shí)間不同步引起的數(shù)據(jù)一致性冋題Cache引起的數(shù)據(jù)一致性問題任務(wù)小結(jié)云存儲(chǔ)基礎(chǔ)技術(shù)包括：存儲(chǔ)空間管理（卷、RAID技術(shù)、LUN技術(shù)）數(shù)據(jù)存儲(chǔ)技術(shù)存儲(chǔ)高可用技術(shù)數(shù)據(jù)備份數(shù)據(jù)一致性處理拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項(xiàng)目之一，開發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個(gè)組織/機(jī)構(gòu)的680多位開發(fā)者累計(jì)提交了15000項(xiàng)修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.卷的分類？2.數(shù)據(jù)的一致性如何處理？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)三淺談云存儲(chǔ)關(guān)鍵技術(shù)存儲(chǔ)空間管理？數(shù)據(jù)存儲(chǔ)技術(shù)？數(shù)據(jù)備份的分類？如何進(jìn)行數(shù)據(jù)一致性處理？回顧任務(wù)描述:本節(jié)任務(wù)對(duì)云存儲(chǔ)的關(guān)鍵技術(shù)：存儲(chǔ)虛擬化、分布式擴(kuò)展模式進(jìn)行了剖析。任務(wù)教學(xué)目標(biāo)：掌握云存儲(chǔ)關(guān)鍵技術(shù)任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容存儲(chǔ)虛擬化分布式擴(kuò)展模式一二存儲(chǔ)虛擬化知識(shí)點(diǎn)一（一）存儲(chǔ)虛擬化將存儲(chǔ)資源集中到一個(gè)大容量的資源池并實(shí)行單點(diǎn)統(tǒng)一管理，無需中斷應(yīng)用即可改變存儲(chǔ)系統(tǒng)和數(shù)據(jù)遷移，提高整個(gè)系統(tǒng)的動(dòng)態(tài)適應(yīng)能力。

（一）存儲(chǔ)虛擬化010203存儲(chǔ)虛擬化04多租戶模型虛擬化感知能力存儲(chǔ)虛擬化實(shí)施全局訪問空間（二）全局訪問空間全局訪問空間是指將磁盤和內(nèi)存資源聚集成一個(gè)單一的虛擬存儲(chǔ)池進(jìn)行管理，計(jì)算節(jié)點(diǎn)可以隨意地訪問到云存儲(chǔ)設(shè)備空間的任意地方，這種訪問釆用同樣的訪問路徑或者方式。（三）多租戶模型多租戶架構(gòu)中，每個(gè)租戶、子租戶和用戶都可以施加獨(dú)立的策略，不同層級(jí)的策略略有不同，針對(duì)不同用途的租戶、子租戶和用戶，可以分別釆用最優(yōu)的策略，以提升服務(wù)質(zhì)量和運(yùn)營效率。（四）虛擬化感知能力單數(shù)據(jù)中心面向數(shù)據(jù)塊的云存儲(chǔ)主要服務(wù)于虛擬機(jī)的環(huán)境，運(yùn)行于計(jì)算節(jié)點(diǎn)之上的虛擬機(jī)會(huì)根據(jù)負(fù)載、故障和節(jié)能等種種情況下在不同的物理機(jī)之間進(jìn)行飄動(dòng)。支持這種飄動(dòng)的實(shí)現(xiàn)需要共享的存儲(chǔ)來得到相應(yīng)的效率。多數(shù)據(jù)中心虛擬化感知能力發(fā)生在跨數(shù)據(jù)中心或跨獨(dú)立的兩個(gè)或多個(gè)云存儲(chǔ)設(shè)備之間。這種數(shù)據(jù)流動(dòng)的能力是通過數(shù)據(jù)中心間的聯(lián)邦（指數(shù)據(jù)中心通過自治和合作，以耦合的方式集成在一起，共同向外提供統(tǒng)一服務(wù)的實(shí)現(xiàn)）機(jī)制來實(shí)現(xiàn)的。（五）存儲(chǔ)虛擬化實(shí)施（五）存儲(chǔ)虛擬化實(shí)施主要用途：異構(gòu)存儲(chǔ)系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理。實(shí)現(xiàn)方式：通過在存儲(chǔ)域網(wǎng)（SAN)中添加虛擬化引擎實(shí)現(xiàn)。優(yōu)點(diǎn)：與主機(jī)無關(guān)，不占用主機(jī)資源。能夠支持異構(gòu)主機(jī)、異構(gòu)存儲(chǔ)設(shè)備。使不同存儲(chǔ)設(shè)備的數(shù)據(jù)管理功能統(tǒng)一構(gòu)建統(tǒng)一管理平臺(tái)，可擴(kuò)展性好。缺點(diǎn)：部分廠商數(shù)據(jù)管理功能弱，難以達(dá)到虛擬化統(tǒng)一數(shù)據(jù)管理的目的。部分廠商產(chǎn)品成熟度較低，仍然存在和不同存儲(chǔ)和主機(jī)的兼容性問題。（六）基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化技術(shù)主要用途：在同一存儲(chǔ)設(shè)備內(nèi)部，進(jìn)行數(shù)據(jù)遷移實(shí)現(xiàn)方式：在存儲(chǔ)控制器上添加虛擬化功能，常見于中高端存儲(chǔ)設(shè)備。優(yōu)點(diǎn)：與主機(jī)無關(guān)，不占用主機(jī)資源。數(shù)據(jù)管理功能豐富。缺點(diǎn)：一般只能實(shí)現(xiàn)對(duì)本設(shè)備內(nèi)磁盤的虛擬化。不同廠商間的數(shù)據(jù)管理功能不能互操作。多套存儲(chǔ)設(shè)備需要配置多套數(shù)據(jù)管理軟件，成本較高。（七）基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化技術(shù)主要用途：使服務(wù)器的存儲(chǔ)空間可以跨越多個(gè)異構(gòu)的磁盤陣列，常用于在不同磁盤陣列之間做數(shù)據(jù)鏡像保護(hù)。實(shí)現(xiàn)方式：一般由操作系統(tǒng)下的邏輯卷管理軟件完成（安裝客戶端軟件），不同操作系統(tǒng)的邏輯卷管理軟件也不相同。優(yōu)點(diǎn)：支持異構(gòu)的存儲(chǔ)系統(tǒng)。不占用磁盤控制器資源。缺點(diǎn)：占用主機(jī)資源，降低應(yīng)用性能。存在操作系統(tǒng)和應(yīng)用的兼容性問題。主機(jī)數(shù)量越多，實(shí)施/管理成本越高。分布式擴(kuò)展模式知識(shí)點(diǎn)二（一）Scale-Up和Scale-Out擴(kuò)展（二）分布式擴(kuò)展模式關(guān)鍵技術(shù)高速網(wǎng)絡(luò)連接技術(shù)關(guān)鍵技術(shù)分布式文件系統(tǒng)（三）高速網(wǎng)絡(luò)連接技術(shù)以太網(wǎng)（三）高速網(wǎng)絡(luò)連接技術(shù)InfiniBand架構(gòu)（三）高速網(wǎng)絡(luò)連接技術(shù)基于RapidIO的互聯(lián)架構(gòu)RapidIO是由Motorola和Mercury等公司率先倡導(dǎo)的一種高性能、低引腳數(shù)、基于數(shù)據(jù)包交換的互連體系結(jié)構(gòu)，是為滿足和未來高性能嵌入式系統(tǒng)需求而設(shè)計(jì)的一種開放式互連技術(shù)標(biāo)準(zhǔn)。（四）RapidIO特性RapidIO①可靠性⑥支持“任意拓?fù)漕愋汀雹菝總€(gè)處理器都有自己的內(nèi)存子系統(tǒng)選擇的推送架構(gòu)④面向大量數(shù)據(jù)傳輸?shù)母咝阅苄畔鬟f③100ns交換機(jī)直通式延遲②微秒級(jí)以下的端到端數(shù)據(jù)包發(fā)送（五）分布式文件系統(tǒng)根據(jù)計(jì)算環(huán)境和所提供功能的不同，文件系統(tǒng)可劃分為4個(gè)層次：BDAC單處理器單用戶的本地文件系統(tǒng)多處理器多用戶的本地文件系統(tǒng)多處理器單用戶的本地文件系統(tǒng)多處理器多用戶的分布式文件系統(tǒng)分布式文件系統(tǒng)（DistributedFileSystem，DFS）是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。分布式文件系統(tǒng)（五）分布式文件系統(tǒng)（六）存儲(chǔ)空間管理器帶內(nèi)模式帶外模式（七）分布式文件系統(tǒng)的發(fā)展NFS和AFSXFSSAN、NASSAN和NAS兩種體系結(jié)構(gòu)相結(jié)合1980s1990s2000s1995—2000大致分為三個(gè)階段：（八）經(jīng)典分布式文件系統(tǒng)介紹1.NFS允許網(wǎng)站中的計(jì)算機(jī)之間通過TCP/IP網(wǎng)絡(luò)共享資源C/S結(jié)構(gòu)基于RPC協(xié)議實(shí)現(xiàn)（八）經(jīng)典分布式文件系統(tǒng)介紹2.AFS主要用于管理分布在網(wǎng)絡(luò)不同節(jié)點(diǎn)上的文件。與普通文件系統(tǒng)相比，AFS的主要特點(diǎn)在于3個(gè)方面：分布式、跨平臺(tái)、高安全性。（八）經(jīng)典分布式文件系統(tǒng)介紹3.TigerShark/GPFS被設(shè)計(jì)用于支持大規(guī)模實(shí)時(shí)交互式多媒體應(yīng)用，如交互電視（InteractiveTelevision，ITV）。GPFS通過共享磁盤結(jié)構(gòu)來實(shí)現(xiàn)它的強(qiáng)大的擴(kuò)展性。（八）經(jīng)典分布式文件系統(tǒng)介紹支持長時(shí)間的文件實(shí)時(shí)訪問大磁盤塊寫分塊數(shù)據(jù)復(fù)制數(shù)據(jù)一致性數(shù)據(jù)安全性系統(tǒng)可擴(kuò)展性3.HadoopHDFS（八）經(jīng)典分布式文件系統(tǒng)介紹Hadoop是一個(gè)基于Java的支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用的分布式文件系統(tǒng)。不僅僅是一個(gè)用于存儲(chǔ)的分布式文件系統(tǒng)，而是設(shè)計(jì)用來在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。3.Hadoop

（八）經(jīng)典分布式文件系統(tǒng)介紹Lustre文件系統(tǒng)是一個(gè)高度模塊化的系統(tǒng)，主要由3部分組成：客戶端（Client）對(duì)象存儲(chǔ)服務(wù)器（ObjectStorageTarget，OST）元數(shù)據(jù)服務(wù)器（MetaDataServer，MDS）。4.Lustre（八）經(jīng)典分布式文件系統(tǒng)介紹是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)海量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。運(yùn)行于廉價(jià)的普通硬件上，但提供了容錯(cuò)復(fù)制功能，可以給大量的用戶提供總體性能較高的可靠服務(wù)。5.GoogleFS（八）經(jīng)典分布式文件系統(tǒng)介紹OpenStack是一個(gè)項(xiàng)目和一個(gè)開源軟件。它提供了一個(gè)部署云的操作平臺(tái)或工具集。宗旨在于，幫助組織運(yùn)行為虛擬計(jì)算或存儲(chǔ)服務(wù)的云，為公有云、私有云，也為大云、小云提供可擴(kuò)展的、靈活的云計(jì)算。6.OpenStackSwift任務(wù)小結(jié)1、在云存儲(chǔ)關(guān)鍵技術(shù)中，主要有兩方面內(nèi)容：存儲(chǔ)虛擬化和分布式擴(kuò)展方式。2、存儲(chǔ)虛擬化中主要包括全局訪問空間、多租戶模型、虛擬化感知能力、存儲(chǔ)虛擬化實(shí)施技術(shù)。拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項(xiàng)目之一，開發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個(gè)組織/機(jī)構(gòu)的680多位開發(fā)者累計(jì)提交了15000項(xiàng)修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化技術(shù)？2.基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化技術(shù)？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)四淺析存儲(chǔ)架構(gòu)什么是存儲(chǔ)虛擬化？數(shù)據(jù)存儲(chǔ)的分布式擴(kuò)展方式？什么是全局訪問空間？什么是多租戶模型？回顧任務(wù)描述:本節(jié)任務(wù)對(duì)典型的DAS、NAS、SAN存儲(chǔ)架構(gòu)進(jìn)行了剖析，并對(duì)幾種存儲(chǔ)架構(gòu)進(jìn)行了比較。任務(wù)教學(xué)目標(biāo)：了解DAS架構(gòu)了解NAS架構(gòu)了解SAN架構(gòu)任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容DAS架構(gòu)NAS架構(gòu)SAN架構(gòu)一二三四DAS、NAS和SAN的比較DAS架構(gòu)知識(shí)點(diǎn)一（一）直連式存儲(chǔ)（DAS）一種直接與主機(jī)系統(tǒng)相連接的存儲(chǔ)設(shè)備，如作為服務(wù)器的計(jì)算機(jī)內(nèi)部硬件驅(qū)動(dòng)。（二）服務(wù)器種類—硬盤驅(qū)動(dòng)器臺(tái)式機(jī)架式刀片式（三）DAS—優(yōu)點(diǎn)高性能。服務(wù)器—存儲(chǔ)，不通過網(wǎng)線，沒有網(wǎng)絡(luò)結(jié)構(gòu)。而是直接連接?？勺鞅镜貑?dòng)盤。而ssd固態(tài)盤的流行，優(yōu)點(diǎn)更明顯。大容量存儲(chǔ)。多個(gè)磁盤組合成一個(gè)邏輯盤，即raid。提高存取性能。操作單個(gè)文件資料，同時(shí)多個(gè)物理硬盤并行工作。實(shí)施簡單：無須專業(yè)人員操作和維護(hù)，節(jié)省用戶投資。（四）DAS—使用環(huán)境DAS使用環(huán)境服務(wù)器在地理分布上很分散通過SAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）或NAS（網(wǎng)絡(luò)直接存儲(chǔ)）在它們之間進(jìn)行互連非常困難時(shí)。01存儲(chǔ)系統(tǒng)必須被直接連接到應(yīng)用服務(wù)器上時(shí)eg：MicrosoftClusterServer02包括許多數(shù)據(jù)庫應(yīng)用和應(yīng)用服務(wù)器在內(nèi)的應(yīng)用它們需要直接連接到存儲(chǔ)器上，群件應(yīng)用和一些郵件服務(wù)也包括在內(nèi)。03（五）DAS—缺點(diǎn)擴(kuò)展性差。服務(wù)器與存儲(chǔ)設(shè)備直接連接的方式導(dǎo)致出現(xiàn)新的應(yīng)用需求時(shí)，只能為新增的服務(wù)器單獨(dú)配置存儲(chǔ)設(shè)備，造成重復(fù)投資。資源利用率低。DAS方式的存儲(chǔ)長期來看，存儲(chǔ)空間無法充分利用，存在浪費(fèi)。可管理性差。DAS方式數(shù)據(jù)依然是分散的，不同的應(yīng)用各有一套存儲(chǔ)設(shè)備。管理分散，無法集中。異構(gòu)化嚴(yán)重。DAS方式使得企業(yè)在不同階段采購了不同型號(hào)、不同廠商的存儲(chǔ)設(shè)備，設(shè)備之間異構(gòu)化現(xiàn)象嚴(yán)重，導(dǎo)致維護(hù)成本居高不下。NAS架構(gòu)知識(shí)點(diǎn)二（一）網(wǎng)絡(luò)存儲(chǔ)設(shè)備（NetworkAttachedStorage）NAS是一種采用直接與網(wǎng)絡(luò)介質(zhì)相連的特殊設(shè)備實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的機(jī)制。（二）NAS—優(yōu)點(diǎn)01NAS可以即插即用02NAS通過TCP/IP網(wǎng)絡(luò)連接到應(yīng)用服務(wù)器03專用的操作系統(tǒng)支持不同的文件系統(tǒng)，提供不同操作系統(tǒng)的文件共享。04經(jīng)過優(yōu)化的文件系統(tǒng)提高了文件的訪問效率，也支持相應(yīng)的網(wǎng)絡(luò)協(xié)議。（三）3.NAS—缺點(diǎn)01NAS設(shè)備與客戶機(jī)通過企業(yè)網(wǎng)進(jìn)行連接，因此數(shù)據(jù)備份或存儲(chǔ)過程中會(huì)占用網(wǎng)絡(luò)的帶寬。02NAS的可擴(kuò)展性受到設(shè)備大小的限制。03NAS訪問需要經(jīng)過文件系統(tǒng)格式轉(zhuǎn)換，所以是以文件一級(jí)來訪問的，不適合Block級(jí)的應(yīng)用，尤其是要求使用裸設(shè)備的數(shù)據(jù)庫系統(tǒng)。SAN架構(gòu)知識(shí)點(diǎn)三（一）存儲(chǔ)區(qū)域網(wǎng)絡(luò)（StorageAreaNetwork）指存儲(chǔ)設(shè)備相互連接且與一臺(tái)服務(wù)器或一個(gè)服務(wù)器群相連的網(wǎng)絡(luò)。接口連接設(shè)備通信控制協(xié)議SAN（二）SAN依據(jù)存儲(chǔ)局域網(wǎng)類型分為FCSAN和IPSAN1.光纖交換機(jī)2.HBA主機(jī)總線適配卡1.以太交換機(jī)FC：FibreChannel光纖通道（三）光纖和網(wǎng)線光纖：單模（黃色），多模（橙色）單模距離：大約10-20公里多模距離：幾百米-2公里網(wǎng)線：傳輸距離不超過100米（四）FCSANFCSAN的特點(diǎn)：1、FCSAN擴(kuò)大服務(wù)器和存儲(chǔ)之間距離2、FCSAN傳輸距離通常不超50公里3、FCSAN互操作性是主要問題4、存儲(chǔ)價(jià)格貴，需要HBA卡IPSAN的優(yōu)勢：1、千兆/萬兆交換機(jī)替代光纖交換機(jī)2、客戶端的iSCSI卡替換HBA卡3、iSCSI接口存儲(chǔ)設(shè)備替換光纖磁陣4、IPSAN擴(kuò)展性更好FC-HBA卡ISCSI-HBA卡（五）SAN誤區(qū)早期的SAN存儲(chǔ)系統(tǒng)多數(shù)由FC存儲(chǔ)設(shè)備構(gòu)成，導(dǎo)致很多用戶誤以為SAN就是光纖通道設(shè)備。SAN代表的是一種專用于存儲(chǔ)的網(wǎng)絡(luò)架構(gòu)，與協(xié)議和設(shè)備類型無關(guān)。（六）SAN優(yōu)點(diǎn)設(shè)備整合數(shù)據(jù)集中高擴(kuò)展性總體擁有成本低SAN優(yōu)點(diǎn)DAS、NAS和SAN的比較知識(shí)點(diǎn)四（一）DAS、NAS和SAN的比較NAS、SAN與CAS的比較知識(shí)點(diǎn)五（一）全局訪問空間內(nèi)容尋址存儲(chǔ)（ContentAddressedStorage，CAS）具有面向?qū)ο蟠鎯?chǔ)特征，基于磁記錄技術(shù)，它按照所存儲(chǔ)數(shù)據(jù)內(nèi)容的數(shù)字指紋尋址，具有良好的可搜索性、安全性、可靠性和擴(kuò)展性。（二）SAN、NAS與CAS比較任務(wù)小結(jié)1、直連式存儲(chǔ)（DAS）：這是一種直接與主機(jī)系統(tǒng)相連接的存儲(chǔ)設(shè)備，如作為服務(wù)器的計(jì)算機(jī)內(nèi)部硬件驅(qū)動(dòng)。2、NAS是一種采用直接與網(wǎng)絡(luò)介質(zhì)相連的特殊設(shè)備實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的機(jī)制。3、存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）是指存儲(chǔ)設(shè)備相互連接且與一臺(tái)服務(wù)器或一個(gè)服務(wù)器群相連的網(wǎng)絡(luò)。4、SAN由3個(gè)基本的組件構(gòu)成：接口、連接設(shè)備和通信控制協(xié)議。拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項(xiàng)目之一，開發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個(gè)組織/機(jī)構(gòu)的680多位開發(fā)者累計(jì)提交了15000項(xiàng)修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.DAS？2.NAS？3.SAN的架構(gòu)？4.NAS的架構(gòu)？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)五淺析對(duì)象存儲(chǔ)系統(tǒng)什么是DAS？NAS存儲(chǔ)架構(gòu)？SAN存儲(chǔ)架構(gòu)？SAN存儲(chǔ)的優(yōu)勢和缺點(diǎn)？回顧任務(wù)描述:本節(jié)任務(wù)闡述了對(duì)象存儲(chǔ)系統(tǒng)，剖析了對(duì)象存儲(chǔ)與傳統(tǒng)存儲(chǔ)的差異，最后介紹了軟件定義存儲(chǔ)（SDS）和典型的對(duì)象存儲(chǔ)系統(tǒng)OpenStackSwift。任務(wù)教學(xué)目標(biāo)：了解結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)了解對(duì)象存儲(chǔ)與傳統(tǒng)存儲(chǔ)了解為什么要用OpenStackSwift任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)對(duì)象存儲(chǔ)系統(tǒng)定義對(duì)象存儲(chǔ)與傳統(tǒng)存儲(chǔ)一二三四軟件定義存儲(chǔ)（SDS）五為什么是OpenStackSwift結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)知識(shí)點(diǎn)一（一）結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)部分1部分2……互相關(guān)聯(lián)層次分明例如：數(shù)字，符號(hào)；關(guān)系型數(shù)據(jù)庫（二維表）場景：財(cái)務(wù)系統(tǒng)、醫(yī)療數(shù)據(jù)庫、教育一卡通等（一）結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫的二維表Execl的電子成績單二維：有行有列圖書館：圖書管理軟件（二）半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)的一種形式，它并不符合關(guān)系型數(shù)據(jù)庫或其他數(shù)據(jù)表的形式關(guān)聯(lián)起來的數(shù)據(jù)模型結(jié)構(gòu)，但包含相關(guān)標(biāo)記，用來分隔語義元素以及對(duì)記錄和字段進(jìn)行分層。<name>A</name><age>13</age><gender>female</gender></person><person><name>B</name><gender>male</gender></person>常見的半結(jié)構(gòu)數(shù)據(jù)有XML和JSON，對(duì)于對(duì)于兩個(gè)XML文件，

第一個(gè)可能有第二個(gè)可能有（三）非結(jié)構(gòu)化數(shù)據(jù)相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)。場景：醫(yī)療影像系統(tǒng)、教育點(diǎn)播系統(tǒng)，文件服務(wù)器等

A圖像B文本C視頻D超媒體E非關(guān)系型數(shù)據(jù)庫（三）非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)要求持續(xù)性可訪問性低成本可管理型（四）結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)完全結(jié)構(gòu)的數(shù)據(jù)如：關(guān)系型數(shù)據(jù)庫面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù)完全無結(jié)構(gòu)的數(shù)據(jù)如：聲音圖像文件半結(jié)構(gòu)的數(shù)據(jù)如：HTML文檔對(duì)象存儲(chǔ)系統(tǒng)定義知識(shí)點(diǎn)二對(duì)象存儲(chǔ)系統(tǒng)定義1.對(duì)象不是要管理塊和文件，純粹的對(duì)象存儲(chǔ)系統(tǒng)管理的是對(duì)象。更精確的講，所有現(xiàn)在的對(duì)象存儲(chǔ)系統(tǒng)把文件作為對(duì)象來管理。2.元數(shù)據(jù)對(duì)象由元數(shù)據(jù)（可提供對(duì)象中數(shù)據(jù)的上下文關(guān)系信息）、有效負(fù)載和實(shí)際數(shù)據(jù)組成。3.固定對(duì)象純對(duì)象存儲(chǔ)代表一個(gè)固定內(nèi)容的倉庫，意味著對(duì)象可以被創(chuàng)建、刪除和讀取，但不能被修改。4.冗余性對(duì)象存儲(chǔ)通過在多個(gè)節(jié)點(diǎn)上存儲(chǔ)相同對(duì)象的多個(gè)副本實(shí)現(xiàn)冗余性和高可靠性。對(duì)象存儲(chǔ)系統(tǒng)定義5.協(xié)議支持對(duì)象存儲(chǔ)通常通過基于HTTP協(xié)議的RESTAPI訪問。6.應(yīng)用軟件支持與集成訪問對(duì)象存儲(chǔ)依賴于RESTAPI，除了客戶化應(yīng)用程序集成，一些商業(yè)應(yīng)用，特別是備份和歸檔應(yīng)用，已經(jīng)增加了對(duì)于對(duì)象存儲(chǔ)集成的支持，主要連接到AmazonS3云存儲(chǔ)。7.云功能通過互聯(lián)網(wǎng)進(jìn)行共享訪問；多租戶和不同用戶數(shù)據(jù)的安全隔離；云的計(jì)量和收費(fèi)的自動(dòng)跟蹤。8.用例對(duì)象存儲(chǔ)在經(jīng)常變化的非常大的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)中工作的非常好，也可作為不活躍數(shù)據(jù)的交易存儲(chǔ)層之外的存儲(chǔ)層，或者是歸檔存儲(chǔ)。對(duì)象存儲(chǔ)與傳統(tǒng)存儲(chǔ)知識(shí)點(diǎn)三（一）各存儲(chǔ)系統(tǒng)比較

塊存儲(chǔ)文件存儲(chǔ)對(duì)象存儲(chǔ)傳輸單位塊文件對(duì)象：攜帶自定義元數(shù)據(jù)的文件傳輸協(xié)議光纖，iSCSI，SATACIFS&NFS基于HTTP的REST/SOAPAPI云數(shù)據(jù)固定屬性固定文件屬性支持自定義云數(shù)據(jù)適用場景交易數(shù)據(jù)和高頻次改變的數(shù)據(jù)文件數(shù)據(jù)簡易存儲(chǔ)及共享內(nèi)容長項(xiàng)交易數(shù)據(jù)簡單訪問、易于管理可擴(kuò)展性和分布式訪問文件修改可在存儲(chǔ)上即時(shí)更改文件可在存儲(chǔ)上即時(shí)更改文件額外的對(duì)象會(huì)被創(chuàng)建限制難以跨數(shù)據(jù)中心擴(kuò)容在十億節(jié)點(diǎn)下，元數(shù)據(jù)和擴(kuò)展性會(huì)成為瓶頸并不是為了高頻次操作的數(shù)據(jù)設(shè)計(jì)的（二）對(duì)象存儲(chǔ)分類具備云功能的水平擴(kuò)展NAS第二代對(duì)象存儲(chǔ)系統(tǒng)CAS對(duì)象存儲(chǔ)分類020301（三）對(duì)象存儲(chǔ)組成結(jié)構(gòu)對(duì)象存儲(chǔ)系統(tǒng)存放容器A=ID1容器B=ID2……對(duì)象1=ID3對(duì)象2=ID4……對(duì)象存儲(chǔ)系統(tǒng)：容器（Bucket）+對(duì)象（Object）+（四）對(duì)象存儲(chǔ)—分層結(jié)構(gòu)對(duì)比扁平化的更少的元數(shù)據(jù)存儲(chǔ)和訪問（五）對(duì)象存儲(chǔ)—特點(diǎn)1容量：TB-EB數(shù)量：十個(gè)-百億對(duì)象字節(jié)：數(shù)個(gè)-萬億字節(jié)超強(qiáng)擴(kuò)展性2動(dòng)態(tài)數(shù)據(jù)保護(hù)級(jí)別-保留期限-復(fù)制分?jǐn)?shù)等基于策略自動(dòng)化管理3同一種架構(gòu)，同一套系統(tǒng)不同用戶，不同應(yīng)用多租戶4后臺(tái)數(shù)據(jù)掃描完整性校驗(yàn)自動(dòng)化對(duì)象修復(fù)完整性/安全性（六）對(duì)象存儲(chǔ)—應(yīng)用場景1存儲(chǔ)資源池2網(wǎng)盤應(yīng)用3集中備份4歸檔和分級(jí)存儲(chǔ)軟件定義存儲(chǔ)（SDS）知識(shí)點(diǎn)四（一）軟件定義存儲(chǔ)（SDS）是一種數(shù)據(jù)存儲(chǔ)方式，所有存儲(chǔ)相關(guān)的控制工作都僅在相對(duì)于物理存儲(chǔ)硬件的外部軟件中，在一個(gè)服務(wù)器上或者作為操作系統(tǒng)（OS）或hypervisor的一部分。（二）SDS系統(tǒng)一共分為4個(gè)層次01存儲(chǔ)路由（Storagerouting）02存儲(chǔ)韌性（Storageresilience）03物理硬件（physicalhardware）04帶外控制器（Out-of-bandcontroller）（三）軟件定義存儲(chǔ)的優(yōu)點(diǎn)SDS系統(tǒng)可以高效地管理存儲(chǔ)規(guī)模，提髙基礎(chǔ)設(shè)施的運(yùn)營效率。軟硬件的解耦合允許在標(biāo)準(zhǔn)服務(wù)器硬件之上構(gòu)筑一個(gè)統(tǒng)一的存儲(chǔ)系統(tǒng)。SDS解決方案通常是開源的，這意味著更好的標(biāo)準(zhǔn)、更多的工具，以及避免鎖定到單一供應(yīng)商那里。為什么是OpenStackSwift知識(shí)點(diǎn)四為什么是OpenStackSwift是一種全新的存儲(chǔ)系統(tǒng)可以安裝在所謂的商品硬件之上Swift是一個(gè)對(duì)象存儲(chǔ)系統(tǒng)Swift擁有廣泛的用途Swift任務(wù)小結(jié)實(shí)現(xiàn)對(duì)象存儲(chǔ)的多種方式：CAS、第二代對(duì)象存儲(chǔ)系統(tǒng)、具備云功能的水平擴(kuò)展NASSDS方案是存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的最佳選擇：存儲(chǔ)路由（Storagerouting）存儲(chǔ)韌性（Storageresilience）物理硬件（physicalhardware）帶外控制器（Out-of-bandcontroller）Swift是一個(gè)對(duì)象存儲(chǔ)系統(tǒng)，可以安裝在所謂的商品硬件（commodityhardware）之上，是一個(gè)在保障數(shù)據(jù)可用性前提下易于擴(kuò)展容忍故障的分布式系統(tǒng)。拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項(xiàng)目之一，開發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個(gè)組織/機(jī)構(gòu)的680多位開發(fā)者累計(jì)提交了15000項(xiàng)修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.對(duì)象存儲(chǔ)的定義？2.實(shí)現(xiàn)對(duì)象存儲(chǔ)的幾種方式？3.為什么SDS方案是存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的最佳選擇？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)六走進(jìn)Swift什么是DAS？NAS存儲(chǔ)架構(gòu)？SAN存儲(chǔ)架構(gòu)？SAN存儲(chǔ)的優(yōu)勢和缺點(diǎn)？回顧任務(wù)描述:本節(jié)任務(wù)對(duì)OpenStackSwift對(duì)象存儲(chǔ)組件進(jìn)行了系統(tǒng)的闡述，剖析了Swift的特性、典型應(yīng)用場景和Swift組件的支撐技術(shù)CAP理論。任務(wù)教學(xué)目標(biāo)：了解Swift特性了解Swift應(yīng)用場景了解CAP理論任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容Swift簡介Swift的特性Swift應(yīng)用場景一二三四CAP理論簡介五知識(shí)拓展：CAP理解Swift簡介知識(shí)點(diǎn)一（一）Swift的簡介（一）Swift的簡介（二）Openstack官網(wǎng)Openstack官網(wǎng)：https:///queens/（三）Openstack界面（四）Swift開發(fā)歷史2009年，一組在RackSpace工作的開發(fā)者和工程師針對(duì)快速增長的數(shù)據(jù)而開始Swift的研發(fā)。經(jīng)過一年多努力，他們開發(fā)出了一個(gè)可以替代原有存儲(chǔ)系統(tǒng)的對(duì)象存儲(chǔ)系統(tǒng)。Swift的目標(biāo)是創(chuàng)建一個(gè)類似于Amazon的S3（SimpleStorageService）的可以運(yùn)行在云計(jì)算環(huán)境下的簡單存儲(chǔ)系統(tǒng)，能夠存儲(chǔ)PB級(jí)的數(shù)據(jù)并且高度可用。2010年7月，RackSpace將Swift的代碼貢獻(xiàn)給了OpenStack社區(qū)，至此，Swift成為了一個(gè)開源的超量存儲(chǔ)系統(tǒng)。（五）Swift商業(yè)發(fā)展Swift在一些本土互聯(lián)網(wǎng)公司有一些成功的應(yīng)用，包括新浪、美團(tuán)、愛奇藝、鳳凰網(wǎng)等。國外的應(yīng)用更為廣泛。早在2010年，Swift就迎來了第一個(gè)Rackspace之外的商用案例——韓國電信，大家很熟悉的維基百科、ebay等也是Swift的用戶。隨著互聯(lián)網(wǎng)技術(shù)的應(yīng)用架構(gòu)逐漸被傳統(tǒng)行業(yè)接受，對(duì)象存儲(chǔ)和Swift將受到越來越廣泛的關(guān)注。從OpenStackKilo版本的數(shù)據(jù)來看，Swift社區(qū)呈現(xiàn)出多元化的特點(diǎn)而且正在健康的發(fā)展。（五）Swift商業(yè)發(fā)展Swift的特性知識(shí)點(diǎn)二（一）Swift的特性存放大量非結(jié)構(gòu)化數(shù)據(jù)、支持多租戶、可以高擴(kuò)展的持久性對(duì)象存儲(chǔ)系統(tǒng)。Swift通過RESTAPI來存放、檢索和刪除容器中的對(duì)象?？蓴U(kuò)展性高并發(fā)對(duì)稱系統(tǒng)架構(gòu)數(shù)據(jù)持久性設(shè)備要求低管理友好性開發(fā)的友好性7個(gè)OpenStack官網(wǎng)中，列舉了Swift的20多個(gè)特性（二）極高的數(shù)據(jù)持久性定義：可理解成數(shù)據(jù)的可靠性。是指數(shù)據(jù)存儲(chǔ)到系統(tǒng)中后，到某一天數(shù)據(jù)丟失的可能性。例如：AmazonS3的數(shù)據(jù)持久性是11個(gè)9。即如果存儲(chǔ)1萬(4個(gè)0)個(gè)文件到S3中，1千萬(7個(gè)0)年之后，可能會(huì)丟失其中1個(gè)文件。Swift：在數(shù)據(jù)復(fù)制3份的情況下，數(shù)據(jù)持久性的SLA能達(dá)到10個(gè)9。（二）極高的數(shù)據(jù)持久性Swift：獨(dú)特的、分布式的架構(gòu)設(shè)計(jì)。對(duì)象1對(duì)象1對(duì)象1對(duì)象1集群區(qū)域A區(qū)域B區(qū)域C寫操作：至少兩個(gè)副本完成，一個(gè)寫操作才算完成。審計(jì)器：保證數(shù)據(jù)不會(huì)出故障。復(fù)制器：保證對(duì)象在集群中有足夠副本。（三）完全對(duì)稱的系統(tǒng)架構(gòu)定義：Swift的各節(jié)點(diǎn)完全對(duì)稱，從而極大地降低系統(tǒng)維護(hù)成本。（去中心化）武漢機(jī)房單點(diǎn)故障Swift元數(shù)據(jù)存儲(chǔ)是完全均勻隨機(jī)分布，存儲(chǔ)多份。整個(gè)Swift集群中沒有一個(gè)角色是單點(diǎn)的，架構(gòu)設(shè)計(jì)上保證無單點(diǎn)業(yè)務(wù)。（四）可擴(kuò)展性1數(shù)據(jù)存儲(chǔ)容量2性能（吞吐量）由于Swift的對(duì)稱設(shè)計(jì)架構(gòu)，擴(kuò)容只需簡單地添加機(jī)器，系統(tǒng)自動(dòng)化完成數(shù)據(jù)遷移，促使各存儲(chǔ)節(jié)點(diǎn)重新達(dá)到平衡狀態(tài)。（五）高并發(fā)為滿足Web應(yīng)用需要，只有大量存儲(chǔ)空間是不夠的，更重要是存儲(chǔ)系統(tǒng)可以支持高度的并發(fā)性。Swift通過采用“無共享”的方法以及其他方法來提高處理高并發(fā)的能力。（六）硬件設(shè)備要求低集群中單個(gè)設(shè)備的可靠性不那么重要，所以可以在普通的硬件設(shè)備上。根據(jù)應(yīng)用程序?qū)﹀e(cuò)誤的容忍度以及更換故障設(shè)備的能力，來選用不同質(zhì)量和配置的硬件。（七）開發(fā)的友好性Swift可以通過互聯(lián)網(wǎng)直接使用。同時(shí)為多個(gè)應(yīng)用提供數(shù)據(jù)存儲(chǔ)服務(wù)。應(yīng)用開發(fā)者：專注開發(fā)應(yīng)用，不用擔(dān)心數(shù)據(jù)存儲(chǔ)問題。Swift小功能概覽：靜態(tài)網(wǎng)站托管自動(dòng)作廢對(duì)象有時(shí)間期限的URL資源限量直接通過HTML表格上傳版本控制多區(qū)域讀訪問控制列表（八）管理友好性低價(jià)標(biāo)準(zhǔn)設(shè)備高性能高容量高持久性架構(gòu)優(yōu)美代碼簡介多測試日志體現(xiàn)Swift應(yīng)用場景知識(shí)點(diǎn)三（一）Swift應(yīng)用場景1云平臺(tái)虛擬機(jī)鏡像存儲(chǔ)引擎例子：openstack私有云、dropbox普通非結(jié)構(gòu)化數(shù)據(jù)資料例子：大量的公司或企業(yè)（二）Swift應(yīng)用場景2數(shù)據(jù)分析例子：醫(yī)藥-財(cái)務(wù)-大數(shù)據(jù)公司備份、歸檔和災(zāi)難恢復(fù)例子：所有用戶

（三）Swift應(yīng)用場景靜態(tài)網(wǎng)站托管例子：網(wǎng)站公司、創(chuàng)業(yè)公司等CAP理論簡介知識(shí)點(diǎn)四（一）背景云存儲(chǔ)世界中的用戶需求那么多有沒有一種萬能的存儲(chǔ)系統(tǒng)可以滿足所有可能？（二）用戶需求（CAP）一致性（Consistency）：源數(shù)據(jù)變，副本同步更新可用性（Availability）：操作可以，立馬相應(yīng)分區(qū)容錯(cuò)性（Partition-tolerance）：網(wǎng)絡(luò)不互通的承受能力大數(shù)據(jù)中的分布式系統(tǒng)：不可能同時(shí)滿足這三種需求！?。。ㄈ┓植际酱鎯?chǔ)—示意圖武漢上海北京寫？？（三）分布式存儲(chǔ)—示意圖副本B和C，一致or不一致第1種等到B、C三份數(shù)據(jù)一致后返回強(qiáng)一致性第2種讀操作立即返回，容忍BC和A讀取不一致弱一致性結(jié)論：副本越多，耗時(shí)更長，可用性（立即返回?cái)?shù)據(jù)能力）越差！結(jié)論：可用性明顯提高，副本也可以讀，但一致性差！知識(shí)拓展：CAP理解知識(shí)點(diǎn)五C-A-P關(guān)系解釋斷開數(shù)據(jù)A例子：若數(shù)據(jù)A只在節(jié)點(diǎn)1保存。分區(qū)后，其他的不能訪問。無法容忍！做法：數(shù)據(jù)A多復(fù)制副本，分區(qū)出現(xiàn)，會(huì)分布多個(gè)區(qū)域！容忍度提高！分區(qū)：原本不同節(jié)點(diǎn)互通，因?yàn)楣收?，不通，最后分成幾個(gè)獨(dú)立區(qū)域！多副本——數(shù)據(jù)可能不一致？要一致——等待全部數(shù)據(jù)更新成功——可用性問題？C-A-P總結(jié)滿足：分區(qū)容忍度加副本可能：數(shù)據(jù)不一致性數(shù)據(jù)完全一致若復(fù)制時(shí)間足夠不能及時(shí)響應(yīng)可用性差應(yīng)用—開發(fā)云存儲(chǔ)架構(gòu)根據(jù)業(yè)務(wù)，確定你要C—A—P的哪兩個(gè)？？例子1：銀行系統(tǒng)（考慮一致性C），A和P要考慮降低一個(gè)。

分布式數(shù)據(jù)系統(tǒng)，分區(qū)容錯(cuò)性P肯定需要。則放棄A，考慮CP。例子2：Web網(wǎng)站（考慮可用性A），C和P要考慮降低一個(gè)。

分布式數(shù)據(jù)系統(tǒng)，分區(qū)容錯(cuò)性P肯定需要。則放棄C，考慮AP。而Swift存儲(chǔ)系統(tǒng)：考慮AP，放棄C。強(qiáng)調(diào)“最終一致性”任務(wù)小結(jié)1.Swift應(yīng)用場景：引擎、普通存儲(chǔ)、數(shù)據(jù)分析、備份和托管等。3.Swift特性主要包括數(shù)據(jù)持久性、對(duì)稱架構(gòu)等七個(gè)。3.CAP是設(shè)計(jì)分布式存儲(chǔ)架構(gòu)的基礎(chǔ)經(jīng)典理論。拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項(xiàng)目之一，開發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個(gè)組織/機(jī)構(gòu)的680多位開發(fā)者累計(jì)提交了15000項(xiàng)修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.Swift的特性？2.CAP經(jīng)典理論？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)七Swift工作原理Swift的特性？Swift的應(yīng)用工作場景？CAP定義？CAP理論？回顧任務(wù)描述:本節(jié)任務(wù)對(duì)Swift的概念、工作原理進(jìn)行了系統(tǒng)闡述，剖析了Swift的總體架構(gòu)以及虛節(jié)點(diǎn)和環(huán)的工作原理。任務(wù)教學(xué)目標(biāo)：了解Swift核心概念及架構(gòu)理解Swift工作原理任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容核心概念總體架構(gòu)Swift的工作原理一二三核心概念知識(shí)點(diǎn)一（一）Swift邏輯結(jié)構(gòu)賬號(hào)A賬號(hào)B賬號(hào)C容器容器容器對(duì)象對(duì)象（二）SwiftURLURL：網(wǎng)址形式的訪問具體信息的方式。對(duì)Swift的服務(wù)請(qǐng)求都是通過RESTAPI用URL的訪問。例子：/v1/account/container/object賬號(hào)容器對(duì)象（三）賬號(hào)賬號(hào)：一個(gè)租戶。它可以是個(gè)人、部門或公司等。

Swift通過創(chuàng)建賬號(hào)使多個(gè)用戶和應(yīng)用可以同時(shí)并發(fā)地使用存儲(chǔ)系統(tǒng)。賬號(hào)的數(shù)據(jù)庫存儲(chǔ)下屬，容器信息（名稱、創(chuàng)建日期等）（四）容器容器：類似于文件系統(tǒng)中的目錄。容器的數(shù)據(jù)庫存儲(chǔ)下屬，對(duì)象信息（名稱、創(chuàng)建日期等）【注意：同一賬號(hào)，不同容器名稱不同賬號(hào)，相同容器名稱】（五）對(duì)象對(duì)象：類似于文件系統(tǒng)中的文件。對(duì)象存儲(chǔ)核心信息（圖片、錄像、日志等）文件總體架構(gòu)知識(shí)點(diǎn)二公網(wǎng)私網(wǎng)代理節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)URL請(qǐng)求（一）Swift部署架構(gòu)（二）代理服務(wù)器Proxyserver對(duì)外的SwiftRESTAPI接口負(fù)責(zé)處理對(duì)swift的所有請(qǐng)求至少兩臺(tái)代理服務(wù)器（HTTP服務(wù)器）對(duì)內(nèi)連接和通信swift集群中每個(gè)組件查詢賬號(hào)-容器-對(duì)象位置，并反饋對(duì)外對(duì)內(nèi)（四）總體架構(gòu)