云計算技術(shù)應(yīng)用基礎(chǔ) 課件 第2章 云存儲與備份技術(shù)

云計算技術(shù)應(yīng)用基礎(chǔ)（微課版）工業(yè)和信息化精品系列教材——云計算技術(shù)第2章云存儲與備份技術(shù)云存儲系統(tǒng)云存儲概述數(shù)據(jù)存儲技術(shù)云存儲應(yīng)用及發(fā)展趨勢技能實踐數(shù)據(jù)備份概述遠(yuǎn)程數(shù)據(jù)復(fù)制2.1.1存儲的基礎(chǔ)知識1．存儲的發(fā)展和技術(shù)演進(jìn)（1）穿孔紙帶穿孔紙帶是早期計算機(jī)的存儲介質(zhì)，它將程序和數(shù)據(jù)轉(zhuǎn)換成二進(jìn)制數(shù)碼：帶孔為1，無孔為0，經(jīng)過光電輸入機(jī)將數(shù)據(jù)輸入計算機(jī)。后來穿孔紙帶被更先進(jìn)的磁帶（1951年起作為計算機(jī)存儲設(shè)備）所替代。在行業(yè)應(yīng)用中，穿孔紙帶也用作數(shù)控設(shè)備固定指令輸入載體。穿孔紙帶是利用打孔技術(shù)在紙帶上打上一系列有規(guī)律的孔點(diǎn)，以適應(yīng)機(jī)器的讀取和操作。穿孔紙帶也稱指令帶。在19世紀(jì)至20世紀(jì)，穿孔紙帶主要用于電傳打字機(jī)通信、可編碼式的織布機(jī)以及作為計算機(jī)的存儲介質(zhì)，后期用于數(shù)控裝置。穿孔紙帶上必須用規(guī)定的代碼，以規(guī)定的格式排列，并代表規(guī)定的信息。2.1.1存儲的基礎(chǔ)知識1．存儲的發(fā)展和技術(shù)演進(jìn)（2）磁帶磁帶是一種用于記錄聲音、圖像、數(shù)字或其他信號的載有磁層的帶狀材料，是一種磁記錄材料。20世紀(jì)50年代國際商業(yè)機(jī)器公司（簡稱IBM）最早把盤式磁帶用于數(shù)據(jù)存儲。1963年荷蘭飛利浦公司（簡稱飛利浦）研制了全球首盤盒式磁帶，其大小僅為早期的菲德里派克（Fidelipac）循環(huán)卡式錄音機(jī)的1/4。20世紀(jì)80年代以索尼Walkman系列為代表的便攜式隨身聽的出現(xiàn)造就了磁帶在全世界范圍內(nèi)的風(fēng)靡。音樂磁帶開始取代密紋唱片，隨身聽一躍成為便攜式音樂市場的象征。1998年韓國三星公司推出了全球首臺MP3播放器。2010年秋美國媒體報道了磁帶的“重生”。美國25個音樂廠商開始重新制作磁帶，且這些磁帶不是老專輯的翻錄，而是新發(fā)行的專輯。如今磁帶已變?yōu)橐环N收藏品，依舊在市場上活躍。據(jù)業(yè)內(nèi)行家稱，老磁帶的大部分品種發(fā)行量小，又由于絞帶、受潮等自然損耗和人為損耗，其數(shù)量會更少，因此收藏價值會越來越高。2.1.1存儲的基礎(chǔ)知識1．存儲的發(fā)展和技術(shù)演進(jìn)（2）磁帶②錄像帶自1956年美國安佩克斯公司研制成錄像機(jī)以來，錄像帶已從電視廣播逐步進(jìn)入科學(xué)技術(shù)、文化教育、電影和家庭娛樂等領(lǐng)域。除了用二氧化鉻包鈷磁粉以及金屬磁粉制成錄像帶外，日本還制成了微型鍍膜錄像帶，并開發(fā)了鋇鐵氧體型垂直磁化錄像帶。①錄音帶錄音帶在20世紀(jì)30年代開始出現(xiàn)，是用量最大的一種磁帶。1963年，飛利浦研制出盒式錄音帶。1973年，日本研制成功Avilyn包鈷磁粉帶。1978年，美國生產(chǎn)出金屬磁粉帶。我國在20世紀(jì)60年代初開始生產(chǎn)錄音帶，1975年試制成盒式錄音帶，達(dá)到較高水平。④儀表磁帶儀表磁帶也稱儀器磁帶或精密磁帶。在近代科學(xué)研究中，人們常需要把無法接近的測量數(shù)據(jù)自動且連續(xù)地記錄下來，這種存儲技術(shù)即為遙控遙測技術(shù)。儀表磁帶就是在上述需求下發(fā)展起來的，它是自動化和磁記錄技術(shù)相結(jié)合的產(chǎn)物。對這種磁帶的性能和制造都有著嚴(yán)格的要求。③計算機(jī)帶計算機(jī)帶作為數(shù)字信息的存儲介質(zhì)，具有容量大、價格低的優(yōu)點(diǎn)。計算機(jī)帶主要用于計算機(jī)的外存儲器。其如今僅在專業(yè)設(shè)備上使用，如計算機(jī)磁帶存儲器、車床控制機(jī)等。2.1.1存儲的基礎(chǔ)知識1．存儲的發(fā)展和技術(shù)演進(jìn)（3）軟盤1979年1967年976年8月IBM推出世界上第一張軟盤，直徑為32英寸。4年后IBM又推出一種直徑為8英寸的表面涂有金屬氧化物的塑料質(zhì)軟盤。索尼公司推出3.5英寸的雙面軟盤，其容量為875KB，到1983年其容量已達(dá)1MB。艾倫?舒加特宣布研制出5.25英寸的軟盤。軟盤（FloppyDisk）是在個人計算機(jī)（PersonalComputer，PC）上最早使用的可移動存儲介質(zhì)。軟盤的讀寫是通過軟盤驅(qū)動器完成的。存取速度慢，容量也小，但可裝可卸、攜帶方便2.1.1存儲的基礎(chǔ)知識1．存儲的發(fā)展和技術(shù)演進(jìn)（4）硬盤硬盤驅(qū)動器機(jī)械硬盤內(nèi)部結(jié)構(gòu)部分常見的固態(tài)硬盤機(jī)械硬盤2.1.1存儲的基礎(chǔ)知識1．存儲的發(fā)展和技術(shù)演進(jìn)基于DRAM的固態(tài)硬盤動態(tài)隨機(jī)存取存儲器（DynamicRandomAccessMemory，DRAM）是一種半導(dǎo)體存儲器。采用DRAM作為存儲介質(zhì)的應(yīng)用范圍較窄。它仿效機(jī)械硬盤的設(shè)計，可被絕大部分操作系統(tǒng)的文件系統(tǒng)進(jìn)行卷設(shè)置和管理，并提供工業(yè)標(biāo)準(zhǔn)的PCI和FC接口用于連接主機(jī)或者服務(wù)器?；?DXPoint的固態(tài)硬盤其原理上接近DRAM，但是屬于非易失存儲。讀取延時極低，可輕松達(dá)到現(xiàn)有固態(tài)硬盤時延的百分之一，且有接近無限的存儲壽命。其缺點(diǎn)是密度相對NAND較低，成本極高，多用于發(fā)燒級臺式機(jī)和數(shù)據(jù)中心?；贔lash芯片的固態(tài)硬盤采用Flash芯片作為存儲介質(zhì)，這也是通常所說的SSD。它的外觀可以被制作成多種樣式，如筆記本硬盤、微硬盤、存儲卡、U盤等樣式。這種固態(tài)硬盤最大的優(yōu)點(diǎn)就是可以移動，而且數(shù)據(jù)保護(hù)不受電源控制，能適應(yīng)各種環(huán)境，適合個人用戶使用。010203固態(tài)硬盤（4）硬盤2.1.1存儲的基礎(chǔ)知識1．存儲的發(fā)展和技術(shù)演進(jìn)0203輕便無噪聲低功耗防震抗摔性工作溫度范圍大固態(tài)硬盤的優(yōu)點(diǎn)01050406讀寫速度快2.1.1存儲的基礎(chǔ)知識2．存儲的前沿技術(shù)和發(fā)展趨勢（1）虛擬存儲虛擬存儲指的是將不同類型、獨(dú)立存在的物理存儲實體，通過軟件和硬件技術(shù)融合轉(zhuǎn)換為一個邏輯虛擬存儲單元進(jìn)行統(tǒng)一管理并提供給用戶使用。邏輯虛擬存儲單元的存儲容量是它所集中管理的各物理存儲體的存儲量的總和，而它具有的讀/寫帶寬則接近各個物理存儲體的讀/寫帶寬的總和。虛擬存儲技術(shù)的發(fā)展和應(yīng)用，有助于更加有效地發(fā)揮當(dāng)前存儲設(shè)備的存儲能力以及提高存儲效率。存儲虛擬化的核心在于如何把物理存儲設(shè)備映射到單一的邏輯資源池中。虛擬化技術(shù)是通過建立一個虛擬抽象層來實現(xiàn)的。該虛擬抽象層為用戶提供一個統(tǒng)一的接口，并對用戶隱藏了復(fù)雜的物理實現(xiàn)。根據(jù)虛擬抽象層在存儲系統(tǒng)中所處的區(qū)域，存儲虛擬化的實現(xiàn)方式可以分為基于存儲設(shè)備端的虛擬存儲、基于存儲網(wǎng)絡(luò)的虛擬存儲和基于服務(wù)器端的虛擬存儲3種方式。2.1.1存儲的基礎(chǔ)知識2．存儲的前沿技術(shù)和發(fā)展趨勢（2）網(wǎng)絡(luò)存儲網(wǎng)絡(luò)存儲是諸多數(shù)據(jù)存儲技術(shù)中的一類，它是一種特殊的專用數(shù)據(jù)存儲服務(wù)器，包括存儲器件（如磁盤陣列、磁帶驅(qū)動器或者可移動的存儲介質(zhì)）和內(nèi)嵌的系統(tǒng)軟件，并且可以提供平臺文件共享功能。通常，網(wǎng)絡(luò)存儲在一個局域網(wǎng)中擁有自己的節(jié)點(diǎn)，不需要應(yīng)用服務(wù)器的干預(yù)，允許用戶在網(wǎng)絡(luò)中存取數(shù)據(jù)。隨著存儲技術(shù)的不斷發(fā)展和企業(yè)需求的不斷改變，ServerSAN正在逐步成為企業(yè)主流的存儲形態(tài)。無論是公有云還是私有云，大家對分布式存儲都非常關(guān)注。在新業(yè)務(wù)的不斷催生下，新資源的模式逐漸從“煙囪式”轉(zhuǎn)變?yōu)椤霸啤蹦Ｊ健Ｒ驗閭鹘y(tǒng)的存儲是為了滿足單一應(yīng)用和場景而建立的，并不能滿足彈性擴(kuò)展的需求，所以在此需求的推動下，可以按需彈性擴(kuò)展的云存儲必然得以大力發(fā)展。更先進(jìn)的一種存儲方式是由軟件定義的全融合云存儲，這是基于通用硬件平臺構(gòu)建的一套按需提供塊、文件、對象服務(wù)的系統(tǒng)，適用于金融開發(fā)測試、政務(wù)、警務(wù)及大企業(yè)等行業(yè)云資源池，以及運(yùn)營商公有云等場景。2.1.2云存儲的內(nèi)涵1．云存儲系統(tǒng)的基本架構(gòu)云存儲改變了數(shù)據(jù)垂直存儲在某一臺物理設(shè)備的存放模式。云存儲通過寬帶網(wǎng)絡(luò)（如吉比特以太網(wǎng)、InfiniBand技術(shù)等）集合大量的存儲設(shè)備，通過存儲虛擬化、分布式文件系統(tǒng)、底層對象化等技術(shù)將位于各單一存儲設(shè)備上的物理存儲資源進(jìn)行整合，構(gòu)成邏輯上統(tǒng)一的存儲資源池對外提供服務(wù)。云存儲系統(tǒng)可以在存儲容量上從單設(shè)備PB級橫向擴(kuò)展至數(shù)十、數(shù)百PB。由于云存儲系統(tǒng)中的各節(jié)點(diǎn)能夠并行提供讀寫訪問服務(wù)，系統(tǒng)整體性能將隨著業(yè)務(wù)節(jié)點(diǎn)的增加而獲得同步提升。同時，通過冗余編碼技術(shù)、遠(yuǎn)程復(fù)制技術(shù)，可以進(jìn)一步為系統(tǒng)提供節(jié)點(diǎn)級甚至數(shù)據(jù)中心級的故障保護(hù)能力。云存儲服務(wù)通過Web服務(wù)API或Web化的使用者接口來存取。云存儲的主要用途包括數(shù)據(jù)備份、歸檔和災(zāi)難恢復(fù)等。2.1.2云存儲的內(nèi)涵2．云存儲系統(tǒng)與傳統(tǒng)存儲系統(tǒng)ACB云存儲系統(tǒng)面向多種類型的網(wǎng)絡(luò)在線存儲服務(wù)，而傳統(tǒng)存儲系統(tǒng)則面向如高性能計算、事務(wù)處理等應(yīng)用。云存儲服務(wù)首先需要考慮的是數(shù)據(jù)的安全、可靠、效率等指標(biāo)，而且由于具有用戶規(guī)模大、服務(wù)范圍廣、網(wǎng)絡(luò)環(huán)境復(fù)雜多變等特點(diǎn)，實現(xiàn)高質(zhì)量的云存儲服務(wù)必將面臨更大的技術(shù)挑戰(zhàn)。云存儲系統(tǒng)不僅要提供類似于POSIX的傳統(tǒng)文件訪問功能，還要能夠支持海量數(shù)據(jù)管理并提供公共服務(wù)支撐功能，以方便云存儲系統(tǒng)后臺數(shù)據(jù)的維護(hù)。功能需求方面性能需求方面數(shù)據(jù)管理方面2.1.2云存儲的內(nèi)涵2．云存儲系統(tǒng)與傳統(tǒng)存儲系統(tǒng)（1）云存儲的優(yōu)勢云存儲能夠?qū)崿F(xiàn)規(guī)模效應(yīng)和彈性擴(kuò)展，按實際所需空間租賃使用，按需付費(fèi)，有效降低了企業(yè)實際購置設(shè)備的成本。無須增加額外的硬件設(shè)施或配備專人負(fù)責(zé)維護(hù)，減少了管理難度。將常見的數(shù)據(jù)復(fù)制、備份、服務(wù)器擴(kuò)容等工作交由云提供商執(zhí)行，從而將精力集中于自己的核心業(yè)務(wù)。可以隨時對空間進(jìn)行擴(kuò)展增減，增加存儲空間的靈活可控性。存儲管理可以實現(xiàn)自動化和智能化，所有的存儲資源被整合，客戶看到的是單一存儲空間。能提高存儲效率，通過虛擬化技術(shù)能解決存儲空間的浪費(fèi)問題，可以自動重新分配數(shù)據(jù)；可提高存儲空間的利用率，同時具備負(fù)載均衡、故障冗余功能。2.1.2云存儲的內(nèi)涵2．云存儲系統(tǒng)與傳統(tǒng)存儲系統(tǒng)（2）云存儲的潛在問題當(dāng)在云存儲提供商那里保存敏感數(shù)據(jù)時，數(shù)據(jù)安全就成為一個潛在隱患。性能也許低于本地存儲?？煽啃院涂捎眯匀Q于WAN的可用性以及服務(wù)提供商所采取的預(yù)防措施等級。具有特定記錄保留需求的用戶，如必須保留電子記錄的公共機(jī)構(gòu)，可能會在采用云計算和云存儲的過程中遇到一些復(fù)雜問題。2.1.3云存儲的功能與主要特征1．云存儲的功能支持任何類型的數(shù)據(jù)（文本、多媒體、日志和二進(jìn)制數(shù)據(jù)等）的上傳和下載。提供強(qiáng)大的元信息機(jī)制，開發(fā)者可以使用通用和自定義的元信息機(jī)制實現(xiàn)定義資源屬性。超大的容量。云存儲支持0～2TB的單文件數(shù)據(jù)容量，同時對于對象的個數(shù)沒有限制，利用云存儲的superfile接口可以實現(xiàn)2TB文件的上傳和下載。提供斷點(diǎn)上傳和斷點(diǎn)下載功能。該功能在網(wǎng)絡(luò)不穩(wěn)定的環(huán)境下有非常好的表現(xiàn)。Restful風(fēng)格的HTTP接口。RESTful風(fēng)格的API可以極大地提高開發(fā)者的開發(fā)效率?；诠€和密鑰的認(rèn)證方案可以滿足靈活的業(yè)務(wù)需求。強(qiáng)大的ACL權(quán)限控制?？梢酝ㄟ^ACL設(shè)置資源為公有、私有，也可以授權(quán)特定的用戶具有特定的權(quán)限。功能完善的管理平臺。開發(fā)者可以通過平臺對所有資源進(jìn)行統(tǒng)一管理。2.1.3云存儲的功能與主要特征2．云存儲的主要特征0203高性能訪問方法降低成本可用性存儲效率云存儲的主要特征01050406可擴(kuò)展性云存儲系統(tǒng)云存儲概述數(shù)據(jù)存儲技術(shù)云存儲應(yīng)用及發(fā)展趨勢技能實踐數(shù)據(jù)備份概述遠(yuǎn)程數(shù)據(jù)復(fù)制2.2.1云存儲的分類私有云存儲私有云存儲是為某一企業(yè)或社會團(tuán)體私有、獨(dú)享的云存儲服務(wù)。私有云存儲建立在用戶端的防火墻內(nèi)部，由企業(yè)自身投資并管理所擁有的存儲設(shè)施（硬件和軟件），以滿足企業(yè)內(nèi)部員工數(shù)據(jù)存儲的需求?；旌显拼鎯Π压性拼鎯退接性拼鎯Y(jié)合在一起滿足用戶不同需求的云存儲服務(wù)就是混合云存儲?；旌显拼鎯χ饕糜诎从脩粢蟮脑L問，特別是需要臨時配置容量的時候?；旌显拼鎯砹丝绻性拼鎯退接性拼鎯Ψ峙鋺?yīng)用的復(fù)雜性?；旌显拼鎯Φ年P(guān)鍵是要實現(xiàn)公有云存儲和私有云存儲的“連接”技術(shù)。公有云存儲公有云存儲是供應(yīng)方平臺（Supply-SidePlatform，SSP）推出的能夠滿足多用戶需求的、付費(fèi)使用的云存儲服務(wù)。SSP投資建設(shè)并管理存儲設(shè)施（硬件和軟件），集中并動態(tài)管理存儲空間以滿足多用戶需求。0102032.2.2云存儲系統(tǒng)結(jié)構(gòu)2.2.2云存儲系統(tǒng)結(jié)構(gòu)1．存儲層存儲層是云存儲最基礎(chǔ)的部分。存儲層將不同類型的存儲設(shè)備互聯(lián)起來，實現(xiàn)海量數(shù)據(jù)的統(tǒng)一管理，同時實現(xiàn)對存儲設(shè)備的集中管理、狀態(tài)監(jiān)控以及容量的動態(tài)擴(kuò)展，其實質(zhì)是一種面向服務(wù)的分布式存儲系統(tǒng)。存儲設(shè)備可以是光纖通道（FiberChannel，F(xiàn)C）存儲設(shè)備，可以是NAS和iSCSI等IP存儲設(shè)備，也可以是SCSI或SAS等DAS設(shè)備（如一臺云存儲節(jié)點(diǎn)設(shè)備通常能安裝24塊以上的硬盤）。云存儲中的存儲設(shè)備往往數(shù)量龐大且分布在不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者光纖通道連接在一起形成存儲設(shè)備資源池。存儲設(shè)備之上是統(tǒng)一存儲設(shè)備管理系統(tǒng)，其可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。2.2.2云存儲系統(tǒng)結(jié)構(gòu)2．基礎(chǔ)管理層基礎(chǔ)管理層是云存儲最核心的部分，也是云存儲中最難以實現(xiàn)的部分。這一層的主要功能是在存儲層提供的存儲資源上部署分布式文件系統(tǒng)或者建立和組織存儲資源對象，并對用戶數(shù)據(jù)進(jìn)行分片處理，按照設(shè)定的保護(hù)策略將分片后的數(shù)據(jù)以多副本或者冗余糾刪碼的方式分散存儲到具體的存儲資源上?；A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大、更強(qiáng)、更好的數(shù)據(jù)訪問性能。內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問，同時，通過各種數(shù)據(jù)備份、容災(zāi)技術(shù)及措施可以保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。2.2.2云存儲系統(tǒng)結(jié)構(gòu)3．應(yīng)用接口層應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運(yùn)營單位可以根據(jù)實際業(yè)務(wù)類型開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)，如視頻監(jiān)控應(yīng)用平臺、IPTV和視頻點(diǎn)播應(yīng)用平臺、網(wǎng)絡(luò)硬盤應(yīng)用平臺、遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺等。應(yīng)用接口層是業(yè)務(wù)應(yīng)用和云存儲平臺之間的一個橋梁，提供應(yīng)用服務(wù)所需調(diào)用的函數(shù)接口。通常云存儲系統(tǒng)會提供一套專用的API或客戶端軟件，業(yè)務(wù)應(yīng)用軟件直接調(diào)用API或者使用云存儲系統(tǒng)客戶端軟件對云存儲系統(tǒng)進(jìn)行讀寫訪問，往往會獲得更優(yōu)的訪問效率。一個云存儲系統(tǒng)往往需要支持多種不同的業(yè)務(wù)系統(tǒng)，而很多業(yè)務(wù)系統(tǒng)只能采用特定的訪問接口，因此一個優(yōu)秀的云存儲系統(tǒng)應(yīng)該同時提供多種訪問接口，如iSCSI、FTP等，以便在業(yè)務(wù)適配方面具有更好的靈活性。2.2.2云存儲系統(tǒng)結(jié)構(gòu)4．訪問層云存儲不是存儲，而是服務(wù)。云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合，通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。訪問層通過云存儲系統(tǒng)提供的各種訪問接口為用戶提供豐富的業(yè)務(wù)類型，如高清視頻監(jiān)控、視頻圖片智能分析、大數(shù)據(jù)查找等。部分云存儲系統(tǒng)也會在這一層的應(yīng)用業(yè)務(wù)平臺上實現(xiàn)管理調(diào)度功能，將業(yè)務(wù)數(shù)據(jù)的冗余編碼、分散存儲、負(fù)載均衡、故障保護(hù)等功能與各種業(yè)務(wù)的實現(xiàn)緊密結(jié)合，形成具有豐富業(yè)務(wù)特色的應(yīng)用云存儲系統(tǒng)，而在存儲節(jié)點(diǎn)的選擇方面，則可以采用標(biāo)準(zhǔn)的設(shè)備。任何一個授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用接口來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲運(yùn)營單位不同，云存儲提供的訪問類型和訪問手段也不同。12342.2.3云存儲關(guān)鍵技術(shù)存儲虛擬化技術(shù)是云存儲的核心技術(shù)。此技術(shù)通過存儲虛擬化，把不同廠商、不同型號、不同通信技術(shù)、不同類型的存儲設(shè)備互聯(lián)起來，將系統(tǒng)中各種異構(gòu)的存儲設(shè)備映射為一個統(tǒng)一的存儲資源池。存儲虛擬化技術(shù)既可以對存儲資源進(jìn)行統(tǒng)一分配管理，又可以屏蔽存儲實體間的物理位置以及異構(gòu)特性，可實現(xiàn)資源對用戶的透明性，降低構(gòu)建、管理和維護(hù)資源的成本，從而提升云存儲系統(tǒng)的資源利用率。分布式存儲技術(shù)是通過網(wǎng)絡(luò)使用提供商提供的各個存儲設(shè)備上的存儲空間，將分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備，并將數(shù)據(jù)分散地存儲在各個存儲設(shè)備上。它所涉及的主要技術(shù)有網(wǎng)絡(luò)存儲技術(shù)、分布式文件系統(tǒng)和網(wǎng)格存儲技術(shù)等，并利用這些技術(shù)實現(xiàn)云存儲中不同存儲設(shè)備、不同應(yīng)用、不同服務(wù)的協(xié)同工作。數(shù)據(jù)中重復(fù)數(shù)據(jù)的數(shù)據(jù)量不斷增加，會導(dǎo)致重復(fù)的數(shù)據(jù)占用更多的空間。重復(fù)數(shù)據(jù)刪除技術(shù)是一種非常高級的數(shù)據(jù)縮減技術(shù)，可以極大地減少備份數(shù)據(jù)的數(shù)量，通常用于基于磁盤的備份系統(tǒng)，通過刪除運(yùn)算，消除冗余的文件、數(shù)據(jù)塊或字節(jié)，以保證只有單一的數(shù)據(jù)存儲在系統(tǒng)中。1．存儲虛擬化技術(shù)2．分布式存儲技術(shù)3．重復(fù)數(shù)據(jù)刪除技術(shù)2.2.3云存儲關(guān)鍵技術(shù)在以數(shù)據(jù)為中心的時代，數(shù)據(jù)的重要性不言而喻，如何保護(hù)數(shù)據(jù)是一個永恒的話題，即便是在現(xiàn)在的云存儲發(fā)展時代，數(shù)據(jù)備份技術(shù)也非常重要。數(shù)據(jù)備份技術(shù)是將數(shù)據(jù)本身或者其中的部分在某一時間的狀態(tài)以特定的格式保存下來，以備原數(shù)據(jù)因出現(xiàn)錯誤、被誤刪除、惡意加密等各種原因而不可用時，可快速準(zhǔn)確地對數(shù)據(jù)進(jìn)行恢復(fù)的技術(shù)。內(nèi)容分發(fā)網(wǎng)絡(luò)是一種新型網(wǎng)絡(luò)構(gòu)建模式，主要針對現(xiàn)有的Internet進(jìn)行改造。其基本思想是盡量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點(diǎn)分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速率和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)酶?、更穩(wěn)定。存儲加密是指當(dāng)數(shù)據(jù)從前端服務(wù)器輸出或在寫入存儲設(shè)備之前通過系統(tǒng)為數(shù)據(jù)加密，以保證存放在存儲設(shè)備上的數(shù)據(jù)只有授權(quán)用戶才能讀取。目前，云存儲中常用的存儲加密技術(shù)有以下幾種：全盤加密，全部存儲數(shù)據(jù)都是以密文形式存儲的；虛擬磁盤加密，存放數(shù)據(jù)之前建立加密的磁盤空間，并通過加密磁盤空間對數(shù)據(jù)進(jìn)行加密；卷加密，所有用戶和系統(tǒng)文件都被加密；文件/目錄加密，對單個的文件或者目錄進(jìn)行加密。4．?dāng)?shù)據(jù)備份技術(shù)5．內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)6．存儲加密技術(shù)云存儲系統(tǒng)云存儲概述數(shù)據(jù)存儲技術(shù)云存儲應(yīng)用及發(fā)展趨勢技能實踐數(shù)據(jù)備份概述遠(yuǎn)程數(shù)據(jù)復(fù)制2.3.1DAS技術(shù)這種存儲技術(shù)是把設(shè)備直接掛在服務(wù)器上，隨著需求的不斷增大，越來越多的設(shè)備被添加到網(wǎng)絡(luò)環(huán)境中，導(dǎo)致服務(wù)器和存儲設(shè)備數(shù)量較多，資源利用率低，使得數(shù)據(jù)共享受到嚴(yán)重的限制，因此適用于一些小型網(wǎng)絡(luò)應(yīng)用中。DAS更多地依賴服務(wù)器主機(jī)操作系統(tǒng)進(jìn)行數(shù)據(jù)的I/O讀寫和存儲維護(hù)管理，數(shù)據(jù)備份和恢復(fù)要求占用服務(wù)器主機(jī)資源（包括CPU、系統(tǒng)I/O等），數(shù)據(jù)流需要回流主機(jī)再到服務(wù)器連接的磁帶機(jī)（庫），數(shù)據(jù)備份通常占用服務(wù)器主機(jī)資源的20%～30%，因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時進(jìn)行，以免影響正常業(yè)務(wù)系統(tǒng)的運(yùn)行。直連式存儲與服務(wù)器主機(jī)之間的連接通道通常采用SCSI連接，隨著服務(wù)器CPU的處理能力越來越強(qiáng)，存儲空間越來越大，陣列的硬盤數(shù)量越來越多，SCSI通道將會成為I/O瓶頸。服務(wù)器主機(jī)SCSIID資源有限，因此能夠建立的SCSI通道連接也有限。2.3.2NAS技術(shù)NAS按字面意思簡單說就是連接在網(wǎng)絡(luò)上，具備數(shù)據(jù)存儲功能的設(shè)備，因此也稱為“網(wǎng)絡(luò)存儲器”。NAS技術(shù)改進(jìn)了DAS技術(shù)，通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)?，用戶只需直接與企業(yè)網(wǎng)絡(luò)連接即可使用NAS提供的服務(wù)，而不依賴其他服務(wù)器。NAS是在小型磁盤陣列柜的基礎(chǔ)上，結(jié)合內(nèi)置的CPU、內(nèi)存、主板，自帶嵌入式操作系統(tǒng)，工業(yè)級的部件配合精簡化的操作系統(tǒng)，使其具備獨(dú)立工作的能力。NAS通常提供易用的操作界面，使得非計算機(jī)專業(yè)的操作人員也可輕松掌握。NAS是一種專用數(shù)據(jù)存儲服務(wù)器，它以數(shù)據(jù)為中心，將存儲設(shè)備與服務(wù)器徹底分離，通過集中管理數(shù)據(jù)來釋放帶寬、提高性能、降低總擁有成本、保護(hù)投資收益。其成本遠(yuǎn)遠(yuǎn)低于使用服務(wù)器存儲，而效率卻遠(yuǎn)遠(yuǎn)高于服務(wù)器存儲。2.3.3SAN技術(shù)VS傳統(tǒng)SAN的主要支撐技術(shù)是光纖通道技術(shù)。與NAS技術(shù)完全不同，它不是把所有的存儲設(shè)備集中安裝在一個服務(wù)器上，而是將這些設(shè)備單獨(dú)通過光纖交換機(jī)連接起來，形成光纖通道存儲在網(wǎng)絡(luò)中，并與企業(yè)的局域網(wǎng)進(jìn)行連接。這種技術(shù)的最大特性就是將網(wǎng)絡(luò)、設(shè)備的通信協(xié)議與存儲傳輸介質(zhì)隔離，因此存儲數(shù)據(jù)的傳輸不會受網(wǎng)絡(luò)狀態(tài)的影響?；诠饫w交換機(jī)的SAN，通常會綜合運(yùn)用鏈路冗余與設(shè)備冗余的方式。同一服務(wù)器訪問磁盤陣列有多條冗余路徑，無論是其中的部分線路還是部分光纖交換機(jī)出現(xiàn)故障，都不會導(dǎo)致服務(wù)器存儲失敗。這種方式部署成本較高，但對銀行、數(shù)據(jù)中心等存儲了大量關(guān)鍵數(shù)據(jù)，且不允許業(yè)務(wù)中斷的行業(yè)來說非常重要。傳統(tǒng)SAN基于光纖交換機(jī)的SAN2.3.3SAN技術(shù)目前處于迅速成長的IPSAN，IPSAN就是把FCSAN中光纖通道解決的問題通過更為成熟的以太網(wǎng)來實現(xiàn)，從邏輯上講，它是提供區(qū)塊級服務(wù)的SAN架構(gòu)。IPSAN的主要優(yōu)點(diǎn)是能節(jié)約大量成本、加快實施速度、優(yōu)化可靠性以及增強(qiáng)擴(kuò)展能力等。SAN技術(shù)的優(yōu)點(diǎn)將存儲和服務(wù)器隔離，可簡化存儲管理，能夠統(tǒng)一、集中地管理各種資源，使存儲更為高效。SAN技術(shù)的缺點(diǎn)跨平臺性能沒有NAS技術(shù)好，價格偏高，搭建SAN比在服務(wù)器后端安裝NAS復(fù)雜得多。云存儲系統(tǒng)云存儲概述數(shù)據(jù)存儲技術(shù)云存儲應(yīng)用及發(fā)展趨勢技能實踐數(shù)據(jù)備份概述遠(yuǎn)程數(shù)據(jù)復(fù)制2.4.1百度網(wǎng)盤典型應(yīng)用1．注冊百度網(wǎng)盤打開瀏覽器，在瀏覽器地址欄中輸入/，進(jìn)入百度網(wǎng)盤登錄頁面。已注冊用戶可以通過輸入用戶名和密碼進(jìn)行登錄，也可以選擇手機(jī)號/用戶名/郵箱進(jìn)行登錄。賬號注冊時需單擊“立即注冊”按鈕進(jìn)行注冊。2.4.1百度網(wǎng)盤典型應(yīng)用2．百度網(wǎng)盤的使用上傳文件下載文件2.4.1百度網(wǎng)盤典型應(yīng)用3．百度網(wǎng)盤客戶端（Windows）登錄百度網(wǎng)盤客戶端設(shè)置下載文件的保存路徑01OPTION02OPTION03OPTION進(jìn)入百度網(wǎng)盤操作界面2.4.2云存儲發(fā)展趨勢3．性能和可用性最新一代云存儲突破性的成就體現(xiàn)在客戶端或本地設(shè)備高速緩存上，其將經(jīng)常使用的數(shù)據(jù)保存在本地，從而有效地緩解了互聯(lián)網(wǎng)延遲問題。通過本地高速緩存，即使面臨較嚴(yán)重的網(wǎng)絡(luò)中斷，這些設(shè)備也可以緩解延遲性問題。這些設(shè)備還可以讓經(jīng)常使用的數(shù)據(jù)像本地存儲那樣快速反應(yīng)。1．安全性對于想要進(jìn)行云存儲的客戶來說，安全性通常是首要的商業(yè)考慮和技術(shù)考慮。云存儲具有更少的安全漏洞和更高的安全環(huán)節(jié)，云存儲所能提供的安全性要比用戶自己的數(shù)據(jù)中心所能提供的安全性更高。4．?dāng)?shù)據(jù)訪問現(xiàn)有的廠商可以將大量數(shù)據(jù)傳輸?shù)饺魏晤愋偷拿浇橹?，也可以將?shù)據(jù)直接傳送給企業(yè)，且其速度之快相當(dāng)于復(fù)制、粘貼操作。另外，云存儲廠商還可以提供一套組件，在完全本地化的系統(tǒng)上模仿云地址，讓本地NAS網(wǎng)關(guān)設(shè)備繼續(xù)正常運(yùn)行而無須重新設(shè)置。2．便攜性一些用戶在托管存儲的時候還要考慮數(shù)據(jù)的便攜性。一般情況下這是有保證的，一些大型服務(wù)提供商所提供的解決方案承諾其數(shù)據(jù)便攜性可媲美較好的傳統(tǒng)本地存儲。有的云存儲結(jié)合了強(qiáng)大的便攜功能，可以將整個數(shù)據(jù)集傳送到用戶所選擇的任何媒介，甚至是專門的存儲設(shè)備中。云存儲系統(tǒng)云存儲概述數(shù)據(jù)存儲技術(shù)云存儲應(yīng)用及發(fā)展趨勢技能實踐數(shù)據(jù)備份概述遠(yuǎn)程數(shù)據(jù)復(fù)制2.5.1數(shù)據(jù)完整性概念1．?dāng)?shù)據(jù)完整性的定義ACB數(shù)據(jù)完整性是信息安全的基本要素之一。數(shù)據(jù)完整性是指在存儲、傳輸信息或數(shù)據(jù)的過程中，確保信息或數(shù)據(jù)不被未授權(quán)的篡改，或在篡改后能夠被迅速發(fā)現(xiàn)。在信息安全領(lǐng)域，數(shù)據(jù)完整性的概念常常和保密性相互混淆。數(shù)據(jù)完整性與數(shù)據(jù)保密性使用的各種加密算法不同，保護(hù)數(shù)據(jù)完整性的算法并非加密算法，而是一種“校驗”算法。這意味著數(shù)字簽名、哈希函數(shù)對數(shù)據(jù)的運(yùn)算并非是雙向可逆的過程。使用加密算法對明文數(shù)據(jù)進(jìn)行加密運(yùn)算后，只要掌握了相關(guān)密鑰，數(shù)據(jù)即可用對應(yīng)的解密算法進(jìn)行解密，從而還原成明文。而通過數(shù)字簽名算法、各種哈希函數(shù)算法，對明文數(shù)據(jù)進(jìn)行運(yùn)算后，通常得到同樣長度的一段數(shù)據(jù)，可以理解為原始明文數(shù)據(jù)的“指紋”，不同的明文數(shù)據(jù)對應(yīng)不同的指紋，但是無法利用指紋還原成原始的明文數(shù)據(jù)。2.5.1數(shù)據(jù)完整性概念2．保護(hù)數(shù)據(jù)完整性的方法目前，數(shù)據(jù)文件的完整性可以通過哈希值計算、數(shù)字簽名跟蹤和文件修改跟蹤等方式來保障。例如，可以使用數(shù)字簽名對數(shù)據(jù)完整性進(jìn)行保護(hù)，數(shù)字簽名采用的是非對稱密鑰體制，通常用數(shù)據(jù)發(fā)送方的私鑰進(jìn)行簽名，接收方收到數(shù)據(jù)后，用發(fā)送方的公鑰核對簽名，若用發(fā)送方的公鑰可以對數(shù)據(jù)進(jìn)行解密，則意味著簽名有效。MD5、SHA-1都是基于較復(fù)雜的算法，需要使用比較密集的資源才能保證一臺計算機(jī)上所有文件的完整性，而使用文件修改跟蹤方法則顯得有些不可靠，因為現(xiàn)在的許多惡意軟件都能夠通過修改時間來隱藏對文件的修改。2.5.2數(shù)據(jù)備份的RAID類型1．RAID中的關(guān)鍵概念和技術(shù)數(shù)據(jù)條帶RAID由多塊磁盤組成，通過數(shù)據(jù)條帶技術(shù)將數(shù)據(jù)以塊的方式分布存儲在多個磁盤中，從而可以對數(shù)據(jù)進(jìn)行并發(fā)處理。這樣寫入和讀取數(shù)據(jù)即可在多個磁盤中同時進(jìn)行，并發(fā)能產(chǎn)生非常高的聚合I/O，從而有效地提高整體I/O性能，且具有良好的線性擴(kuò)展性。數(shù)據(jù)校驗數(shù)據(jù)校驗是一種冗余技術(shù)，它以校驗數(shù)據(jù)提供數(shù)據(jù)的安全性，可以檢測數(shù)據(jù)錯誤，并在能力允許的前提下進(jìn)行數(shù)據(jù)重構(gòu)。采用數(shù)據(jù)校驗時，RAID要在寫入數(shù)據(jù)的同時進(jìn)行校驗計算，并將得到的校驗數(shù)據(jù)存儲在RAID成員磁盤中。鏡像鏡像是一種冗余技術(shù)，為磁盤提供保護(hù)功能，以防止磁盤發(fā)生故障而造成數(shù)據(jù)丟失。對于RAID而言，采用鏡像技術(shù)將會同時在RAID中產(chǎn)生兩個完全相同的數(shù)據(jù)副本，分布在兩個不同的磁盤驅(qū)動器組中。鏡像提供完全的數(shù)據(jù)冗余能力，當(dāng)一個數(shù)據(jù)副本失效不可用時，外部系統(tǒng)仍可正常訪問另一個副本，不會對應(yīng)用系統(tǒng)的運(yùn)行和性能產(chǎn)生影響。0102032.5.2數(shù)據(jù)備份的RAID類型2．常見的RAID類型（1）RAID0AID0會把連續(xù)的數(shù)據(jù)分散到多個磁盤中進(jìn)行存取，在系統(tǒng)有數(shù)據(jù)請求時可以被多個磁盤并行執(zhí)行，每個磁盤執(zhí)行屬于自己的那一部分?jǐn)?shù)據(jù)請求。如果要制作RAID0，則一臺服務(wù)器至少需要兩塊硬盤，其讀寫速度是一塊硬盤的兩倍。如果有N塊硬盤，則其讀寫速度是一塊硬盤的N倍。雖然RAID0的讀寫速度可以提高，但是其沒有數(shù)據(jù)備份功能，因此安全性會低很多。優(yōu)點(diǎn)充分利用I/O總線性能，使其帶寬翻倍、讀寫速度翻倍；充分利用磁盤空間，利用率為100%。缺點(diǎn)不提供數(shù)據(jù)冗余；無數(shù)據(jù)校驗，無法保證數(shù)據(jù)的正確性；存在單點(diǎn)故障的風(fēng)險。應(yīng)用場景對數(shù)據(jù)完整性要求不高的場景，如日志存儲、個人娛樂等；對讀寫效率要求高，而對安全性能要求不高的場景，如圖像工作站等。2.5.2數(shù)據(jù)備份的RAID類型2．常見的RAID類型（2）RAID1RAID1會通過磁盤數(shù)據(jù)鏡像實現(xiàn)數(shù)據(jù)冗余，在成對的獨(dú)立磁盤中產(chǎn)生互為備份的數(shù)據(jù)。當(dāng)原始數(shù)據(jù)繁忙時，可直接從鏡像副本中讀取數(shù)據(jù)。同樣的，要制作RAID1至少需要兩塊硬盤，當(dāng)讀取數(shù)據(jù)時，其中一塊硬盤會被讀取，另一塊硬盤會被用作備份。其數(shù)據(jù)安全性較高，但是磁盤空間利用率較低，只有50%。優(yōu)點(diǎn)提供數(shù)據(jù)冗余，數(shù)據(jù)雙倍存儲；提供良好的讀取性能。缺點(diǎn)無數(shù)據(jù)校驗；磁盤利用率低，成本高。應(yīng)用場景存放重要數(shù)據(jù)的場景，如數(shù)據(jù)存儲領(lǐng)域等。2.5.2數(shù)據(jù)備份的RAID類型2．常見的RAID類型（3）RAID5RAID5的磁盤可同時存儲數(shù)據(jù)和校驗數(shù)據(jù)，數(shù)據(jù)塊和對應(yīng)的校驗信息保存在不同的磁盤中，當(dāng)一個數(shù)據(jù)盤損壞時，系統(tǒng)可以根據(jù)同一條帶的其他數(shù)據(jù)塊和對應(yīng)的校驗數(shù)據(jù)來重建損壞的數(shù)據(jù)。RAID5兼顧存儲性能、數(shù)據(jù)安全和存儲成本等各方面因素，基本上可以滿足大部分的存儲應(yīng)用需求，數(shù)據(jù)中心大多采用它作為應(yīng)用數(shù)據(jù)的保護(hù)方案。優(yōu)點(diǎn)讀寫性能高；有校驗機(jī)制；磁盤空間利用率高。缺點(diǎn)磁盤越多，安全性能越差。應(yīng)用場景對安全性能要求高的場景，如金融、數(shù)據(jù)庫、存儲等。2.5.2數(shù)據(jù)備份的RAID類型2．常見的RAID類型（4）RAID01RAID01是先做條帶化再做鏡像，本質(zhì)是對物理磁盤實現(xiàn)鏡像；而RAID10是先做鏡像再做條帶化，本質(zhì)是對虛擬磁盤實現(xiàn)鏡像。RAID01的數(shù)據(jù)將同時寫入兩個RAID，如果其中一個陣列損壞，則另一個仍可繼續(xù)工作，在保證數(shù)據(jù)安全性的同時能提高性能。RAID01和RAID10內(nèi)部都有RAID1模式，因此整體磁盤利用率僅為50%。優(yōu)點(diǎn)提供較高的I/O性能；有數(shù)據(jù)冗余；無單點(diǎn)故障風(fēng)險。缺點(diǎn)成本稍高；安全性能比RAID10差。應(yīng)用場景特別適用于既有大量數(shù)據(jù)需要存取，又對數(shù)據(jù)安全性要求嚴(yán)格的領(lǐng)域，如銀行、金融、商業(yè)超市、倉儲庫房、檔案管理等。2.5.2數(shù)據(jù)備份的RAID類型2．常見的RAID類型（5）RAID10優(yōu)點(diǎn)RAID10的讀取性能優(yōu)于RAID01；提供了較高的I/O性能；有數(shù)據(jù)冗余；無單點(diǎn)故障風(fēng)險；安全性能高。缺點(diǎn)成本稍高。應(yīng)用場景特別適用于既有大量數(shù)據(jù)需要存取，又對數(shù)據(jù)安全性要求嚴(yán)格的領(lǐng)域，如銀行、金融、商業(yè)超市、倉儲庫房、檔案管理等。2.5.2數(shù)據(jù)備份的RAID類型2．常見的RAID類型（6）RAID5012RAID50具有RAID5和RAID0的共同特性。它由兩組RAID5磁盤組成（其中，每組最少有3塊磁盤），每一組都使用分布式奇偶位；而兩組RAID5磁盤再組建成RAID0，實現(xiàn)跨磁盤數(shù)據(jù)讀取。RAID50可提供可靠的數(shù)據(jù)存儲和優(yōu)秀的整體性能，并支持更大的卷尺寸。即使兩塊物理磁盤（每個RAID中的一塊）發(fā)生故障，數(shù)據(jù)也可以順利恢復(fù)。3RAID50最少需要6塊磁盤，其適用于高可靠性存儲、高讀取速度、高數(shù)據(jù)傳輸性能的應(yīng)用場景，包括事務(wù)處理和有許多用戶存取小文件的辦公應(yīng)用程序。2.5.3數(shù)據(jù)備份的分類1．按備份時系統(tǒng)的工作狀態(tài)分類（1）冷備份冷備份又稱離線備份，是指在進(jìn)行備份操作時，系統(tǒng)處于停機(jī)或維護(hù)狀態(tài)。采用這種方式備份的數(shù)據(jù)與系統(tǒng)中此時段的數(shù)據(jù)完全一致。冷備份的缺點(diǎn)是備份期間備份數(shù)據(jù)源不能使用。（2）熱備份熱備份又稱在線備份或同步備份，是指在進(jìn)行備份操作時，系統(tǒng)處于正常運(yùn)轉(zhuǎn)狀態(tài)下的備份。這種情況下，由于系統(tǒng)中的數(shù)據(jù)可能隨時在更新，備份的數(shù)據(jù)相對于系統(tǒng)的真實數(shù)據(jù)有一定的滯后。2.5.3數(shù)據(jù)備份的分類2．按備份策略分類全量備份是指對整個系統(tǒng)或用戶指定的所有文件進(jìn)行一次完整的備份，這是最基本也是最簡單的備份方