對象存儲技術(shù)

1、信息喜儲理訟£較術(shù)對象存儲技術(shù)1W克存儲及宓用實驗室信息喜福理訟鳥蠱術(shù)網(wǎng)絡(luò)存儲需要解決的主要問題隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)化存儲逐漸成為主流E：技術(shù)。其需要解決的主要問題如下：-提供高性能存儲，在I /0級和數(shù)據(jù)吞吐率方面能滿足成 百上千臺集群服務(wù)器訪問請求；-提供安全的共享數(shù)據(jù)訪問，便于集群應(yīng)用程序的編寫 和存儲的負載均衡；-提供強大的容錯能力，確保存儲系統(tǒng)的高可用性。主流網(wǎng)絡(luò)存儲結(jié)構(gòu)的問題存儲區(qū)域網(wǎng)(SAN):-咼性能 -容錯性-安全共享?附網(wǎng)存儲(NAS)-擴展性-共享-性能？1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)對象存儲(Object-Based Sto

2、rage, OBS)綜合了NAS和SAN的優(yōu)點，同時具有SAN的高速直接訪問 和NAS的數(shù)據(jù)共享等優(yōu)勢，提供了具有高性能、高 可靠性、跨平臺以及安全的數(shù)據(jù)共享的存儲體系 結(jié)構(gòu)。信克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)lock-Based DiskObject-Based Disk1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)235678g1011121314161718191W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)傳

3、統(tǒng)塊存儲與對象存儲1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)Objects / OIDsVirtual View AVirtual View BVirtualTraditionalHierarchical1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象存儲結(jié)構(gòu)傳統(tǒng)的訪問層次和虛擬數(shù)據(jù)訪問模型1W克存儲及宓用實驗室信息喜福理訟鳥蠱術(shù)對象存儲系統(tǒng)組成對象(Object)-包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進行自我 管理 OSD (Object-b

4、ased Storage Device)-個智能設(shè)備，是Object的集合文件系統(tǒng)-文件系統(tǒng)運行在客戶端上，將應(yīng)用程序的文件系統(tǒng)請 求傳輸?shù)組DS和OSD上元數(shù)據(jù)服務(wù)器(Metadata Server, MDS)-系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務(wù)網(wǎng)絡(luò)連接信息赤福理唸占牧本K 對象(Object)對象存儲的基本單元。每個Object是數(shù)據(jù)和數(shù)據(jù) 屬性集的綜合體。數(shù)據(jù)屬性可以根據(jù)應(yīng)用的需求進行設(shè)置，包括數(shù)據(jù)分布、服務(wù)質(zhì)量等。在傳統(tǒng) 的存儲中，塊設(shè)備要記錄每個存儲數(shù)據(jù)塊在設(shè)備 上的位置。Object維護自己的屬性，從而簡化了 存儲系統(tǒng)的管理任務(wù)，增加了靈活性。Object的 大小可以不同，可以

5、包含整個數(shù)據(jù)結(jié)構(gòu)，如文件、 數(shù)據(jù)庫表項等。1W克存儲及宓用實驗室信息喜儲理訟£較術(shù)對象分類Object TypesRoot Object (OSD)Partition ObjectUser ObjectCollection Object克存儲及宓用實驗室信息喜福理訟鳥蠱術(shù)2、OSD (Objecbbased Storage Device)每個OSD都是一個智能設(shè)備，具有自己的存儲介 質(zhì)、處理器、內(nèi)存以及網(wǎng)絡(luò)系統(tǒng)等，負責(zé)管理本 地的0bject,是對象存儲系統(tǒng)的核心。OSD同塊 設(shè)備的不同不在于存儲介質(zhì)，而在于兩者提供的 訪問接口。信息喜儲理訟鳥較*OSD的主要功能數(shù)據(jù)存儲和安全訪問O

6、SD使用Object對所保存的數(shù)據(jù)進行管理。它將數(shù)據(jù)存放到磁盤的磁道和扇區(qū)，將若干磁道和扇區(qū)組合起來 初成Object,并且通過此Object向外界提供對數(shù)據(jù)的 訪問。每個Object同傳統(tǒng)的文件相似，使用同文件類 似的訪問接口，包括Open、Read Write等。但是兩者 并不相同，每個Object可能包括若干個文件，也可能 是某個文件的一部分，且是獨立于操作系統(tǒng)的。除了具體的用戶數(shù)據(jù)外，OSD還記錄了每個Object的屬性信 息，主要是物理視圖信息。將這些信息放到OSD上，大 大減輕了元數(shù)據(jù)服務(wù)器的負擔(dān)，增強了整個存儲系統(tǒng) 的并行訪問性能和可擴展性。1W克存儲及宓用實驗室信離衣襤據(jù)如匕衣

7、丈傳統(tǒng)模型OSD模型竜存儲及科實驗室信息赤福理唸層就卡3、文件系統(tǒng)文件系統(tǒng)對用戶的文件操作進行解釋，并在元數(shù)據(jù)服務(wù)器和OSD間通信，完成所請求的操作。LT現(xiàn)有的應(yīng)用對數(shù)據(jù)的訪問大部分都是通過POSIX文 件方式進行的，對象存儲系統(tǒng)提供給用戶的也是標準 的POSIX文件訪問接口。接口具有和通用文件系統(tǒng)相同的訪問方式，同時為 了提高性能，也具有對數(shù)據(jù)的Cache功能和文件的條帶 功能。同時，文件系統(tǒng)必須維護不同客戶端上Cache的一 致性，保證文件系統(tǒng)的數(shù)據(jù)一致文件系統(tǒng)讀訪問實例1）客戶端應(yīng)用發(fā)出讀請求；2）文件系統(tǒng)向元數(shù)據(jù)服務(wù)器發(fā)送請求，獲取要讀取 的數(shù)據(jù)所在的OSD;3)然后直接向每個OSD發(fā)

8、送數(shù)據(jù)讀取請求;1W克存儲及宓用實驗室4） OSD得到請求以后，判斷要讀取的Object,并 根據(jù)此Object要求的認證方式，對客戶端進行 認證，如果此客戶端得到授權(quán)，則將Object的數(shù)據(jù)返回給客戶端;5)文件系統(tǒng)收到OSD返回的數(shù)據(jù)以后，讀操作完成。4元數(shù)據(jù)服務(wù)器(Metadata Server)為客戶端提供元數(shù)據(jù)，主要是文件的邏輯視 圖，包括文件與目錄的組織關(guān)系、每個文 件所對應(yīng)的OSD等。信息喜福理訟鳥蠱術(shù)-4元藪據(jù)服務(wù)器(Metadata Server)在傳統(tǒng)的文件系統(tǒng)中，元數(shù)據(jù)由本機或者文件服 務(wù)器負責(zé)維護，每次對數(shù)據(jù)塊的操作都要獲取元 數(shù)據(jù)。在對象存儲系統(tǒng)中，由于每次操作只有一

9、次對元 數(shù)據(jù)的訪問，具體的數(shù)據(jù)傳輸都由OSD和客戶端 通過直接連接進行，大大減少了元數(shù)據(jù)的操作, 降低了元數(shù)據(jù)服務(wù)器的負擔(dān)，從而為系統(tǒng)的擴展 提供了可能性。1W克存儲及宓用實驗室4元藪據(jù)服務(wù)器(Metadata Server)特點-客戶端采用Cache來緩存數(shù)據(jù)當多個客戶端同時訪問某些數(shù)據(jù)時，MDS提供分布的 鎖機制來確保Cache的一致柱。-為客戶端提供認證為了增強系統(tǒng)的安全性，MDS為客戶端提供認證方 式。OSD將依據(jù)MDS的認證來決定是否為客戶端提 供服務(wù)。信息喜儲理訟£較術(shù)5.網(wǎng)絡(luò)連接絡(luò)連接是對象存儲系統(tǒng)的重要組成部分。它將客戶端、MDS和OSD連接起來, 構(gòu)成了一個完整的系

10、統(tǒng)。1W克存儲及宓用實驗室信息喜儲理訟鳥蠱術(shù)對象存儲與傳統(tǒng)存儲的對比存儲接口存儲系統(tǒng)優(yōu)點缺點塊塊存儲設(shè)備如:SAN ,提供高 性能的隨機I/O和數(shù) 據(jù)吞吐率可擴展性和可管理性較 差、價格較高、不能滿 足成千上萬CPU規(guī)模的 系統(tǒng)文件塊存儲設(shè)備 +文件系統(tǒng)如:NAS,擴展性好、 易于管理、價格便宜開銷高、帶寬低.延遲 尢不利于高性能集群中 應(yīng)用對象塊存儲設(shè)備 +文件系統(tǒng) +定位邏輯 +應(yīng)用程序支持高并行性.可伸 縮的數(shù)據(jù)訪問，管理 性好、安全性高、適 合高性能集群使用處于發(fā)展階段，相應(yīng)的硬 件、軟件支持有待進一 步完善塊級存儲文件儲存對象存儲I壽迅仔兩艾 宓用實驗室對象存儲的特性（總結(jié)）性能優(yōu)勢

11、存儲設(shè)備的智能化數(shù)據(jù)的共享更容易管理更方便更好的安全性信息喜福理訟鳥蠱術(shù)對條存儲系統(tǒng)實例：Lustre A shared file system for HPC clusters- Open Source software (GPL)一 linux cluster Very high metadata and I/O performance一 5,000 file creations/sec in 1 dir, 1,000 nodes一 Single clients up to 290MB/sec,-Aggregate up to 11 GB/sec Scalable to 1,000'

12、;s of nodesIn production now on such clustersiw克存儲及宓用實驗室信息喜福理訟鳥蠱術(shù)Lustre Retrospective 1999 Initial ideas CMU Seagate: management aspects, prototypes一 Much survives today 2000 National Labs一 Can Lustre be next generation FS? 100 GB/sec, trillion files, 10,0005s clients, secure, PBs 2002 - 2003一 Many

13、partners: Dell, HP, Cray, LNXI, DDN others一 Production use, 1.0 releasedft克存儲及宓用實驗室信息喜福理訟鳥蠱術(shù)A Lustre ClusterSecurity and及宓用實驗室信息喜福理訟鳥蠱術(shù)Lustre SystemsClients一 1000's now, 10,000's future一 Obtain access to Lustre file system一 Typical role: Linux compute serverOSS一 100's now, 1000's fut

14、ure一 Object storage servers一 Linux servers handling (stripes of) file dataMDS一 10ls, 1005s nodes一 Metadata request transaction engine.一 Linux server handling metadata requests1W克存儲及宓用實驗室信息喜福理訟鳥蠱術(shù)二Key Design Issue: ScalabilityI/O throughput一 How to avoid bottlenecksMetadata scalability一 How can 10,00

15、05s of dients work on files in same folderCluster Recovery一 If sth fails, how can transparent recovery happenManagement-Adding, removing, replacing, systems; data migration & backupft克存儲及宓用實驗室QSW ElanOST1 <failoverMBS 1MDS2(active'；standby；Lustre Clients(1.0DD Lustre Lite； *Up to 10:000*sMyrinetIEGigEMultiple storage networkssuppose0S3OS*5OS*6Enterprise classRaid storageCommodit