大數(shù)據(jù)存儲存儲系統(tǒng)

大數(shù)據(jù)存儲主講教師：龍霄漢《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata大數(shù)據(jù)存儲大數(shù)據(jù)存儲011大數(shù)據(jù)存儲大數(shù)據(jù)存儲基于塊存儲塊存儲指在一個RAID（獨立磁盤冗余陣列）集中，一個控制器加入一組磁盤驅(qū)動器，然后提供固定大小的RAID塊作為邏輯單元號的卷。塊存儲主要是將裸磁盤空間整個映射給主機(jī)使用的，例如磁盤陣列里面有5塊硬盤，然后通過劃分邏輯盤、做RAID、或者LVM（邏輯卷）等方式邏輯劃分出N個邏輯的硬盤。圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲基于對象的云存儲系統(tǒng)AmazonS3(AmazonSimpleStorageService)采用桶和對象的兩層結(jié)構(gòu)來存儲數(shù)據(jù)，支持REST和SOAP兩種訪問協(xié)議，可與多種網(wǎng)絡(luò)開發(fā)工具集成工作。作為最早的云存儲服務(wù)，基于客戶應(yīng)用實踐的積累，S3在對象存儲的功能豐富方面也走在業(yè)界前列，如對于超大數(shù)據(jù)(數(shù)據(jù)容量5TB)存儲、BT方式下載以及第三方支付的功能支持等。由于針對S3應(yīng)用開發(fā)的廣泛性，圍繞S3有一些開源項目，使S3的編程工作變得更加簡單，方便非HTTP編程開發(fā)者使用。大數(shù)據(jù)存儲基于文件的存儲系統(tǒng)基于文件的數(shù)據(jù)需要基于文件的存儲系統(tǒng)，這可能表現(xiàn)為多種形式：文件服務(wù)器、網(wǎng)絡(luò)附加存儲（NAS）、NAS設(shè)備，或者使用文件虛擬化形成的組合體。管理人員在決定采用哪種形式、部署哪種解決方案之前，必須確認(rèn)其環(huán)境中的使用場合及相關(guān)需求。圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲基于表存儲的云存儲系統(tǒng)表結(jié)構(gòu)存儲是一種結(jié)構(gòu)化數(shù)據(jù)存儲，與傳統(tǒng)數(shù)據(jù)庫相比，它提供的表空間訪問功能受限，但更強調(diào)系統(tǒng)的可擴(kuò)展性。提供表存儲的云存儲系統(tǒng)的特征就是同時提高并發(fā)的數(shù)據(jù)訪問性能和可伸縮的存儲和計算架構(gòu)。圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲提供表存儲的云存儲系統(tǒng)有兩類接口訪問方式。一類是標(biāo)準(zhǔn)的XDBC、SQL數(shù)據(jù)庫接口，一類是MapReduce的數(shù)據(jù)倉庫應(yīng)用處理接口。分布式數(shù)據(jù)倉庫一般采用MPP(MassiveParallelProcessing)架構(gòu)實現(xiàn)海量數(shù)據(jù)存儲和處理以及高并發(fā)數(shù)據(jù)讀寫能力，它實現(xiàn)了SQL到MapReduce的翻譯、優(yōu)化、執(zhí)行和結(jié)果收集，具有良好的擴(kuò)展能力。分布式數(shù)據(jù)倉庫的代表系統(tǒng)有商業(yè)軟件GreenPlum、中國移動HugeTable、開源Hive等。圖片來自互聯(lián)網(wǎng)總結(jié)目前原有的存儲模式以及跟不上時代的步伐，無法滿足數(shù)據(jù)時代的需求，導(dǎo)致信息處理技術(shù)無法承載信息的負(fù)荷量。這就需要對數(shù)據(jù)的存儲技術(shù)和存儲模式進(jìn)行創(chuàng)新與研究，跟上數(shù)字化存儲的技術(shù)的發(fā)展步