DDN WOS對象存儲介紹

1、WOS 云存儲系統(tǒng)介紹超大規(guī)模、面向?qū)ο?、地理分布Agenda公司簡介傳統(tǒng)方案的困境WOS定位與典型應用場景WOS技術細節(jié)Q&ADDN公司簡介規(guī)模實力外部存儲的品牌廠商 按收入排名DDN 是世界上最大的私人持有的存儲廠商DDN 是全球第四大存儲廠商Source:行業(yè)認證Worlds Largest Privately-Held Storage Co.Fast500 Technology CompanyInc. 500|5000 High-Growth CompanyBest HPC Storage PlatformsBest Practice for Digital MediaHot Tech

2、nology for 2012關鍵統(tǒng)計數(shù)據(jù)公司定位：提供高度可擴展和高效的存儲解決方案，幫助客戶快速成功、隨數(shù)據(jù)集的持續(xù)增長輕易擴展、解決性能和容量擴展問題從而獲得競爭優(yōu)勢。1998年成立，總部位于Chatsworth, California USA；全球約700名雇員，覆蓋4大洲15個國家；擁有超1000家客戶，分布在50個國家，已交貨容量超過1 EB (1 ExaByte = 1000 PetaByte = 106 TeraByte)市場營銷策略: 全球合作伙伴, 增值分銷商, 分銷商重點關注高性能計算與生命科學、云& 網(wǎng)頁內(nèi)容、富媒體、情報及監(jiān)控等細分市場在大數(shù)據(jù)系統(tǒng)上的投資超過1億美元

3、DDN | 全球大數(shù)據(jù)解決方案領導者大數(shù)據(jù)產(chǎn)品家族EXAScaler10Ks of Clients1TB/s+, HSMLinux/Windows ClientsNFS & CIFSWOS1000 Billion ObjectsGeoReplicated8 Million Objects/SecondSelf-HealingMobile Cloud AccessDirectMon大數(shù)據(jù)平臺管理方案SFA12K40GB/s/1.7M IOPS1,680 Drives: 16U-2 RacksEmbedded ComputingSFA770010GB/s, 600K IOPS60 Drives i

4、n 4U; 396 Drives in 20UStorage Fusion ArchitectureCore Storage PlatformsFlexible Drive ConfigurationSFX Automated Flash CachingReadWriteContext CommitInstant CommithScaler50-2000 Nodes200+ Data SourcesHigh Speed ETLUp to 500% Faster Results企業(yè)級Hadoop 一體機PB級Lustre存儲企業(yè)級水平擴展文件存儲GRIDScaler1Ks of Clients1

5、TB/s+, HSMLinux/Windows ClientsNFS & CIFSCloud TieringSASSATASSDCloudFoundationThe Structure in Big DataBigStructuredDataBigSemi Structured DataBigUnstructured Data6SFA12K40GB/s/1.7M IOPS1,680 Drives: 16U-2 RacksEmbedded ComputinghScaler50-2000 Nodes200+ Data SourcesHigh Speed ETL700% Faster Results

6、Transactional informationRelational DatabasesHigh IOPSRelatively slow growthVelocityAnalytics informationHadoop, MapReduceHigh IOPSRelatively fast growthVelocity & VarietyFiles, objects, content streamsObject & Cloud StorageIOPS & Throughput!Explosive growthVolume Variety - Velocity高性能計算與生命科學超算基因排序地

7、震資料處理金融建模大學和實驗室研究DDN | 目標市場：大數(shù)據(jù)媒體電視廣播后期處理數(shù)字中期動漫視頻點播政府/數(shù)字安全地理空間情報視頻監(jiān)控大規(guī)模偵聽堅固耐用(rugged)解決方案云/互聯(lián)網(wǎng)/服務提供商網(wǎng)頁內(nèi)容托管服務提供商存儲服務提供商個人云存儲DDN | 1000+ 家世界領先的客戶對象存儲解除了傳統(tǒng)方案面臨的困境2/7/129NAS在億級文件數(shù)量時的性能瓶頸NAS設備管理了大量目錄元數(shù)據(jù)如果在每個目錄下存儲幾千個文件，讀一個幾KB的文件可能需要10個以上磁盤操作；即使將每個目錄下的文件數(shù)量削減為幾百個，為獲取1個小文件NAS系統(tǒng)仍然需要至少3個磁盤操作：將目錄元數(shù)據(jù)加載到內(nèi)存并將文件名轉(zhuǎn)換

8、為inode number、從磁盤上讀取inode、讀取文件本身NAS+NFS/CIFS成本高緩存文件句柄對long tail數(shù)據(jù)的性能幫助很小WOS每節(jié)點可管理40億個文件對象WOS單一集群可管理10000億個文件對象；且單位TB的IO性能基本恒定。海量冷數(shù)據(jù)的成本問題云備份、iCloud、電信運營商的話單日志、Facebook等SNS網(wǎng)站上述海量數(shù)據(jù)中，long tail數(shù)據(jù)占很大比例傳統(tǒng)CDN使用RAM緩存實現(xiàn)低延遲、高并發(fā)，為熱點數(shù)據(jù)提供了高性能；但對long tail數(shù)據(jù)無能為力Size of HDDSize of RAMCDN的價值如何降低海量數(shù)據(jù)的存儲成本，降低訪問long ta

9、il數(shù)據(jù)的延遲，提高IO性能？Long tailCIO的困境BYOD、Cloud、Social、MobileBig Data！預算有限，分身無術，客戶需要一個簡化的IT數(shù)據(jù)與應用系統(tǒng)緊密耦合，“牽一發(fā)動全身”擴容、改造、升級常受制于系統(tǒng)現(xiàn)狀及軟件開發(fā)商故障點多，管理復雜，TCO高，新增應用困難，擴容升級困難現(xiàn)有應用新增應用票據(jù)影像數(shù)據(jù)存儲票據(jù)影像數(shù)據(jù)存儲票據(jù)影像數(shù)據(jù)存儲數(shù)據(jù)索引索引索引索引Hard disk：第一次購買時最優(yōu)RAID/LUN：安裝時用PND算法設定File system: 對現(xiàn)有應用優(yōu)化Volume Manager：對現(xiàn)有數(shù)據(jù)優(yōu)化Data Flow?安裝即過時對象對象被存儲在幾

10、乎無限大的平面地址空間內(nèi)；將數(shù)據(jù)保存在被稱為Object的容器里每個Object都有data和metadata沒有文件系統(tǒng)的復雜性1MB以內(nèi)對象的每次讀寫只執(zhí)行1次硬盤IO對不同大小的文件自動優(yōu)化IO性能無中心管理Data Metadata Data Metadata Data Metadata 平面命名空間Full File/Object1MB Objects Segmented into 1MB ChunksUser Metadata (1MB) are broken into 1MB increments and are distributed across disks for perf

11、ormance and capacity scale.Block Disk StructureWOS 512B1KB2KB980KB1MBWOS “NoFS” BucketsBlock-BasedApproachesLinux File System (4-16K blocks)inodeVendorInode DB OverheadBlock Fit WasteEfficiencyLinux FS5%15-25%*70-80%Object Disk 0%1%99%磁盤空間利用率95%WOS 消除了在SAN/ NAS文件系統(tǒng)存儲中固有的擱置容量WOS 同SAN/NAS文件系統(tǒng)存儲相比較，磁盤空

12、間利用率平均高出25%部署1PB的SAN/NAS存儲，大約有250TB的磁盤空間被限制，這增加了$50K$100K系統(tǒng)成本，還會浪費電源和場地成本GPFS & WOS 磁盤空間利用率對比擴展能力和TCOSources: - 05/12, EMC Atmos 2.0 Press Release Sources:A; DDN WOS OA vs. Amazon Red. Redundancy40% Data Growth AnnuallyTotal Cost of Ownership 1PB (start), 5 YearsSources: NTAP 8.1.1 Administration Ma

13、nualSources: File Storage Costs Less In The Cloud Than In-House, Forrester Research 2011 WOS6000 Node With 60% Volume DiscountScalabilityEconomics$Ms in Savings Over 5 Years基于WOS快速構建自己的云NAS 協(xié)議(NFS, CIFS, 等)原生對象存儲接口兼容S3云平臺WOS 接入網(wǎng)關NFS 協(xié)議訪問控制可擴展到跨多個站點多個網(wǎng)關高可靠性、容災保護云存儲平臺兼容S3 和 WebDAV 接口多租戶報表和計費遠程存儲，文件共享，備份代理原生對象存儲C+, Python, Java, PHP, HTTP REST 接口PUT, GET, DELETE object, RESERVE ObjectID, 等WOS NFS 接入網(wǎng)關可擴展到多個網(wǎng)關容災保護和高可靠性切換在遠程站點間同步數(shù)據(jù)庫本地讀寫緩存LAN 或WAN 接入WOS 云針對云服務供應商或私有云S3應用以低得多的價格就能使用WOS云存儲支持完整的多租戶、后向計費和按租戶報表謝謝！