聯(lián)想LeoStor云存儲(chǔ)系統(tǒng)技術(shù)白皮書(shū)

`DOCPROPERTYTitle中央人民廣播電臺(tái)云平臺(tái)系統(tǒng)聯(lián)想LeoStor技術(shù)白皮書(shū)04/11，2015DOCPROPERTY部門(mén)聯(lián)想中國(guó)服務(wù)器事業(yè)部版權(quán)聲明本DOCPROPERTYCategory方案書(shū)版權(quán)屬于DOCPROPERTYCompany聯(lián)想（北京）有限公司。未經(jīng)DOCPROPERTYCompany聯(lián)想（北京）有限公司事先書(shū)面授權(quán)，不得復(fù)制、轉(zhuǎn)載、出版、泄露或用作原用途以外的其他目的。地址：地址：中國(guó)北京市海淀區(qū)上地創(chuàng)業(yè)路6號(hào)郵編： 100085網(wǎng)址：作者聯(lián)系A(chǔ)GEi目錄TOC\o"1-3"\h\z第1章概述 11.1項(xiàng)目描述 11.2一期需求 11.3LeoStor配置 2第2章聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)特點(diǎn) 42.1綜合擴(kuò)展方案 42.2高可用體系架構(gòu) 42.3硬盤(pán)輸出指標(biāo) 52.4系統(tǒng)輸出接口 62.5系統(tǒng)拓?fù)浔馄交?62.6存儲(chǔ)的池化能力 72.7應(yīng)用更簡(jiǎn)單 82.8與大數(shù)據(jù)分析軟件的結(jié)合 8第3章聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)技術(shù)優(yōu)勢(shì) 103.1線性的I/O和IOPS輸出能力 103.2統(tǒng)一名稱(chēng)空間技術(shù) 113.3前端智能切片技術(shù) 123.4基于目錄的數(shù)據(jù)保護(hù)技術(shù) 133.5基于目錄的分級(jí)存儲(chǔ)技術(shù) 143.6多級(jí)緩存技術(shù) 153.7存儲(chǔ)容量均衡技術(shù) 163.8基于智能碎片技術(shù)的異步復(fù)制 17-PAGE1-關(guān)鍵詞：并行存儲(chǔ)，LeoStor第1章概述1.1項(xiàng)目描述我國(guó)電臺(tái)主要由中央、省、市、縣四級(jí)電臺(tái)構(gòu)成，各級(jí)電臺(tái)有著各自的覆蓋范圍和聽(tīng)眾群體，從而構(gòu)成了一個(gè)完整嚴(yán)密的廣播網(wǎng)絡(luò)。因此，國(guó)內(nèi)的廣播競(jìng)爭(zhēng)也主要是在中央電臺(tái)、省級(jí)電臺(tái)和市級(jí)電臺(tái)之間展開(kāi)。2013年中國(guó)廣播收聽(tīng)市場(chǎng)的競(jìng)爭(zhēng)格局，表現(xiàn)為市縣級(jí)電臺(tái)在本地市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì)明顯，省級(jí)電臺(tái)大多在省會(huì)城市市場(chǎng)領(lǐng)先，而中央電臺(tái)憑借其全國(guó)覆蓋的優(yōu)勢(shì)，保持10%左右的市場(chǎng)份額。在廣播領(lǐng)域，移動(dòng)互聯(lián)時(shí)代與手機(jī)終端的發(fā)展推動(dòng)了收聽(tīng)的移動(dòng)化、聽(tīng)眾的網(wǎng)民化與廣播的網(wǎng)絡(luò)融媒化。手機(jī)、車(chē)載收音系統(tǒng)等新媒體已經(jīng)成為廣播的主要收聽(tīng)終端，呈現(xiàn)出智能化和移動(dòng)化的特點(diǎn)。中央臺(tái)為加快媒體融合方針的落實(shí)，中國(guó)廣播云平臺(tái)項(xiàng)目中一個(gè)方向就是打造網(wǎng)絡(luò)廣播平臺(tái)，發(fā)展自己的移動(dòng)互聯(lián)終端。央廣云平臺(tái)十二個(gè)分系統(tǒng)組成。它主要以采集音頻、編輯制作、音頻檢索、版權(quán)控制為庫(kù)的核心；通過(guò)數(shù)據(jù)中心分系統(tǒng)做庫(kù)內(nèi)音頻的數(shù)據(jù)挖掘與分析；通過(guò)互聯(lián)網(wǎng)集成播控分系統(tǒng)實(shí)現(xiàn)節(jié)目的播出、分發(fā)與集成；以媒資安全分系統(tǒng)控制整系統(tǒng)的數(shù)據(jù)安全；運(yùn)營(yíng)管理分系統(tǒng)以運(yùn)營(yíng)為出發(fā)點(diǎn)，包括用戶管理、合作伙伴管理、運(yùn)營(yíng)終端管理及平臺(tái)管理。業(yè)務(wù)規(guī)劃上，未來(lái)兩年存儲(chǔ)規(guī)模達(dá)到1.7PB，業(yè)務(wù)帶寬需求為1Gbps。綜上所述，我們建議央廣云平臺(tái)系統(tǒng)的存儲(chǔ)子系統(tǒng)采用聯(lián)想LeoStor大規(guī)模分布式集群并行存儲(chǔ)系統(tǒng)，其采用X86存儲(chǔ)服務(wù)器作為存儲(chǔ)載體，提供高性能、低成本、多數(shù)據(jù)冗余的擴(kuò)展方案，并且可以由物理服務(wù)器、虛擬服務(wù)器、虛擬服務(wù)器宿主機(jī)等設(shè)備直接加載使用，也可以將原有的存儲(chǔ)設(shè)備進(jìn)行利舊。1.2一期需求央廣云平臺(tái)實(shí)行統(tǒng)一規(guī)劃，分期實(shí)施，一期需求如下：存儲(chǔ)：可用100TB,采用三個(gè)副本的模式，裸容量為300TB；帶寬：輸出1Gbps1.3LeoStor配置由于帶寬需求相對(duì)較少，采用容量?jī)?yōu)先的配置方案，并滿足副本數(shù)據(jù)冗余對(duì)節(jié)點(diǎn)數(shù)量的需求。系統(tǒng)指標(biāo)如下：系統(tǒng)裸容量為360TB，I/O輸出20Gbps，IOPS打開(kāi)文件數(shù)量8萬(wàn)/秒類(lèi)別序號(hào)技術(shù)指標(biāo)技術(shù)要求描述基本需求1存儲(chǔ)陣列類(lèi)型分布式并行存儲(chǔ)系統(tǒng)硬件要求2控制器及其架構(gòu)支持采用多控制器集群模式，控制器需支持雙Active模式，支持256個(gè)及以上控制器擴(kuò)展，擴(kuò)展的控制器硬件可不同；本次實(shí)際配置≥2個(gè)，為避免控制器輸出瓶頸，每個(gè)存儲(chǔ)管理節(jié)點(diǎn)響應(yīng)數(shù)據(jù)均可直接輸出給應(yīng)用設(shè)備端，無(wú)需通過(guò)控制端。3數(shù)據(jù)一級(jí)緩存容量每個(gè)數(shù)據(jù)控制器緩存≥32GB，可擴(kuò)展到256GB。4網(wǎng)絡(luò)端口主機(jī)端口或后端互聯(lián)端口支持GE、10GE、IB；每控制器節(jié)點(diǎn)實(shí)際配置10GE主機(jī)端口≥2個(gè)，其它端口依據(jù)容量和效率按需配置。5驅(qū)動(dòng)器類(lèi)型支持盤(pán)體外插和內(nèi)插兩種模式；支持SAS、SATA、SSD硬盤(pán)。6驅(qū)動(dòng)器數(shù)量最大支持≥7200塊磁盤(pán)，本次實(shí)際配置≥180塊4TBSAS/SATA磁盤(pán)（轉(zhuǎn)速≥7200轉(zhuǎn)/分鐘），必須是無(wú)微碼硬盤(pán)。7最大支持容量≥200PB8高可靠性所有部件采用冗余設(shè)計(jì)，確保無(wú)任何單點(diǎn)故障，如電源、數(shù)據(jù)通道等，采用內(nèi)存保護(hù)技術(shù)，在任何一部件發(fā)生故障時(shí)，系統(tǒng)仍能保持正常運(yùn)行。應(yīng)具有完全在線，無(wú)需停機(jī)的擴(kuò)充能力，包括系統(tǒng)微碼升級(jí)、系統(tǒng)處理能力的擴(kuò)充、存儲(chǔ)容量的擴(kuò)充等。9機(jī)柜配置原廠機(jī)柜及運(yùn)行維護(hù)管理套件性能要求10NAS指標(biāo)系統(tǒng)每秒fopen()IOPS不小于每秒6萬(wàn)次，延遲不超過(guò)10ms；單一NAS文件系統(tǒng)≥100PB。11讀寫(xiě)指標(biāo)大數(shù)據(jù)順序I/O：讀≥5GB/sec，寫(xiě)≥4GB/sec。功能要求12數(shù)據(jù)可靠性保護(hù)支持多副本和N+M糾刪碼數(shù)據(jù)模式，最大可用空間可達(dá)80%，本次配置最大利用率為66%；支持每個(gè)目錄不同的數(shù)據(jù)保護(hù)模式。13協(xié)議輸出系統(tǒng)輸出LUN設(shè)備數(shù)量不少于65536，同時(shí)配置完備的NAS存儲(chǔ)相關(guān)協(xié)議，如NFS、CIFS協(xié)議等，支持前端切片技術(shù)的高速私有協(xié)議。14支持主機(jī)操作系統(tǒng)類(lèi)型支持Windows、Linux、Solaris、AIX、MACOS等主機(jī)系統(tǒng)。15分級(jí)存儲(chǔ)功能支持每個(gè)目錄可管理不同存儲(chǔ)介質(zhì)，并設(shè)定不同數(shù)據(jù)保護(hù)級(jí)別16數(shù)據(jù)本地遷移功能要求存儲(chǔ)系統(tǒng)配置具有內(nèi)部數(shù)據(jù)遷移功能的軟件；基于存儲(chǔ)系統(tǒng)本身的控制器實(shí)現(xiàn)數(shù)據(jù)在文件系統(tǒng)之間的數(shù)據(jù)遷移，遷移和切換且無(wú)需中斷應(yīng)用訪問(wèn)。17數(shù)據(jù)容災(zāi)功能支持存儲(chǔ)間數(shù)據(jù)復(fù)制協(xié)議，支持異步模式實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)同步及容災(zāi)，支持雙活數(shù)據(jù)。18存儲(chǔ)利舊可掛載客戶原有IP-SAN、FC-SAN或NAS存儲(chǔ)陣列，可在單一目錄下合并存儲(chǔ)容量19通道負(fù)載均衡管理無(wú)需額外軟件，即可實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)流量的負(fù)載均衡，自動(dòng)切換故障通道20配額管理支持基目錄的空間配額管理。軟件要求21管理軟件免費(fèi)提供管理控制臺(tái)及完整的存儲(chǔ)系統(tǒng)管理軟件，提供集中式Web管理，在單一管理界面實(shí)現(xiàn)監(jiān)控，提供與主流網(wǎng)絡(luò)管理軟件的集成。22安全管理軟件免費(fèi)提供基于存儲(chǔ)陣列的安全控制管理軟件，以保證不同主機(jī)系統(tǒng)對(duì)存儲(chǔ)陣列訪問(wèn)的安全性。23性能分析軟件免費(fèi)提供存儲(chǔ)性能、流量分析軟件集成與售后服務(wù)24與現(xiàn)有系統(tǒng)集成與現(xiàn)有應(yīng)用軟件和系統(tǒng)無(wú)縫連接，無(wú)需應(yīng)用系統(tǒng)二次開(kāi)發(fā)，保證磁盤(pán)陣列充分共享。25售后服務(wù)三年原廠免費(fèi)質(zhì)保及后續(xù)技術(shù)服務(wù)

第2章聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)特點(diǎn)2.1綜合擴(kuò)展方案LeoStor并行存儲(chǔ)系統(tǒng) 聯(lián)想LeoStor系統(tǒng)采用ThinkServer等性價(jià)比極高的存儲(chǔ)服務(wù)器和JBOD，構(gòu)筑并行存儲(chǔ)系統(tǒng)，支持千兆、萬(wàn)兆和40G以太網(wǎng)絡(luò)以及Infiniband網(wǎng)絡(luò)。 聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)包含元數(shù)據(jù)集群節(jié)點(diǎn)（MDS）和存儲(chǔ)集群節(jié)點(diǎn)（OSS），其功能如下：MDS節(jié)點(diǎn)：存儲(chǔ)文件節(jié)點(diǎn)信息，每個(gè)MDS節(jié)點(diǎn)的文件并行打開(kāi)能力（IOPS）可達(dá)4萬(wàn)/秒，MDS節(jié)點(diǎn)需要成對(duì)部署。OSS節(jié)點(diǎn)：存儲(chǔ)文件數(shù)據(jù)信息，每個(gè)OSS節(jié)點(diǎn)的帶寬有效輸出能力（I/O）可達(dá)4Gbps，由于本項(xiàng)目需要做2副本模式，所以，系統(tǒng)至少要配置OSS節(jié)點(diǎn)4臺(tái)，且可以單數(shù)增加。LeoStor可采用簡(jiǎn)單的通過(guò)增加存儲(chǔ)服務(wù)器的方式實(shí)現(xiàn)橫向擴(kuò)展（Scale-Out）方式增加MDS節(jié)點(diǎn)和OSS存儲(chǔ)節(jié)點(diǎn)，系統(tǒng)并不限制節(jié)點(diǎn)數(shù)量，節(jié)點(diǎn)數(shù)量依賴(lài)于交換機(jī)的端口數(shù)量。LeoStorOSS節(jié)點(diǎn)支持的硬盤(pán)為更穩(wěn)定、更經(jīng)濟(jì)、性價(jià)比更高的服務(wù)器硬盤(pán)，硬盤(pán)上沒(méi)有任何微碼，客戶可以在市場(chǎng)隨意采購(gòu)，方便客戶降低使用成本。 聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)支持任何時(shí)期的MDS/OSS節(jié)點(diǎn)硬件，且每個(gè)MDS/OSS節(jié)點(diǎn)的配置不需要完全一致，可在長(zhǎng)時(shí)間內(nèi)保護(hù)用戶的總體投資（TCO）。2.2高可用體系架構(gòu) LeoStor采用“帶外管理”架構(gòu)，系統(tǒng)架構(gòu)分成元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)數(shù)據(jù)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都可以形成自己的集群，集群數(shù)量越多，系統(tǒng)故障概率越低，隨著節(jié)點(diǎn)的數(shù)量增加，故障概率遞減，并趨近零。 元數(shù)據(jù)節(jié)點(diǎn)（MDS）采用Active-Active模型，負(fù)載均衡模型，實(shí)時(shí)接管，其他公司產(chǎn)品多采用Active-Standby模型，當(dāng)元數(shù)據(jù)節(jié)點(diǎn)故障時(shí)，元數(shù)據(jù)節(jié)點(diǎn)有個(gè)數(shù)秒的切換時(shí)間，而LeoStor的一個(gè)數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障，應(yīng)用服務(wù)器節(jié)點(diǎn)（MDC）可直接訪問(wèn)另外一臺(tái)Active節(jié)點(diǎn)，無(wú)需故障切換機(jī)制。 在寫(xiě)數(shù)據(jù)方面，有些公司分布式存儲(chǔ)產(chǎn)品，由于沒(méi)有采用高效的切片存儲(chǔ)算法，而是通過(guò)內(nèi)存做緩存的方式，提高寫(xiě)速度，即客戶端的寫(xiě)文件的時(shí)候，數(shù)據(jù)先寫(xiě)入內(nèi)存中，再定期將內(nèi)存數(shù)據(jù)刷新到硬盤(pán)介質(zhì)中，假如此時(shí)系統(tǒng)斷電，系統(tǒng)將丟失大量數(shù)據(jù)，丟失數(shù)據(jù)的存儲(chǔ)，無(wú)論多便宜，都是不可使用的；而LeoStor的存儲(chǔ)有著高效的切片算法，所有數(shù)據(jù)都是直接寫(xiě)入硬盤(pán)，只有全部片段寫(xiě)入成功，MDC中的應(yīng)用程序中的fwrite()函數(shù)，才會(huì)返回正確。 在數(shù)據(jù)冗余方面，其他公司產(chǎn)品僅提供一備一數(shù)據(jù)冗余方案，而LeoStor提供兩類(lèi)冗余方案，包括副本模式，N+M糾刪碼模式，其中副本模式，可以做多個(gè)副本，糾刪碼一般有2份數(shù)據(jù)一個(gè)校驗(yàn)，4份校驗(yàn)1個(gè)校驗(yàn)的數(shù)據(jù)保護(hù)模式。 在鏈路冗余方面，LeoStor支持802.3冗余鏈路協(xié)議，可以兼容所有主流交換機(jī)構(gòu)造的冗余網(wǎng)絡(luò)，并支持虛擬交換機(jī)網(wǎng)絡(luò)，所有冗余鏈路均為Active狀態(tài)，不僅做到冗余，而且做到鏈路帶寬的聚合。 LeoStor的MDS、OSS節(jié)點(diǎn)均采用高品質(zhì)LenovoThinkServer或SystemX存儲(chǔ)服務(wù)器硬件，標(biāo)配冗余電源，實(shí)時(shí)遠(yuǎn)程監(jiān)控、管理服務(wù)器部件狀態(tài)，可準(zhǔn)確預(yù)警、報(bào)警，可實(shí)現(xiàn)集中式管理。2.3硬盤(pán)輸出指標(biāo) LeoStor可以使用SAS、SATA、NL-SAS、SSD、PCI-SSD作為OSS節(jié)點(diǎn)的存儲(chǔ)介質(zhì)，LeoStor具有高效的“帶外”數(shù)據(jù)流管理機(jī)制，應(yīng)用服務(wù)器/客戶端節(jié)點(diǎn)在獲得MDS文件索引信息后，可直接與OSS節(jié)點(diǎn)通訊，可充分發(fā)揮每塊硬盤(pán)的I/O潛能。LeoStor硬盤(pán)輸出能力 使用LeoStor的場(chǎng)景包括大并發(fā)的實(shí)時(shí)業(yè)務(wù)系統(tǒng)，比如廣電流媒體、互聯(lián)網(wǎng)視頻點(diǎn)播、虛擬化vDC，考慮更多是帶寬的輸出和時(shí)效；網(wǎng)盤(pán)、教育課件庫(kù)、圖書(shū)館、金融的電子掃描件、視頻監(jiān)控，考慮更多的是更大的存儲(chǔ)容量，通過(guò)使用LeoStor的分級(jí)存儲(chǔ)功能，為不同的業(yè)務(wù)配置不同類(lèi)型的硬盤(pán)，就可以滿足業(yè)務(wù)的各種需求。2.4系統(tǒng)輸出接口 LeoStor輸出兩類(lèi)或三種接口：LUN，塊設(shè)備；網(wǎng)絡(luò)文件系統(tǒng)：高速LeoStorFS文件系統(tǒng)和NAS（CIFS/NFS）協(xié)議； 在云平臺(tái)系統(tǒng)中，LUN塊設(shè)備可以應(yīng)用在VMware、KVM、Citrix等宿主機(jī)的鏡像文件加載，以及OracleRAC系統(tǒng)中，其他的，非結(jié)構(gòu)化數(shù)據(jù)，以及MySQL、SQLServer、HBase等均可使用高速LeoStorFS文件系統(tǒng)，而不需要先加載LeoStor的塊設(shè)備，再在上面格式化EXT3/4、NTFS等文件系統(tǒng)。 LeoStor為IaaS基礎(chǔ)存儲(chǔ)平臺(tái)，可為上層應(yīng)用VMCerter提供PaaS層接口，包括符合RESTful、JSON、XML等格式的接口。2.5系統(tǒng)拓?fù)浔馄交?LeoStor構(gòu)筑在標(biāo)準(zhǔn)以太網(wǎng)和Infiniband網(wǎng)絡(luò)，應(yīng)用服務(wù)器節(jié)點(diǎn)通過(guò)網(wǎng)路直接訪問(wèn)存儲(chǔ)系統(tǒng)，而無(wú)需再通過(guò)NAS協(xié)議，從而減少系統(tǒng)部署復(fù)雜性，并提高系統(tǒng)的可靠性。 LeoStor與周邊系統(tǒng)的連接方式有兩種：獨(dú)立拓?fù)淠Ｊ剑篖eoStor獨(dú)立拓?fù)淠Ｊ交旌贤負(fù)淠Ｊ絃eoStor混合拓?fù)淠Ｊ?獨(dú)立拓?fù)淠Ｊ胶突旌贤負(fù)淠Ｊ礁饔袃?yōu)缺點(diǎn)，這個(gè)要根據(jù)客戶的實(shí)際需求來(lái)確定，一般的說(shuō)，如果預(yù)算許可，建議做獨(dú)立拓?fù)洹?.6存儲(chǔ)的池化能力 聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)具備更有彈性的目錄級(jí)存儲(chǔ)空間管理策略，系統(tǒng)可對(duì)不同的目錄做不同的配額管理，配合管理可基于設(shè)備、應(yīng)用和用戶等粒度進(jìn)行管理，并可以通過(guò)RESTful、XML等接口與管理系統(tǒng)對(duì)接。 LeoStor池化能力 在LeoStor中，所有存儲(chǔ)空間的分配都是邏輯的，每個(gè)目錄在邏輯邊界上做數(shù)據(jù)隔離，當(dāng)某一個(gè)目錄空間不夠的時(shí)候，如果還有未分配的空間，系統(tǒng)管理員可以將其目錄空間擴(kuò)大到預(yù)定數(shù)值，無(wú)需停止部署在該目錄上的應(yīng)用；如果沒(méi)有分配的空間，用戶可以通過(guò)兩個(gè)策略獲得可用空間：縮減其他目錄的空間，回收可用空間；增加OSS節(jié)點(diǎn)，增加系統(tǒng)可用空間；聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)可對(duì)目錄進(jìn)行安全管理，可設(shè)置基于應(yīng)用層ACL權(quán)限管理，確保池化數(shù)據(jù)的安全訪問(wèn)。2.7應(yīng)用更簡(jiǎn)單 傳統(tǒng)的磁盤(pán)陣列或其他公司的虛擬化存儲(chǔ)，對(duì)外提供的是基于LUN技術(shù)的塊存儲(chǔ)，客戶需要使用掛載文件系統(tǒng)才能使用。在配合負(fù)載均衡使用的時(shí)候，需要掛載并行文件系統(tǒng)或者CIFS/NFS協(xié)議的網(wǎng)絡(luò)文件系統(tǒng)，雖然在底層實(shí)現(xiàn)LUN的條帶化，但是網(wǎng)絡(luò)文件系統(tǒng)的低效會(huì)降低存儲(chǔ)的I/O和IOPS，此外，部署也比較復(fù)雜，不是系統(tǒng)運(yùn)維管理的未來(lái)方向。聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)提供高效的、網(wǎng)絡(luò)級(jí)的、共享文件協(xié)議，用戶無(wú)需面對(duì)傳統(tǒng)存儲(chǔ)陣列上各種復(fù)雜概念，使得部署起來(lái)更加得心應(yīng)手。 高效的LeoStor并行存儲(chǔ)系統(tǒng)，可以充當(dāng)統(tǒng)一存儲(chǔ)的要求，使得無(wú)論是結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫(kù)數(shù)據(jù)）還是非結(jié)構(gòu)化數(shù)據(jù)（圖片/視頻），均可以按照不同目錄的方式統(tǒng)一存儲(chǔ)和配置。 聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)在客戶端提供符合國(guó)際標(biāo)準(zhǔn)的POSIX協(xié)議的LEOFS文件系統(tǒng)，LEOFS支持Windows、Linux和蘋(píng)果的MacOS操作系統(tǒng)，使得LeoStor的客戶端可以是Windows和Linux操作系統(tǒng)的服務(wù)器，也可以是WindowsXP/Win7/Win8、Linux和蘋(píng)果iOS工作站，從而讓LeoStor云存儲(chǔ)既可以面對(duì)后臺(tái)系統(tǒng)，也可以面對(duì)前臺(tái)OA系統(tǒng)、工程制圖系統(tǒng)。2.8與大數(shù)據(jù)分析軟件的結(jié)合 Hadoop是大數(shù)據(jù)存儲(chǔ)和分析系統(tǒng)，其中，HDFS系統(tǒng)負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)，MapReduce系統(tǒng)負(fù)責(zé)數(shù)據(jù)的分析。 聯(lián)想LeoStor系統(tǒng)較HDFS系統(tǒng)相比，具有一定的性能和部署優(yōu)勢(shì)。HadoopHDFSLeoStorLEOFS開(kāi)發(fā)語(yǔ)言Java應(yīng)用程序級(jí)別C內(nèi)核級(jí)模塊定位處理行應(yīng)用通用大規(guī)模文件共享存儲(chǔ)應(yīng)用接口JavaAPI適用于一次寫(xiě)多次讀的應(yīng)用，同一時(shí)間只能有一位寫(xiě)用戶，不支持軟、硬連接，應(yīng)用程序需要更改文件讀寫(xiě)API函數(shù)POSIX標(biāo)準(zhǔn)文件系統(tǒng)接口，同一個(gè)文件可以多讀多寫(xiě)，應(yīng)用程序無(wú)需更改文件讀寫(xiě)API函數(shù)文件類(lèi)型優(yōu)化大文件大、小文件文件數(shù)量支持百萬(wàn)致千萬(wàn)級(jí)（白皮書(shū)公布）千億級(jí)，現(xiàn)有案例中超過(guò)300億文件數(shù)量數(shù)據(jù)遷移不支持（當(dāng)因服務(wù)器容量寫(xiě)滿后進(jìn)行擴(kuò)容時(shí)無(wú)法利用起OSS存儲(chǔ)系統(tǒng)整體聚合帶寬）支持（按需遷移數(shù)據(jù)，所有OSS存儲(chǔ)服務(wù)器容量負(fù)載均衡，可以充分利用存儲(chǔ)整體帶寬）名字節(jié)點(diǎn)（MDS）單臺(tái)，存在單點(diǎn)故障集群架構(gòu)（最大可擴(kuò)展到128臺(tái)） LeoStor的LEOFS和Hadoop的HDFS的對(duì)比MapReduceMapReduceHadoopHDFSLeoStorLEOFS存儲(chǔ)服務(wù)器 MapReduce的訪問(wèn)架構(gòu) 由于LEOFS具備標(biāo)準(zhǔn)的POSIX接口，MapReduce可以無(wú)縫接入，用戶在MapReduce上配置的分析腳本可以正常使用。 使用聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)，用戶無(wú)需再架構(gòu)一套HadoopHDFS，減少客戶的硬件投資和降低維護(hù)成本。

第3章聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)技術(shù)優(yōu)勢(shì)3.1線性的I/O和IOPS輸出能力傳統(tǒng)的，構(gòu)筑存儲(chǔ)陣列池的方式，一般會(huì)使用陣列上的FC端口形成FC-SAN架構(gòu)，或使用陣列上的以太網(wǎng)口形成IP-SAN架構(gòu)，但是，受制于物理硬件的限制，其FC端口和以太網(wǎng)口不能無(wú)限制擴(kuò)充，只能有個(gè)固定的最高值，如EMC5300存儲(chǔ)陣列支持16個(gè)8Gbps的FC端口，8個(gè)1Gbps或10Gbps的以太網(wǎng)端口。對(duì)于數(shù)據(jù)庫(kù)類(lèi)的應(yīng)用，存儲(chǔ)陣列提供LUN設(shè)備，對(duì)于文件類(lèi)的應(yīng)用，存儲(chǔ)陣列可以提供給應(yīng)用服務(wù)器LUN設(shè)備，然后由應(yīng)用服務(wù)器上的NAS協(xié)議，對(duì)外提供網(wǎng)絡(luò)文件服務(wù)，或者由存儲(chǔ)陣列上的NAS協(xié)議對(duì)外提供服務(wù)。 在存儲(chǔ)陣列中，由于帶寬受到物理通道的限制，增加容量的同時(shí)，并不能增加I/O，或者IOPS，因此，客戶需要通過(guò)CDN系統(tǒng)的方式，來(lái)解決I/O或者IOPS，但是，這種方案對(duì)于系統(tǒng)管理和應(yīng)用軟件來(lái)說(shuō)，系統(tǒng)會(huì)過(guò)于復(fù)雜，會(huì)帶來(lái)災(zāi)難性的后果。 聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)可以從容面對(duì)大數(shù)據(jù)和云應(yīng)用，其通過(guò)Scale-Out方式，橫向增加MDS元數(shù)據(jù)節(jié)點(diǎn)，提升IOPS能力，橫向增加OSS存儲(chǔ)節(jié)點(diǎn)，提升系統(tǒng)I/O能力。LeoStor線性I/O能力 LeoStor并行存儲(chǔ)系統(tǒng)可擴(kuò)展1024個(gè)OSS節(jié)點(diǎn)，能夠提供有效帶寬達(dá)到6Tbps。LeoStor線性IOPS能力 LeoStor定義的IOPS能力為每個(gè)并發(fā)打開(kāi)文件，即執(zhí)行fopen()能力，不同的型號(hào)其MDS節(jié)點(diǎn)的輸出能力不同，高端P系列的MDS節(jié)點(diǎn)可達(dá)15萬(wàn)/秒，如果需要達(dá)到100萬(wàn)，則需要配置6臺(tái)MDS節(jié)點(diǎn)即可。3.2統(tǒng)一名稱(chēng)空間技術(shù) 聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)One-View統(tǒng)一名稱(chēng)空間就是在不同的應(yīng)用服務(wù)器視角，都能看到同一個(gè)目錄空間或者目錄視圖。LeoStorOne-View統(tǒng)一名稱(chēng)空間技術(shù) 傳統(tǒng)的應(yīng)用系統(tǒng)采用NAS技術(shù)實(shí)現(xiàn)統(tǒng)一名稱(chēng)空間，但是NAS在解決大數(shù)據(jù)有天然不足，包括I/O、IOPS等，并且NAS系統(tǒng)有潛在熱點(diǎn)，造成系統(tǒng)阻塞，從而降低用戶的體驗(yàn)效果。集群NAS具有潛在熱點(diǎn)風(fēng)險(xiǎn)集群NAS的文件一致性靠NAS控制節(jié)點(diǎn)來(lái)保證，所以要不間斷的同步NAS控制器，致使控制器存在數(shù)量限制。 LeoStor較集群NAS系統(tǒng)更強(qiáng)壯 LeoStor并行存儲(chǔ)系統(tǒng)依靠元數(shù)據(jù)MDS子系統(tǒng)維持文件的一致性的，其4萬(wàn)/秒的IOPS能力遠(yuǎn)大于MAS控制器的數(shù)千個(gè)IOPS能力，而集群MDS可以提供超過(guò)百萬(wàn)個(gè)IOPS，滿足數(shù)十萬(wàn)并發(fā)用戶的訪問(wèn)。3.3前端智能切片技術(shù) 聯(lián)想LeoStor云存儲(chǔ)的前端切片（Front-EndSlicing）技術(shù)，就是將文件根據(jù)OSS節(jié)點(diǎn)和硬盤(pán)數(shù)量等條件按照策略自動(dòng)切成多個(gè)數(shù)據(jù)片段，將數(shù)據(jù)片段存儲(chǔ)在不同的OSS存儲(chǔ)節(jié)點(diǎn)上的不同硬盤(pán)區(qū)域中。LeoStorFront-EndSlicing前端切片技術(shù)相對(duì)于不切片存儲(chǔ)技術(shù)具有天然的優(yōu)勢(shì)：不切片的存儲(chǔ)只能存儲(chǔ)在單一一臺(tái)存儲(chǔ)設(shè)備中，而LeoStor存儲(chǔ)在不同OSS節(jié)點(diǎn)中，可以避免單設(shè)備的硬盤(pán)和硬盤(pán)控制器的I/O和IOPS的瓶頸；不切片的存儲(chǔ)只能利用RAID控制器將數(shù)據(jù)平鋪到同一設(shè)備的不同硬盤(pán)中，雖然在同一設(shè)備中確保數(shù)據(jù)的安全，但是如果設(shè)備出現(xiàn)故障，比如控制器損壞或掉電，那么其中的數(shù)據(jù)將不可訪問(wèn)，而LeoStor將數(shù)據(jù)保存到不同OSS存儲(chǔ)節(jié)點(diǎn)中，大大減少整體數(shù)據(jù)不可讀的概率；相對(duì)于后端切片技術(shù)，LeoStor仍具有更大的優(yōu)勢(shì)。雖然，后端切片可從不同OSS節(jié)點(diǎn)中獲得切片數(shù)據(jù)，但是其必須開(kāi)更多的內(nèi)存去接收這些中間數(shù)據(jù)，當(dāng)面對(duì)大數(shù)據(jù)和大并發(fā)時(shí)，內(nèi)存不足將使得系統(tǒng)無(wú)法繼續(xù)；進(jìn)一步的，由于后端切片需要在該系統(tǒng)的控制部分進(jìn)行，需要占用本機(jī)大量的CPU資源，而為了能正確切片，需要更多內(nèi)存接收數(shù)據(jù)，當(dāng)面對(duì)大數(shù)據(jù)和大并發(fā)時(shí)，內(nèi)存不足將使得系統(tǒng)無(wú)法繼續(xù)。3.4基于目錄的數(shù)據(jù)保護(hù)技術(shù) 聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)UltraRaid是新一代的數(shù)據(jù)保護(hù)技術(shù)，如同服務(wù)器或者存儲(chǔ)陣列提供Raid0,1,3,5,50等傳統(tǒng)基于單一設(shè)備硬盤(pán)的數(shù)據(jù)保護(hù)技術(shù)，LeoStor提供更先進(jìn)的基于多個(gè)設(shè)備和硬盤(pán)的數(shù)據(jù)保護(hù)技術(shù)，滿足不同應(yīng)用的需求。UltraRaidR11：一份數(shù)據(jù)，一份拷貝，存儲(chǔ)利用率為50%；UltraRaidR12：一份數(shù)據(jù)，二份拷貝，存儲(chǔ)利用率為33%；UltraRaidR52：二份數(shù)據(jù)，一個(gè)校驗(yàn)值，存儲(chǔ)利用率為66%；UltraRaidR54：四份數(shù)據(jù)，四個(gè)校驗(yàn)值，存儲(chǔ)利用率為80%；LeoStorUltraRaid數(shù)據(jù)保護(hù)技術(shù) LeoStor并行存儲(chǔ)系統(tǒng)的UltraRaid技術(shù)并不要求硬盤(pán)的型號(hào)、容量等指標(biāo)一致，可長(zhǎng)期保護(hù)用戶的投資。 LeoStor的豐富的數(shù)據(jù)保護(hù)模式，可以為客戶帶來(lái)顯而易見(jiàn)的費(fèi)用節(jié)省。比如某項(xiàng)目需要配置1PB的可用存儲(chǔ)空間，如果采用其他公司的產(chǎn)品，數(shù)據(jù)冗余程度只能做到50%，則其必須配置到2PB，而LeoStor只需要配置1.25PB，節(jié)省0.75PB的存儲(chǔ)，折合到4TB硬盤(pán)，可以節(jié)省192塊硬盤(pán)，4TB的企業(yè)級(jí)硬盤(pán)的價(jià)格約2000元左右，則可以節(jié)省38.4萬(wàn)元。LeoStorUltraRaid基于目錄的數(shù)據(jù)保護(hù)技術(shù)LeoStor并行存儲(chǔ)系統(tǒng)的UltraRaid技術(shù)又一顯著優(yōu)勢(shì)，就是可以根據(jù)目錄的業(yè)務(wù)要求配置不同的數(shù)據(jù)保護(hù)類(lèi)型，比如客戶檔案目錄，配置成RaidR11，而某些中間檔案文件、圖片可以配置成RaidR54，這樣，可以最大限度利用系統(tǒng)空間，以及滿足各種數(shù)據(jù)的保護(hù)要求。3.5基于目錄的分級(jí)存儲(chǔ)技術(shù)聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)Tiered-Storage分級(jí)存儲(chǔ)技術(shù)，提供基于目錄的混合存儲(chǔ)介質(zhì)解決方案，使得用戶在任何階段都能根據(jù)業(yè)務(wù)需求部署性價(jià)比更高的存儲(chǔ)介質(zhì)，而無(wú)需一步到位。LeoStorTiered-Storage可使用說(shuō)有的存儲(chǔ)介質(zhì) 隨著存儲(chǔ)技術(shù)的發(fā)展，市場(chǎng)上可采購(gòu)到SATA、SAS、SSD、PCI-SSD等存儲(chǔ)介質(zhì)，其各有特點(diǎn)，SATA是機(jī)械式的，一般是7200轉(zhuǎn)/秒，讀取能力較低，但是容量大，價(jià)格便宜，受到用戶的廣泛歡迎；PCI-SSD是電子的，具有跟內(nèi)存一樣的讀取速度，但是單機(jī)容量低，價(jià)格昂貴，在強(qiáng)調(diào)存取速度的業(yè)務(wù)中獨(dú)樹(shù)一幟。LeoStorTiered-Storage基于目錄的分級(jí)存儲(chǔ)技術(shù) LeoStorTiered-Storage分級(jí)存儲(chǔ)技術(shù)，可讓用戶將資金投入到最需要的業(yè)務(wù)中，比如在廣電視頻播放業(yè)務(wù)，經(jīng)常會(huì)有熱播劇或熱點(diǎn)欄目，當(dāng)流行一段時(shí)間后，用戶訪問(wèn)量降低，面對(duì)這種業(yè)務(wù)，用戶可以配置兩種規(guī)格存儲(chǔ)，SATA介質(zhì)的目錄，放置數(shù)百TB的視頻庫(kù)和資料庫(kù)，而PCI-SSD/SSD介質(zhì)的目錄，放置熱播劇和7天回放的節(jié)目，可顯著降低每流的成本以及每用戶的成本，提高客戶的業(yè)務(wù)收益率。 LeoStor可實(shí)現(xiàn)在同一個(gè)目錄中的“混合介質(zhì)存儲(chǔ)”技術(shù)，即將低速的SATA和高速的SSD混合部署，通過(guò)手動(dòng)遷移，將可識(shí)別的熱點(diǎn)文件，遷移到高速SSD介質(zhì)上，文件相對(duì)路徑不變，在減少系統(tǒng)抖動(dòng)情況下，確保系統(tǒng)的高速輸出。3.6多級(jí)緩存技術(shù)聯(lián)想LeoStor并行存儲(chǔ)系統(tǒng)MultiCache多級(jí)緩存技術(shù)，在客戶端（應(yīng)用服務(wù)器節(jié)點(diǎn)）、MDS元數(shù)據(jù)節(jié)點(diǎn)和OSS存儲(chǔ)節(jié)點(diǎn)等三個(gè)地方可配置內(nèi)存級(jí)緩存，能夠顯著提升有效輸出帶寬和首次響應(yīng)時(shí)間，MultiCache多級(jí)緩存技術(shù)適合多讀一寫(xiě)或多讀少寫(xiě)的應(yīng)用場(chǎng)景，比如傳媒、教育和互聯(lián)網(wǎng)。LeoStorMultiCache多級(jí)緩存技術(shù)LeoStorOSS存儲(chǔ)節(jié)點(diǎn)可將來(lái)自應(yīng)用服務(wù)器的數(shù)據(jù)（切片）請(qǐng)求讀/預(yù)讀到內(nèi)存中，形成緩存，如果來(lái)自其他應(yīng)用服務(wù)器的數(shù)據(jù)（切片）請(qǐng)求，剛好在內(nèi)存中，則OSS根據(jù)TTL規(guī)則，會(huì)將緩存中的數(shù)據(jù)返回給應(yīng)用服務(wù)器端，而無(wú)需再?gòu)穆俚挠布橘|(zhì)中讀取。用戶經(jīng)過(guò)應(yīng)用服務(wù)器（相對(duì)LeoStor，為客戶端）從LeoStor中觀看一個(gè)視頻，LeoStorClientAgent將視頻的相關(guān)片段，根據(jù)策略會(huì)保留在應(yīng)用服務(wù)器的內(nèi)存中，形成切片緩存，切片緩存有一定TTL生命時(shí)間，在TTL有效期內(nèi)，如果，另外一個(gè)客戶恰好也訪問(wèn)該視頻片段（切片），則LeoStor會(huì)將該緩存的切片數(shù)據(jù)返回給客戶，而不會(huì)再向OSS存儲(chǔ)節(jié)點(diǎn)索取數(shù)據(jù)。如果一部影片都緩存在該應(yīng)用服務(wù)器中，則用戶的并發(fā)訪問(wèn)數(shù)與應(yīng)用服務(wù)器的網(wǎng)絡(luò)帶寬密切有關(guān)，因此，類(lèi)似