聯(lián)想LeoStor分布式存儲系統(tǒng)

李秀峰新業(yè)務/應用模式帶動數據爆炸式增長2000~至今醫(yī)療影像大數據時代數據訪問的挑戰(zhàn)數據種類更為復雜，使存儲訪問、數據分析更為困難數據種類更為復雜，使存儲訪問、數據分析更為困難產生的數據飛速增加，但是可用數據卻無法同比增加行分析，造成數據價值損失理的需求·Machinelearning·Socian/wanalysa·a傳統(tǒng)存儲面對大數據的挑戰(zhàn)·傳統(tǒng)盤陣單點擴展存在容量對PB級的海量存儲需求曲軟件定義存儲SDS提供靈活、高效的數據解決方案應用層接口層存儲層存儲層傳統(tǒng)數據業(yè)務新興數據業(yè)務軟件定義存儲的特質：軟件在存儲中處于一個核心的地位，而底層的硬件多用通用的服務器和磁盤；對資源和數據實現(xiàn)高效、整體上的有效管現(xiàn)靈活→軟件定義的靈活性，輕松應對復雜應用環(huán)境→從100TB到100PB無縫擴展→跨節(jié)點實時熱備，可靠率高達99.9999%●廣電和電視臺的媒資庫，設計院、圖書館、政府檔案、金融電子票據的文檔庫、醫(yī)療PACS●廣電和電視臺的媒資庫，設計院、圖書館、政府檔案、金融電子票據的文檔庫、醫(yī)療PACS系統(tǒng)、高清視頻集中存儲、智慧城市；高性能計算：高性能計算：高性能計算：●高校數學、物理、化學等專業(yè)學院；云計算統(tǒng)一存儲：海量存儲：●高校數學、物理、化學等專業(yè)學院；云計算統(tǒng)一存儲：海量存儲：航空的風動實驗、科學院的天體物理；大數據分析：大數據分析：●公安圖片、指紋、汽車影像追逃；●金融行業(yè)量化實時風控分析；●影視同期制作和4K后期渲染；非現(xiàn)編媒資庫oTT視頻vM虛擬化大數據分析日志數據庫非現(xiàn)編媒資庫oTT視頻vM虛擬化大數據分析日志數據庫統(tǒng)一存儲平臺，滿足數據中心多種需求從100TB到100PB的統(tǒng)一解決方案●可配置2/4/6/8…256個控制器，;元數據(MDS)節(jié)點集群存儲(OSS)節(jié)點應用系統(tǒng)應用系統(tǒng)VM應用系統(tǒng)VM宿主機/虛擬機LUNLUN塊存儲*POSIX表示可移植操作系統(tǒng)接口(PortableOperatingSystemInterface,縮寫為POSIX)a曲AP2Servers客戶端算法計算元數據a元數據服務器通過負載均衡算法進行負載均衡運算客戶端將元數據信息一步定元數據返回數據切片以及分布交換機OSs數據節(jié)點aOSs數據節(jié)點a元數據工作模式性能單位容量價格性能單位容量價格SASLeoStor基于目錄和用戶的配額管理oovoneneUltraRaid(副本和糾刪碼)類型數據備注一份數據一份拷貝neUltraRaid(副本和糾刪碼)類型數據備注一份數據一份拷貝一份數據二份拷貝ovo存儲節(jié)點(OSS)LeoStor智能復制技術支持構筑多活云數據中心ThinkServerThinkServer存儲(OSS)元數據(MDS)存儲(OSS)節(jié)點集群節(jié)點集群異地LeoStor翻可調a曲LeoStor還有更多的技術特點術術ovoneovone聯(lián)想H廠商L廠商節(jié)點配置2元數據+3存儲節(jié)點4個節(jié)點2元數據+3存儲節(jié)點數據磁盤個數(7.2K)54塊網絡配置(每節(jié)點)備注ovoneovone名稱備注測試節(jié)點5均為萬兆測試環(huán)境性能測試工具5專業(yè)測試工具延時測試工具1專業(yè)測試工具a曲a測試結果分析-順序讀測試結果分析-順序寫結果分析：曲a曲a測試結果分析-隨機讀·總帶寬上，聯(lián)想產品在配置較少的情況下，優(yōu)于兩個友商，表現(xiàn)優(yōu)異；aa0單位：毫秒三a帶寬NAS設備控制器存在數量限制，即數據出口少，容易成為性能瓶徑基于高效的并行存儲技術，聚合帶寬隨著存儲集群規(guī)模擴大而線性增長可靠性硬件HA備份設計；數據Raid5數據保護;Raid組內兩塊硬盤損壞，或者單臺存儲設備失效，會造成數據丟失硬件系統(tǒng)集群化；數據冗余度可調；可以允許多塊磁盤同時損壞，甚至單臺存儲設備失效也不會影響數據的完整性并發(fā)對象同時只有一臺NFS服務器能夠訪問一單個數據對象可以同時被多個數據接收端接收數據擴展性不支持在線擴展，擴展能力有限，擴展到一定程度后會造成性能的降低.容量越大，性能越低可無限的擴展，動態(tài)無縫的擴展，擴展之后性能得到提高.容量越大，性能越高文件規(guī)模單目錄十萬級文件，超過十萬目錄無法打開，文件規(guī)模龐大時，進行數據更改延遲時間長，需要進行控制器數據同步支持2000億所以上的文件，快速檢索，單目錄千萬以上故障恢復時間系統(tǒng)重構需要中斷業(yè)務，Raid重建影響性能，時間很長在線系統(tǒng)快速重構和數據恢復，速度是RAID的數倍，對性能幾乎沒有影響維護升級費用廠家專用磁盤，價格十分昂貴；技術支持由代理商完成，不能提供用戶環(huán)境調優(yōu)和定制開發(fā)系統(tǒng)自恢復，接近零維護；維護升級成本低；可進行用戶定制開發(fā)曲ovoneovone共享性能享文件系統(tǒng)支持，如StorNext,或EMC自己的MPFS,但這次文件系統(tǒng)都不是集群設計，性能普遍很低，支持客戶端數量也很有限。硬件上，單個LUN被共享訪問時性能會急劇下降基于高效的并行存儲技術，系統(tǒng)聚合帶寬隨著存儲規(guī)模擴大而近線性增長，帶寬可擴展至數百GB/s;單個數據對象可以被多個客戶端訪問保持性能不變擴展性僅有SymmtrixDMX3/4支持在線擴展Raid陣列，其余產品擴容需要停機，重新規(guī)劃空間分配；容量越大，性能越低動態(tài)無縫的擴展，擴展之后性能得到提高，容量越大，性能越高可靠性硬件HA備份設計；數據Raid5數據保護;Raid組內兩塊硬盤損壞，或者單臺存儲設備失效，會造成數據丟失硬件系統(tǒng)集群化；數據冗余度可調；可以允許多塊磁盤同時損壞，甚至單臺存儲設備失效也不會影響數據的完整性故障恢復時間系統(tǒng)重構需要中斷業(yè)務，時間很長在線系統(tǒng)快速重構和數據恢復，速度是SAN的數倍，對性能幾乎沒有影響完備性SAN設備本身只提供基本存儲空間，共享、鏡像、安全都需要另購EMC或第三方軟件，要實現(xiàn)一個完整的存儲解決方案，需要一個“系統(tǒng)集成”的過程系統(tǒng)提供存儲、共享、自修復、負載均衡、安全、鏡像等完整的功能，無需另購軟件維護升級費用1、廠家私有光纖協(xié)議，需要專人學習、負責維護2、廠家專用磁盤，價格十分昂貴；3、增加客戶端需要收費昂貴通用的TCP/IP協(xié)議，任何網絡維護人員都能承擔維護任務；系統(tǒng)自恢復，接近零維護；維護升級成本低曲ovoneovone開發(fā)語言Java應用程序級別C內核級模塊定位處理型應用通用大規(guī)模文件共享存儲應用接口Posix標準文件系統(tǒng)接口不支持文件修改只能有一位寫用戶不支持軟、硬鏈接文件類型優(yōu)化大文件大、小文件文件數量支持百萬級(白皮書公布)超過300億(案例值)擴容后數據遷移不支持支持名字節(jié)點(MDS)單臺，存在單點故障集群(1~128臺)兼容性跨平臺跨平臺元數據服務器Active-Standby2臺服務器+SAN(為達到高可用效果需要共享存儲Active-Active,最大支持128臺服務器+內置硬盤(任何類型的磁盤)可靠性方法磁盤：依靠硬件RAID保護服務：后端硬件用SAN,IO服務器之間failover;任何存儲節(jié)點宕機會影響服務連續(xù)性磁盤與服務連續(xù)性：通過使用文件副本策略，消除磁盤、存儲節(jié)點、盤陣的單點故障聚合帶寬上百GB/s上百GB/s文件數量2000億，實際案例300億文件可靠性如果控制器損壞或者RAID里面多塊磁盤損壞會導致數據丟失屏蔽了存儲服務器、網絡、硬盤、控制器損壞等各類異常(通過文件副本策略，實現(xiàn)數據的全局恢復)擴展支持難以支持在線擴展，但是沒有數據遷移功能，擴容后數據分配不均支持在線動態(tài)擴展，擴展后可以數據遷移，重新平均數據分布(不停應用支持平臺架構重點存儲系統(tǒng)只對大文件讀寫做了優(yōu)化，無小文件優(yōu)化策略分別對大文件和小文件讀寫做了雙重優(yōu)化硬件刀片服務器，每臺刀片帶2塊存儲磁盤，硬件要求非常高，硬件要求較高通用機架式服務器，每臺服務器可帶1-36塊磁盤,硬件要求較低單卷容量PB級(官方網站給出)數據保護分層校驗，通過動態(tài)復制數據段進行數據塊損壞時數據保護，單點故障與整個磁盤損壞則完全通過RAID機制加以實現(xiàn)文件系統(tǒng)可自動監(jiān)測到丟失或損壞的數據塊，并根據數據塊進行恢復；可根據應用需求對存儲系統(tǒng)中的目錄分別部署不同的數據保護機制數據丟失重建500G數據重建時間在90分鐘左右，且需要借助所有刀片同時參與數據恢復，影響整體性能。750G磁盤數據恢復時間為15分鐘且數據恢復時對前端沒有絲毫影響成本高低支持平臺ovoneovone性能SNFS后端基于的是SAN環(huán)境，讀寫性能完全依賴于盤陣的存儲控制器，存儲控制器很容易成為性能瓶頸。在實際的測試中也發(fā)現(xiàn)即使是中高端的磁盤陣列，隨著應用并發(fā)數的提高性能會急劇下降，這也導致SNFS文件共享訪問效率下降；LoongStore使用了完全分布式的數據分布訪問的方法來消除對于單個存儲控制器性能的依賴?？梢猿浞掷眉涵h(huán)境里面硬件的并發(fā)處理能力，提供遠遠高于傳統(tǒng)存儲方案的聚合吞吐量；可靠性SNFS方案的可靠性完全是依賴于底層硬件RAID以及相應的通道冗余實現(xiàn)。而RAID盤陣失效將會導致數據無法訪問甚至數據丟失等嚴重故障LoongStore的可靠性機制不會完全依賴于高端、高可靠性的硬件，而是在系統(tǒng)內部提供了一套完整的故障自動探測與恢復機制來消除硬件損壞可能帶來的損失