cStor云存儲成功案例分享

1、某市公安局：cStor云存儲用于大規(guī)模視頻數(shù)據(jù)共享項目背景近年來，視頻監(jiān)控在安防領域得到了大規(guī)模應用，海量的攝像頭完成了部署。視頻監(jiān)控信息 在維護社會穩(wěn)定，協(xié)助安全防衛(wèi)過程中發(fā)揮了重要的作用，與此同時也帶來了海量視頻數(shù)據(jù) 可靠存儲和并行訪問的要求。2012年1月，因某突發(fā)任務需要，某機構要在短時間內不間 斷的將海量視頻信息集中上傳到一個數(shù)據(jù)中心，同時大量的用戶對上傳到數(shù)據(jù)中心的數(shù)據(jù)進 行下載、查看。在此過程中還要保證用戶帶寬的飽和利用以及視頻數(shù)據(jù)的安全。同時該系統(tǒng) 在保證性能的前提下，要實現(xiàn)快速部署、方便快捷的使用和智能管理。項目挑戰(zhàn)快速部署要求該項目為突發(fā)事件，沒有提前準備的時間，用戶要求在

2、24小時內完成部署。大用戶量并發(fā)訪問要求該項目中最大并發(fā)用戶訪問量達到200人。其中50人進行視頻數(shù)據(jù)上傳，150人進行視頻 數(shù)據(jù)下載。要求實現(xiàn)服務器自動均衡負載，系統(tǒng)性能隨節(jié)點數(shù)增加而線性增長，性能與節(jié)點 規(guī)模成正比，沒有性能瓶頸，帶寬飽和利用。高可靠性要求該項目中涉及的視頻數(shù)據(jù)至關重要，不容丟失，需要實現(xiàn)高可靠的冗余備份，同時自動屏蔽 設備故障，提供24小時不間斷的存儲服務。4高集成度要求該項目為存儲系統(tǒng)提供有限的物理空間，需要在1個標準42U機架內包含主控節(jié)點、備用 主控節(jié)點、分布存儲節(jié)點，總容量達到200T。簡單通用要求該項目用戶較多，流動性大，需要實現(xiàn)無需學習即可使用。同時終端電腦操

3、作系統(tǒng)較多，包 含Windows2000、WindowsXP、Windows?等，需要實現(xiàn)一鍵式安裝，智能化自適應管理， 簡單方便的操作界面。動態(tài)伸縮要求該項目數(shù)據(jù)龐大，要求在可以在不停止服務的情況下，根據(jù)項目進展情況，動態(tài)加入新的存 儲節(jié)點或者摘除原存儲節(jié)點，在此過程中保證數(shù)據(jù)不丟失。解決方案存儲系統(tǒng)設計方案1）存儲系統(tǒng)結構存儲系統(tǒng)采用一主一備兩個元數(shù)據(jù)服務器和11個存儲節(jié)點構成。使用2U標準上架機器， 安裝在一個標準42U機柜內。機柜內設備連接圖如下圖所示：應用廈肖界存桔節(jié)抵相a節(jié)點存稿外電寺福中鼎科枯節(jié)總仔儲節(jié)點存W5節(jié)點有儲節(jié)點存藉節(jié)點存精節(jié)點其中，元數(shù)據(jù)服務器保存系統(tǒng)的元數(shù)據(jù)信息，負

4、責整個文件系統(tǒng)的管理，是云存儲文件系統(tǒng) 中的“大腦”，它維護了一個統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內存儲節(jié)點使用的情況， 據(jù)此可以實現(xiàn)整個系統(tǒng)范圍內數(shù)據(jù)存儲的負載均衡。每個存儲節(jié)點包含8塊2T硬盤，同時元數(shù)據(jù)服務器復用為存儲節(jié)點，每臺包含6個2T硬盤， 總容量共計200T。2）冗余備份方式在文件存入云存儲系統(tǒng)的過程中，被分為了很多64MB的文件塊，自動為每個數(shù)據(jù)塊做了一 個備份副本。系統(tǒng)自動將源文件與副本存在不同的存儲節(jié)點，實現(xiàn)了冗余備份。任意撤出一 臺存儲節(jié)點都不會影響其中保存的數(shù)據(jù)，并且在一個存儲節(jié)點丟失后，系統(tǒng)會自動檢測丟失 的副本，在其他存儲節(jié)點補充完整。3）動態(tài)伸縮方式cStor存儲

5、系統(tǒng)提供容量在線伸縮能力，不必停止服務，即可根據(jù)存儲容量的需求，靈活增 減存儲節(jié)點。增加新的存儲節(jié)點是一件十分容易的事情，存儲節(jié)點只需要注冊到元數(shù)據(jù)服務 器上即可。網(wǎng)絡部署方案存儲集群機柜使用的是TP-Link千兆以太網(wǎng)交換機24 口；上傳區(qū)域接入三個千兆交換機（從機柜拉出三根），此處后續(xù)在服務可停的情況下可優(yōu)化為 三個交換機串聯(lián)，從機柜拉出一根網(wǎng)線即可；下載區(qū)域對面接入四個千兆交換機（8 口*1+24 口*3）； 另外兩個下載區(qū)域是接入三個千兆交換機（24 口*3）?？蛻舳朔桨?）FTP通過FTP方式實現(xiàn)文件的上傳與共享。上傳使用管理賬戶，下載采用匿名用戶，僅有下載和部分上傳權限（不能上傳服

6、務器中已經(jīng) 存在的同名文件，不能刪除、移動文件）。2）Windows客戶端Windows客戶端用于上傳和下載數(shù)據(jù)：使用者在安裝好的客戶端后，運行cStorClient，只需輸入元數(shù)據(jù)服務器IP地址和掛載盤符M， 就可以掛載cStor虛擬的磁盤M給客戶使用，客戶端在資源管理器中將能看到增加的盤符， 此時客戶可以使用cStor提供的磁盤資源，對其進行數(shù)據(jù)的讀寫、修改等操作。4.cStor客戶端實現(xiàn)用戶方便使用cStor客戶端擁有Windows、Linux、MAC OS三個版本，并且已經(jīng)通過測試，可以穩(wěn)定運行在當前主流的計算機上。它具有如下特性：1）使用簡單一鍵安裝?？蛻舳塑浖⒄麄€存儲系統(tǒng)映射為一

7、個虛擬磁盤供用戶使用，用戶就像使用自己 的本地硬盤一樣對存儲系統(tǒng)進行讀寫、修改等操作，方便快捷。2）快速訪問cStor客戶端通過對分散數(shù)據(jù)塊預處理的機制，同時讀寫分布在多個存儲節(jié)點上的數(shù)據(jù)塊， 大大提升了數(shù)據(jù)讀寫速度，并且對存儲節(jié)點的負載均衡也提供了很大的幫助。實現(xiàn)了系統(tǒng)性 能隨節(jié)點數(shù)增加而線性增長，性能與節(jié)點規(guī)模成正比，沒有性能瓶頸，帶寬飽和利用。觀卸上偉M感= 口祝闕K哉區(qū)域J在1個標準42U機柜內配置1個主Master、1個備用Master、11個存儲節(jié)點，實現(xiàn)200T 存儲空間。通過千兆以太網(wǎng)交換機，分別連接三個視頻下載及一個視頻上傳區(qū)域。每個區(qū)域分別配備 50臺電腦。在每個電腦上安裝cStor客戶端，將整個云存儲系統(tǒng)映射為一個虛擬硬盤。用戶如同操作 本地硬盤一樣實現(xiàn)對存儲系統(tǒng)的使用。云存儲系統(tǒng)自動實現(xiàn)數(shù)據(jù)冗余備份，用戶均衡負載等功能，為每一個終端用戶提供高效的 訪問及可靠的數(shù)據(jù)安全服務?？蛻羰芤嬖谠擁椖恐?，云創(chuàng)以其優(yōu)異的設備性能，良好的服務，快速的反應速度，為用戶任務的圓滿完成提供了可靠的保障。具體體現(xiàn)在：1.24小時內實現(xiàn)了在1個42