基于對(duì)象存儲(chǔ)的證券影像系統(tǒng)電子化改造方案

1、 基于對(duì)象存儲(chǔ)的證券影像系統(tǒng)電子化改造方案 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc66517729 基于對(duì)象存儲(chǔ)的證券影像系統(tǒng)電子化改造方案 PAGEREF _Toc66517729 h 1 HYPERLINK l _Toc66517730 1. 證券公司影像電子化需求分析 PAGEREF _Toc66517730 h 3 HYPERLINK l _Toc66517731 2. 證券影像系統(tǒng)電子化改造方案 PAGEREF _Toc66517731 h 4 HYPERLINK l _Toc66517732 3. 影像電子化改造系統(tǒng)存儲(chǔ)選擇 PAGEREF _To

2、c66517732 h 6 HYPERLINK l _Toc66517733 3.1. 影像電子化的數(shù)據(jù)儲(chǔ)存 PAGEREF _Toc66517733 h 6 HYPERLINK l _Toc66517734 3.2. 影像文件常用的存儲(chǔ)類型 PAGEREF _Toc66517734 h 7 HYPERLINK l _Toc66517735 3.3.Dell EMC 的對(duì)象存儲(chǔ)系統(tǒng) Dell EMC ECS 系列 PAGEREF _Toc66517735 h 8 HYPERLINK l _Toc66517736 4. 影像系統(tǒng)在 DellEMC ECS U400 測(cè)試情況 PAGEREF _T

3、oc66517736 h 14 HYPERLINK l _Toc66517737 4.1. DellEMC ECS 測(cè)試內(nèi)容 PAGEREF _Toc66517737 h 14 HYPERLINK l _Toc66517738 基本功能測(cè)試 PAGEREF _Toc66517738 h 14 HYPERLINK l _Toc66517739 可靠性測(cè)試 PAGEREF _Toc66517739 h 14 HYPERLINK l _Toc66517740 4.2. 可靠性測(cè)試 PAGEREF _Toc66517740 h 15 HYPERLINK l _Toc66517741 4.2.1 ECS

4、 內(nèi)部萬兆交換機(jī)故障 PAGEREF _Toc66517741 h 15 HYPERLINK l _Toc66517742 4.2.2. 節(jié)點(diǎn)硬盤故障 PAGEREF _Toc66517742 h 16 HYPERLINK l _Toc66517743 4.3.1. 測(cè)試方法 PAGEREF _Toc66517743 h 23 HYPERLINK l _Toc66517744 4.3.2. 測(cè)試步驟 PAGEREF _Toc66517744 h 23 HYPERLINK l _Toc66517745 4.3.3 測(cè)試結(jié)論 PAGEREF _Toc66517745 h 24 HYPERLINK

5、l _Toc66517746 4.4.1. 測(cè)試方法 PAGEREF _Toc66517746 h 24 HYPERLINK l _Toc66517747 4.4.2. 測(cè)試步驟 PAGEREF _Toc66517747 h 24 HYPERLINK l _Toc66517748 4.5. 整體測(cè)試結(jié)果 PAGEREF _Toc66517748 h 25 HYPERLINK l _Toc66517749 5. 影像系統(tǒng)電子化改造效果 PAGEREF _Toc66517749 h 26 HYPERLINK l _Toc66517750 6. 總結(jié) PAGEREF _Toc66517750 h 2

6、7【摘要】券商影像資料電子化是指以先進(jìn)的影像管理技術(shù)為基礎(chǔ)，配合相關(guān)的系統(tǒng)硬件，將紙面的資料轉(zhuǎn)換成電子影像文件，并實(shí)現(xiàn)自動(dòng)建立索引、查詢、查閱和存儲(chǔ)等功能的一整套技術(shù)方案。借助成熟的影像管理技術(shù)和Dell EMC ECS先進(jìn)、靈活、快捷的影像存儲(chǔ)技術(shù)。為券商網(wǎng)上開戶、適當(dāng)性等業(yè)務(wù)的電子憑證保存提供了可靠、快捷的途徑，確保了資料的完整性。強(qiáng)化了券商資金賬戶管理能力，通過對(duì)資金賬戶開戶、變更等相關(guān)業(yè)務(wù)進(jìn)行電子化影像管理，提高了對(duì)客戶資金賬戶的監(jiān)管力度，進(jìn)一步完善客戶資料的管理。1. 證券公司影像電子化需求分析在日常業(yè)務(wù)中，證券、期貨公司每天會(huì)產(chǎn)生大量的影像資料，包括資金開戶、身份證明、證券股東賬戶

7、卡、業(yè)務(wù)合同（協(xié)議）、現(xiàn)金支票、轉(zhuǎn)賬支票、會(huì)計(jì)傳票等，對(duì)于這些影像資料，如何進(jìn)行分類、保存、歸檔和進(jìn)行高效的查詢，一直是一件棘手的事情。長期以來，多數(shù)公司對(duì)上述影像資料的管理停留在“人工分散處理 + 紙質(zhì)庫房保存 + 人工查詢”的階段。如何有效管理這些信息資料，提高信息的使用效率，建設(shè)“集中、統(tǒng)一、規(guī)范、高效”的影像資料電子化處理中心已經(jīng)成為許多公司的一個(gè)重要課題。影像資料電子化是指以先進(jìn)的影像管理技術(shù)為基礎(chǔ)，配合相關(guān)的系統(tǒng)硬件，將紙面的資料轉(zhuǎn)換成電子影像文件，并實(shí)現(xiàn)自動(dòng)建立索引、查詢、查閱和存儲(chǔ)等功能的一整套技術(shù)方案。通過實(shí)現(xiàn)影像資料管理電子化，一方面可以提高管理效率、降低管理成本，日常維護(hù)

8、和管理僅需要較少的幾個(gè)人員即可滿足需要；另一方面還可以提高信息利用率。無論是遠(yuǎn)程、異地查詢，還是多人信息共享，都可以從容實(shí)現(xiàn)，最大程度的實(shí)現(xiàn)信息資源的價(jià)值。1 ）登記公司檢查完電子憑證后，會(huì)下發(fā)缺、漏、錯(cuò)的開戶回報(bào)的列表，要求券商重新提交，以保證資料的完整性。登記公司對(duì)開戶回報(bào)業(yè)務(wù)相關(guān)的紙質(zhì)憑證的電子化管理要求使影像的管理成為一種必須。2 ）很多券商也開始加強(qiáng)資金賬戶的管理，對(duì)資金賬戶開戶、變更等相關(guān)業(yè)務(wù)進(jìn)行電子化影像管理，提高了對(duì)客戶資金賬戶的監(jiān)管力度，進(jìn)一步完善客戶資料的管理。3 ）實(shí)名制的開戶逐漸使券商認(rèn)識(shí)到拍攝開戶人像的必要性，身份證件時(shí)限很長，投資者的長像可能與身份證件上的人像已不相

9、似。開戶人像的拍攝合實(shí)名制落實(shí)的更徹底，減小不必要的法律糾紛。隨著券商業(yè)務(wù)電子化程度的不斷提升，證券行業(yè)對(duì)輕型營業(yè)部、虛擬云平臺(tái)等概念已經(jīng)熟知，并在其應(yīng)用方面不斷探索。另外，隨著證券行業(yè)競(jìng)爭(zhēng)不斷加劇，券商和客戶之間的協(xié)議類型隨著增多，協(xié)議條款的變化也日趨頻繁。在上述環(huán)境下，紙質(zhì)協(xié)議將逐漸不能滿足證券行業(yè)的需求，面臨淘汰，主要原因如下：1） 資源浪費(fèi)：紙質(zhì)協(xié)議簽署需一式多聯(lián)，印刷成本高，為降低印刷成本，需要大量印制。使用紙質(zhì)協(xié)議時(shí)，即使協(xié)議文字發(fā)生微小變化，也需要重新印制，已印刷但未簽署的協(xié)議即作廢，造成資源浪費(fèi)；使用紙質(zhì)協(xié)議也不符合環(huán)保要求。2） 成本高：為保存紙質(zhì)協(xié)議，需要租賃庫房并保持適宜

10、的環(huán)境，已簽署的紙質(zhì)協(xié)議更是要長期保存，倉儲(chǔ)成本高；協(xié)議印制后需要被分發(fā)到各營業(yè)部，運(yùn)輸成本高。3） 適應(yīng)性差：隨著證券行業(yè)業(yè)務(wù)創(chuàng)新的不斷增多，各券商甚至券商的不同營業(yè)部都可能需要印制大量不同版本的紙質(zhì)協(xié)議，而當(dāng)創(chuàng)新業(yè)務(wù)還不成熟時(shí)，協(xié)議內(nèi)容可能會(huì)經(jīng)常修改，因此紙質(zhì)協(xié)議不適用于創(chuàng)新業(yè)務(wù)。隨著券商業(yè)及互聯(lián)網(wǎng)不斷提升及，客戶開戶量不斷提升，為了更合理的利用現(xiàn)有人力資源，以提高工作效率，確保網(wǎng)上開戶客戶信息的真實(shí)性、有效性，客戶必須經(jīng)網(wǎng)上視頻見證通過后才能取得相應(yīng)的數(shù)字證書。2. 證券影像系統(tǒng)電子化改造方案柜面業(yè)務(wù)辦理，影像系統(tǒng)、無紙化系統(tǒng)和視頻系統(tǒng)包含如下文件：文件內(nèi)容文件類型文件大?。ü浪悖┛蛻羧?/p>

11、像JPEG圖像約15KB客戶身份證TIFF圖像約150KB（灰度）協(xié)議原始文件PDF文件每頁約80KB，按平均2頁計(jì)算，為160KB；可選擇不存儲(chǔ)協(xié)議原始文件SWF文件約80KB，可選擇不存儲(chǔ)協(xié)議最終文件PDF文件約450KB協(xié)議最終文件SWF文件約300KB協(xié)議圖像文件TIFF圖像每頁TIF文件約80KB，按平均兩頁計(jì)算，為160KB；建議由無紙化生成的協(xié)議文件不存儲(chǔ)簽字錄像文件AVI視頻15秒320*240視頻約900KB；見證錄像文件MP4視頻15秒320*240視頻約260KB；40分鐘320*240視頻約42MB非現(xiàn)場(chǎng)業(yè)務(wù)辦理，影像系統(tǒng)、視頻系統(tǒng)需要存儲(chǔ)如下文件：文件內(nèi)容文件類型文件

12、大?。ü浪悖┛蛻羧讼馢PEG圖像約15KB客戶身份證TIFF圖像約450KB（彩色）見證錄像文件MP4視頻15秒320*240視頻約260KB；40分鐘320*240視頻約42MB；影像系統(tǒng)電子化系統(tǒng)架構(gòu)圖：3. 影像電子化改造系統(tǒng)存儲(chǔ)選擇3.1. 影像電子化的數(shù)據(jù)儲(chǔ)存券商的影像系統(tǒng)大部分使用的是新意客戶影像資料管理系統(tǒng)（ E-CIMC ），新意客戶影像資料管理系統(tǒng)對(duì)影像文件的管理采用數(shù)據(jù)庫（影像信息） + 文件服務(wù)器（影像文件存儲(chǔ)）方式。數(shù)據(jù)庫采用的 Oracle 數(shù)據(jù)庫，數(shù)據(jù)存放在磁盤陣列，映像文件的存放路徑信息也保存在數(shù)據(jù)庫中。文件服務(wù)器用于存放影像文件，券商影像文件的存儲(chǔ)早期主要有基于

13、網(wǎng)絡(luò)的 NAS 存儲(chǔ)和基于 FC 的 SAN 存儲(chǔ)，掛載在 Widnows 操作系統(tǒng)下，通過 NTFS 方式進(jìn)行存放訪問，文件存儲(chǔ)路徑不超過 10 層。影像電子化系統(tǒng)中數(shù)據(jù)存儲(chǔ)存儲(chǔ)3.2. 影像文件常用的存儲(chǔ)類型基于 FC 的 SAN 存儲(chǔ)和基于網(wǎng)絡(luò)的 NAS 存儲(chǔ)都屬于塊存儲(chǔ)。塊存儲(chǔ)可以看作為是裸盤，最明顯的特征是不能被操作系統(tǒng)直接訪問?？梢酝ㄟ^劃分邏輯卷、做 RAID 、 LVM （邏輯卷）等方式將它格式化，可以格式化為你所指定的文件系統(tǒng)（ Ext3 ， Ext4 ， NTFS ， FAT32 等），然后才可以被操作系統(tǒng)訪問。常見的 DAS 、 FC-SAN 、 IP-SAN 都是塊存儲(chǔ)。

14、塊存儲(chǔ)優(yōu)點(diǎn)是讀寫速度快（帶寬和 IOPS ），缺點(diǎn)是太過于底層，不利于擴(kuò)展，不能被共享。對(duì)象存儲(chǔ)，相對(duì)來說是比較新的一種存儲(chǔ)。有一種說法是這樣的，對(duì)象存儲(chǔ)一定是分布式存儲(chǔ)，因?yàn)榉植际轿募鎯?chǔ)可能是分布式存儲(chǔ)，而未必是對(duì)象存儲(chǔ)。常見的對(duì)象存儲(chǔ)的開源實(shí)現(xiàn)有 Ceph 的 RADOS 、 Openstack 的 swift 、 AWS s3 等；常見分布式文件系統(tǒng)有 lustre 、 glusterfs 、 HDFS 等。表面區(qū)別：對(duì)象存儲(chǔ)支持的訪問接口基本是 restful 接口，而分布式文件存儲(chǔ)提供的是 POSIX 兼容的文件操作接口；本質(zhì)區(qū)別：分布式文件存儲(chǔ)文件組織方式為目錄樹，對(duì)象存儲(chǔ)采用的

15、是扁平的組織方式；對(duì)象存儲(chǔ)不支持隨機(jī)讀取和寫入， put 和 get 都是針對(duì)整個(gè)文件。對(duì)象存儲(chǔ)結(jié)構(gòu)：核心是將數(shù)據(jù)通路（數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù)）分離，并且基于對(duì)象存儲(chǔ)設(shè)備（ Object-based Storage Device ， OSD ）構(gòu)建存儲(chǔ)系統(tǒng)，每個(gè)對(duì)象存儲(chǔ)設(shè)備具有一定的智能，能夠自動(dòng)管理其上的數(shù)據(jù)分布。總體上來講，對(duì)象存儲(chǔ)同兼具 SAN 高速直接訪問磁盤特點(diǎn)及 NAS 的分布式共享特點(diǎn)。券商的影像這類非結(jié)構(gòu)化數(shù)據(jù)，其特點(diǎn)是單個(gè)文件字節(jié)?。ㄖ挥袔?KB ）、文件數(shù)巨大（幾千萬到上億個(gè)文件），每年增長量大，傳統(tǒng)的 SAN 和 NAS 存儲(chǔ)架構(gòu)已不能很好應(yīng)對(duì)這類數(shù)據(jù)的訪問性能和

16、成本控制需求。而基于其扁平化、拓展性強(qiáng)的結(jié)構(gòu)特點(diǎn)，對(duì)象存儲(chǔ)成為非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的最佳解決方案。通過對(duì)象存儲(chǔ)替代傳統(tǒng)的 SAN 和 NAS 存儲(chǔ)，極大提升了非結(jié)構(gòu)化數(shù)據(jù)訪問和存儲(chǔ)的效率。對(duì)象存儲(chǔ)具有分布式存儲(chǔ)的所有優(yōu)點(diǎn)，靈活的拓展性，元數(shù)據(jù)的管理；通過其版本管理的強(qiáng)大功能，對(duì)象存儲(chǔ)有效地規(guī)避了人為操作的邏輯錯(cuò)誤。在性能方面， SAN 存儲(chǔ)在處理結(jié)構(gòu)化數(shù)據(jù)有著不可代替的地位；小容量非結(jié)構(gòu)化數(shù)據(jù)共享正是 NAS 存儲(chǔ)發(fā)揮作用的場(chǎng)景；對(duì)于海量非結(jié)構(gòu)化數(shù)據(jù)，對(duì)象存儲(chǔ)的性能優(yōu)勢(shì)不可比擬。此外，對(duì)象存儲(chǔ)成本較 SAN 和 NAS 有很大優(yōu)勢(shì)，應(yīng)對(duì)海量文件，采用對(duì)象存儲(chǔ)替代傳統(tǒng)集中式存儲(chǔ)能節(jié)省不小的存儲(chǔ)成本，

17、避免了資源浪費(fèi)。目前，人們需求的數(shù)據(jù)越來越多，而其中絕大部分都是非結(jié)構(gòu)化數(shù)據(jù)。在未來幾年，非結(jié)構(gòu)化更會(huì)呈現(xiàn)指數(shù)型增長，對(duì)象存儲(chǔ)的需求和市場(chǎng)會(huì)越來越大，互聯(lián)網(wǎng)和傳統(tǒng)行業(yè)都離不開對(duì)象存儲(chǔ)的發(fā)展。3.3.Dell EMC 的對(duì)象存儲(chǔ)系統(tǒng) Dell EMC ECS 系列ECS 是 Dell EMC 旗下專為要求大量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)容量、全局訪問和云規(guī)模經(jīng)濟(jì)的下一代存儲(chǔ)產(chǎn)品。Gartner 最近發(fā)布了其 2019 年分布式文件系統(tǒng)和 Object Stora ge 魔力象限， DEll EMC 處于領(lǐng)導(dǎo)者地位。除了對(duì)象協(xié)議， ECS 還支持文件和 Hadoop （ HDFS ）協(xié)議，使用戶能夠?qū)碜远鄠€(gè)

18、源的數(shù)據(jù)整合到一個(gè)單一的集中存儲(chǔ)平臺(tái)中。新發(fā)布的 ECS EX 系列提供了巨大的靈活性，從較小的容量增量開始，到隨著需求變化而不斷爆發(fā)式增長的容量需求。DellEMC Elastic Cloud Storage (ECS ) 是一種軟件定義的云規(guī)模對(duì)象存儲(chǔ)平臺(tái)，它兼具商用基礎(chǔ)架構(gòu)的成本優(yōu)勢(shì)以及傳統(tǒng)陣列的可靠性、可用性和可維護(hù)性。借助 ECS ，任何組織均可提供可擴(kuò)展的簡(jiǎn)單公共云服務(wù)，同時(shí)擁有私有云基礎(chǔ)架構(gòu)的可靠性和控制力。ECS 在單一的云規(guī)模存儲(chǔ)平臺(tái)上為非結(jié)構(gòu)化（對(duì)象和文件）工作負(fù)載提供全面的協(xié)議支持。借助 ECS ，可在單個(gè)全局命名空間下輕松管理全局分布式存儲(chǔ)基礎(chǔ)架構(gòu)，并能隨時(shí)隨地訪問內(nèi)容

19、。ECS 擁有靈活的軟件定義的體系結(jié)構(gòu)，該體系結(jié)構(gòu)進(jìn)行了分層，以促進(jìn)實(shí)現(xiàn)無限的可擴(kuò)展性。每層均可完全抽象、獨(dú)立擴(kuò)展、并具有高可用性且沒有單點(diǎn)故障?，F(xiàn)在，任何組織都可以在自己的數(shù)據(jù)中心內(nèi)實(shí)現(xiàn)真正的云規(guī)模經(jīng)濟(jì)性。ECS 利用分布式技術(shù)和原生對(duì)象存儲(chǔ)的設(shè)計(jì)理念，幫助證券公司較好的滿足對(duì)于影像文件的訪問存儲(chǔ)需求。對(duì)于未來非結(jié)構(gòu)化數(shù)據(jù)長期存儲(chǔ)、價(jià)值利用和挖掘提供有效保障。一方面，利用 ECS 對(duì)象存儲(chǔ)的擴(kuò)展性建立新的存儲(chǔ)資源池，降低了初期成本投入和 TCO （ Total Cost of Ownership ），并且解決了傳統(tǒng)磁帶庫性能低下、可靠性不足等問題，為數(shù)據(jù)全生命周期管理、人工智能等技術(shù)在后續(xù)業(yè)

20、務(wù)發(fā)展中的實(shí)際應(yīng)用打下了良好的基礎(chǔ)。另一方面，基于 ECS 對(duì)象存儲(chǔ)提供的 REST 的接口以及哈希計(jì)算等方式，大大提高了圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)的檢索與訪問性能，使得業(yè)務(wù)辦理效率進(jìn)一步提升，為信息技術(shù)對(duì)業(yè)務(wù)的賦能開創(chuàng)了新的天地。在 ECS 對(duì)象存儲(chǔ)所搭建的面向多數(shù)據(jù)源的數(shù)據(jù)湖建成之后，如何實(shí)現(xiàn)數(shù)據(jù)湖與原有存儲(chǔ)與之間的互通就是下一個(gè)需要解決的問題。換句話說，有了湖、還需要有可以將水（數(shù)據(jù)）源源不斷引入湖里的河流。諸如移動(dòng)、云計(jì)算、大數(shù)據(jù)和社交等顛覆性技術(shù)趨勢(shì)正在重新定義我們工作和生活的方式，并正在使應(yīng)用程序的格局發(fā)生革命性變化。在客戶接受了公共云技術(shù)的同時(shí)，他們正在繼續(xù)尋找更有效的體系結(jié)構(gòu)以管

21、理當(dāng)今超大規(guī)模的增長。DellEMC ECS 通過采用 DellEMC ViPR 技術(shù)，可以提供完整的超大規(guī)模存儲(chǔ)基礎(chǔ)架構(gòu)，滿足第三平臺(tái)用戶和應(yīng)用程序的要求。采用 ViPR 技術(shù)的 ECS:采用 ViPR 的 DellEMC ECS 應(yīng)用裝置 是一個(gè)完整的超大規(guī)?；A(chǔ)架構(gòu)，為第三平臺(tái)應(yīng)用程序提供全面的數(shù)據(jù)存儲(chǔ)。它在一個(gè)平臺(tái)上為對(duì)象和 HDFS 提供通用訪問以及數(shù)據(jù)塊協(xié)議。ECS 應(yīng)用裝置 利用 ViPR DellEMC 的軟件定義的平臺(tái)，可以抽象化、池化和自動(dòng)化數(shù)據(jù)中心的底層物理存儲(chǔ)基礎(chǔ)架構(gòu)。ECS 應(yīng)用裝置為滿足移動(dòng)、云、大數(shù)據(jù)和社交網(wǎng)絡(luò)應(yīng)用程序需求而設(shè)計(jì)。它可提供：低于公共云的成本滿足廣泛

22、的應(yīng)用程序需求的全面類型極高的存儲(chǔ)效率和數(shù)據(jù)訪問組合具有強(qiáng)大一致性的任意位置讀取 / 寫入權(quán)限簡(jiǎn)化了應(yīng)用程序開發(fā)無單點(diǎn)故障提高了可用性和性能通用可訪問性消除了存儲(chǔ)孤島和效率低下的 ETL/ 數(shù)據(jù)移動(dòng)流程ViPR 平臺(tái)ViPR 控制器 一種自動(dòng)執(zhí)行調(diào)配任務(wù)的 vApp 。它支持您為一個(gè)或多個(gè)物理數(shù)據(jù)中心設(shè)置一個(gè)存儲(chǔ)控制點(diǎn)。ViPR 服務(wù)包括：對(duì)象服務(wù) 支持您以對(duì)象形式存儲(chǔ)、訪問和控制非結(jié)構(gòu)化數(shù)據(jù)，例如映像、視頻、音頻和在線文檔。您可以使用 Amazon S3 、 Atmos 或 Swift API 來開發(fā)應(yīng)用程序。HDFS 支持您使用行業(yè)知名的 Hadoop 分發(fā)軟件對(duì)存儲(chǔ)在應(yīng)用裝置中的數(shù)據(jù)運(yùn)行

23、分析。數(shù)據(jù)塊服務(wù) 支持?jǐn)?shù)據(jù)塊級(jí)存儲(chǔ)。商用平臺(tái) 使用商用組件構(gòu)建 ECS 應(yīng)用裝置，以確保經(jīng)濟(jì)高效的存儲(chǔ)?；谏逃孟到y(tǒng)的節(jié)點(diǎn)管理一組商用磁盤。在每個(gè)節(jié)點(diǎn)上安裝了名為 ViPR 數(shù)據(jù)連接結(jié)構(gòu)的軟件組件。它提供本地元素管理器服務(wù)并用作分布式群集管理器。硬件規(guī)格：ECS 應(yīng)用裝置主要硬件規(guī)格節(jié)點(diǎn)體系結(jié)構(gòu)Intel x86 服務(wù)器JBOD 直連存儲(chǔ)每服務(wù)器最多 60 個(gè)磁盤驅(qū)動(dòng)器10 GbE 節(jié)點(diǎn)網(wǎng)絡(luò)連接機(jī)架內(nèi)：10 GbE HA 網(wǎng)絡(luò)連接通過 10 GbE 上行鏈路到客戶網(wǎng)絡(luò)：最高 80 Gb/sDellEMC 40U 機(jī)架式解決方案4 節(jié)點(diǎn)和 8 節(jié)點(diǎn)配置高可用電源多種存儲(chǔ)配置每機(jī)架最多 2880

24、TB 的非結(jié)構(gòu)化存儲(chǔ)混合工作負(fù)載存儲(chǔ) 每機(jī)架最多 1440 TB 的非結(jié)構(gòu)化存儲(chǔ)，外加 120 TB 的結(jié)構(gòu)化存儲(chǔ)配置：ECS 應(yīng)用裝置根據(jù)工作負(fù)載和存儲(chǔ)需求提供多種硬件配置。ECS 應(yīng)用裝置支持以下工作負(fù)載：對(duì)象 /HDFS ，對(duì)應(yīng) U300 、 U1500 、 U3000 型號(hào)混合（對(duì)象 /HDFS 和數(shù)據(jù)塊），對(duì)應(yīng) M500 、 M1600 型號(hào)對(duì)象和 HDFS 配置配置節(jié)點(diǎn)數(shù)量節(jié)點(diǎn)與驅(qū)動(dòng)器比例驅(qū)動(dòng)器數(shù)量容量U30041:1560360 TBU150041:602401440 TBU300081:604802880 TB軟件組件：ECS 應(yīng)用裝置包括四個(gè)或更多基于商用系統(tǒng)的節(jié)點(diǎn)，其中包括

25、內(nèi)部磁盤驅(qū)動(dòng)器、 CPU 、內(nèi)存和網(wǎng)絡(luò)接口。節(jié)點(diǎn)連接一組磁盤驅(qū)動(dòng)器并進(jìn)行管理。DellEMC 在工廠中安裝基于 Linux 的操作系統(tǒng)。當(dāng)在數(shù)據(jù)中心內(nèi)部署時(shí)， ViPR 軟件安裝在應(yīng)用裝置上。數(shù)據(jù)連接結(jié)構(gòu)中的每個(gè)節(jié)點(diǎn)由下圖中顯示的組件組成。軟件層軟件層描述基礎(chǔ)架構(gòu)包括操作系統(tǒng)、網(wǎng)絡(luò)基礎(chǔ)架構(gòu)和任何診斷工具。DellEMC安裝該層，然后才發(fā)運(yùn)到數(shù)據(jù)中心。數(shù)據(jù)連接結(jié)構(gòu)用作構(gòu)成分布式群集管理器的本地元素管理器。群集是一個(gè)從單個(gè)站點(diǎn)中的一個(gè)機(jī)架部署到多個(gè)機(jī)架的數(shù)據(jù)連接結(jié)構(gòu)。數(shù)據(jù)連接結(jié)構(gòu)負(fù)責(zé)以下事項(xiàng)：群集運(yùn)行狀況 數(shù)據(jù)連接結(jié)構(gòu)匯總特定于節(jié)點(diǎn)的硬件故障，并報(bào)告群集的整體運(yùn)行狀況。節(jié)點(diǎn)運(yùn)行狀況 數(shù)據(jù)連接結(jié)構(gòu)監(jiān)

26、控節(jié)點(diǎn)的物理狀態(tài)并檢測(cè)和報(bào)告故障。磁盤運(yùn)行狀況 數(shù)據(jù)連接結(jié)構(gòu)監(jiān)控磁盤和文件系統(tǒng)的運(yùn)行狀況。它為ViPR存儲(chǔ)引擎提供了原始、快速、免鎖定的讀取/寫入操作。它提供有關(guān)各個(gè)磁盤驅(qū)動(dòng)器及其狀態(tài)的信息。軟件管理 數(shù)據(jù)連接結(jié)構(gòu)具有安裝和運(yùn)行服務(wù)以及在群集中的節(jié)點(diǎn)上安裝和升級(jí)連接結(jié)構(gòu)軟件的工具。ViPR服務(wù)提供數(shù)據(jù)訪問和保護(hù)。在數(shù)據(jù)連接結(jié)構(gòu)安裝期間，為節(jié)點(diǎn)分配了存儲(chǔ)類型（可以是對(duì)象或數(shù)據(jù)塊）。通過ScaleIO軟件解決方案實(shí)施數(shù)據(jù)塊支持。參考：DellEMC 技術(shù)白皮書 DellEMC ECS Appliance Specification Sheet DellEMC ECS Appliance Data

27、Sheet 4. 影像系統(tǒng)在 DellEMC ECS U400 測(cè)試情況為確保 DellEMC ECS 存儲(chǔ)滿足影像電子化項(xiàng)目對(duì)存儲(chǔ)的可靠性、安全性、性能的要求，廠商提供了一臺(tái) DellEMC ECS U400 存儲(chǔ)進(jìn)行實(shí)地測(cè)試。4.1. DellEMC ECS 測(cè)試內(nèi)容測(cè)試內(nèi)容如下 :基本功能測(cè)試賬戶管理測(cè)試基本對(duì)象服務(wù)測(cè)試基本對(duì)象服務(wù)測(cè)試對(duì)象周期管理測(cè)試對(duì)象法規(guī)遵從測(cè)試可靠性測(cè)試節(jié)點(diǎn)故障硬盤故障網(wǎng)卡故障ECS 內(nèi)部萬兆交換機(jī)故障磁盤柜故障節(jié)點(diǎn)整體故障安全性測(cè)試bucket 訪問控制性能測(cè)試下面就可靠性、安全性和性能測(cè)試情況做簡(jiǎn)單一下介紹。4.2. 可靠性測(cè)試4.2.1 ECS 內(nèi)部萬兆交換

28、機(jī)故障ECS 內(nèi)部兩臺(tái)萬兆交換機(jī)采用 MLAG 方式連接。4.2.1.1. 測(cè)試方法人為關(guān)閉其中一臺(tái)萬兆交換機(jī)電源，同時(shí) ping 所有節(jié)點(diǎn)的 ip 進(jìn)行測(cè)試。用 cosbench 連接 ECS 進(jìn)行持續(xù) 50% 讀和 50% 寫壓力。4.2.1.2. 測(cè)試步驟1 ）使用一臺(tái)能夠連通 DellEMC ECS 節(jié)點(diǎn)的電腦， ping 測(cè)試 DellEMC ECS 所有節(jié)點(diǎn)的 public IP ；2 ）關(guān)閉其中一臺(tái)萬兆交換機(jī)的電源；3 ） Ping 測(cè)試無中斷出現(xiàn)；cosbench 無中斷。4 ）恢復(fù)交換機(jī)電源連接， ping 同樣正常。5 ）斷開另外一臺(tái)，出現(xiàn) 1 個(gè) timeout 。cos

29、bench 無中斷。4.2.1.3. 測(cè)試結(jié)果測(cè)試條目測(cè)試結(jié)果狀態(tài)備注說明可靠性測(cè)試（ECS內(nèi)部萬兆交換機(jī)測(cè)試）通過4.2.2. 節(jié)點(diǎn)硬盤故障模擬硬盤故障，觀察磁盤中數(shù)據(jù)是否會(huì)被損壞，并確保該對(duì)象依然能夠被訪問。4.2.2.1. 測(cè)試方法通過手工認(rèn)為抽出 disk ，然后檢查該 disk 上的數(shù)據(jù)自動(dòng)在其他 disk 上生成。4.2.2.2. 測(cè)試步驟1 ）使用 cosbench 進(jìn)行數(shù)據(jù)的上傳和下載；2 ）選擇一塊已經(jīng)存儲(chǔ)了對(duì)象數(shù)據(jù)的磁盤；3 ）將該磁盤從磁盤柜中拔出，模擬磁盤故障；4 ）繼續(xù)進(jìn)行 cosbench 的讀寫操作，無失??；5 ）再同時(shí)拔出 3 塊盤，等待 5 分分鐘后，依舊無讀

30、寫失??；6 ） DellEMC ECS 事件日志中將會(huì)出現(xiàn)該 disk 故障的信息；7）磁盤插入后，磁盤自動(dòng)可用?？商娲疟P的更換測(cè)試。4.2.2.3. 測(cè)試結(jié)果測(cè)試條目測(cè)試結(jié)果狀態(tài)備注說明可靠性測(cè)試（節(jié)點(diǎn)硬盤故障）通過在測(cè)試時(shí)間段中使用cosbench進(jìn)行讀操作，cosbench會(huì)將對(duì)應(yīng)桶中數(shù)據(jù)輪詢多遍，讀操作成功率全為100%。4.2.3. 節(jié)點(diǎn)整體故障節(jié)點(diǎn)故障：直接將節(jié)點(diǎn)斷電， ECS 正常使用。4.2.3.1. 測(cè)試方法通過手工撥出 DellEMC ECS 節(jié)點(diǎn)上的所有網(wǎng)絡(luò)接口， S3 browser 能夠繼續(xù)使用 DellEMC ECS 。4.2.3.2. 測(cè)試步驟1 ）使用 cos

31、bench 訪問 node1 的 ip 對(duì) bucket 進(jìn)行數(shù)據(jù)的讀寫；2 ）拔出 node4 的所有網(wǎng)絡(luò)接口；3 ） Hardware health 信息中可以看到 RACK 只有 3 個(gè)節(jié)點(diǎn)，出現(xiàn)一個(gè) offline 的節(jié)點(diǎn)；4 ）數(shù)據(jù)傳輸不會(huì)出現(xiàn)中斷；5 ） ECS Event 日志中出現(xiàn)該節(jié)點(diǎn)故障信息。對(duì)性能和業(yè)務(wù)的影響為 業(yè)務(wù)中斷時(shí)間為 1min （ ops 為 0 ）、 20s （ ops50 ）、 1min30s （ 70% 性能）、節(jié)點(diǎn)恢復(fù)過程中 1min 性能有劇烈波動(dòng)。4.2.3.3. 測(cè)試結(jié)果測(cè)試條目測(cè)試結(jié)果狀態(tài)備注說明可靠性測(cè)試（節(jié)點(diǎn)整體測(cè)試）通過4.3. 安全性測(cè)試

32、4.3.1. 測(cè)試方法安全性測(cè)試包括兩方面的內(nèi)容：1 ）桶中對(duì)象的訪問控制；2 ）外網(wǎng)使用的網(wǎng)關(guān)控制。Bucket 訪問控制在 DellEMC ECS 中能夠?qū)ν斑M(jìn)行不同權(quán)限設(shè)置。從而達(dá)到對(duì)桶中的對(duì)象進(jìn)行訪問控制。本次測(cè)試將會(huì)選擇一個(gè)或者兩個(gè)屬性進(jìn)行測(cè)試。對(duì)桶進(jìn)行訪問控制設(shè)置，所有權(quán)限開放，開放只讀模式權(quán)限。測(cè)試工具 S3 browser 及瀏覽器 ( 瀏覽器要求同上 ) 。4.3.2. 測(cè)試步驟1 ） 使用瀏覽器登錄 DellEMC ECS ，在 managebucket 中選擇已經(jīng)創(chuàng)建的桶名稱；2 ）點(diǎn)擊最右邊下拉框中，選擇 “edit ACL” ，檢查該桶的訪問屬性；默認(rèn)屬性可讀寫且完全

33、控制：3 ）使用 S3 Browser 對(duì)該桶進(jìn)行讀寫測(cè)試成功；4 ）重復(fù)第二步驟，將訪問控制權(quán)限修改為 read ，表明該桶只能夠被讀??；5 ）重復(fù)第三操作，該桶只能夠讀取數(shù)據(jù)。4.3.3 測(cè)試結(jié)論測(cè)試條目測(cè)試結(jié)果狀態(tài)備注說明安全性測(cè)試通過4.4. 性能測(cè)試4.4.1. 測(cè)試方法性能測(cè)試采用開源軟件 cosbench （版本 0.4.2.c4 ）使用 1 臺(tái) ESXi 服務(wù)器，建立 4 虛擬機(jī)，安裝 RHEL7 進(jìn)行部署測(cè)試，其中 1 虛擬機(jī)為 controller 和 driver ，另外 3 虛擬機(jī)僅僅用作 driver ， RHEL 安裝 jre8 運(yùn)行環(huán)境4.4.2. 測(cè)試步驟1、每次通過編輯不同的 xml 配置文件進(jìn)