2023分布式存儲(chǔ)多協(xié)議融合互通技術(shù)規(guī)范

PAGEPAGE12分布式存儲(chǔ)多協(xié)議融合互通技術(shù)規(guī)范目錄前言 3一、范圍 7二、規(guī)范性引用文件 7三、術(shù)語(yǔ)和縮略語(yǔ) 7（一）術(shù)語(yǔ) 7融合Convergence 7多協(xié)議融合互通Multi-protocolconvergenceand3．命名空間 NameSpace 7（二）縮略語(yǔ) 7四、系統(tǒng)概述 8五、功能要求 9（一）基礎(chǔ)級(jí) 9多協(xié)議要求 9小文件加速訪問(wèn)功能要求 10多租戶功能要求 10配額功能要求 10服務(wù)質(zhì)量控制功能要求 11分級(jí)存儲(chǔ)功能要求 11快照功能要求 11回收站功能要求 11加密功能要求 12（二）增強(qiáng)級(jí) 12語(yǔ)義互通要求 12配額功能要求 12多租戶功能要求 13服務(wù)質(zhì)量控制功能要求 13分級(jí)存儲(chǔ)功能要求 13快照功能要求 13遠(yuǎn)程復(fù)制功能要求 14數(shù)據(jù)加密要求 14回收站功能要求 14六、運(yùn)維管理 14（一）配置管理要求 14（二）系統(tǒng)監(jiān)控要求 14（三）在線升級(jí)要求 15七、可靠性 15（一）數(shù)據(jù)冗余要求 15（二）故障修復(fù)要求 15（三）硬盤(pán)誤插拔修復(fù)要求 15（四）亞健康檢測(cè)要求 16八、兼容性 16（一）管理平臺(tái)兼容性要求 16（二）NAS版本兼容性 16（三）對(duì)象版本兼容性 16（四）大數(shù)據(jù)平臺(tái)兼容性要求 16九、性能 17（一）基礎(chǔ)級(jí) 17業(yè)務(wù)性能 17數(shù)據(jù)重構(gòu)要求 17（二）增強(qiáng)級(jí) 18十、安全 18（一）管理員安全要求 18（二）業(yè)務(wù)安全要求 19基礎(chǔ)級(jí) 19增強(qiáng)級(jí) 19（三）數(shù)據(jù)加密 19十一、硬件 19（一）處理器要求 19（二）內(nèi)存要求 19（三）緩存要求 20（四）網(wǎng)卡要求 20十二、網(wǎng)絡(luò) 20（一）網(wǎng)絡(luò)隔離要求 20（二）RoCE網(wǎng)絡(luò)要求 21一、范圍本規(guī)范規(guī)定了非結(jié)構(gòu)化數(shù)據(jù)訪問(wèn)協(xié)議文件、對(duì)象、HDFS本規(guī)范適用于多協(xié)議融合互通的分布式存儲(chǔ)產(chǎn)品選型及測(cè)評(píng)參考。二、規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。YD/T4029-2022 計(jì)算存儲(chǔ)分離架構(gòu)的分布式存儲(chǔ)技術(shù)要求三、術(shù)語(yǔ)和縮略語(yǔ)（一）術(shù)語(yǔ)1．融合Convergence一套分布式存儲(chǔ)系統(tǒng)能夠提供文件、對(duì)象、大數(shù)據(jù)數(shù)據(jù)訪問(wèn)能力。2．多協(xié)議融合互通Multi-protocolconvergenceandinterworking通過(guò)一種協(xié)議寫(xiě)入的文件，可以同時(shí)被其他協(xié)議讀寫(xiě)訪問(wèn)。3．命名空間NameSpace存儲(chǔ)系統(tǒng)的邏輯組成單元，用戶的文件和目錄都存放在命名空間內(nèi)。（二）縮略語(yǔ)縮略語(yǔ)英文全名中文解釋ACLAccessControlList訪問(wèn)控制列表HDFSHadoop Distributed SystemHadoop分布式文件系統(tǒng)HPCHigh-performancecomputing高性能計(jì)算LDAPLightweight DirectoryAccessProtocol輕型目錄訪問(wèn)協(xié)議NASnetwork-attachedstorage網(wǎng)絡(luò)存儲(chǔ)NFSnetworkfilesystem網(wǎng)絡(luò)文件系統(tǒng)SMBServerMessageBlock文件共享傳輸協(xié)議四、系統(tǒng)概述早期的存儲(chǔ)系統(tǒng)受限于單套系統(tǒng)的性能和擴(kuò)展能力，一般是按照業(yè)務(wù)系統(tǒng)垂直建設(shè)。隨著分布式存儲(chǔ)技術(shù)的成熟，單套分布式存儲(chǔ)系統(tǒng)能夠同時(shí)提PBEB效率低且空間浪費(fèi)，多協(xié)議互通的分布式存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生，一份數(shù)據(jù)能夠被多種協(xié)議同時(shí)訪問(wèn)，融合互通的分布式存儲(chǔ)成為產(chǎn)業(yè)趨勢(shì)。再進(jìn)一步，提供原生的文件、對(duì)象、HDFS1圖1多協(xié)議融合互通分布式存儲(chǔ)系統(tǒng)示意圖本文件分兩個(gè)級(jí)別定義分布式存儲(chǔ)協(xié)議融合互通技術(shù)能力，基礎(chǔ)級(jí)別規(guī)定多協(xié)議融合分布式存儲(chǔ)技術(shù)要求，增強(qiáng)級(jí)別規(guī)定在多協(xié)議融合的基礎(chǔ)上增加數(shù)據(jù)跨協(xié)議互通的分布式存儲(chǔ)技術(shù)要求。五、功能要求（一）基礎(chǔ)級(jí)多協(xié)議要求應(yīng)符合以下技術(shù)要求：?jiǎn)翁状鎯?chǔ)系統(tǒng)同時(shí)支持文件/大數(shù)據(jù)/NFS、SMB、S3HDFSNFSmount、mkdir、count、rm、mv、cp，NFStruncate,軟硬鏈接，rename，rename文件夾等操作；SMB查看文件、修改文件；S3AWS(AmazonWebServices)S3put、getlistobject，對(duì)象ACL,桶的生命周期管理，對(duì)象的多版本，對(duì)象的自定義元數(shù)據(jù)、對(duì)象的多段上傳等接口；HDFSappend、truncate、hsync、hflush、rename、moveconcat、setfacl、setxattr小文件加速訪問(wèn)功能要求應(yīng)符合YD/T4029-2022中5.6節(jié)的要求。多租戶功能要求應(yīng)符合以下技術(shù)要求：a)NFS/SMB、HDFS、S3等協(xié)議支持多租戶；b)ADLDAPNISc)IP/IP配額功能要求YD/T4029-20225.7a）b），并應(yīng)符合如下技術(shù)要求：a)b)支持容量配額，當(dāng)文件總?cè)萘窟_(dá)到上限，即限制新文件的寫(xiě)入；c)支持文件數(shù)配額，當(dāng)文件數(shù)達(dá)到上限，即限制新文件的寫(xiě)入；d)支持用戶和用戶組的配額，當(dāng)用戶或用戶組的容量或個(gè)數(shù)到達(dá)配置的上限時(shí)，即限制該用戶或用戶組的新數(shù)據(jù)寫(xiě)入。應(yīng)符合如下技術(shù)要求：NameSpaceOPS（個(gè)/S）和帶寬（MB/S）6．分級(jí)存儲(chǔ)功能要求符合如下技術(shù)要求：NameSpace型的存儲(chǔ)介質(zhì)；c)應(yīng)支持設(shè)置數(shù)據(jù)回遷策略，回遷策略生效后，數(shù)據(jù)自動(dòng)回遷。快照功能要求符合如下技術(shù)要求：a)NFS/SMB/HDFS均應(yīng)受快照保護(hù)；b)支持瞬時(shí)快照，生成快照時(shí)對(duì)整系統(tǒng)性能的影響宜小于5%；c)配額宜包含快照空間的容量?；厥照竟δ芤髴?yīng)符合如下技術(shù)要求：所有協(xié)議支持回收站功能;9．加密功能要求NFS/SMB/HDFS/S3協(xié)議的數(shù)據(jù)均應(yīng)支持加密功能。（二）增強(qiáng)級(jí)語(yǔ)義互通要求符合以下技術(shù)要求：多協(xié)議互通的數(shù)據(jù)應(yīng)共用同一塊物理空間,任意一個(gè)文件/NFS/SMB、HDFS、S3NFS/SMB、HDFSS3POSIX/MPI-IOHPC（High-performancecomputing）場(chǎng)景，POSIX/MPI-IONFS/SMB、HDFS、S3件；S3流量；HDFS，HDFS能力；NFS/SMBHDFS配額功能要求符合如下技術(shù)要求：額限制和統(tǒng)計(jì)；應(yīng)支持用戶對(duì)于自己的文件系統(tǒng)容量和文件數(shù)量的查詢。多租戶功能要求UnixWindows對(duì)象用戶；射，實(shí)現(xiàn)多租戶的互聯(lián)互通。服務(wù)質(zhì)量控制功能要求OPS（個(gè)/S）和帶寬（MB/S）QoS，QoS分級(jí)存儲(chǔ)功能要求宜支持分級(jí)到藍(lán)光存儲(chǔ)等歸檔冷存儲(chǔ)，支持通過(guò)任意協(xié)議從多協(xié)議融合互通分布式存儲(chǔ)訪問(wèn)歸檔冷存儲(chǔ)，支持藍(lán)光存儲(chǔ)直接訪問(wèn)?？煺展δ芤笠朔先缦录夹g(shù)要求：a)一次快照，NFS/SMB/HDFSb)S3協(xié)議宜支持列舉NFS/SMB/HDFS協(xié)議產(chǎn)生的快照文件，訪問(wèn)快照數(shù)據(jù)遠(yuǎn)程復(fù)制功能要求宜支持跨區(qū)域的遠(yuǎn)程復(fù)制功能，任何協(xié)議數(shù)據(jù)都可被復(fù)制，且復(fù)制后任意可以可訪問(wèn)。數(shù)據(jù)加密要求任意一個(gè)加密文件應(yīng)支持被NFS/SMB、HDFS、S3等協(xié)議同時(shí)讀寫(xiě)?；厥照竟δ芤笾С炙袇f(xié)議共享回收站，回收站中的數(shù)據(jù)任意一種協(xié)議都可以訪問(wèn)。六、運(yùn)維管理（一）配置管理要求符合如下技術(shù)要求：a)應(yīng)支持圖形管理界面，提供管理員配置存儲(chǔ)系統(tǒng)所需的圖形化流程；b)應(yīng)支持存儲(chǔ)池配置、NameSpace配置、訪問(wèn)接口配置、權(quán)限配置等。（二）系統(tǒng)監(jiān)控要求符合如下技術(shù)要求：a)b)應(yīng)支持性能監(jiān)控，如帶寬、IOPS；c)應(yīng)支持告警篩選，郵件告警通知，告警導(dǎo)出；d)應(yīng)支持日志記錄和日志導(dǎo)出。（三）在線升級(jí)要求應(yīng)支持分布式存儲(chǔ)系統(tǒng)軟件、硬件驅(qū)動(dòng)在線升級(jí)和補(bǔ)丁。七、可靠性（一）數(shù)據(jù)冗余要求符合如下技術(shù)要求：應(yīng)支持?jǐn)?shù)據(jù)糾刪碼方式保護(hù)，支持+2、+2:1EC2應(yīng)支持?jǐn)?shù)據(jù)中心級(jí)故障防護(hù)，保證故障一個(gè)數(shù)據(jù)中心，數(shù)據(jù)不丟失；宜支持+3、+3:1、+4、+4:1EC4故障，業(yè)務(wù)不中斷，數(shù)據(jù)不丟失；22+220+4EC，用率降低成本。（二）故障修復(fù)要求符合如下技術(shù)要求：a)b)DIF。（三）硬盤(pán)誤插拔修復(fù)要求10有效，不會(huì)啟動(dòng)數(shù)據(jù)重構(gòu)。（四）亞健康檢測(cè)要求符合如下技術(shù)要求：應(yīng)支持慢盤(pán)檢測(cè)和告警，存儲(chǔ)系統(tǒng)自動(dòng)隔離慢盤(pán)；b)隔離該節(jié)點(diǎn)。八、兼容性（一）管理平臺(tái)兼容性要求應(yīng)支持通過(guò)Rest接口對(duì)接管理平臺(tái)。（二）NAS版本兼容性a)NFSV3,V4SMBSMB2.0/2.1/3.0MPIOpenMPI、MPICH、HyperMPI。（三）對(duì)象版本兼容性符合如下技術(shù)要求：AWSS3V2/V4RESTAPI.JAVA、Python、C,.NET、iOS、Android、GOSDK。（四）大數(shù)據(jù)平臺(tái)兼容性要求符合如下技術(shù)要求：ClouderaCDH、HortonworksHDPHuaweiFusionInsight、TranswarpTDH；用存儲(chǔ)資源。九、性能（一）基礎(chǔ)級(jí)1．業(yè)務(wù)性能多協(xié)議融合互通的每種訪問(wèn)協(xié)議性能考察指標(biāo)如下：NFS/SMBOPSNFS/SMBS3TPSS3HDFSHbase2．?dāng)?shù)據(jù)重構(gòu)要求符合如下技術(shù)要求：a)應(yīng)能在硬盤(pán)故障后，自動(dòng)開(kāi)始數(shù)據(jù)重構(gòu)，不需要人工干預(yù)；b)數(shù)據(jù)重構(gòu)速度應(yīng)大于2TB/H的；c)數(shù)據(jù)重構(gòu)對(duì)業(yè)務(wù)性能影響應(yīng)小于20%。（二）增強(qiáng)級(jí)多協(xié)議融合互通的跨協(xié)議性能考察，大文件和小文件通過(guò)某種協(xié)議寫(xiě)入，通過(guò)另外一種協(xié)議讀出情況的性能呈現(xiàn)，具體指標(biāo)如下：NFS/SMBS3和平均響應(yīng)時(shí)間；S3NFSops均響應(yīng)時(shí)間；NFS/SMBHDFSopsHDFSNFSops平均響應(yīng)時(shí)間；S3HDFSops均響應(yīng)時(shí)間；HDFSS3ops均響應(yīng)時(shí)間。十、安全（一）管理員安全要求符合如下技術(shù)要求：a)應(yīng)支持系統(tǒng)管理員、普通用戶等多級(jí)管理權(quán)限控制；b)應(yīng)支持強(qiáng)密碼復(fù)雜度策略；應(yīng)支持用戶登錄鎖定機(jī)制，以便防止暴力破解；密碼采取安全的加密算法加密存儲(chǔ)和傳輸。（二）業(yè)務(wù)安全要求基礎(chǔ)級(jí)符合如下技術(shù)要求：應(yīng)具備本地安全認(rèn)證和第三方安全認(rèn)證（NIS、AD或LDAP）；b)Kerberos，LDAP增強(qiáng)級(jí)NFS、SMB、S3、HDFS息互通。（三）數(shù)據(jù)加密符合如下技術(shù)要求：a)應(yīng)支持對(duì)租戶、NameSpace應(yīng)支持秘鑰備份、恢復(fù)和秘鑰申請(qǐng)、更新、銷(xiāo)毀功能；c)十一、硬件（一）處理器要求符合如下技術(shù)要求：a)應(yīng)支持x86