高性能NAS典型創(chuàng)新應(yīng)用報(bào)告 2024

ODCC2024ODCC2024-OA001版權(quán)聲明對(duì)于未經(jīng)著作權(quán)人書(shū)面同意而實(shí)施的剽竊、復(fù)制、修編和翻譯出版等侵權(quán)行為，ODCC及有關(guān)單位將追究其法律ODCC2024ODCC2024-OA001編寫(xiě)組ODCC2024ODCC2024-OA001信息存儲(chǔ)產(chǎn)業(yè)，特別是以附網(wǎng)存儲(chǔ)（NAS）為代表的網(wǎng)絡(luò)存儲(chǔ)技標(biāo)綱要》在堅(jiān)持創(chuàng)新驅(qū)動(dòng)發(fā)展、加快發(fā)展現(xiàn)代產(chǎn)業(yè)體系等多個(gè)方面，文件數(shù)據(jù)。附網(wǎng)存儲(chǔ)技術(shù)因其具有易于部署、更加優(yōu)化的數(shù)ODCC2024ODCC2024-OA001 1 1 3 3 4 4 四、結(jié)語(yǔ)......................高性能NAS典型創(chuàng)新應(yīng)用報(bào)告一、NAS存儲(chǔ)概述(一)NAS定義和發(fā)展歷程DAS是一種直接與主機(jī)系統(tǒng)相連接的存儲(chǔ)架構(gòu)，存儲(chǔ)設(shè)備作為計(jì)算機(jī)的附屬部分。SAN是傳統(tǒng)的DAS技術(shù)的發(fā)展延續(xù)，存儲(chǔ)設(shè)備資源。NAS是一種將存儲(chǔ)設(shè)備直接聯(lián)網(wǎng)并使用網(wǎng)絡(luò)文件共享協(xié)議提供文件級(jí)數(shù)據(jù)訪(fǎng)問(wèn)的存儲(chǔ)架構(gòu)。NAS廣泛應(yīng)用于消費(fèi)級(jí)和企業(yè)級(jí)文享文件逐漸發(fā)展成為專(zhuān)用存儲(chǔ)服務(wù)器提供文件共享服務(wù)，形成NAS1網(wǎng)絡(luò)的快速發(fā)展，越來(lái)越多的廠商開(kāi)始推出NAS2(二)NAS市場(chǎng)現(xiàn)狀及主流產(chǎn)品從國(guó)際市場(chǎng)情況分析，全球企業(yè)級(jí)NAS市場(chǎng)的年復(fù)合增長(zhǎng)率約為3備數(shù)據(jù)分級(jí)流動(dòng)、全局共享和容器存儲(chǔ)能力。各行各業(yè)應(yīng)用升級(jí)對(duì)4監(jiān)測(cè)數(shù)據(jù)顯示，2014年-2023年2月全球AAIGC依賴(lài)通用基礎(chǔ)大模型，訓(xùn)練通用5AI大模型的門(mén)檻；利用存儲(chǔ)內(nèi)嵌的算力和新型數(shù)據(jù)存儲(chǔ)格式，可卸熱點(diǎn)2：HPC為高性能NAS擴(kuò)大市場(chǎng)空間6高性能計(jì)算(HPC)是使用并行處理來(lái)高78需要更好的數(shù)據(jù)一致性和可移植性。為了應(yīng)對(duì)這些挑戰(zhàn)，新的NAS安全性：在多云環(huán)境中，數(shù)據(jù)的安全性也是一個(gè)9性能提出了更高的要求，以4K轉(zhuǎn)為8K為例，碼率由589Mbps提升二、NAS典型應(yīng)用場(chǎng)景業(yè)銀行票據(jù)影像、數(shù)據(jù)交數(shù)據(jù)交換平臺(tái)對(duì)接200數(shù)據(jù)要求存儲(chǔ)具備較高安全性，具有防勒索能性能：海量小文件場(chǎng)景高話(huà)單計(jì)費(fèi)系統(tǒng)話(huà)單計(jì)費(fèi)系統(tǒng)是運(yùn)營(yíng)商性能：話(huà)單處理速度要求中扣費(fèi)等突發(fā)業(yè)務(wù)浪涌帶來(lái)的高并發(fā)場(chǎng)性能要存儲(chǔ)內(nèi)容類(lèi)型多涵蓋視/存周期長(zhǎng)達(dá)數(shù)年甚至更可用性：7*24小時(shí)連續(xù)播可服務(wù)性：統(tǒng)一的運(yùn)維管視頻監(jiān)控、海量KB級(jí)小文件圖片件，上百路并發(fā)隨機(jī)讀數(shù)十PB級(jí)的海量存儲(chǔ)空模分布式存儲(chǔ)系統(tǒng)運(yùn)維圖片讀取時(shí)延要求低于移動(dòng)任務(wù)不影響讀寫(xiě)業(yè)務(wù)真、自動(dòng)駕端設(shè)計(jì)產(chǎn)生上億KB級(jí)測(cè)試以GB級(jí)別的大文新仿真，對(duì)存儲(chǔ)故障檢生命科學(xué)、基因測(cè)序、臺(tái)、多源異構(gòu)數(shù)據(jù)的特有EB級(jí)別數(shù)據(jù)歸檔需冷凍電鏡場(chǎng)景:采集過(guò)時(shí)管理多個(gè)廠商的多套設(shè)影像系統(tǒng)、醫(yī)院數(shù)據(jù)的80%都來(lái)自時(shí)延直接影響患者感知平均大小為300KB左像數(shù)據(jù)時(shí)間要求不少于15年。而病理系統(tǒng)通常醫(yī)院年病理數(shù)據(jù)增量1~2PB，要求存儲(chǔ)可彈性擴(kuò)燃?xì)馄髽I(yè)生需要處理和存儲(chǔ)海量生產(chǎn)運(yùn)行數(shù)據(jù)和設(shè)備設(shè)施實(shí)時(shí)產(chǎn)生的設(shè)備運(yùn)行數(shù)采集的數(shù)據(jù)相結(jié)合進(jìn)行置。存儲(chǔ)內(nèi)容存在多樣性能：基礎(chǔ)數(shù)據(jù)查詢(xún)?cè)?0萬(wàn)條/秒以上，文件數(shù)據(jù)讀模型訓(xùn)練、AI大模型已經(jīng)從傳統(tǒng)模儲(chǔ)的要求包括海量存儲(chǔ)方面。為了滿(mǎn)足這些要研發(fā)新的存儲(chǔ)技術(shù)和解集的加載吞吐達(dá)到數(shù)百(一)金融容器平臺(tái)NAS應(yīng)用l通過(guò)IO聚合、眾核調(diào)度，支持小文件小IO性能提升；l通過(guò)多路徑技術(shù)實(shí)現(xiàn)性能翻倍。99.99999%，當(dāng)一個(gè)存儲(chǔ)控制器發(fā)生故障時(shí)，業(yè)務(wù)無(wú)中斷，性能波動(dòng)(二)高端制造EDA仿真平臺(tái)NAS應(yīng)用EDA是以計(jì)算機(jī)為工具，為芯片開(kāi)發(fā)設(shè)計(jì)者提供的一個(gè)軟件化EDA仿真流程各階段workload模NAS應(yīng)用實(shí)踐如下。l元數(shù)據(jù)操作算法優(yōu)化、獨(dú)立分區(qū)提升垃圾回收效率，避免lAA雙活替代異步復(fù)制，既能滿(mǎn)足業(yè)務(wù)負(fù)載均衡的性能需決方案級(jí)的四級(jí)可靠性設(shè)計(jì)，實(shí)現(xiàn)99.9999%極致可靠，確保仿真業(yè)(三)醫(yī)療行業(yè)數(shù)據(jù)處理NAS應(yīng)用務(wù)，需要額外提供網(wǎng)關(guān)才能實(shí)現(xiàn)，導(dǎo)致醫(yī)院文件系統(tǒng)管理難度增大。部署NAS存儲(chǔ)后，存儲(chǔ)時(shí)延降低30%，性能提高40%，運(yùn)維效(四)電信運(yùn)營(yíng)商話(huà)單類(lèi)業(yè)務(wù)應(yīng)用標(biāo)準(zhǔn)話(huà)單文件。每天需要處理6000+萬(wàn)個(gè)文件，約2000+億條話(huà)單記SAN組網(wǎng)替代FC組網(wǎng)，實(shí)現(xiàn)了整體解決方案端到端自主可控。(五)人工智能平臺(tái)NAS應(yīng)用城市物聯(lián)網(wǎng)和供應(yīng)鏈物聯(lián)網(wǎng)的核心場(chǎng)景提供解決方案，對(duì)外提供AIGC場(chǎng)景的全套解決方案，持續(xù)為客戶(hù)和社會(huì)(六)能源行業(yè)物探平臺(tái)NAS應(yīng)用繁的鏈表操作將降低地震數(shù)據(jù)讀寫(xiě)的速度。地震數(shù)據(jù)處理過(guò)程中通件判斷數(shù)據(jù)處理的優(yōu)劣。該場(chǎng)景存在單個(gè)文件用戶(hù)客戶(hù)端用戶(hù)客戶(hù)端NAS服務(wù)計(jì)算集群后端分布式存儲(chǔ)集群分布式存儲(chǔ)業(yè)務(wù)網(wǎng)絡(luò)(10GE)計(jì)算集群后端分布式存儲(chǔ)集群Node1Node2Node3Node4Noden分布式存儲(chǔ)集群網(wǎng)絡(luò)(IB或40GE網(wǎng)絡(luò)或至少20GE)(七)視頻監(jiān)控AINAS應(yīng)用型訓(xùn)練與推理應(yīng)用，即對(duì)數(shù)據(jù)進(jìn)行多階段、密集模型訓(xùn)練，生成入，對(duì)寫(xiě)入性能、容量要求高；模型調(diào)優(yōu)需反復(fù)訓(xùn)練，海量小文件(八)自動(dòng)駕駛訓(xùn)練平臺(tái)NAS應(yīng)用l并行文件系統(tǒng)架構(gòu)：數(shù)據(jù)切片打散保存，客戶(hù)端并發(fā)訪(fǎng)問(wèn)l分級(jí)存儲(chǔ)：將熱數(shù)據(jù)存儲(chǔ)在高性能存儲(chǔ)池內(nèi)，冷數(shù)據(jù)自動(dòng)(九)媒資視頻非線(xiàn)性編輯NAS應(yīng)用為大文件順序?qū)懩Ｐ汀Ｃ總€(gè)MacPro客戶(hù)端單軌道播放帶寬要求在為了多臺(tái)客戶(hù)端同時(shí)多軌道播放不卡頓，時(shí)延要求小于0l存儲(chǔ)回收站：存儲(chǔ)支持回收站特性，避免誤刪導(dǎo)致的數(shù)據(jù)(十)燃?xì)馄髽I(yè)生產(chǎn)管理系統(tǒng)NAS應(yīng)用高靈活性與可擴(kuò)展性。NAS文件系統(tǒng)支持多用戶(hù)和多種操作系統(tǒng)同l故障預(yù)測(cè)：建立存儲(chǔ)內(nèi)存故障、硬盤(pán)故障、硬盤(pán)生命周期l智能升級(jí)：一鍵式評(píng)估、升級(jí)存儲(chǔ)設(shè)備到更高軟件版本；展NAS應(yīng)用帶來(lái)一定的參考，促進(jìn)產(chǎn)業(yè)發(fā)AIGC:AI-GeneratedCBFS:Banking,financeandinsurance銀行、金融服務(wù)BGP：BorderGatewayProtocol邊界網(wǎng)BMC：BaseboardManagementController基板管理CBE：ConvergentBillingCIFS:CommonInternetFileSystem公共互聯(lián)網(wǎng)文件系統(tǒng)CSI：ContainerStorageInterfaceFC：FibreChannel光纖通道IOPS：Input/outputoperationspersecond每秒讀寫(xiě)(I/O)操作的次數(shù)OPEX：OperatingExpense運(yùn)營(yíng)成本RAID:RedundantArrayofIndependentDisks獨(dú)立磁盤(pán)冗余陣列RDMA：RemoteDirectMemoSNIA：StorageNetw