AIGC數(shù)據(jù)存儲(chǔ)技術(shù)研究報(bào)告 2025

素，在作為勞動(dòng)工具賦能其他生產(chǎn)要素的同時(shí)，數(shù)據(jù)還可以作為勞動(dòng)對(duì)象展現(xiàn)本身的經(jīng)濟(jì)價(jià)值。存儲(chǔ)設(shè)備是數(shù)據(jù)的最終物理載體，是行業(yè)、企業(yè)和用戶數(shù)據(jù)的保險(xiǎn)柜。業(yè)務(wù)需求和計(jì)算技術(shù)的更新推動(dòng)存儲(chǔ)設(shè)備向高高性能、快迭代的方向演進(jìn)，軟件定義存儲(chǔ)憑借橫向節(jié)點(diǎn)擴(kuò)展、性能近線性增長(zhǎng)和軟硬件技術(shù)快速迭代的特點(diǎn)分布式融合存儲(chǔ)是軟件定義存儲(chǔ)的發(fā)展趨勢(shì)。早期的軟件定義存儲(chǔ)，一套集群只能支撐一種數(shù)據(jù)的讀取和寫(xiě)入，對(duì)外提供一種服務(wù)，數(shù)據(jù)存儲(chǔ)在單一介質(zhì)中。隨著數(shù)字經(jīng)濟(jì)的發(fā)展，一套作業(yè)流程同的數(shù)據(jù)類型，跨集群進(jìn)行數(shù)據(jù)處理無(wú)疑會(huì)增加用戶的操作復(fù)雜性。同時(shí)，一套作業(yè)采用多套存增加成本，只能將數(shù)據(jù)存儲(chǔ)在單一介質(zhì)中的特性使用戶在數(shù)據(jù)存儲(chǔ)成本和效率之間不可兼得。立足于新時(shí)代數(shù)未來(lái)，隨著技術(shù)的不斷進(jìn)步，AIGC有望在更多領(lǐng)域?qū)崿F(xiàn)突破，如教育、醫(yī)療、科研等，進(jìn)一步拓寬其應(yīng)用邊出《AIGC數(shù)據(jù)存儲(chǔ)技術(shù)研究報(bào)告》。在報(bào)告中，我們將深入探討AIGC場(chǎng)景下對(duì)數(shù)據(jù)存儲(chǔ)提出的新要求和新挑戰(zhàn)，以及數(shù)據(jù)存儲(chǔ)對(duì)新要求和新挑戰(zhàn)的技術(shù)應(yīng)對(duì)。同時(shí)，我們還將關(guān)注數(shù)據(jù)存儲(chǔ)技術(shù)的創(chuàng)新和發(fā)展，以期為的規(guī)則和算法來(lái)生成內(nèi)容。例如，在自然語(yǔ)言處理領(lǐng)域中，研究人員嘗試?yán)靡?guī)則和語(yǔ)法知識(shí)來(lái)生成語(yǔ)句，實(shí)其大規(guī)模應(yīng)用逐漸成為現(xiàn)實(shí)，開(kāi)始出現(xiàn)在新聞、廣告、音樂(lè)、電影、游戲等多個(gè)領(lǐng)域中。生產(chǎn)的內(nèi)容更加逼了一系列政策，鼓勵(lì)人工智能技術(shù)的研發(fā)和應(yīng)用，為AIGC產(chǎn)業(yè)的發(fā)展提供了良好的環(huán)境?，F(xiàn)將國(guó)家各部委支工業(yè)和信息化部等創(chuàng)新發(fā)展的實(shí)施意見(jiàn)》工業(yè)和信工信部等年）》術(shù)等8大新興產(chǎn)業(yè)，以及生成式人工智能等9大未來(lái)產(chǎn)業(yè)，統(tǒng)籌國(guó)家網(wǎng)信辦等七部門(mén)《生成式人工智能服工業(yè)和信息化部等《關(guān)于促進(jìn)數(shù)據(jù)安全產(chǎn)業(yè)發(fā)展的指導(dǎo)意見(jiàn)》《關(guān)于支持建設(shè)新一場(chǎng)景的通知》礎(chǔ)較好的人工智能應(yīng)用場(chǎng)景，加強(qiáng)研發(fā)上下游配合與新技術(shù)集科技部等工業(yè)和信年）》《國(guó)家新一代人工智設(shè)工作指引（修訂版）》國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)等五《國(guó)家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》備、訓(xùn)練、推理、歸檔不同階段，在其應(yīng)用中涵蓋了從文本創(chuàng)作、圖像生成到音樂(lè)和視頻制作等多個(gè)領(lǐng)域，單技術(shù)創(chuàng)新方面分別展現(xiàn)出獨(dú)特的優(yōu)勢(shì)。DDN作為全球領(lǐng)先的大數(shù)據(jù)存儲(chǔ)供應(yīng)商，其A3I（Accelerated,高性能。滿足從大型企業(yè)、服務(wù)提供商、研究機(jī)構(gòu)到政府機(jī)構(gòu)的廣泛需求，其優(yōu)勢(shì)主率、GPU利用率和存儲(chǔ)容量；第二，全面的深度學(xué)習(xí)加速。A3I解決方案能夠同時(shí)為所有工作負(fù)載提供實(shí)時(shí)加橫向的數(shù)據(jù)流動(dòng)各環(huán)節(jié)是分析存儲(chǔ)需求的著力點(diǎn)，而縱向的系統(tǒng)架構(gòu)和各模塊作用及關(guān)系是厘清存儲(chǔ)需支種分解期望能夠更清晰地理解存儲(chǔ)在AIGC整體架構(gòu)中的地位，使得設(shè)計(jì)和優(yōu)化的存儲(chǔ)解決方案更具針對(duì)性。SaaSIaaS 務(wù)務(wù)臺(tái)層PaaS以及基礎(chǔ)設(shè)施層IaaS。應(yīng)用層SaaS是AIGC技術(shù)產(chǎn)生價(jià)值的窗口，模型根據(jù)輸入數(shù)據(jù)生成新的內(nèi)容；分為數(shù)據(jù)服務(wù)、數(shù)據(jù)集成、數(shù)據(jù)治理三個(gè)部分，其中數(shù)據(jù)服務(wù)主要負(fù)責(zé)數(shù)據(jù)的處理和高質(zhì)量數(shù)據(jù)集的生成，數(shù)據(jù)、計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源進(jìn)行調(diào)度，例如網(wǎng)關(guān)服務(wù)、數(shù)據(jù)庫(kù)服務(wù)、多租戶管理、鑒權(quán)認(rèn)證，其中對(duì)于存儲(chǔ)的算資源（CPU、GPU、NPU）、介質(zhì)資源（磁帶、HDD、SSD、內(nèi)存等）、網(wǎng)絡(luò)資源（TCP/IP、In?niBand在AIGC的整體架構(gòu)中，存儲(chǔ)隨著數(shù)據(jù)流動(dòng)而存在。如圖2-1所示，存儲(chǔ)主要在數(shù)據(jù)層、平臺(tái)層和基礎(chǔ)層，據(jù)量的快速增長(zhǎng)和摩爾定律的快速發(fā)展，在更多的場(chǎng)景下，用戶更傾向于借助強(qiáng)大的算力以及數(shù)據(jù)驅(qū)動(dòng)模型進(jìn)從數(shù)據(jù)的視角來(lái)看，數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理和數(shù)據(jù)歸檔這五個(gè)階段緊密相連，共同支擴(kuò)展性、低延遲高實(shí)時(shí)性、接口多樣性，以應(yīng)對(duì)海量數(shù)據(jù)的及時(shí)收集。數(shù)據(jù)準(zhǔn)備階段要求存儲(chǔ)系統(tǒng)能夠高效讀寫(xiě)和靈活組織，支持?jǐn)?shù)據(jù)清洗、轉(zhuǎn)換和規(guī)范化以適應(yīng)復(fù)雜的數(shù)據(jù)處理任務(wù)。在訓(xùn)練階段，存儲(chǔ)系統(tǒng)需提供強(qiáng)大延遲響應(yīng)速度要求極高，以保證內(nèi)容生成的連續(xù)性和流暢性。數(shù)據(jù)歸檔是數(shù)據(jù)首輪生命周期的終點(diǎn)和次輪的起在傳統(tǒng)設(shè)計(jì)策略中，數(shù)據(jù)流動(dòng)通常遵循一個(gè)線性且分離的過(guò)程，每個(gè)階段在物理或邏輯上相對(duì)獨(dú)立：數(shù)據(jù)采集階段通常照顧數(shù)據(jù)來(lái)源側(cè)的傳輸方式和協(xié)議，將采集的數(shù)據(jù)遷移到獨(dú)立的預(yù)處理系統(tǒng)上，進(jìn)行清洗、格式化和轉(zhuǎn)換；然后將預(yù)處理后的數(shù)據(jù)遷移到訓(xùn)練集群上，這不僅增加了數(shù)據(jù)傳輸?shù)臅r(shí)間，還可能因?yàn)閿?shù)據(jù)傳輸?shù)难舆t影響模型訓(xùn)練的效率；最后模型訓(xùn)練完成后，會(huì)按業(yè)務(wù)需求發(fā)布到數(shù)據(jù)推理生成階段，并定期將數(shù)據(jù)從生產(chǎn)環(huán)境遷移到備份或歸檔存儲(chǔ)中。這種策略涉及到多次數(shù)據(jù)移動(dòng)，耗時(shí)增加，并提高業(yè)務(wù)系統(tǒng)管理存儲(chǔ)的復(fù)雜在基于統(tǒng)一數(shù)據(jù)底座的設(shè)計(jì)策略中，存儲(chǔ)數(shù)據(jù)流動(dòng)是一個(gè)連續(xù)的、無(wú)縫的過(guò)程，每個(gè)階段僅是邏輯上進(jìn)行區(qū)分，在底層都是同一份數(shù)據(jù)以減少數(shù)據(jù)的移動(dòng)和復(fù)制。數(shù)據(jù)采集一另一方面直接與后續(xù)的預(yù)處理階段統(tǒng)一考慮數(shù)據(jù)布局與存儲(chǔ)管理方式，在采集時(shí)就已經(jīng)準(zhǔn)備好進(jìn)行下一步的處理；數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理生成等后續(xù)階段均能夠根據(jù)規(guī)劃和授權(quán)無(wú)需拷貝直接訪問(wèn)數(shù)據(jù)；數(shù)據(jù)歸檔 型，每一種類型的數(shù)據(jù)都需要大量的存儲(chǔ)空間。因此，存儲(chǔ)系統(tǒng)必須具備基礎(chǔ)的大容量、可擴(kuò)展的特點(diǎn)，以應(yīng)練產(chǎn)生負(fù)面影響。因此，存儲(chǔ)系統(tǒng)需提供可靠的數(shù)據(jù)保護(hù)機(jī)制，如數(shù)據(jù)備份、冗余存儲(chǔ)和故障恢復(fù)等，以確保體的數(shù)據(jù)特性和業(yè)務(wù)需求進(jìn)行調(diào)整。存儲(chǔ)系統(tǒng)應(yīng)提供靈活的數(shù)據(jù)管理能力，支持?jǐn)?shù)據(jù)的靈活組織、檢索和更（1）高I/O、低延遲：數(shù)據(jù)訓(xùn)練階段需要頻繁地從存儲(chǔ)系統(tǒng)中讀取大量數(shù)據(jù)，用以更新模型的參數(shù)和權(quán)重。因此，存儲(chǔ)系統(tǒng)必須具備高性能的讀寫(xiě)能力，如在萬(wàn)卡集群、萬(wàn)億參數(shù)大模型的快速訓(xùn)練時(shí)，需要存儲(chǔ)提（2）快速數(shù)據(jù)檢索與索引:為了提高數(shù)據(jù)訓(xùn)練的效率，存儲(chǔ)系統(tǒng)需要具備快速的數(shù)據(jù)檢索和索引能力。這有助于快速定位到需要的數(shù)據(jù)塊，減少不必要的數(shù)據(jù)讀取和處理時(shí)間。為了實(shí)現(xiàn)這一目標(biāo)，存儲(chǔ)系統(tǒng)可以采用儲(chǔ)系統(tǒng)需要支持這種并行和分布式的工作模式，確保多個(gè)計(jì)算節(jié)點(diǎn)能夠同時(shí)訪問(wèn)和修改存儲(chǔ)系統(tǒng)中的數(shù)據(jù)，而（4）易管理：在數(shù)據(jù)訓(xùn)練階段，存儲(chǔ)系統(tǒng)還需要提供靈活的數(shù)據(jù)管理和優(yōu)化功能。這包括數(shù)據(jù)壓縮、去重、緩存管理、冷熱數(shù)據(jù)分離等策略，以優(yōu)化存儲(chǔ)資源的利用率和性能。同時(shí)，還需要支持?jǐn)?shù)據(jù)的動(dòng)態(tài)遷移和生成結(jié)果。因此，毫秒級(jí)或亞毫秒級(jí)的低時(shí)延的數(shù)據(jù)訪問(wèn)是首要需求。這要求存儲(chǔ)系統(tǒng)具備高效的數(shù)據(jù)檢索和理結(jié)果的顯著變化，從而影響用戶體驗(yàn)和應(yīng)用效果。因此，存儲(chǔ)系統(tǒng)需要提供可靠的數(shù)據(jù)保護(hù)機(jī)制，確保數(shù)據(jù)在傳輸、處理和存儲(chǔ)過(guò)程中不被篡改或損壞。同時(shí)，還需要支持?jǐn)?shù)據(jù)校驗(yàn)和驗(yàn)證功能，以確保推理過(guò)程中使用音頻等。因此，存儲(chǔ)系統(tǒng)需要提供靈活的數(shù)據(jù)訪問(wèn)模式，支持多種數(shù)據(jù)格式和訪問(wèn)協(xié)議，以滿足不同推理場(chǎng)景理等過(guò)程中產(chǎn)生的大量數(shù)據(jù)，以及模型本身和相關(guān)的元數(shù)據(jù)，安全、有序地存儲(chǔ)起來(lái)，以便未來(lái)可和長(zhǎng)壽命，能夠抵御物理?yè)p壞、電源故障、自然災(zāi)害等風(fēng)險(xiǎn)，確保數(shù)據(jù)不會(huì)因時(shí)間流逝或外部環(huán)境變化而丟還將持續(xù)增長(zhǎng)。因此，存儲(chǔ)系統(tǒng)必須具備大容量和可擴(kuò)展性，能夠容納不斷增長(zhǎng)的歸檔數(shù)據(jù)，并支持靈活的擴(kuò)過(guò)對(duì)歸檔數(shù)據(jù)進(jìn)行合理的分類和索引，可以方便用戶快速定位到所需數(shù)據(jù)，提高數(shù)據(jù)利用價(jià)值。同時(shí)，分類存效的存儲(chǔ)技術(shù)和優(yōu)化存儲(chǔ)資源的使用，可以降低存儲(chǔ)成本，提高存儲(chǔ)系統(tǒng)的能效比。同時(shí)，合理的存儲(chǔ)規(guī)劃和 面上，為滿足海量數(shù)據(jù)存儲(chǔ)需求，存儲(chǔ)需要具有大容量、可擴(kuò)展，同時(shí)在歸檔階段還需要存儲(chǔ)可長(zhǎng)期保存數(shù)據(jù)，具有耐久性。在軟件功能上，為滿足多模態(tài)數(shù)據(jù)存儲(chǔ)需求，存儲(chǔ)需要支持多種協(xié)議，同時(shí)，為滿足高性能場(chǎng)景的存儲(chǔ)需求、提升大模型訓(xùn)練效率，存儲(chǔ)需要具有高性能、高并發(fā)、低延遲和快速數(shù)據(jù)檢索的功能，支持在面對(duì)海量數(shù)據(jù)存儲(chǔ)及其復(fù)雜需求時(shí)，分布式存儲(chǔ)與備份歸檔的組合方案展現(xiàn)出了獨(dú)特的優(yōu)勢(shì)，能夠全面滿足這些要求。分布式存儲(chǔ)以其卓越的擴(kuò)展性和大容量的特性，為海量數(shù)據(jù)的持續(xù)增長(zhǎng)提供了堅(jiān)實(shí)的基礎(chǔ)。它能夠根據(jù)實(shí)際需求無(wú)縫擴(kuò)展存儲(chǔ)資源，確保數(shù)據(jù)的靈活性和可用性，滿足不斷增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。同時(shí)，分布式存儲(chǔ)能通過(guò)優(yōu)化算法和架構(gòu)設(shè)計(jì)來(lái)提升性能，滿足高性能存儲(chǔ)需求。在數(shù)據(jù)歸檔階段，備份歸檔方案的重要性尤為凸顯。它確保了重要數(shù)據(jù)能夠長(zhǎng)期保存，并且具備高度的耐久性，有效應(yīng)對(duì)數(shù)據(jù)丟失或損壞的風(fēng)險(xiǎn)。不僅保護(hù)了數(shù)據(jù)的完整性，還通過(guò)合理的存儲(chǔ)策略和生命周期管理，優(yōu)化了存儲(chǔ)資源的使用效率。在數(shù)據(jù)管理和數(shù)據(jù)治理方面，通過(guò)集成的數(shù)據(jù)管理工具，可以實(shí)現(xiàn)數(shù)據(jù)的集中管理和有效治理，確保數(shù)據(jù)的質(zhì)量、安全性數(shù)據(jù)存儲(chǔ)的應(yīng)對(duì)技術(shù)可以從六個(gè)維度進(jìn)行論述，分別是：數(shù)據(jù)處理技術(shù)、數(shù)據(jù)容納技術(shù)、數(shù)據(jù)管理技術(shù)、數(shù)據(jù)I/O密集讀寫(xiě)和大文件讀寫(xiě)等場(chǎng)景。存儲(chǔ)系統(tǒng)采用數(shù)控分離架構(gòu)，通過(guò)將I/O的控制主要負(fù)責(zé)管理數(shù)據(jù)的屬性信息，如位置、大小等，通過(guò)優(yōu)化邏輯控制和數(shù)據(jù)管理算法來(lái)提高存儲(chǔ)系統(tǒng)的訪問(wèn)效率和數(shù)據(jù)一致性。而數(shù)據(jù)面則直接負(fù)責(zé)數(shù)據(jù)的讀寫(xiě)操作。將數(shù)據(jù)管理流和數(shù)據(jù)傳輸流進(jìn)行分離，分別在不同的低了數(shù)據(jù)傳輸流在節(jié)點(diǎn)間東西向的轉(zhuǎn)發(fā)操作，可極大地降低由于數(shù)據(jù)在存儲(chǔ)集群節(jié)點(diǎn)間轉(zhuǎn)發(fā)所帶來(lái)的網(wǎng)絡(luò)和系在當(dāng)前的AI基礎(chǔ)設(shè)施平臺(tái)中，計(jì)算服務(wù)器配置非常高，更高性能的CPU和更多的插槽數(shù)帶來(lái)了NUMA請(qǐng)求量增大時(shí)，所有其他NUMA節(jié)點(diǎn)的CPU核的數(shù)據(jù)訪問(wèn)均集中在單個(gè)Socket內(nèi)，造成了大量跨Socket、跨積，進(jìn)一步增大整體時(shí)延。為了降低跨NUMS0 taeaeS0 taeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeck89aeae89aeaeaeaeaeaeaeaeae aeaeaaeaeaeaeaeaeaeaeae ae文件系統(tǒng)內(nèi)核客戶端文件系統(tǒng)內(nèi)核客戶端入時(shí)先進(jìn)入到快速層，介質(zhì)是快于HDD的NVME或持久內(nèi)存，配置的EC或副本模式也更快速，對(duì)數(shù)據(jù)進(jìn)行落響，同時(shí)并發(fā)性能也會(huì)隨之提高。第三，GC過(guò)程。如果數(shù)據(jù)刪除過(guò)多或產(chǎn)生空洞，后臺(tái)需要進(jìn)行GC的數(shù)據(jù)整的搬移則會(huì)占用帶寬和資源，適用于刪除一次就刪掉了大量數(shù)據(jù)且需要重新排布的數(shù)據(jù)較少的場(chǎng)景；二是對(duì)空洞管理的方案，根據(jù)空洞的管理進(jìn)行聚合，性能比較穩(wěn)定，但是磁盤(pán)空間利用率低，適用于少量刪除或整體文File134File134FileFile22FileFile↓寫(xiě)數(shù)據(jù)存儲(chǔ)中的高密硬件設(shè)計(jì)包括高密硬盤(pán)設(shè)計(jì)、免工具設(shè)計(jì)、高性能接口、高效散熱設(shè)計(jì)、簡(jiǎn)易維護(hù)設(shè)計(jì)）；更低的延遲，滿足AIGC等高性能計(jì)算場(chǎng)景的需求；高效散熱設(shè)計(jì)，如優(yōu)化氣流通道、使用高性能風(fēng)扇和散熱器，以及通過(guò)智能溫控技術(shù)配合先進(jìn)的風(fēng)冷系統(tǒng)，可以實(shí)現(xiàn)最佳工作環(huán)境，保障系統(tǒng)穩(wěn)定運(yùn)行；簡(jiǎn)易維護(hù)設(shè)計(jì)，如BMC技術(shù)，技術(shù)人員可以通過(guò)Web管理界面、故障診斷LED等指引設(shè)備，并可通過(guò)儲(chǔ)單元可記錄4個(gè)位的數(shù)據(jù)，相比傳統(tǒng)的SLC、密度。同時(shí)，X-NAND等關(guān)鍵技術(shù)的誕生，也緩解了采用AL數(shù)據(jù)壓縮本質(zhì)是通過(guò)使用算法和技術(shù)減少數(shù)據(jù)存儲(chǔ)或傳輸過(guò)程中所占空間或帶寬的過(guò)程。傳統(tǒng)的數(shù)據(jù)壓縮算法包含了無(wú)損壓縮（如Hu?man編碼、LZ系列編碼等）和有損壓縮（分形壓縮、小波壓縮等），以上算法和技術(shù)很難滿足AIGC場(chǎng)景下量大、類多、速度快的數(shù)據(jù)的壓縮需求，新的數(shù)據(jù)壓縮技術(shù)順勢(shì)而生。混合列壓縮（HCC）技術(shù)以塊的形式組織數(shù)據(jù)，同時(shí)利用行存儲(chǔ)和列存儲(chǔ)的方法存儲(chǔ)數(shù)據(jù)。數(shù)據(jù)一旦被定位，一個(gè)行中的列值會(huì)被分組到一起，然后將其進(jìn)行壓縮，待壓縮完成后數(shù)據(jù)會(huì)被存儲(chǔ)到壓縮單元中。利用HCC技術(shù)庫(kù)壓縮和存檔壓縮都取得了高效的壓縮比，其中，倉(cāng)庫(kù)壓縮在典型情況下可以提供10：1的壓縮率，存檔壓縮比可以達(dá)到15：1，極大的節(jié)省了存儲(chǔ)空間。此外，存儲(chǔ)系統(tǒng)支持基于固定長(zhǎng)度數(shù)據(jù)塊或可變長(zhǎng)度數(shù)據(jù)塊的重復(fù)數(shù)據(jù)判斷和刪除機(jī)制，通過(guò)SHA256等算法計(jì)算數(shù)據(jù)指紋表記錄數(shù)據(jù)特征，當(dāng)有相同指紋特征的數(shù)據(jù)寫(xiě)入時(shí)只保留一份數(shù)據(jù)，將重復(fù)數(shù)據(jù)刪除，其中基于可變長(zhǎng)度數(shù)據(jù)塊計(jì)算的指紋信息更加靈活和精確，可支持更高的推理階段產(chǎn)生的高價(jià)值數(shù)據(jù)需要在溫冷存儲(chǔ)介質(zhì)中長(zhǎng)期保存，以及在異構(gòu)存儲(chǔ)或跨地域存儲(chǔ)系統(tǒng)之間遷移和保完成的數(shù)據(jù)，通過(guò)存儲(chǔ)系統(tǒng)的全局文件系統(tǒng)管理能力，可支持?jǐn)?shù)據(jù)在跨地域的存儲(chǔ)系統(tǒng)之間以及不同存儲(chǔ)介質(zhì)之間自動(dòng)流動(dòng)，并支持按照設(shè)置的策略對(duì)過(guò)期數(shù)據(jù)自動(dòng)刪除，實(shí)現(xiàn)數(shù)據(jù)高效管理。同時(shí)全局文件系統(tǒng)支持基于存儲(chǔ)系統(tǒng)管理本地存儲(chǔ)和后端冷存儲(chǔ)介質(zhì)中的全量數(shù)據(jù)及元數(shù)據(jù)，采用全局統(tǒng)一的元數(shù)據(jù)管理機(jī)制，全局文件系統(tǒng)與后端存儲(chǔ)之間的元數(shù)據(jù)同步可采用快照或日志方案。快照方案通過(guò)snapdi?獲取兩個(gè)快照間變更的需記錄每次元數(shù)據(jù)變更的日志，通過(guò)重放日志的方式在另一套存儲(chǔ)系統(tǒng)中將元數(shù)據(jù)構(gòu)建出來(lái)，實(shí)現(xiàn)元數(shù)據(jù)的同通過(guò)全局元數(shù)據(jù)共享技術(shù)構(gòu)建全局統(tǒng)一命名空間，對(duì)外提供統(tǒng)一的數(shù)據(jù)視圖，可視化呈現(xiàn)熱冷數(shù)據(jù)的分機(jī)柜級(jí)或節(jié)點(diǎn)級(jí)的故障。只要系統(tǒng)中同時(shí)故障的節(jié)點(diǎn)數(shù)不超過(guò)M，系統(tǒng)就可以持續(xù)提供服務(wù)。通過(guò)數(shù)據(jù)重構(gòu)過(guò)與故障恢復(fù)不同，故障預(yù)測(cè)是要對(duì)可能發(fā)生的故障進(jìn)行精準(zhǔn)預(yù)測(cè)來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)保護(hù)，即“治欲病”。存儲(chǔ)故障預(yù)測(cè)、故障恢復(fù)和數(shù)據(jù)安全防護(hù)構(gòu)成了對(duì)數(shù)據(jù)安全的全方位保護(hù)體系，數(shù)據(jù)安全防護(hù)更強(qiáng)調(diào)在“治未病”中的保護(hù)作用，通過(guò)數(shù)據(jù)加密和防病毒技術(shù)實(shí)現(xiàn)數(shù)據(jù)保護(hù)。具體來(lái)看，數(shù)據(jù)加密是指存儲(chǔ)系統(tǒng)支持?jǐn)?shù)據(jù)傳輸加密和數(shù)據(jù)存儲(chǔ)加密技術(shù)，使數(shù)據(jù)在傳輸過(guò)程到寫(xiě)入落盤(pán)的全過(guò)程都保持密文狀態(tài)，防止數(shù)據(jù)被竊取篡改。對(duì)敏感數(shù)據(jù)的訪問(wèn)擁有認(rèn)證、授權(quán)或加密機(jī)制，對(duì)于認(rèn)證憑據(jù)的安全存儲(chǔ)，在不需要還原明文的場(chǎng)景下，使用不可逆算法加密。通過(guò)加密機(jī)制確保了即使非法竊取物理磁盤(pán)也無(wú)法獲取實(shí)際數(shù)據(jù)，保證非法途徑無(wú)法獲取明文數(shù)據(jù)。在讀取數(shù)據(jù)時(shí)通過(guò)加密密鑰解密后返回給客戶端，保證數(shù)據(jù)在解密后內(nèi)容不發(fā)生變化。加密算法支持行為差異，及時(shí)偵測(cè)出異常訪問(wèn)行為，將存疑文件及時(shí)隔離并上報(bào)告警。另外也可通過(guò)機(jī)器學(xué)習(xí)模型，對(duì)未和單一形態(tài)的存儲(chǔ)已無(wú)法同時(shí)滿足用戶對(duì)于存儲(chǔ)性能、存儲(chǔ)容量和存儲(chǔ)成本的需求，可通過(guò)數(shù)據(jù)分級(jí)功能實(shí)現(xiàn)在兼顧性能和成本的雙重需求下對(duì)數(shù)據(jù)進(jìn)行分類管理和存儲(chǔ)。文件分級(jí)包括分級(jí)遷移和分級(jí)刪除。根據(jù)系統(tǒng)中文件大小、類型、路徑、存放時(shí)間等元數(shù)據(jù)屬性，將滿足用戶所設(shè)置分級(jí)策略的文件分別遷移到不同性能存數(shù)據(jù)分層管理基于數(shù)據(jù)的訪問(wèn)頻率、重要性以及其他相關(guān)屬性，通過(guò)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)，建立數(shù)據(jù)訪問(wèn)頻率預(yù)測(cè)模型，準(zhǔn)確識(shí)別出熱數(shù)據(jù)和冷數(shù)據(jù)，并分別存儲(chǔ)在不同的存儲(chǔ)介質(zhì)或存儲(chǔ)層級(jí)上。當(dāng)數(shù)據(jù)在變?yōu)闇乩錉顟B(tài)并滿足設(shè)定的分層遷移策略時(shí)，自動(dòng)遷移到異地的存儲(chǔ)系統(tǒng)中或是不同存儲(chǔ)介質(zhì)的異構(gòu)存儲(chǔ)系統(tǒng)中，當(dāng)后續(xù)的作業(yè)階段觸發(fā)了對(duì)已遷移數(shù)據(jù)的訪問(wèn)請(qǐng)求時(shí)，自動(dòng)將數(shù)據(jù)回遷至原存儲(chǔ)系統(tǒng)中。通過(guò)數(shù)據(jù)分層管理策略實(shí)現(xiàn)數(shù)據(jù)在全生命周期內(nèi)的自動(dòng)遷移和透明流動(dòng)，包括在后端存儲(chǔ)使用磁帶庫(kù)和藍(lán)光存儲(chǔ)等冷存儲(chǔ)介質(zhì)的場(chǎng)景，實(shí)現(xiàn)數(shù)據(jù)在高性能的SSD介質(zhì)、HDD磁存儲(chǔ)系統(tǒng)支持遠(yuǎn)程復(fù)制功能，實(shí)現(xiàn)數(shù)據(jù)在跨地域的兩套存儲(chǔ)集群間流動(dòng)，提供系統(tǒng)級(jí)的故障冗余保護(hù)。數(shù)據(jù)復(fù)制可采用目錄級(jí)的快照技術(shù)，將主端存儲(chǔ)系統(tǒng)新增快照中的數(shù)據(jù)復(fù)制到從端存儲(chǔ)系統(tǒng)，使得從集群的數(shù)據(jù)和主集群快照保存一致。數(shù)據(jù)同步包括初始同步和增量同步。初始同步采用目錄遍歷對(duì)比的方式，增量同步是與備份歸檔存儲(chǔ)共同構(gòu)建統(tǒng)一資源池，分布式并行存儲(chǔ)的burstbu?er功能，能夠智能識(shí)別熱點(diǎn)數(shù)據(jù)，精準(zhǔn)分級(jí)。統(tǒng)一資源池和全局文件系統(tǒng)能保證數(shù)據(jù)跨介質(zhì)、跨設(shè)備流動(dòng)，防止形成數(shù)據(jù)孤島，備份歸檔的存儲(chǔ)特性則成本，具備強(qiáng)大的數(shù)據(jù)容納能力。基于分布式存儲(chǔ)架構(gòu)和數(shù)據(jù)、元數(shù)據(jù)管理功能，則可對(duì)外提供數(shù)據(jù)并行處存儲(chǔ)系統(tǒng)發(fā)生故障時(shí)會(huì)導(dǎo)致數(shù)據(jù)讀寫(xiě)操作失敗、降低CHK讀寫(xiě)性能，影響訓(xùn)練效率。字節(jié)級(jí)分布式鎖、系統(tǒng)故障快速恢復(fù)、系統(tǒng)故障預(yù)測(cè)和系統(tǒng)防護(hù)相結(jié)合，可以加快故障恢復(fù)、提前預(yù)測(cè)故障和進(jìn)行系統(tǒng)防護(hù)，達(dá)到基于分布式存儲(chǔ)多協(xié)議融合互通的功能，該方案可實(shí)現(xiàn)同時(shí)支持文件、對(duì)象和大數(shù)據(jù)存儲(chǔ)服務(wù)，對(duì)外同時(shí)享、語(yǔ)義無(wú)損、性能一致，同時(shí)數(shù)據(jù)在存儲(chǔ)池內(nèi)僅保存一份，但是可以通過(guò)多種協(xié)議訪問(wèn)，避免不同協(xié)議下數(shù)據(jù)的拷貝，節(jié)省50%的數(shù)據(jù)存儲(chǔ)空間。而通過(guò)全局元數(shù)據(jù)共享技術(shù)則可以構(gòu)建統(tǒng)一命名空間，支持跨平臺(tái)、跨形態(tài)、跨地域的全局?jǐn)?shù)據(jù)管理，并對(duì)外提供統(tǒng)一的數(shù)據(jù)視圖，用戶可方便地檢索任意位置系統(tǒng)的數(shù)據(jù)并進(jìn)行訪和共享六種能力，滿足數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理和數(shù)據(jù)歸檔五個(gè)階段的存儲(chǔ)要求，可以提供4.2.1案例一上海某大學(xué)服務(wù)國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略，瞄準(zhǔn)基礎(chǔ)學(xué)科研究的前沿領(lǐng)域，推動(dòng)學(xué)科交叉和科教融合，在光子科學(xué)、人工智能、生物醫(yī)藥、能源科學(xué)等重大創(chuàng)新領(lǐng)域積極布局，是一所小規(guī)模、高水平、國(guó)際化研究型、創(chuàng)新型的大學(xué)。該大學(xué)和某存儲(chǔ)廠商合作以計(jì)算和存儲(chǔ)為平臺(tái)融合新技術(shù)應(yīng)用提升創(chuàng)新體系效能，加速科技創(chuàng)新，共同搭建跨學(xué)科多模態(tài)人工智能計(jì)算平臺(tái)。面向多模態(tài)大模型訓(xùn)練，搭建了跨學(xué)科技術(shù)研究的平臺(tái)，滿足了數(shù)字材料、生命制藥、芯片制造、數(shù)字孿生、人機(jī)協(xié)作等多個(gè)研究方向的大某節(jié)點(diǎn)出現(xiàn)故障時(shí)，可以自動(dòng)切換至備用節(jié)點(diǎn)，提供存儲(chǔ)系統(tǒng)的高可用性，保障科研平臺(tái)數(shù)據(jù)不丟失，保證了數(shù)據(jù)安全性和項(xiàng)目課題運(yùn)行的持續(xù)性。根據(jù)后期業(yè)務(wù)的增長(zhǎng)，長(zhǎng)期存儲(chǔ)系統(tǒng)在線橫向擴(kuò)展新的存儲(chǔ)節(jié)點(diǎn)，系統(tǒng)源的整體性能。同時(shí)，該方案可提供全數(shù)據(jù)生命周期管理的能力，實(shí)現(xiàn)數(shù)據(jù)按熱度進(jìn)行流動(dòng)、提供熱、溫、求。滿足跨學(xué)科領(lǐng)域研究的需求，為智慧醫(yī)療、智能感知、人機(jī)協(xié)同、數(shù)字孿生、材料發(fā)現(xiàn)、芯片制造、視覺(jué)處理處理4.2.2案例二化數(shù)據(jù)特征、優(yōu)化模型訓(xùn)練，最大程度簡(jiǎn)化用戶的工作；底層采用多套存儲(chǔ)系統(tǒng)組合方案，根據(jù)數(shù)據(jù)類型不同提供多種數(shù)據(jù)存取服務(wù)，全閃存并行文件系統(tǒng)提供超大帶寬和極速海量小文件的處理能力；該存儲(chǔ)數(shù)據(jù)管理系登錄服務(wù)器登錄服務(wù)器-間自由流轉(zhuǎn)。存儲(chǔ)模塊全部支持多種存儲(chǔ)類型，多種功能模塊協(xié)同工作，打破單一軟硬件技術(shù)壁壘，使業(yè)務(wù)運(yùn)行更加順暢。并且該方案提供閃存存儲(chǔ)空間300TB，存儲(chǔ)吞吐可達(dá)100GB/s+。該解決方案配備高性能存儲(chǔ)系統(tǒng)，為用戶提供強(qiáng)大、高效的數(shù)據(jù)存儲(chǔ)空間和數(shù)據(jù)訪問(wèn)的能力，同時(shí)提供了多種數(shù)據(jù)特征提取、整合，多維度動(dòng)態(tài)組織數(shù)據(jù)集的能力，為用戶“再創(chuàng)新，再發(fā)現(xiàn)”提供了強(qiáng)力的工具。計(jì)算模塊提供了異構(gòu)計(jì)算框架的兼容4.2.34.2.3案例三·求。其中，配置了全閃存儲(chǔ)集群來(lái)支持?jǐn)?shù)百億參數(shù)的醫(yī)學(xué)影像生成模型的訓(xùn)練和推理，通過(guò)提供高性能存儲(chǔ)解的采集、預(yù)處理和歸檔存儲(chǔ)。針對(duì)數(shù)據(jù)安全和隱私保護(hù)需求，通過(guò)數(shù)據(jù)傳輸和存儲(chǔ)的加密以及嚴(yán)格的訪問(wèn)控制數(shù)據(jù)采集數(shù)據(jù)采集數(shù)據(jù)訓(xùn)練數(shù)據(jù)推理數(shù)據(jù)處理數(shù)據(jù)預(yù)處理階段有大量醫(yī)學(xué)影像數(shù)據(jù)需要快速上傳和預(yù)處理。通過(guò)優(yōu)化數(shù)據(jù)路徑，減少數(shù)據(jù)傳輸路徑中的瓶頸，提高上傳和預(yù)處理速度。通過(guò)并發(fā)優(yōu)化算法，提升多客戶端同時(shí)上傳和處理數(shù)據(jù)的效率（上傳速率和性能），利用智能緩存技術(shù)，加快常用數(shù)據(jù)的訪問(wèn)速度，高并發(fā)上模型訓(xùn)練階段深度學(xué)習(xí)模型訓(xùn)練需要高性能存儲(chǔ)系統(tǒng)，訓(xùn)練過(guò)程中需要頻繁讀取和寫(xiě)入大量數(shù)據(jù)，因此需要較通過(guò)將大文件分成多個(gè)小塊存儲(chǔ)和處理，提高數(shù)據(jù)存儲(chǔ)和訪問(wèn)效率。通過(guò)內(nèi)置的智能調(diào)度算法自動(dòng)調(diào)整存儲(chǔ)資源分配，確保高性能需求的訓(xùn)練任務(wù)順利進(jìn)行。通過(guò)全局去重技術(shù)，減少重復(fù)數(shù)據(jù)存儲(chǔ)量，提升存儲(chǔ)利用率。護(hù)機(jī)制確保醫(yī)療數(shù)據(jù)的安全性和隱私保護(hù)，提升系統(tǒng)的合規(guī)性和可靠性，確保了研究中心醫(yī)療影像數(shù)據(jù)安全的4.2.4案例四某金融公司的實(shí)際業(yè)務(wù)中數(shù)據(jù)量巨大，且以非結(jié)構(gòu)化數(shù)據(jù)類型為主，除了需要存儲(chǔ)系統(tǒng)具備提供多種存儲(chǔ)服務(wù)的能力之外，對(duì)數(shù)據(jù)存取的性能也有較高的要求。在以往的業(yè)務(wù)流程中，數(shù)據(jù)存取性能是整個(gè)分析建模和訓(xùn)練過(guò)程中的最主要的瓶頸。同時(shí)，該類用戶對(duì)數(shù)據(jù)處理和分析的性能也有嚴(yán)苛要求，要求具有充分利用資源的數(shù)據(jù)存儲(chǔ)吞吐和IOPS，支撐金融數(shù)據(jù)的高效存取。其次，采用可以提供存儲(chǔ)系統(tǒng)，為量化分析需要的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)一的存儲(chǔ)引擎。最后，在應(yīng)用層配合分布式計(jì)容器服務(wù)模型訓(xùn)練分析任務(wù)高頻交易-容器服務(wù)模型訓(xùn)練分析任務(wù)高頻交易-分布式計(jì)算系統(tǒng)分布式計(jì)算系統(tǒng)全閃存分布式存儲(chǔ)系統(tǒng)全閃存分布式存儲(chǔ)系統(tǒng)對(duì)海量小文件場(chǎng)景下，性能無(wú)衰減。配合分布式計(jì)算系統(tǒng)，可以承載多種分析應(yīng)用，并且通過(guò)進(jìn)程和容器的方式運(yùn)行批量計(jì)算、并行計(jì)算，動(dòng)態(tài)高效分配資源。提供對(duì)GPU等稀缺資源的管理和調(diào)度能力，經(jīng)出臺(tái)了多種布局算力基礎(chǔ)設(shè)施的實(shí)施方案。目前，國(guó)內(nèi)單個(gè)智算中心的存儲(chǔ)規(guī)瓦時(shí)，占社會(huì)總用電量的3%。而智算中心引入了更多的算力相關(guān)設(shè)備，其耗電量將遠(yuǎn)高于同等規(guī)模的數(shù)據(jù)中心。根據(jù)斯坦福人工智能研究院發(fā)布的《2023年人工智能指數(shù)報(bào)告》顯示，GPT-3單次訓(xùn)練耗電量就已高達(dá)應(yīng)用中的實(shí)時(shí)數(shù)據(jù)處理需求。混閃存存儲(chǔ)則結(jié)合了SSD和傳統(tǒng)將最活躍的數(shù)據(jù)存儲(chǔ)在SSD上，而將較少訪問(wèn)的數(shù)據(jù)能數(shù)據(jù)管理策略。這些策略包括自動(dòng)數(shù)據(jù)分層，它根據(jù)數(shù)據(jù)訪問(wèn)的頻率和