2025年AIGC數(shù)據(jù)存儲(chǔ)技術(shù)研究報(bào)告

AIGC告目錄前言 01第一章AIGC加速數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)智能變革AIGC產(chǎn)業(yè)呈現(xiàn)創(chuàng)新發(fā)展態(tài)勢(shì) 02AIGC產(chǎn)業(yè)邁入發(fā)展新階段 02AIGC產(chǎn)業(yè)支持政策全面布局 02AIGC加速企業(yè)數(shù)據(jù)存儲(chǔ)創(chuàng)新發(fā)展 04第二章AIGC場(chǎng)景對(duì)數(shù)據(jù)存儲(chǔ)的挑戰(zhàn)AIGC業(yè)務(wù)階段概述 05AIGC整體架構(gòu) 05AIGC作業(yè)流程下的存儲(chǔ)數(shù)據(jù)流動(dòng) 06AIGC各階段對(duì)數(shù)據(jù)存儲(chǔ)的需求 07階段一：數(shù)據(jù)采集 07階段二：數(shù)據(jù)準(zhǔn)備 08階段三：數(shù)據(jù)訓(xùn)練 08階段四：數(shù)據(jù)推理 09階段五：數(shù)據(jù)歸檔 09AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)的關(guān)鍵需求 10第三章AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)的應(yīng)對(duì)技術(shù)從場(chǎng)景需求到技術(shù)應(yīng)對(duì)：數(shù)據(jù)存儲(chǔ)技術(shù)概述 11數(shù)據(jù)存儲(chǔ)的應(yīng)對(duì)技術(shù) 11數(shù)據(jù)處理技術(shù) 13數(shù)據(jù)容納技術(shù) 13數(shù)據(jù)管理技術(shù) 15數(shù)據(jù)安全技術(shù) 15數(shù)據(jù)共享技術(shù) 16數(shù)據(jù)流動(dòng)技術(shù) 16第四章AIGC數(shù)據(jù)存儲(chǔ)解決方案及案例AIGC數(shù)據(jù)存儲(chǔ)解決方案 18AIGC數(shù)據(jù)存儲(chǔ)經(jīng)典案例 19案例一 19案例二 20案例三 22案例四 23第五章AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)發(fā)展的未來趨勢(shì)與展望未來趨勢(shì) 24數(shù)據(jù)綠色存儲(chǔ)愈發(fā)成為關(guān)注的焦點(diǎn) 24數(shù)據(jù)安全存儲(chǔ)的重要性日益凸顯 24展望：最近技術(shù)發(fā)展趨勢(shì) 25AIGC催生新一代數(shù)據(jù)存儲(chǔ)架構(gòu) 25AIGC加速數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)快速增長(zhǎng) 26AIGC加速數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)完善 26前言軟件定義存儲(chǔ)成為數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域的關(guān)鍵技術(shù)。數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)是數(shù)字經(jīng)濟(jì)的新型生產(chǎn)要素，在作為勞動(dòng)工具賦能其他生產(chǎn)要素的同時(shí)，數(shù)據(jù)還可以作為勞動(dòng)對(duì)象展現(xiàn)本身的經(jīng)濟(jì)價(jià)值。存儲(chǔ)設(shè)備是數(shù)據(jù)的最終物理載體，是行業(yè)、企業(yè)和用戶數(shù)據(jù)的保險(xiǎn)柜。業(yè)務(wù)需求和計(jì)算技術(shù)的更新推動(dòng)存儲(chǔ)設(shè)備向高擴(kuò)展、高性能、快迭代的方向演進(jìn)，軟件定義存儲(chǔ)憑借橫向節(jié)點(diǎn)擴(kuò)展、性能近線性增長(zhǎng)和軟硬件技術(shù)快速迭代的特點(diǎn)成為數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域的關(guān)鍵技術(shù)。分布式融合存儲(chǔ)是軟件定義存儲(chǔ)的發(fā)展趨勢(shì)。早期的軟件定義存儲(chǔ)，一套集群只能支撐一種數(shù)據(jù)的讀取和寫入，對(duì)外提供一種服務(wù)，數(shù)據(jù)存儲(chǔ)在單一介質(zhì)中。隨著數(shù)字經(jīng)濟(jì)的發(fā)展，一套作業(yè)流程往往包含不同的數(shù)據(jù)類型，跨集群進(jìn)行數(shù)據(jù)處理無疑會(huì)增加用戶的操作復(fù)雜性。同時(shí)，一套作業(yè)采用多套存儲(chǔ)設(shè)備無疑會(huì)增加成本，只能將數(shù)據(jù)存儲(chǔ)在單一介質(zhì)中的特性使用戶在數(shù)據(jù)存儲(chǔ)成本和效率之間不可兼得。立足于新時(shí)代數(shù)據(jù)存儲(chǔ)需求，基于多協(xié)議互通、多介質(zhì)融合、多服務(wù)共享的分布式融合存儲(chǔ)將成為新的發(fā)展趨勢(shì)。AIGC具有廣闊的研究和應(yīng)用前景。AI技術(shù)的快速革新極大地推進(jìn)了AIGC的高速發(fā)展，其研究和應(yīng)用亦被推廣到多個(gè)行業(yè)。據(jù)統(tǒng)計(jì)，AIGC在內(nèi)容創(chuàng)作領(lǐng)域，可以將內(nèi)容生成效率提升數(shù)倍至數(shù)十倍，降低人力成本高達(dá)50%以上。在廣告、游戲、影視等行業(yè)，AIGC的應(yīng)用不僅豐富了內(nèi)容形式，還推動(dòng)了行業(yè)的數(shù)字化轉(zhuǎn)型。未來，隨著技術(shù)的不斷進(jìn)步，AIGC有望在更多領(lǐng)域?qū)崿F(xiàn)突破，如教育、醫(yī)療、科研等，進(jìn)一步拓寬其應(yīng)用邊界。據(jù)預(yù)測(cè)，到2030年，AIGC的市場(chǎng)規(guī)模將達(dá)到數(shù)千億美元，成為推動(dòng)全球經(jīng)濟(jì)增長(zhǎng)的重要力量。探討AIGC下的存儲(chǔ)應(yīng)用具有十分重要的意義。當(dāng)前，AIGC以其強(qiáng)大的創(chuàng)新能力和應(yīng)用潛力，成為推動(dòng)產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)發(fā)展的重要力量。作為AIGC的核心支撐，數(shù)據(jù)存儲(chǔ)扮演著不可或缺的角色。數(shù)據(jù)存儲(chǔ)不僅為AIGC提供了海量的數(shù)據(jù)資源，還通過其高效、安全、智能的特性，為AIGC技術(shù)的創(chuàng)新和應(yīng)用提供有力保障。因此，深入探討AIGC與數(shù)據(jù)存儲(chǔ)之間的關(guān)系，對(duì)于推動(dòng)AIGC技術(shù)的進(jìn)一步發(fā)展，以及實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最大化，具有極其重要的意義。為全面分析AIGC與數(shù)據(jù)存儲(chǔ)的緊密關(guān)系，從數(shù)據(jù)存儲(chǔ)的角度揭示AIGC技術(shù)的內(nèi)在邏輯和發(fā)展趨勢(shì)，我們推出《AIGC數(shù)據(jù)存儲(chǔ)技術(shù)研究報(bào)告》。在報(bào)告中，我們將深入探討AIGC場(chǎng)景下對(duì)數(shù)據(jù)存儲(chǔ)提出的新要求和新挑戰(zhàn)，以及數(shù)據(jù)存儲(chǔ)對(duì)新要求和新挑戰(zhàn)的技術(shù)應(yīng)對(duì)。同時(shí)，我們還將關(guān)注數(shù)據(jù)存儲(chǔ)技術(shù)的創(chuàng)新和發(fā)展，以期為AIGC技術(shù)的進(jìn)一步應(yīng)用和推廣提供有益的參考和啟示。在這個(gè)充滿變革與機(jī)遇的時(shí)代，AIGC與數(shù)據(jù)存儲(chǔ)的融合發(fā)展必將開啟新的篇章，為我們帶來更加豐富的應(yīng)用場(chǎng)景和更加廣闊的發(fā)展空間。讓我們共同期待并見證這一領(lǐng)域的繁榮與進(jìn)步。第一章AIGC加速數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)智能變革第一章AIGC加速數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)智能變革AIGC產(chǎn)業(yè)呈現(xiàn)創(chuàng)新發(fā)展態(tài)勢(shì) 1.1.1AIGC產(chǎn)業(yè)邁入發(fā)展新階段 縱觀AIGC（生成式人工智能）產(chǎn)業(yè)的發(fā)展歷程，大致可以分為三個(gè)階段，即早期階段、沉淀階段和發(fā)展階段。AIGC的早期階段可以追溯到20世紀(jì)50年代，人們開始探索如何利用人工智能（AI）技術(shù)來生成各種類型的內(nèi)容。然而，受制于當(dāng)時(shí)的科技水平，AIGC的應(yīng)用主要停留在實(shí)驗(yàn)室中。20世紀(jì)90年代中期至21世紀(jì)10年代中期，AIGC發(fā)展進(jìn)入沉淀階段。這一階段，AIGC多數(shù)是通過預(yù)先設(shè)定的規(guī)則和算法來生成內(nèi)容。例如，在自然語(yǔ)言處理領(lǐng)域中，研究人員嘗試?yán)靡?guī)則和語(yǔ)法知識(shí)來生成語(yǔ)句，實(shí)現(xiàn)新聞稿件的自動(dòng)化生成。同樣地，由于規(guī)則和模板的缺陷，生成的內(nèi)容往往缺乏個(gè)性化和創(chuàng)意性。隨著人工智能技術(shù)的進(jìn)步和深度學(xué)習(xí)算法的發(fā)展，從21世紀(jì)10年代中期至今，AIGC進(jìn)入了快速發(fā)展階段，其大規(guī)模應(yīng)用逐漸成為現(xiàn)實(shí)，開始出現(xiàn)在新聞、廣告、音樂、電影、游戲等多個(gè)領(lǐng)域中。生產(chǎn)的內(nèi)容更加逼真、富有創(chuàng)意和個(gè)性化。同時(shí)，一些新興的技術(shù)框架，如生成對(duì)抗網(wǎng)絡(luò)（GAN），也為AIGC產(chǎn)業(yè)的發(fā)展提供了新的動(dòng)力。2021年底，隨著ChatGPT的嶄露頭角，AIGC進(jìn)入了大規(guī)模爆發(fā)時(shí)代。ChatGPT的強(qiáng)大表現(xiàn)進(jìn)一步證明了AIGC技術(shù)在內(nèi)容生成領(lǐng)域的巨大潛力，促使越來越多的企業(yè)和研究機(jī)構(gòu)投入到AIGC產(chǎn)業(yè)中，助推AIGC全產(chǎn)業(yè)鏈的成形，涵蓋了數(shù)據(jù)層、算力層、算法/模型層和商業(yè)化應(yīng)用層等多個(gè)環(huán)節(jié)。其中，產(chǎn)業(yè)鏈上游主要包括數(shù)據(jù)提供、算法模型訓(xùn)練等環(huán)節(jié)，為AIGC提供基礎(chǔ)支撐；中游則是AIGC技術(shù)提供商，他們專注于開發(fā)和優(yōu)化AIGC技術(shù)，為下游應(yīng)用提供技術(shù)支持；下游則是各種AIGC應(yīng)用場(chǎng)景，如媒體、娛樂、教育、廣告等，這些領(lǐng)域正在廣泛采用AIGC技術(shù)，實(shí)現(xiàn)內(nèi)容創(chuàng)作的智能化和高效化。 1.1.2AIGC產(chǎn)業(yè)支持政策全面布局 AIGC產(chǎn)業(yè)的發(fā)展不僅得益于人工智能技術(shù)的進(jìn)步，與政府政策支持也是密不可分的。近五年來，政府出臺(tái)了一系列政策，鼓勵(lì)人工智能技術(shù)的研發(fā)和應(yīng)用，為AIGC產(chǎn)業(yè)的發(fā)展提供了良好的環(huán)境。現(xiàn)將國(guó)家各部委支持、指導(dǎo)AIGC產(chǎn)業(yè)發(fā)展的主要相關(guān)政策梳理如下：表1-1AIGC產(chǎn)業(yè)支持政策時(shí)間發(fā)布單位政策主要內(nèi)容政策類型2024.01工業(yè)和信息化部等七部門《關(guān)于推動(dòng)未來產(chǎn)業(yè)創(chuàng)新發(fā)展的實(shí)施意見》和培育高潛能未來產(chǎn)業(yè)。支持類2024.01工業(yè)和信息化部指導(dǎo)類2023.08工信部等四部門工程實(shí)施方案（2023-2035年）》術(shù)等8大新興產(chǎn)業(yè)，以及生成式人工智能等9大未來產(chǎn)業(yè)，統(tǒng)籌推進(jìn)標(biāo)準(zhǔn)的研究、制定、實(shí)施和國(guó)際化。支持類2023.07國(guó)家網(wǎng)信辦等七部門《生成式人工智能服務(wù)管理暫行辦法》勵(lì)采用安全可信的芯片、軟件、工具、算力和數(shù)據(jù)資源。規(guī)范類2023.01工業(yè)和信息化部等十六部門《關(guān)于促進(jìn)數(shù)據(jù)安全產(chǎn)業(yè)發(fā)展的指導(dǎo)意見》力水平。指導(dǎo)類2022.08科技部《關(guān)于支持建設(shè)新一代人工智能示范應(yīng)用場(chǎng)景的通知》礎(chǔ)較好的人工智能應(yīng)用場(chǎng)景，加強(qiáng)研發(fā)上下游配合與新技術(shù)集支持類2022.07科技部等六部門《關(guān)于加快場(chǎng)景創(chuàng)新以人工智能高水平應(yīng)用促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展的指導(dǎo)意見》術(shù)應(yīng)用場(chǎng)景，促進(jìn)智能經(jīng)濟(jì)高端高效發(fā)展。指導(dǎo)類2021.07工業(yè)和信息化部三年行動(dòng)計(jì)劃（2021-2023年）》支持類2020.09科技部《國(guó)家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)建設(shè)工作指引（修訂版）》（以下簡(jiǎn)稱試驗(yàn)區(qū)）批可復(fù)制可推廣的經(jīng)驗(yàn)，引領(lǐng)帶動(dòng)全國(guó)人工智能健康發(fā)展。指導(dǎo)類2020.07國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)等五部門《國(guó)家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》指導(dǎo)類AIGC加速企業(yè)數(shù)據(jù)存儲(chǔ)創(chuàng)新發(fā)展目前，AIGC場(chǎng)景下存儲(chǔ)主要以分布式存儲(chǔ)和云存儲(chǔ)為主。很多企業(yè)或者組織在面對(duì)高昂的基礎(chǔ)設(shè)施成本，選擇使用云存儲(chǔ)以存儲(chǔ)AIGC的各類數(shù)據(jù)，特別是垂直行業(yè)的大模型構(gòu)建，由于不需要大規(guī)模集群，更多的是選擇單一的云存儲(chǔ)方式。但是AIGC作為一種能夠自主生成新內(nèi)容的智能系統(tǒng)，在其作業(yè)流程中涉及數(shù)據(jù)采集、準(zhǔn)備、訓(xùn)練、推理、歸檔不同階段，在其應(yīng)用中涵蓋了從文本創(chuàng)作、圖像生成到音樂和視頻制作等多個(gè)領(lǐng)域，單一的存儲(chǔ)架構(gòu)很難滿足整個(gè)AIGC的存儲(chǔ)需求。為了應(yīng)對(duì)AIGC場(chǎng)景下帶來的存儲(chǔ)領(lǐng)域需求的挑戰(zhàn)，國(guó)內(nèi)外存儲(chǔ)廠商紛紛加大研發(fā)力度，競(jìng)相探索AIGC場(chǎng)景下的數(shù)據(jù)存儲(chǔ)技術(shù)的最前沿。聚焦于國(guó)際領(lǐng)先的DataDirectNetworks(DDN)與國(guó)內(nèi)某存儲(chǔ)廠商，作為行業(yè)內(nèi)的代表性企業(yè)，其在存儲(chǔ)技術(shù)創(chuàng)新方面分別展現(xiàn)出獨(dú)特的優(yōu)勢(shì)。DDN作為全球領(lǐng)先的大數(shù)據(jù)存儲(chǔ)供應(yīng)商，其A3I（Accelerated,Any-ScaleAI）解決方案是專為AI和深度學(xué)習(xí)設(shè)計(jì)的，它針對(duì)數(shù)據(jù)密集型工作負(fù)載提供了前所未有的靈活性和高性能。滿足從大型企業(yè)、服務(wù)提供商、研究機(jī)構(gòu)到政府機(jī)構(gòu)的廣泛需求，其優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：第一，并行架構(gòu)的性能和效率。DDN的A3I解決方案采用真并行架構(gòu)，確保在任何規(guī)模下都能提供高性能、高效率、GPU利用率和存儲(chǔ)容量；第二，全面的深度學(xué)習(xí)加速。A3I解決方案能夠同時(shí)為所有工作負(fù)載提供實(shí)時(shí)加速，確保數(shù)據(jù)密集型任務(wù)能夠連續(xù)且高效地執(zhí)行。第三，無縫部署和集成。A3I解決方案易于部署，是預(yù)配置、即插即用的，為AI工作負(fù)載和GPU支持解決方案提供了最強(qiáng)大的擴(kuò)展平臺(tái)。第四，靈活的容量擴(kuò)展。DDN的存儲(chǔ)平臺(tái)提供了靈活的容量擴(kuò)展選項(xiàng)，支持從少量TB到幾十PB的擴(kuò)展，滿足不同企業(yè)的需求。第二章AIGC場(chǎng)景對(duì)數(shù)據(jù)存儲(chǔ)的挑戰(zhàn)第二章AIGC場(chǎng)景對(duì)數(shù)據(jù)存儲(chǔ)的挑戰(zhàn)AIGC業(yè)務(wù)階段概述 2.1.1AIGC整體架構(gòu) 在AIGC的發(fā)展浪潮中，數(shù)據(jù)的按需流動(dòng)和存儲(chǔ)是支撐這一劃時(shí)代技術(shù)變革的關(guān)鍵基石之一。從數(shù)據(jù)的視角來看，AIGC數(shù)據(jù)的流動(dòng)環(huán)節(jié)通常分為：數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理、數(shù)據(jù)歸檔，這五個(gè)環(huán)節(jié)構(gòu)成了AIGC數(shù)據(jù)處理的完整生命周期。橫向的數(shù)據(jù)流動(dòng)各環(huán)節(jié)是分析存儲(chǔ)需求的著力點(diǎn)，而縱向的系統(tǒng)架構(gòu)和各模塊作用及關(guān)系是厘清存儲(chǔ)需支撐對(duì)象的出發(fā)點(diǎn)。AIGC整體架構(gòu)可歸納成應(yīng)用、模型、數(shù)據(jù)、平臺(tái)、基礎(chǔ)五層以及每層的若干子模塊。通過這種分解期望能夠更清晰地理解存儲(chǔ)在AIGC整體架構(gòu)中的地位，使得設(shè)計(jì)和優(yōu)化的存儲(chǔ)解決方案更具針對(duì)性。AIGC整體框架如下圖所示。數(shù)據(jù)采集數(shù)據(jù)準(zhǔn)備數(shù)據(jù)訓(xùn)練數(shù)據(jù)推理數(shù)據(jù)歸檔數(shù)據(jù)服務(wù)數(shù)據(jù)分析數(shù)據(jù)清洗結(jié)構(gòu)化數(shù)據(jù)整合數(shù)據(jù)服務(wù)數(shù)據(jù)分析數(shù)據(jù)清洗結(jié)構(gòu)化數(shù)據(jù)整合向量數(shù)據(jù)庫(kù)數(shù)據(jù)源C 數(shù)據(jù)源流式處理非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源F數(shù)據(jù)治理NFSCIFSHDDHDFS FTPHttpSSDNFSS3 SwiftTape/BD數(shù)據(jù)總線數(shù)據(jù)源A客戶端數(shù)據(jù)源E數(shù)據(jù)源B網(wǎng)絡(luò)資源池存儲(chǔ)資源池計(jì)算資源池?cái)?shù)據(jù)底座安全服務(wù)網(wǎng)關(guān)服務(wù)務(wù)務(wù)數(shù)據(jù)調(diào)度數(shù)據(jù)集成定制應(yīng)用部署推理調(diào)優(yōu)訓(xùn)練下載檢索模型智慧醫(yī)療自動(dòng)駕駛智能客服生物識(shí)別法律咨詢金融量化智慧網(wǎng)點(diǎn)應(yīng)用SaaSMaaSDaaSPaaSIaaS數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集元數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集元數(shù)據(jù)對(duì)象服務(wù)視頻服務(wù)塊服務(wù)文件服務(wù)平臺(tái)對(duì)象服務(wù)視頻服務(wù)塊服務(wù)文件服務(wù)基礎(chǔ)圖2-1AIGC整體架構(gòu)圖如圖2-1所示，AIGC整體架構(gòu)分為五層，自上而下分別是：應(yīng)用層SaaS、模型層MaaS、數(shù)據(jù)層DaaS、平臺(tái)層PaaS以及基礎(chǔ)設(shè)施層IaaS。應(yīng)用層SaaS是AIGC技術(shù)產(chǎn)生價(jià)值的窗口，模型根據(jù)輸入數(shù)據(jù)生成新的內(nèi)容；模型層MaaS是AIGC的核心環(huán)節(jié)，主要通過大量的數(shù)據(jù)來訓(xùn)練、驗(yàn)證模型并支撐模型的運(yùn)轉(zhuǎn)；數(shù)據(jù)層DaaS主要分為數(shù)據(jù)服務(wù)、數(shù)據(jù)集成、數(shù)據(jù)治理三個(gè)部分，其中數(shù)據(jù)服務(wù)主要負(fù)責(zé)數(shù)據(jù)的處理和高質(zhì)量數(shù)據(jù)集的生成，數(shù)據(jù)集成主要對(duì)數(shù)據(jù)進(jìn)行匯集，數(shù)據(jù)治理主要對(duì)各個(gè)來源的數(shù)據(jù)集進(jìn)行統(tǒng)一管理、安全檢查等；平臺(tái)層PaaS對(duì)數(shù)據(jù)、計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源進(jìn)行調(diào)度，例如網(wǎng)關(guān)服務(wù)、數(shù)據(jù)庫(kù)服務(wù)、多租戶管理、鑒權(quán)認(rèn)證，其中對(duì)于存儲(chǔ)的服務(wù)主要有文件服務(wù)、對(duì)象服務(wù)、塊服務(wù)和視頻服務(wù)等；基礎(chǔ)設(shè)施層IaaS構(gòu)建了AIGC的基礎(chǔ)設(shè)施底座，包括計(jì)算資源（CPU、GPU、NPU）、介質(zhì)資源（磁帶、HDD、SSD、內(nèi)存等）、網(wǎng)絡(luò)資源（TCP/IP、In?niBandswitchA等）。在AIGC的整體架構(gòu)中，存儲(chǔ)隨著數(shù)據(jù)流動(dòng)而存在。如圖2-1所示，存儲(chǔ)主要在數(shù)據(jù)層、平臺(tái)層和基礎(chǔ)層，同時(shí)對(duì)應(yīng)用層和模型層起支撐作用。由此可見，在AIGC整體架構(gòu)中，存儲(chǔ)起著至關(guān)重要的作用。當(dāng)前得益于數(shù)據(jù)量的快速增長(zhǎng)和摩爾定律的快速發(fā)展，在更多的場(chǎng)景下，用戶更傾向于借助強(qiáng)大的算力以及數(shù)據(jù)驅(qū)動(dòng)模型進(jìn)步。而人工智能場(chǎng)景也逐漸從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變，算力、算法和數(shù)據(jù)已經(jīng)成為推動(dòng)AIGC發(fā)展的三駕馬車。就人工智能發(fā)展趨勢(shì)和實(shí)際應(yīng)用而言，在AIGC場(chǎng)景中，存儲(chǔ)不再是簡(jiǎn)單的數(shù)據(jù)容器，而是推動(dòng)AIGC發(fā)展的核心組件。 2.1.2AIGC作業(yè)流程下的存儲(chǔ)數(shù)據(jù)流動(dòng) 從數(shù)據(jù)的視角來看，數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理和數(shù)據(jù)歸檔這五個(gè)階段緊密相連，共同支撐AIGC的整體業(yè)務(wù)流程。存儲(chǔ)系統(tǒng)在每個(gè)階段中都扮演著至關(guān)重要的角色，提供不同側(cè)重的支撐，以確保AIGC各層各業(yè)務(wù)模塊能夠高效、安全的運(yùn)行。數(shù)據(jù)采集是AIGC流程的起點(diǎn)，它涉及從各種來源收集原始數(shù)據(jù)，這一過程要求存儲(chǔ)系統(tǒng)具備高吞吐量、可擴(kuò)展性、低延遲高實(shí)時(shí)性、接口多樣性，以應(yīng)對(duì)海量數(shù)據(jù)的及時(shí)收集。數(shù)據(jù)準(zhǔn)備階段要求存儲(chǔ)系統(tǒng)能夠高效讀寫和靈活組織，支持?jǐn)?shù)據(jù)清洗、轉(zhuǎn)換和規(guī)范化以適應(yīng)復(fù)雜的數(shù)據(jù)處理任務(wù)。在訓(xùn)練階段，存儲(chǔ)系統(tǒng)需提供強(qiáng)大的I/O性能和充足的可擴(kuò)展的存儲(chǔ)空間，以支持大規(guī)模數(shù)據(jù)集的高效處理。數(shù)據(jù)推理階段對(duì)存儲(chǔ)系統(tǒng)的穩(wěn)定性和延遲響應(yīng)速度要求極高，以保證內(nèi)容生成的連續(xù)性和流暢性。數(shù)據(jù)歸檔是數(shù)據(jù)首輪生命周期的終點(diǎn)和次輪的起點(diǎn)，它涉及實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行長(zhǎng)期有效存儲(chǔ)和經(jīng)濟(jì)性的平衡。在傳統(tǒng)設(shè)計(jì)策略中，數(shù)據(jù)流動(dòng)通常遵循一個(gè)線性且分離的過程，每個(gè)階段在物理或邏輯上相對(duì)獨(dú)立：數(shù)據(jù)采集階段通常照顧數(shù)據(jù)來源側(cè)的傳輸方式和協(xié)議，將采集的數(shù)據(jù)遷移到獨(dú)立的預(yù)處理系統(tǒng)上，進(jìn)行清洗、格式化和轉(zhuǎn)換；然后將預(yù)處理后的數(shù)據(jù)遷移到訓(xùn)練集群上，這不僅增加了數(shù)據(jù)傳輸?shù)臅r(shí)間，還可能因?yàn)閿?shù)據(jù)傳輸?shù)难舆t影響模型訓(xùn)練的效率；最后模型訓(xùn)練完成后，會(huì)按業(yè)務(wù)需求發(fā)布到數(shù)據(jù)推理生成階段，并定期將數(shù)據(jù)從生產(chǎn)環(huán)境遷移到備份或歸檔存儲(chǔ)中。這種策略涉及到多次數(shù)據(jù)移動(dòng)，耗時(shí)增加，并提高業(yè)務(wù)系統(tǒng)管理存儲(chǔ)的復(fù)雜性和出錯(cuò)的風(fēng)險(xiǎn)，可能導(dǎo)致數(shù)據(jù)一致性和安全性問題。在基于統(tǒng)一數(shù)據(jù)底座的設(shè)計(jì)策略中，存儲(chǔ)數(shù)據(jù)流動(dòng)是一個(gè)連續(xù)的、無縫的過程，每個(gè)階段僅是邏輯上進(jìn)行區(qū)分，在底層都是同一份數(shù)據(jù)以減少數(shù)據(jù)的移動(dòng)和復(fù)制。數(shù)據(jù)采集一方面提供數(shù)據(jù)來源側(cè)的傳輸方式和協(xié)議，另一方面直接與后續(xù)的預(yù)處理階段統(tǒng)一考慮數(shù)據(jù)布局與存儲(chǔ)管理方式，在采集時(shí)就已經(jīng)準(zhǔn)備好進(jìn)行下一步的處理；數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理生成等后續(xù)階段均能夠根據(jù)規(guī)劃和授權(quán)無需拷貝直接訪問數(shù)據(jù)；數(shù)據(jù)歸檔是一個(gè)自動(dòng)化的過程，以減少業(yè)務(wù)管理的復(fù)雜度并平衡好數(shù)據(jù)長(zhǎng)期有效存儲(chǔ)和經(jīng)濟(jì)性存儲(chǔ)。高速并行存儲(chǔ)系統(tǒng)全閃存儲(chǔ)高速并行存儲(chǔ)系統(tǒng)全閃存儲(chǔ)多協(xié)議存儲(chǔ)MetadataserversStorageservers點(diǎn) AI計(jì)算節(jié)點(diǎn)點(diǎn) 胖節(jié)點(diǎn) 可視化節(jié)點(diǎn)用戶&管理員10Gb以太管理網(wǎng)絡(luò)100Gb高速HDR100IB計(jì)算網(wǎng)絡(luò)圖2-2AIGC場(chǎng)景下存儲(chǔ)架構(gòu)圖AIGC各階段對(duì)數(shù)據(jù)存儲(chǔ)的需求 2.2.1階段一：數(shù)據(jù)采集 數(shù)據(jù)采集階段是整個(gè)AIGC流程的基礎(chǔ)，也是決定后續(xù)數(shù)據(jù)質(zhì)量、模型訓(xùn)練效果及最終生成內(nèi)容質(zhì)量的重要環(huán)節(jié)。以下是對(duì)AIGC大模型數(shù)據(jù)采集階段存儲(chǔ)需求的詳細(xì)闡述。（1）大容量：數(shù)據(jù)采集階段面臨的是海量數(shù)據(jù)的收集與處理。隨著互聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)，AIGC系統(tǒng)需要處理的數(shù)據(jù)量動(dòng)輒達(dá)到PB級(jí)別甚至EB級(jí)別。這些數(shù)據(jù)涵蓋文本、圖片、視頻、音頻等多種類型，每一種類型的數(shù)據(jù)都需要大量的存儲(chǔ)空間。因此，存儲(chǔ)系統(tǒng)必須具備基礎(chǔ)的大容量、可擴(kuò)展的特點(diǎn)，以應(yīng)對(duì)AIGC的數(shù)據(jù)存儲(chǔ)空間需求。（2）多協(xié)議：數(shù)據(jù)采集階段涉及的數(shù)據(jù)來源多種多樣，包括互聯(lián)網(wǎng)、企業(yè)內(nèi)部數(shù)據(jù)庫(kù)、物聯(lián)網(wǎng)傳感器等。這些數(shù)據(jù)往往通過不同的協(xié)議進(jìn)行傳輸和存儲(chǔ)，如HTTP、FTP、RTSP議，以便與各種數(shù)據(jù)源順暢對(duì)接，實(shí)現(xiàn)數(shù)據(jù)的無縫采集和傳輸。 2.2.2階段二：數(shù)據(jù)準(zhǔn)備 AIGC大模型的數(shù)據(jù)預(yù)處理階段，涉及對(duì)海量原始數(shù)據(jù)的清洗、整理、轉(zhuǎn)換和增廣等操作，以生成適用于模型訓(xùn)練的高質(zhì)量數(shù)據(jù)集。因此，存儲(chǔ)系統(tǒng)需要滿足以下關(guān)鍵需求：（1）高I/O：數(shù)據(jù)預(yù)處理過程中，存儲(chǔ)系統(tǒng)需支持高速的數(shù)據(jù)讀寫操作，以減少數(shù)據(jù)加載和處理的時(shí)間，提高整體預(yù)處理效率。特別是對(duì)于大規(guī)模數(shù)據(jù)集，快速的數(shù)據(jù)訪問能力尤為關(guān)鍵。（2）高安全：數(shù)據(jù)預(yù)處理是數(shù)據(jù)從原始狀態(tài)到訓(xùn)練輸入的關(guān)鍵步驟，任何數(shù)據(jù)丟失或損壞都可能對(duì)模型訓(xùn)練產(chǎn)生負(fù)面影響。因此，存儲(chǔ)系統(tǒng)需提供可靠的數(shù)據(jù)保護(hù)機(jī)制，如數(shù)據(jù)備份、冗余存儲(chǔ)和故障恢復(fù)等，以確保數(shù)據(jù)的安全性和完整性。（3）易管理：數(shù)據(jù)預(yù)處理涉及多種操作，如數(shù)據(jù)清洗、格式轉(zhuǎn)換、特征提取等，這些操作往往需要根據(jù)具體的數(shù)據(jù)特性和業(yè)務(wù)需求進(jìn)行調(diào)整。存儲(chǔ)系統(tǒng)應(yīng)提供靈活的數(shù)據(jù)管理能力，支持?jǐn)?shù)據(jù)的靈活組織、檢索和更新，以滿足數(shù)據(jù)預(yù)處理過程中的多樣化需求。 2.2.3階段三：數(shù)據(jù)訓(xùn)練 在AIGC大模型的數(shù)據(jù)訓(xùn)練階段，存儲(chǔ)系統(tǒng)的帶寬、容量及IOPS直接影響到模型訓(xùn)練的效率、穩(wěn)定性和最終效果。以下是針對(duì)AIGC大模型數(shù)據(jù)訓(xùn)練階段對(duì)存儲(chǔ)需求的詳細(xì)說明：（1）高I/O、低延遲：數(shù)據(jù)訓(xùn)練階段需要頻繁地從存儲(chǔ)系統(tǒng)中讀取大量數(shù)據(jù)，用以更新模型的參數(shù)和權(quán)重。因此，存儲(chǔ)系統(tǒng)必須具備高性能的讀寫能力，如在萬卡集群、萬億參數(shù)大模型的快速訓(xùn)練時(shí)，需要存儲(chǔ)提供TB級(jí)的帶寬，小模型的訓(xùn)練推理則要求存儲(chǔ)系統(tǒng)提供超過百萬級(jí)的IOPS計(jì)算資源中，減少I/O等待時(shí)間，提高訓(xùn)練效率。（2）快速數(shù)據(jù)檢索與索引:為了提高數(shù)據(jù)訓(xùn)練的效率，存儲(chǔ)系統(tǒng)需要具備快速的數(shù)據(jù)檢索和索引能力。這有助于快速定位到需要的數(shù)據(jù)塊，減少不必要的數(shù)據(jù)讀取和處理時(shí)間。為了實(shí)現(xiàn)這一目標(biāo)，存儲(chǔ)系統(tǒng)可以采用高效的索引結(jié)構(gòu)和算法，如哈希表、B樹等，以支持快速的數(shù)據(jù)檢索和定位。（3）高并發(fā)：AIGC大模型的訓(xùn)練過程往往采用并行處理和分布式訓(xùn)練的策略，以提高訓(xùn)練速度和效率。存儲(chǔ)系統(tǒng)需要支持這種并行和分布式的工作模式，確保多個(gè)計(jì)算節(jié)點(diǎn)能夠同時(shí)訪問和修改存儲(chǔ)系統(tǒng)中的數(shù)據(jù)，而不會(huì)產(chǎn)生數(shù)據(jù)沖突或不一致。這通常要求存儲(chǔ)系統(tǒng)具備分布式鎖、數(shù)據(jù)同步和一致性控制等機(jī)制。（4）易管理：在數(shù)據(jù)訓(xùn)練階段，存儲(chǔ)系統(tǒng)還需要提供靈活的數(shù)據(jù)管理和優(yōu)化功能。這包括數(shù)據(jù)壓縮、去重、緩存管理、冷熱數(shù)據(jù)分離等策略，以優(yōu)化存儲(chǔ)資源的利用率和性能。同時(shí)，還需要支持?jǐn)?shù)據(jù)的動(dòng)態(tài)遷移和平衡，以應(yīng)對(duì)訓(xùn)練過程中計(jì)算資源和存儲(chǔ)資源的變化。 2.2.4階段四：數(shù)據(jù)推理 在AIGC大模型的數(shù)據(jù)推理階段，存儲(chǔ)系統(tǒng)直接影響著模型推理的響應(yīng)速度、效率以及用戶體驗(yàn)。以下是針對(duì)AIGC大模型數(shù)據(jù)推理階段對(duì)存儲(chǔ)需求的詳細(xì)闡述：（1）低時(shí)延：數(shù)據(jù)推理階段要求存儲(chǔ)系統(tǒng)能夠快速響應(yīng)數(shù)據(jù)請(qǐng)求，以支持模型在短時(shí)間內(nèi)完成復(fù)雜計(jì)算并生成結(jié)果。因此，毫秒級(jí)或亞毫秒級(jí)的低時(shí)延的數(shù)據(jù)訪問是首要需求。這要求存儲(chǔ)系統(tǒng)具備高效的數(shù)據(jù)檢索和傳輸機(jī)制，能夠快速定位并傳輸所需數(shù)據(jù)至計(jì)算資源，減少等待時(shí)間，提高推理效率。（2）高并發(fā)：在實(shí)際應(yīng)用場(chǎng)景中，AIGC大模型往往需要同時(shí)處理多個(gè)推理請(qǐng)求，特別是在高并發(fā)場(chǎng)景下，（3）高安全：在數(shù)據(jù)推理階段，保持?jǐn)?shù)據(jù)的一致性和準(zhǔn)確性至關(guān)重要。任何數(shù)據(jù)的微小差異都可能導(dǎo)致推理結(jié)果的顯著變化，從而影響用戶體驗(yàn)和應(yīng)用效果。因此，存儲(chǔ)系統(tǒng)需要提供可靠的數(shù)據(jù)保護(hù)機(jī)制，確保數(shù)據(jù)在傳輸、處理和存儲(chǔ)過程中不被篡改或損壞。同時(shí)，還需要支持?jǐn)?shù)據(jù)校驗(yàn)和驗(yàn)證功能，以確保推理過程中使用的數(shù)據(jù)是準(zhǔn)確無誤的。（4）多協(xié)議：AIGC大模型的數(shù)據(jù)推理可能涉及多種類型的數(shù)據(jù)和復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，如文本、圖像、視頻、音頻等。因此，存儲(chǔ)系統(tǒng)需要提供靈活的數(shù)據(jù)訪問模式，支持多種數(shù)據(jù)格式和訪問協(xié)議，以滿足不同推理場(chǎng)景的需求。此外，還需要支持?jǐn)?shù)據(jù)的快速轉(zhuǎn)換和預(yù)處理，以便在推理過程中快速提取和使用有效信息。 2.2.5階段五：數(shù)據(jù)歸檔 在AIGC大模型數(shù)據(jù)的生命周期中，數(shù)據(jù)歸檔階段是一個(gè)不可忽視的重要環(huán)節(jié)。此階段旨在將模型訓(xùn)練、推理等過程中產(chǎn)生的大量數(shù)據(jù)，以及模型本身和相關(guān)的元數(shù)據(jù)，安全、有序地存儲(chǔ)起來，以便未來可能的查詢、審計(jì)、復(fù)用或進(jìn)一步優(yōu)化。針對(duì)AIGC大模型數(shù)據(jù)歸檔階段，存儲(chǔ)系統(tǒng)需滿足以下關(guān)鍵需求：（1）高可靠：數(shù)據(jù)歸檔的首要目標(biāo)是確保數(shù)據(jù)的長(zhǎng)期保存與耐久性。這意味著存儲(chǔ)系統(tǒng)必須具備高可靠性和長(zhǎng)壽命，能夠抵御物理?yè)p壞、電源故障、自然災(zāi)害等風(fēng)險(xiǎn)，確保數(shù)據(jù)不會(huì)因時(shí)間流逝或外部環(huán)境變化而丟失。此外，還需定期執(zhí)行數(shù)據(jù)完整性檢查和修復(fù)，以保證數(shù)據(jù)的持續(xù)可用性。（2）高擴(kuò)展：AIGC大模型在訓(xùn)練、推理等階段產(chǎn)生的數(shù)據(jù)量巨大，且隨著模型的不斷迭代和升級(jí)，數(shù)據(jù)量還將持續(xù)增長(zhǎng)。因此，存儲(chǔ)系統(tǒng)必須具備大容量和可擴(kuò)展性，能夠容納不斷增長(zhǎng)的歸檔數(shù)據(jù)，并支持靈活的擴(kuò)容操作，以應(yīng)對(duì)未來可能的數(shù)據(jù)增長(zhǎng)需求。（3）易管理：為了提高數(shù)據(jù)歸檔的效率和查詢的便捷性，存儲(chǔ)系統(tǒng)應(yīng)支持?jǐn)?shù)據(jù)的分類存儲(chǔ)和索引功能。通過對(duì)歸檔數(shù)據(jù)進(jìn)行合理的分類和索引，可以方便用戶快速定位到所需數(shù)據(jù)，提高數(shù)據(jù)利用價(jià)值。同時(shí)，分類存儲(chǔ)也有助于優(yōu)化存儲(chǔ)資源的使用，提高存儲(chǔ)效率。（4）高效能：在保障數(shù)據(jù)安全和長(zhǎng)期保存的前提下，存儲(chǔ)系統(tǒng)還需考慮成本效益和能效問題。通過采用高效的存儲(chǔ)技術(shù)和優(yōu)化存儲(chǔ)資源的使用，可以降低存儲(chǔ)成本，提高存儲(chǔ)系統(tǒng)的能效比。同時(shí)，合理的存儲(chǔ)規(guī)劃和管理策略也有助于降低數(shù)據(jù)歸檔的長(zhǎng)期運(yùn)營(yíng)成本。AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)的關(guān)鍵需求如下圖所示，AIGC的各階段對(duì)存儲(chǔ)提出了多方面的需求，對(duì)以上需求進(jìn)行歸納總結(jié)，可以分為存儲(chǔ)對(duì)數(shù)據(jù)數(shù)據(jù)流動(dòng)能力跨介質(zhì)、跨設(shè)備流動(dòng)長(zhǎng)期保存和耐久性

數(shù)據(jù)處理能力流動(dòng)處理AIGC流動(dòng)處理AIGC存儲(chǔ)安全管理數(shù)據(jù)共享能力 共享多協(xié)議互訪互通，靈活數(shù)據(jù)訪問數(shù)據(jù)安全能力可靠數(shù)據(jù)保護(hù)保證數(shù)據(jù)的一致性和準(zhǔn)確性

容納 數(shù)據(jù)容納能力橫向擴(kuò)展大容量存儲(chǔ)數(shù)據(jù)管理能力靈活數(shù)據(jù)管理并行處理，分布式訓(xùn)練圖2-3AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)關(guān)鍵需求圖在AIGC場(chǎng)景下，數(shù)據(jù)的主要類型為非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)呈現(xiàn)大容量的特點(diǎn)，不僅需要存儲(chǔ)具備高性能，還需要有極佳的擴(kuò)展性，能對(duì)數(shù)據(jù)進(jìn)行長(zhǎng)周期存儲(chǔ)?；谝陨戏治?，以上六種能力均需要具備，才能滿足AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)的多樣化需求。第三章AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)的應(yīng)對(duì)技術(shù)第三章AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)的應(yīng)對(duì)技術(shù)從場(chǎng)景需求到技術(shù)應(yīng)對(duì)：數(shù)據(jù)存儲(chǔ)技術(shù)概述在第二章中，我們?cè)敿?xì)分析AIGC場(chǎng)景下從數(shù)據(jù)采集到數(shù)據(jù)歸檔的各個(gè)階段對(duì)存儲(chǔ)系統(tǒng)的特定需求。為了方便分析，對(duì)第二章中所提需求做進(jìn)一步整理，對(duì)整個(gè)AIGC作業(yè)流程的需求分為軟件和硬件兩個(gè)層面。在硬件層面上，為滿足海量數(shù)據(jù)存儲(chǔ)需求，存儲(chǔ)需要具有大容量、可擴(kuò)展，同時(shí)在歸檔階段還需要存儲(chǔ)可長(zhǎng)期保存數(shù)據(jù)，具有耐久性。在軟件功能上，為滿足多模態(tài)數(shù)據(jù)存儲(chǔ)需求，存儲(chǔ)需要支持多種協(xié)議，同時(shí)，為滿足高性能場(chǎng)景的存儲(chǔ)需求、提升大模型訓(xùn)練效率，存儲(chǔ)需要具有高性能、高并發(fā)、低延遲和快速數(shù)據(jù)檢索的功能，支持并行數(shù)據(jù)處理和分布式訓(xùn)練。此外，在整個(gè)流程中，數(shù)據(jù)管理和數(shù)據(jù)治理也是非常重要的需求。在面對(duì)海量數(shù)據(jù)存儲(chǔ)及其復(fù)雜需求時(shí)，分布式存儲(chǔ)與備份歸檔的組合方案展現(xiàn)出了獨(dú)特的優(yōu)勢(shì)，能夠全面滿足這些要求。分布式存儲(chǔ)以其卓越的擴(kuò)展性和大容量的特性，為海量數(shù)據(jù)的持續(xù)增長(zhǎng)提供了堅(jiān)實(shí)的基礎(chǔ)。它能夠根據(jù)實(shí)際需求無縫擴(kuò)展存儲(chǔ)資源，確保數(shù)據(jù)的靈活性和可用性，滿足不斷增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。同時(shí)，分布式存儲(chǔ)能通過優(yōu)化算法和架構(gòu)設(shè)計(jì)來提升性能，滿足高性能存儲(chǔ)需求。在數(shù)據(jù)歸檔階段，備份歸檔方案的重要性尤為凸顯。它確保了重要數(shù)據(jù)能夠長(zhǎng)期保存，并且具備高度的耐久性，有效應(yīng)對(duì)數(shù)據(jù)丟失或損壞的風(fēng)險(xiǎn)。不僅保護(hù)了數(shù)據(jù)的完整性，還通過合理的存儲(chǔ)策略和生命周期管理，優(yōu)化了存儲(chǔ)資源的使用效率。在數(shù)據(jù)管理和數(shù)據(jù)治理方面，通過集成的數(shù)據(jù)管理工具，可以實(shí)現(xiàn)數(shù)據(jù)的集中管理和有效治理，確保數(shù)據(jù)的質(zhì)量、安全性和合規(guī)性。無論是分布式存儲(chǔ)，還是備份歸檔，都是以數(shù)據(jù)存儲(chǔ)的技術(shù)發(fā)展為基礎(chǔ)的，厘清AIGC場(chǎng)景下復(fù)雜數(shù)據(jù)存儲(chǔ)需求的應(yīng)對(duì)技術(shù)是必然要求，也是本研究報(bào)告重點(diǎn)討論的內(nèi)容。數(shù)據(jù)存儲(chǔ)的應(yīng)對(duì)技術(shù)AIGC場(chǎng)景下對(duì)數(shù)據(jù)存儲(chǔ)的多樣化需求促使數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)一步發(fā)展以適應(yīng)其要求，具體來看，AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)的應(yīng)對(duì)技術(shù)可以從六個(gè)維度進(jìn)行論述，分別是：數(shù)據(jù)處理技術(shù)、數(shù)據(jù)容納技術(shù)、數(shù)據(jù)管理技術(shù)、數(shù)據(jù)安全技術(shù)、數(shù)據(jù)共享技術(shù)和數(shù)據(jù)流動(dòng)技術(shù)。 3.2.1數(shù)據(jù)處理技術(shù) （1）數(shù)控分離AIGC應(yīng)用在數(shù)據(jù)處理階段對(duì)存儲(chǔ)系統(tǒng)的訪問性能有極高的要求，包括數(shù)據(jù)采集、訓(xùn)練、推理階段的海量小RDMARDMA客戶ECI/O密集讀寫和大文件讀寫等場(chǎng)景。存儲(chǔ)系統(tǒng)采用數(shù)控分離架構(gòu)，通過將I/O的控制面和數(shù)據(jù)面解耦合，控制面主要負(fù)責(zé)管理數(shù)據(jù)的屬性信息，如位置、大小等，通過優(yōu)化邏輯控制和數(shù)據(jù)管理算法來提高存儲(chǔ)系統(tǒng)的訪問效率和數(shù)據(jù)一致性。而數(shù)據(jù)面則直接負(fù)責(zé)數(shù)據(jù)的讀寫操作。將數(shù)據(jù)管理流和數(shù)據(jù)傳輸流進(jìn)行分離，分別在不同的I/O路徑進(jìn)行處理，各存儲(chǔ)節(jié)點(diǎn)在收到數(shù)據(jù)訪問請(qǐng)求后，即可與客戶端之間直接建立連接發(fā)起數(shù)據(jù)傳輸，大幅降低了數(shù)據(jù)傳輸流在節(jié)點(diǎn)間東西向的轉(zhuǎn)發(fā)操作，可極大地降低由于數(shù)據(jù)在存儲(chǔ)集群節(jié)點(diǎn)間轉(zhuǎn)發(fā)所帶來的網(wǎng)絡(luò)和系統(tǒng)處理開銷，提高系統(tǒng)訪問性能。客戶EC控制流控制流數(shù)據(jù)傳遞數(shù)控分離節(jié)點(diǎn)1節(jié)點(diǎn)2節(jié)點(diǎn)3節(jié)點(diǎn)N圖3-1數(shù)控分離架構(gòu)示意圖（2）內(nèi)核親和力調(diào)度在當(dāng)前的AI基礎(chǔ)設(shè)施平臺(tái)中，計(jì)算服務(wù)器配置非常高，更高性能的CPU和更多的插槽數(shù)帶來了NUMA（Non-UniformMemoryAccess）節(jié)點(diǎn)數(shù)據(jù)的增加。在多核處理器環(huán)境下，會(huì)產(chǎn)生大量的跨NUMA問。如圖3-3所示，在未經(jīng)過NUMA均衡的存儲(chǔ)系統(tǒng)中，存儲(chǔ)的緩存空間集中在單個(gè)NUMA節(jié)點(diǎn)內(nèi)存內(nèi)。當(dāng)請(qǐng)求量增大時(shí)，所有其他NUMA節(jié)點(diǎn)的CPU核的數(shù)據(jù)訪問均集中在單個(gè)Socket內(nèi)，造成了大量跨Socket、跨NUMA訪問。這不僅導(dǎo)致了CPU核的超負(fù)荷運(yùn)載和大量閑置，還使得單次遠(yuǎn)端NUMA節(jié)點(diǎn)訪問造成的微小時(shí)延累積，進(jìn)一步增大整體時(shí)延。為了降低跨NUMA訪問帶來的時(shí)延，通過內(nèi)核親和力調(diào)度技術(shù)，在數(shù)控分離架構(gòu)下使內(nèi)核客戶端可自主控制數(shù)據(jù)頁(yè)緩存分配策略并主動(dòng)接管用戶下發(fā)的I/O任務(wù)。這種方式能夠更加靈活地實(shí)現(xiàn)各類客戶端內(nèi)核態(tài)到遠(yuǎn)端存儲(chǔ)池的數(shù)據(jù)移動(dòng)策略。其中，針對(duì)不同的I/O線程進(jìn)行NUMA感知優(yōu)化，將業(yè)務(wù)讀線程與數(shù)據(jù)自動(dòng)分配到相同的NUMA節(jié)點(diǎn)上，使所有數(shù)據(jù)均在本地NUMA內(nèi)存命中，有效減少了高并發(fā)下NUMA節(jié)點(diǎn)間數(shù)據(jù)傳輸，降低了I/O鏈路時(shí)延并提升內(nèi)存訪問效率，保證各NUMA節(jié)點(diǎn)的負(fù)載均衡。pppppppaapppppppaaaaaaaagggggggeeeeeeeeSocket0NUMANode1pppppppppaaaaaaaaaagggggggggeeeeeeeeeeNUMANode2pppppppppaaaaaaaaaagggggggggeeeeeeeeeeSocket1NUMANode3pppppppppaaaaaaaaaagggggggggeeeeeeeeee文件系統(tǒng)內(nèi)核客戶端15141312GPU111098GPUpagepageNUMANode03210GPU7654GPU遠(yuǎn)程存儲(chǔ)系統(tǒng)圖3-2NUMA均衡效果示意圖遠(yuǎn)程存儲(chǔ)系統(tǒng)（3）小文件聚合小文件聚合也是AIGC場(chǎng)景下實(shí)現(xiàn)文件性能加速的重要手段。具體來看，第一，寫入過程。首先，小文件寫入時(shí)先進(jìn)入到快速層，介質(zhì)是快于HDD的NVME或持久內(nèi)存，配置的EC或副本模式也更快速，對(duì)數(shù)據(jù)進(jìn)行落盤，并記錄元數(shù)據(jù)；然后，文件拼接后形成4MB-10MB的大文件落向HDD層，如果聚合模塊中的數(shù)據(jù)需要釋放時(shí)，更改元數(shù)據(jù)文件，使其數(shù)據(jù)索引到HDD位置，整體過程根據(jù)文件的尺寸不同提升小文件5-10倍的性能。第二，讀出過程。根據(jù)數(shù)據(jù)所在位置分別從聚合層和HDD層讀取，EC算法支持從單分片中讀取，讀取通常不受影響，同時(shí)并發(fā)性能也會(huì)隨之提高。第三，GC過程。如果數(shù)據(jù)刪除過多或產(chǎn)生空洞，后臺(tái)需要進(jìn)行GC的數(shù)據(jù)整理。GC過程的常用方法有兩種：一是搬移數(shù)據(jù)，搬移數(shù)據(jù)可以重新排列得到更多的可用空間利用率，但是大量的搬移則會(huì)占用帶寬和資源，適用于刪除一次就刪掉了大量數(shù)據(jù)且需要重新排布的數(shù)據(jù)較少的場(chǎng)景；二是對(duì)空洞管理的方案，根據(jù)空洞的管理進(jìn)行聚合，性能比較穩(wěn)定，但是磁盤空間利用率低，適用于少量刪除或整體文件尺寸比較平均一致的場(chǎng)景。HDDHDD寫4NVMEECCache（聚合模塊）3File大文件直接寫21小文件File大文件File圖3-3小文件聚合流程圖3.2.2數(shù)據(jù)容納技術(shù)（1）高密硬件設(shè)計(jì)數(shù)據(jù)存儲(chǔ)中的高密硬件設(shè)計(jì)包括高密硬盤設(shè)計(jì)、免工具設(shè)計(jì)、高性能接口、高效散熱設(shè)計(jì)、簡(jiǎn)易維護(hù)設(shè)計(jì)等。分開來看，高密硬盤布局可以在有限的機(jī)箱空間（如4U或5U高度）內(nèi)，通過優(yōu)化硬盤布局和排列方式最大化硬盤數(shù)量；免工具設(shè)計(jì)，旨在方便拆卸，大大縮短運(yùn)維時(shí)間成本，如HDD硬盤框抽屜設(shè)計(jì)，支持單獨(dú)抽出維護(hù)（內(nèi)滑軌+坦克鏈）；高性能接口技術(shù)，如PCIe4.0轉(zhuǎn)SAS4.0、PCIe5.0SI設(shè)計(jì)等，能夠支持更高的帶寬和更低的延遲，滿足AIGC等高性能計(jì)算場(chǎng)景的需求；高效散熱設(shè)計(jì)，如優(yōu)化氣流通道、使用高性能風(fēng)扇和散熱器，以及通過智能溫控技術(shù)配合先進(jìn)的風(fēng)冷系統(tǒng)，可以實(shí)現(xiàn)最佳工作環(huán)境，保障系統(tǒng)穩(wěn)定運(yùn)行；簡(jiǎn)易維護(hù)設(shè)計(jì)，如BMC技術(shù)，技術(shù)人員可以通過Web管理界面、故障診斷LED等指引設(shè)備，并可通過UID指示燈標(biāo)記有故障的機(jī)器，提高系統(tǒng)可用性。（2）大容量存儲(chǔ)介質(zhì)在大容量存儲(chǔ)介質(zhì)方面NAND的崛起為大容量存儲(chǔ)介質(zhì)的發(fā)展提供了契機(jī)。NAND閃存每個(gè)存儲(chǔ)單元可記錄4個(gè)位的數(shù)據(jù)，相比傳統(tǒng)的SLC、MLC、TLC，具有更高的數(shù)據(jù)密度，能夠在相同空間內(nèi)存儲(chǔ)更多的數(shù)據(jù)。由于技術(shù)的快速發(fā)展，當(dāng)前NVMeSSD最大容量已經(jīng)超過百TB，大大提升了高速存儲(chǔ)介質(zhì)的存儲(chǔ)密度。同時(shí)，X-NAND等關(guān)鍵技術(shù)的誕生，也緩解了采用ALC介質(zhì)所帶來的性能下降問題，提升TLC/QLC的性能，進(jìn)而加速Q(mào)LC的普及。而在數(shù)據(jù)的備份歸檔階段，HDD仍然是主要的選擇之一，在HDD內(nèi)部，通過改進(jìn)磁記錄技術(shù)，如采用垂直磁記錄（PMR）和疊瓦式磁記錄（SMR）技術(shù)，可以增加磁盤表面的存儲(chǔ)密度。對(duì)于以讀取為主的冷數(shù)據(jù)存儲(chǔ)場(chǎng)景，這種介質(zhì)能夠在同樣的盤片數(shù)量下實(shí)現(xiàn)更大的存儲(chǔ)容量，滿足AIGC系統(tǒng)中大量歷史數(shù)據(jù)和模型參數(shù)的存儲(chǔ)需求。（3）數(shù)據(jù)壓縮和重刪數(shù)據(jù)壓縮本質(zhì)是通過使用算法和技術(shù)減少數(shù)據(jù)存儲(chǔ)或傳輸過程中所占空間或帶寬的過程。傳統(tǒng)的數(shù)據(jù)壓縮算法包含了無損壓縮（如Hu?man編碼、LZ系列編碼等）和有損壓縮（分形壓縮、小波壓縮等），技術(shù)很難滿足AIGC場(chǎng)景下量大、類多、速度快的數(shù)據(jù)的壓縮需求，新的數(shù)據(jù)壓縮技術(shù)順勢(shì)而生?；旌狭袎嚎s（HCC）技術(shù)以塊的形式組織數(shù)據(jù)，同時(shí)利用行存儲(chǔ)和列存儲(chǔ)的方法存儲(chǔ)數(shù)據(jù)。數(shù)據(jù)一旦被定位，一個(gè)行集合中的列值會(huì)被分組到一起，然后將其進(jìn)行壓縮，待壓縮完成后數(shù)據(jù)會(huì)被存儲(chǔ)到壓縮單元中。利用HCC技術(shù)的倉(cāng)庫(kù)壓縮和存檔壓縮都取得了高效的壓縮比，其中，倉(cāng)庫(kù)壓縮在典型情況下可以提供10：1的壓縮率，存檔壓縮比可以達(dá)到15：1，極大的節(jié)省了存儲(chǔ)空間。此外，存儲(chǔ)系統(tǒng)支持基于固定長(zhǎng)度數(shù)據(jù)塊或可變長(zhǎng)度數(shù)據(jù)塊的重復(fù)數(shù)據(jù)判斷和刪除機(jī)制，通過SHA256等算法計(jì)算數(shù)據(jù)指紋表記錄數(shù)據(jù)特征，當(dāng)有相同指紋特征的數(shù)據(jù)寫入時(shí)只保留一份數(shù)據(jù)，將重復(fù)數(shù)據(jù)刪除，其中基于可變長(zhǎng)度數(shù)據(jù)塊計(jì)算的指紋信息更加靈活和精確，可支持更高的數(shù)據(jù)重刪率。通過數(shù)據(jù)重刪技術(shù)可在重復(fù)數(shù)據(jù)占比較高的數(shù)據(jù)類型存儲(chǔ)時(shí)顯著節(jié)省存儲(chǔ)空間。 3.2.3數(shù)據(jù)管理技術(shù) （1）全局文件系統(tǒng)在AIGC數(shù)據(jù)采集階段得到的數(shù)據(jù)來源廣泛、格式多樣，存儲(chǔ)需要提供不同的接入?yún)f(xié)議，在數(shù)據(jù)訓(xùn)練和數(shù)據(jù)推理階段產(chǎn)生的高價(jià)值數(shù)據(jù)需要在溫冷存儲(chǔ)介質(zhì)中長(zhǎng)期保存，以及在異構(gòu)存儲(chǔ)或跨地域存儲(chǔ)系統(tǒng)之間遷移和保存。大規(guī)模AIGC訓(xùn)練集群可能需要分布在不同地域的多個(gè)智算中心的集群間進(jìn)行數(shù)據(jù)協(xié)作，分享某個(gè)階段訓(xùn)練完成的數(shù)據(jù)，通過存儲(chǔ)系統(tǒng)的全局文件系統(tǒng)管理能力，可支持?jǐn)?shù)據(jù)在跨地域的存儲(chǔ)系統(tǒng)之間以及不同存儲(chǔ)介質(zhì)之間自動(dòng)流動(dòng)，并支持按照設(shè)置的策略對(duì)過期數(shù)據(jù)自動(dòng)刪除，實(shí)現(xiàn)數(shù)據(jù)高效管理。同時(shí)全局文件系統(tǒng)支持基于全閃存介質(zhì)構(gòu)建緩存加速層，提高系統(tǒng)整體的訪問性能。存儲(chǔ)系統(tǒng)管理本地存儲(chǔ)和后端冷存儲(chǔ)介質(zhì)中的全量數(shù)據(jù)及元數(shù)據(jù)，采用全局統(tǒng)一的元數(shù)據(jù)管理機(jī)制，全局文件系統(tǒng)與后端存儲(chǔ)之間的元數(shù)據(jù)同步可采用快照或日志方案?？煺辗桨竿ㄟ^snapdi?inode列表，再遍歷讀取每個(gè)inode的詳細(xì)元數(shù)據(jù)后對(duì)比元數(shù)據(jù)的差異，將差異部分進(jìn)行同步更新。日志方案則需記錄每次元數(shù)據(jù)變更的日志，通過重放日志的方式在另一套存儲(chǔ)系統(tǒng)中將元數(shù)據(jù)構(gòu)建出來，實(shí)現(xiàn)元數(shù)據(jù)的同步。從而保證全局文件系統(tǒng)與后端存儲(chǔ)之間元數(shù)據(jù)的一致性。通過全局元數(shù)據(jù)共享技術(shù)構(gòu)建全局統(tǒng)一命名空間，對(duì)外提供統(tǒng)一的數(shù)據(jù)視圖，可視化呈現(xiàn)熱冷數(shù)據(jù)的分布，檢索系統(tǒng)任意位置的數(shù)據(jù)并進(jìn)行訪問，在高速池上實(shí)現(xiàn)海量百億級(jí)文件秒級(jí)檢索。 3.2.4數(shù)據(jù)安全技術(shù) （1）故障恢復(fù)故障恢復(fù)技術(shù)通過多副本和糾刪碼算法實(shí)現(xiàn)數(shù)據(jù)的冗余保護(hù)，這與中國(guó)傳統(tǒng)醫(yī)學(xué)中的邏輯理念不謀而合,即“治已病”。存儲(chǔ)系統(tǒng)的K+M糾刪碼級(jí)別有：K+1、K+2、K+3和K+4，其中，K代表數(shù)據(jù)塊的數(shù)量機(jī)柜級(jí)或節(jié)點(diǎn)級(jí)的故障。只要系統(tǒng)中同時(shí)故障的節(jié)點(diǎn)數(shù)不超過M，系統(tǒng)就可以持續(xù)提供服務(wù)。通過數(shù)據(jù)重構(gòu)過（2）故障預(yù)測(cè)與故障恢復(fù)不同，故障預(yù)測(cè)是要對(duì)可能發(fā)生的故障進(jìn)行精準(zhǔn)預(yù)測(cè)來實(shí)現(xiàn)對(duì)數(shù)據(jù)保護(hù)，即“治欲病”。存儲(chǔ)SSD和HDD硬盤的健康狀態(tài)參數(shù)進(jìn)行周期性收集分析，結(jié)合硬盤的失效模型對(duì)SSD壽命和HDD盤故障給出精確的預(yù)測(cè)結(jié)果，保障存儲(chǔ)系統(tǒng)長(zhǎng)期穩(wěn)定運(yùn)行。（3）數(shù)據(jù)安全防護(hù)故障預(yù)測(cè)、故障恢復(fù)和數(shù)據(jù)安全防護(hù)構(gòu)成了對(duì)數(shù)據(jù)安全的全方位保護(hù)體系，數(shù)據(jù)安全防護(hù)更強(qiáng)調(diào)在“治未病”中的保護(hù)作用，通過數(shù)據(jù)加密和防病毒技術(shù)實(shí)現(xiàn)數(shù)據(jù)保護(hù)。具體來看，數(shù)據(jù)加密是指存儲(chǔ)系統(tǒng)支持?jǐn)?shù)據(jù)傳輸加密和數(shù)據(jù)存儲(chǔ)加密技術(shù)，使數(shù)據(jù)在傳輸過程到寫入落盤的全過程都保持密文狀態(tài)，防止數(shù)據(jù)被竊取篡改。對(duì)敏感數(shù)據(jù)的訪問擁有認(rèn)證、授權(quán)或加密機(jī)制，對(duì)于認(rèn)證憑據(jù)的安全存儲(chǔ)，在不需要還原明文的場(chǎng)景下，使用不可逆算法加密。通過加密機(jī)制確保了即使非法竊取物理磁盤也無法獲取實(shí)際數(shù)據(jù)，保證非法途徑無法獲取明文數(shù)據(jù)。在讀取數(shù)據(jù)時(shí)通過加密密鑰解密后返回給客戶端，保證數(shù)據(jù)在解密后內(nèi)容不發(fā)生變化。加密算法支持標(biāo)準(zhǔn)AES加密算法及國(guó)密SM4算法等，滿足客戶不同的加密要求。防病毒技術(shù)的實(shí)現(xiàn)主要通過對(duì)系統(tǒng)讀寫IO的實(shí)時(shí)捕獲并進(jìn)行IO行為特征分析，與病毒庫(kù)樣本對(duì)比校驗(yàn)，系統(tǒng)可發(fā)現(xiàn)正常的IO讀寫行為與勒索軟件/惡意軟件的行為差異，及時(shí)偵測(cè)出異常訪問行為，將存疑文件及時(shí)隔離并上報(bào)告警。另外也可通過機(jī)器學(xué)習(xí)模型，對(duì)未和病毒庫(kù)匹配的可疑IO行為并結(jié)合已知病毒樣本的特征進(jìn)行分析，提高病毒攔截的準(zhǔn)確率，確保數(shù)據(jù)安全。 3.2.5數(shù)據(jù)共享技術(shù) （1）多協(xié)議融合互通推理過程不同階段的重復(fù)存儲(chǔ)，并支持?jǐn)?shù)據(jù)的跨協(xié)議、跨區(qū)域、跨系統(tǒng)調(diào)度能力，提高系統(tǒng)的數(shù)據(jù)處理效率。議不同造成的數(shù)據(jù)拷貝，極大提高數(shù)據(jù)訪問和處理效率。 3.2.6數(shù)據(jù)流動(dòng)技術(shù) （1）數(shù)據(jù)分層單一形態(tài)的存儲(chǔ)已無法同時(shí)滿足用戶對(duì)于存儲(chǔ)性能、存儲(chǔ)容量和存儲(chǔ)成本的需求，可通過數(shù)據(jù)分級(jí)功能實(shí)現(xiàn)在兼顧性能和成本的雙重需求下對(duì)數(shù)據(jù)進(jìn)行分類管理和存儲(chǔ)。文件分級(jí)包括分級(jí)遷移和分級(jí)刪除。根據(jù)系統(tǒng)中文件大小、類型、路徑、存放時(shí)間等元數(shù)據(jù)屬性，將滿足用戶所設(shè)置分級(jí)策略的文件分別遷移到不同性能存儲(chǔ)介質(zhì)的存儲(chǔ)池中，或?qū)崿F(xiàn)數(shù)據(jù)的自動(dòng)刪除，從而實(shí)現(xiàn)系統(tǒng)文件的生命周期管理。數(shù)據(jù)分層管理基于數(shù)據(jù)的訪問頻率、重要性以及其他相關(guān)屬性，通過機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)，建立數(shù)據(jù)訪問頻率預(yù)測(cè)模型，準(zhǔn)確識(shí)別出熱數(shù)據(jù)和冷數(shù)據(jù)，并分別存儲(chǔ)在不同的存儲(chǔ)介質(zhì)或存儲(chǔ)層級(jí)上。當(dāng)數(shù)據(jù)在變?yōu)闇乩錉顟B(tài)并滿足設(shè)定的分層遷移策略時(shí)，自動(dòng)遷移到異地的存儲(chǔ)系統(tǒng)中或是不同存儲(chǔ)介質(zhì)的異構(gòu)存儲(chǔ)系統(tǒng)中，當(dāng)后續(xù)的作業(yè)階段觸發(fā)了對(duì)已遷移數(shù)據(jù)的訪問請(qǐng)求時(shí)，自動(dòng)將數(shù)據(jù)回遷至原存儲(chǔ)系統(tǒng)中。通過數(shù)據(jù)分層管理策略實(shí)現(xiàn)數(shù)據(jù)在全生命周期內(nèi)的自動(dòng)遷移和透明流動(dòng)，包括在后端存儲(chǔ)使用磁帶庫(kù)和藍(lán)光存儲(chǔ)等冷存儲(chǔ)介質(zhì)的場(chǎng)景，實(shí)現(xiàn)數(shù)據(jù)在高性能的SSD介質(zhì)、HDD磁盤、以及低成本的冷存儲(chǔ)介質(zhì)之間的高效流轉(zhuǎn)。同時(shí)，存儲(chǔ)系統(tǒng)根據(jù)設(shè)定的存儲(chǔ)策略判斷匹配的存儲(chǔ)池資源，通過自動(dòng)遷移功能按前端I/O負(fù)載的變化調(diào)整數(shù)據(jù)遷移速率，可最大限度地降低數(shù)據(jù)遷移動(dòng)作本身對(duì)系統(tǒng)的性能影響。（2）數(shù)據(jù)跨域流動(dòng)存儲(chǔ)系統(tǒng)支持遠(yuǎn)程復(fù)制功能，實(shí)現(xiàn)數(shù)據(jù)在跨地域的兩套存儲(chǔ)集群間流動(dòng)，提供系統(tǒng)級(jí)的故障冗余保護(hù)。數(shù)據(jù)復(fù)制可采用目錄級(jí)的快照技術(shù)，將主端存儲(chǔ)系統(tǒng)新增快照中的數(shù)據(jù)復(fù)制到從端存儲(chǔ)系統(tǒng)，使得從集群的數(shù)據(jù)和主集群快照保存一致。數(shù)據(jù)同步包括初始同步和增量同步。初始同步采用目錄遍歷對(duì)比的方式，增量同步是基于snapdi?journal能實(shí)現(xiàn)周期性的定時(shí)同步，也可以通過手動(dòng)創(chuàng)建快照，將從集群數(shù)據(jù)同步到某一個(gè)時(shí)刻。第四章AIGC數(shù)據(jù)存儲(chǔ)解決方案及案例第四章AIGC數(shù)據(jù)存儲(chǔ)解決方案及案例AIGC數(shù)據(jù)存儲(chǔ)解決方案AIGC數(shù)據(jù)存儲(chǔ)解決方案采用分布式存儲(chǔ)和備份歸檔作為存儲(chǔ)底座。采用不同盤位的分布式全閃和混閃存儲(chǔ)與備份歸檔存儲(chǔ)共同構(gòu)建統(tǒng)一資源池，分布式并行存儲(chǔ)的burstbu?er功能，能夠智能識(shí)別熱點(diǎn)數(shù)據(jù)，精準(zhǔn)分級(jí)。統(tǒng)一資源池和全局文件系統(tǒng)能保證數(shù)據(jù)跨介質(zhì)、跨設(shè)備流動(dòng)，防止形成數(shù)據(jù)孤島，備份歸檔的存儲(chǔ)特性則保證數(shù)據(jù)的長(zhǎng)期保存和耐久性，具備數(shù)據(jù)流動(dòng)能力。基于數(shù)控分離架構(gòu)、內(nèi)核親和力調(diào)度、多任務(wù)并行無鎖I/O和GPU直通存儲(chǔ)等技術(shù)，當(dāng)前方案可以讀寫速度不同的存儲(chǔ)介質(zhì)作為AIGC不同階段的存儲(chǔ)池，滿足全流程的數(shù)據(jù)讀寫要求。在高速存儲(chǔ)池上，當(dāng)前方案可提供百GB/s的大帶寬、百萬級(jí)IOPS和毫秒級(jí)低時(shí)延，具備強(qiáng)大的數(shù)據(jù)處理能力。 文本生成 音頻生成 圖像生成 視頻生成 代碼生成 多模態(tài) 大容量、多協(xié)議共享百萬-千萬IOPS100GB-TB級(jí)帶寬節(jié)能、能耗、歸檔AI智能運(yùn)維數(shù)據(jù)采集數(shù)據(jù)采集數(shù)據(jù)準(zhǔn)備數(shù)據(jù)訓(xùn)練數(shù)據(jù)推理數(shù)據(jù)歸檔HDDHDDHDDHDDHDDHDDHDDNVMeNVMeNVMeNVMeNVMeNVMeNVMeHDDHDDHDDHDDHDDHDDHDDNVMeNVMeNVMeNVMeNVMeNVMeNVMeAS13000帶庫(kù)/光盤一套存儲(chǔ)提供全閃、混閃、帶庫(kù)、光盤四種介質(zhì)，提供文件、對(duì)象、大數(shù)據(jù)、視頻、塊協(xié)議圖4-1AIGC場(chǎng)景下分布式存儲(chǔ)多協(xié)議融合互通一套存儲(chǔ)提供全閃、混閃、帶庫(kù)、光盤四種介質(zhì)，提供文件、對(duì)象、大數(shù)據(jù)、視頻、塊協(xié)議1.4PB-2.3PB。同時(shí)，此方案使用HDD疊瓦式磁記錄(SMR)、二維磁記錄(TDMR)、點(diǎn)陣式磁記錄(BPMR)以及能量輔助磁記錄，以降低冷數(shù)據(jù)歸檔存儲(chǔ)成本，具備強(qiáng)大的數(shù)據(jù)容納能力?；诜植际酱鎯?chǔ)架構(gòu)和數(shù)據(jù)、元數(shù)據(jù)管理功能，則可對(duì)外提供數(shù)據(jù)并行處理、模型分布式訓(xùn)練的數(shù)據(jù)管理能力。存儲(chǔ)系統(tǒng)發(fā)生故障時(shí)會(huì)導(dǎo)致數(shù)據(jù)讀寫操作失敗、降低CHK讀寫性能，影響訓(xùn)練效率。字節(jié)級(jí)分布式鎖、系統(tǒng)故障快速恢復(fù)、系統(tǒng)故障預(yù)測(cè)和系統(tǒng)防護(hù)相結(jié)合，可以加快故障恢復(fù)、提前預(yù)測(cè)故障和進(jìn)行系統(tǒng)防護(hù)，達(dá)到為存儲(chǔ)底座提供全方位保護(hù)的效果，保證數(shù)據(jù)安全?；诜植际酱鎯?chǔ)多協(xié)議融合互通的功能，該方案可實(shí)現(xiàn)同時(shí)支持文件、對(duì)象和大數(shù)據(jù)存儲(chǔ)服務(wù)，對(duì)外同時(shí)提供POSIX、NFS、CIFS、FTP、FTPS、HTTP、HDFS、S3和CSI等多種數(shù)據(jù)協(xié)議，實(shí)現(xiàn)不同協(xié)議下用戶權(quán)限共享、語(yǔ)義無損、性能一致，同時(shí)數(shù)據(jù)在存儲(chǔ)池內(nèi)僅保存一份，但是可以通過多種協(xié)議訪問，避免不同協(xié)議下數(shù)據(jù)的拷貝，節(jié)省50%的數(shù)據(jù)存儲(chǔ)空間。而通過全局元數(shù)據(jù)共享技術(shù)則可以構(gòu)建統(tǒng)一命名空間，支持跨平臺(tái)、跨形態(tài)、跨地域的全局?jǐn)?shù)據(jù)管理，并對(duì)外提供統(tǒng)一的數(shù)據(jù)視圖，用戶可方便地檢索任意位置系統(tǒng)的數(shù)據(jù)并進(jìn)行訪問，在高速池上可實(shí)現(xiàn)10億文件秒級(jí)檢索，體現(xiàn)了此方案的數(shù)據(jù)共享能力。綜上所述，基于分布式存儲(chǔ)和備份歸檔的AIGC數(shù)據(jù)存儲(chǔ)解決方案具備數(shù)據(jù)流動(dòng)、處理、容納、管理、安全和共享六種能力，滿足數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理和數(shù)據(jù)歸檔五個(gè)階段的存儲(chǔ)要求，可以提供端到端的數(shù)據(jù)支持，滿足面向文本、音頻、圖像、視頻、代碼以及多模態(tài)和全模態(tài)的大模型數(shù)據(jù)處理的需求。AIGC數(shù)據(jù)存儲(chǔ)經(jīng)典案例 4.2.1案例一 項(xiàng)目背景：上海某大學(xué)服務(wù)國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略，瞄準(zhǔn)基礎(chǔ)學(xué)科研究的前沿領(lǐng)域，推動(dòng)學(xué)科交叉和科教融合，在光子科學(xué)、人工智能、生物醫(yī)藥、能源科學(xué)等重大創(chuàng)新領(lǐng)域積極布局，是一所小規(guī)模、高水平、國(guó)際化研究型、創(chuàng)新型的大學(xué)。該大學(xué)和某存儲(chǔ)廠商合作以計(jì)算和存儲(chǔ)為平臺(tái)融合新技術(shù)應(yīng)用，推進(jìn)重大科研創(chuàng)新平臺(tái)建設(shè)，提升創(chuàng)新體系效能，加速科技創(chuàng)新，共同搭建跨學(xué)科多模態(tài)人工智能計(jì)算平臺(tái)。面向多模態(tài)大模型訓(xùn)練，搭建了跨學(xué)科技術(shù)研究的平臺(tái)，滿足了數(shù)字材料、生命制藥、芯片制造、數(shù)字孿生、人機(jī)協(xié)作等多個(gè)研究方向的大模型科研需求。解決方案：存儲(chǔ)集群采用先進(jìn)的全閃存分布式存儲(chǔ)系統(tǒng)，提供高帶寬和高IOPS，同時(shí)存儲(chǔ)集群支持高冗余模式，即當(dāng)某節(jié)點(diǎn)出現(xiàn)故障時(shí)，可以自動(dòng)切換至備用節(jié)點(diǎn)，提供存儲(chǔ)系統(tǒng)的高可用性，保障科研平臺(tái)數(shù)據(jù)不丟失，保證了數(shù)據(jù)安全性和項(xiàng)目課題運(yùn)行的持續(xù)性。根據(jù)后期業(yè)務(wù)的增長(zhǎng)，長(zhǎng)期存儲(chǔ)系統(tǒng)在線橫向擴(kuò)展新的存儲(chǔ)節(jié)點(diǎn)，系統(tǒng)的性能和容量會(huì)隨著節(jié)點(diǎn)數(shù)量的增加線性增長(zhǎng)，為科研項(xiàng)目的持續(xù)研究保駕護(hù)航?？蛻魞r(jià)值：以上存儲(chǔ)解決方案為計(jì)算平臺(tái)提供超高的性能支持，可達(dá)400萬IOPS和500GB帶寬，滿足大模型訓(xùn)練過程中大規(guī)模數(shù)據(jù)讀寫的帶寬需求，有效避免大模型訓(xùn)練過程中大量小文件token讀取時(shí)延的問題，滿足整個(gè)存儲(chǔ)資源的整體性能。同時(shí)，該方案可提供全數(shù)據(jù)生命周期管理的能力，實(shí)現(xiàn)數(shù)據(jù)按熱度進(jìn)行流動(dòng)、提供熱、溫、冷、冰四級(jí)存儲(chǔ)介質(zhì)，實(shí)現(xiàn)高效、節(jié)能的數(shù)據(jù)分級(jí)存儲(chǔ)。在上層，智能化運(yùn)維管理平臺(tái)，采用AIOPS主動(dòng)運(yùn)維監(jiān)控、預(yù)測(cè)分析、提升管理效率、降低運(yùn)維成本。以上功能特性滿足AIGC模型訓(xùn)練場(chǎng)景下極低時(shí)延與極高IOPS需求。滿足跨學(xué)科領(lǐng)域研究的需求，為智慧醫(yī)療、智能感知、人機(jī)協(xié)同、數(shù)字孿生、材料發(fā)現(xiàn)、芯片制造、視覺影像多個(gè)研究方向的大模型研究提供了安全可靠的數(shù)據(jù)存儲(chǔ)底座。價(jià)值收益IOPS≥400萬，模型毫秒級(jí)讀寫，縮短訓(xùn)練等待時(shí)間40%價(jià)值收益IOPS≥400萬，模型毫秒級(jí)讀寫，縮短訓(xùn)練等待時(shí)間40%文件、對(duì)象融合存儲(chǔ)，TCO降低30%解決方案HDRIB交換機(jī)全NVMe資源池20*AS1300024盤位全閃節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)數(shù)據(jù)匯集數(shù)據(jù)處理數(shù)據(jù)訓(xùn)練數(shù)據(jù)推理數(shù)據(jù)匯集數(shù)據(jù)處理數(shù)據(jù)訓(xùn)練數(shù)據(jù)推理AI相關(guān)五學(xué)科、數(shù)百人、多站點(diǎn)導(dǎo)入，數(shù)據(jù)多源多態(tài)多模型、百GB數(shù)據(jù)在線操作小文件快速訪問要求高圖4-2案例一解決方案圖 4.2.2案例二 項(xiàng)目背景：隨著AIGC大模型的快速發(fā)展，對(duì)于稀缺計(jì)算資源的需求越來越大，在拓展AIGC模型訓(xùn)練和推理時(shí)，如何構(gòu)解決方案：價(jià)值收益異構(gòu)數(shù)據(jù)管理和多租戶共享協(xié)議高效互通，快速流轉(zhuǎn)數(shù)據(jù)的分級(jí)策略有效管理熱溫?cái)?shù)據(jù)解決方案HOME目錄 工具鏡像倉(cāng)庫(kù) 容器持久存儲(chǔ)高速網(wǎng)絡(luò)高速網(wǎng)絡(luò)圖4-3二級(jí)容量存儲(chǔ)池高速全閃存儲(chǔ)池某存儲(chǔ)方案可以將各種異構(gòu)計(jì)算匯聚，共享硬件資源（包括CPU價(jià)值收益異構(gòu)數(shù)據(jù)管理和多租戶共享協(xié)議高效互通，快速流轉(zhuǎn)數(shù)據(jù)的分級(jí)策略有效管理熱溫?cái)?shù)據(jù)解決方案HOME目錄 工具鏡像倉(cāng)庫(kù) 容器持久存儲(chǔ)高速網(wǎng)絡(luò)高速網(wǎng)絡(luò)圖4-3二級(jí)容量存儲(chǔ)池高速全閃存儲(chǔ)池需求痛點(diǎn)復(fù)雜數(shù)據(jù)特征的有效管理需求痛點(diǎn)復(fù)雜數(shù)據(jù)特征的有效管理集群節(jié)點(diǎn)間的高效數(shù)據(jù)交換最大化釋放大模型算力文件存儲(chǔ)文件存儲(chǔ)塊存儲(chǔ)登錄服務(wù)器計(jì)算節(jié)點(diǎn)客戶價(jià)值：該方案的平臺(tái)配置的存儲(chǔ)系統(tǒng)采取分級(jí)策略，配置一級(jí)高性能存儲(chǔ)+二級(jí)大容量存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)在不同層級(jí)間自由流轉(zhuǎn)。存儲(chǔ)模塊全部支持多種存儲(chǔ)類型，多種功能模塊協(xié)同工作，打破單一軟硬件技術(shù)壁壘，使業(yè)務(wù)運(yùn)行更加順暢。并且該方案提供閃存存儲(chǔ)空間300TB，存儲(chǔ)吞吐可達(dá)100GB/s+。該解決方案配備高性能存儲(chǔ)系統(tǒng)，為用戶提供強(qiáng)大、高效的數(shù)據(jù)存儲(chǔ)空間和數(shù)據(jù)訪問的能力，同時(shí)提供了多種數(shù)據(jù)特征提取、整合，多維度動(dòng)態(tài)組織數(shù)據(jù)集的能力，為用戶“再創(chuàng)新，再發(fā)現(xiàn)”提供了強(qiáng)力的工具。計(jì)算模塊提供了異構(gòu)計(jì)算框架的兼容能力，復(fù)雜流程的解析能力/并發(fā)能力和異構(gòu)資源的高效利用能力。實(shí)現(xiàn)一套集群中多種業(yè)務(wù)并行，多種計(jì)算并行，多租戶共享。 4.2.3案例三 項(xiàng)目背景：某醫(yī)學(xué)研究中心，主要業(yè)務(wù)為醫(yī)學(xué)影像，如X光片、CT（計(jì)算機(jī)斷層掃描）、MRI（磁共振成像）等的分析AIGC數(shù)據(jù)存儲(chǔ)技術(shù)研究報(bào)告求。其中，配置了全閃存儲(chǔ)集群來支持?jǐn)?shù)百億參數(shù)的醫(yī)學(xué)影像生成模型的訓(xùn)練和推理，通過提供高性能存儲(chǔ)解決方案，保證訓(xùn)練、推理各個(gè)階段數(shù)據(jù)傳輸效率和數(shù)據(jù)的安全性?？蛻粜枰惶赘咝阅艿娜W存儲(chǔ)系統(tǒng)，支持?jǐn)?shù)百億參數(shù)的醫(yī)學(xué)影像生成模型訓(xùn)練，規(guī)劃3PB全閃存儲(chǔ)集群，要求聚合帶寬200GB/s，集群OPS達(dá)到350萬。為了支持?jǐn)?shù)據(jù)采集、預(yù)處理和歸檔，客戶還需要一套大容量的混閃存儲(chǔ)系統(tǒng)，規(guī)劃30PB混閃存儲(chǔ)集群，要求性能達(dá)到50GB/s，集群OPS為135萬。醫(yī)療數(shù)據(jù)的安全和隱私保護(hù)至關(guān)重要，客戶要求存儲(chǔ)系統(tǒng)在保證高性能的同時(shí)，必須具備強(qiáng)大的數(shù)據(jù)安全和隱私保護(hù)機(jī)制。解決方案：為滿足大規(guī)模醫(yī)學(xué)影像生成模型訓(xùn)練的需求，提供一套3PB的全閃存儲(chǔ)集群，與500節(jié)點(diǎn)的算力集群進(jìn)行交互。全閃存儲(chǔ)集群主要負(fù)責(zé)支撐AI模型訓(xùn)練和推理流程，滿足客戶對(duì)存儲(chǔ)集群帶寬和OPS集、預(yù)處理和歸檔階段的需求，配備30PB的采集、預(yù)處理和歸檔存儲(chǔ)。針對(duì)數(shù)據(jù)安全和隱私保護(hù)需求，通過數(shù)據(jù)傳輸和存儲(chǔ)的加密以及嚴(yán)格的訪問控制和審計(jì)策略來確保。需求痛點(diǎn)海量數(shù)據(jù)，按需擴(kuò)展多模態(tài)和跨模態(tài)數(shù)據(jù)管理需求痛點(diǎn)海量數(shù)據(jù)，按需擴(kuò)展多模態(tài)和跨模態(tài)數(shù)據(jù)管理數(shù)百億訓(xùn)練高性能要求解決方案數(shù)據(jù)采集 數(shù)據(jù)處理 數(shù)據(jù)訓(xùn)練 數(shù)據(jù)推理圖4-4混閃集群全閃集群流轉(zhuǎn)客戶價(jià)值分布式架構(gòu)在線靈活擴(kuò)展數(shù)據(jù)生命周期管理全閃存儲(chǔ)高200GB帶寬，350萬OPS客戶價(jià)值：數(shù)據(jù)預(yù)處理階段有大量醫(yī)學(xué)影像數(shù)據(jù)需要快速上傳和預(yù)處理。通過優(yōu)化數(shù)據(jù)路徑，減少數(shù)據(jù)傳輸路徑中的瓶頸，提高上傳和預(yù)處理速度。通過并發(fā)優(yōu)化算法，提升多客戶端同時(shí)上傳和處理數(shù)據(jù)的效率（上傳速率和性能），利用智能緩存技術(shù)，加快常用數(shù)據(jù)的訪問速度，高并發(fā)上傳和智能緩存技術(shù)使數(shù)據(jù)處理時(shí)間節(jié)省30%。模型訓(xùn)練階段深度學(xué)習(xí)模型訓(xùn)練需要高性能存儲(chǔ)系統(tǒng)，訓(xùn)練過程中需要頻繁讀取和寫入大量數(shù)據(jù)，因此需要較高的吞吐性能，3PB全閃存儲(chǔ)集群支持高帶寬和高OPS，滿足深度學(xué)習(xí)模型訓(xùn)練需求。數(shù)據(jù)分片和并行處理技術(shù)通過將大文件分成多個(gè)小塊存儲(chǔ)和處理，提高數(shù)據(jù)存儲(chǔ)和訪問效率。通過內(nèi)置的智能調(diào)度算法自動(dòng)調(diào)整存儲(chǔ)資源分配，確保高性能需求的訓(xùn)練任務(wù)順利進(jìn)行。通過全局去重技術(shù)，減少重復(fù)數(shù)據(jù)存儲(chǔ)量，提升存儲(chǔ)利用率。全閃存儲(chǔ)集群優(yōu)化后，聚合帶寬達(dá)到250GB/s，OPS超過400萬，訓(xùn)練和推理效率提升110%護(hù)機(jī)制確保醫(yī)療數(shù)據(jù)的安全性和隱私保護(hù)，提升系統(tǒng)的合規(guī)性和可靠性，確保了研究中心醫(yī)療影像數(shù)據(jù)安全的相關(guān)保密規(guī)定得到嚴(yán)格落實(shí)。 4.2.4案例四 項(xiàng)目背景：某金融公司的實(shí)際業(yè)務(wù)中數(shù)據(jù)量巨大，且以非結(jié)構(gòu)化數(shù)據(jù)類型為主，除了需要存儲(chǔ)系統(tǒng)具備提供多種存儲(chǔ)服務(wù)的能力之外，對(duì)數(shù)據(jù)存取的性能也有較高的要求。在以往的業(yè)務(wù)流程中，數(shù)據(jù)存取性能是整個(gè)分析建模和訓(xùn)練過程中的最主要的瓶頸。同時(shí)，該類用戶對(duì)數(shù)據(jù)處理和分析的性能也有嚴(yán)苛要求，要求具有充分利用資源進(jìn)行并發(fā)計(jì)算的能力。解決方案：首先，底層采用分布式全閃系統(tǒng)來支撐金融數(shù)據(jù)的高效存取，配合端到端的Roce或者IB的網(wǎng)絡(luò)，提供卓越的數(shù)據(jù)存儲(chǔ)吞吐和IOPS，支撐金融數(shù)據(jù)的高效存取。其次，采用可以提供文件/塊/對(duì)象等多種存儲(chǔ)服務(wù)的統(tǒng)一存儲(chǔ)系統(tǒng)，為量化分析需要的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)一的存儲(chǔ)引擎。最后，在應(yīng)用層配合分布式計(jì)算系統(tǒng)來整合計(jì)算資源，并且利用高級(jí)調(diào)度策略確保最大化的計(jì)算資源利用率。需求痛點(diǎn)GPU訪問存儲(chǔ)的效率小文件高IOPS和低延時(shí)需求痛點(diǎn)GPU訪問存儲(chǔ)的效率小文件高IOPS和低延時(shí)金融海量數(shù)據(jù)分析處理解決方案容器服務(wù) 模型訓(xùn)練 分析任務(wù) 高頻交易全閃存分布式存儲(chǔ)系統(tǒng)圖4-5分布式計(jì)算系統(tǒng)客戶價(jià)值支持GDSGPU直通訪問高性能全閃并行文件系統(tǒng)文件/對(duì)象/大數(shù)據(jù)協(xié)議融合客戶價(jià)值：該方案不僅提供了極高的IOPS，還具備了極低的延遲和極強(qiáng)的小文件讀寫能力以及元數(shù)據(jù)處理能力。在面對(duì)海量小文件場(chǎng)景下，性能無衰減。配合分布式計(jì)算系統(tǒng)，可以承載多種分析應(yīng)用，并且通過進(jìn)程和容器的方式運(yùn)行批量計(jì)算、并行計(jì)算，動(dòng)態(tài)高效分配資源。提供對(duì)GPU等稀缺資源的管理和調(diào)度能力，高效利用人工智能技術(shù)助力量化分析流程。面對(duì)智能分析數(shù)據(jù)處理過程中的性能瓶頸，通過計(jì)算和存儲(chǔ)的協(xié)同，解決了I/O瓶頸帶來的分析效率低下和計(jì)算資源利用率低的問題。第五章AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)發(fā)展的未來趨勢(shì)與展望第五章AIGC場(chǎng)景下數(shù)據(jù)存儲(chǔ)發(fā)展的未來趨勢(shì)與展望未來趨勢(shì) 5.1.1數(shù)據(jù)綠色存儲(chǔ)愈發(fā)成為關(guān)注的焦點(diǎn) 隨著AIGC產(chǎn)業(yè)的大力發(fā)展，各地方政府也在積極推進(jìn)大型智算中心的構(gòu)建，例如北京、深圳、上海等地已經(jīng)出臺(tái)了多種布局算力基礎(chǔ)設(shè)施的實(shí)施方案。目前，國(guó)內(nèi)單個(gè)智算中心的存儲(chǔ)規(guī)模均在EB級(jí)，智算中心的規(guī)模和數(shù)量不斷擴(kuò)大，帶來了存儲(chǔ)的能耗的快速上升。相關(guān)數(shù)據(jù)顯示，2023年，全國(guó)數(shù)據(jù)中心耗電量達(dá)到2700億千瓦時(shí)，占社會(huì)總用電量的3%。而智算中心引入了更多的算力相關(guān)設(shè)備，其耗電量將遠(yuǎn)高于同等規(guī)模的數(shù)據(jù)中心。根據(jù)斯坦福人工智能研究院發(fā)布的《2023年人工智能指數(shù)報(bào)告》顯示，GPT-3單次訓(xùn)練耗電量就已高達(dá)128720%，50%，存儲(chǔ)能耗中80%于存儲(chǔ)介質(zhì)。目前主流的存儲(chǔ)介質(zhì)主要包括HDD磁盤和SSD磁盤。其中HDD磁盤功耗大約在6W以上，而SSD磁盤在靜態(tài)無負(fù)荷條件下，功耗僅大約在0.05W到1.2W之間。然而，由于SSD單盤價(jià)格相對(duì)較高，且在相同容量下，需要更多數(shù)量的HDD，直接導(dǎo)致存儲(chǔ)的總能耗大幅上升，嚴(yán)重阻礙國(guó)內(nèi)“碳達(dá)峰&碳中和”的進(jìn)展。對(duì)于滿足AIGC高性能需求的同時(shí)提升存儲(chǔ)系統(tǒng)的能效比并降低能耗成本這一問題，各存儲(chǔ)廠商紛紛出臺(tái)了相應(yīng)的解決方案。比較典型的有以下幾種，一是采用能耗更低的全閃存存儲(chǔ)（All-FlashStorage,AFS）存存儲(chǔ)方案。全閃存存儲(chǔ)利用固態(tài)硬盤（SSD）的高速讀寫能力，提供極低的延遲和高吞吐量，非常適合AIGC應(yīng)用中的實(shí)時(shí)數(shù)據(jù)處理需求?；扉W存存儲(chǔ)則結(jié)合了SSD和傳統(tǒng)硬盤驅(qū)動(dòng)器（HDD），通過智能數(shù)據(jù)分層技術(shù)，將最活躍的數(shù)據(jù)存儲(chǔ)在SSD上，而將較少訪問的數(shù)據(jù)存儲(chǔ)在HDD上，從而在性能和成本之間取得平衡。二是智能數(shù)據(jù)管理策略。這些策略包括自動(dòng)數(shù)據(jù)分層，它根據(jù)數(shù)據(jù)訪問的頻率和模式，動(dòng)態(tài)地將數(shù)據(jù)在不同存儲(chǔ)層之間遷移。通過冷數(shù)據(jù)歸檔技術(shù)將不常訪問的數(shù)據(jù)移動(dòng)到更節(jié)能的存儲(chǔ)介質(zhì)上，減少對(duì)高性能存儲(chǔ)資源的需求，減少不必要的數(shù)據(jù)存儲(chǔ)和訪問。此外，還有在數(shù)據(jù)中心的存儲(chǔ)中實(shí)施數(shù)據(jù)去重和壓縮技術(shù)，減少存儲(chǔ)需求以及利用軟件定義存儲(chǔ)和存儲(chǔ)虛擬化技術(shù)提高資源利用率等技術(shù)。這些綠色存儲(chǔ)技術(shù)的實(shí)施有助于提高存儲(chǔ)系統(tǒng)的能效，降低企業(yè)存儲(chǔ)成本，為未來存儲(chǔ)技術(shù)的發(fā)展提供了新的思路。 5.1.2數(shù)據(jù)安全存儲(chǔ)的重要性日益凸顯 隨著AIGC在各領(lǐng)域的廣泛應(yīng)用，數(shù)據(jù)已成為越來越重要的資產(chǎn)。目前來看，AIGC場(chǎng)景下性能成為廠商和用戶關(guān)注的焦點(diǎn)，嚴(yán)重缺乏對(duì)數(shù)據(jù)的嚴(yán)格監(jiān)管和風(fēng)險(xiǎn)識(shí)別，尤其是在醫(yī)療、金融、法律等非公開的數(shù)據(jù)方面，由于缺乏數(shù)據(jù)安全防護(hù)，在各類惡意攻擊下，數(shù)據(jù)信息被嚴(yán)重泄露，制約AIGC應(yīng)用的發(fā)展。在模型攻擊中，攻擊者可通過逆向工程或者對(duì)抗攻擊，竊取模型訓(xùn)練采用的隱私數(shù)據(jù)。在數(shù)據(jù)遷移或數(shù)據(jù)處理中，攻擊者篡改訓(xùn)練數(shù)據(jù)內(nèi)個(gè)人原始信息，操控模型生成意向。例如，攻擊者可在金融大模型中篡改貸款用戶的貸款歷史和信譽(yù)度信息，從而降低各類人群的貸款信譽(yù)度。存儲(chǔ)作為數(shù)據(jù)的載體，除了考慮性能和管理，也需要制定安全等級(jí)，全方位識(shí)別數(shù)據(jù)風(fēng)險(xiǎn)和數(shù)據(jù)安全問題，從數(shù)據(jù)移動(dòng)過程中涉及的存儲(chǔ)區(qū)域、存儲(chǔ)介質(zhì)、軟件棧進(jìn)行全面數(shù)據(jù)加密和權(quán)限認(rèn)證，防止AIGC各個(gè)階段的數(shù)據(jù)篡改和惡意提取。