阿里云存儲(chǔ)面向AI 的能力升級(jí)白皮書(shū)（2024版）

阿里云存儲(chǔ)面向AIData+AI時(shí)代，云存儲(chǔ)如何進(jìn)化AI的發(fā)展不僅依賴于大量的數(shù)據(jù)，而且在AI應(yīng)用中需要快速處理和分析龐大的數(shù)據(jù)集，.任意接口（AnyInterface意味著存.任意位置（Anywhere強(qiáng)調(diào)存儲(chǔ)系統(tǒng)的數(shù)據(jù)可以在不同地理位置的數(shù)據(jù)中心之間靈活遷.任意數(shù)據(jù)（AnyData表示存儲(chǔ)系統(tǒng)能夠處理各種類型的數(shù)據(jù)，無(wú)論是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)..智能修復(fù)（AI-Healing）：利用AI技術(shù)對(duì)存儲(chǔ)系統(tǒng)中的潛在問(wèn)題進(jìn)行預(yù)測(cè)和自動(dòng)修復(fù)，減少.智能管理（AI-Management通過(guò)AI算法優(yōu)化存儲(chǔ)資源的分配和調(diào)度，智能生成（AI-Generation指的是存儲(chǔ)系統(tǒng)能夠利用AI技術(shù)生成智能報(bào)告和洞察，幫助用CONTENTS01StorageforAI02AIinStorage在AI時(shí)代，云存儲(chǔ)需要高性能升級(jí)以滿足大批量數(shù)據(jù)的快速處理需求、支持大規(guī)模AI模在AI時(shí)代，云存儲(chǔ)需要高性能升級(jí)以滿足大批量數(shù)據(jù)的快速處理需求、支持大規(guī)模AI模型訓(xùn)練和推理、實(shí)現(xiàn)低延遲的數(shù)據(jù)訪問(wèn)，以及適應(yīng)不斷增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。此外，高性能存儲(chǔ)有助于提升數(shù)據(jù)處理效率，優(yōu)化AI應(yīng)用響應(yīng)時(shí)間，保障數(shù)據(jù)安全和隱私，以及支持存儲(chǔ)系統(tǒng)的可擴(kuò)展性。這些升級(jí)對(duì)于實(shí)現(xiàn)AI技術(shù)在各行業(yè)的廣泛應(yīng)用和推動(dòng)數(shù)字化Preview資源池Qos實(shí)現(xiàn)多業(yè)務(wù)共池性能隔離多個(gè)Preview資源池Qos實(shí)現(xiàn)多業(yè)務(wù)共池性能隔離多個(gè)Bucket統(tǒng)一資源池，共享吞吐&QPS支持靈活調(diào)配，降低不同業(yè)務(wù)之間影響更多地域默認(rèn)性能提升加速器更高性能，更低門檻Preview杭州、新加坡支持單個(gè)賬號(hào)默認(rèn)100Gbps加速器性能密度提升50%，容量門檻降低99%·OSS加速器：進(jìn)一步提升熱數(shù)據(jù)性能，起步容量降低到50GB，性能密度提升至30·客戶端和工具優(yōu)化：OSSFS模型加載和文件list性能進(jìn)一步提升，滿足交互式開(kāi)發(fā)或容器環(huán)境下對(duì)讀寫(xiě)全新發(fā)布支持Map-style&Iterable-styledatasets面向訓(xùn)練集數(shù)據(jù)高吞吐拉取全新發(fā)布面向StableDi?usion推理模型快速加載直讀模式，CKPT模型加載性能提升3.6倍·同時(shí)CPFS單文件系統(tǒng)容量上限提升到12PB，單機(jī)·文件存儲(chǔ)NAS利用彈性文件客戶端實(shí)現(xiàn)訪問(wèn)加速，單路讀吞吐提升1倍，4求不高的應(yīng)用也能以極低的成本享受到高性能的云存儲(chǔ)·在性能彈性方面，可通過(guò)性能彈性，最大突發(fā)至100萬(wàn)IOPS及頂，既滿足了不可預(yù)期的業(yè)務(wù)性能需求，又具備可預(yù)期的成本控制；理大量用戶請(qǐng)求或者執(zhí)行大規(guī)模部署/更新的應(yīng)用場(chǎng)景尤為關(guān)鍵。↓↓↓↓↓Autoscaler性能與容量解耦A(yù)utoscaler......在AI時(shí)代，云存儲(chǔ)需高可用性升級(jí)以確保業(yè)務(wù)連續(xù)性、數(shù)據(jù)可靠性，應(yīng)對(duì)業(yè)務(wù)增長(zhǎng)和數(shù)在AI時(shí)代，云存儲(chǔ)需高可用性升級(jí)以確保業(yè)務(wù)連續(xù)性、數(shù)據(jù)可靠性，應(yīng)對(duì)業(yè)務(wù)增長(zhǎng)和數(shù)據(jù)量激增，提高數(shù)據(jù)處理效率，支持AI業(yè)可用區(qū)A可用區(qū)B可用區(qū)C··簡(jiǎn)化運(yùn)維：RegionalESSD除了領(lǐng)先的可用性單的操作，即可享受到自動(dòng)化的數(shù)據(jù)保護(hù)與恢復(fù)能力，極大簡(jiǎn)化了存儲(chǔ)架構(gòu)的設(shè)計(jì)與維護(hù)，加速企業(yè)容支持預(yù)配置性能和性能突發(fā)，滿足更多場(chǎng)景需·同城冗余實(shí)例替換本地冗余實(shí)例，阿里云具備同城冗余條件的客戶在表格存儲(chǔ)創(chuàng)建的實(shí)例默認(rèn)升級(jí)為同城冗余實(shí)例，穩(wěn)定性SLA提升到99.99%，費(fèi)用不增加。·備份點(diǎn)病毒檢測(cè)，在生產(chǎn)環(huán)境遭到勒索病毒攻擊后，可快速選擇干凈的備份點(diǎn)進(jìn)行恢復(fù)，避免對(duì)生產(chǎn)環(huán)的云盤類型，包括ESSDAutoPL、PL0/1/2/3?！ゎA(yù)配置StorageClass：支持通過(guò)CSI（ContainerStorageInterface）插件和自定義StorageClass、自定義的StorageClass簡(jiǎn)化云盤的使用和管理。通過(guò)CSI插件，用戶可以在Kubernetes中自動(dòng)化管理云盤的生命周期，包括創(chuàng)建、掛載、卸載和刪除。通過(guò)自定義StorageClass，用戶可以根據(jù)需求選擇不·在客戶使用體驗(yàn)上，CPFS支持了跨算力平臺(tái)掛載的能力，一份數(shù)據(jù)滿足多種算力同時(shí)掛載使用。同時(shí)上線了配額和日志審計(jì)的能力，實(shí)現(xiàn)CPFS資文件存儲(chǔ)文件存儲(chǔ)NAS全面接入Serverless生態(tài)，CSI/CNFS/ACS/Fluid云原生計(jì)算無(wú)縫對(duì)接，全新發(fā)布ACS集成。·AI智能檢索引擎發(fā)布，Tablestore多元索引功能新增高召回、高性能、低成本的向量檢索功能。.提供全文檢索、向量檢索、控制檢索、多維數(shù)值檢索的多路召回功能和標(biāo)量/向量混合檢索能力?！に饕龑?shí)時(shí)構(gòu)建性能、在線索引查詢時(shí)延均遠(yuǎn)高于開(kāi)源向量引擎，且單表能承載百億向量。.索引算法DiskAnn使用內(nèi)存與硬盤混合索引，更低查詢時(shí)延，所需內(nèi)存僅為開(kāi)源向量引擎的十分之一?！せ跇?biāo)簽的資源自動(dòng)關(guān)聯(lián)備份，一次備份策略創(chuàng)建，自動(dòng)增減需備份資源，全托管運(yùn)行。確保企業(yè)新增<-------->論低成本隨著業(yè)務(wù)的發(fā)展和數(shù)據(jù)量的爆炸性增長(zhǎng)，降本增效的重要性與日隨著業(yè)務(wù)的發(fā)展和數(shù)據(jù)量的爆炸性增長(zhǎng)，降本增效的重要性與日俱增。企業(yè)既需要以更低的成本存儲(chǔ)更多數(shù)據(jù)，也需要不斷提高挖掘數(shù)據(jù)價(jià)值的效率，并降低使用和管理成本。在存儲(chǔ)技術(shù)上，想要提升數(shù)據(jù)存儲(chǔ)和調(diào)用性能的同時(shí)降低存儲(chǔ)介質(zhì)成本，分級(jí)存儲(chǔ)至關(guān)重要。阿里云CPFS、NAS、Tablestore、云備份提供了更加靈活的計(jì)費(fèi)模式，以滿足不同客戶的需求。·CPFS智算版支持性能層和容量層組成的混閃型文件系統(tǒng)，性能層和容量層之間支持配置生命周期策略，在降低存儲(chǔ)成本的同時(shí)，簡(jiǎn)化冷熱數(shù)據(jù)的管理刪改查，文件可查詢、可瀏覽、可取回，可被實(shí)時(shí)讀取，無(wú)需解凍；支持透明訪問(wèn)，自定義生命周期管理安全可靠是云存儲(chǔ)立身之本。當(dāng)企業(yè)業(yè)務(wù)云化之后，云端數(shù)據(jù)存儲(chǔ)仍需要面對(duì)勒索、安全可靠是云存儲(chǔ)立身之本。當(dāng)企業(yè)業(yè)務(wù)云化之后，云端數(shù)據(jù)存儲(chǔ)仍需要面對(duì)勒索、泄露、誤刪等安全風(fēng)險(xiǎn)，傳統(tǒng)數(shù)據(jù)存儲(chǔ)所使用的數(shù)據(jù)加密、校驗(yàn)等手段在云上也同樣適用。AI時(shí)代中，災(zāi)備體系依舊是行之有效的數(shù)據(jù)安全防護(hù)手段。因此，阿里云存儲(chǔ)面向AI應(yīng)用場(chǎng)景更新了存儲(chǔ)產(chǎn)品安全能力，以保護(hù)用戶數(shù)據(jù)，包括加密技術(shù)、身份認(rèn)證機(jī)制、訪問(wèn)控制和安全審計(jì)等。阻止公共訪問(wèn)Bucket阻止公共訪問(wèn)Bucket默認(rèn)策略—鍵開(kāi)啟公網(wǎng)防護(hù)，防止盜刷控制臺(tái)創(chuàng)建Bucket的默認(rèn)策略選擇原生內(nèi)容安全惡意文件檢測(cè)針對(duì)“AIGC”場(chǎng)景的多模態(tài)內(nèi)容安全檢測(cè)快速識(shí)別常見(jiàn)病毒，防止惡意文件傳播和執(zhí)行面向組織/角色/資源權(quán)限管控ControlPolicy/RAMPolicy/STSPolicyBucket/ObjectACL/BucketPolicyPrivateLink簡(jiǎn)單易用，無(wú)需關(guān)注底層IP地址沖突問(wèn)題安全可靠，私網(wǎng)連接服務(wù)支持雙端鑒權(quán)文件存儲(chǔ)文件存儲(chǔ)CPFS：支持云備份提供數(shù)據(jù)保護(hù)，保障用戶數(shù)據(jù)的安全。云備份還提供不可變備份能力，在出現(xiàn)災(zāi)難時(shí)有正確的備份數(shù)據(jù)可恢復(fù)；在存儲(chǔ)服務(wù)中融入AI技術(shù)，可以提升數(shù)據(jù)處理能力，降低運(yùn)營(yíng)成本，并加速創(chuàng)新應(yīng)用的在存儲(chǔ)服務(wù)中融入AI技術(shù)，可以提升數(shù)據(jù)處理能力，降低運(yùn)營(yíng)成本，并加速