2024云棲大會存儲話題合集 -全面解讀阿里云存儲產(chǎn)品能力升級和最佳實踐

AI基礎(chǔ)設(shè)施、ServerlessAI、AI搜索、數(shù)據(jù)湖、開源等多個領(lǐng)域，更有 6 45 87三、AI與數(shù)據(jù)融合創(chuàng)新，釋放數(shù)據(jù)價值 169 661、面向AI的存儲基礎(chǔ)設(shè)施升級77(1)面向AI的存儲基礎(chǔ)設(shè)施升級 OSS輕松進行數(shù)據(jù)預(yù)處理。許多AI應(yīng)用在進行預(yù)處理時需要模型支持，通過OSS99(2)全球最完整的存儲產(chǎn)品和服務(wù)1、AI驅(qū)動下的云存儲創(chuàng)新(1)數(shù)據(jù)就像浩瀚的宇宙 (3)存儲產(chǎn)品 (4)全球最完整的存儲產(chǎn)品和服務(wù)(1)對象存儲OSS與數(shù)智融合的能力創(chuàng)新做數(shù)據(jù)的檢索，可通過自然語言告知需要檢索日落的照片，或作為產(chǎn)品經(jīng)理，需要檢索基于文件元信息進行操作對象過濾，輸出結(jié)果支持JSON\YAML\X(2)諸多產(chǎn)品能力升級的背后關(guān)鍵技術(shù)解讀力，客戶可按照需要的時間點動態(tài)的調(diào)配值滿足不 重點工作為做好一對一的成本模型支撐好100Gbps每租戶在每個地域的達成是重點工3、EBS深度解析：云原生時代企業(yè)級塊存儲 言，我們應(yīng)該從傳統(tǒng)的塊設(shè)備資源管理模式轉(zhuǎn)變?yōu)榛畹財U展磁盤空間。這一改進相較于傳統(tǒng)本地的拍照標簽關(guān)聯(lián)到特定的業(yè)務(wù)系統(tǒng)中。這些業(yè)務(wù)系統(tǒng)可以是ES集群、Kafka集群或(2)諸多產(chǎn)品能力升級背后關(guān)鍵技術(shù)解讀 下場景：在一個大型企業(yè)中，可能有數(shù)十個甚至上百個小團隊共同使用AI基礎(chǔ)設(shè)施和型加載的延遲提出了更高的要求。這是從去年的千第一是Burst寫吞吐以及最大延遲的可控性，前面已經(jīng)提到寫吞吐可達數(shù)百GB，并且存儲之間的RDMA連接，并且計算和存儲之間的網(wǎng)絡(luò)實現(xiàn)了存算分離。再往下一層是多個計算節(jié)點訪問的場景，提供加速效果。我們提供了單個計算節(jié)點在順序讀場景下的 5、NAS深度解析：面向云原生應(yīng)用的文件存儲(1)面向云原生應(yīng)用的文件存儲NAS能力更新的計算應(yīng)用和使用存儲的方式發(fā)生了巨大的變化。 每一年都會官宣阿里云文件存儲的大圖，今年非常顯著的變化是應(yīng)對高性能的云原生AI 與傳統(tǒng)的性能型規(guī)格相比，高級型NAS的定價0.85/GB元，相比性能型規(guī)格的每.一是掛載優(yōu)化：傳統(tǒng)上，許多客戶通過NFS進行掛載，這涉及一些掛載參數(shù)，如.二是容器訪問策略：當容器非共享地訪問文件存儲時.四是可用性探針使用：對于文件存儲可用性的探針，建議不必在每個容器上都設(shè)置探6、Tablestore深度解析：面向AI場最佳實踐(1)面向AI場景的表格存儲Tablestore能阿里云Tablestore是與阿里云一起發(fā)展的產(chǎn)品。2009年是阿里云成立的一年，而 模對比。交付規(guī)模對比的費用下降的兩個規(guī)格是容量型的規(guī)3~9倍。同樣在性能消耗情況下，以及在提供這么高的吞吐倍數(shù)下，查詢時延比自建 使用戶在使用向量檢索功能時可以不用把兩套計算邏輯和兩套工程鏈路分開，不需要做 管理這些數(shù)據(jù)成為了一個重要的問題。越來越多7、海量數(shù)據(jù)的智能處理及在網(wǎng)盤場景中的應(yīng)用實踐(1)面向海量非結(jié)構(gòu)化數(shù)據(jù)的多樣化處理能力(2)企業(yè)網(wǎng)盤基于智能媒體管理的應(yīng)用轉(zhuǎn)型對應(yīng)的視頻。用戶也可利用超聲波的特性實時在網(wǎng)盤上這里演示的是用戶直接用自然語言描述自己的8、CloudBackup深度解析：從被動防御到主動保護(1)企業(yè)數(shù)據(jù)保護的挑戰(zhàn)和應(yīng)對策略小概率事件并不意味著它絕對不會發(fā)生。據(jù)統(tǒng)計，2023年勒索病毒攻擊的數(shù)量激增了們總結(jié)出了四步主動防御策略。第一步是主動發(fā)現(xiàn)與(2)主動數(shù)據(jù)保護技術(shù)詳解最后一道防護是阿里云的服務(wù)器網(wǎng)絡(luò)保護物理層。所有業(yè)務(wù)都在VPC（VirtualPrivate配置好后可以重復應(yīng)用于不同的資源上。我們的線列出這些資源和對應(yīng)的備份任務(wù)。然后對所有任務(wù)生成并且匹配無誤后就會放到調(diào)度和監(jiān)控層進行行排障操作以確保策略能夠正常運行并得到正確的執(zhí) 在各類大小展會中鮮少被邊緣化的話題--人工智能。為何人工智能在過去兩年間引起了廣這意味著什么？樂觀主義者正在持續(xù)且大規(guī)4Transformer(2)人工智能發(fā)展的因素 (3)人工智能開發(fā)框架對于存儲基礎(chǔ)設(shè)施的挑戰(zhàn)(4)人工智能的數(shù)據(jù)預(yù)處理移動互聯(lián)網(wǎng)的許多功能也是依靠大數(shù)據(jù)技術(shù)實現(xiàn)的(5)大數(shù)據(jù)訓練張量并行等多種并行方式。在典型的數(shù)據(jù)并行場景中，整個集群會被劃分為多個不同的(6)數(shù)據(jù)問題(8)落地過程上成功落地。該方案提供了更豐富的開發(fā)能力(9)數(shù)據(jù)管理過程2、構(gòu)建AI數(shù)據(jù)管道：從數(shù)據(jù)到洞察的高效之旅最佳實踐在關(guān)鍵的訓練場景中，我們需要關(guān)注兩個核心點：一是快速拉起數(shù)據(jù)集，二是高效寫入(1)OSS面向AI和數(shù)據(jù)分析的性能演進(2)OSS數(shù)據(jù)安全與合規(guī)(3)OSS數(shù)據(jù)管理的演進除了傳統(tǒng)的OSS外，針對A捕獲AI平臺對數(shù)據(jù)的讀寫請求，然后將這些請求轉(zhuǎn)發(fā)給Connector的Runtime。息。為了提升數(shù)據(jù)檢索的豐富性和靈活性，今年我們結(jié)合阿里云的表格檢索服務(wù)進入數(shù)據(jù)準備階段，對于希望自建場景的客戶，有兩種方式可供選擇。第一種是使用4、保障業(yè)務(wù)連續(xù)性，企業(yè)災(zāi)備建設(shè)新思路(1)企業(yè)業(yè)務(wù)連續(xù)性離不開災(zāi)備建設(shè)要更高的穩(wěn)定性。然而，降低成本的壓力又非常大。在這三個矛盾之間，如果沒有中間的差異化數(shù)據(jù)到另一個可用區(qū)的副卷上并應(yīng)用。5、使用云存儲構(gòu)建云上推理平臺(1)大模型分布式推理工作流(3)大模型分布式推理場景存儲需求(4)面向推理基礎(chǔ)存儲服務(wù)(5)高并發(fā)場景與分發(fā)加載結(jié)合高并發(fā)場景下的分發(fā)需求和函數(shù)計算容器存儲的特點，NAS在基于函數(shù)計算的(6)小模型加速緩存池6、低成本ServerlessAI檢索介紹和第二從數(shù)據(jù)庫里尋找用戶最近沒有發(fā)貨的商品(2)表格儲存介紹檢索出來。索引構(gòu)建有一些其它的策略。上部分查詢默認提供同城容災(zāi)。同城容災(zāi)能力完全不需要用臺上導下來的表格存儲的功能介紹的文檔。點數(shù)據(jù)詳情，看到歷史數(shù)據(jù)，這是通過 算單元，通過tensorcall進行操作；而在進行視頻編解碼時，則使用Decoder和 通過降低成本和提升吞吐量就能有效解決存儲問題。(4)與阿里云存儲持續(xù)共創(chuàng)AI數(shù)據(jù)湖邊緣緩存方案何節(jié)點上都能實現(xiàn)緩存加速和透明接入。換言之，我們可以利用短距離的專線連接術(shù)為上層應(yīng)用提供了一種存儲與計算自然分離的全主存儲來存放數(shù)據(jù)，所有數(shù)據(jù)均保存在對象存儲中。另一個重要的抽象組件是WAL3、AI集象智能檢索最佳實踐結(jié)合AI獨創(chuàng)獲客大模型五、存儲熱點技術(shù)解讀—(2)性能提升增加成本，介質(zhì)單位密度性能下降，如何優(yōu)化以做到容量。實際上按照單盤提供的100IOPS，100MB/s的能力，1PB容量提供(3)網(wǎng)絡(luò)接入優(yōu)化(4)最后一公里(5)總結(jié)與展望(1)大模型對存儲性能挑戰(zhàn)和優(yōu)化在數(shù)據(jù)集訪問環(huán)節(jié)，其特征在于訓練完整的Epoch過程中，會全面加載整個數(shù)據(jù)集。據(jù)集被完整加載了一次。但在實際訓練中，為了獲得最佳的模型效果，通常會進行多次 首先在端上構(gòu)建了一個單機和分布式的兩級緩存體系。我們盡量將同步進行操作。這意味著如果有一部分GPU已經(jīng)完成了讀數(shù)據(jù)集和訓練任務(wù)