云存儲的工作負載

1、云存儲的工作負載1.0介紹2.0工作聯(lián)系3.0系統(tǒng)描述4.0工作量的特性5.0經(jīng)濟和提供6.0工作負載最優(yōu)快速分配7.0有界寫入的最優(yōu)化8.0評估9.0結論摘要 Janus 是劃flash存儲層系統(tǒng)，工作負載在云規(guī)模上分配2層文件系統(tǒng)：flash存儲和磁盤。文件系統(tǒng)用FIFO(file-in-file-out)或LRU(least-recently-used)在flash層上存儲新的文件和把他們放到磁盤層里, Janus 建設不同工作負載flash緩沖能力的緊湊指標，根據(jù)大量的文件系統(tǒng)對使用樣本分配痕跡得到的。1.0介紹 磁盤存儲是很低的，效率也不快，磁盤容量的增加使任意輸入或輸出每個技嘉存儲

2、在磁盤中降低。我們?yōu)榱藦浹a每個技嘉存儲，通過增加flash存儲提供高I/O速率。 存儲需要在大云存儲環(huán)境，不同的使用者和工作負載導致 大云存儲環(huán)境也不同，因此分配有用的flash容量單元在工作負載并不理想；相反的，我們尋找不同的競爭使用者和工作量優(yōu)化flash供應。 Janus案例在我們的分配文件系統(tǒng)（colossus 巨大）中使用幾個產(chǎn)品工作負載，我們從一些工作負載測量里提供了案例有效的評估，使用其它產(chǎn)品工作負載增加評估。我們工作量的特性顯示最主要的I/O接口是在近期的創(chuàng)建文件。根據(jù)觀察，文件安排在創(chuàng)建文件的快速層和移動磁盤層，使用FIFO和LUR退出方針。研究顯示：案例由28%閱讀操作的文

3、件是1%數(shù)據(jù)flash運行的。文件的三個主要貢獻：1. 在大私有云里，存儲使用格式的特征集中于近期所寫的數(shù)據(jù)存儲時間和I/O速率。2.flash分配文件組的最優(yōu)化格式問題：卸載最大閱讀速率來優(yōu)先flash增加和最大快速寫作速率。3.實驗結果來自Colossus文件系統(tǒng)的實施。2.0工作關系 多層存儲系統(tǒng)類型有：內存、固態(tài)硬盤、磁盤、磁帶。包括：分級存儲管理（HSM）、多層存儲、多層文件系統(tǒng)、磁盤存儲或flash存儲、基于盤區(qū)企業(yè)數(shù)量管理。大多數(shù)包括自動方式，移動數(shù)據(jù)基于I/O活動水平，使用者或管理者定義管理設備或顯示規(guī)則。然而，他們并沒有集中分配云規(guī)模部署，增加供應政策問題和分布式管理工作量監(jiān)

4、控兼容性。 TIP21使用暗示了未來I/O接口供應是通過應用程序員確定對數(shù)據(jù)提前獲取，Janus不會依靠于明確的程序員的行為，暗示了API系統(tǒng)的使用。相反，我們從過去使用測量去預測不同使用者工作負載自動flash緩沖能力。Kroeger14在Linux核心水平提前獲取內容去預測文件接口圖案，使用過去接口序列；然而，它不是清楚怎么擴展分布是情況。 我們的方法于納拉亞南（Narayanan） et la.18，分析幾個企業(yè)工作量的痕跡去評估經(jīng)濟的替換flash存儲磁盤可行性。我們集中大型云存儲環(huán)境，發(fā)展算法是對于不同工作負載做出好的分配的選擇，達到有意義地不同結果，關于使用flash有效和經(jīng)濟的方

5、式。3.0系統(tǒng)描述 在大型私有云數(shù)據(jù)中心的分布式文件系統(tǒng)里，Janus對工作負載提供快速存儲分布案例（例如 Colossus）。下存儲在明顯的塊存儲是混合了磁盤和flash存儲，文件可能放在flash層，之后放在使用FIFO或LUR方針的磁盤。我們一寫的方式插入而不是讀的方式插入于緩存里，因為它適合于我們系統(tǒng)。像GFS和Colossus的分布式文件系統(tǒng)特性是以讀的方式而不是以寫的方式插入一些指標，我們打算優(yōu)化，特別是讀的方式。因為數(shù)據(jù)接口直接發(fā)生顧客的塊結點，不是每個塊結點包含flash容量，讀的方式插入不依賴寫給顧客，另外讀是為了填充數(shù)據(jù)于flash存儲。另外，寫返回快速存儲認為瞬間操作，從

6、磁盤獲得讀數(shù)據(jù)，轉給本地網(wǎng)絡鏈接，最終寫進快速媒體里。 當前離線優(yōu)化解決者制作分布案例，周期性調試工作量行為的變化和有用flash存儲。在每一個工作量組，一個關鍵輸入給求解是緊湊數(shù)據(jù)存儲時間表達式，隨著時間數(shù)據(jù)讀取速率，從瀏覽文件系統(tǒng)元數(shù)據(jù)和I/O行為樣本痕跡獲得。4.0工作量的特性 在數(shù)據(jù)中心，存儲分享成千上萬使用者與應用程序的關系。應用程序包括內容索引、廣告服務、郵件、視頻處理、小應用程序，小應用程序是由個人使用者擁有MapReduce職位，大的應用程序可能有許多部分職位。在數(shù)據(jù)中心，工作量特性和職位需求是關于使用者與職位的明顯不同。 圖1顯示在數(shù)據(jù)中心：讀的時間不同，位置也不同。所有讀的

7、時間表達：位置是由一分鐘到一年變化。4.1高緩沖能能 我們定義兩個時間指標：FIFO時間和LRU時間，他們使用相同的退出方針。在創(chuàng)建文件時候，文件的FIFO時間有時間的限制；文件的LRU時間確定讀者近期臨時位置，在創(chuàng)建文件所需讀取文件最長的時間。 FIFO時間分配直接表明：我們?yōu)g覽文件系統(tǒng)元數(shù)據(jù)，它包括每一個文件創(chuàng)建時間，建立以字節(jié)方式存儲到每組FIFO時間的直方圖，在FIFO時間建立數(shù)據(jù)只讀速率的直方圖，我們要看到每一個只讀接口，從痕跡查找到只讀接口。在數(shù)據(jù)中心，只讀速率是非常巨大的，無法在每個工作量考慮每個讀取的數(shù)據(jù)。5.0經(jīng)濟和供應 在flash使用Janus時候，許多工作負載從早期數(shù)據(jù)

8、的輸入所獲得。我們現(xiàn)在考慮每個工作量的經(jīng)濟有效性，對一個工作量的讀操作速率用 表示,寫操作速率用 表示，容量大小用c表示高緩沖功能用f(),一個磁盤需要 表示，用磁盤和 flash 需 rraterraterratefdwrGxIxfrateretext)()(cosrratewrate),(diskGiBIOPS)i,(flashdiskdiskBGGiBIOPS),),(xxdxfrateratewr替換。6.0工作負載優(yōu)化閃光分配 我們假設高緩沖功能是分段線性的和凹面的兩種特性，以前提到的分段線性假設一直掌握線性插入有限點（符合直方圖）。凹面假設等于只讀速率，每一個工作量數(shù)據(jù)隨著數(shù)據(jù)時間

9、的增長而降低。 任務： 找到每個工作量i分配快閃容量 最大總共優(yōu)先重量的閃光只讀速率 總共閃光容量的范圍為 分段線性功能 是由 是凹面的， 表示最小分段功能： 替換 。7.0優(yōu)化與有界編寫速率 限制flash編寫速率是很重要避免快速的用完，減少flash編寫對讀有潛在的影響。在限制flash編寫速率時，我們描述怎么分配flash為了最大flash讀出。我們也顯示怎么放松對高緩沖功能凹性假設，一個工作量高緩沖功能可能不是凹性的， 在它建立之后，讀速率在某段時間保持增長。 圖五：非凹性高緩沖能力和部分編寫的概率：一個工作量的數(shù)據(jù)塊和只讀速率在不同時間范圍顯示穩(wěn)定狀態(tài)、工作量在0到10時間數(shù)據(jù)塊和只

10、讀速率為30，第二個數(shù)據(jù)塊10到20時間和只讀速率為15，第三個數(shù)據(jù)塊20到30時間和只讀速率為45。存儲比快速20時間更早的所有數(shù)據(jù)的點擊速率為45。有界寫的快速分配問題？ 例如： 建立工作負載，每個工作負載i給予總數(shù)據(jù)為 一個聯(lián)系線性高速緩沖函數(shù) 寫速率 。 有界總快速寫速率W；有界總快速容量F。 工作： 每個工作量i，分配快速容量 和快速寫概率 最大化的總快速讀速率 ，總快速寫速率的限制，總快速容量的限制。 我們移動寫塑料廠界限 w 和改變目標函數(shù)，減去寫速率和帶寫的乘法因子 此函數(shù)最理想解決松弛問題，總體寫速率等于界限 ， 理想解決最初的問題。 其中 表示工作量貢獻 i 和分配flas

11、h大小 x 的目標； 為寫概率不依賴于其它變量； 函數(shù)是連續(xù)的和分段線性的8.0評估 在這一章節(jié)，我們評估前幾章節(jié)方框圖描述有效性，谷歌數(shù)據(jù)中心存儲工作負載的產(chǎn)品。8.1章節(jié)描述產(chǎn)品的環(huán)境，8.2章節(jié)介紹數(shù)據(jù)集和用于評估。8.1文件存放在Colossus Colossus分配多個熟練節(jié)點存儲系統(tǒng)和許多快服務器存儲文件數(shù)據(jù)。文件系統(tǒng)客服端通過一個熟悉節(jié)點創(chuàng)建新文件，在選擇快服務器分配空間。8.2數(shù)據(jù)集和定義 我們從幾個數(shù)據(jù)集評估Janus。一個巨大網(wǎng)格隔離巨系統(tǒng)例子，分離的網(wǎng)格主要位于不同的設備，每個網(wǎng)格擁有自己熟悉的空間、快服務器、文件，每個網(wǎng)格獨自管理使用者。 三個數(shù)據(jù)集來自多個使用者的網(wǎng)格

12、，工作負載反應不同網(wǎng)格的使用者。 Dapper(短小精悍)：37天Dapper例子，網(wǎng)格超過10個的讀寫方式。第一個30天用于訓練（計算高緩沖功能），最后7天用于評估。 Janus Deployment(部署)：限制產(chǎn)品工作負載部署的數(shù)據(jù)，4 個網(wǎng)格用于Janus建議。在這些部署，flash僅僅分配單個工作量。Dapper例子用了30天訓練周期用于部署。 Multi-user Cell (多個使用者的網(wǎng)格)：一周讀/寫活動的痕跡，在單個網(wǎng)格只有1%文件樣本。第六天用于訓練，第七天用于評估。 近期的數(shù)據(jù)集來自網(wǎng)格，所有活動通過數(shù)據(jù)塊定位。文件分成工作負載，采用了數(shù)據(jù)塊定位編碼。8.3Janus

13、部署 根據(jù)Colossus FIFO使用，我們從每個工作量的分配里計算TTLs退出。Janus從訓練期間計算TTLs使用直方圖的文件時間，然而，對文件分配時間可能改變訓練和部署。例如，一個工作量可能高速率寫新數(shù)據(jù)，或它可能顯示峰谷變化，不能在超過30天里獲得柱狀圖。 圖7也顯示了工作量快速只讀速率的周期，一般情況，我們得到30k快速速率ops/sec,峰值超過40k快速速率ops/sec。從30天訓練周期，我們預測快速只讀速率為33k快速只讀ops/sec。 表格2顯示這個工作量在四個不同的網(wǎng)格部署。8.4比較選擇分配的方法 表格3顯示單個網(wǎng)格和多個網(wǎng)格快速點擊率。在多個使用者的網(wǎng)格，在單個FIFO到優(yōu)化FIFO時候，快速點擊率從1