Asurveyonnetworkcodesfordistributedstorage

1、當(dāng)使用編碼時，修復(fù)的問題出現(xiàn)了：如果一個節(jié)點(diǎn)存儲編碼信息失敗，為了保持我們需要相同的可靠性水平在一個新節(jié)點(diǎn)創(chuàng)建編碼信息。這相當(dāng)于一個部分代碼的 復(fù)蘇，而傳統(tǒng)的消除編碼的重點(diǎn)是信息的完全恢復(fù)從編碼包的一個子集。的考慮 修復(fù)網(wǎng)絡(luò)流量產(chǎn)生新的設(shè)計挑戰(zhàn)。最近，網(wǎng)絡(luò)編碼技術(shù)發(fā)揮了推動作用在應(yīng)對這 些挑戰(zhàn)，建立,維護(hù)帶寬相比可以減少數(shù)量級標(biāo)準(zhǔn)擦除碼。本文概述了關(guān)于這一主題的研究成果。關(guān)鍵字|分布式存儲，擦除編碼；干擾對齊；多播網(wǎng)絡(luò)編碼 介紹近年來，大規(guī)模數(shù)據(jù)存儲的需求顯著增加，與應(yīng)用程序像社交網(wǎng)絡(luò)，文件，視頻分 享要求無縫存儲，大量數(shù)據(jù)的訪問和安全。當(dāng)部署存儲節(jié)點(diǎn)分別是不可靠的，在現(xiàn) 代數(shù)據(jù)中心和對等網(wǎng)絡(luò)

2、中，冗余必須引入系統(tǒng)提高可靠性對節(jié)點(diǎn)故障。最簡單、 最常用的冗余形式很簡單在多個存儲節(jié)點(diǎn)復(fù)制的數(shù)據(jù)。然而，消除可能編碼技術(shù) 達(dá)到數(shù)量級更多的可靠性相同的冗余與復(fù)制相比（見,例如2）。然而，實(shí)現(xiàn)增加編碼的可靠性必須解決的挑戰(zhàn)，維護(hù)一個擦除編碼表示。鑒于兩個正整數(shù)k和氮 鉀,en,kT最大距離可分可用于（MDS）弋碼可靠性：最初要存儲的數(shù)據(jù)被分成k數(shù) 據(jù)包信息。隨后,使用MDS弋碼,這些編碼成n數(shù)據(jù)包（相同的大小）這些n k的足 以恢復(fù)原始數(shù)據(jù)一個例子（見圖1）。MDS3最優(yōu)的冗余可靠性權(quán)衡因為 k數(shù) 據(jù)包含有最低恢復(fù)原來的所需的信息量數(shù)據(jù)在分布式存儲系統(tǒng)中,n編碼包存儲在不同的存儲節(jié)點(diǎn)（如。、磁

3、盤、服務(wù)器或同行）通過網(wǎng)絡(luò)傳播，系統(tǒng)可以容忍任何 在kT節(jié)點(diǎn)故障不會造成數(shù)據(jù)丟失。請注意，在這篇文章中，我們將假定n的存儲 系統(tǒng)存儲節(jié)點(diǎn)，可以容忍失敗和en kT節(jié)點(diǎn)使用subpacketization 的想法：每個 存儲節(jié)點(diǎn)手稿圖1。e4;2 t MDS二進(jìn)制代碼（evenodd代碼10）擦除。每個存儲節(jié)點(diǎn)（箱）是線 性二進(jìn)制存儲兩個街區(qū)組合的原始數(shù)據(jù)塊 A1,A2,B1,B2。在這個例子中,isM的總 存儲大小嗎？4塊。觀察到k嗎？2 了 n ?4存儲節(jié)點(diǎn)包含足夠的信息來恢復(fù)所有數(shù) 據(jù)。存儲多個subpackets將稱為塊（本質(zhì)上是使用數(shù)組編碼10,11）。編碼存儲的好處是眾所周知的有大量

4、的工 作在該地區(qū)。Reed-Solomon代碼6可能是最受歡迎的MDS3和一起非常相似的 信息傳播算法（IDA）7進(jìn)行了調(diào)查（如分布式存儲應(yīng)用程序。3和5）。噴泉碼 8和低密度奇偶校驗（LDPCY弋碼9最近的代碼設(shè)計，提供近似MDS1性和快速編碼和解碼的復(fù)雜性。最后，有大量的相關(guān)工作代碼 RAID系統(tǒng)和磁記錄（如。， 請參閱10-13的氣息，在其中引用）。在本教程中，我們關(guān)注的是一個新問題出 現(xiàn)當(dāng)存儲節(jié)點(diǎn)分布和網(wǎng)絡(luò)連接。修復(fù)的問題時就會出現(xiàn)一個代碼存儲節(jié)點(diǎn)系統(tǒng)的 失敗。問題是最好的說明通過圖 2的例子。假設(shè)一個文件的總大小米?4塊存儲 使用e4;2 t evenodd 代碼前面的例子，第一個節(jié)

5、點(diǎn)失敗。一個新節(jié)點(diǎn)（被稱為新 來的）需要構(gòu)建和存儲兩個新的塊，這樣三個現(xiàn)有節(jié)點(diǎn)的總和新人仍然形成一個 e4;2 t MDS的代碼。我們稱之為這個修復(fù)問題，專注于所需的修復(fù)帶寬。顯然， 修復(fù)一個失敗是容易得多重建所有數(shù)據(jù)：因為任何兩個假設(shè)節(jié)點(diǎn)包含足夠的信息 來恢復(fù)所有的數(shù)據(jù)，新來的可以從任何兩個下載四個街區(qū)（幸存的節(jié)點(diǎn)）,重建所 有四個街區(qū)，商店A1,A20然而，隨著示例所示，它是可能的修復(fù)失敗的交流只有 三個街區(qū)B2;A2 t B2;A1 t A2 t B2, 可以用來解決A1,A2。圖3顯示了第四個存 儲節(jié)點(diǎn)的修復(fù)。這可以通過只使用三個街區(qū)14但有鑰匙嗎不同的是，第二個節(jié) 點(diǎn)需要計算存儲數(shù)據(jù)

6、包的線性組合B1,B2和實(shí)際的交流塊B1 t B2 0這說明清楚網(wǎng)絡(luò)編碼的必要性，建立線性組合在修復(fù)過 程中中間節(jié)點(diǎn)。如果網(wǎng)絡(luò)帶寬相比是更為重要的資源磁盤訪問，這是常有的事，一個重要的考慮是找到所需的最小帶寬是什么和代碼可以實(shí)現(xiàn)它。和相應(yīng)的再生修復(fù)問題介紹了編碼24,收到了一些關(guān)注在最近的文獻(xiàn)25-27,31-38。令人驚訝的是這些新代碼結(jié)構(gòu)達(dá)到一個相當(dāng)顯著減少修復(fù)網(wǎng)絡(luò)帶寬，較簡單的應(yīng)用程序Reed-Solomon或其他現(xiàn)有的代碼。在本文中，我們概述這最近的研究和討 論幾個保持開放的相關(guān)研究問題。A:各種修復(fù)模型在修復(fù)無花果。2和3所示，例子新構(gòu)造完全在兩個街區(qū)失敗的節(jié)點(diǎn)。但是請注 意,我們維

7、修的定義只需要新節(jié)點(diǎn)形成一個en,kT MDS的代碼任何k節(jié)點(diǎn)的屬性（n足以恢復(fù)原始數(shù)據(jù)）,加上現(xiàn)有的節(jié)點(diǎn)。換句話說，新節(jié)點(diǎn)可能會形成新的線性 組合不同的的丟失節(jié)點(diǎn)；要求嚴(yán)格容易滿足。三個版本的修復(fù)被認(rèn)為是文學(xué)：確切的修復(fù)、功能修復(fù)、確切的修復(fù)系統(tǒng)的部分。 在確切的修復(fù)，失敗的塊完全再生，從而恢復(fù)完全失去了編碼塊的精確副本。 在功 能修復(fù)，要求是放松：新生成的塊從失敗的節(jié)點(diǎn)包含不同的數(shù)據(jù)那么長修復(fù)系統(tǒng)維護(hù) MDS-code屬性。確切的修復(fù) 系統(tǒng)的部分是一個混合的修復(fù)模型躺之間確切的修復(fù)和功能修復(fù)。 在這種混合模 型，存儲代碼總是一個系統(tǒng)圖2。的例子（精確）修復(fù)。假設(shè)第一個節(jié)點(diǎn)在前面的存儲系統(tǒng)失

8、敗。修復(fù)的問題 失敗通過創(chuàng)建一個新節(jié)點(diǎn)（新人）仍然形成一個e4;2 t MDS的代碼。在這個例子 中，可以獲得準(zhǔn)確的修復(fù)通過溝通三個街區(qū)，這是信息理論最小割集。圖3。修復(fù) 最后一個節(jié)點(diǎn)：在某些情況下，它是必要的存儲節(jié)點(diǎn)計算函數(shù)之前存儲的數(shù)據(jù)溝 通，如第二個節(jié)點(diǎn)所示。Dimakis et al 。調(diào)查網(wǎng)絡(luò)編碼的分布式存儲代碼（這意 味著存在于未編碼的數(shù)據(jù)的一個副本形式）。系統(tǒng)的部分是完全修復(fù)失敗和 nonsystematic部分遵循功能性修復(fù)可能不同于模型的修復(fù)版本原件。說明見圖4。有一個重要的好處中的代碼一致系統(tǒng)形式：如圖1所示，如果包含的代碼原始 數(shù)據(jù)的一個子集，可以閱讀部分的數(shù)據(jù)很快通過訪

9、問相應(yīng)的執(zhí)行存儲節(jié)點(diǎn)，無需解碼。有趣的是，我們會看到，確切的修復(fù)，這是最有趣的問題嗎在實(shí)踐中，也最具 挑戰(zhàn)性的一個決定實(shí)現(xiàn)地區(qū)的很大一部分仍然開放。功能修復(fù)的問題是完全理解 因為，見24,它可以減少到一個在一個適當(dāng)?shù)臉?gòu)造多播問題圖稱為信息流圖。的先驅(qū)Ahlswede et al 。15描述了多播利率表明割集范圍內(nèi)是可以實(shí)現(xiàn)的。進(jìn) 一步研究表明，線性網(wǎng)絡(luò)編碼就足夠了 16,18和隨機(jī)線性組合構(gòu)造好網(wǎng)絡(luò)編 碼具有高概率19。也看見了調(diào)查21和引用。因為功能修復(fù)降低多播，我們可以完全描述通過評估m(xù)in-cut 最低修復(fù)帶寬范圍和網(wǎng)絡(luò)編碼提供了有效的和建設(shè)性的解決方案。在第二部分中，我們目前的結(jié)果描述

10、可以實(shí)現(xiàn)的功能修復(fù)區(qū)域并顯示存儲和修復(fù)帶寬之間的權(quán)衡。確切的修復(fù)問題是嚴(yán)格比功能修復(fù)。在確切的修復(fù)，新節(jié)點(diǎn)訪問一些現(xiàn)有的存儲節(jié)點(diǎn)和確 切地再現(xiàn)了失去的編碼塊。作為將描述隨后，修復(fù)代碼有嗎基本存儲成本之間的 權(quán)衡和修復(fù)帶寬。兩個重要的特殊情況涉及操作點(diǎn)對應(yīng)于最大存儲和最小帶寬和 最小的存儲與最大帶寬點(diǎn)。確切的修復(fù)theminimal帶寬操作點(diǎn)II-B節(jié)中描述）， 描述了最近的工作的33,它發(fā)展最佳精確修復(fù)代碼的最優(yōu)操作點(diǎn)沒有任何損失 只有功能修復(fù)。相對應(yīng)的操作點(diǎn)的特殊情況最小的存儲，也對應(yīng)減少修復(fù)帶寬， 同時保持相同的存儲成本 MDS3，原來是更具挑戰(zhàn)性。事實(shí)證明，在這種情況下，新節(jié)點(diǎn)需要恢復(fù)數(shù)

11、據(jù)干擾其他的一部分?jǐn)?shù)據(jù)包。當(dāng)在信息接收器接收到一組線性 對一些變量方程和試圖破解，我們電話干擾變量，混合到這些方程式，干擾。它是 需要仔細(xì)處理干擾使得這個問題困難。建設(shè)性的技術(shù)執(zhí)行代數(shù)對齊，這樣有效的維度減少不需要的信息，從而減少維修車輛。這些建設(shè)性的技術(shù)實(shí)現(xiàn)完美的校準(zhǔn) 和描述修復(fù)帶寬low-rateMDS碼ek = n 1 = 2 t 。實(shí)現(xiàn)割集綁定的采氣 MD劑 是唯一已知的當(dāng)我們實(shí)現(xiàn)了漸近 nonpractical技術(shù)隨后討論。確切的修復(fù)系統(tǒng) 的部件模型是一種放松確切的修復(fù)模型。在確切的修復(fù)模型，干擾對齊和建設(shè)性 的技術(shù)核心網(wǎng)絡(luò)編碼。第四節(jié)里，我們將會看到，這種放松 地址有些問題空間未被

12、完全修復(fù)。二、模型我：功能性修復(fù)24所示，功能修復(fù)的問題流圖表示為多播了一個信息。信息流圖代表的進(jìn)化信 息流存儲網(wǎng)絡(luò)節(jié)點(diǎn)加入和離開（參見23類似的建設(shè)）。圖5給出了信息流圖的例 子。在這個圖中，每個存儲節(jié)點(diǎn)是由一對節(jié)點(diǎn)習(xí)近平表示在和習(xí)近平出連接的邊 容量的存儲容量的節(jié)點(diǎn)。有一個虛擬源節(jié)點(diǎn)對應(yīng)數(shù)據(jù)對象的起源。假設(shè)最初我們商店sizeM的文件嗎？在四個節(jié)點(diǎn)4塊，每個節(jié)點(diǎn) 存儲?2塊和文件可以重建任何兩個節(jié)點(diǎn)。虛擬水槽節(jié)點(diǎn)稱為數(shù)據(jù)收藏家連接到 任彳5r k節(jié)點(diǎn)子集和確保代碼的MDSH性（k n就足夠了恢復(fù)）。假設(shè)存儲節(jié)點(diǎn)4失 敗了，那么我們的目標(biāo)是創(chuàng)建一個新的存儲節(jié)點(diǎn)，節(jié)點(diǎn)5,溝通最少的信息，然后

13、商店嗎？2塊。這是代表機(jī)組容量在圖 5邊緣x1outx5,x2outx5,x3outx5 在這輸 入節(jié)點(diǎn)x5在。對分布式存儲功能修復(fù)的問題可以解釋為一個多播通信問題信息 流圖，定義的來源年代想多點(diǎn)傳送文件的所有可能的數(shù)據(jù)收藏家。多播，眾所周知,最大多播速率等于最小割的容量圖 4。各種修復(fù)模型和建設(shè)性的關(guān)鍵技術(shù)。Dimakis et al。調(diào)查網(wǎng)絡(luò)編碼的分布式存儲分離源從一個接收器，它可以通過使用線性網(wǎng)絡(luò)編碼16。由于目前的問題可以視為一個多播問題，可以min-cuts 特征的基本限制流圖和網(wǎng)絡(luò)編碼提供的信息有效的建設(shè)性的解決方案。一個并發(fā)癥是因為失敗/維修的數(shù)量是無限的，產(chǎn)生的 信息流圖可以無

14、限增長大小。因此，我們必須處理削減，流，和網(wǎng)絡(luò)碼圖中潛在的 無限。apple ii節(jié)，我們提出減少分析的信息流圖24,25 。II-B節(jié)中，我們討 論了兩個極端點(diǎn)對應(yīng)于最小維修帶寬和最小的存儲成本。A:減少信息流圖的分析通過分析流的連接信息圖，我們可以得到基本的性能界限 關(guān)于代碼。特別是，如果最低減少之間的年代和一個數(shù)據(jù)收集器小于原始文件的 大小,然后我們可以得出的數(shù)據(jù)是不可能的收集器來重建原始文件。在本節(jié)中，我們審查減少分析24和25。的設(shè)置是：總有n活躍存儲節(jié)點(diǎn)。每個節(jié)點(diǎn)可以 存儲碎片。一個信息流圖(如由圖5)對應(yīng)于一個特定的發(fā)展存儲統(tǒng)后一定數(shù)量的 失敗/維修。我們把每個失敗/修復(fù)Bsta

15、ge;在每一個階段，一個存儲節(jié)點(diǎn)失敗和 被修復(fù)的代碼下載位分別來自任何d幸存的節(jié)點(diǎn)。因此，總修復(fù)帶寬？ do參見圖5為例。在初始階段，系統(tǒng)由節(jié)點(diǎn)1、2、3和4,在第二階段，系統(tǒng)包括節(jié)點(diǎn)2、3、 4、5。為每個組參數(shù)en;d;?dT,家庭有限的或無限的信息流圖，每個對應(yīng)到一個 特定的節(jié)點(diǎn)故障/維修的演變。我們的有向無環(huán)圖表示這個家庭創(chuàng);d;t .我們限 制注意對稱設(shè)置，要求任何k存儲節(jié)點(diǎn)都可以恢復(fù)原始文件，和一個新人收到相 同的從每個現(xiàn)有的節(jié)點(diǎn)數(shù)量的信息。一個en;k d;T 元組將是可行的，如果一個代碼與存儲和修復(fù)帶寬的存在。對于圖2中的示例，總文件sizeM嗎?4塊和點(diǎn)(n ? 4,k ?2

16、、d ?3、？2塊,？3塊)是可行的。在相反，一個標(biāo)準(zhǔn)的擦除通信的代碼整個 數(shù)據(jù)對象對應(yīng)嗎?4塊來代替。請注意,n,k,d必須是整數(shù)。如果有一個失敗，新來 的最多可以連接到所有的n - 1幸存的節(jié)點(diǎn)，所以d n 1;?d 是修復(fù)過程的非負(fù) 實(shí)值參數(shù)。定理1:對于任何en;k d,T,點(diǎn)en;k;d;T 是可行的和線性網(wǎng)絡(luò)編碼足以實(shí)現(xiàn)它 們。信息在理論上是不可能的實(shí)現(xiàn)與 G點(diǎn)en;k d,t .閾值函數(shù)en;k;d T如下:en;k d,T ?米(1)在哪里f eiT 嗎？醫(yī)學(xué)博士2e2k我1 ti t 2 或1 k t t (2)geiT 嗎？e2d 2 k t 我 t 1 ti 二維(3)在

17、d n 1 0鑒于en,k,dT,最低維修帶寬是分鐘嗎?f ek 1 t ?醫(yī)學(xué)博士 22 kdk2 t k(4): 一個重要的觀察是，最低維修帶寬？d是人數(shù)的遞減函數(shù)d的節(jié)點(diǎn)參與修復(fù)。 雖然新來的與更多的節(jié)點(diǎn)，每一個的大小包溝通變得較小的速度不夠快圖 5。插圖的信息流 圖G對應(yīng)e4;2 t代碼的圖1。分布式存儲方案使用e4;2 t消除代碼中任何兩個節(jié)點(diǎn)足以恢復(fù)原來的數(shù)據(jù)。如果節(jié)點(diǎn)x4變得不可用和newnode加入系統(tǒng),我們需 要構(gòu)建新的編碼塊x5o為此，節(jié)點(diǎn)x5在是連接到d ?3積極存儲節(jié)點(diǎn)。假設(shè)部分溝通從每個活動存儲節(jié)點(diǎn)，感興趣的是最低 要求。min-cut分離源和數(shù)據(jù)收集器必須大than

18、M嗎？4塊再生可能的。對于這個 圖,min-cut值是由t 2,暗示,1塊是充分必要溝通?？傄虼诵迯?fù)帶寬來修復(fù)一次 失?。縟 ?3塊。Dimakis et al 。調(diào)查網(wǎng)絡(luò)編碼的分布式存儲使產(chǎn)品減少。因此 ， 最低當(dāng)d修復(fù)帶寬可以達(dá)到？n 1。正如我們提到的，如果和代碼可以實(shí)現(xiàn)修復(fù)只 有底層信息流圖已經(jīng)足夠大min-cuts。這種情況導(dǎo)致了修復(fù)在定理1利率計算， 當(dāng)這些條件得到滿足，簡單的隨機(jī)線性組合就足夠了嗎高概率的字段長度編碼進(jìn) 行生長，見何et al。19。最優(yōu)權(quán)衡曲線k ?5、n ?10,和d ?9所示圖6。b兩 種特殊情況感興趣的是學(xué)習(xí)上的兩個極值點(diǎn)最優(yōu)折衷曲線，對應(yīng)于最好的存儲效率

19、和最低修 復(fù)帶寬，分別。我們調(diào)用代碼，實(shí)現(xiàn)這些點(diǎn)最小儲備量再生(MSR)弋碼和最小帶寬 再生(MBR)弋碼，分別。從定理1,最低可以驗證存儲是實(shí)現(xiàn) eMSR病患？(5):如前所述，修復(fù)帶寬MSRdMSR1一個遞減函數(shù)d的節(jié)點(diǎn)數(shù)量的參與在修復(fù)。 自從MSR弋碼storeM = k位在每個節(jié)點(diǎn)同時確保 MDS-code&性，他們相當(dāng)于標(biāo) 準(zhǔn)MDS3。觀察到當(dāng)d ?鉀、總溝通維修isM(的大小原始文件)o因此，如果允許一個新人只接觸k節(jié) 點(diǎn),這是不可避免的下載修復(fù)一個新的數(shù)據(jù)對象失敗，這是天真的修復(fù)方法，可以 執(zhí)行任何MDS3。然而，讓新人多聯(lián)系k節(jié)點(diǎn),MSR代碼可以減少修復(fù)帶寬 MSR, 這是d時

20、最小化?N 1MSR分鐘MSR5?米K;(6):我們已經(jīng)分開了 M =導(dǎo)熱系數(shù)最小MS就明MS剛溝通一個在1 t = en kT 因素超過他們的商店。這是一個基本最優(yōu)擴(kuò)張MDSg構(gòu)所必需的reliability-redundancy 權(quán)衡。例如，考慮一個 en,kT 嗎？e14 燈頭;7 t 代碼。在這種情況下，新人需要從每個下載onlyM / 49位d ?n 1 ?13個活躍存儲節(jié)點(diǎn)，使得修復(fù)帶寬等于eM = 7噸e13 = 7噸。請注意， 我們需要只有一個擴(kuò)張因素的13/7，而7倍所需的天真的修復(fù)方法。另一端的權(quán)衡是MBR代碼，有最低修復(fù)帶寬。它可以驗證這一點(diǎn)最小點(diǎn)是通過修復(fù)帶寬；電磁制動

21、技術(shù) MBRT馬?(7):注意，在最低帶寬再生碼，存儲大小等于，的總數(shù)溝通在修復(fù)。如果我們設(shè)置 最優(yōu)值d ?n 1,我們獲得敏MBR分鐘mbr(8):請注意，敏MBR?敏MBRMBR；碼不會產(chǎn)生彳復(fù)帶寬擴(kuò)展，就像一個復(fù)制系統(tǒng)， 下載的確切信息存儲在一個修理。然而,MBR弋碼需要一個擴(kuò)展因數(shù)e2n 2噸=e2n k 1噸的數(shù)量存儲信息和不再是最優(yōu)的他們的可靠性冗余。三、模型二：確切的修復(fù)正如我們討論的，repair-storage權(quán)衡功能修理可以完全通過分析特征信息流圖的割集。然而，隨著圖6。之間的最佳折衷曲線存儲和修復(fù)帶寬、k ?5和n ? 10。趕路嗎？1 和 d ?n 1。Notethat

22、傳統(tǒng)的消除編碼對應(yīng)點(diǎn)(?1,? 0:2) 。Dimakis et al 。調(diào)查網(wǎng)絡(luò)編碼的分布式存 儲前面所提到的，功能性修復(fù)是有限的實(shí)用興趣，因為有一個需要維護(hù)系統(tǒng)中的 代碼的形式。此外，根據(jù)功能修復(fù)，意義重大系統(tǒng)開銷發(fā)生為了不斷更新 repairing-and-decoding規(guī)則無論何時發(fā)生故障。止匕外,random-network-coding-based解決方案功能修復(fù)可能需要一個巨大的有限域大小支持動態(tài)圖大小(由于不斷擴(kuò)張修復(fù))。這可以顯著提高計算編碼和解碼的復(fù)雜性。止匕外，功能修復(fù)存儲安全應(yīng)用中是不可取的面對竊聽者。在這種情況下，信息泄漏發(fā)生不斷的動力repairing-and-d

23、ecoding可能觀察到的規(guī)則通過竊聽者40。這些缺點(diǎn)激勵需要確切的修復(fù)失敗的節(jié)點(diǎn)。這導(dǎo)致了以下的問題：是否有可能實(shí)現(xiàn)割集下界地 區(qū)，額外的約束確切的修復(fù)？最近，已取得顯著進(jìn)展兩個極端點(diǎn)的家庭重新生成代碼 (也可以說是 最有趣的):33和 MBRK MSRlf 31,34,35 。 Rashmiet al .33對 d ?n 1, 可以優(yōu)化MBRK通過一個確定的方案需要一個小有限域的大小和修復(fù)帶寬匹配割集(8)的束縛。MSRK，吳邦國委員長和Dimakis31顯示的情況下可以達(dá)到k ?2和k ?N 1當(dāng)d ?n 1。隨后，國王等。34，?？?nT el = 2 t t e2 = nT,割集邊界

24、不能實(shí)現(xiàn)精確修復(fù)下標(biāo)量線性編碼（即,? 1）符號是不允許被分成任意小 subsymbols與向量線性codes.1對于大型n,這種 情況下可以歸結(jié)為埃克=nT el = 2 t。書釘和Ramchandran35表明,exact-MSR 代碼匹配的割集綁定的情況下（5）?？?nT e1 = 2 t1.2 和2 d k中間政權(quán)ek = nT 2e1 = 2;e1 = 2 t t e2 = nT,Cullina et al .（32）和書釘 Ramchandran35表明，割集范圍內(nèi)是可以實(shí)現(xiàn)的k的情況嗎？ 3。一個建筑可以匹配MBR勺割集綁 定點(diǎn)所有n,k,d 和MSR弋碼如果ek率=nT e1

25、= 2 t提出了 Rashmi et al .（46）。 最后，它最近成立，MSR代碼可以匹配的修復(fù)?割集綁定所有 n,k存在漸近。這 個令人驚訝的結(jié)果獨(dú)立獲得35和45使用突破技術(shù)引入的符號擴(kuò)展 Cadambe 和魔幻29。令人驚訝的象征擴(kuò)展，技術(shù)開發(fā)利用獨(dú)立衰落的無線頻道，完全映射 到具體的問題修復(fù)在 MSR點(diǎn)。最近的工作 Papailiopoulos et al 。43,44 進(jìn) 一步探討了這種聯(lián)系。我們注意到雖然這項工作表明，高效精確的MSR弋碼存在,35和45的結(jié)構(gòu)并不實(shí)用，因為 他們需要指數(shù)大小和subpacketization 領(lǐng)域。除了 MS序口有關(guān)的中間點(diǎn)MBR找 到儲存和修

26、復(fù)的基本限制溝通仍然是一個挑戰(zhàn)性的開放問題。我們現(xiàn)在簡要總結(jié)其中的一些最近的調(diào)查結(jié) 果。A:Exact-MBR代碼定理2（Exact-MBR代碼33）:d ?n 1,割集下界（8）可以實(shí)現(xiàn)的確定性計劃，需要一個有限域字母的大小在大多數(shù) en 1萬億=2。圖7展示了一個通過 的例子en;k;d,T ?e5;3 、4、4、4 t最大文件大小的地方膠卷暗盒嗎？9（割集匹 配的綁定）可以存儲。讓一個是nine-dimensional數(shù)據(jù)文件。每個節(jié)點(diǎn)存儲四個 第六塊形式的人數(shù)方面，可以解釋作為一個一維子空間的數(shù)據(jù)文件。我們只簡單寫子空間向量來表示一個實(shí)際存儲 塊。注意程度d等于存儲的數(shù)量塊修復(fù)，即。，

27、可用方程的數(shù)量匹配所需的變量的 確切的數(shù)量單個節(jié)點(diǎn)的修復(fù)。因此，對于確切的修復(fù)，必須的之間至少有一個復(fù)制 塊節(jié)點(diǎn)1和節(jié)點(diǎn)我為所有6嗎？ 1。這個觀察激發(fā)以下的想法。這個想法我是有 其他節(jié)點(diǎn)ei 6嗎？1 t存儲每個節(jié)點(diǎn)1塊,分別為：節(jié)點(diǎn)2、3、4和5存儲atv1 atv2,atv3,分別和atv4在自己的地方。注意，對確保修理，它可以只有一個復(fù)制 阻止任何兩個存儲節(jié)點(diǎn)之間。因此，節(jié)點(diǎn)2商店的另一個新的atv5三個街 區(qū),atv6,atv71這相當(dāng)于在古典大塊長度設(shè)置。在非線性和向量線性編碼，緊張的割集范圍內(nèi)仍然存在開放。2這一想法的靈感來自于代碼結(jié)構(gòu)在34完全修復(fù)保證系統(tǒng)的一部分。事 實(shí)上，它

28、35所示34中介紹的代碼只有系統(tǒng)的節(jié)點(diǎn)可以完全修復(fù)也被用來修復(fù) nonsystematic（奇偶校驗）節(jié)點(diǎn)故障提供適當(dāng)?shù)男迯?fù)施工方案設(shè)計。圖 7。修復(fù) e5節(jié)點(diǎn)1;3 t-mbr代碼。注意的數(shù)量想要塊（需要修理）等于的數(shù)量可用方程（可 下載）。因此，代碼應(yīng)該這樣設(shè)計（干擾）是完全不受歡迎的塊避免的。Dimakis et al o調(diào)查網(wǎng)絡(luò)編碼的分布式存儲剩下的其他地方。按照以上過程中，節(jié)點(diǎn)3、4、5然后復(fù)制三個街區(qū)分別在自己的空間。我們重復(fù)這個過程，直到10 e ?4噸3 t2 t 1噸塊存儲。一個人可以看到這建設(shè)保證精確修復(fù)的失敗的節(jié)點(diǎn)，因為至少一塊之間的復(fù)制任何兩個存儲節(jié)點(diǎn)和重復(fù)的塊截然不同

29、的。見圖7中的例子。現(xiàn)在剩下的問題是設(shè)計這十子空間向量vi,我嗎？1;。，10。詳細(xì)的施工來自MDS-codeH性，任何三個節(jié)點(diǎn)的五個需要恢復(fù)整個數(shù)據(jù)文件。觀察在圖7中,9個不同的向量可以下載從任何三個節(jié)點(diǎn)。因此，任彳sTe10汽油;9 t MDS代碼這些六世的構(gòu)造。在這個示例中，使用paritycheck 在GFe2T代碼定義，我們可以設(shè)計 vi的第六:？ei,8 嗎？1;。，9和v10 ? ?1;。1 t。它有33所示，這個想法可以擴(kuò) 展到一個任意en,kT的情況。這個建筑可以解釋為最優(yōu)避免干擾技術(shù)?？吹竭@ ， 觀察的圖的塊的數(shù)量準(zhǔn)確修復(fù)可用方程的數(shù)量，可以匹配被下載。因此，參與任何不受歡

30、迎的塊（干擾）排除了確切的修復(fù)。一個自然問題出現(xiàn)了 ：這interference-avoidance技術(shù)提供解決方案的另一個極端 MSR點(diǎn)嗎？它結(jié)果表明，一個新的想法需要彌補(bǔ)這一點(diǎn)。b . Exact-MSR代碼新的想法是干擾對齊28,29。的干擾對齊的想法是使多 個干擾信號在信號子空間的維數(shù)小于陷的數(shù)量。具體來說，考慮以下設(shè)置一個解碼器解碼一個期望信號是由兩個線性干擾的獨(dú)立的不受歡迎的信號。有多少線性方程組（涉及頻道使用的數(shù)量）譯碼器需要恢復(fù)其期望的輸入信號？隨著聚合信號 維度跨越到想要的和不想要的信號最多三個，解碼器可以天真地恢復(fù)信號感興趣 的訪問三個線性無關(guān)的方程的三個未知信號。然而，隨

31、著譯碼器只有一個感興趣 的三個信號，它可以嗎解碼其所需的未知信號即使訪問權(quán)只有兩個方程，提供了 兩個不受歡迎的信號明智而審慎地對齊一維子空間。 28-30細(xì)節(jié)。這個概念 關(guān)系密切，我們的維修問題涉及到經(jīng)濟(jì)復(fù)蘇的一個子集（相關(guān)的子空間跨越的一個失敗的節(jié)點(diǎn)）的總信號整 個用戶空間（相關(guān)數(shù)據(jù)維度）。這在31屬性首次觀察到，這是顯示干擾對齊可以 利用精確-MSR弋碼。圖8說明了確切的干擾對齊在修復(fù)失敗的節(jié)點(diǎn)1；k;d;T ?e4;2;3;2;2 t最大文件大小膠卷暗盒在哪里？4可以存儲。我們介紹矩陣表示法用于演示目的。讓一個嗎？ea1;a2Tt和b ?eb1;b2Tt二維信息單元向 量。讓Ai和Bi

32、2-by-2編碼矩陣我奇偶校驗節(jié)點(diǎn)ei嗎？1;2 t,它包含編碼系數(shù) 的線性組合ea1;a2T eb1;b2T,分別。例如，奇偶校驗節(jié)點(diǎn)1存儲塊atA1 t btB1 的形式，如圖8所示。的編碼矩陣系統(tǒng)的節(jié)點(diǎn)不明確定義因為這些都是平凡地推 斷。最后，我們定義二維投影向量vi的ei嗎？1,2,3 t因為？ 1。讓我們解釋 interference-alignment 方案。首先，在每個存儲節(jié)點(diǎn)預(yù)計兩個街區(qū)與投影向量 六世的標(biāo)量。通過連接三個節(jié)點(diǎn)，我們得到：第二個條件可以通過設(shè)置v2 ? B11 V1和v3 ? B12 v1。這個選擇力量的干擾空間坍塌成一個一維線性子空間，從而實(shí)現(xiàn)干擾對齊。另一方

33、面，我們也可以滿足第一個條件通過仔細(xì)選擇Ai和Bi。節(jié)點(diǎn)2的確切的修復(fù)，我們可以應(yīng)用同樣的想法。奇偶校驗節(jié)點(diǎn)的修復(fù)，我們可以重新映射平價節(jié) 點(diǎn)信息，然后使用相同的技術(shù)。事實(shí)證明，這個想法不能通用任意en,kT的例子：它提供了最佳的代碼只對于k ? 2。最近，重大的進(jìn)展的情況： ?？?nT e1 = 2 t,它已被證明沒有價格獲得確切的修復(fù)（5）的割集下界。定理3（Exact-MSR代碼35）:假設(shè)MDS弋碼率最多1/2,即。，?？?nT e1 = 2 t 和程度d 2 k 1。然后，割集的（5）干擾對齊。可實(shí)現(xiàn)的方案確定性和需要一個有限域字 母的大小大多數(shù)2 kT0更復(fù)雜的想法出現(xiàn)覆蓋這種情況

34、下：同時干擾對齊。圖9 展示了 interference-alignment 技術(shù)的例子 en;k;d,T ?e6;3、5、3、3 t M? 9。 信息單元向量。讓Ai、Bi和Ci 3 x3的我奇偶校驗節(jié)點(diǎn)的編碼矩陣ei嗎？1,2,3 t 。我們定義三維投影向量vi的ei 嗎？1;。；5 to通過連接到五節(jié)點(diǎn)，我們五個方程圖所示。為了成功地恢復(fù)期望信號組件的相關(guān)矩陣3的應(yīng)該滿秩，而另一個矩陣對應(yīng)于b和c應(yīng)該等級1,分別。按照e4;2 t代碼示例在圖8中，如果一個人是集v3 B11 v1,v4 ? B12 v2,v5嗎？B13 v1,那么就有可能實(shí)現(xiàn)干擾對齊對 b。然而，這種選擇也指定c的干擾空

35、間。如果Bi和Ci的不是明智而審慎地設(shè)計， 干擾對齊是沒有保證的co因此，如何實(shí)現(xiàn)它不是明顯干擾對齊在同一時間。為 了解決的挑戰(zhàn)同時干擾對齊，一個共同的特向量概念調(diào)用。這個想法包括兩個部 分:1)設(shè)計eAi,Bi,CiT,v1是一種常見的的特征向量 Bi和C的，但不是Ai ,s3;2)修復(fù)通過幸存者節(jié)點(diǎn)項目數(shù)據(jù)到一個線性子空間跨越這個共同的特征向量v1。然后我們可以實(shí)現(xiàn)對b和c的干擾對齊時間，通過設(shè)置六世？v1;8我。只要？ A1v1;A2v1;A3v1是可逆的，我們也可以保證decodability 的，見圖9?，F(xiàn)在的挑戰(zhàn)是設(shè)計編 碼矩陣保證公共特征向量的存在也滿足 decodability

36、 所需的信號。的困難來自 這樣一個事實(shí)：e6;3、5 t代碼例，對所有6個，需要滿足這些約束可能失敗的配置。基本的結(jié)構(gòu)矩陣(廣義矩陣的房主和高斯矩陣)提供見解?？吹竭@，考慮3 x3的基本矩陣一個嗎？uvt t我(9)圖9。修復(fù) e6;3 t-msr代碼系統(tǒng)節(jié)點(diǎn)失敗時。一個共同的特征向量概念是用來實(shí)現(xiàn)干擾同 時對齊。3當(dāng)然，五個額外的約束還需要滿足的其他五個失敗配置這e6;3、5 t代碼示例。Dimakis et al 。調(diào)查網(wǎng)絡(luò)編碼的分布式存儲在u和v三維向量。注意的尺寸的零空間2和零向量v v ?是一個的特征向量，即,Av嗎？v ?。這激發(fā)了 以下結(jié)構(gòu)A六、三維線性無關(guān)的向量，所以嗎ui o

37、我的價值觀，我的，我的可以任意非零值。 為簡單起見，我們考慮簡單情況vi是正交的，盡管這些不需要嗎正交，但只有線 性獨(dú)立。然后，我們看到 8我嗎？1;2;3Aiv1 嗎？iv1 t uiBiv1 ? iv1Civ1 嗎？iv1:(11) 重要的是，請注意,v1是一種常見的的特征向量Bi和Ci,同時確保Aiv1的向量線 性無關(guān)。因此，設(shè)置六世嗎？所有我v1,可以實(shí)現(xiàn)同步干擾對齊，同時保證decodability 所需的信號。另一方面，這一點(diǎn)結(jié)構(gòu)也為b和 co我們保證精確修復(fù)使用v2的精確修復(fù)bo這是一種常見的特征向量 Ci和人 工智能，同時確保嗎？B1v2;B2V2 B3V2可逆。同樣,v3用于

38、c。奇偶校驗節(jié)點(diǎn)可以通過畫一個雙重修復(fù)關(guān)系與系統(tǒng)的節(jié)點(diǎn)。這個過程有兩個步驟。首先是重測圖奇 偶校驗節(jié)點(diǎn)a0,b0,c0,分別。系統(tǒng)的節(jié)點(diǎn)可以被重寫的主要符號在哪里 ？用這個 重新映射,可以dualize關(guān)系系統(tǒng)之間和奇偶校驗節(jié)點(diǎn)修復(fù)。具體來說,如果 所有的A0我的，我的,C0我的是初等矩陣和形成一個類似的代碼結(jié)構(gòu)(10),具體 的修復(fù)奇偶校驗節(jié)點(diǎn)變得透明。這是顯示一個特殊的關(guān)系嗎？u1,u2,u3嗎？v1、v2、v3通過正確的選擇ei;我也可以保證(10)的二元結(jié)構(gòu)35。圖10顯示了一 個數(shù)值例子完全修復(fù)系統(tǒng)節(jié)點(diǎn)1(無花果。10(a)和奇偶校驗節(jié)點(diǎn)1(無花果。 10(b)在哪里？v1、v2、v

39、3 ? ?2、2、2;2;3;1;2;1;3。這個例子演示了代碼結(jié)構(gòu)，概括了代碼中引入34。有關(guān)詳細(xì)信息，請參閱35。 這通用代碼結(jié)構(gòu)允許一個更大的設(shè)計空間完全修復(fù)。注意，投影向量系統(tǒng)解決方 案節(jié)點(diǎn)修復(fù)很簡單：六世嗎？21 v1嗎？e1;1;1 tt;8 我。注意，這個選擇允許同時 干擾對齊，而decodability 的保證。注意,eb1;b2;b3T ec1,c2,c3T 是一致的b1 t b2 t b3和c1 t c2 t c3, 分別，而三方程與線性獨(dú)立相關(guān)。平價的二元結(jié)構(gòu)還保 證確切的修復(fù)節(jié)點(diǎn)。重要的是，我們選擇代碼參數(shù)35的推廣代碼結(jié)構(gòu)，奇偶校驗 節(jié)點(diǎn)修理很簡單。如圖10所示(b)

40、,下載只有從每個幸存者節(jié)點(diǎn)確保第一個方程 確切的修復(fù)。注意，五下載方程ea0只包含五個未知變量和三個方程與 a0是線性 獨(dú)立相關(guān)。因此,我們可以成功地恢復(fù)a0o (35)所示,該聯(lián)合技術(shù)可以很容易地推廣到任意 en,k,dT在哪里n 2 k和d 2 k 1。第三第四。模型：確切的修復(fù)系統(tǒng)的一部分在 本節(jié)中，我們審查的建設(shè)性方案36,使建筑的系統(tǒng)；kT-MDS代碼2 k n,達(dá)到最低修理當(dāng)從k t 1節(jié)點(diǎn)修復(fù)帶寬。 該方案見圖11。讓F表示定義在有限域的代碼。在圖11中,x 2 F2k是一個向量 組成的2 k原始信息嗎符號。每個節(jié)點(diǎn)存儲兩個符號 xTui和xTvi。的向量fuig 不會隨著時間而

41、改變，但fvig變化Dimakis et al。調(diào)查網(wǎng)絡(luò)編碼的分布式存維修的代碼。我們保持不變的性質(zhì)2 nlength-2k向量優(yōu)質(zhì)黃麻；抽頭形成一個e2n;2 kt-mds代碼；也就是說，任彳SJ 2 k 向量集優(yōu)質(zhì)黃麻；抽頭已經(jīng)滿了等級2 k0這當(dāng)然意味著n節(jié)點(diǎn)形成一個 嗯,kT-MDS代碼。我們初始化代碼使用任何e2n;2 kt系統(tǒng)的MDS弋碼?，F(xiàn)在我們考慮一個修理的情況。沒有損失的普遍性，假設(shè)節(jié)點(diǎn)n失敗和修理訪問節(jié)點(diǎn)1;。；k t 1。圖11中所示替換節(jié)點(diǎn)下載ixTui t ixTvi從每個fl的節(jié)點(diǎn)；。；k t 1 g。使用這些k t1下載符號，替換節(jié)點(diǎn)計算兩個符號xTun和xTv0

42、n如下： (15)請注意，我們n是允許不同于素食新聞；財產(chǎn)我們維護(hù)是修復(fù)代碼仍在繼續(xù) 是一個e2n;2 kt-mds代碼。這里fi;我搞笑和爆破n是我們可以控制的變量。 下面的定理顯示，我們可以選擇這些變量，(14)和(15)感到滿意和修復(fù)代碼仍然 是一個e2n;2 kt-mds代碼。定理4(36):讓F是一個有限域的大小大于(16):圖10。插圖的精確修復(fù)e6;3;5 t E-MSR 代碼定義在GFe4Tg電機(jī)多項式 gexT在哪里？x2 t x t 1。解決方案系統(tǒng)節(jié)點(diǎn)的修復(fù)很簡單：設(shè)置所有的投影向量為e1;1;1 tt 。這使得同步干擾對齊，而保證的decodability 。為我們精心

43、挑 選的參數(shù)，奇偶校驗節(jié)點(diǎn)修復(fù)要簡單得多。修復(fù),我們下載只有第一個方程從每個 幸存者節(jié)點(diǎn)來解決五個線性方程只包含五個未知數(shù)。(一)確切的修復(fù)系統(tǒng)節(jié)點(diǎn)1。(b)奇偶校驗節(jié)點(diǎn)的精確修復(fù)1。圖11。插圖的計劃36 。 Dimakis et al 。 調(diào)查網(wǎng)絡(luò)編碼的分布式存儲假設(shè)舊代碼指定的優(yōu)質(zhì)黃麻；抽頭e2n;2 kt -MDS碼定義在f .節(jié)點(diǎn)n失敗時，存在變量的分配fi;我搞笑,(14)(15)感到滿意和修復(fù) 代碼仍然是一個e2n;2 kt-mds代碼。推論1(系統(tǒng)en;kT-MDS代碼)：上面方案給 出了一個系統(tǒng)在建設(shè);kT-MDS代碼2 k n,達(dá)到最低修理當(dāng)從k t 1節(jié)點(diǎn)修復(fù)帶寬。證明：

44、考慮n 2 k。注意， 在上面的計劃，我們可以初始化代碼fu1;。、聯(lián)合國、v1。；vng與任何e2n;2 kt-mds代碼。特別是，我們可以使用一個系統(tǒng)的代碼，并分配向量的2 k的系統(tǒng) 代碼fu1; o u2kg。因為fu1;。)不改變時間，代碼仍然是一個系統(tǒng)性e2n;2 kt-mds 代碼。因此,n個節(jié)點(diǎn)形成一個系統(tǒng)化的en;kT-MDS代碼。的維修故障代碼下載k t 1塊d ?k t 1 節(jié)點(diǎn)，總文件sizeM ?2 k,實(shí)現(xiàn)在第二部分割集邊界提取。H訴 討論和開放的問題我們概述了最近的關(guān)于這個問題的結(jié)果減少維修的交通在分 布式存儲系統(tǒng)中基于消除編碼。三個版本的修復(fù)問題被認(rèn)為是：精確修復(fù)

45、、功能修復(fù)、準(zhǔn)確修復(fù)系統(tǒng)的部分。在確切的修復(fù)模型中，失去了內(nèi)容正是再生；在功能 修復(fù)模型中，只有MDS-codeH性是相同的之前和之后修復(fù)；確切的修復(fù)系統(tǒng)部分 系統(tǒng)的完全重建，但一部分nonsystematic部分遵循功能性修復(fù)模型。功能性修 復(fù)問題本質(zhì)上是一個問題多播的一個無限數(shù)量的來源接收器在一個無界的圖。正如我們顯示存儲和修復(fù)帶寬和之間的權(quán)衡兩個極值點(diǎn)是通過MBRf口 MSR弋碼。修復(fù)帶寬的特點(diǎn)是min-cut邊界，因此功能性修復(fù)問題理解。問題，需要確切的修 復(fù)與網(wǎng)絡(luò)相對應(yīng)編碼與重疊子集有下沉的問題的要求。對于這樣的問題，割集邊界一般緊和線性碼甚至可能不足夠了 22。最近我們討論了 33表明，工作MBR 代碼修復(fù)帶寬的割集為d的有趣的案例是可以實(shí)現(xiàn)的嗎？n