分布式存儲數(shù)據(jù)一致性技術(shù)架構(gòu)

1、 分布式存儲數(shù)據(jù)一致性技術(shù)架構(gòu)分布式存儲如何保證數(shù)據(jù)一致性？作為一個面向大規(guī)模的分布式存儲系統(tǒng)，故障處理是作為一個常態(tài)異常處理，在多副本機(jī)制下，數(shù)據(jù)的一致性是如何保證的，中間應(yīng)用了什么機(jī)制？這里以solidfire和fusionstorage block 作為典型的分布式塊存儲，2種在架構(gòu)區(qū)別較大的存儲來講講在2種主流協(xié)議架構(gòu)下數(shù)據(jù)一致性的保障問題。一、 solidfiire分布式塊存儲寫入數(shù)據(jù)數(shù)據(jù)一致性保障:solidfire 是全閃存架構(gòu)雙副本保護(hù)機(jī)制，主機(jī)端的寫操作會被分片成多個4K的block 下發(fā)到存儲集群，數(shù)據(jù)首先寫到存儲集群中該卷（類似傳統(tǒng)存儲分給主機(jī)的LUN）對應(yīng)primary

2、存儲節(jié)點的NVRAM，之后再被復(fù)制到集群中該卷對應(yīng)的secondary 存儲節(jié)點NVRAM完成第二份副本復(fù)制，復(fù)制完成secondary 副本之后，集群直接acknowledge write to host 返回主機(jī)寫入完成。注意這里還沒有完返回主機(jī)寫入完成后，集群中存儲節(jié)點還有做將NVRAM中數(shù)據(jù)刷入后端SSD硬盤的數(shù)據(jù)落盤操作，最終完成數(shù)據(jù)存儲過程。二、 fusionstorage block分布式塊存儲數(shù)據(jù)一致性保障:數(shù)據(jù)一致性意味著當(dāng)應(yīng)用成功寫入一份數(shù)據(jù)到存儲系統(tǒng)時， 存儲系統(tǒng)的幾個數(shù)據(jù)副本必然是一致的，當(dāng)應(yīng)用再次讀時，無論在哪個副本上讀取，都是之前寫入的數(shù)據(jù)。FusionStorag

3、e Block 采取多種方式來保證系統(tǒng)中數(shù)據(jù)的一致性：1、 副本同步寫當(dāng) VBS 模塊將寫操作發(fā)送給指定主 OSD 時， 該 OSD 在寫入本節(jié)點硬盤時，同時將寫操作同步到備 OSD， 同步過程中嚴(yán)格按照 IO 編號進(jìn)行，保證了主 OSD 接收到的 IO 順序和同步到備 OSD 的 IO 順序一致。 當(dāng)主備 OSD 同時完成寫操作時，才向應(yīng)用返回操作成功。具體流程如下圖所示：2、 讀修復(fù)（Read Repair）Read Repair 機(jī)制是指在讀數(shù)據(jù)失敗時，系統(tǒng)會判斷錯誤類型，如果是磁盤扇區(qū)讀取錯誤，系統(tǒng)會自動從其他節(jié)點保存的副本讀取數(shù)據(jù)，然后重新寫入該副本數(shù)據(jù)到硬盤扇區(qū)錯誤的節(jié)點， 從而保證數(shù)據(jù)副本總數(shù)不減少和副本間的數(shù)據(jù)一致性從服務(wù)端角度，如何盡快將更新后的數(shù)據(jù)分布到整個系統(tǒng)，降低達(dá)到最終一致性的時間窗口，是提高系統(tǒng)的可用度和用戶體驗非常重要的方面。對于分布式存儲系統(tǒng)：N 數(shù)據(jù)復(fù)制的份數(shù)W 更新數(shù)據(jù)是需要保證寫完成的節(jié)點數(shù)R 讀取數(shù)據(jù)的時候需要讀取的節(jié)點數(shù)如果W+RN，寫的節(jié)點和讀的節(jié)點重疊，則是強(qiáng)一致性。例如對于典型的一主一備同步復(fù)制的分布式存儲系統(tǒng)，N=2,W=2,R=1，則不管讀的是