可靠性高易于維護(hù)-京東統(tǒng)一云存儲(chǔ)淺談

可靠性高易于維護(hù)——京東統(tǒng)一云存儲(chǔ)淺談

1.公司內(nèi)部的在線小文件存儲(chǔ)。例如商品圖片、交易訂單、庫(kù)房訂單等數(shù)據(jù)。這些文件大小通常為幾KB或幾十KB，每天新增幾千萬條。這些數(shù)據(jù)對(duì)公司非常重要，語(yǔ)義上要求非常強(qiáng)的可靠性與一致性。2.面向公有云的對(duì)象存儲(chǔ)服務(wù)。我們面向京東的合作伙伴、第三方開發(fā)者等客戶提供類似AmazonS3與GoogleCloudStorage的對(duì)象存儲(chǔ)服務(wù)。3.針對(duì)虛擬機(jī)的持久塊設(shè)備存儲(chǔ)服務(wù)。無論私有云還是公有云的虛擬機(jī)實(shí)例，均需持久磁盤的存儲(chǔ)抽象。同行的相關(guān)工作包括AWS的ElasticBlockStore與GoogleCloud的PersistentDisks.面對(duì)多樣的存儲(chǔ)需求，京東云平臺(tái)的愿景是：“Oneteam，onestorageinfrastructure.”于是京東組建了一支團(tuán)隊(duì)，正致力于自主研發(fā)統(tǒng)一的數(shù)據(jù)中心存儲(chǔ)基礎(chǔ)架構(gòu)，提供多種存儲(chǔ)抽象，有效滿足上述三類實(shí)際業(yè)務(wù)需求。整體系統(tǒng)架構(gòu)如下圖所示。分別對(duì)應(yīng)第一節(jié)所述三類業(yè)務(wù)需求，京東云存儲(chǔ)平臺(tái)向上實(shí)現(xiàn)了三類使用抽象：PrivateClientLibraries，PublicRESTfulAPI，BlockStorageAbstraction.后兩類的功能定義與業(yè)界相關(guān)產(chǎn)品非常類似，因此本文僅介紹第一種。針對(duì)公司線上服務(wù)，京東提供了私有云客戶端開發(fā)庫(kù)，其抽象方式為Container/Key/File。其中Container為命名空間的單位，通常對(duì)應(yīng)用于一個(gè)使用實(shí)例或者業(yè)務(wù)單元，整個(gè)集群支持上億個(gè)Container。在一個(gè)Container內(nèi)部，由Key映射至File，Key數(shù)目沒有上限，F(xiàn)ile大小也沒有限制–可以從幾個(gè)Byte到1TB。另外，Key可以由用戶給定或者由存儲(chǔ)系統(tǒng)自己生成；File除了支持創(chuàng)建、刪除、讀取、替換等操作外，還支持Append即追加操作，這對(duì)大文件上傳是非常方便的。京東云存儲(chǔ)平臺(tái)采用的技術(shù)策略是：統(tǒng)一的系統(tǒng)架構(gòu)，不同的復(fù)制協(xié)議與存儲(chǔ)引擎。具體而言，對(duì)于系統(tǒng)元數(shù)據(jù)管理、小文件存儲(chǔ)、大文件存儲(chǔ)、定長(zhǎng)塊設(shè)備文件存儲(chǔ)，京東有針對(duì)性地利用訪問模式并實(shí)現(xiàn)不同的底層存儲(chǔ)引擎與復(fù)制協(xié)議，以做到系統(tǒng)性能、可靠性、一致性、易維護(hù)性等多方面因素之間的最優(yōu)權(quán)衡。以公司內(nèi)部在線小文件存儲(chǔ)為例。無論商品圖片、交易訂單、庫(kù)房訂單，這些電商數(shù)據(jù)需要非常強(qiáng)的可靠性，可用性，與一致性。常見開源分布式系統(tǒng)所采用的最終一致性(EventualConsistency)是無法被公司內(nèi)部服務(wù)所接受的。因此京東在CAP定理中選擇C+A，即通過非常強(qiáng)的復(fù)制協(xié)議來實(shí)現(xiàn)存儲(chǔ)一致性與可用性，犧牲了對(duì)網(wǎng)絡(luò)劃分(NetworkPartition)的容忍。一方面，NetworkPartition在單個(gè)數(shù)據(jù)中心里面并不常發(fā)生；即使發(fā)生，前臺(tái)的在線服務(wù)已經(jīng)受到影響，可以接受此時(shí)存儲(chǔ)系統(tǒng)出現(xiàn)“寫操作不可用”。京東采用了小團(tuán)隊(duì)作戰(zhàn)，各個(gè)子系統(tǒng)并行開發(fā)并快速迭代的工程方式。整個(gè)系統(tǒng)主要采用Go與C編程語(yǔ)言來開發(fā)，其中C負(fù)責(zé)底層存儲(chǔ)引擎開發(fā)，Go負(fù)責(zé)整體的系統(tǒng)框架實(shí)現(xiàn)。大規(guī)模存儲(chǔ)系統(tǒng)的思考：拿來主義還是自主研發(fā)？很多公司，尤其是到了一定規(guī)模之后的互聯(lián)網(wǎng)公司都會(huì)面臨一個(gè)問題：是使用開源軟件還是自主研發(fā)分布式存儲(chǔ)?我們建議視情況而定。如果數(shù)據(jù)規(guī)模很大且重要性極高，需求強(qiáng)烈且明確，那么自主研發(fā)的成本是完全可以接受的。另外一方面，