平安城市建設(shè)技術(shù)解決方案

平安城市建設(shè)技術(shù)解決方案1概述 31.1建設(shè)背景 3 3 32云存儲(chǔ)系統(tǒng)平臺(tái)設(shè)計(jì) 42.1項(xiàng)目需求 42.2設(shè)計(jì)思想 52.3云存儲(chǔ)系統(tǒng)方案 62.4系統(tǒng)優(yōu)勢(shì)和特點(diǎn) 63系統(tǒng)架構(gòu) 93.1系統(tǒng)基本組成 93.2系統(tǒng)功能描述 174.1數(shù)據(jù)寫(xiě)入機(jī)制 4.2數(shù)據(jù)讀出機(jī)制 5關(guān)鍵技術(shù) 5.1負(fù)載自動(dòng)均衡技術(shù) 5.2高速并發(fā)訪問(wèn)技術(shù) 5.3高可靠性保證技術(shù) 5.4高可用技術(shù) 6接口描述 6.1POSIX通用文件系統(tǒng)接口訪問(wèn) 6.2應(yīng)用程序API接口調(diào)用 7本地容錯(cuò)與診斷技術(shù) 7.1cStor高可靠性 21 217.3cStor快照技術(shù) 228異地容災(zāi)與恢復(fù)技術(shù) 228.2cStor異地文件恢復(fù) 9部署方案 數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用的最終保障，不但要保證整套系統(tǒng)能夠7X24運(yùn)行，而且在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，充分考慮數(shù)據(jù)高可靠存儲(chǔ)，采用高度可靠的軟硬件容錯(cuò)設(shè)計(jì)，維護(hù)和平滑擴(kuò)展，系統(tǒng)服務(wù)7×24小時(shí)不間斷。系統(tǒng)采cStor云存儲(chǔ)系統(tǒng)是一套軟件與硬件相結(jié)合的系統(tǒng)，其中專有技術(shù)和軟件是高附加銀行等領(lǐng)域);該系統(tǒng)相比傳統(tǒng)存儲(chǔ)系統(tǒng)有如下技術(shù)優(yōu)勢(shì)：存儲(chǔ)系統(tǒng)采用云架構(gòu)，數(shù)據(jù)被分塊存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上，數(shù)據(jù)采用先進(jìn)的1:1重啟服務(wù)后，它則成為新的備管理節(jié)點(diǎn)，保障系統(tǒng)的7×24小時(shí)不間斷服務(wù)。cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲(chǔ)或讀取實(shí)際上是與各個(gè)存儲(chǔ)節(jié)r個(gè)數(shù)可以有多個(gè)，它的數(shù)目直接決定了cStor云存儲(chǔ)系服務(wù)器對(duì)外提供數(shù)據(jù)存儲(chǔ)和訪問(wèn)服務(wù)的窗口，通常情況下，客戶端可以部署在Chunk由一對(duì)元數(shù)據(jù)服務(wù)器及其管理的存儲(chǔ)服務(wù)器節(jié)點(diǎn)所提供的存儲(chǔ)空間稱為一個(gè)卷空1.9系統(tǒng)功能描述cStor提供符合POSIX規(guī)范的文件系統(tǒng)訪問(wèn)接口，通過(guò)cStor訪問(wèn)掛接程序可將云存儲(chǔ)空間掛接為本地目錄或磁盤。同時(shí)可提供專用的API接口，支持業(yè)務(wù)應(yīng)主備雙機(jī)高可用，切保7×24小時(shí)不間斷服務(wù)。塊數(shù)據(jù)是指文件數(shù)據(jù)被按照一定大小(默認(rèn)64MB)分割而成的多個(gè)數(shù)據(jù)塊，分布由一對(duì)主備元數(shù)據(jù)服務(wù)器及其所管理的塊數(shù)據(jù)服務(wù)器管理節(jié)點(diǎn)設(shè)備及其所提供的卷管理服服務(wù)器負(fù)責(zé)將多個(gè)卷虛擬化整合，對(duì)外提供統(tǒng)一的整體訪問(wèn)云存儲(chǔ)空間。指指指指山admin山時(shí)時(shí)莊莊莊莊莊止止止程山出以山456[(2)客戶端進(jìn)行文件切塊寫(xiě)入有塊數(shù)據(jù)服務(wù)(3)客戶端每寫(xiě)入一定量的塊數(shù)據(jù)后，通知元數(shù)據(jù)服務(wù)器，由元數(shù)據(jù)服務(wù)器啟動(dòng)一(2)客戶端進(jìn)行數(shù)據(jù)塊讀出；(3)客戶端進(jìn)行數(shù)據(jù)塊校驗(yàn)；(4)對(duì)未能讀出的數(shù)據(jù)塊或無(wú)效塊通過(guò)同編碼組內(nèi)其它數(shù)據(jù)塊進(jìn)行解碼，獲得完整對(duì)于節(jié)點(diǎn)服務(wù)器，采用編解碼的方式實(shí)現(xiàn)容錯(cuò)。分布存儲(chǔ)在不同的節(jié)點(diǎn)服務(wù)器上。系統(tǒng)中的所有服務(wù)節(jié)點(diǎn)均是通過(guò)網(wǎng)絡(luò)連接在一起，由于不停止；存儲(chǔ)節(jié)點(diǎn)采用編解碼冗余備份機(jī)制，如采用4:2編碼容錯(cuò)，,任意損失文件系統(tǒng)接口訪問(wèn)；②通過(guò)專用API訪問(wèn)。具體描述如下。通常情況下，可以通過(guò)在客戶端的基礎(chǔ)上部署FTP、NFS等服務(wù)器的方式，對(duì)外提供基于FTP和NFS的數(shù)據(jù)存儲(chǔ)訪問(wèn)。1.17應(yīng)用程序API接口調(diào)用cStor云存儲(chǔ)系統(tǒng)對(duì)外提供應(yīng)用程序API訪問(wèn)接口，可以根據(jù)實(shí)際應(yīng)用的需要編寫(xiě)應(yīng)用程序，通過(guò)調(diào)用相應(yīng)的接口直接訪問(wèn)cStor云存儲(chǔ)系統(tǒng)。不管如何終止服務(wù)，元數(shù)據(jù)服務(wù)器和存儲(chǔ)服務(wù)器都會(huì)在幾秒鐘內(nèi)恢復(fù)狀態(tài)和運(yùn)行。實(shí)際上，我們不對(duì)正常終止和不正常終止進(jìn)行區(qū)分，服務(wù)器進(jìn)程都會(huì)被切斷而終止?？蛻魴C(jī)和其他的服務(wù)器會(huì)經(jīng)歷一個(gè)小小的中斷，然后它們的特定請(qǐng)求超時(shí)，重新連接重啟的服務(wù)器，重新請(qǐng)求。每個(gè)數(shù)據(jù)塊都會(huì)被備份到放到的不同存儲(chǔ)服務(wù)器上。對(duì)不同的目錄和文件，用戶可以設(shè)置不同的備份級(jí)別。在存儲(chǔ)服務(wù)器掉線或是數(shù)據(jù)被破壞時(shí)，元數(shù)據(jù)服務(wù)器會(huì)按照需要來(lái)復(fù)制數(shù)據(jù)塊。元數(shù)據(jù)服務(wù)器采用雙機(jī)熱備技術(shù)，在主元數(shù)據(jù)服務(wù)器發(fā)生異常中斷時(shí)，能夠在秒級(jí)內(nèi)切換到備元數(shù)據(jù)服務(wù)器，而不會(huì)中斷業(yè)務(wù)。另外還可以采用冷備份機(jī)制，單獨(dú)將元數(shù)據(jù)備份到另外第3臺(tái)機(jī)器中，從而確保萬(wàn)每個(gè)存儲(chǔ)服務(wù)器都利用校驗(yàn)和來(lái)檢驗(yàn)存儲(chǔ)數(shù)據(jù)的完整性。在讀數(shù)據(jù)時(shí)，存儲(chǔ)服務(wù)器首先檢查與被讀內(nèi)容相關(guān)部分的校驗(yàn)和，因此，服務(wù)器不會(huì)傳播錯(cuò)誤的數(shù)據(jù)。如果所檢查的內(nèi)容和校驗(yàn)和不符，服務(wù)器就會(huì)給數(shù)據(jù)請(qǐng)求者返回一個(gè)錯(cuò)誤的信息，并把這個(gè)情況報(bào)告給元數(shù)據(jù)服務(wù)器?？蛻魴C(jī)就會(huì)讀其他的服務(wù)器來(lái)獲取數(shù)據(jù)，而元數(shù)據(jù)服務(wù)器則會(huì)