云環(huán)境下交易類數(shù)據(jù)的存儲架構(gòu)設(shè)計

一、交易類數(shù)據(jù)特征與IO特點(diǎn)交易數(shù)據(jù)一般指的是各個行業(yè)在業(yè)務(wù)運(yùn)營過程中內(nèi)部或外部事件的交易記錄，多以事務(wù)數(shù)據(jù)（TransactionalData）為主，例如：銷售訂單、轉(zhuǎn)賬交易流水、通話記錄等數(shù)據(jù)。有的業(yè)務(wù)同時還會產(chǎn)生一部分如影像票據(jù)之類的非結(jié)構(gòu)化數(shù)據(jù)，這類非結(jié)構(gòu)化數(shù)據(jù)來自業(yè)務(wù)流程中產(chǎn)生的掃描票據(jù)、保單等業(yè)務(wù)憑證，隨著業(yè)務(wù)的發(fā)展，其數(shù)據(jù)量迅速增長。這類非結(jié)構(gòu)化數(shù)據(jù)具有和交易數(shù)據(jù)（結(jié)構(gòu)化數(shù)據(jù)）所不同的文件小、數(shù)量大、空間占用多等特點(diǎn)。結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)一般采用共享集群架構(gòu)，全共享式數(shù)據(jù)集中的緊耦合集群架構(gòu)是一種既有ScaleOut橫向擴(kuò)展能力也有ScaleUp縱向擴(kuò)展能力的系統(tǒng)架構(gòu)。既支持緊耦合的聯(lián)機(jī)交易處理，也能保證實(shí)時信息的真實(shí)可靠性，同時無需通過應(yīng)用層跨系統(tǒng)的措施來保證數(shù)據(jù)和交易的一致性，而且在應(yīng)用時不需要考慮跨數(shù)據(jù)源的完整性、恢復(fù)性等。因此對于應(yīng)用的開發(fā)人員來說，節(jié)省了許多集成層面和管理層面的煩惱。如表1所示。表1：交易類數(shù)據(jù)架構(gòu)對比二、交易類數(shù)據(jù)生命周期特點(diǎn)日常生活中我們每個人都是數(shù)據(jù)的生產(chǎn)者，每天通過參與各種業(yè)務(wù)產(chǎn)生海量的交易業(yè)務(wù)數(shù)據(jù)，但并非所有的數(shù)據(jù)都會完整地經(jīng)歷整個生命周期，數(shù)據(jù)產(chǎn)生、傳輸、存儲、處理、刪除所經(jīng)歷的生命周期是由實(shí)際的業(yè)務(wù)場景所決定的。圖1：交易類數(shù)據(jù)生命周期圖如圖1所示，交易產(chǎn)生的數(shù)據(jù)隨著業(yè)務(wù)流程進(jìn)入到云平臺存儲池的不同存儲區(qū)域(例如高速閃存存儲池、分布式存儲池、對象存儲池等)，隨后根據(jù)業(yè)務(wù)和管理需求，部分?jǐn)?shù)據(jù)又被重新利用進(jìn)入到其他存儲區(qū)域，有的用來備份歸檔、有的用來參與大數(shù)據(jù)分析和報表、有的則用作開發(fā)測試數(shù)據(jù)，最終直至數(shù)據(jù)被刪除消失。生產(chǎn)數(shù)據(jù)通常被定義為三種類型：在線數(shù)據(jù)：業(yè)務(wù)系統(tǒng)需要隨時調(diào)用、頻繁讀寫的熱點(diǎn)數(shù)據(jù)。近線數(shù)據(jù)：業(yè)務(wù)系統(tǒng)訪問頻率較低，但要求具備能夠隨時提供訪問能力的數(shù)據(jù)。離線數(shù)據(jù)：業(yè)務(wù)系統(tǒng)幾乎不訪問，法規(guī)要求長期保存的數(shù)據(jù)。為實(shí)現(xiàn)存儲數(shù)據(jù)生命周期管理，分級存儲通常會分為在線存儲、近線存儲和離線存儲3種模式，并從物理承載方式上分為以下三個級別：1)在線存儲：一般采用高端SAN架構(gòu)閃存磁盤系統(tǒng)（高IOPS，主要是SSD固態(tài)硬盤或高速SAS盤），承載需要頻繁讀取、快速訪問的數(shù)據(jù)及關(guān)鍵應(yīng)用的核心生產(chǎn)業(yè)務(wù)數(shù)據(jù)。2)近線存儲：一般采用中低速大容量磁盤（SATA/低速SAS盤），承載訪問頻度較低但仍會被隨機(jī)讀寫的數(shù)據(jù)。近線存儲模式的要求是尋址迅速、傳輸率高，因此其對讀寫性能要求較低，但由于數(shù)據(jù)體量一般較大，其對容量要求較高。3)離線存儲：一般選用物理磁帶，承載近線存儲環(huán)境中達(dá)到一定保存時限需要進(jìn)行歸檔的長期歷史數(shù)據(jù)，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難。三、存儲架構(gòu)選型依據(jù)和方法論云環(huán)境下來自于IT基礎(chǔ)架構(gòu)和業(yè)務(wù)方面訴求已經(jīng)是當(dāng)下構(gòu)建存儲架構(gòu)以及存儲選型的重要依據(jù)。當(dāng)前，IT技術(shù)層面存在一些典型且突出的問題：例如，存儲設(shè)備繁多孤立、資源利用率不高、多廠商存儲設(shè)備共存、日常運(yùn)維管理難度大、存儲日常維護(hù)管理復(fù)雜等，管理存儲往往需要通過多個控制臺去管理存儲，經(jīng)常需要對數(shù)據(jù)或者存儲進(jìn)行遷移擴(kuò)容。由于各個業(yè)務(wù)系統(tǒng)使用的都是單一存儲，因此存儲性能和容量也很難做出整體可靠有效的評估。而在云環(huán)境下，業(yè)務(wù)的訴求主要體現(xiàn)在以下幾個方面：一是存儲系統(tǒng)難以支撐業(yè)務(wù)快速變化的要求，應(yīng)對存儲容量的快速增長；二是存儲系統(tǒng)需要靈活的資源調(diào)配和資源擴(kuò)展；三是存儲性能需要進(jìn)一步優(yōu)化，以縮短業(yè)務(wù)交易處理時間；四是業(yè)務(wù)系統(tǒng)需要對數(shù)據(jù)進(jìn)行再利用,用多重保護(hù)技術(shù)來保證業(yè)務(wù)數(shù)據(jù)可回溯性。根據(jù)當(dāng)前面臨的問題和業(yè)務(wù)訴求，筆者整理了一些通用的存儲選型方法論，希望給同行帶來參考：圖2：存儲選型方法論如圖2所示的存儲選型方法論可以作為云平臺存儲架構(gòu)選型上的參考依據(jù)，而對于交易數(shù)據(jù)存儲，在云平臺存儲架構(gòu)選型中，到底是選擇分布式存儲還是SAN/NAS存儲，要依據(jù)存儲數(shù)據(jù)服務(wù)的種類來做出判斷，需要考慮以下幾個問題：1)是塊存儲還是文件存儲？2)對性能要求比較高的應(yīng)用如OLTP，以及對存儲空間有著高要求的互聯(lián)網(wǎng)應(yīng)用應(yīng)該如何從應(yīng)用角度去評估性能和容量？3)通過何種技術(shù)手段來實(shí)現(xiàn)99.999%的高可用性，是可靠的硬件還是有效的系統(tǒng)管理手段？4)如何在保障交易數(shù)據(jù)數(shù)據(jù)安全情況下實(shí)現(xiàn)在云環(huán)境上數(shù)據(jù)安全性、數(shù)據(jù)加密……等等。四、構(gòu)建云環(huán)境下交易類數(shù)據(jù)存儲設(shè)計最佳實(shí)踐云數(shù)據(jù)中心建設(shè)目標(biāo)要滿足業(yè)務(wù)連續(xù)性總體要求，結(jié)構(gòu)化數(shù)據(jù)一般采用高端SAN全閃存儲架構(gòu)。對于非結(jié)構(gòu)化數(shù)據(jù)的存儲架構(gòu)，一般采用自建或者商業(yè)化分布式存儲或NAS存儲。云計算存儲資源池在架構(gòu)設(shè)計上要充分考慮結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫）和非結(jié)構(gòu)化數(shù)據(jù)（影像文件）的存儲需求。在分布式存儲的架構(gòu)下，如果業(yè)務(wù)需求ACID，則需要從應(yīng)用層面滿足。應(yīng)用的復(fù)雜度或帶來業(yè)務(wù)處理流程的復(fù)雜度。分級存儲是優(yōu)化存儲資源利用率和性價比的重要技術(shù)手段。分級存儲策略是提高存儲資源利用率以達(dá)到性價比最大化、集約化管理的有效手段。根據(jù)數(shù)據(jù)的實(shí)時性、訪問頻度、存儲時長等因素，從管理策略、存儲介質(zhì)性能兩個角度出發(fā)，實(shí)現(xiàn)多層次、跨越不同數(shù)據(jù)生命周期的數(shù)據(jù)存儲及管理，通過將訪問頻度較低的數(shù)據(jù)自動遷移至存儲層次中較低配置的層次，釋放出較高成本的高速存儲空間給更頻繁訪問的數(shù)據(jù)，從而獲得更高的性價比。分級存儲策略的實(shí)現(xiàn)除考慮選配不同類別（SSD/SAS/SATA）磁盤的選取，還分為設(shè)備級分級存儲部署及磁盤級分級存儲部署。圖3:不同業(yè)務(wù)應(yīng)用場景對存儲架構(gòu)需求特征分析按照應(yīng)用需求、數(shù)據(jù)類型原則分成若干個資源池，分別為高端SAN存儲資源池、NAS存儲資源池、分布式存儲資源池及對象存儲池。根據(jù)應(yīng)用對IO的負(fù)載需求，可以將應(yīng)用分成不同的類型。輕量級、可分布式的應(yīng)用可整體部署在分布式存儲池中，重量級、緊耦合的應(yīng)用需考慮整體部署在高端SAN存儲池中。對于大部分應(yīng)用來說，可以將應(yīng)用進(jìn)行層次拆解，從不同層次來分析應(yīng)用的入池需求。圖4:云平臺存儲資源池架構(gòu)圖云平臺存儲資源池的架構(gòu)如圖4所示：?高端SAN閃存池存儲主要用來存放所有生產(chǎn)業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)?中端存儲池主要用來X86服務(wù)器虛擬化的云平臺共享數(shù)據(jù)?分布式存儲用來存儲所有業(yè)務(wù)系統(tǒng)的非結(jié)構(gòu)化性數(shù)據(jù)?NAS或者對象存儲池用來存放相關(guān)的備份歸檔數(shù)據(jù)以業(yè)務(wù)和應(yīng)用需求為導(dǎo)向的存儲架構(gòu)規(guī)劃，需考慮的要點(diǎn)是存儲需要有很好的兼容性、高性能、數(shù)據(jù)高可用、功能豐富、管理方便等的特點(diǎn)?？紤]到后端存儲架構(gòu)整體IO性能、穩(wěn)定性、組網(wǎng)復(fù)雜度、TCO等因素，在架構(gòu)設(shè)計中OLTP應(yīng)用建議選取SAN存儲技術(shù)，NAS架構(gòu)作為SAN的有益補(bǔ)充，可以實(shí)