大數(shù)據(jù)環(huán)境下數(shù)據(jù)存儲與管理的研究

1、大數(shù)據(jù)環(huán)境下存儲技術(shù)發(fā)展對數(shù)據(jù)管理研究的影響提 綱引言新型存儲及存儲層級的演化面向不同存儲層級的數(shù)據(jù)管理架構(gòu)架構(gòu)變化對技術(shù)發(fā)展的影響總結(jié)紙帶穿孔卡磁存儲介質(zhì)電容存儲新型非易失性存儲介質(zhì)NVM/SCM數(shù)據(jù)處理是推動計算機(jī)技術(shù)發(fā)展的核心技術(shù)之一作為數(shù)據(jù)處理的底層支撐，存儲介質(zhì)的更新和相關(guān)存儲技術(shù)的發(fā)展是推動數(shù)據(jù)管理技術(shù)變革和發(fā)展的主要驅(qū)動力存儲介質(zhì)的發(fā)展推動數(shù)據(jù)管理技術(shù)提 綱引言新型存儲及存儲層級的演化總結(jié)面向不同存儲層級的數(shù)據(jù)管理架構(gòu)架構(gòu)變化對技術(shù)發(fā)展的影響傳統(tǒng)存儲設(shè)備的演化（go away or on the stage）紙帶-1857穿孔卡-1884HDD-1956/1973ROM-1970

2、s軟盤-1971Flash-1984光盤-1978RAM-1970s傳統(tǒng)存儲器件的演化新型存儲器件的發(fā)展計算機(jī)系統(tǒng)性能依賴于處理器的數(shù)據(jù)計算能力存儲層次向處理器傳輸數(shù)據(jù)的能力隨著多眾核、多線程技術(shù)的發(fā)展，傳統(tǒng)存儲器件構(gòu)成的存儲層次面臨的存儲墻問題愈發(fā)嚴(yán)重處理單元（核）數(shù)的增長與存儲數(shù)據(jù)供應(yīng)能力（容量）不匹配SRAMDRAM的靜態(tài)功耗過高糾錯電路限制了存儲容量的增加并引發(fā)更多的功耗新型存儲器件包括：閃存、相變存儲器、磁阻式存儲、電阻式存儲器、憶阻器等等。具備一個共同特點：非易失性優(yōu)點：高存儲密度、低靜態(tài)功耗、對粒子及射線撞擊產(chǎn)生的軟錯誤具有抵抗能力等缺點：讀寫性能不對稱、讀寫次數(shù)有限、可靠性不高

3、等Graph from “基于新型非易失存儲的存儲結(jié)構(gòu)”, CCF學(xué)會通訊 2014閃存的工業(yè)化程度最高SSD（solid state drive）閃存芯片+控制器+FTL（WL, LBA-PBA, GC）（NAND）閃存的特點讀寫不對稱：寫操作需通過加壓方式對cell進(jìn)行電子填充寫前擦除：異位更新、塊擦除操作壽命有限：塊擦除次數(shù)有限SLC （約10萬次擦寫）MLC（小于1萬次）TLC（小于1000次）新型存儲器件-閃存Spin-torque MRAMPhase change memoryMemristor PCM (Phase-change memory)：相變，工業(yè)化，最具潛力FeRAM

4、(Ferroelectric RAM)：鐵電式，工業(yè)化，可擴(kuò)展性差MRAM (Magnetic RAM)：磁阻式，工業(yè)化，可擴(kuò)展性差STT-RAM (Spin-torque transfer Random Access Memory)RRAM (Resistive RAM)：電阻式，實驗室原型Memristor/Solid Electrolyte：憶阻器，智能，具有學(xué)習(xí)能力新型存儲器件-其他FeRAMComparison of TechnologiesDRAMPCMNAND FlashPage sizePage read latency Page write latencyWrite band

5、widthErase latency64B20-50ns20-50nsGB/s per dieN/A64B 50ns 1 s50-100 MB/s per dieN/A4KB 25 s 500 s5-40 MB/s per die 2 msEndurance106 108104 105Read energyWrite energyIdle power0.8 J/GB1.2 J/GB100 mW/GB1 J/GB6 J/GB1 mW/GB1.5 J/GB 2817.5 J/GB 28110 mW/GBDensity12 44Compared to NAND Flash, PCM is byte-

6、addressable, has orders of magnitude lower latency and higher endurance.Sources: Doller09 Lee et al. 09 Qureshi et al.09部分性能指標(biāo)對比-IComparison of TechnologiesDRAMPCMNAND FlashPage sizePage read latency Page write latencyWrite bandwidthErase latency64B20-50ns20-50nsGB/s per dieN/A64B 50ns 1 s50-100 MB/

7、s per dieN/A4KB 25 s 500 s5-40 MB/s per die 2 msEndurance106 108104 105Read energyWrite energyIdle power0.8 J/GB1.2 J/GB100 mW/GB1 J/GB6 J/GB1 mW/GB1.5 J/GB 2817.5 J/GB 28110 mW/GBDensity12 44Compared to DRAM, PCM has better density and scalability; PCM has similar read latency but longer write late

8、ncySources: Doller09 Lee et al. 09 Qureshi et al.09部分性能指標(biāo)對比-II新型存儲器件-讀寫延遲 &性價比需要思考和解決的問題如何利用新型存儲的特性來優(yōu)化或者重新架構(gòu)當(dāng)前的存儲層次？能否結(jié)合存儲器件的特性以及存儲層次，設(shè)計上層應(yīng)用（特別是數(shù)據(jù)管理系統(tǒng)）實現(xiàn)揚(yáng)長避短提 綱引言新型存儲及存儲層級總結(jié)面向不同存儲層級的數(shù)據(jù)管理架構(gòu)架構(gòu)變化對技術(shù)發(fā)展的影響數(shù)據(jù)庫系統(tǒng)總會涉及不同層次的存儲器，特別是為支持事務(wù)的ACID屬性，數(shù)據(jù)持久化是必須的，因此對于非易失的存儲存在需求。IO始終是制約數(shù)據(jù)庫性能的主要瓶頸，對于支持可高速隨機(jī)讀寫的存儲存在需求。數(shù)據(jù)庫就

9、是為了解決“大數(shù)據(jù)”問題，因此不斷增長的數(shù)據(jù)規(guī)模對大容量的存儲存在需求。用廉價磁盤陣列（集群）取代更大的磁盤，導(dǎo)致數(shù)據(jù)庫系統(tǒng)對高可靠的存儲存在需求。不同的讀寫訪問模式，數(shù)據(jù)價值不同，使數(shù)據(jù)庫對多級（混合）存儲存在需求。數(shù)據(jù)管理系統(tǒng)對存儲的內(nèi)在要求數(shù)據(jù)庫都是架構(gòu)在目標(biāo)存儲層級（ storage hierarchy ）上的數(shù)據(jù)庫架構(gòu)與存儲層級計算機(jī)對存儲系統(tǒng)的基本要求：低延遲、高容量、價格成本低數(shù)據(jù)庫都是架構(gòu)在目標(biāo)存儲層級（ storage hierarchy ）上的依據(jù)主存儲介質(zhì)的不同，將數(shù)據(jù)庫架構(gòu)分為Disk-oriented Memory-orientedNVM-oriented數(shù)據(jù)庫架構(gòu)與

10、存儲層級傳統(tǒng)的關(guān)系數(shù)據(jù)庫都是架構(gòu)two-tier存儲層級上的低速、非易失、高容量的HDD作為主存儲介質(zhì)高速、易失、低容量的DRAM作為Cache由于disk存儲特性而引入的IO延時是影響數(shù)據(jù)庫性能的主要瓶頸之一disk-oriented數(shù)據(jù)管理系統(tǒng)普遍采用如：Buffer pool或者復(fù)雜的并發(fā)控制，來緩解disk導(dǎo)致的IO延遲disk-oriented架構(gòu)主存儲介質(zhì)cacheSIGMOD 08 ：OLTP through the looking glass, and what we found there測試結(jié)果顯示，傳統(tǒng)disk-oriented數(shù)據(jù)庫只有約12%的CPU時間用于實際處理事

11、務(wù)，其它時間都“浪費”在緩存池管理、并發(fā)控制和基于日志的事務(wù)恢復(fù)等輔助性模塊上disk-oriented架構(gòu)-缺陷Ref “OLTP through the looking glass, and what we found there” SIGMOD 2008從傳統(tǒng)關(guān)系數(shù)據(jù)庫誕生以來，由存儲層級導(dǎo)致的架構(gòu)性性能缺陷一直都存在。在小數(shù)據(jù)量的應(yīng)用環(huán)境下尚能應(yīng)對。但是大數(shù)據(jù)環(huán)境下，缺陷被放大，越來越難以應(yīng)對大數(shù)據(jù)應(yīng)用的需求內(nèi)存計算中內(nèi)存的地位與概念正在發(fā)生改變地位：二級存儲的cache 數(shù)據(jù)存儲的主要載體內(nèi)存計算中的“內(nèi)存”Memory FirstArchitecture數(shù)據(jù)訪問：API call

12、Pointeroriented延遲：納秒級Disk FirstArchitecture數(shù)據(jù)訪問：API callOS I/OI/O ControllerHDD延遲：微秒級隨著內(nèi)存成本的不斷下降，通過內(nèi)存來存儲整個數(shù)據(jù)庫成為現(xiàn)實。為消減數(shù)據(jù)駐留磁盤導(dǎo)致的高昂代價，引發(fā)了一類以內(nèi)存作為主存儲介質(zhì)的研究并非新的研究話題90年代初就有研究：“Implementation techniques for main memory database systems”，1984，SIGOD Rec.早期也有很多知名的in-memory DB系統(tǒng)，如TimesTen、SolidDB、DataBlitz傳統(tǒng)的內(nèi)存數(shù)

13、據(jù)庫沿襲了System R中的很多影響性能的特征，如disk-based日志、動態(tài)鎖等（對性能產(chǎn)生一定的影響）memory-oriented架構(gòu)memory-oriented架構(gòu)-Anti-Caching內(nèi)存數(shù)據(jù)庫的難題：DB size Memory Size解決策略1：增加硬件內(nèi)存容量；代價高昂解決策略2：回退到傳統(tǒng)Disk-Oriented DB放棄對性能的要求解決策略3：啟用虛擬內(nèi)存（page virtual memory）引發(fā)大量page faults （產(chǎn)生大量HDD IO和事務(wù)的終止）解決策略4：分布式緩存兩層式DB框架導(dǎo)致重復(fù)存儲以及應(yīng)用端的同步控制換個角度思考：從存儲層次中數(shù)據(jù)

14、使用的需求（冷熱程度）出發(fā)memory-oriented架構(gòu)-Anti-Caching“anti”是針對傳統(tǒng)存儲層次保存數(shù)據(jù)的策略而言的。在傳統(tǒng)DB系統(tǒng)中，disk是主存儲介質(zhì)，DRAM是作為caching存在。因此，一份數(shù)據(jù)可能會有多份拷貝而anti-caching架構(gòu)中，把DRAM作為主存儲介質(zhì)，而Disk僅用來存放cold數(shù)據(jù)。因此同一份數(shù)據(jù)在任何時候，僅有一份副本。Anti-Caching:ANewApproachtoDatabase Management System Architecture, VLDB 2013memory-oriented架構(gòu)-Anti-Caching圖(a)(

15、b)所示的架構(gòu)中，數(shù)據(jù)均存在冗余。特別是（b）存在兩份冗余。從某種程度上是一種浪費，給維護(hù)一致性管理帶來不可避免的開銷特別對于圖(b)而言，是一種解決磁盤訪問緩慢的架構(gòu)優(yōu)化方法，即使用分布式緩存（如Memcached）。除了圖(a)架構(gòu)面臨的問題，其還要求開發(fā)者在應(yīng)用程序中嵌入邏輯來實現(xiàn)DBMS和分布式緩存的獨立同步（應(yīng)用耦合，增加了應(yīng)用的開發(fā)難度）. Anti-Caching是一種可擴(kuò)展的不局限于內(nèi)存容量的內(nèi)存數(shù)據(jù)庫架構(gòu)。其優(yōu)于Disk-Oriented DB以及使用分布式緩存兩層架構(gòu)DB。NVM-oriented架構(gòu)目前DRAM和Flash是半導(dǎo)體存儲器技術(shù)的主流，但二者均面臨計算速度以及

16、容量的挑戰(zhàn)日立(Hitachi)、英特爾、IBM、美光(Mircon)、海力士(Hynix)等公司都在競相研發(fā)新一代半導(dǎo)體存儲器技術(shù)，即新型非易失存儲器（NVM/SCM）技術(shù)新型介質(zhì)可以實現(xiàn)高速存取與非易失性，在未來可以作為內(nèi)存替代DRAM，也可以作為存儲器替代傳統(tǒng)硬盤、閃存。為內(nèi)外存統(tǒng)一管理提供了可能性。思考：當(dāng)新型存儲（NVM/SCM）出現(xiàn)后，對disk-oriented架構(gòu)的DB和memory-oriented架構(gòu)的DB有什么影響?NVM-oriented架構(gòu)新存儲層級隨著NVM的逐漸成熟，計算機(jī)系統(tǒng)面臨一個重大課題：如何將NVM融入當(dāng)今的存儲子系統(tǒng)（存儲層級）傳統(tǒng)的存儲系統(tǒng)中，不同存儲

17、層次的數(shù)據(jù)交換占據(jù)整個IO的大部分開銷新型存儲器件的非易失特性、良好的擴(kuò)展性，低能耗以及較低的訪問延遲對于存儲層級（體系結(jié)構(gòu)）造成了巨大沖擊新型存儲的特性也在改變傳統(tǒng)的CPU、系統(tǒng)總線、主存、輔存間的架構(gòu)平衡，需要系統(tǒng)設(shè)計者重新思考存儲架構(gòu)以最大化應(yīng)用性能可以分別從寄存器、緩存、主存和外存不同層次研究如何引入新型存儲器件 新的存儲金字塔形成單純替換的問題相比于SRAM、DRAM甚至是HDD，各種新型存儲介質(zhì)都未形成絕對優(yōu)勢各種不同的存儲介質(zhì)還存在不同的特有的性質(zhì)（特別是各自物理特性導(dǎo)致的難以改變的缺點，如閃存的擦除寫）單純的替換某一層無法實現(xiàn)最佳的性能混合式融入策略與構(gòu)成技術(shù)每種SCM存儲介質(zhì)

18、在讀寫性能、成本、功耗等方面有各自的優(yōu)勢和不足混合存儲是揚(yáng)長避短，充分發(fā)揮不同存儲介質(zhì)的長處的一種可行的解決方案NVM-oriented架構(gòu)新存儲層級混合存儲體系SRAM層面的混合技術(shù)互補(bǔ)優(yōu)勢SRAM的寫延遲低、寫能耗低SCM（STT-RAM）的容量大、靜態(tài)功耗低混合技術(shù)思路按比例配比存儲介質(zhì)。常見比例：16:132:1（SST-RAM：SRAM）按數(shù)據(jù)的訪問特性分配數(shù)據(jù)的存放。寫密集型數(shù)據(jù)放入SRAM，讀密集型數(shù)據(jù)放入STT-RAM。有基于硬件（控制器）和軟件（編譯器）兩種分配方式DRAM層面的混合技術(shù)互補(bǔ)優(yōu)勢DRAM的寫延遲低、寫能耗低、耐寫性高SCM（PCM）的存儲密度高、靜態(tài)功耗低、非

19、易失混合技術(shù)思路PCM和DRAM線性混合：無主次，線性編址。PCM為主存+DRAM為緩存：借助DRAM緩存寫操作減少PCM的寫次數(shù)效果：1G-DRAM+32G-PCM訪問延遲、容量相當(dāng)32GDRAM 70%功耗使用壽命增長300%混合存儲體系HDD層面的混合技術(shù)互補(bǔ)優(yōu)勢HDD的廉價、高容量SCM（NAND FLASH）的隨機(jī)讀寫能力、并發(fā)讀寫能力混合技術(shù)思路HDD作為SDD的寫緩存：合并隨機(jī)寫為批量順序?qū)懙絊SD（不適合寫密集應(yīng)用）PCM+NAND Flash：讀密集置入Flash，寫密集置入PCM混合存儲體系NVM-oriented架構(gòu)-NVM模擬器A Prolegomenon on OLT

20、P Database Systems for Non-Volatile Memory, ADMSVLDB 2014數(shù)據(jù)庫采用新存儲層級的用例NVM-onlyNVM+DRAMNVM模擬器：如何系統(tǒng)級的評估面向NVM的軟件是一個難題因為目前尚缺乏正式發(fā)布的硬件產(chǎn)品。需要使用合適的NVM硬件模擬器模擬器利用DRAM模擬NVM，并提供兩種主要訪問接口NUMA interface （內(nèi)存方式）PMFS interface（文件方式）System Software for Persistent Memory， EuroSys 2014輕量級的兼容POSIX的文件讀寫的訪問方式，可具名，且支持面向字節(jié)的訪問

21、方式類似內(nèi)存申請的方式，無需測試系統(tǒng)做任何更改即可測試運(yùn)行NVM-oriented架構(gòu)-NVM-onlyA Prolegomenon on OLTP Database Systems for Non-Volatile Memory, ADMSVLDB 2014問題： memory-oriented和disk-oriented數(shù)據(jù)庫架構(gòu)能否直接應(yīng)用新的存儲層級獲得收益？m-o system（H-store） 利用NUMA接口訪問的NVM模擬內(nèi)存作為主存儲介質(zhì)；而利用PMFS接口訪問的NVM則模擬磁盤保存日志問題：disk-oriented邏輯日志沒有考慮NVM的非易失特性。已經(jīng)在NVM上完成持久

22、化的事務(wù)需要被重新執(zhí)行。d-o system（mysql+innoDB）利用NUMA接口訪問的NVM模擬內(nèi)存用于緩沖池；而利用PMFS接口訪問的NVM則模擬磁盤作為主存儲介質(zhì)問題：用于防止partial page write 錯誤的doublewrite機(jī)制，在NVM執(zhí)行環(huán)境下是不必要的NVM-oriented架構(gòu)-NVM+DRAMA Prolegomenon on OLTP Database Systems for Non-Volatile Memory, ADMSVLDB 2014問題： memory-oriented和disk-oriented數(shù)據(jù)庫架構(gòu)能否直接應(yīng)用新的存儲層級獲得收益？

23、這種架構(gòu)與傳統(tǒng)的two-tier相似，只是利用NVM替換了HDD。 其最主要的瓶頸依然是為了支持恢復(fù)機(jī)制，將DRAM中的數(shù)據(jù)寫入持久化存儲介質(zhì)的開銷，及時是使用（相比于HDD）非?？焖俚腘VM“we conclude that neither system is ideally suited for NVM. Instead, a new system is needed with principles of both disk-oriented and memory-oriented systems and a lightweight recovery scheme designed to

24、utilize the non-volatile property of NVM”“we envision that this new DBMS, dubbed N-Store” - A Prolegomenon on OLTP Database Systems for Non-Volatile Memory 提 綱引言新型存儲及存儲層級架構(gòu)變化對技術(shù)發(fā)展的影響總結(jié)面向不同存儲層級的數(shù)據(jù)管理架構(gòu) 對恢復(fù)技術(shù)的影響存儲介質(zhì)的特性對于WAL的設(shè)計影響深刻Append only：基于順序?qū)懰俣雀哂陔S機(jī)寫特性In-place update：基于原位更新能力Batch write：基于塊（block）處

25、理粒度NVM新型存儲在特性上和傳統(tǒng)設(shè)備具有很大不同Byte-addressable、非易失、讀寫性能差異小需要充分考慮新特征，并揚(yáng)長避短設(shè)計面向NVM的新日志策略 對恢復(fù)技術(shù)的影響-ICDE 2011問題：傳統(tǒng)的日志設(shè)計中，為了協(xié)調(diào)基于塊的磁盤I/O，采用兩層日志設(shè)計策略，首先緩存到DRAM上，再溢寫到持久存儲設(shè)備上，所以需要緩沖管理和磁盤I/O。因此，當(dāng)一個事務(wù)觸發(fā)日志記錄持久化，它須等待這個日志記錄之前的日志記錄填滿。這種設(shè)計成為日志并發(fā)讀寫的主要瓶頸。方案：新的基于SCM的日志方法。數(shù)據(jù)庫事務(wù)從SCM日志空間直接分配塊用于寫日志記錄，不用緩存到DRAM再溢寫到持久存儲設(shè)備上，避免了復(fù)雜的

26、緩沖管理和低速磁盤I/O，同時簡化了日志框架，支持更好的并發(fā)度和延遲。同時開發(fā)了有效的基于SCM的日志管理和系統(tǒng)恢復(fù)算法。Ref：High Performance Database Logging using Storage Class Memory, ICDE,2011 對恢復(fù)技術(shù)的影響-VLDB 2014問題：大規(guī)模并行硬件（multicore、multi-socket）越來越多的背景下，集中式日志導(dǎo)致的競爭開銷已經(jīng)成為DB的主要性能瓶頸。NVM的非易失性不但使傳統(tǒng)日志的flush-before-commit的設(shè)計需求不再必要，同時也使得分布式日志成為消除傳統(tǒng)基于HDD的日志讀寫瓶頸的具有

27、前景的策略方案：利用NVM的字節(jié)存取、非易失性建立基于多核的分布式可擴(kuò)展的日志系統(tǒng)。每一個日志分配一個基于NVM的緩沖，一旦寫日志立即持久化。同時利用基于邏輯時鐘的全局順序號，追蹤同一事務(wù)在分布式日志中分散的記錄之間的依賴關(guān)系，最后利用被動式群組提交確保在發(fā)生系統(tǒng)故障時事務(wù)處理的正確性。Ref：Scalable Logging through Emerging NonVolatile Memory, VLDB 2014 對恢復(fù)技術(shù)的影響-SOSP 2013問題：為了適應(yīng)HDD的讀寫特征，傳統(tǒng)的WAL被設(shè)計為append-only和write-only。同時為了最小化同步寫代價，需要采取很多面向

28、磁盤的如批量寫等優(yōu)化技術(shù)，也增加了設(shè)計的復(fù)雜度。但是NVM的新讀寫特征使得一些優(yōu)化技術(shù)不再必要，同時也為設(shè)計基于NVM的面向WAL的回復(fù)算法提供了新的機(jī)遇方案：結(jié)合硬件技術(shù)，利用可編輯的原子寫操作（editable atomic writes, EAW），以一種可擴(kuò)展的方式支持事務(wù)隔離，并設(shè)計了一種面向NVM優(yōu)化的基于WAL的恢復(fù)策略：MARS（ Modified ARIES Redesigned for SSDs ）。不但具有和ARIES一樣的特性，同時消除了面向HDD的一些設(shè)計權(quán)衡。 From ARIES to MARS transaction support for next-gener

29、ation, solid-state drives, SOSP 2013 對恢復(fù)技術(shù)的影響-比較 AlgorithmSCM-based LongingNVM-based by distributed loggingMARSsimilarities1.都是應(yīng)對新型存儲設(shè)備下的日志系統(tǒng)優(yōu)化方案2.緩沖設(shè)備都是PCM/SCM/NVM+主內(nèi)存3.降低了多次讀寫磁盤I/O的次數(shù)4.都提出了針對不同底層設(shè)計的系統(tǒng)崩潰恢復(fù)方案Differences實現(xiàn)方案底層通過SCM日志空間數(shù)據(jù)結(jié)構(gòu)和SCM日志空間管理器進(jìn)行塊、鎖管理和歸檔數(shù)據(jù)到其它持久設(shè)備通過GSN在分布式日志中定位唯一日志序列號、事務(wù)分發(fā)到本地節(jié)點日

30、志避免遠(yuǎn)程內(nèi)存訪問，管理檢查點減少不必要的數(shù)據(jù)掃描。通過硬件和軟件同時支持，提供的對原子化寫操作的支持，以及相關(guān)的原語，簡化了ARIES類日志的設(shè)計復(fù)雜度以及不必要的面向磁盤的開銷整體框架軟件、集中式軟件、分布式軟硬結(jié)合、集中式恢復(fù)機(jī)制恢復(fù)系統(tǒng)僅僅需要知道SCM日志空間的地址就可獲取最新檢查點位置，從而加載數(shù)據(jù)執(zhí)行恢復(fù)直接使用頁面級的分區(qū)做parallel redo,事務(wù)級的分區(qū)做parallel undo利用內(nèi)核驅(qū)動(kernel driver)實現(xiàn)恢復(fù)。在恢復(fù)時，驅(qū)動會掃描所有l(wèi)ogger的事務(wù)表構(gòu)建一個完整的事務(wù)狀態(tài)場景。利用WriteBack和Abort命令完成恢復(fù)操作幾種設(shè)計方案的對

31、比： 對事務(wù)技術(shù)的影響傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)架構(gòu)主要基于上世紀(jì)70年代的計算機(jī)硬件特點而設(shè)計，主要包括以下幾個模塊：Buffer Pool Manager（解決內(nèi)存不足問題）Concurrency Control Mechanism（解決磁盤延遲高問題）Recovery Mechanism（利用持久化介質(zhì)解決故障問題）這些模塊大多與事務(wù)處理密切相關(guān)。而且這些機(jī)制所面對的執(zhí)行環(huán)境都是disk-oriented的。因此，在NVM時代（包括內(nèi)存計算），上述技術(shù)都面臨新的機(jī)遇與挑戰(zhàn) 對事務(wù)技術(shù)的影響-分布式事務(wù)基于內(nèi)存的H-store用存儲過程模擬事務(wù)。把所有事務(wù)都轉(zhuǎn)為存儲過程的一系列操作?？蓽p少應(yīng)用與數(shù)據(jù)

32、庫之間多次信息交互產(chǎn)生的延遲。并且為事務(wù)事前優(yōu)化提供了可能性只提供基于分區(qū)的單線程，消除了與典型多線程環(huán)境中的鎖定和閂鎖有關(guān)的開銷，保證事務(wù)請求按順序執(zhí)行采取在一個分區(qū)中單線程順序執(zhí)行事務(wù)的策略，對于單分區(qū)事務(wù)具有高可擴(kuò)展性非和高吞吐量；對于跨分區(qū)的分布式事務(wù)亦可支持，但事務(wù)并發(fā)性較低，因此吞吐量較低。適用于上層應(yīng)用容易分區(qū)的業(yè)務(wù)場景。ClientApplicationDatabase ClusterTransactionResultProcedure NameInput Parameters問題：在傳統(tǒng)RDBMS中，MVCC機(jī)制下記錄的更新操作會產(chǎn)生較高的索引維護(hù)代價。維護(hù)索引開銷的主要來源

33、：低效的磁盤I/O以及索引與多版本記錄物理存儲位置的高度耦合關(guān)系。因此索引數(shù)量和檢索性能、維護(hù)開銷存在tradeoff方案：通過利用低延遲的SCM引入一個間接層，改變了在混合存儲層次中的數(shù)據(jù)結(jié)構(gòu)。利用該間接層解耦了多版本記錄在物理表示與邏輯表示之間的關(guān)系。當(dāng)記錄更新時，除了建立在更新屬性上的索引需要涉及磁盤IO外，其他屬性上的索引都只會涉及低延遲的SCM I/ORef：Making updates disk-I/O friendly using SSDs, VLDB 2013 對事務(wù)技術(shù)的影響-并發(fā)控制對核心算法的影響傳統(tǒng)關(guān)系數(shù)據(jù)庫中的部分核心算法在新型存儲環(huán)境下無法達(dá)到最優(yōu)，如B+樹、Has

34、h連接等，因為很多算法及相關(guān)優(yōu)化技術(shù)主要針對HDD的讀寫特性而設(shè)計。在PCM為主存的存儲架構(gòu)下，PCM-friendly的主存算法的技術(shù)指標(biāo)不僅有：低計算復(fù)雜度、好的cpu cahce性能、節(jié)能，還有最小化PCM寫需求對核心算法的影響-CIDR 2011問題：基于DRAM的傳統(tǒng)B+樹的插入刪除操作代價不高，僅在節(jié)點分裂和合并時，代價較高。但是在PCM為主存的環(huán)境下，B+樹的任何插入刪除的相對代價都較高，因為在有序節(jié)點中執(zhí)行插入刪除操作都會產(chǎn)生大量PCM寫操作方案： unsorted化-葉子節(jié)點無序化，非葉子節(jié)點有序化Ref： Rethinking Database Algorithms for Phase Change Memory, CIDR圖：PCM為主存的三種典型存儲架構(gòu)組織形式Unsorted nodeU