Postgres數(shù)據(jù)庫基于持久內(nèi)存的優(yōu)化探索

1、Postgres基于持久內(nèi)存的優(yōu)化探索PM介紹01目錄Contents適配方案和測(cè)試結(jié)果02進(jìn)一步探索和挑戰(zhàn)03非易失性存儲(chǔ)PM的出現(xiàn)必將改變現(xiàn)有存儲(chǔ)結(jié)構(gòu)，優(yōu)化數(shù)據(jù)訪問關(guān)鍵路徑。PMNVM是一種快速、可字節(jié)尋址、持久、大容量、讀寫不對(duì)稱、壽命有限的新型存儲(chǔ)硬件l M e m o r y M o d e ： 在B i o s 里設(shè)置， 即可將P M 作 為大容量易失性內(nèi)存使用， 無縫地為傳統(tǒng)應(yīng)用 程序提供了實(shí)惠的大容量?jī)?nèi)存存儲(chǔ)網(wǎng)絡(luò)工業(yè)協(xié)會(huì)(SNIA)發(fā)布的編程模型read/writememory-mapped filePMDK(libpmem)Openfd = open(path,flags,m

2、ode);fd = open(path,flags,mode);paddr = pmem_map_file(path, size, flag, mode, &mapped_len, NULL);Allocate -ret = posix_fallocate(fd, offset, len);Map -paddr = mmap(NULL, len, prot, flags,fd, -1);Writeret = write(fd, buff, count);memcpy(paddr, buff, count);pmem_memcpy_nodrain(padd r, buff, count);Flu

3、sh -for(i = 0; iPmemFileOpen-PmemFileOpenPerm-pmem_map_file2、寫WAL Log：PmemFileWrite-pmem_memcpy_nodrain3 、 刷 新 WAL log： PmemFileSync-pmem_drain4 、 讀 WAL log： PmemFileRead-memcpy5 、 關(guān) 閉 WAL 文 件 ： PmemFileClose-pmem_unmap6、文件描述符結(jié)構(gòu)中增加與PM相關(guān)的長(zhǎng)度和map地址兩個(gè)屬性7、新增加配置項(xiàng)的處理：增加PM路徑配置項(xiàng)、wal_sync_method增加pmem_drain方法

4、修改內(nèi)容涉及文件測(cè)試組網(wǎng)和場(chǎng)景測(cè)試組網(wǎng)數(shù)據(jù)庫服務(wù)器網(wǎng)絡(luò)客戶端wal_sync_methodfdatasyncpmem_drainPG 10.6原生基于pmdk掛載方式Ext4Ext4(DAX enabled)PGDATASSD掛載到AEPCPUIntel(R) Xeon(R) Gold 6240L CPU 2.60GHz 2MEMORY16GB 266612AEPINTEL OPTANE DC 512 GB PERSISTENT MEMORY MODULE 512G 12ATA HARD DRIVE512GB SSD M.2 SATA 3.0 6Gb/s Intel Liberty Harbo

5、r SSDSCKKI512G801 DC S31101測(cè)試場(chǎng)景測(cè)試設(shè)備SELECT場(chǎng)景下采用PM對(duì)性能提升不明顯。 原因 在于基于pmdk的修改只針對(duì)WAL日志的讀寫，而SELECT不產(chǎn)生WAL日志隨機(jī)單條INSERT相對(duì)SSD提升5倍左右隨機(jī)等值UPDATE，相對(duì)SSD提升4-5倍隨機(jī)單條等值DELETE相對(duì)于SSD性能提升6-8倍PM介紹01目錄Contents適配方案和測(cè)試結(jié)果02進(jìn)一步探索和挑戰(zhàn)03memorydata/index/WAL bufferTrascation ProcessingWalWriter xlog recordBgWriter table indexCheckPoint table indexmemory map filePMDKStorage(PM)data/index fileWAL file進(jìn)一步探索方案, 其特點(diǎn)：1、數(shù)據(jù)、索引、CLog、WAL buffer 直接放 在PM中，繞過共享內(nèi)存2、數(shù)據(jù)、索引、CLog、WAL buffer按字節(jié)尋 址PM,沒有磁盤或SSD的I/O3、性能進(jìn)一步提升：不再寫共享內(nèi)存，直 接寫PM，PM寫性能比內(nèi)存略低，并且是持 久化的，因此性能幾乎和異步提交性能相同， 同時(shí)一致性保障和同步提交類似4、減少寫放大，WAL Log塊刷新時(shí)尾部塊在 提交時(shí)只寫一次熱點(diǎn)數(shù)據(jù)緩存共享內(nèi)存(鎖等)現(xiàn)有方案的局限：