富士通PostgreSQL解決方案概述

1、富士通PostgreSQL解決方案概述關(guān)于富士通 日本第一的IT 服務(wù)供應(yīng)商超級計算機PRIMEHPC FX10PRIMERGY TX120ETERNUS DX8000高端多核處理器SPARC64 VII+FM3 系列(32-bit RISC MCU)FRAM(鐵電隨機存取記憶體)遍布全球的100+的數(shù)據(jù)中心智能手機LIFEBOOK平板電腦技術(shù)解決方案 (Technology Solutions)泛在產(chǎn)品解決方案(Ubiquitous Product Solutions)電子元器件解決方案(Device Solutions)云計算服務(wù)系統(tǒng)平臺南京大學 富士通 =富士通南大創(chuàng)立1999年股份富士

2、通:79% 南大:21%員工約1,100 名地點總公司: 江蘇南京分支機構(gòu)日本橫濱江蘇江陰江蘇徐州南京富士通南大軟件技術(shù)有限公司PostgreSQL在日本日本市場：PostgreSQL MySQL日本市場的加拉帕戈斯化日本IT市場的歷史原因日本PostgreSQL用戶會的巨大貢獻代表人物與代表產(chǎn)品富士通與PostgreSQL1994年P(guān)ostgres95發(fā)布1995年SymfoWARE發(fā)布1996年P(guān)ostgreSQL誕生1999年日本PostgreSQL用戶會創(chuàng)立2016年FEP發(fā)布株式會社株式會社 一般社団法 合同會社 日本PostgreSQL DB株式會社 様1様1株式會社様1様1協(xié)賛會

3、員名口數(shù)SRA OSS, Inc. 日本支社様5NEC株式會社様5日本電信電話株式會社様5富士通株式會社様5NTT株式會社様3様2様1人1FujitsuEnterprisePostgresEnterprise PostgresPostgreSQL 11：PostgreSQL周邊工具 (OSS)JDBC DriverApplication InterfacepsqlODBC NpgsqlECOBPG：Enterprise Postgres強化機能安全性能分區(qū)強化并行檢索強化SCRAM認證Oracle兼容性JIT CompileSQL stored procedure高可用災害對策DB二重化安全A

4、udit Log性能全文檢索pg_bigmIn-memory與Oracle的協(xié)同/兼容性orafceoracle_fdw既存系統(tǒng)兼容性其他DB文法兼容NCHAR運用管理pgAdminpg_statsinfo高速BackupWebAdminpg_rman高速Loader協(xié)同性外部數(shù)據(jù)協(xié)同 postgres_fdw、file_fdw 高可用Replication強化安全增強：審計日志UserEnterprise PostgresAudit LogServer LogPostgreSQLDatabaseUserDatabase異步寫入Server LogSQL/Command執(zhí)行審計日志可用于抵御安

5、全威脅，例如欺騙，未經(jīng)授權(quán)訪問數(shù)據(jù)庫，應(yīng)用程序操作以及濫 用權(quán)限Enterprise PostgresCommunity版本沒有審計日志的功能，查找分析困難以Server Log代替審計日志無法設(shè)置適合于審計日志的訪問權(quán)限Object名、Schema名等審計分析所需的情報未能輸出搭載了利于進行審計分析的審計日志審計日志單獨輸出可以靈活設(shè)定審計日志的訪問權(quán)限和生命周期可以輸出Connection、SQL文執(zhí)行結(jié)果等審計分析所需情報SQL/Command執(zhí)行安全增強：審計日志例1AUDIT: SESSION,READ,2018-11-28 10:48:19 JST,192.0.2.0,34916,

6、psql,fepuser,postgres,3/7,5,1,SELECT,TABLE,public.account,SELECT * FROM account WHERE age = 40;,審計對象FEP輸出情報什么時候SQL文執(zhí)行時間2018-11-28 10:48:19 JST誰連接user名fepuser從什么地方Application名psqlProcess ID34916Host名或者IP地址192.0.2.0審計對象FEP輸出情報針對什么Database名postgresObject種類TABLEObject名public.account做了什么SQL種類SELECTSQLSEL

7、ECT * FROM account WHERE age = 40執(zhí)行結(jié)果SQLSTATE無Error Message無例2可疑的訪問時間可疑的訪問地址SQLSTATE 00000 連接成功性能增強1：In-Memor y功能同時支持行式數(shù)據(jù)和列式數(shù)據(jù)，支持OLAP業(yè)務(wù)的實時快速處理以及情報的實時活用利用VCI專用的共享內(nèi)存進行 大規(guī)模數(shù)據(jù)的聚合處理，以避 免對既存OLTP業(yè)務(wù)的影響將列式數(shù)據(jù)同步至磁盤，即使 數(shù)據(jù)庫業(yè)務(wù)重啟，仍然能夠保 持穩(wěn)定的處理性能訪問行式數(shù)據(jù)還是列式數(shù)據(jù)由 DB自動判斷，作為應(yīng)用端無 需意識兩者的差異性能增強1：In-Memor y功能WOS與ROS的分離WOS與ROS

8、數(shù)據(jù)的組合性能增強2：并行檢索在PostgreSQL的并行檢索的基礎(chǔ)上，可以自動選擇最合適的并行數(shù)。通過防止資源沖突以提供穩(wěn)定的性能，更有效率地執(zhí)行定期的集約處理和批處理任務(wù)等Enterprise PostgresCommunity版本對于順序掃描、結(jié)合、統(tǒng)計處理可以使用多個CPU核心進 行并行處理根據(jù)表容量和處理成本等因素決定并行數(shù)占有CPU核心后續(xù)的處理阻塞在并行檢索的基礎(chǔ)上，根據(jù)系統(tǒng)全體的CPU核心使用狀況， 決定合適的并行數(shù)減少因過度的并行檢索導致的性能低下Transaction1的處理時間雖然變長了 但是全體處理的時間進行了優(yōu)化、縮短時間時間CPU核心有空閑，并行地開始Transac

9、tion2的執(zhí)行高可用增強1：WAL二重化PostgreSQL預寫日志W(wǎng)AL無多副本 ,當磁盤發(fā)生故障時，數(shù)據(jù)就會丟失。FEP通過復制WAL, 避免了這一情況。Enterprise PostgresCommunity版本在某些場景下，已經(jīng)Commit的Transaction無法恢復可以恢復至最新的Commit完了的TransactionDatabaseBackup定期備份DataRecoveryData更新更新日志Disk損壞Disk1Disk2Archive LogDatabaseBackup定期備份最新DataArchive Log更新日志RecoveryData更新同步寫入更新日志Dis

10、k損壞Disk2Disk1高可用增強2：DB二重化通過數(shù)據(jù)庫的復制，在數(shù)據(jù)庫系統(tǒng)發(fā)生異常時自動切換以維持業(yè)務(wù)的繼續(xù)運行Primary Server的數(shù)據(jù)同步復制到Standby ServerPrimary Server和Standby Server相互監(jiān)視運行和磁盤的狀況在網(wǎng)絡(luò)出現(xiàn)故障無法相互監(jiān)視時，由仲裁服務(wù)器確認狀態(tài)，實現(xiàn)自動切換Recovery時無需暫停業(yè)務(wù)Primary Server 同步反應(yīng)Standby ServerPrimary Server發(fā)生異常時自動切換以維持業(yè)務(wù)繼續(xù)運行DataData仲裁服務(wù)器監(jiān)視相互監(jiān)視監(jiān)視高可用增強3：災害對策強化遭遇大范圍災害時的業(yè)務(wù)可持續(xù)性。通過

11、確保Log的同步順序保證Replication的繼續(xù)，以及業(yè)務(wù)的穩(wěn)定持續(xù)。通過保證運用Centre的Standby Server和災備Centre的Primary候補Server間的Log同步順序，防止出現(xiàn)災害時，災備Centre的Log被先行同步Fail-over發(fā)生以后，可以繼續(xù)和災備Centre保持復制，確保業(yè)務(wù)的持續(xù)Enterprise PostgresCommunity版本Standby Server復制災備CentrePrimary候補Server更新業(yè)務(wù)異步Fail-over同步Database運用CentrePrimary Server切換運用中止相比Standby Serve

12、r Log已經(jīng)先行同步 需要回滾Data更新 AAZZaazz使用Logaa使用LogzzStandby Server災備CenterPrimary候補Server更新業(yè)務(wù)異步Fail-over同步Database復制Replication繼續(xù)切換運用繼續(xù)不會比Standby Server先行同步LogData更新 AAZZ使用Logaa使用Logaa運用CentrePrimary Serveraazz運用管理增強1：WebAdmin提供WebAdmin GUI管理工具，提高從數(shù)據(jù)庫的導入到運用管理的全階段的作業(yè)效率WebAdmin:Streaming Replication運用監(jiān)視WebAdminSetupStreaming Replication Cluster的 作成和監(jiān)視Database Backup/Recovery運用管理增強2：高速Loader根據(jù)內(nèi)核數(shù)量和CPU的使用狀況，使用盡可能多的并行進程加載大量數(shù)據(jù)該實用程序?qū)?shù)據(jù)從輸入文件發(fā)送到多個并行工作程序，每個工作程序?qū)⑼瑫r執(zhí)行數(shù)據(jù)轉(zhuǎn)換，表創(chuàng)建和索引創(chuàng)建運用管理增強3：高速Backup通過備份文件的分散存儲和存儲設(shè)備的差分復制功能