Oracle19c新技術特性揭秘課件

1、Oracle的技術演進之路和19c新特性揭秘云時代的數據庫第1頁，共35頁。197719831984198919921994199519962005200920092010201220142015201620172018開源與開放技術百花齊放，不同產品落地尋獲最佳實踐云時代的數據庫-走過商業(yè)和開源時代$4B$2.5B$2B$200B$1B第2頁，共35頁。Oracle 的云上變革之路 全面轉向第3頁，共35頁。Oracle 的云上變革之路 數據為王Google is supporting customer decisions to use the cloud provider of their

2、 choice, even if its a rival company.第4頁，共35頁。多租戶：整合私有數據庫，庫內 虛擬化整合，建設私有云數據庫 平臺。數據庫分片：Sharding 構 建分布式，支持海量高并發(fā) 的業(yè)務場景。內存存儲：列式存儲壓縮，融合OLTP 和 OLAP 于一體。架構演進 Oracle 12c 的融合一體第5頁，共35頁。自治環(huán)境 云化數據庫運行環(huán)境8供應- ProvisionCreate RAC cluster with Data Guard Standby安全- SecureEncrypt data, Database Vault, apply security

3、patches online更新- UpdateOnline patching and upgrade of database保護- ProtectBackup, failover, repair擴 展 - Scale Elastically adjust OCPUs, expand DB遷移- MigrateEasy DB migration, load data from object store整合- Consolidation User driven PDB and CDB creationAutonomous第6頁，共35頁。執(zhí)行優(yōu)化 - 自治工作負載運行時優(yōu)化9統(tǒng)計信息- Stat

4、isticsReal-time maintenance ofoptimizer statistics配置- Configuration Automatically tune memory, process, sessions, etc. 控制SQL - Runaway SQL Automatically kill runaway SQL and prevent re-execution until tuned索 引 - Indexes Automatic creation and monitoring of indexes執(zhí)行計劃- PlansAutomatic detection and c

5、orrection of regressions due to plan changesTIMESALEHASHMachine Learning第7頁，共35頁。將分片能力引入到RAC集群實例中指定了分區(qū)鍵值的SQL查詢將被路由到特定的實例;分區(qū)可以避免競爭減少跨實例的訪問;不包含分區(qū)鍵值的請求會透明的被處理以最小的應用改變提供分布式性能Oracle RAC DatabaseInstance 1 Partition P1Instance 2 Partition P2Instance 3 Partition P3架構演進 - Sharded RAC的分區(qū)路由第8頁，共35頁。Q1_2018Q2_

6、2018Q3_2018Q4_2018Q4_2017Q3_2017Q2_2017SQLHOT DATACOLD DATAORDERSQ4_2016Q1_2017UPDATESTABLE PARTITIONED BY QUARTEROBJECT STORAGE架構演進 混合分區(qū)表的內外融合第9頁，共35頁。ReadStandbyRead/WriteStandbyPrimaryADG 上的只讀會話在切換期間極大縮減了切換后的連接風暴架構演進 - 主備切換的連續(xù)性保持連接保持Read/Write內存保持Read/WriteReadActive Data Guard StandbyRead/WriteF

7、ailed PrimaryPrimaryBuffer Cache在切換過程中被維護和保持Primary第10頁，共35頁。在 ADG 上發(fā)出的 DML 重定向到主庫執(zhí)行，備庫等待主庫日志傳遞到備庫并應用PRIMARYACTIVE STANDBYDML12DML IS REDIRECTED TO PRIMARY2DML IS APPLIED TO PRIMARY3DATA CHANGE IS STREAMED TO STANDBY5DATA IS VISIBLE TO CLIENT架構演進 - 備庫DML操作自動重定向第11頁，共35頁。SQLselect * from enmotech;ID

8、NAME- -EYGLEKAMUSYangtingkunSQLinsert into enmotech values(4,ORA-600);ORA-16000: database or pluggable database open for read-only accessSQLalter session set adg_redirect_dml=true; SQLset timing onSQLinsert into enmotech values(4,ORA-600);1 row created.Elapsed: 00:00:01.21SQLselect * from enmotech;I

9、D NAME- -4 ORA-600EYGLEKAMUSYangtingkunSQLcommit; Commit complete.Elapsed: 00:00:01.02架構演進 - 備庫DML操作自動重定向第12頁，共35頁。PARSING IN CURSOR #140687912810736 len=38 dep=0 uid=77 oct=2 lid=77 tim=3688844617 hv=1412393105ad=6b9b25e0 sqlid=0555c7da2yu4jinsert into enmotech values(1,EYGLE)END OF STMTPARSE #1406

10、87912810736:c=804,e=2144,p=0,cr=0,cu=1,mis=1,r=0,dep=0,og=1,plh=0,tim=3688844616WAIT #140687912810736: nam=SQL*Net message to dblink ela= 2 driver id=1413697536 #bytes=1 p3=0 obj#=23281 tim=3688844706WAIT #140687912810736: nam=SQL*Net message from dblink ela= 800 driver id=1413697536 #bytes=1 p3=0 o

11、bj#=23281 tim=3688845523EXEC #140687912810736:c=914,e=914,p=0,cr=0,cu=0,mis=0,r=1,dep=0,og=1,plh=0,tim=3688845579WAIT #140687912810736: nam=SQL*Net message to dblink ela= 1 driver id=1413697536 #bytes=1 p3=0 obj#=23281 tim=3688845609WAIT #140687912810736: nam=SQL*Net vector data to dblink ela= 19 dr

12、iver id=1413697536#bytes=26 p3=2 obj#=23281 tim=3688845642WAIT #140687912810736: nam=SQL*Net message from dblink ela= 165 driver id=1413697536 #bytes=1 p3=0 obj#=23281 tim=3688845818WAIT #140687912810736: nam=standby query scn advance ela= 400353 p1=671770 p2=0 p3=12000 obj#=23281tim=3689246194WAIT

13、#140687912810736: nam=SQL*Net message to client ela= 3 driver id=1650815232 #bytes=1 p3=0 obj#=23281 tim=3689246293架構演進 - 備庫DML操作自動重定向第13頁，共35頁。2018.2.15 Oracle 發(fā)布了安全預警，以“必須升級”時間在2019年4月之前：Mandatory Patching Requirement for Database Versions 11.2.0.3 or Earlier, Using DB Links (Doc ID 2335265.1)Orac

14、le Databases Need to be Patched to a Minimum Patchset/PSU/RU level before April 2019 (Doc ID 2361478.1)2018.3.14 云和恩墨 發(fā)布了分析報告，提出新的SCN算法會在2019年6月23日生效：這兩篇文章引發(fā)了廣泛關注，尤其是標題中使用的“Mandatory - 必須的” 和“Before April 2019 - 在2019年4月之前”。用戶關注：Oracle 是如何讓這樣的問題在2019年4月后觸發(fā)的？難道是 Oracle 在數 據庫中埋下了一個時間觸發(fā)器？經過分析，這個時間約束的確存

15、在，但是觸發(fā) 時間是：2019年6月23日。2018.3.16 云和恩墨 發(fā)布 解決方案：Oracle的 DB Link 問 題及2019年4月前升級路線詳述：Oracle設置了倒計時，在 2019年6月23日，自動啟用 3 級兼容性， 提升SCN的可用量。 也徹底廢棄16K/s 的增長率，提升到 96K/s 的增長率，目標是讓數據庫支持 的變化更多，承載能力更強。2018.3.17 Oracle 修改文檔，去掉”必須“改為”推薦“，修改時間到2019年6月。Recommended patches and actions for Oracle databases versions 12.1.0

16、.1, 11.2.0.3 and earlier before June 2019 (Doc ID 2361478.1)Recommended patching and actions for Oracle database versions 12.1.0.1, 11.2.0.3 and earlier - before June 2019 (Doc ID 2335265.1)插播預警 關于 DB Link和SCN的警示第14頁，共35頁。自治環(huán)境 云化數據庫運行環(huán)境Oracle 公有云通過自治的數據環(huán)境提供、自動備份等，簡化用戶的數據環(huán)境管理。第15頁，共35頁。自治環(huán)境 云化數據庫運行環(huán)境

17、云和恩墨私有云 zCloud 在用戶環(huán)境下實現多數據庫統(tǒng)一管理、監(jiān)控、自動化運維等工作。第16頁，共35頁。TIMEGather執(zhí)行優(yōu)化 實時的統(tǒng)計信息收集Statistics 為優(yōu) 化器提供關于 數據的信息數據可能會隨 時發(fā)生變化統(tǒng)計信息往 往滯后于真 實數據情況收集統(tǒng)計信息可能是資 源密集型和消耗時間的定時采集10g - create / rebuild index12.1 - Online StatisticsGathering for Bulk-Load CTAS Create Table As SelectDirect-Path Insert - insert /*+append *

18、/ into select 第17頁，共35頁。TIME新增- HIGH FREQUENCY AUTOMATIC STATISTICS COLLECTION，每15分鐘；Automatic statistics gathering job執(zhí)行優(yōu)化 自動采集和集中補充實時統(tǒng)計信息收集統(tǒng)計信息作為 傳統(tǒng)DML的一部分_optimizer_gather_stats_on_conventional_dml_optimizer_use_stats_on_conventional_dml第18頁，共35頁。執(zhí)行優(yōu)化 SQL的解析和執(zhí)行優(yōu)化TIME使用統(tǒng)計信息支持查詢使用已經收集的統(tǒng)計信息，避免掃描大量數據

19、； 例如，select count(*) from emp可以極大提升某些檢查查詢的性能，Min, Max, Count, Approximate_Count_distinctSQL失效與重新解析第一個感知到統(tǒng)計信息變化的會話執(zhí)行游標的重解析工作其他會話繼續(xù)使用原有Cursor直到編譯完成；避免大量會話重解析的競爭；第19頁，共35頁。執(zhí)行優(yōu)化 失控SQL的自動隔離Oracle Resource Manger 提供SQL監(jiān)控能力，可以自動終止 消耗資源超過一定閾值的SQL。然而，在終止查詢之前，大量 的資源已經被浪費。在新特性中，執(zhí)行計劃超過DBRM限制將會被標記隔離；隔離的執(zhí)行計劃將被阻止執(zhí)

20、行；SQL 隔離是一個針對失控SQL的自動化解決方案。QuarantineDBRM resource limit exceeded第20頁，共35頁。執(zhí)行優(yōu)化 失控計劃的隔離在以下示例中，SQL 因為執(zhí)行時間超過限制而被隔離，再次執(zhí)行時提示”使用了被隔離的執(zhí)行計劃”。SQL select count(*)2from emp emp1, emp emp2, emp emp3, emp emp4, emp emp5, emp emp6, emp emp7, emp emp8 3where rownum select count(*)2from emp emp1, emp emp2, emp emp

21、3, emp emp4, emp emp5, emp emp6, emp emp7, emp emp8 3where rownum select avoided_executions, sql_quarantine2from v$sql vs2where sql_id = d0z9zp1h5n799;SQL_QUARANTINEAVOIDED_EXECUTIONS- -SQL_QUARANTINE_0scf6as37zcu0cfe7a0e41第21頁，共35頁。DBA 交互提取診斷信息提 報 SR (Service Request) 應用Patch 或者暫時解決方案當數據庫出現問題時，自動 生

22、成告警信息和診斷信息ORA-600 ORA-7445錯誤信息打包執(zhí)行優(yōu)化 自動采集和分析修復第22頁，共35頁。告警自動生成數據庫就是DBA數據庫就是問題的Owner自動診斷自動修復執(zhí)行優(yōu)化 自動采集和分析修復ORA-600 ORA-7445錯誤信息打包第23頁，共35頁。告警自動生成數據庫就是DBA數據庫就是問題的Owner執(zhí)行優(yōu)化 自動采集和分析修復自動修復自動診斷DBMS_SQLDIAG.EXECUTE_DIAGNOSIS_TASKORA-600 ORA-7445錯誤信息打包DBMS_SQLDIAG.ACCEPT_SQL_PATCH第24頁，共35頁。自動索引是借鑒于人工工作的專家系統(tǒng)

23、It is an expert system that implements what a performance engineer skilled in index tuning would do執(zhí)行優(yōu)化 自動索引技術自動索引技術基于和常規(guī)手工SQL優(yōu)化同樣的思路實現；系統(tǒng)自動識別候選索引并在啟用前驗證索引的效率和性 能；整個過程完全是自動化實現的；透明度與復雜的自動化同樣重要；所有的調整活動可以通過報告進行核查；MonitorOnline ValidationCaptureIdentifyVerifyDecide第25頁，共35頁。PARAMETER_NAMEPARAMETER_VALUE

24、LAST_MODIFIED-AUTO_INDEX_DEFAULT_TABLESPACEAUTO_INDEX_MODEAUTO_INDEX_REPORT_RETENTIONIMPLEMENT3117-FEB-19 10.03.59.000000 PMAUTO_INDEX_RETENTION_FOR_AUTO373AUTO_INDEX_RETENTION_FOR_MANUALAUTO_INDEX_SCHEMAAUTO_INDEX_SPACE_BUDGET50通過 DBA_AUTO_INDEX_CONFIG 查看和修改系統(tǒng)配置CDB$ROOTSYSalter session set containe

25、r=pdb1; Session altered.CDB$ROOTSYSEXEC DBMS_AUTO_INDEX.CONFIGURE(AUTO_INDEX_MODE,IMPLEMENT);PL/SQL procedure successfully completed. CDB$ROOTSYSCDB$ROOTSYSselect * from DBA_AUTO_INDEX_CONFIG;執(zhí)行優(yōu)化 Automatic Indexing第26頁，共35頁。構建測試數據，執(zhí)行測試查詢，驅動數據庫的自我記錄分析 PDB1create table test as select * from dba_objec

26、ts; Table created.PDB1insert into test select * from test; PDB1insert into test select * from test; 144794 rows created.PDB1update test set object_id=rownum; 2316704 rows updated.PDB1commit; Commit complete.PDB1select object_name from test where object_id=1; PDB1select object_type from test where ob

27、ject_id=8; PDB1select created from test where object_id=88888；執(zhí)行優(yōu)化 Automatic Indexing第27頁，共35頁。EXECUTION_STARTEXECUTION_ENDERROR_MESSAGESTATUS- - - -EXECUTION_NAME- SYS_AI_2019-02-17/22:51:002019-02-17 22:51:00 2019-02-17 22:53:07COMPLETEDselect * from DBA_AUTO_INDEX_STATISTICS whereEXECUTION_NAME=S

28、YS_AI_2019-02-17/22:51:00;EXECUTION_NAMESTAT_NAMEVALUE-SYS_AI_2019-02-17/22:51:00Index candidates1SYS_AI_2019-02-17/22:51:00Indexes created (visible)1SYS_AI_2019-02-17/22:51:00Indexes created (invisible)0SYS_AI_2019-02-17/22:51:00Indexes dropped0SYS_AI_2019-02-17/22:51:00Space used in bytes45088768S

29、YS_AI_2019-02-17/22:51:00Space reclaimed in bytes0SYS_AI_2019-02-17/22:51:00SQL statements verified2SYS_AI_2019-02-17/22:51:00SQL statements improved2SYS_AI_2019-02-17/22:51:00SQL statements managed by SPM0SYS_AI_2019-02-17/22:51:00SQL plan baselines created0SYS_AI_2019-02-17/22:51:00Improvement per

30、centage100檢查數據庫自動任務執(zhí)行：select * from DBA_AUTO_INDEX_EXECUTIONS;執(zhí)行優(yōu)化 Automatic Indexing第28頁，共35頁。CREATE INDEX ”EN.SYS_AI_18sc6rdkngxkhON ”EN.TEST(OBJECT_ID)CREATE INDEX REBUILD INDEXALTER INDEX VISIBLEALTER INDEX ”EN.SYS_AI_18sc6rdkngxkhREBUILDONLINE ALTER INDEX ”EN.SYS_AI_18sc6rdkngxkh VISIBLEPDB1select index_name,index_type,tablespace_name,status,auto from dba_indexes where table_name=TEST;INDEX_NAMEINDEX_TYPETABLESPACE_NAMESTATUSAUT- - - - -SYS_AI_18sc6rdkngxkh NORMALUSERSVALIDYES包含 AI 標識的自動索引已經被創(chuàng)建出來：PDB1select command,statement from DBA_AUTO_INDEX_IND_ACTIONSCOMMANDSTATEMENT- -執(zhí)行優(yōu)