OracleExada特性簡介及應(yīng)用指引

1、2012年8月1 前言 錯(cuò)誤!未指定書簽一 Exadata概述 錯(cuò)誤!未指定書簽1 Exadata簡介 錯(cuò)誤!未指定書簽2 Exadata的配置及性能參數(shù)錯(cuò)誤!未指定書簽二 Exadata特性 錯(cuò)誤!未指定書簽1 SmartScan （智能掃描） 錯(cuò)誤!未指定書簽2 Storage In dex （存儲索引） 錯(cuò)誤!未指定書簽3 FlashCache （智能閃存）錯(cuò)誤!未指定書簽4 Compression （壓縮）&EHCQ ExadataHybridColumnarCompression ） 錯(cuò) 誤!未指定書簽。5 IORM（ IO資源管理） 錯(cuò)誤!未指定書簽三 Exadata監(jiān)控 錯(cuò)誤!未

2、指定書簽1 Exadata特性監(jiān)控常用指標(biāo) 錯(cuò)誤!未指定書簽2 如何查看指標(biāo) 錯(cuò)誤!未指定書簽四 如何應(yīng)用Exadata 錯(cuò)誤!未指定書簽1 Exadata參數(shù)調(diào)整 錯(cuò)誤!未指定書簽2 在Exadata上開發(fā)注意事項(xiàng) 錯(cuò)誤!未指定書簽3 應(yīng)用總結(jié) 錯(cuò)誤!未指定書簽4 Exadata總體總結(jié) 錯(cuò)誤!未指定書簽1 前言1.1本文背景前期東軟-甲骨文公司組織了一次針對社保系統(tǒng)的 Exadata 聯(lián)合應(yīng)用測試， 本文內(nèi)容是本次 Exadata 測試的經(jīng)驗(yàn)總結(jié)，其中包含了與 Oracle 技術(shù)人員交 流經(jīng)驗(yàn)應(yīng)用、 Oracle 相關(guān)技術(shù)文檔應(yīng)用及個(gè)人測試經(jīng)驗(yàn)總結(jié)。1.2 本文簡介本文是關(guān)于ORACLEE

3、xadat的一些特性介紹和應(yīng)用Exadata的一些指南；本文不會(huì)涉及太多傳統(tǒng)ORACLEDataBas已經(jīng)具有的而非Exadata專有的一些 特性介紹。通過本文，讀者可以了解 ORACLE!出Exadata的目的和初衷，簡單了解 Exadata 架構(gòu)體系，了解 Exdata 的一些設(shè)計(jì)思路，了解其特性及其原理；了 解 Exadata 的適合應(yīng)用場景，不適合應(yīng)用場景，以及在 Exadata 下開發(fā)的一 些注意事項(xiàng)（尤其是做 Exadata 項(xiàng)目主要設(shè)計(jì)、開發(fā)人員一定要了解 Exadata， 不要把它完全當(dāng)作傳統(tǒng) ORACL數(shù)據(jù)庫）。1.3 讀者范圍已經(jīng)熟悉ORACL數(shù)據(jù)庫有 Exadata 相關(guān)

4、項(xiàng)目想了解一些 Exadata 的特性原理和其實(shí)現(xiàn)細(xì)節(jié)一 Exadata 概述1 Exadata 簡介1.1 ORACLEExadataDatabaseMachine1. ORACLEExadat數(shù)據(jù)庫云服務(wù)器，把服務(wù)器、存儲、數(shù)據(jù)庫合理的整合在 一起。2. 為滿足大型數(shù)據(jù)庫存在的性能瓶頸而推出的，最初為DV系統(tǒng)應(yīng)用，后來也同時(shí)支持OLTP系統(tǒng)，成為一個(gè)支持混合應(yīng)用的系統(tǒng)。3. 包含 DatabaseServer 、 ExadataStorageServer2 Exadata 的配置及性能參數(shù)2.1 性能優(yōu)勢1. 是 ShareNothing （StorageServer ）與 ShareDi

5、sk （ DataBaseServer ）結(jié) 合的系統(tǒng)，有優(yōu)點(diǎn)也有缺點(diǎn)。2. 是軟硬件結(jié)合的系統(tǒng)，也是一個(gè) Bala nee系統(tǒng)，通過多CPU大內(nèi)存、多 磁盤、Flashcard、Infiniband 等合理搭配，再結(jié)合強(qiáng)大的軟件系統(tǒng)，減少單 一性能瓶頸；其主要是軟件提升系統(tǒng)性能，而不是主要靠硬件。其性能好最 主要原因是通過 Offload （存儲節(jié)點(diǎn)卸載） 減少存儲層與數(shù)據(jù)庫層之間的傳輸 數(shù)據(jù)量。3. 對于要求吞吐量批處理業(yè)務(wù)操作來說，通過 Offload （如 cellSmartfilecreation 、 SmartScan、 StorageIndex 等技術(shù)）方式減少無用 數(shù)據(jù)的交互，

6、通過 Compression 使數(shù)據(jù)存儲空間更小，通過 DirectPathRead 數(shù)據(jù)直接放到PGA中，而不占用SGA4. 對于要求響應(yīng)速度的單筆并發(fā)查詢業(yè)務(wù)來說，通過FlashCache提供更大的 IOPS。 FlashCache 同時(shí)也為大查詢提供更高的帶寬。5. 通過Infiniband 使數(shù)據(jù)傳輸帶寬更高，也降低 RAC間爭用。6. 通過ASM丁散數(shù)據(jù)，避免熱點(diǎn)I0。7. 再通過ResourceManager協(xié)調(diào)管理各個(gè)業(yè)務(wù)系統(tǒng)可使用的資源。8. 再加上Database11gR2的分區(qū)、并行、并發(fā)、ResultCache等增加系統(tǒng)處 理性能和能力。二 Exadata 特性1 Sma

7、rtScan （智能掃描）1.1 SmartScan帶來什么1. 感性認(rèn)識SmartSca nSQL（到帳查詢）SELECTco un t(DISTINCTAB14.BAE204) FROMAB14,AB13WHEREAB14.BAE204=AB13.BAE204ANDNVL(AB14.BAE205,0)=0ANDNVL(AB14.BAE171,0)=1：記錄數(shù)結(jié)果數(shù)據(jù)量3860527基表數(shù)據(jù)量響應(yīng)時(shí)間FullTable01:53.46SmartSca n00:35.011.2 SmartScan 介紹1. SmartSca n 是什么1）其設(shè)計(jì)思路區(qū)別以往系統(tǒng)，將處理能力從DB層下移到Sto

8、rage層2）SmartScan在Storage層由軟件實(shí)現(xiàn)2. SmartScan 作用1）過濾無用數(shù)據(jù)，減少提交到數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)量2）即減少對網(wǎng)絡(luò)及DB服務(wù)器壓力減小，利用了存儲的 CPU資源3. SmartScan 原理1）字段過濾：selectcolu mn2）謂詞過濾： wherecolu mnjoin colu mn4. SQL啟用SmartScan必要條件（非充分條件）1）必須是全掃描（1）FullTableScan In dexFastFullSca n（3） BitmapScan2）必須直接路徑讀取（DirectPathRead到PGA普通方式讀取到SGA不可以）3）對象

9、必須存儲在ExadataStorage上（其他普通存儲不可以）5. ORACL提供參數(shù)禁用或啟用SmartScan （默認(rèn)啟用）1.3 SmartScan 特點(diǎn)1. 自動(dòng)和透明，隨時(shí)可以使用，不需要特殊處理1）SQL第一次執(zhí)行就可以使用2）不像Storagelndex那樣需要ORACL先建立才能使用3）不像FlashCache那樣需要ORACL先緩存4）Where子句也不是必須的2. 使用特點(diǎn)1）只適用于Query，不適用于DML2）按普通索引查詢則無法使用 SmartSca n3）沒有類似BufferCache共享的目的，非常適合每次查詢都是不重復(fù)的數(shù)據(jù)。4）只返回符合條件的row和colu

10、mn,多余數(shù)據(jù)不返回5）數(shù)據(jù)按照集合（非 ORACL塊）返回到PGA中，不放入SGA6）如果所有字段都查，并且沒有 where子句，那么SmartScan就無作用了1.4 SmartScan 應(yīng)用SQLset autot onSQLselect /*+no_index（t）*/count （ 1） from ac42t where aac001=;COUNT 1） J28已用時(shí)間:00: 00: 09.80執(zhí)行計(jì)劃Planhashvalue :Id |Operation| Name| Rows|Bytes| Cost (%CPU)| Time | 0| SELECTSTATEMENTI 1|

11、7| 1558 K( 1)| 05: 11 : 37|11 SORTAGGREGAT1E 11 7|匚|* 2| TABLEACCESSSTORAGEFULLAC42| 17| 119 | 1558 K( 1)| 05: 11 : 37|PredicateInformation(identifiedby operation id ): 2-storage (AAC001=) filter (AAC001=) Note -automatic DOP:skippedbecause of lOcalibrate statistics aremissing 統(tǒng)計(jì)信息1 recursivecalls0d

12、b block gets6122224 consistent gets6122176 physicalreads0redo size347 bytessentvia SQL*Net to client |360 bytesreceivedvia SQL*Net from client2 SQL*Netroundtrips to / from client 0sorts( memory) |0sorts( disk )1 rows processedSQLset autot offSQLselect *from v_flash;NAMEVALUE cellflash cacheread hits

13、 292cell numsmartIO sessionsusing passthru mode due to cellsrv 0cell numsmartIO sessionsusing passthru mode due touser 0cell physical IObyteseligiblefor predicateoffload5.0153E+10cell physical IObytessaved bystorageindex0cell physical IOinterconnectbytesreturnedby smart scan 7285736db block gets 185

14、db block gets direct0 db block gets fromcache 185db block gets fromcache (fastpath)8physicalreadIOrequests 288282physicalreadrequestsoptimized292已選擇12行。已用時(shí)間：00: 00: 00.061.5 SmartScan 總結(jié)1. SmartScan 性能1）性能很快，一般在秒級/10、秒級、分鐘級2）比普通全表掃描快很多3）沒有中等性能的傳統(tǒng)In dex快，沒有中等性能的Storage In dex快，和不好的 Index/StorageIndex

15、 差不多4) 結(jié)合 StorageIndex 使用，性能更好2. 根據(jù)其機(jī)制和測試結(jié)果，個(gè)人感覺：1) 為DW而設(shè)計(jì)，更適用于類似DV系統(tǒng)等大數(shù)據(jù)量應(yīng)用。2) 不太適用于要求響應(yīng)時(shí)間和并發(fā)量的OLTP單筆業(yè)務(wù)系統(tǒng)中。3. SmartScan 適用場景1) 適用于后臺手工大數(shù)據(jù)查詢(1) 如現(xiàn)場后臺手工分析、統(tǒng)計(jì)一些數(shù)據(jù)2) 報(bào)表統(tǒng)計(jì)(1) 各類大報(bào)表的統(tǒng)計(jì)3) 前臺各類大查詢(1) 大數(shù)據(jù)量的查詢4) 前臺大業(yè)務(wù)模塊的待處理數(shù)據(jù)的查詢(1) 批量核定業(yè)務(wù)的未核定單位(個(gè)人)數(shù)據(jù)查詢(2) 批量征集業(yè)務(wù)的待征集數(shù)據(jù)查詢(3) 批量實(shí)收業(yè)務(wù)的到帳未實(shí)收數(shù)據(jù)查詢5) Where條件選擇性非常不好的各

16、種查詢(1) (日期、類別、狀態(tài)、人數(shù)、金額。 。)6) 非常不常用、不重要的 OLTP單筆業(yè)務(wù)4. SmartScan不適用場景1) 后臺批量業(yè)務(wù)的循環(huán)大SQL單次查詢(1)不能在 forloop 中的 SQL使用 SmartScan2) 前臺并發(fā)大的小業(yè)務(wù)(1) 對于前臺并發(fā)操作多，但很小的業(yè)務(wù)，如停續(xù)保、基本信息修改等5. SmartScan 給系統(tǒng)設(shè)計(jì)開發(fā)帶來的好處1）對OLTP小業(yè)務(wù)無影響（不必考慮此特性，按原先方式設(shè)計(jì)開發(fā)）2）減少大SQL過度優(yōu)化3）對于復(fù)雜大SQL直接用SmartScan,不用非要走各種索引4）減少選擇性非常不好的傳統(tǒng)索引的建立2 Storagel ndex （

17、存儲索引）2.1 Storagelndex 帶來什么1. 感性認(rèn)識Storage In dexSQL（到帳查詢）SELECTco un t(DISTINCTAB14.BAE204) FROMAB14,AB13 WHEREAB14.BAE204=AB13.BAE204 ANDNVL(AB14.BAE205,0)=0 ANDNVL(AB14.BAE171,0)=T;記錄數(shù)結(jié)果數(shù)據(jù)量3860527基表數(shù)據(jù)量響應(yīng)時(shí)間FullTable01:53.46SmartSca n00:35.01Storage In dex00:21.352.2 StorageIndex 介紹1. Storage In dex

18、是什么1）不同于傳統(tǒng)Index，非find需要的數(shù)據(jù)，而是filter 不要的數(shù)據(jù)2）在Storage層實(shí)現(xiàn)，非Server層3）StorageIndex 保存在cell節(jié)點(diǎn)內(nèi)存中4）Storagelndex為每個(gè)存儲單元（1m）數(shù)據(jù)塊建立最大值和最小值2. StorageIndex 作用1）消除不必要的磁盤I/O3. StorageIndex 原理1) 比較 where 條件與 cell 內(nèi)存中的 StorageIndex ，不符合匹配條件的存儲區(qū)間直接被跳過，由于被跳過部分?jǐn)?shù)據(jù)不產(chǎn)生10,因此大大減少磁盤I/O2) 類似 Partition ，不過是更小范圍的分區(qū)4. StorageInd

19、ex 如何管理1) Storagelndex由0RACL內(nèi)部來自動(dòng)維護(hù)(包括建立、更新、清除等)(1) 第一次智能掃描(2) Ctas(3) InsertAppend(4) Update2) 不需要也不能人工干預(yù)(內(nèi)部機(jī)制不是特別清楚)3) 經(jīng)常使用的列會(huì)有建立 StorageIndex5. SQL啟用Storagelndex啟用必要條件(非充分條件)1) 必須是 SmartScan 方式2) 必須有 where 子句3) 并行查詢6. ORACL提供參數(shù)禁用或啟用StorageIndex (默認(rèn)啟用)2.3 StorageIndex 特點(diǎn)1. 特點(diǎn)1) 在內(nèi)存中,速度快,也意味著重啟即丟失2

20、) 不同于傳統(tǒng)Index，非find數(shù)據(jù)，而是filter 不要的數(shù)據(jù)3) 自動(dòng)和透明，返回的數(shù)據(jù)是完全一致的和事務(wù)級的4) 與普通索引機(jī)制不一樣，不針對表建立，針對數(shù)據(jù)塊建立，每1m數(shù)據(jù)塊建立最大最小值,空間小5) 最多 8 列6）根據(jù)其過濾方式，表字段數(shù)據(jù)越有序，則存儲索引效果越好2. 原則1）只適合Query，不適合DML2）按普通索引查詢則無法使用Storagel ndex3）一般第二次查詢可用上 Storage In dex （首次查詢用不上，因?yàn)镾torageI ndex 還沒有建立），查詢后會(huì)重建StorageIndex4）數(shù)據(jù)修改，ORACL會(huì)維護(hù)存儲索引（機(jī)制不清），有時(shí)可能

21、會(huì)失效（不會(huì)導(dǎo) 致錯(cuò)誤）5）字段值（非字段類型）為數(shù)字的可以使用存儲索引，字段值存在字符型不 使用2.4 StorageIndex 應(yīng)用SQLset autot onSQLselect /*+no_index（t）*/count （ 1） from ac42t where aac001=;COUNT 1）28已用時(shí)間：00: 00: 09.43執(zhí)行計(jì)劃Planhashvalue :Id |Operation| Name| Rows|Bytes| Cost (%CPU)| Time | 0| SELECTSTATEMENTI 1| 7| 1558 K( 1)| 05: 11 : 37| 11 S

22、ORTAGGREGATE 1| 7|* 2| TABLEACCESSSTORAGEFULI|AC42| 17| 119 | 1558 K( 1)| 05: 11 : 37|PredicateInformation(identifiedby operation id ):2 - storage (AAC001=)filter (AAC001=)Note-automatic DOP:skippedbecause of IOcalibrate statistics aremissing | 統(tǒng)計(jì)信息143 recursivecallsOdb block gets6122354 consistent

23、gets6122225 physicalreads2088 redo size347 bytessentvia SQL*Net to client360 bytesreceivedvia SQL*Net from client 2SQL*Netroundtrips to / from client 6sorts( memory)0sorts( disk )1 rows processed |SQLset autot offSQLselect *from v_flash;NAMEVALUEcellflash cacheread hitscellnumsmartIOsessionsusingpas

24、sthrumode due to cellsrv 0cellnumsmartIOsessionsusingpassthrumode due touser 0cell physical IObyteseligible for predicateoffload 5.0153E+10cell physicalIObytessaved bystorageindexcell physicalIOinterconnectbytesreturnedby smart scan 7277832db block gets 66db block gets direct 0db block gets fromcach

25、e 66db block gets fromcache (fastpath) 0physicalreadIOrequests 48240physicalreadrequestsoptimized132已選擇12行。已用時(shí)間:00: 00: 00.13SQL2.5 Storage!ndex 總結(jié)查詢方式查詢數(shù)據(jù)量基表數(shù)據(jù)量SmartSca nStorage In dexIn dex性能比較大表大數(shù)據(jù)量00:04.1500:00.8401:06.63Storage In dex 好中等數(shù)據(jù)量9539800:01.7100:00.1600:00.22相近大表小數(shù)據(jù)量2800:09.8000:08.8

26、300:00.01Index 好大表無索引386052700:35.0100:21.35XXStorage In dex/Sma rtSca n1. Storage!ndex 性能1) StorageIndex對大SQ性能提升很大(使用得當(dāng)，至少提高10倍以上)2) Storage!ndex返回速度根據(jù)基表數(shù)據(jù)量、返回?cái)?shù)據(jù)量、所查詢字段分布, 一般在1/100秒級-分鐘級，達(dá)不到0.000n秒，一般也不會(huì)達(dá)到小時(shí)級2. 根據(jù)其機(jī)制和測試結(jié)果，個(gè)人感覺：1）主要為DW而設(shè)計(jì)，更適用于類似 DW系統(tǒng)等大數(shù)據(jù)量應(yīng)用。2）不太適用于要求響應(yīng)時(shí)間、大并發(fā)量的OLTP單筆業(yè)務(wù)系統(tǒng)中（還需項(xiàng)目驗(yàn)證）。3）好

27、的Storagelndex比不好的普通索引性能好，Storagelndex比SmartScan性 能要好（1）在大表小數(shù)據(jù)量查詢時(shí)（比如 100條以下）， Storagelndex 沒有普通索 引快（即選擇性好的索引，比 Storagelndex 好）（2）在大表大數(shù)據(jù)量查詢時(shí)（比如 10萬條以上）， Storagelndex 比普通索引 快很多（即選擇性不好的索引，沒有 Storagelndex 好）3. Storagelndex 適用場景1）適用于后臺手工大數(shù)據(jù)查詢2）報(bào)表統(tǒng)計(jì)3）前臺各類大查詢4）前臺大業(yè)務(wù)模塊的待處理數(shù)據(jù)的查詢（1）同 SmartScan 場景5）Where條件選擇性非

28、常不好（批次、年月、日期、狀態(tài)、空值等。）的各 種查詢（1） 這類查詢，不用建立對應(yīng)的索引，直接采用 Storagelndex6）非常不常用、不重要的 OLTP單筆業(yè)務(wù)4. Storagelndex 不適用場景1）后臺批量業(yè)務(wù)的大SQL單次查詢（不能在forloop中的SQL使用SmartScan。）2）前臺并發(fā)大的小業(yè)務(wù)（有待正式系統(tǒng)驗(yàn)證）5. Storagelndex 給系統(tǒng)設(shè)計(jì)開發(fā)帶來的影響1) 對OLTP小業(yè)務(wù)無影響(不必考慮此特性，按原先方式設(shè)計(jì)開發(fā))2) 減少大SQL過度優(yōu)化3) 對于各類查詢，可以結(jié)合實(shí)際，應(yīng)用Storagel ndex(1) 盡量保證字段值為數(shù)值型、日期型(2)

29、 不要對字段做函數(shù)處理，如 trunc , to_char(3) 盡量按順序存儲數(shù)據(jù)(包括數(shù)據(jù)轉(zhuǎn)換)(4) 保證使用StorageIndex的列值有規(guī)律，比如順序增長，不要無規(guī)律或 者由多個(gè)序列生成(這樣每1M的最大最小值都接近一樣，StorageI ndex 失去意義)(5) 減少普通索引的建立，一些不常用字段、非選擇性字段的索引可以不 建立(6) 對于日期字段不要建立普通索引，直接利用存儲索引(7) 減少過度優(yōu)化，一些大SQL不必非要調(diào)整為走索引(當(dāng)然不是不需要 優(yōu)化)3 FlashCache (智能閃存)3.1 FlashCache 帶來什么1.感性認(rèn)識SQLselect/*+no in

30、 dex記錄 數(shù)結(jié)果數(shù)據(jù)量基表數(shù)據(jù)量方式FullTableSmartSca nStorage In dexIn dexNOFLASHCACHE時(shí)間01:19.4000:09.2400:01.4201:19.02FLASHCACHE時(shí)間00:40.6200:04.1500:00.8401:06.633.2 FlashCache 介紹1. FlashCache 是什么1）硬件， Flashcard2）StorageServerDisk 的緩存（類似內(nèi)存的 DBBufferCache）2. FlashCache 作用1）提升Exadata在OLTP業(yè)務(wù)下的性能2）對DW業(yè)務(wù)性能也有很大好處3. Fl

31、ashCache 原理1）緩存熱數(shù)據(jù)，通過增加 IOPs 解決隨機(jī)的 I/O 瓶頸（1）讀：先看Cache,沒有再看Disk （也可能同時(shí)讀），之后再把Disk的 數(shù)據(jù)放入Cache （小數(shù)據(jù)才放，大數(shù)據(jù)不放）（2）寫：先寫Disk，后續(xù)再同步Cache4. FlashCache 管理1）當(dāng)作緩存用時(shí)，類似 DBBufferCache，算法由ORACL控制2）對象（表、索引）緩存在 FlashCache 中的方式有三種（ Keep, Default , Recycle ）3）ORACL提供方法清除FlashCache5. FlashCache 使用必要條件1）對象已緩存到 FlashCache

32、中，ORACL自動(dòng)讀取FlashCache2）其中緩存方式為Keep的對象更容易使用FlashCache3.3 FlashCache 特點(diǎn)1. 在 DBServerMEMf StorageServerDisk 之間一層緩存，主要目的是為 OLTP系統(tǒng)加快讀取，對DW/DS系統(tǒng)也有很大好處2. 性能、容量介于內(nèi)存和存儲之間, 可提供更快的響應(yīng)時(shí)間, 更高的隨機(jī) I/O, 更大的帶寬3. 可以指定表及索引的Cache方式4. 也可作為存儲使用，可把表直接存儲到上面5. 智能緩存，ORACL自動(dòng)管理，有類似LRU的算法6. 更適合讀，大量讀小量并發(fā)讀都有好處，不適合寫3.4 FlashCache 總

33、結(jié)1. FlashCache 性能1）FlashCache 對系統(tǒng)整體性能有一定的提升2）單筆帶來的性能提升沒有 Storagel ndex和SmartScan那樣令人驚訝，單筆 非并發(fā)，提升不到 1 倍2. FlashCache 適用場景1）適用于各類OLTF和DW業(yè)務(wù)，都可以帶來好處3. FlashCache 不適用場景1）只寫不讀的系統(tǒng)（同步了不用，浪費(fèi)資源）2）頻繁修改的系統(tǒng)（對于數(shù)據(jù)頻繁同步到FlashCache,會(huì)有一定的性能影響）4. FlashCache 給系統(tǒng)設(shè)計(jì)開發(fā)帶來的影響1）當(dāng)作Cache使用（1）對開發(fā)透明,具體編碼不必考慮 FlashCache 是否存在（2）可把常

34、用基礎(chǔ)表以Keep方式緩存到FlashCache中；（3）非常用表、大表由 ORACL自動(dòng)管理default ；（4）頻繁修改的表不要keep （具體效果還需要在項(xiàng)目中真正驗(yàn)證）2）當(dāng)作 Disk 使用（1）常用表放入 FlashCache （需要實(shí)際項(xiàng)目驗(yàn)證）（2）RedoLog放入FlashCache （實(shí)際可能不適用，需要實(shí)際項(xiàng)目驗(yàn)證）4 Compression （壓縮） &EHC（C ExadataHybridColumnarCompression ）4.1 EHC（帶來什么1. 感性認(rèn)識ObjectNameSize(M)壓縮倍數(shù)FEE_COMPRESS_ARCHIVE_HIGH806

35、6.0FEE_COMPRESS_ARCHIVE_LOW11247.2FEE COMPRESS QUERY HIGH11247.2FEE COMPRESS QUERY LOW27219.4FEE COMPRESS BASIC8406.3FEE COMPRESS OLTP9445.6FEE NOCOMPRESS52831.04.2 EHC(介紹1. EHC（是 什么1）多塊（32k/64k ）數(shù)據(jù)組成一個(gè)壓縮單元（CompressionUnit ）2）每個(gè)壓縮單元內(nèi)按列來組織3）非行壓縮、非列壓縮，介于行存貯和列存貯之間2. EHC（作用1）為減少非活動(dòng)數(shù)據(jù)占用空間，為能提供更大的壓縮比、壓縮效率

36、2）可以避免行壓縮的壓縮率不好，列式壓縮的訪問性能不好的缺點(diǎn)3. EHC（原 理1）數(shù)據(jù)在壓縮單元內(nèi)按列來組織和壓縮，非行壓縮、非列壓縮，介于行存貯和列存貯之間2）四種類型（四種算法）壓縮類型壓縮率壓縮時(shí)間訪問性能Querylow最低（好于basic，OLTP最短最好QueryhighArchivelowArchivehigh最高最長最差4.3 EHC（特點(diǎn)1. EHC（特 點(diǎn)1）提供了極大的壓縮比，非常有效的減少存儲空間2）數(shù)據(jù)的解壓縮被卸載到Exadata節(jié)點(diǎn)有效的減少了數(shù)據(jù)，庫服務(wù)器節(jié)點(diǎn)的CPU開銷3）混合列壓縮的索引機(jī)制和普通表的機(jī)制不一樣，混合列壓縮QUERYARCHIVE不太適用于

37、OLTP系統(tǒng)，小數(shù)據(jù)走索引的查詢沒有優(yōu)勢，OLTP系統(tǒng)可用普通 壓縮OLTP4）block是以壓縮單元進(jìn)行存儲的；一個(gè) CU由多個(gè)block組成；而且數(shù)據(jù)再 block中是以列進(jìn)行的存儲；這能夠提高查詢速度，但是其缺點(diǎn)如果查詢一 個(gè)行的所有列則會(huì)訪問所有的block ;所以要注意系統(tǒng)的單行讀情況2. 壓縮解壓時(shí)機(jī)1）所有的壓縮是在DB層完成的；2）但是當(dāng)訪問數(shù)據(jù)時(shí)：（1）如果是進(jìn)行的SmartScan,那么在進(jìn)掃描時(shí)會(huì)在Storagecell中解壓縮，并且解壓縮的是需要訪問的列，返回的數(shù)據(jù)全部是需要的數(shù)據(jù)，而不再需要過濾；（如果Storagecell較忙，會(huì)在 DB層完成）（2）如果進(jìn)行的是非

38、SmartScan,那么數(shù)據(jù)的解壓縮就是在DB層完成的；3. EHCCE縮發(fā)生DML后處理方式操作類型處理方式普通In sertOLTRE 縮AppendEHCCK縮UpdateOLTP壓縮4.4 EHCC應(yīng)用createtable FEE(BAZ001 NUMBER 16) notnull ,BAZ002 NUMBER 16),AAC001NUMBER 16) notnull , AAB001NUMBER 16) notnull ,_| AAE002 NUMBER 6) notnull ,AAE011 VARCHAR2 50),AAE036 DATE)partitionbyrange (AA

39、E002)(partitionFEE_P199412valueslessthan( 199412) COMPRESSFORRCHIVEHIGH, |partitionFEE_P199503valueslessthan( 199503) COMPRESSFORRCHIVELOW,partitionFEE_P199506valueslessthan( 199506) COMPRESSFOQUERYHIGH,partitionFEE_P199509valueslessthan( 199509) COMPRESSFOQUERYLOW,partition_P199512 valueslessthanOM

40、PRESSFOOLTP,partition FEE_P201201 valueslessthan ( 201201 ), JpartitionFEE_PMAX/alueslessthan( MAXVALUE)tablespaceUSERSnologging 汀EHCC總結(jié)1.4.5ObjectNameSize(G)壓縮倍數(shù)FEE2 COMPRESS ARCHIVE HIGH2.0777.3FEE2 NOCOMPRESS1601.0根據(jù)其機(jī)制和測試結(jié)果，個(gè)人感覺,1）有效降低存儲空間2）適用與DW系統(tǒng)，尤其適用于系統(tǒng)歷史查詢數(shù)據(jù)、歷史歸檔數(shù)據(jù)的管理3）不適用于頻繁處理的OLTP系統(tǒng)，對DML操作

41、性能不好（DML操作后會(huì)轉(zhuǎn)為 OLTP方式壓縮）4）對Query，按索引單行訪問不好，批量訪問性能也許會(huì)更好（降低IO）2. EHC（適用場景1）尤其適用于系統(tǒng)歷史數(shù)據(jù)不訪問，不處理（或極少處理）的壓縮2）列重復(fù)值比較多，有規(guī)律的表適合壓縮（壓縮率非常大）3. EHC（不適用場景1）歷史數(shù)據(jù)有DML操作的不適合壓縮（DML操作后要轉(zhuǎn)為OLTRffi縮，多次處 理以后，反而存儲和性能都不好）2）歷史數(shù)據(jù)經(jīng)常按索引做單條數(shù)據(jù)訪問的不適合壓縮（因?yàn)槠涠鄠€(gè)塊為一個(gè) 單元，查詢一條也要訪問多塊數(shù)據(jù)，性能不好）3）很多列為空值的不適合（原先就不占空間，所以壓縮效果不好）4）列很多，并且值都很唯一的表壓縮不

42、適合（這樣壓縮率低）4. EHC（給系統(tǒng)設(shè)計(jì)開發(fā)帶來的影響1）對海量大表不需要修改的歷史數(shù)據(jù)需要考慮結(jié)合分區(qū)利用好壓縮，大大降 低存儲空間的同時(shí)對性能影響不大5 IORM（ IO 資源管理）1. IORM屬于 ResourceManager 的一部分；2. ResourceManage包含 DBRM IORM3. 普通ORACL數(shù)據(jù)庫也有DBRM功能；5.1 ResourceMa nager 介紹1. ORACL資源管理器（ORACLEDatabaseResourceManagei簡稱 DBRM1）管理數(shù)據(jù)庫資源，為不同的會(huì)話分配不同的數(shù)據(jù)庫資源。2）DBRM管理的資源主要包括CPU時(shí)間。3）

43、實(shí)現(xiàn)服務(wù)器資源（如CPU和I/O）在不同數(shù)據(jù)庫/資源組/會(huì)話間的分配。4）控制系統(tǒng)資源（CPU 10、parallel）使用的優(yōu)先級5）可按需分配平衡多負(fù)載下的資源占用2. DBRME DBServer 層控制 CPU parallel 等資源3. IORM是在cell層控制I0資源5.2 ResourceManager特點(diǎn)1. 資源管理器部件組成：1）資源用戶組（ Resourceconsumergroup） : 根據(jù)數(shù)據(jù)庫資源處理需求，將用戶會(huì)話的資源請求將它們分為一組。DBRM按組管理會(huì)話的資源分配，而不是按單個(gè)的會(huì)話。2）資源規(guī)劃（ Resourceplan ） : 指定哪些資源分配給

44、資源用戶的命令；3）資源分配方法（ Resourceallocationmethod ） : 數(shù)據(jù)庫資源管理器分配特殊資源時(shí)采用的方法，由資源用戶組和資源規(guī)劃來使用4) 資源規(guī)劃命令(Resourceplandirectives):管理員使用這些命令將資源用戶組與特殊規(guī)劃連接起來，并在資源用戶組之間分配資源。資源計(jì)劃指令 指定了資源計(jì)劃和組之間的映射關(guān)系。5) 一個(gè)資源規(guī)劃對應(yīng)多個(gè)資源用戶組，而一個(gè)資源用戶組對應(yīng)多個(gè)指令。2. ResourceMa nager 控制方式1) 可按照用戶、服務(wù)、終端、模塊等各個(gè)類別控制2) 可以擴(kuò)展自定義配置，可在應(yīng)用層統(tǒng)一配置(類似ORACLEVPD置)，實(shí)現(xiàn)

45、不同業(yè)務(wù)的不同資源級別3. 使用方式，兩種方式1)單級別的資源管理策略GroupLEVE1實(shí)際G A6060%G B3030%OTHERS1010%(1) 當(dāng)G_A只使用20% 剩余40% (60%-20%按照比例3:1(30%:10%)分配 給 G_B與 OTHERS(2) 當(dāng)G_B沒有使用，同上。2)多級別的資源管理策略GroupLEVE1LEVE2LEVE3實(shí)際算法G A7070%100%*70%G B5015%(100%-70%)*50%G_C507.5%(100%-70%)*50% )*50%OTHERS7.5%(100%-70%)*50% )*50%(1)當(dāng) G_A只使用 20%

46、剩余 50%(70%-20% 流向 level2，50%分配給 G_BG_B多得到：50% (70%-20% *50%=25% 剩余給 Ievel3 : 50%-25%=25% level3 中G_C多得到其中的50% 25%*50%=12.5%剩余的給 OTHERS其 多得到 25%-12.5%=12.5%5.3 ResourceManager總結(jié)1. 資源不足時(shí)使用，保證主要業(yè)務(wù)系統(tǒng)的資源（犧牲不重要業(yè)務(wù)）1）比如社保系統(tǒng)與勞動(dòng)系統(tǒng)之間資源分配2）比如社保內(nèi)部并發(fā)小業(yè)務(wù)與批量大業(yè)務(wù)之間資源分配3）比如重點(diǎn)業(yè)務(wù)與非重點(diǎn)業(yè)務(wù)之間的資源分配2. 當(dāng)資源充足時(shí)，不要使用資源管理三Exadata監(jiān)控

47、1 Exadata特性監(jiān)控常用指標(biāo)（如下為比較重要的指標(biāo)。個(gè)人理解，翻譯的不一定準(zhǔn)確）1.1指標(biāo)指標(biāo)含義1cellphysicallOi nterco nn ectbytesretur nedbysmartsca n通過智能掃描的字節(jié)數(shù)2physicalreadrequestsoptimized優(yōu)化的物理讀次數(shù)3cellphysicalIObytessavedbystorage in dex存儲索引節(jié)省的字節(jié)數(shù)4cellphysicallObyteseligibleforpredicateoffloadOffload字節(jié)數(shù):5cellflashcachereadhitsFlashCache中命

48、中次數(shù)1.2事件指標(biāo)含義1cellsmarttablesca n智能表掃描（directpathread）2cellsmart in dexsca n智能索引掃描（fastfullindexscan）3cells in gleblockphysicalread普通單塊讀（indexscan）4cellmultiblockphysicalread多塊讀(fulltablescan/indexfastfullscan )5cellsmartfilecreati on創(chuàng)建、擴(kuò)展表空間2如何查看指標(biāo)2.1在AWR艮告中查看2.2 Session 級查看 v$sesstat、v$statname四如何應(yīng)

49、用Exadata1 Exadata參數(shù)調(diào)整2 在Exadata上開發(fā)注意事項(xiàng)2.1 根據(jù)業(yè)務(wù)場景盡可能應(yīng)用 Exadata 的 Offload 等特性，應(yīng)用其超強(qiáng)的 I/O 處 理能力。1. 對批量操作處理場景下，不需要針對 Exadata 進(jìn)行過度的優(yōu)化，盡量應(yīng)用 SmartScan、StorageIndex 。這樣可以減少很多選擇性不好的普通索引的建立， 同時(shí)也為DML操作減輕了負(fù)擔(dān)。2. 對于大SQL語句用不上合適的索引（個(gè)人編號、單位編號、流水號。），就不要再特別增加不必要的索引（如標(biāo)志、性別等明顯選擇性很差的字段做 索引），直接應(yīng)用 Offload 特性，比如在上面介紹的 Smart

50、Scan、 StorageIndex 中的SQL語句。3. 對于建立 / 擴(kuò)展表空間，數(shù)據(jù)加載卸載，大表重建，索引重建等手工操作 采用并行可充分利用其 IO 優(yōu)勢、 Offload 特性2.2在適用的場景下，結(jié)合ORACL分區(qū)技術(shù)合理使用EHCC壓縮或OLTP壓縮技術(shù)。1. 可不影響系統(tǒng)性能的前提下，可有效的減少了存儲空間。2. 比如繳費(fèi)明細(xì)按時(shí)間分區(qū)，當(dāng)前數(shù)據(jù)不壓縮，歷史分區(qū)采用OLTP壓縮，歷史不欠費(fèi)分區(qū)采用 ForQuery 壓縮3. 對于醫(yī)療、養(yǎng)老大表，按時(shí)間分區(qū)，當(dāng)前數(shù)據(jù)不壓縮，歷史分區(qū)采用ForQuery 壓縮4. 對于各類日志信息， 按時(shí)間分區(qū)，當(dāng)前數(shù)據(jù)不壓縮，歷史分區(qū)采用 ForQuery 壓縮5. 對于不查詢只是備份的數(shù)據(jù)，采用 ForArchive 方式壓縮，可能會(huì)極大的 減少存儲空間2.3 在大規(guī)模并發(fā)情況下，通過 FlashCache 可提供較高的隨機(jī)讀性能，可根據(jù)業(yè) 務(wù)需要，將常用的不變化表、索引 keep 到 FlashCache 。1. 比如單位信息、大的參數(shù)表等2. 把 Redolog 放在上面（未驗(yàn)證、需要驗(yàn)證， log 串行寫可能會(huì)有問題）2.4 對于大數(shù)據(jù)處理，盡量采取并行的方式來處理（