基于OracleExadata的數(shù)據(jù)庫整合及性能優(yōu)化

基于OracleExadata的數(shù)據(jù)庫整合及性能優(yōu)化摘要：OracleExadata將智能存儲(chǔ)軟件和標(biāo)準(zhǔn)化硬件相結(jié)合，提供了高性能及高穩(wěn)定性的數(shù)據(jù)庫存儲(chǔ)服務(wù)。對其配置及有特色的功能進(jìn)行了介紹，在使用及深入研究之后，通過對數(shù)據(jù)庫整合及其參數(shù)配置性能優(yōu)化的方式，提高了其整體運(yùn)行效率。關(guān)鍵詞：OracleExadata；數(shù)據(jù)庫整合；性能優(yōu)化0引言隨著數(shù)據(jù)庫系統(tǒng)規(guī)模的增加，傳統(tǒng)的系統(tǒng)架構(gòu)的瓶頸問題越來越突出。首先在存儲(chǔ)層，隨著長時(shí)間的運(yùn)行會(huì)帶來數(shù)據(jù)分布不均及IO瓶頸，其次在網(wǎng)絡(luò)層由于帶寬的不足會(huì)導(dǎo)致大量數(shù)據(jù)無法快速傳達(dá)，最后在服務(wù)器層由于接收過多的數(shù)據(jù)處理，內(nèi)存優(yōu)勢無法發(fā)揮。具體而言就是傳統(tǒng)的存儲(chǔ)設(shè)備不知道數(shù)據(jù)庫駐留在存儲(chǔ)設(shè)備上，因此無法提供任何數(shù)據(jù)庫識(shí)別I/O或SQL處理。數(shù)據(jù)庫請求行或列時(shí)，從存儲(chǔ)返回的是數(shù)據(jù)塊而非數(shù)據(jù)庫查詢的結(jié)果集。傳統(tǒng)的存儲(chǔ)不具備數(shù)據(jù)庫智能來識(shí)別實(shí)際請求的特定行或列。因此，當(dāng)數(shù)據(jù)庫查詢處理I/O請求時(shí)，傳統(tǒng)的存儲(chǔ)將消耗帶寬，返回大量與執(zhí)行的數(shù)據(jù)庫查詢不相關(guān)的數(shù)據(jù)。1OracleExadata功能及特點(diǎn)1.1OracleExadata功能OracleExadata其實(shí)是一臺(tái)帶有CPU、內(nèi)存及操作系統(tǒng)（OracleEnterpriseLinux）的服務(wù)器，當(dāng)數(shù)據(jù)庫需要查詢時(shí)，Exadata可對數(shù)據(jù)進(jìn)行篩選，然后將結(jié)果傳送到服務(wù)器內(nèi)存，而不是將結(jié)果轉(zhuǎn)移到存儲(chǔ)系統(tǒng)中，從而大量減少存儲(chǔ)系統(tǒng)的讀寫。Exadata是一個(gè)模塊化產(chǎn)品，每一個(gè)模塊稱為存儲(chǔ)單元，增加存儲(chǔ)單元可以提高這個(gè)系統(tǒng)的吞吐量，并稱為一種大容量并行的存儲(chǔ)網(wǎng)格，增加存儲(chǔ)單元可以增加傳輸管道的數(shù)量。OracleExadata智能存儲(chǔ)服務(wù)器通過在存儲(chǔ)部件中實(shí)現(xiàn)數(shù)據(jù)密集處理，并進(jìn)行表及索引的掃描，與數(shù)據(jù)過濾無關(guān)，從而減輕服務(wù)器及帶寬的負(fù)載，提高工作效率。1.2智能掃描OracleExadata可進(jìn)行僅被請求的行返回到數(shù)據(jù)庫服務(wù)器的謂詞過濾，僅被請求的列返回到數(shù)據(jù)庫服務(wù)器的列過濾掃描，采用Bloom過濾器實(shí)施的用于確定某行是否為預(yù)期結(jié)果的聯(lián)合掃描。針對大型數(shù)據(jù)庫，大量超過所需的行讀取到內(nèi)存，會(huì)產(chǎn)生過多的數(shù)據(jù)傳輸，不僅消耗帶寬而且影響應(yīng)用程序的吞吐量和響應(yīng)時(shí)間，而采用智能掃描技術(shù)能夠避免這種情況產(chǎn)生。智能掃面不受優(yōu)化器控制，但他受查詢優(yōu)化結(jié)果的影響，其只能用于完整的表或索引掃描，且只能直接路徑讀取。另外，使用智能掃描必須在數(shù)據(jù)庫中啟動(dòng)，并存儲(chǔ)在相應(yīng)的磁盤組中。1.3智能閃存高速緩存高速緩存主要用于存放經(jīng)常被訪問的對象，適用于緩存重復(fù)的隨機(jī)讀取，其允許按應(yīng)用程序表優(yōu)化。智能閃存高速緩存了解各種類型的數(shù)據(jù)庫的讀寫，可以緩存經(jīng)常訪問的數(shù)據(jù)和索引塊，緩存控制文件及頭文件的讀取和寫入。但OracleExadata的高速緩存不能存放數(shù)據(jù)泵、備份文件、鏡像副本及數(shù)據(jù)格式設(shè)置等。2數(shù)據(jù)庫整合目的數(shù)據(jù)庫整合的基本原則是所整合的數(shù)據(jù)庫必須具有相似的可用性和計(jì)劃維護(hù)目標(biāo)，其對系統(tǒng)的要求、安全性及邊界組織相近。數(shù)據(jù)庫整合的目的主要有以下幾點(diǎn)：①建立統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)格式，并具有相應(yīng)的工作規(guī)范及管理流程，便于數(shù)據(jù)交換；②降低數(shù)據(jù)庫使用費(fèi)用，提升運(yùn)轉(zhuǎn)效率；③最大限度地減少網(wǎng)絡(luò)及硬件的空閑資源；④采用數(shù)據(jù)安全措施，確保機(jī)密數(shù)據(jù)的使用。傳統(tǒng)的數(shù)據(jù)庫整合方式大致可分為三類：①在一臺(tái)物理服務(wù)器上托管多臺(tái)虛擬服務(wù)器；②在一臺(tái)服務(wù)器上托管多個(gè)應(yīng)用程序；③在一個(gè)應(yīng)用程序中支持更多的用戶使用。數(shù)據(jù)庫的整合必須具有相似的可用性以及計(jì)劃維護(hù)目標(biāo)的數(shù)據(jù)庫，由于具有一定的數(shù)據(jù)風(fēng)險(xiǎn)，所以在操作時(shí)必須注意相關(guān)硬件性能、系統(tǒng)要求及組織邊界。3Exadata數(shù)據(jù)庫整合方法3.1數(shù)據(jù)庫分組根據(jù)數(shù)據(jù)安全級(jí)別及應(yīng)用模式可將數(shù)據(jù)庫分為3組：①關(guān)鍵數(shù)據(jù)組包含核心業(yè)務(wù)數(shù)據(jù)、生產(chǎn)業(yè)務(wù)數(shù)據(jù)及面向客戶類數(shù)據(jù)；②標(biāo)準(zhǔn)數(shù)據(jù)組主要指非關(guān)鍵的生產(chǎn)數(shù)據(jù)；③非生產(chǎn)數(shù)據(jù)組指相關(guān)開發(fā)和測試數(shù)據(jù)。在每個(gè)數(shù)據(jù)組中創(chuàng)建一個(gè)數(shù)據(jù)庫環(huán)境（POD），每個(gè)POD調(diào)用1～2臺(tái)ExadataDatabaseMachine服務(wù)器來整合數(shù)據(jù)庫，對于需要兩臺(tái)以上服務(wù)器的數(shù)據(jù)庫應(yīng)具有一個(gè)專用的POD。3.2整合存儲(chǔ)及操作系統(tǒng)參數(shù)配置首先給每個(gè)POD分配一個(gè)共享的OracleExadata存儲(chǔ)網(wǎng)格，建立磁盤分組：DATA組用于存放數(shù)據(jù)庫文件；RECO組用于存放快速恢復(fù)區(qū)（FastRecoveryArea，簡稱FRA）；DBFS_DG用于存放群集共享文件和數(shù)據(jù)庫文件系統(tǒng)（DatabaseFileSystem，簡稱DBFS）。其次再將所有數(shù)據(jù)使用設(shè)置為高冗余，跨所有單元和磁盤對各個(gè)磁盤組進(jìn)行條帶化。然后再使用IORM管理和分配I/O資源，并將COMPATIBLE.RDBMS磁盤組屬性中將數(shù)據(jù)庫軟件版本設(shè)置為最低。這樣每個(gè)數(shù)據(jù)庫環(huán)境采用統(tǒng)一的標(biāo)準(zhǔn)配置，便于數(shù)據(jù)庫管理，而且平衡系統(tǒng)資源提高可用性和設(shè)備性能。在操作系統(tǒng)參數(shù)設(shè)置中，共享內(nèi)存段數(shù)（SHMMNI）設(shè)置為大于數(shù)據(jù)庫的數(shù)量，最大共享內(nèi)存段大小（SHMMAX）設(shè)置為物理內(nèi)存大小的85%，系統(tǒng)信號(hào)的最大總數(shù)（SEMMNS）設(shè)置為大于所有數(shù)據(jù)庫進(jìn)程的總和，信號(hào)集內(nèi)信號(hào)的最大數(shù)量（SEMMSL）設(shè)置為大于任何一個(gè)數(shù)據(jù)庫中的最大進(jìn)程數(shù)。3.3其它資源配置無論使用OLTP或是數(shù)據(jù)倉庫方式每臺(tái)服務(wù)器上所有數(shù)據(jù)庫占用內(nèi)存總和應(yīng)小于服務(wù)器物理內(nèi)存大小的75%，使用實(shí)例鎖定防止單個(gè)數(shù)據(jù)庫使用過多的CPU，并通過數(shù)據(jù)庫資源管理器控制每個(gè)數(shù)據(jù)庫中CPU的分配。配置好I/O資源及進(jìn)程管理，使用連接池管理應(yīng)用程序連接，通過連接速率限制器防止連接風(fēng)暴的產(chǎn)生。4Exadata數(shù)據(jù)庫性能優(yōu)化4.1閃存及索引的優(yōu)化每個(gè)OracleExadata均包含384GB的高性能閃存，其智能閃存的主要用途是默認(rèn)使用大多數(shù)可用的內(nèi)存，對頻繁訪問的數(shù)據(jù)進(jìn)行加速，采用自動(dòng)管理方式以實(shí)現(xiàn)效率最大化?；陂W存的永久存儲(chǔ)，由于價(jià)格較高所以需要有計(jì)劃有效率地使用，從而為特定的應(yīng)用程序提供額外的附加優(yōu)勢。OracleExadata自帶智能掃描功能，若其使用在可接受范圍之內(nèi)則可刪除不必要的索引，從而提高數(shù)據(jù)操縱語言命令（DataManipulationLanguage，簡稱DML）的性能，同時(shí)節(jié)省存儲(chǔ)所需空間。4.2調(diào)整ASM分配單元大小5結(jié)語OracleExadata的利用可以大幅提高數(shù)據(jù)庫的安全性、可用性及可伸縮性。通過智能掃描的方式將大量的查詢及數(shù)據(jù)挖掘工作分流到存儲(chǔ)服務(wù)器，提高了查詢性能，通過讀寫閃存數(shù)據(jù)加快了查詢響應(yīng)并提高吞吐量。實(shí)現(xiàn)了數(shù)據(jù)庫整合和性能的優(yōu)化，使大數(shù)據(jù)量的讀寫及查詢效率得到了質(zhì)的飛躍。參考文獻(xiàn)：[1]何林幫.在Unix與Oracle環(huán)境下ArcSDE的優(yōu)化[J].測繪科學(xué)，2012（3）.[2]李學(xué)強(qiáng)，羅省賢.基于ORACLE系統(tǒng)的數(shù)據(jù)庫性能優(yōu)化設(shè)計(jì)[J].北京印刷學(xué)院學(xué)報(bào)，2006（6）.[3]廉彥平.Oracle數(shù)據(jù)庫性能優(yōu)化策略[J].科技信息：學(xué)術(shù)研究，2008（29）.[4]唐小新，李家深.基于Oracle數(shù)據(jù)庫的圖書館管理系統(tǒng)性能優(yōu)化探索[J].企業(yè)科技與發(fā)展，2010（8）.[5].王雷，曾蘊(yùn)波，王璐.Oracle數(shù)據(jù)庫的性能調(diào)整與優(yōu)化方法探析[J].航天器工程，2