OceanStor F面向Oracle數(shù)據(jù)庫OLAP最佳實踐

1、華為 OceanStor F 面向 Oracle 數(shù)據(jù)庫OLAP 場景的最佳實踐此文檔針對華為 OceanStor F V5 存儲配套 Oracle 數(shù)據(jù)庫進行闡述。聚焦如何高效利用 OceanStor F V5 存儲進行 Oracle 數(shù)據(jù)庫業(yè)務部署，并針對企業(yè)用戶場景下的 Oracle 的在線聯(lián)機分析處理 OLAP 業(yè)務，進行了一系列的驗證，通過參考該最佳實踐，可以獲得更好的業(yè)務部署效率和業(yè)務運營質(zhì)量，有效保障Oracle 數(shù)據(jù)庫的性能和可用性。目錄 HYPERLINK l _bookmark0 概述4 HYPERLINK l _bookmark1 內(nèi)容簡介4 HYPERLINK l _b

2、ookmark2 寫作目的4 HYPERLINK l _bookmark3 面向讀者4 HYPERLINK l _bookmark4 用戶收益5 HYPERLINK l _bookmark5 關鍵組件5 HYPERLINK l _bookmark6 業(yè)務場景5 HYPERLINK l _bookmark7 負載模型5 HYPERLINK l _bookmark8 華為技術(shù)與產(chǎn)品7 HYPERLINK l _bookmark9 OceanStor F V5 產(chǎn)品介紹7 HYPERLINK l _bookmark10 OceanStor UltraPath 多路徑軟件8 HYPERLINK l _

3、bookmark11 Oracle 數(shù)據(jù)庫介紹9 HYPERLINK l _bookmark12 Oracle RAC and ASM9 HYPERLINK l _bookmark13 Oracle 體系架構(gòu)11 HYPERLINK l _bookmark14 OLAP 業(yè)務類型13 HYPERLINK l _bookmark15 Oracle 規(guī)劃配置最佳實踐14 HYPERLINK l _bookmark16 SAN 組網(wǎng)14 HYPERLINK l _bookmark17 劃分 Zone 或 vLAN16 HYPERLINK l _bookmark18 存儲配置16 HYPERLINK

4、l _bookmark19 硬盤域16 HYPERLINK l _bookmark20 存儲池17 HYPERLINK l _bookmark21 多租戶17 HYPERLINK l _bookmark22 LUN18 HYPERLINK l _bookmark23 映射視圖18 HYPERLINK l _bookmark24 主機配置19 HYPERLINK l _bookmark25 隊列深度19 HYPERLINK l _bookmark26 I/O 對齊19 HYPERLINK l _bookmark27 塊設備調(diào)度算法20 HYPERLINK l _bookmark28 多路徑設置2

5、0 HYPERLINK l _bookmark29 綁定盤符21 HYPERLINK l _bookmark30 配置 HugePage21 HYPERLINK l _bookmark31 數(shù)據(jù)庫配置22 HYPERLINK l _bookmark32 數(shù)據(jù)庫參數(shù)22 HYPERLINK l _bookmark33 在線日志23 HYPERLINK l _bookmark34 UNDO 表空間調(diào)整24 HYPERLINK l _bookmark35 臨時表空間調(diào)整24 HYPERLINK l _bookmark36 歸檔和備份24 HYPERLINK l _bookmark37 Oracle

6、規(guī)劃配置示例25 HYPERLINK l _bookmark38 方案架構(gòu)25 HYPERLINK l _bookmark39 組網(wǎng)圖25 HYPERLINK l _bookmark40 方案組件26 HYPERLINK l _bookmark41 數(shù)據(jù)庫規(guī)劃27 HYPERLINK l _bookmark42 存儲配置27 HYPERLINK l _bookmark43 主機配置28 HYPERLINK l _bookmark44 安裝配置操作系統(tǒng)28 HYPERLINK l _bookmark46 創(chuàng)建 ETL 區(qū)域文件系統(tǒng)30 HYPERLINK l _bookmark47 數(shù)據(jù)庫配置3

7、1 HYPERLINK l _bookmark48 Oracle 性能測試方案33 HYPERLINK l _bookmark49 測試策略33 HYPERLINK l _bookmark50 測試過程33 HYPERLINK l _bookmark51 加載測試數(shù)據(jù)33 HYPERLINK l _bookmark52 測試步驟34 HYPERLINK l _bookmark53 測試結(jié)論39 HYPERLINK l _bookmark54 7 總結(jié)40 HYPERLINK l _bookmark55 8 術(shù) 語表41 1 概 述內(nèi)容簡介隨著數(shù)據(jù)庫技術(shù)的廣泛使用，企業(yè)信息系統(tǒng)產(chǎn)生大量的數(shù)據(jù)，如

8、何快速從海量數(shù)據(jù)中提取出對企業(yè)決策有用的信息成為企業(yè)決策管理人員所面臨的重要難題之一，如何加速 OLAP 應用中復雜的查詢分析正是難題的關鍵所在。OceanStor F V5 系列存儲系統(tǒng)是華為技術(shù)有限公司（以下簡稱華為）根據(jù)存儲產(chǎn)品應用現(xiàn)狀和存儲技術(shù)未來發(fā)展趨勢，推出的新一代中高端全閃存存儲產(chǎn)品，能夠滿足大中 型企業(yè)用戶對海量數(shù)據(jù)存儲、高速數(shù)據(jù)存取、高可用性、高利用率、綠色環(huán)保和易于 使用的要求。本文檔針對 OceanStor F V5 配套 Oracle 數(shù)據(jù)庫進行闡述。聚焦如何高效利用 OceanStor F V5 存儲進行 Oracle 數(shù)據(jù)庫業(yè)務部署，并針對企業(yè)用戶場景下的 Orac

9、le 的在線聯(lián)機分析處理（OLAP）業(yè)務，進行了一系列的驗證。通過參考該最佳實踐，可以獲得更好的業(yè)務部署效率和業(yè)務運營質(zhì)量，有效保障 Oracle 數(shù)據(jù)庫的性能和可用性，提升數(shù)據(jù)庫查詢分析的性能，為企業(yè)的發(fā)展做出正確的決策。寫作目的本文檔的寫作目的在于描述 OceanStor F V5 存儲系統(tǒng)在 OLAP 類型的 Oracle 數(shù)據(jù)庫業(yè)務下的規(guī)劃和配置方案，旨在為華為合作伙伴和華為用戶提供參考，以期降低 IT 系統(tǒng)規(guī)劃部署的復雜度，并降低運維風險。面向讀者本文檔面向華為員工、合作伙伴與客戶，閱讀本文檔，需要熟悉如下技術(shù)：華為 OceanStor F V5 系列存儲華為 OceanStor U

10、ltraPath、DeviceManager 等軟件Linux 操作系統(tǒng)基礎知識Oracle 12c 數(shù)據(jù)庫架構(gòu)和原理用戶收益本方案的設計目的在于加快用戶事務數(shù)據(jù)庫方案的設計、驗證與交付流程，基于典型OLAP 業(yè)務模型，提供 OceanStor F V5 存儲配套 Oracle 12c 數(shù)據(jù)庫極致性能的證實解決方案，以典型配置與性能指標作為參考，降低安裝配置的復雜度，并期望用戶能夠使用該證實解決方案，獲取最高投資回報率。關鍵組件本文中描述的內(nèi)容基于以下硬件和軟件進行描述：華為 OceanStor V500R007C00 版本存儲系統(tǒng)華為 OceanStor UltraPath for Linu

11、x V100R008C50 多路徑軟件Red Hat Enterprise Linux 7.2 操作系統(tǒng)Oracle Database 數(shù)據(jù)庫軟件Oracle RAC 集群軟件TPCH 測試軟件業(yè)務場景數(shù)據(jù)庫業(yè)務通常分為兩類：聯(lián)機事務處理 OLTP（On-line Transaction Processing）和聯(lián)機分析處理 OLAP（On-line Analytical Processing）。其中，OLTP 是傳統(tǒng)的關系型數(shù)據(jù)庫的主要應用，主要是基本、日常的事務處理，如證券交易、銀行交易等；OLAP 是數(shù)據(jù)倉庫系統(tǒng)的主要應用，支持復雜的分析操作，側(cè)重決策支持，提供直觀易懂的查詢結(jié)果給決策人

12、員，以便準確掌握企業(yè)的經(jīng)營狀況，從而制定正確的方案，如數(shù)據(jù)倉庫系統(tǒng)。Oracle 數(shù)據(jù)庫為當前最常用的數(shù)據(jù)庫，也是存儲設備的最重要應用場景之一，將Oracle 數(shù)據(jù)庫 OLAP 應用部署在華為 OceanStor F V5 系列存儲系統(tǒng)上，可以保障業(yè)務的可靠性，有效提升數(shù)據(jù)庫查詢分析的性能，為企業(yè)的發(fā)展做出正確的決策。負載模型本文采用類 TPC-H 基準的分析處理業(yè)務測試模型，它由一系列面向商務應用的查詢和并行數(shù)據(jù)修改組成。TPC-H 是業(yè)界最著名的用來測試 OLAP 系統(tǒng)的測試基準，可以比較不同數(shù)據(jù)庫系統(tǒng)之間的查詢性能差別，測試結(jié)果已經(jīng)成為評價 DBMS 和服務器的重要標準。基準中選擇的查詢

13、方式在商業(yè)上都具有廣泛的代表性。本基準闡明了決策支持系統(tǒng)的三個方面：分析大量的數(shù)據(jù)執(zhí)行高復雜度的查詢回答關鍵的、經(jīng)常需要回答的商業(yè)問題測試模型中共定義了 8 張表，記錄項目、訂單、供應商、客戶等信息。執(zhí)行負載測試包括加載、分析和更新操作。加載階段使用 SQL*Loader 以外部表的方式加載一組文本文件到數(shù)據(jù)庫中，分析階段順序執(zhí)行 22 個復雜 SQL 查詢分析語句，更新階段從數(shù)據(jù)庫中刪除一組舊數(shù)據(jù)。從 I/O 層看，該業(yè)務模型為大 IO 多路順序訪問，讀寫比例為9:1，代表了一種典型 OLAP 應用業(yè)務模型。 2 華為技術(shù)與產(chǎn)品OceanStor F V5 產(chǎn)品介紹華為 OceanStor

14、F V5 全閃存存儲（下文簡稱 F V5 系列存儲）是面向企業(yè)級應用的新一代融合存儲產(chǎn)品。憑借面向云架構(gòu)的存儲操作系統(tǒng)、強勁的新一代硬件平臺和豐富的智能管理軟件，F(xiàn) V5 系列存儲在功能、性能、效率、可靠性和易用性上都達到業(yè)界領先水平，很好的滿足了大型數(shù)據(jù)庫 OLTP/OLAP、文件共享、云計算等各種應用下的數(shù)據(jù)存儲需求，廣泛適用于政府、金融、電信、能源、媒資等行業(yè)。同時，F(xiàn) V5 系列存儲能夠提供高效、靈活、豐富的備份、容災解決方案，有效保證用戶業(yè)務連續(xù)性和數(shù)據(jù)安全，為用戶提供卓越的存儲服務。圖2-1 華為 OceanStore V5 融合存儲更多詳細信息，請查看下面的鏈接： HYPERLI

15、NK /cn/products/cloud-computing-dc/storage/unified-storage/5300f-5500f-5600f-5800f-v5 OceanStor 5300F/5500F/5600F/5800F V5 全閃存存儲系統(tǒng) HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage/6800f-v5 OceanStor 6800F V5 高端全閃存存儲系統(tǒng) HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage

16、/18500f-18800f-v5 OceanStor 18500F/18800F V5 高端全閃存存儲系統(tǒng)OceanStor UltraPath 多路徑軟件UltraPath for Linux 軟件是基于 Linux 內(nèi)核開發(fā)的多路徑軟件。它安裝在應用服務器上，主要用于控制應用服務器對存儲設備的訪問，實現(xiàn)應用服務器到存儲設備之間的路徑選擇以及路徑管理。UltraPath 軟件能提高數(shù)據(jù)傳輸?shù)目煽啃?，保障應用服務器與存儲設備之間的路徑安全性，為客戶提供一個簡單、快捷、高效的路徑管理方案，確保應用服務器和存儲系統(tǒng)的服務性能得以充分發(fā)揮，保護用戶的投資。 3Oracle數(shù)據(jù)庫介紹Oracle 數(shù)

17、據(jù)庫是應用最為廣泛的關系型數(shù)據(jù)庫之一，自 1986 年發(fā)布版本 5 到現(xiàn)在，Oracle 一直引領關系型數(shù)據(jù)庫的潮流，Oracle 數(shù)據(jù)庫是與存儲系統(tǒng)關系最為密切的應用。本章節(jié)對 Oracle 12c 做簡要介紹，聚焦與多租戶相關的組件和特性：RAC（Real Application Cluster）、ASM（Automatic Storage Management）、多租戶、數(shù)據(jù)文件、實例架構(gòu)、業(yè)務類型。Oracle RAC and ASM如下圖所示，Oracle 12C RAC 包含若干個直接訪問存儲的服務器節(jié)點（稱為 HubNodes）和若干個通過 Hub Nodes 間接訪問存儲的服務

18、器節(jié)點（Leaf Nodes）。在 OracleRAC 上部署數(shù)據(jù)庫時，這些節(jié)點可以被分為多個 Server Pool，數(shù)據(jù)庫部署于某一個Server Pool 上，在 Server Pool 的每一個節(jié)點上均運行一個數(shù)據(jù)庫實例。應用服務器通過訪問節(jié)點的 VIP（Virtual IP）來存取數(shù)據(jù)，當某個節(jié)點故障時，Oracle RAC 在其他的節(jié)點上創(chuàng)建故障節(jié)點的 VIP 網(wǎng)絡，應用服務器通過重新連接機制重新訪問數(shù)據(jù)庫。在應用服務器上設置連接字符串，可以實現(xiàn)多種訪問 Oracle RAC 節(jié)點的模式，包括負載均衡模式與故障切換模式，這樣多節(jié)點的 Oracle 集群數(shù)據(jù)庫對于應用服務器來說， 就

19、像是訪問單一數(shù)據(jù)庫。Oracle RAC Hub Nodes 的共享存儲包含三部分：OCR（Oracle Cluster Registry）、VotingDisk、Database。其中 OCR 用于記錄節(jié)點狀態(tài)信息，Voting Disk 用于節(jié)點間同步，而Database 部分是由一系列的數(shù)據(jù)文件組成的。圖3-1 Orcale 12C Flex ClusterOracle ASM（Automatic Storage Management）是隨 Oracle 數(shù)據(jù)庫 10g/11g 推出的，給數(shù)據(jù)庫管理員提供了一個簡單的存儲管理界面用于跨平臺管理服務器和存儲。作為內(nèi)置的文件系統(tǒng)和卷管理器，為

20、 Oracle 數(shù)據(jù)庫文件所專用。ASM 簡化文件系統(tǒng)管理，提供異步 I/O 性能優(yōu)化，節(jié)省 DBA 的管理時間，提供彈性高效的數(shù)據(jù)庫環(huán)境。ASM 可以將多個 LUN（Logical Unit Number）組合為磁盤組，通過 AU（Allocation Unit）在 LUN 上分配存儲空間，ASM 磁盤組有三種類型：External：LUN 之間不進行數(shù)據(jù)鏡像，由存儲系統(tǒng)提供數(shù)據(jù)保護機制。Normal：由兩個失效組組成，兩個失效組之間進行數(shù)據(jù)鏡像。High：由三個失效組組成，三個失效組之間的數(shù)據(jù)互為鏡像。V5 存儲系統(tǒng)上創(chuàng)建 ASM 磁盤組時，建議首先將磁盤組內(nèi)的 LUN 平均分配到各引擎控

21、制器，再創(chuàng)建 External 或 Normal 格式的磁盤組。Oracle 12C 引入了一個全新的 Oracle ASM 部署模型 Oracle Flex ASM，通過它可提高數(shù)據(jù)庫實例的可用性并降低 Oracle ASM 相關資源的占用。Oracle Flex ASM 簡化了基于集群的數(shù)據(jù)庫整合，當特定服務器上的 Oracle Flex ASM 實例出現(xiàn)故障時，能夠確保運行在該服務器上的 Oracle Database 12c 實例繼續(xù)運行。圖3-2 Orcale 12C Flex ASMOracle RAC 主要有以下特點，這些特點對于高可用性數(shù)據(jù)管理來說極其重要：可靠性：Oracle

22、 數(shù)據(jù)庫以其可靠性而著稱。Oracle RAC 消除了數(shù)據(jù)庫服務器單點故障問題，從而使可靠性更上一層樓。如果一個實例發(fā)生故障，服務器池中的其余實例仍將保持正常運行狀態(tài)。Oracle Clusterware 監(jiān)視所有 Oracle 進程，并能立即重啟任何發(fā)生故障的組件。錯誤檢測：Oracle Clusterware 自動監(jiān)視 Oracle RAC 數(shù)據(jù)庫和其他 Oracle 進程（Oracle ASM、實例、監(jiān)聽器等），并快速診斷環(huán)境中的問題。它還經(jīng)常能在用戶察覺到故障之前自動完成故障恢復。恢復能力：Oracle 數(shù)據(jù)庫包含的許多特性有助于數(shù)據(jù)庫輕松地從各類故障中恢復。如果 Oracle RAC

23、 數(shù)據(jù)庫中的一個實例出現(xiàn)故障，服務器池中的另外一個實例將察覺到這一故障，隨后自動進行故障恢復。利用快速應用程序通知 (FAN)、快速連接故障切換 (FCF)，尤其是利用 Oracle RAC 12c 應用程序連續(xù)性特性，可輕松地掩藏任何組件故障，使用戶無法察覺。連續(xù)運行：Oracle RAC 可在計劃和意外中斷期間提供連續(xù)的服務。如果一個服務器（或?qū)嵗┏霈F(xiàn)故障，數(shù)據(jù)庫將保持運行，應用程序仍能繼續(xù)訪問數(shù)據(jù)，從而讓業(yè)務關鍵型負載得以完成運行，而且多數(shù)情況下服務交付無延遲。Oracle 體系架構(gòu)圖3-3 Oracle 系統(tǒng)架構(gòu)如上圖所示數(shù)據(jù)庫使用的內(nèi)存包含兩部分，SGA（System Global

24、 Area）和 PGA（Program Global Area），其中 SGA 用于存放系統(tǒng)信息和頁面緩存，而 PGA 用于存放會話信息。SGA 主要包含如下幾部分。Buffer Cache：用于緩存數(shù)據(jù)塊Redo Log Buffer：用于緩存日志記錄，是一個循環(huán)數(shù)組Share Pool：用于緩存數(shù)據(jù)字典、共享 SQL 信息等Oracle 的數(shù)據(jù)文件包含如下幾種類型。Control File：記錄數(shù)據(jù)庫的結(jié)構(gòu)、參數(shù)和其他數(shù)據(jù)文件的位置。Data File：存放用戶數(shù)據(jù)和臨時數(shù)據(jù)。Online Log：存放數(shù)據(jù)塊更改記錄，由若干個日志組組成，日志組內(nèi)的文件互為鏡像，某個日志組寫滿之后切換到下一

25、個日志組繼續(xù)寫入，最后一個日志組寫滿之后切換到第一個日志組。Archive Log：當數(shù)據(jù)庫處于歸檔模式時，數(shù)據(jù)庫將寫滿的日志組拷貝到歸檔區(qū)， 用于數(shù)據(jù)異常時恢復。Oracle 按照 LRU 算法對 Buffer Cache 中的舊數(shù)據(jù)進行淘汰，騰出空間供新的數(shù)據(jù)塊使用。Buffer Cache 中被更改過得數(shù)據(jù)塊稱為臟數(shù)據(jù)，DBW（DB Writer）進程負責將臟數(shù)據(jù)寫入數(shù)據(jù)文件。為保證數(shù)據(jù)完整性與可靠性，關系型數(shù)據(jù)庫使用事務來表示一次原子操作。在處理事務的過程中，Oracle Server 進程將被更改的數(shù)據(jù)和發(fā)生更改的時間記錄到 Log Buffer 中，當事務提交時，由 LGWR（Lo

26、g Writer）將 Log Buffer 中的日志記錄數(shù)據(jù)同步到在線日志文件中。Log Buffer 是一個可被循環(huán)寫入的內(nèi)存區(qū)域，當 Log Buffer 空間占用超過 1/3 時，不管事務是否提交，LGWR 都會把日志記錄同步到日志文件中。另外， Oracle 還會每 3 秒鐘自動進行一次日志同步。默認情況下，Oracle 數(shù)據(jù)庫每 30 分鐘執(zhí)行一次檢查點，檢查點發(fā)生時，CKPT（Checkpoint）進程將同步控制文件，并觸發(fā) DBW 將臟數(shù)據(jù)寫入數(shù)據(jù)文件。Oracle 的在線日志分為若干組，每個日志組包含一個或多個日志文件，如果有多個日志文件，則這些文件之間互為鏡像。Oracle

27、將日志順序?qū)懭肴罩窘M，當最后一個日志組寫滿時，將切回到第一個日志組寫入。發(fā)生日志組切換時，Oracle 將判斷下一個日志組中記錄的臟數(shù)據(jù)是否完全被寫入到數(shù)據(jù)文件，如果沒有，Oracle 將等待 DBW 將這些臟數(shù)據(jù)寫入到數(shù)據(jù)文件之后，才會進行日志組切換。Oracle 處于歸檔模式時，由 ARC（Archive）進程將寫滿的日志拷貝到歸檔區(qū)，數(shù)據(jù)異常時，歸檔日志用來進行精確的數(shù)據(jù)恢復。Oracle 12c 引入了多租戶架構(gòu)，可以在一個 CDB（Container Database）里面，運行多個PDB（Pluggable Database）。下圖顯示了一個擁有 4 個容器的 CDB：root，種

28、子 PDB 以及兩個 PDB（hrpdb 和 salespdb）。每個 PDB 擁有自己專有的應用，并且由它自己的 PDB 管理員進行管理。用戶 SYS 可以管理 root 和每個 PDB。在物理層，CDB 擁有一個數(shù)據(jù)庫實例和數(shù)據(jù)庫文件。多租戶特性為 Oracle 數(shù)據(jù)庫帶來了更好的可服務性。圖3-4 Oracle 多租戶架構(gòu)OLAP 業(yè)務類型數(shù)據(jù)庫業(yè)務大致上可以分為 OLTP（Online Transaction Processing）和 OLAP（Online Analytical Processing）兩種應用類型：OLTP：大量在線用戶進行事務操作，例如在線購物網(wǎng)站OLAP：很少量的

29、用戶在線執(zhí)行長時間復雜的統(tǒng)計查詢OLAP 應用的負載特征如下：從數(shù)據(jù)庫管理員角度看：無數(shù)據(jù)修改，或者只有非常少的數(shù)據(jù)修改系統(tǒng)調(diào)用非常復雜的查詢語句，同時掃描非常多的行一個查詢將花費數(shù)小時，甚至數(shù)天，主要取決于查詢語句的復雜程度數(shù)據(jù)老化可以小時或者天來衡量查詢的輸出通常是一個統(tǒng)計值，使用 group by 跟 order by 得出的從存儲采樣看：單個 I/O 很大，典型的值為 64KB1MB讀取操作為順序讀取當讀取操作進行時，發(fā)生的寫操作通常在臨時表空間內(nèi)平常對在線日志寫入很少，除非在批量加載數(shù)據(jù)時 4 Oracle 規(guī)劃配置最佳實踐本章介紹基于華為 OceanStor F V5 存儲系統(tǒng)，部

30、署 Oracle 12c RAC 數(shù)據(jù)庫的推薦規(guī)劃配置。包括組網(wǎng)、存儲規(guī)劃配置、主機設置、數(shù)據(jù)庫設置等。SAN 組網(wǎng)Oracle 數(shù)據(jù)庫往往承載著企業(yè)核心業(yè)務系統(tǒng)，為保證業(yè)務連續(xù)性，建議使用 OracleRAC 集群，組網(wǎng)應避免單點故障。如下圖所示，SAN（Storage Area Network）組網(wǎng)中，使用兩個物理上獨立的交換平面（每個交換平面包括一個交換機或多個相互級聯(lián)的交換機），每個數(shù)據(jù)庫節(jié)點與兩個交換平面相連，每個存儲控制器和兩個交換平面相連。圖4-1 Oracle RAC 組網(wǎng)示意圖理論上講，Oracle RAC 之所以能夠提高性能，是因為其提供了更多的系統(tǒng)資源如CPU、內(nèi)存等，這

31、些資源在 OLTP 系統(tǒng)下通常更容易成為瓶頸，而 OLAP 系統(tǒng)下 IO 吞吐成為瓶頸的可能性更大，但 RAC 架構(gòu)對 IO 系統(tǒng)來說并沒有太多的性能提升。因此，高性能的單節(jié)點數(shù)據(jù)庫模型也是很多 OLAP 系統(tǒng)的選擇。圖4-2 Oracle 單實例組網(wǎng)示意圖劃分 Zone 或 vLAN通過劃分 Zone 或 vLAN，可以實現(xiàn)如下目的：在企業(yè) IT 系統(tǒng)中，一臺高端存儲往往承載多個業(yè)務系統(tǒng)，通過劃分 Zone 或vLAN，可以避免各業(yè)務系統(tǒng)相互影響。主機路徑數(shù)過多，會增加系統(tǒng)管理的復雜度，也會增加運維過程中網(wǎng)絡變更的難度，通過劃分 Zone 或 vLAN，可以改善 IT 基礎架構(gòu)的靈活性。劃分

32、 Zone 或 vLAN 的總體策略是保證雙交換組網(wǎng)，即在每個交換平面上，每個數(shù)據(jù)庫節(jié)點與每個存儲控制器均有邏輯通道。建議按照下圖方式劃分，保證每個 Zone 或VLAN 僅為一個主機端口和一個存儲端口的對應。圖4-3 Zone 或 vLAN 的劃分NODE1.P0 代表主機節(jié)點 1 上的第一個 FC 端口，以此類推。CTE0.L0.P0 代表存儲第一個控制器第一張卡上的第一個端口，以此類推。存儲配置在使用 OceanStor F V5 存儲之前，建議首先分析清楚業(yè)務性能和容量需求，做好存儲系統(tǒng)的硬盤數(shù)規(guī)劃，降低運維風險。在引入 RAID2.0+技術(shù)之后，根據(jù)業(yè)務性能和容量需求評估硬盤數(shù)變得非

33、常困難，華為UniSTAR eDesigner 方案設計工具（ HYPERLINK /unistar/edesigner /unistar/edesigner）中，包含兩款針對存儲系統(tǒng)的評估工具，建議客戶使用這兩款工具為 Oracle 數(shù)據(jù)庫規(guī)劃硬盤數(shù)。產(chǎn)品能力評估：根據(jù)特定的存儲配置，評估存儲系統(tǒng)可提供的性能和容量存儲配置向?qū)В焊鶕?jù)特定的業(yè)務需求，評估存儲型號和硬盤配置硬盤域硬盤域（Disk Domain）即多個硬盤的組合，將硬盤整合并預留熱備容量后統(tǒng)一向存儲池提供存儲資源。存儲可以配置一個或多個硬盤域。一個硬盤域上可以創(chuàng)建多個存儲池（Storage Pool）。不同硬盤域之間是完全隔離的，

34、包括故障域、性能和存儲資源等。建議一個硬盤域的硬盤都在一個硬盤框內(nèi)。存儲池多租戶硬盤域的熱備容量比例與熱備策略和硬盤的類型和數(shù)量相關，該比例關系由存儲系統(tǒng)根據(jù)可靠性工程方法自動維護。若需要規(guī)劃存儲容量和性能，建議使用華為 UniSTAReDesigner 工具進行配置。熱備策略的選擇跟上層應用系統(tǒng)的類型有關。OLTP 業(yè)務類型，大量用戶在線處理業(yè)務，I/O 多為隨機小 I/O（4K/8K）,建議選擇高熱備策略。OLAP 業(yè)務類型，少量用戶在線執(zhí)行復雜的分析查詢，I/O 為多路順序大 I/O（上百 KB），寫比例低，建議選擇低熱備策略。OceanStor F V5 系列存儲系統(tǒng)的硬盤域可以包含多

35、達上千塊硬盤，但基于性能和可靠性考慮，建議硬盤域每存儲層的硬盤數(shù)不超過 100 個。存儲池（Storage Pool），是存放存儲空間資源的容器，創(chuàng)建于硬盤域內(nèi)，可以從硬盤域上動態(tài)分配資源，并定義每個存儲層級的“RAID 級別”。OceanStor F V5 系列存儲支持 RAID6、RAID10、RAID5、RAID3、RAID50、RAID1六種 RAID 級別，最常用的 RAID 級別為 RAID6、RAID10、RAID5。建議按如下策略為Oracle 數(shù)據(jù)庫配置 RAID 級別。核心數(shù)據(jù)庫業(yè)務等可靠性要求高的場景，建議選擇 RAID6。容量的重要性高于可靠性時，建議選擇 RAID5。

36、如果 Oracle OLAP 數(shù)據(jù)庫配置了“容量層”，強烈建議將容量層配置為 RAID6。對于 Oracle OLAP 數(shù)據(jù)庫，往往容量的重要性高于可靠性，建議配置 RAID 5 級別，提供更合理的容量和性能。創(chuàng)建存儲池時，允許設置容量分配比的告警閾值，默認是 80（百分比）。在使用 ThinLUN、快照、遠程復制、克隆等增值業(yè)務時，容量告警尤其重要，用戶可以根據(jù)業(yè)務數(shù)據(jù)量增長的速度設置合理的告警閾值，避免業(yè)務因為存儲池容量不足而造成服務中斷。分條是把連續(xù)的數(shù)據(jù)分割成相同大小的數(shù)據(jù)塊，把每段數(shù)據(jù)分別寫入到存儲設備中的不同磁盤上，實現(xiàn) I/O 在每塊磁盤上負載均衡，提高讀寫能力。對于 Oracl

37、e OLAP 業(yè)務，由于業(yè)務類型為大數(shù)據(jù)塊讀，寫數(shù)據(jù)發(fā)生的頻率和數(shù)據(jù)量較小，建議設置較大的分條深度，如 512KB。多租戶是存儲系統(tǒng)的一種特性。使用多租戶特性可以在一套物理存儲系統(tǒng)中創(chuàng)建多個虛擬存儲系統(tǒng)，讓多個租戶既能共享相同的存儲硬件資源，又不影響相互的數(shù)據(jù)安全性和隱私。借助該租戶特性，可以在多協(xié)議統(tǒng)一存儲架構(gòu)中實現(xiàn)更加靈活、更易于管理、部署成本更低的共享存儲。建議啟用多租戶特性，在 Oracle 租戶下創(chuàng)建 LUN。LUN為 Oracle 數(shù)據(jù)庫創(chuàng)建 LUN 時，為了能使存儲系統(tǒng)的性能達到最優(yōu)狀態(tài)，需要根據(jù)實際的數(shù)據(jù)存儲情況，為 LUN 選擇合適的 LUN 策略。主要參數(shù)的推薦配置策略如下

38、。歸屬控制器（owner_controller）：在數(shù)據(jù)庫負載較高時，建議將 LUN 平均分配到多個控制器上，以保證控制器的負載均衡。預取策略（prefetch_policy）：提供 4 種預取策略（不預取、固定預取、可變預 取、智能預?。?。對于 Oracle OLAP 數(shù)據(jù)庫場景，其負載特征為多路順序大 I/O， 建議并發(fā)量高時設置“不預取”，并發(fā)量低時設置“智能預取”。重刪壓縮（Deduplication and Compression）：使用 OceanStor F V5 存儲時可以開啟重刪和壓縮特性，通過刪除重復數(shù)據(jù)并對數(shù)據(jù)進行壓縮存儲，減少數(shù)據(jù)的實際占用空間和數(shù)據(jù)寫入次數(shù)。V5 默認

39、的重刪粒度為 8KB，Oracle 數(shù)據(jù)庫的每個 8KB 頁面都包含具有唯一字段的標頭，所以開啟重刪并不會減少數(shù)據(jù)的存儲空間。建議只開啟壓縮，關閉重刪。LUN 類型（lun_type）：提供“厚置備（Thick）”和“精簡置備（Thin）”兩種類型，建議用戶根據(jù)性能和容量的重要性進行權(quán)衡，如果性能更為關鍵（如核心生產(chǎn)系統(tǒng)），建議設置為“Thick”，如果容量更為關鍵（如測試開發(fā)系統(tǒng)），建議設置為“Thin”。LUN 的容量和個數(shù)：與最多僅包含十幾塊硬盤的傳統(tǒng) RAID 組不同，基于RAID2.0+機制的存儲池，LUN 會跨越硬盤域內(nèi)的所有硬盤，而硬盤域內(nèi)的硬盤數(shù)多達幾十甚至上百個。為了使硬盤的

40、性能充分發(fā)揮，建議按如下策略配置 LUN 的個數(shù)和容量。硬盤域內(nèi) LUN 的總數(shù)：建議不小于“硬盤數(shù)432”。（4 是單個硬盤的合理并發(fā)數(shù)，32 是 LUN 的默認最高隊列深度）。建議使用 8-16 個數(shù)據(jù) LUN（存儲Oracle 業(yè)務數(shù)據(jù)文件），4-8 個日志 LUN（存儲 Oracle 歸檔日志文件），可滿足最大 32TB 的容量的數(shù)據(jù)庫。對于更大容量的數(shù)據(jù)庫，請根據(jù)實際情況調(diào)整LUN 的數(shù)量。LUN 容量：滿足上面條件的前提下，使用盡量大的 LUN，以簡化管理開銷。但需要注意，LUN 的最大容量還需考慮操作系統(tǒng)和 Oracle 數(shù)據(jù)庫的限制，如Oracle 11g ASM 要求 LUN

41、 的容量小于 2TB。在 Oracle 12.1 及以上版本中，放寬了對 ASM 磁盤的限制，單盤最大可以達到 4PB。但是由于已知 Bug（6453944）的存在，導致實際上單盤大于 2T 時會報錯。建議單個 LUN 的容量小于 2TB。映射視圖映射視圖定義了 LUN、陣列端口、主機端口之間的邏輯映射。創(chuàng)建映射視圖，建議按如下策略。LUN 組是為了便于 LUN 資源管理而設計的一個對象。一般情況下，將同一種業(yè)務的 LUN 加入到一個 LUN 組內(nèi)，如 Oracle RAC 的各數(shù)據(jù)區(qū)域。主機組是一組需要共享存儲資源的“主機”，每個“主機”包含多個啟動器（主機端口）。建議為每一個服務器創(chuàng)建一個

42、“主機”，將該服務器的所有啟動器添加到該“主機”內(nèi)。端口組可以更精細化的控制存儲端口的分配。端口組不是必須的，但我們強烈建議您為 Oracle OLAP 業(yè)務分配端口組，以增加運維的靈活性，并降低業(yè)務之間的性能影響。為避免單點故障，一個端口組應至少包含來自于每個控制器的一個端口。主機配置隊列深度對于 Oracle 數(shù)據(jù)庫來說，I/O 隊列深度是影響性能的重要參數(shù)。操作系統(tǒng)層存在兩個參數(shù)影響到 I/O 隊列深度：塊設備隊列深度和 HBA 卡隊列深度。建議按照如下策略配置塊設備隊列深度和 HBA 卡隊列深度。對于 Linux 操作系統(tǒng)，塊設備最大隊列深度為 128，華為不建議修改參數(shù)。而HBA 卡

43、的隊列參數(shù)與卡類型和驅(qū)動程序相關，請參考 HBA 廠商給出的規(guī)格值， 如 Qlogic 8Gbps FC 雙口 HBA 卡，限制每個 LUN 的最大隊列深度為 32。華為不建議更改 HBA 卡最大隊列深度參數(shù)，而建議采用增加 LUN 個數(shù)的方式提高整體I/O 隊列深度。對于 AIX 操作系統(tǒng)，華為建議安裝 UltraPath 多路徑，而不建議使用系統(tǒng)多路徑或第三方多路徑。安裝了華為 UltraPath 多路徑，塊設備最大隊列深度被調(diào)整為 32， 華為不建議對該值進行修改。若不使用華為 UltraPath，系統(tǒng)默認塊設備最大隊列深度為 5，華為強烈建議將此值修改為 32 或更高。AIX 的 HB

44、A 卡最大隊列深度默認值為 200，可根據(jù)實際業(yè)務需求進行調(diào)整。對于 Windows 操作系統(tǒng)，單個 LUN 的最大 I/O 隊列深度同樣取決于 HBA 卡廠商給出的規(guī)格值，華為不建議修改。對于其他操作系統(tǒng)，請參考操作系統(tǒng)用戶手冊進行調(diào)整。I/O 對齊在 Linux 操作系統(tǒng)中使用 MBR 格式創(chuàng)建分區(qū)時，會將磁盤的最開始 63 個扇區(qū)預留給主引導記錄和分區(qū)表，第一個分區(qū)默認從第 64 扇區(qū)開始。這就造成了主機的數(shù)據(jù)塊（數(shù)據(jù)庫或文件系統(tǒng)）與存儲數(shù)據(jù)塊不對齊，造成 I/O 處理效率降低。在 Linux 系統(tǒng)中使用 MBR 格式創(chuàng)建分區(qū)時，建議進入 fdisk 命令的專家模式，設置首分區(qū)的開始位置

45、為 LUN 的第二個 Extent 的開始位置（Extent 大小默認是 4MB）。下面是一條快速命令，用于在/dev/sdb 上使用 MBR 格式創(chuàng)建 1 個分區(qū)，使用/dev/sdb 的全部空間，開始扇區(qū)設置為 8192，即 4MB。printf nnpn1nnnxnbn1n 8192nwn | fdisk /dev/sdb設置分區(qū)對齊的逐步操作命令如下：fdisk /dev/sdbn （創(chuàng)建新的分區(qū)）p （分區(qū)類型選擇主分區(qū)）1 （設置改分區(qū)為第 1 個分區(qū)）（直接回車，設置分區(qū)的開始位置為默認開始扇區(qū)，即 63）（直接回車，設置分區(qū)的結(jié)束位置為默認最后一個扇區(qū)）x （進入專家模式）b

46、（設置分區(qū)開始位置）1 （設置第 1 個分區(qū)）8192（開始位置設置為 8192 扇區(qū)，即 4MB） w （寫盤退出）在 Linux 系統(tǒng)中解決分區(qū)不對齊的另一種方法是采用 GPT 格式的分區(qū)。下面是一條快速命令，用于在/dev/sdb 上使用 GPT 格式創(chuàng)建 1 個分區(qū)，使用/dev/sdb 的全部空間， 開始扇區(qū)設置為 8192，即 4MB。parted -s - /dev/sdb mklabel gpt unit s mkpart primary 8192 -1 print塊設備調(diào)度算法Linux 2.6 內(nèi)核支持四種塊設備調(diào)度算法：noop，anticipatory，deadline

47、 和 cfq。OLTP/OLAP 應用中對 I/O 延遲要求較為苛刻，對于傳統(tǒng)硬盤，調(diào)度算法建議選擇deadline，對于 SSD，建議選擇 noop。在 RHEL6 以及之后的版本中，可以針對每塊磁盤制定 I/O Scheduler，修改完畢立刻生效，命令如下。#查詢當前調(diào)度算法rootnode1 doc# cat /sys/block/sdc/queue/scheduler noop deadline cfq#修改為 nooprootnode1 doc# echo noop /sys/block/sdc/queue/scheduler#查詢修改后rootnode1 doc# cat /sy

48、s/block/sdc/queue/scheduler noop deadline cfq使用以上命令修改 I/O 調(diào)度算法，只是臨時修改，系統(tǒng)重啟后修改就會失效。永久修改默認的 I/O 調(diào)度算法，使用以下命令，系統(tǒng)重啟后生效。rootora1 doc# grubby -default-kernel/boot/vmlinuz-3.10.0-327.el7.x86_64rootora1 doc# grubby -args=elevator=noop -update-kernel /boot/vmlinuz- 3.10.0-327.el7.x86_64rootora1 doc# grubby -i

49、nfo /boot/vmlinuz-3.10.0-327.el7.x86_64index=0kernel=/boot/vmlinuz-3.10.0-327.el7.x86_64args=ro rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet LANG=en_US.UTF-8 elevator=nooproot=/dev/mapper/rhel-root initrd=/boot/initramfs-3.10.0-327.el7.x86_64.imgtitle=Red Hat Enterprise Linux Server (3.10.0-32

50、7.el7.x86_64) 7.2 (Maipo)多路徑設置強烈建議用戶在使用華為 OceanStor F V5 系列存儲系統(tǒng)時，選擇華為 UltraPath 多路徑，而不要使用系統(tǒng)自帶多路徑或者第三方多路徑，這將帶來未知的可靠性和可用性風險。關于 UltraPath 多路徑的參數(shù)，華為經(jīng)過嚴格的驗證，給出了最為可靠的默認參數(shù)，一般情況不建議用戶進行更改。除非您有特殊的可靠性需求，請參考華為 UltraPath 多路徑手冊對參數(shù)實施更改，但華為建議更改后進行嚴格的性能和可靠性測試（包括但不限于本文檔配置示例章節(jié)展示的測試），保證系統(tǒng)能夠長期穩(wěn)定運行，并且能夠快速從故障中恢復。綁定盤符在 Lin

51、ux 環(huán)境下配置 Oracle 數(shù)據(jù)庫時，華為建議使用 UDEV 策略綁定設備編號UUID，以免后續(xù)維護過程中發(fā)生盤符改變造成數(shù)據(jù)庫無法啟動。查詢 LUN 的 UUID及配置 UDEV 策略文件的腳本如下。# /lib/udev/scsi_id -g -u -d /dev/sdb 350014ee0594e108e# vi /etc/udev/rules.d/99-huawei-devices.rulesKERNEL=sd*1, SUBSYSTEM=block,PROGRAM=/sbin/scsi_id -g -u -d /dev/$parent, RESULT=350014ee0594e10

52、8e, SYMLINK+=GRID01,OWNER=grid, GROUP=asmadmin, MODE=0660配置 HugePageHugePage 提供了一個使用更大尺寸頁面的方法，它會將 SGA lock（鎖定）到物理內(nèi)存，這樣就無需進行 SGA 的系統(tǒng)頁表查找。這對內(nèi)存分配較高的系統(tǒng)尤為重要，因為這樣能夠消除與此類配置相關的管理開銷。在 11gR1 和更高版本中，必須禁用 AMM 才能使用 HugePage。在所有的數(shù)據(jù)庫節(jié)點上都需要配置。大頁內(nèi)存參數(shù)生效后會立即分配并占用，請務必計算并配置正確，若配置過大，會導致系統(tǒng)內(nèi)存被全部占用，導致節(jié)點 OS 異常。配置 HugePage 詳細

53、操作步驟如下。步驟 1 檢查并確認當前環(huán)境中內(nèi)存的大頁尺寸是否為 2048 KB 即 2MB。rootnode1 # cat /proc/meminfo |grep Hugepagesize Hugepagesize:2048 kB步驟 2 計算 vm.nr_hugepages 的大小。vm.nr_hugepages 的大小為 sga_max_size + 2GB，sga_max_size 即分配給 SGA 的內(nèi)存容量大小，計算公式為：vm.nr_hugepages = (sga_max_size + 2) * 1024 / 內(nèi)存大頁尺寸步驟 3 在/etc/sysctl.conf 最下面增加

54、一行。rootnode1 # vi /etc/sysctl.conf vm.nr_hugepages= 102400步驟 4 保存之后執(zhí)行以下命令使參數(shù)生效，并確認配置是否生效。rootnode1 # sysctl -prootnode1 # sysctl -a |grep nr_hugepages vm.nr_hugepages = 102400vm.nr_hugepages_mempolicy = 102400結(jié)束Linux 2.6 內(nèi)核默認開啟 transparent hugepage，允許大頁做動態(tài)的分配，而不是系統(tǒng)啟動后就分配好，這導致了很多的問題，建議將其關閉。查看是否啟用了 tr

55、ansparent hugepagerootnode1 # cat /sys/kernel/mm/transparent_hugepage/enabled always madvise never以上輸出說明啟用了 transparent hugepage。Redhat 7 系統(tǒng)可以通過以下命令來關閉transparent hugepage，系統(tǒng)重啟后生效。rootnode1 # grubby -default-kernel/boot/vmlinuz-3.10.0-327.el7.x86_64rootnode1 # grubby -args=transparent_hugepage=never

56、 -update-kernel/boot/vmlinuz-3.10.0-327.el7.x86_64rootnode1 # grubby -info /boot/vmlinuz-3.10.0-327.el7.x86_64index=0kernel=/boot/vmlinuz-3.10.0-327.el7.x86_64args=ro crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet LANG=en_US.UTF-8 elevator=noop transparent_hugepage=never root=/d

57、ev/mapper/rhel-rootinitrd=/boot/initramfs-3.10.0-327.el7.x86_64.imgtitle=Red Hat Enterprise Linux Server (3.10.0-327.el7.x86_64) 7.2 (Maipo)數(shù)據(jù)庫配置數(shù)據(jù)庫參數(shù)數(shù)據(jù)庫塊大小Oracle 數(shù)據(jù)庫塊大小默認為 8KB，設置范圍為 2KB32KB，用戶可以根據(jù)應用需求進行更改。典型的 OLTP 應用中，數(shù)據(jù)庫塊大小通常選擇默認的 8KB，但對于 OLAP 應用來講，建議將數(shù)據(jù)庫塊大小設置成較大的數(shù)據(jù)塊，可以有效提升應用的性能。數(shù)據(jù)庫塊大小可以查看“db_bloc

58、k_size”參數(shù)，需要在創(chuàng)建數(shù)據(jù)庫時設置，數(shù)據(jù)庫創(chuàng)建后不可以再進行更改。內(nèi)存分配Oracle 數(shù)據(jù)庫應用中，在保證系統(tǒng)正常運行的前提下，應該盡可能發(fā)揮內(nèi)存的作用， 建議將 80%的物理主機內(nèi)存分配給 Oracle 數(shù)據(jù)庫使用。在 OLAP 應用中，由于存在大量的排序操作，當使用專用服務器（Dedicated server）連接時，排序操作發(fā)生在 PGA中，建議將分配給 Oracle 使用內(nèi)存的 50%分配給 PGA，甚至可以分配更多以提高系統(tǒng)性能。假設 MEM 為主機的物理內(nèi)存，將數(shù)據(jù)庫實例參數(shù)“memory_target”和“memory_max_target” 設為 0，將“sga_ma

59、x_size”和“sga_target”設為 50%*MEM，“pga_aggregate_target”設為50%*MEM。并行操作Oracle 數(shù)據(jù)庫 OLAP 應用中，存在大量的復雜查詢分析語句，可能出現(xiàn)大量的全表掃描操作，如果主機為多核 CPU，使用并行操作可以明顯提升查詢性能，但使用并行查詢后，會對主機的 CPU 資源有明顯消耗。值得注意的是，最大的并行查詢數(shù)量與表的并發(fā)數(shù)有關。假設主機 CPU 個數(shù)為 CPU_COUNT，每個 CPU 的核數(shù)為 PARALLEL_THREADS_PER_CPU,那么可以將 parallel_max_servers 設為 PARALLEL_THREA

60、DS_PER_CPU*CPU_COUNT*4*5，表示最大可執(zhí)行“parallel_max_servers”并行操作；“parallel_min_servers”設置為 0“parallel_max_servers”之間的某個值，表示隨數(shù)據(jù)庫實例啟動后運行的并行進程數(shù)。I/O 策略數(shù)據(jù)庫采用文件系統(tǒng)方式進行部署時，I/O 策略可以選擇同步 I/O、異步 I/O、直接 I/O和合并 I/O。為了獲取更好的 I/O 效率，建議同時啟用異步 I/O 和直接 I/O。在線日志數(shù)據(jù)庫參數(shù)“filesystemio_option”可以設置為 ASYNCH、DIRECTIO、SETALL 和 NONE。其中