OracleRAC實(shí)驗(yàn)

1、Oracle RAC實(shí)驗(yàn)?zāi)夸汷racle RAC實(shí)驗(yàn)1目錄1一、目標(biāo)2二、系統(tǒng)原理31.Oracle RAC和Oracle Clusterware32.Oracle RAC原理32.1. Cache Fusion和GRD32.2.RAC進(jìn)程33.Oracle Clusterware原理43.1.Oracle群集資源43.2.Clusterware服務(wù)進(jìn)程43.3.Clusterware日志體系54.更多介紹5三、安裝步驟51.操作環(huán)境說(shuō)明52.安裝前的準(zhǔn)備工作52.1 準(zhǔn)備安裝文件52.2 規(guī)劃網(wǎng)絡(luò)62.3 規(guī)劃存儲(chǔ)63.執(zhí)行安裝73.1.安裝和配置操作系統(tǒng)73.2 配置網(wǎng)絡(luò)環(huán)境93.3.配置

2、存儲(chǔ)環(huán)境123.4.安裝CRS153.5.安裝ASM數(shù)據(jù)庫(kù)183.6.安裝RAC數(shù)據(jù)庫(kù)243.7.測(cè)試安裝31四、運(yùn)行維護(hù)351.維護(hù)工具介紹351.1.dbca351.2.cluvfy361.3.vipca361.4.srvctl361.5.crsctl361.6.Enterprise Manager37ca371.8.oracleasm372.維護(hù)CRS382.1.CRS冗余維護(hù)382.2.配置CRS節(jié)點(diǎn)資源382.3.CRS資源恢復(fù)392.4.配置資源文件的權(quán)限屬性393.維護(hù)ASM404.RAC可擴(kuò)展性維護(hù)404.1.增加節(jié)點(diǎn)404.2.刪除節(jié)點(diǎn)435.備份、恢復(fù)和數(shù)據(jù)遷移44五、單機(jī)

3、模式向RAC遷移45六、知識(shí)點(diǎn)和專(zhuān)題擴(kuò)展45（一）知識(shí)點(diǎn)451.分布式數(shù)據(jù)庫(kù)452.Oracle負(fù)載管理453.DBMS_SCHEDULER和dbms_job的區(qū)別？464.oracle的網(wǎng)絡(luò)透明性(transparently)？465.Oracle 高可用性體系466. interface name 接口名稱(chēng)467.Voting disk和OCR478.RAC私有網(wǎng)絡(luò)問(wèn)題489.RAC的存儲(chǔ)配置疑問(wèn)4810.條帶化(striping)4811.IP地址的分類(lèi)4812.Oracle RAC安裝過(guò)程中的路徑設(shè)置4913.iSCSI4914.linux中的裸設(shè)備4915.多網(wǎng)卡綁定5016.虛擬I

4、P管理5017.TAF（Transparent Application Failover）5018.srvctl使用詳解58（二）專(zhuān)題擴(kuò)展591.性能測(cè)試和優(yōu)化59一、目標(biāo)1.理解RAC的概念，對(duì)RAC原理有系統(tǒng)認(rèn)識(shí)OK2.能夠熟練完成一個(gè)雙節(jié)點(diǎn)RAC的安裝OK3.能夠在原有RAC環(huán)境上添加和刪除節(jié)點(diǎn)OK4.能夠使用ASM，NFS存儲(chǔ)技術(shù)對(duì)RAC存儲(chǔ)進(jìn)行規(guī)劃和配置（包括卷管理和實(shí)現(xiàn)冗余）OK（由于普遍反應(yīng)OCFS不穩(wěn)定，不予實(shí)練驗(yàn)證）5.能夠管理負(fù)載均衡，并對(duì)負(fù)載均衡的優(yōu)化有初步認(rèn)識(shí)OK6.能夠完成RAC環(huán)境下的數(shù)據(jù)備份和恢復(fù)，以及高效數(shù)據(jù)遷移7.確保能夠解釋以上RAC學(xué)習(xí)和操作中的重點(diǎn)和疑點(diǎn)

5、二、系統(tǒng)原理1.Oracle RAC和Oracle ClusterwareOracle RAC數(shù)據(jù)庫(kù)是一個(gè)包含多個(gè)實(shí)例節(jié)點(diǎn)的，且每個(gè)實(shí)例節(jié)點(diǎn)共享同一存儲(chǔ)路徑、同一網(wǎng)絡(luò)環(huán)境的，具有高可用性的數(shù)據(jù)庫(kù)環(huán)境。Oracle RAC通過(guò)使用Oracle群集軟件來(lái)實(shí)現(xiàn)對(duì)多個(gè)服務(wù)器節(jié)點(diǎn)進(jìn)行綁定和管理，Oracle Clusterware在RAC環(huán)境中主要用于協(xié)調(diào)硬件資源并為上層的RAC數(shù)據(jù)庫(kù)提供基礎(chǔ)服務(wù)，打個(gè)比方說(shuō)，群集軟件在群集環(huán)境中的作用就如同OS Kernel在單機(jī)環(huán)境中的作用。Oracle Clusterware是一款獨(dú)立的產(chǎn)品，要部署RAC，首先要部署Clusterware，這樣，在安裝Databa

6、se的時(shí)候OUI會(huì)自動(dòng)檢測(cè)到Clusterware的存在，進(jìn)而自動(dòng)識(shí)別RAC節(jié)點(diǎn)，并由OUI統(tǒng)一控制各節(jié)點(diǎn)的安裝進(jìn)程和相關(guān)配置操作，也就是說(shuō)，只需在一個(gè)節(jié)點(diǎn)上執(zhí)行OUI，便可完成所有節(jié)點(diǎn)的安裝。2.Oracle RAC原理2.1. Cache Fusion和GRDRAC的本質(zhì)是一個(gè)數(shù)據(jù)庫(kù)，但區(qū)別于單實(shí)例數(shù)據(jù)庫(kù)，RAC運(yùn)行在多臺(tái)計(jì)算機(jī)上，所以需要解決分布計(jì)算的問(wèn)題，Oracle RAC通過(guò)Cache Fusion（緩存融合）機(jī)制來(lái)解決分布式并發(fā)計(jì)算的問(wèn)題。Cache Fusion機(jī)制包括兩個(gè)部分，GRD（Global Resource Directory）和一組RAC進(jìn)程。在RAC環(huán)境中，每個(gè)節(jié)

7、點(diǎn)實(shí)例的SGA中都會(huì)新開(kāi)辟一個(gè)內(nèi)存空間GRD（Global Resource Directory），來(lái)記錄每一個(gè)數(shù)據(jù)塊在群集間的分布圖，但是每個(gè)實(shí)例只貯存了部分的GRD，所有實(shí)例的GRD匯總在一起才是一個(gè)完整的GRD，Oracle RAC提供了一些RAC后臺(tái)進(jìn)程來(lái)管理和操作GRD中的數(shù)據(jù)。2.2.RAC進(jìn)程O(píng)racle RAC主要通過(guò)下面的進(jìn)程來(lái)管理和操作GRD中的數(shù)據(jù)（1）LMS（Global Cache Service Process）：是Cache Fusion的主要進(jìn)程，負(fù)責(zé)數(shù)據(jù)塊在實(shí)例間的傳遞，該進(jìn)程的數(shù)量通過(guò)參數(shù)gcs_server_processes來(lái)控制，取值范圍是0-9。（2

8、）LMD（Global Enqueue Service Daemon）：負(fù)責(zé)在多個(gè)實(shí)例之間協(xié)調(diào)對(duì)數(shù)據(jù)塊的訪問(wèn)順序，保證數(shù)據(jù)的一致性訪問(wèn)，它與GCS、GRD共同構(gòu)成RAC最核心的功能Cache Fusion。（3）LMON（Global Enqueue Service Monitor）：各實(shí)例間的LMON進(jìn)程會(huì)定期通信，以確認(rèn)集群各節(jié)點(diǎn)的健康狀態(tài)，負(fù)責(zé)集群的重構(gòu)和GRD恢復(fù)等操作。主要通過(guò)兩種方法來(lái)檢查節(jié)點(diǎn)狀態(tài)：一是發(fā)送網(wǎng)絡(luò)包定時(shí)ping其他節(jié)點(diǎn)，二是檢查控制文件中各節(jié)點(diǎn)的操作時(shí)間戳。（4）LCK0（Instance Enqueue Process）：負(fù)責(zé)Non-Cache Fusion資源的同

9、步訪問(wèn)，每個(gè)實(shí)例有一個(gè)LCK進(jìn)程。注：由于這些進(jìn)程是從9i 之前的OPS（RAC 前身）延續(xù)下來(lái)的，所以在10g中與進(jìn)程對(duì)應(yīng)的服務(wù)名差異很大，比如LMS進(jìn)程提供的是GCS 服務(wù)。3.Oracle Clusterware原理Oracle群集件是一個(gè)安裝在運(yùn)行著相同操作系統(tǒng)（可否組建異構(gòu)群集？）的不同物理服務(wù)器上的軟件。通過(guò)Oracle群集件，可以對(duì)多臺(tái)服務(wù)器進(jìn)行綁定，從而使得對(duì)于終端用戶或應(yīng)用程序而言，就好像一臺(tái)服務(wù)器一樣。3.1.Oracle群集資源Oracle群集件依據(jù)以下信息來(lái)實(shí)現(xiàn)群集功能：（1）表決磁盤(pán)用于記錄各節(jié)點(diǎn)成員的信息，如包含哪些節(jié)點(diǎn)成員、節(jié)點(diǎn)的添加刪除信息記錄（2）OCR（群集

10、注冊(cè)表）用于記錄群集的配置信息，如database、ASM、instance、listener、VIP等CRS資源的配置信息，可存儲(chǔ)于裸設(shè)備或者群集文件系統(tǒng)上3.2.Clusterware服務(wù)進(jìn)程O(píng)racle群集件主要通過(guò)以下幾個(gè)服務(wù)進(jìn)程來(lái)完成群集功能Clusterware組件名稱(chēng)Linux/Unix進(jìn)程Windows服務(wù)Windows進(jìn)程Cluster SynchronizationServicesinit.cssd (r),ocssd (r),ocssd.binOracleCSServiceocssd.exeCluster Readycrsd.bin (r)OracleCRSService

11、crsd.exeEvent Managerevmd (r),evmd.bin,evmloggerOracleEVMServiceevmlogger.exe,evmd.exeOracle NotificationService (ONS)onsons.exeRACGracgmain, racgimonracgmain.exe,racgimon.exeProcess Monitor Daemonoprocd(r)OraFenceService（1）CSS（群集同步服務(wù)）當(dāng)某一節(jié)點(diǎn)被添加到群集中，或群集中某一節(jié)點(diǎn)脫離群集時(shí)，CSS負(fù)責(zé)實(shí)時(shí)地收集群集節(jié)點(diǎn)的變更信息，并記錄到表決磁盤(pán)。（2）CRS（群集

12、就緒服務(wù)）是實(shí)現(xiàn)高可用性的核心進(jìn)程，當(dāng)群集中某一節(jié)點(diǎn)宕機(jī)時(shí)，CRS依據(jù)表決磁盤(pán)中的節(jié)點(diǎn)狀態(tài)信息，以及OCR中的節(jié)點(diǎn)配置信息（包括數(shù)據(jù)庫(kù)、實(shí)例、服務(wù)、監(jiān)聽(tīng)、虛擬IP等配置信息），來(lái)對(duì)故障節(jié)點(diǎn)執(zhí)行失效切換（failover），重啟和監(jiān)視等操作，Oracle默認(rèn)對(duì)失效節(jié)點(diǎn)最多執(zhí)行5次重啟操作。（3）EVM（事件管理器）用于展示CRS進(jìn)程在服務(wù)期間產(chǎn)生的各種事務(wù)記錄（4）ONS（Oracle消息服務(wù)）提供了通過(guò)TCP/IP協(xié)議實(shí)現(xiàn)的對(duì)于CRS事件的訂閱和發(fā)布服務(wù)，提供了C和JAVA的API。典型的功能就是應(yīng)用程序通過(guò)API選擇訂閱FAN類(lèi)型的事件，當(dāng)應(yīng)用程序收到來(lái)自O(shè)NS的FAN事件消息，便執(zhí)行相應(yīng)的

13、事件處理行為。一個(gè)ONS監(jiān)聽(tīng)進(jìn)程需要被在每個(gè)訂閱了ONC的host上被start。這包括RAC環(huán)境中的每個(gè)node。Fast Application notification（FAN）是這樣一種特性：它過(guò)濾并發(fā)布那些被認(rèn)為是意義重大的特殊目標(biāo)的高可用性事件。（5）RACG：當(dāng)RAC發(fā)生了FAN事件導(dǎo)致系統(tǒng)故障時(shí)，RACG為群集數(shù)據(jù)庫(kù)環(huán)境提供了自動(dòng)的故障處理方法，主要通過(guò)調(diào)用$ORACLE_BASE/product/10.1.0/crs/racg/usrco中的腳本文件來(lái)針對(duì)事件消息進(jìn)行Service的啟動(dòng)、停止和故障轉(zhuǎn)移。（6）OPROCD（進(jìn)程監(jiān)視程序）用于監(jiān)視各節(jié)點(diǎn)的CPU狀態(tài)，默認(rèn)情況下

14、如果CPU調(diào)度時(shí)間超過(guò)15秒，OPROCD就會(huì)認(rèn)為系統(tǒng)出現(xiàn)故障，并重啟該節(jié)點(diǎn)。在linux中通過(guò)hangcheck-timer模塊來(lái)監(jiān)視節(jié)點(diǎn)狀態(tài)，在windows平臺(tái)上，通過(guò)OraFenceService進(jìn)程監(jiān)視。如果CRSD和EVMD出現(xiàn)異常，系統(tǒng)會(huì)自動(dòng)重啟這兩個(gè)進(jìn)程，如果CSSD進(jìn)程異常，系統(tǒng)會(huì)立即重啟。3.3.Clusterware日志體系由于DBA干預(yù)Clusterware的手段有限，除了數(shù)據(jù)庫(kù)的trace日志文件，Oracle群集件還提供了以下日志文件，供DBA進(jìn)行故障排查和修復(fù)。（1）alert.log一般作為檢查的起點(diǎn)（2）crsd、cssd、evmd三個(gè)目錄分別對(duì)應(yīng)著三個(gè)進(jìn)程日

15、志crsd.log、ocssd.log、evmd.log（3）racg：放置和節(jié)點(diǎn)資源相關(guān)的日志，包括ONS日志和VIP日志等，而數(shù)據(jù)庫(kù)相關(guān)的資源日志主要位于ORACLE_HOME（4）client：存放客戶端工具執(zhí)行日志，如ocrcheck、ocrconfig、ocrdump、oifcfg、clscfg等4.更多介紹關(guān)于RAC更多原理介紹，可以參考： RAC環(huán)境中連接的高可用三、安裝步驟1.操作環(huán)境說(shuō)明（1）虛擬機(jī)版本：VMware Workstation 7.1.3（2）客戶機(jī)操作系統(tǒng)版本：CentOS release 4.8 (Final) 32位（3）數(shù)據(jù)庫(kù)版本：Oracle Clus

16、terWare 10gR2 for linux32位，Oracle Database 10gR2 for linux32位2.安裝前的準(zhǔn)備工作2.1 準(zhǔn)備安裝文件（1）VMware_workstation_7.1.3_Full_CR_CN.7z（2）CentOS-4.8-i386-bin1of4.iso，CentOS-4.8-i386-bin2of4.iso，CentOS-4.8-i386-bin3of4.iso，CentOS-4.8-i386-bin4of4.iso（3）hangcheck-0.8.0.tar.gz一般內(nèi)核版本2.4以上Linux系統(tǒng)都會(huì)自帶該模塊，但是默認(rèn)不加載到內(nèi)核，需要

17、使用insmod命令加載hangcheck_timer模塊；若Linux系統(tǒng)未提供該模塊，需要手工編譯hangcheck_timer模塊。（4）cvuqdisk-1.0.9-1.rpm在RedHat和SUSE Linux中，若未安裝cvuqdisk，則Oracl CVU工具無(wú)法發(fā)現(xiàn)共享磁盤(pán)，并返回“Package cvuqdisk not installed”的錯(cuò)誤。該安裝包在“10201_clusterware_linux32.zip”中提供（5）10201_clusterware_linux32.zipOracle Clusterware 10gR2安裝包（6）10201_database

18、_linux32.zipOracle Database 10gR2安裝包2.2 規(guī)劃網(wǎng)絡(luò)在Oracle RAC環(huán)境中需要配置三類(lèi)IP地址：（1）專(zhuān)有網(wǎng)絡(luò)IP：用于各節(jié)點(diǎn)實(shí)例間的通信（2）虛擬IP：用于實(shí)現(xiàn)故障節(jié)點(diǎn)切換，客戶端連接到數(shù)據(jù)庫(kù)的時(shí)候，應(yīng)該連接虛擬IP，而不是公共網(wǎng)絡(luò)IP（3）公共網(wǎng)絡(luò)IP：用于客戶端與節(jié)點(diǎn)之間的通信對(duì)于三類(lèi)IP的規(guī)劃，需要遵循以下規(guī)則：（1）公共網(wǎng)絡(luò)和虛擬IP必須在同一網(wǎng)段，所以每一個(gè)節(jié)點(diǎn)至少需要兩個(gè)外網(wǎng)IP（2）專(zhuān)有網(wǎng)絡(luò)IP和公共網(wǎng)絡(luò)必須在不同的網(wǎng)段，以保證群集各節(jié)點(diǎn)實(shí)例間的高效通信（2）公共網(wǎng)絡(luò)和虛擬IP需要在DNS（或本地hosts文件）注冊(cè)IP地址和主機(jī)名，在

19、安裝期間，虛擬IP與公共IP綁定（3）私有網(wǎng)絡(luò)不需要在DNS注冊(cè)IP地址和主機(jī)名，只需在hosts文件中添加主機(jī)名和IP地址即可（4）所有節(jié)點(diǎn)的公共網(wǎng)絡(luò)和私有網(wǎng)絡(luò)的網(wǎng)卡設(shè)備名和設(shè)備訪問(wèn)優(yōu)先順序必須一致針對(duì)本文中的安裝需求，規(guī)劃如下：主機(jī)名類(lèi)型IP 地址 網(wǎng)卡接口注冊(cè)位置node1公共01eth0DNS或主機(jī)文件node2公共02eth0DNS或主機(jī)文件node1_vip虛擬1DNS或主機(jī)文件node2_vip虛擬2DNS或主機(jī)文件node1_prv專(zhuān)用01eth1主機(jī)

20、文件node2_prv專(zhuān)用02eth1主機(jī)文件注：在10g以及11gR1的時(shí)代，安裝RAC的步驟是先安裝CRS，再安裝DB，而到了11gR2的時(shí)代，crs與asm被集成在一起，合稱(chēng)為GRID，必須先安裝GRID后，才能繼續(xù)安裝DB從ORACLE 11.2開(kāi)始，對(duì)網(wǎng)絡(luò)IP地址有特殊要求，增加SCAN IP，所以從11.2開(kāi)始至少需要4種IP地址。2.3 規(guī)劃存儲(chǔ)Oracle RAC各部件對(duì)不同存儲(chǔ)方式的支持情況如下：OCR和Voting DiskOracle軟件數(shù)據(jù)文件ASMNoNoYesOCFSYesNoYesOCFS2YesYesYesOS本地磁盤(pán)NoYesNoNFS

21、（基于NAS）YesYesYes裸設(shè)備YesNoYes存儲(chǔ)規(guī)劃如下：文件類(lèi)型存儲(chǔ)位置文件系統(tǒng)空間需求路徑規(guī)劃CRS軟件本地磁盤(pán)/dev/sda1ext3512M/oracle/product/10.2.0/crs/crs表決磁盤(pán)共享磁盤(pán)/dev/sdb1ext3+NFS50M/oracle/ocr/voting_diskOCR資源文件共享磁盤(pán)/dev/sdb1ext3+NFS150M/oracle/ocr/ocr數(shù)據(jù)庫(kù)軟件本地磁盤(pán)/dev/sda1ext32048M/oracle/product/10.2.0/db/ASM數(shù)據(jù)庫(kù)本地磁盤(pán)/dev/sda1ext32048M/oracle/pro

22、duct/10.2.0/db/數(shù)據(jù)文件共享磁盤(pán)/dev/sdc1ASM4096M由ASM進(jìn)行管理，用戶只能創(chuàng)建別名，無(wú)法直接操作數(shù)據(jù)文件說(shuō)明：（1）NFS共享存儲(chǔ)的配置操作比較簡(jiǎn)單，而且可以支持靈活的冗余方案，比如可以在NFS中創(chuàng)建多個(gè)備份來(lái)實(shí)現(xiàn)冗余，或者把冗余隔離在更底層的專(zhuān)用硬件存儲(chǔ)方案上。故對(duì)于輕量級(jí)的表決磁盤(pán)和OCR資源文件均使用NFS實(shí)現(xiàn)共享存儲(chǔ)。（2）ASM與CRS的結(jié)合比較緊密，對(duì)于RAC數(shù)據(jù)庫(kù)的性能維護(hù)提供了豐富的手段途徑，故對(duì)于數(shù)據(jù)文件使用ASM共享存儲(chǔ)。（3）本文中，CRS和ASM全部使用外部冗余，故沒(méi)有添加副本磁盤(pán)和指定副本存儲(chǔ)路徑，冗余相關(guān)介紹參考“四、運(yùn)行維護(hù)/2.維

23、護(hù)CRS”和“四、運(yùn)行維護(hù)/3.維護(hù)ASM”，以及“六、知識(shí)點(diǎn)和專(zhuān)題擴(kuò)展/（一）知識(shí)點(diǎn)”中的相關(guān)知識(shí)點(diǎn)。3.執(zhí)行安裝3.1.安裝和配置操作系統(tǒng)3.1.1.安裝操作系統(tǒng)在所有虛擬機(jī)節(jié)點(diǎn)安裝CentOS-4.8-i386。安裝過(guò)程需注意：需要安裝圖形話桌面，否則無(wú)法執(zhí)行OUI；選擇安裝開(kāi)發(fā)工具下的所有組件，避免安裝RAC期間缺少編譯和運(yùn)行環(huán)境組件；在VM中安裝完畢操作系統(tǒng)之后，需要安裝vmware-tools，這樣在宿主機(jī)和虛擬機(jī)之間操作切換更方便。關(guān)于此安裝過(guò)程，不在“一、目標(biāo)”之內(nèi)，這里不予詳述。3.1.2.創(chuàng)建oracle用戶uid=500(oracle) gid=500(oinstall)

24、 groups=500(oinstall),501(dba)3.1.3.配置操作系統(tǒng)內(nèi)核參數(shù)sed 's/32/100/' /proc/sys/kernel/sem>/proc/sys/kernel/semecho "1073741824"> /proc/sys/kernel/shmmaxsed 's/32768/1024/' /proc/sys/net/ipv4/ip_local_port_range>/proc/sys/net/ipv4/ip_local_port_rangesed 's/61000/65000/

25、' /proc/sys/net/ipv4/ip_local_port_range>/proc/sys/net/ipv4/ip_local_port_rangeecho "524288">/proc/sys/net/core/rmem_defaultecho "524288">/proc/sys/net/core/rmem_maxecho "524288">/proc/sys/net/core/wmem_defaultecho "524288">/proc/sys/net/cor

26、e/wmem_maxecho "kernel.shmall = 2097152" >> /etc/sysctl.confecho "kernel.shmmax = 1073741824" >> /etc/sysctl.confecho "kernel.shmmni = 4096" >> /etc/sysctl.confecho "kernel.sem = 250 32000 100 128" >> /etc/sysctl.confecho "fs.file-

27、max = 65536" >> /etc/sysctl.confecho "net.ipv4.ip_local_port_range = 1024 65000" >> /etc/sysctl.confecho "net.core.rmem_default=262144" >> /etc/sysctl.confecho "net.core.wmem_default=262144" >> /etc/sysctl.confecho "net.core.rmem_max=26

28、2144" >> /etc/sysctl.confecho "net.core.wmem_max=262144" >> /etc/sysctl.confecho "oracle soft nofile 4096" >> /etc/security/limits.confecho "oracle hard nofile 63536" >> /etc/security/limits.confecho "oracle soft nproc 2047" >&g

29、t; /etc/security/limits.confecho "oracle hard nproc 16384" >> /etc/security/limits.conf3.1.4.配置hangcheck-timer模塊執(zhí)行l(wèi)smod命令，查看當(dāng)前內(nèi)核是否加載hangcheck-timer模塊，若沒(méi)有，則執(zhí)行下面的命令，將hangcheck-timer模塊加載到內(nèi)核：insmod /lib/modules/2.6.9-89.ELsmp/kernel/drivers/char/hangcheck-timer.ko hangcheck_tick=1 hangch

30、eck_margin=10其中“2.6.9-89.ELsmp”是當(dāng)前所使用的內(nèi)核版本，“hangcheck_tick=1”表示每隔1秒探測(cè)一次系統(tǒng)狀態(tài)，“hangcheck_margin=10”表示若10秒內(nèi)探測(cè)沒(méi)有反饋，則返回探測(cè)失敗的消息。在命令行手工執(zhí)行上面的命令，會(huì)在重啟后失效，需要執(zhí)行下面的命令，使得在系統(tǒng)啟動(dòng)的時(shí)候自動(dòng)加載hangcheck-timer模塊echo " insmod /lib/modules/2.6.9-89.ELsmp/kernel/drivers/char/hangcheck-timer.ko hangcheck_tick=1 hangcheck_ma

31、rgin=10">> /etc/rc.d/ rc.sysinit3.1.4.安裝libaio需要安裝libaio-0.3.105-2.i386.rpm和libaio-devel-0.3.105-2.i386.rpm，否則在執(zhí)行數(shù)據(jù)庫(kù)預(yù)安裝檢測(cè)的時(shí)候會(huì)產(chǎn)生warning3.1.5.配置環(huán)境變量此處是在完成RAC所有安裝操作之后，對(duì)安裝過(guò)程中涉及到的所有環(huán)境變量配置的收集。為了對(duì)下文的安裝過(guò)程有一個(gè)大概的預(yù)判，特將環(huán)境變量配置描述提前至此。（1）root用戶環(huán)境變量export PATH=$PATH:/etc/init.d #ASM共享磁盤(pán)配置命令（oracleasm）和CR

32、S重啟命令（init.crs），需要root權(quán)限export PATH=$PATH:/oracle/product/10.2.0/crs/bin #CRS的VIP配置命令（vipca）需要root權(quán)限（2）oracle用戶環(huán)境變量export ORACLE_BASE=/oracle/product/10.2.0export CRS_HOME=$ORACLE_BASE/crs #CRS軟件安裝路徑export PATH=$PATH:$CRS_HOME/bin #CRS運(yùn)行管理命令export ORACLE_HOME=$ORACLE_BASE/db_1 #ASM和RAC數(shù)據(jù)庫(kù)軟件安裝路徑expor

33、t PATH=$PATH:$ORACLE_HOME/bin #ASM和數(shù)據(jù)庫(kù)運(yùn)行管理命令備注：本文使用VM虛擬機(jī)部署RAC環(huán)境，為了保持安裝過(guò)程的邏輯順序，本節(jié)所介紹僅限于對(duì)于操作系統(tǒng)環(huán)境的安裝和配置，其他各環(huán)節(jié)在后續(xù)章節(jié)依次描述。但實(shí)際上，可以在首次安裝虛擬機(jī)的過(guò)程中一并完成以下安裝和配置步驟：操作系統(tǒng)安裝操作系統(tǒng)內(nèi)核參數(shù)配置oracle用戶和群組創(chuàng)建hangcheck-timer模塊安裝libaio安裝IP地址和/etc/hosts配置ASMLib模塊安裝ASM共享磁盤(pán)掛載和初始化NFS共享存儲(chǔ)配置cvuqdisk安裝然后再克隆該虛擬機(jī)，并按照預(yù)先做好的網(wǎng)絡(luò)和存儲(chǔ)規(guī)劃，對(duì)各節(jié)點(diǎn)進(jìn)行差異配置

34、，這樣安裝效率會(huì)更高。 3.2 配置網(wǎng)絡(luò)環(huán)境3.2.1設(shè)置Windows2003域名服務(wù)器（目前在所有節(jié)點(diǎn)的/etc/hosts中添加本地域名解析，這樣實(shí)現(xiàn)比較簡(jiǎn)單一點(diǎn)，對(duì)于使用單獨(dú)域名服務(wù)器的方案，有待做性能方面的考察）3.2.2 配置主機(jī)名和IP地址備注：本文所部署RAC無(wú)需投入實(shí)際應(yīng)用，所以為了避免占用公共網(wǎng)絡(luò)資源，將網(wǎng)關(guān)設(shè)置為私有網(wǎng)絡(luò)網(wǎng)關(guān)，不設(shè)置DNS，這樣就實(shí)現(xiàn)了RAC環(huán)境與公共網(wǎng)絡(luò)環(huán)境間的獨(dú)立。3.2.3 添加本地域名解析3.2.4 建立信任關(guān)系（1）以oracle用戶登錄各節(jié)點(diǎn)，并訪問(wèn)公共域名、私有域名以及l(fā)ocalhost，輸入“yes”后，會(huì)在該節(jié)點(diǎn)的本地$HOME/.ssh

35、/known_hosts中生成指紋記錄，對(duì)于雙節(jié)點(diǎn)環(huán)境，將會(huì)生成5條記錄，例如：（2）注冊(cè)公共秘鑰。先在oracle用戶下使用下面命令生成秘鑰，生成的秘鑰保存在$HOME/.ssh文件夾中ssh-keygen -t rsassh-keygen -t dsa再將所有節(jié)點(diǎn)的.pub匯總起來(lái)，通過(guò)sftp保存到每一個(gè)節(jié)點(diǎn)的$HOME/.ssh/authorized_keys文件中，對(duì)于雙節(jié)點(diǎn)環(huán)境，將會(huì)生成4條記錄，例如：注：若未在所有節(jié)點(diǎn)添加本地域名解析，或未對(duì)所有節(jié)點(diǎn)建立信任關(guān)系，則在安裝CRS軟件的時(shí)候，會(huì)在Specify Cluster Configuration界面報(bào)錯(cuò)：the specif

36、ied nodes are not clusterable。3.3.配置存儲(chǔ)環(huán)境3.3.1 配置NFS共享存儲(chǔ)NFS共享存儲(chǔ)用于存放voting disk表決磁盤(pán)文件和OCR群集注冊(cè)表文件。使用NFS方式實(shí)現(xiàn)共享，只需要將虛擬磁盤(pán)掛載到一個(gè)存儲(chǔ)節(jié)點(diǎn)即可，隨后將該節(jié)點(diǎn)配置成NFS服務(wù)器，其他各RAC節(jié)點(diǎn)通過(guò)Mount NFS服務(wù)器上的共享文件夾便可以實(shí)現(xiàn)共享存儲(chǔ)的任務(wù)。以下操作均使用root用戶執(zhí)行。（1）在存儲(chǔ)節(jié)點(diǎn)添加新磁盤(pán)并格式化D:VMsShare Storage>vmware-vdiskmanager.exe -c -s 200Mb -a lsilogic -t 2 CRSdisk

37、.vmdk備注：若執(zhí)行彈出報(bào)錯(cuò)failed to load library libeay32.dll，需要在VMWARE安裝目錄下執(zhí)行上面的命令，然后在把生成的磁盤(pán)文件拷貝到虛擬機(jī)文件夾中。編輯CentOS_4.8_1，將CRSdisk.vmdk添加到CentOS_4.8_1本地磁盤(pán)執(zhí)行下面命令對(duì)磁盤(pán)分區(qū)fdisk /dev/sdb1使用n命令創(chuàng)建分區(qū)，使用w命令保存分區(qū)表，使用p命令打印分區(qū)表分區(qū)完畢之后，執(zhí)行下面命令格式化文件系統(tǒng)mkfs -t ext3 -c /dev/sdb1（2）掛載共享磁盤(pán)到存儲(chǔ)節(jié)點(diǎn)文件系統(tǒng)創(chuàng)建掛載點(diǎn)：mkdir /oracle1mkdir /oracle1/ocr

38、更改所有者權(quán)限：chown oracle:oinstall /oracle1chown oracle:oinstall /oracle1/ocr手動(dòng)掛載：mount /dev/sdb1 /oracle1/ocr設(shè)置開(kāi)機(jī)自動(dòng)掛載：echo "/dev/sdb1 /oracle1/ocr ext3 defaults 0 0">>/etc/fstab（3）配置存儲(chǔ)節(jié)點(diǎn)的NFS服務(wù)，將新磁盤(pán)共享給私有網(wǎng)絡(luò)內(nèi)的其他節(jié)點(diǎn)添加共享許可echo "/oracle1/ocr 01(rw,sync,no_root_squash) ">

39、;/etc/exportsecho "/oracle1/ocr 02(rw,sync,no_root_squash) ">>/etc/exports手動(dòng)開(kāi)啟nfs服務(wù)service nfs start開(kāi)機(jī)自動(dòng)開(kāi)啟nfs服務(wù)chkconfig -level 3 nfs onchkconfig -level 5 nfs on（4）在各群集節(jié)點(diǎn)掛載nfs共享磁盤(pán)空間創(chuàng)建掛載點(diǎn)mkdir /oraclemkdir /oracle/ocr更改所有者權(quán)限：chown oracle:oinstall /oraclechown oracle:oinsta

40、ll /oracle/ocr手動(dòng)掛載mount 01:/oracle1/ocr oracle/ocr開(kāi)機(jī)自動(dòng)掛載NFSecho "01:/oracle1/ocr /oracle/ocr nfs rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,noac,vers=3,timeo=600 0 0">>/etc/fstab注：本文將node1兼做NFS服務(wù)器和RAC實(shí)例節(jié)點(diǎn)，將OCR共享磁盤(pán)掛載到本地文件系統(tǒng)ext3，然后其余節(jié)點(diǎn)通過(guò)NFS從node1掛載網(wǎng)絡(luò)存儲(chǔ)，上面的路徑“

41、/oracle1”便是本地文件系統(tǒng)掛載路徑，“/oracle”是NFS掛載路徑。但在正式環(huán)境中，NFS服務(wù)器必須單獨(dú)部署，否則node1重啟，其余節(jié)點(diǎn)將無(wú)法訪問(wèn)CRS和表決磁盤(pán)，也會(huì)立即重啟。3.3.2 配置ASM存儲(chǔ)ASM存儲(chǔ)用于存放RAC數(shù)據(jù)庫(kù)的數(shù)據(jù)文件。配置ASM存儲(chǔ)需要在安裝ASM數(shù)據(jù)庫(kù)之前執(zhí)行，否則安裝進(jìn)程無(wú)法自動(dòng)獲取到ASM存儲(chǔ)的路徑，也無(wú)法自動(dòng)向OCR中注冊(cè)ASM資源。以下操作均以root用戶執(zhí)行（1）創(chuàng)建虛擬機(jī)共享磁盤(pán)，這里需要使用Vmware自帶的vmware-vdiskmanager.exe工具，執(zhí)行如下命令：D:VMsShare Storage>vmware-vdi

42、skmanager.exe -c -s 5G -a lsilogic -t 2 OraDatadisk.vmdk（2）將新創(chuàng)建的OraDatadisk.vmdk同時(shí)掛到各虛擬機(jī)上，為了讓共享磁盤(pán)能同時(shí)被多個(gè)節(jié)點(diǎn)同時(shí)訪問(wèn)，需要將OraDatadisk.vmdk分配到與操作系統(tǒng)盤(pán)不同的磁盤(pán)總線上，比如系統(tǒng)盤(pán)使用“SCSI0”，則共享盤(pán)使用“SCSI1”，并設(shè)置寫(xiě)模式如下：添加完共享磁盤(pán)之后，還需要在各節(jié)點(diǎn)的.vmx文件中添加如下配置項(xiàng)：disk.locking = "FALSE"diskLib.dataCacheMaxSize = "0"scsi1.pciS

43、lotNumber = "36"scsi1:0.deviceType = "disk"（3）安裝oracleasm配置包，在各節(jié)點(diǎn)依次安裝：oracleasm-support-2.1.7-1.el4.i386.rpmoracleasm-2.6.9-89.ELsmp-2.0.5-1.el4.i686.rpmoracleasmlib-2.0.4-1.el4.i386.rpm（4）加載ASMLib模塊（在所有節(jié)點(diǎn)上執(zhí)行）cd /etc/init.d/./oracleasm configureDefault user to own the driver inte

44、rface :oracleDefault group to own the driver interface :dbaStart Oracle ASM library driver on boot (y/n) n:yFix permissions of Oracle ASM disks on boot (y/n) y:y./oracleasm status #檢查ASM模塊加載狀態(tài)（5）配置ASM磁盤(pán)（在主節(jié)點(diǎn)上執(zhí)行）./oracleasm createdisk ASM1 /dev/sdc1 注：在執(zhí)行createdisk之前，需要確認(rèn)/dev/sdc1沒(méi)有被mount，否則創(chuàng)建ASM磁盤(pán)會(huì)失

45、?。?）檢驗(yàn)ASM配置./oracleasm scandisks./oracleasm listdisks./oracleasm querydisk /dev/sdc1在任一節(jié)點(diǎn)執(zhí)行oracleasm deletedisk或oracleasm createdisk，并在其他各節(jié)點(diǎn)執(zhí)行oracleasm scandisks和oracleasm listdisks，檢驗(yàn)各節(jié)點(diǎn)的ASM共享存儲(chǔ)配置是否同步。（7）其他常用命令啟用和禁用開(kāi)機(jī)自動(dòng)啟動(dòng)ASM：./oracleasm disable./oracleasm enable啟停ASM模塊進(jìn)程./oracleasm start./oracleasm

46、 stop從ASM中移除磁盤(pán)：./oracleasm deletedisk ASM13.4.安裝CRS3.4.1.安裝cvuqdisk以root用戶執(zhí)行rpm -qi cvuqdisk查看系統(tǒng)當(dāng)前是否已經(jīng)安裝cvuqdisk若未安裝，則以root用戶執(zhí)行下面命令安裝cvuqdiskrpm -iv cvuqdisk-1.0.9-1.rpm3.4.2.安裝CRS軟件執(zhí)行安裝程序，指定安裝目錄oraclenode1 clusterware$ ./runInstaller選擇安裝節(jié)點(diǎn)點(diǎn)擊next開(kāi)始安裝。安裝進(jìn)程完畢后需要以root用戶在各節(jié)點(diǎn)執(zhí)行下面腳本。其中：orainstRoot.sh用于創(chuàng)建O

47、racle軟件安裝清單的指向文件/etc/oraInst.loc；root.sh用于完成VIP配置、表決磁盤(pán)和OCR磁盤(pán)初始化，以及啟動(dòng)CRS服務(wù)。最后CRS安裝程序會(huì)執(zhí)行CVU對(duì)安裝進(jìn)行驗(yàn)證，如果出現(xiàn)下面的報(bào)錯(cuò)提示：則以root用戶手動(dòng)執(zhí)行$CRS_HOME/bin/vipca對(duì)虛擬IP進(jìn)行注冊(cè)綁定，如下所示：注：VIP配置完畢后會(huì)自動(dòng)綁定VIP和重啟VIP資源，若報(bào)錯(cuò)無(wú)法啟動(dòng)節(jié)點(diǎn)VIP資源，檢查公共IP網(wǎng)段的網(wǎng)關(guān)設(shè)置是否正確。3.4.3.驗(yàn)證安裝狀態(tài)（1）查看CRS資源狀態(tài)oraclenode1 $ crs_stat -tName Type Target State Host-ora.no

48、de1.gsd application ONLINE ONLINE node1ora.node1.ons application ONLINE ONLINE node1ora.node1.vip application ONLINE ONLINE node2ora.node2.gsd application ONLINE ONLINE node2ora.node2.ons application ONLINE ONLINE node2ora.node2.vip application ONLINE ONLINE node1（2）驗(yàn)證HA在任一節(jié)點(diǎn)殺掉任一CRS資源進(jìn)程，若當(dāng)前節(jié)點(diǎn)立即重啟，表示

49、HA狀態(tài)正常oraclenode1 $ ps -ealf|grep "/oracle/product/10.2.0/crs/bin/ocssd.bin"0 S oracle 8633 8601 0 70 -5 - 42698 - 15:12 ? 00:00:00 /oracle/product/10.2.0/crs/bin/ocssd.bin0 R oracle 16298 14423 0 77 0 - 1008 - 15:17 pts/1 00:00:00 grep /oracle/product/10.2.0/crs/bin/ocssd.binoraclenode1 $

50、 kill -9 86333.5.安裝ASM數(shù)據(jù)庫(kù)在Oracle RAC中，若要使用ASM存儲(chǔ)，就必須安裝ASM數(shù)據(jù)庫(kù)，區(qū)別于業(yè)務(wù)數(shù)據(jù)庫(kù)，ASM數(shù)據(jù)庫(kù)管理的對(duì)象是ASM存儲(chǔ)配置信息。3.5.1.執(zhí)行安裝執(zhí)行下面的命令，開(kāi)始安裝ASM數(shù)據(jù)庫(kù)oraclenode1 database$ ./runInstaller選擇安裝產(chǎn)品類(lèi)型：指定安裝路徑：選擇安裝ASM數(shù)據(jù)庫(kù)：設(shè)置ASM管理員密碼：指定ASM磁盤(pán)：開(kāi)始安裝：安裝進(jìn)程完畢后，以root用戶在各節(jié)點(diǎn)執(zhí)行腳本：3.5.2配置listener和tnsnames（1）配置各節(jié)點(diǎn)listener.ora，在SID_LIST_LISTENER塊中添加（在n

51、ode2上用“+ASM2”） (SID_DESC = (SID_NAME = +ASM1) (ORACLE_HOME = /oracle/product/10.2.0/db_1) (GLOBAL_DBNAME = +ASM) )（2）使用srvctl命令重啟監(jiān)聽(tīng)服務(wù)srvctl stop listener -n node1srvctl stop listener -n node2srvctl start listener -n node1srvctl start listener -n node2注：若重啟監(jiān)聽(tīng)后無(wú)法開(kāi)啟雙實(shí)例監(jiān)聽(tīng)，檢查是否在各節(jié)點(diǎn)間使用vip域名相互登錄，更新本地$HOME/

52、.ssh/known_hosts列表（3）配置客戶端tnsnames.ora默認(rèn)安裝情況下，在各節(jié)點(diǎn)無(wú)法通過(guò)SQLPLUS連接到ASM實(shí)例，需要在各節(jié)點(diǎn)配置tnsname.ora，如下LISTENERS_ASM = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = node1-vip)(PORT = 1521) (ADDRESS = (PROTOCOL = TCP)(HOST = node2-vip)(PORT = 1521) )ASM1 = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST =

53、node1-vip)(PORT = 1521) (CONNECT_DATA = (UR = A) (SERVER = DEDICATED) (SERVICE_NAME = +ASM) (INSTANCE_NAME = +ASM1) ) )ASM2 = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = node2-vip)(PORT = 1521) (CONNECT_DATA = (UR = A) (SERVER = DEDICATED) (SERVICE_NAME = +ASM) (INSTANCE_NAME = +ASM2) ) )ASM = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = node1-vip)(PORT = 1521) (ADDRESS = (PROTOCOL = TCP)(HOST = node2-vip)(PORT = 1521) (LOAD_BALANCE = yes) (CONNECT_DATA = (UR=A) (SERVER = DEDICATED) (SERVICE_NAME = +ASM) (FAILOVER_MODE = (TYPE =