OracleRAC實驗

1、Oracle RAC實驗?zāi)夸汷racle RAC實驗1目錄1一、目標(biāo)2二、系統(tǒng)原理31.Oracle RAC和Oracle Clusterware32.Oracle RAC原理32.1. Cache Fusion和GRD32.2.RAC進程33.Oracle Clusterware原理43.1.Oracle群集資源43.2.Clusterware服務(wù)進程43.3.Clusterware日志體系54.更多介紹5三、安裝步驟51.操作環(huán)境說明52.安裝前的準備工作52.1 準備安裝文件52.2 規(guī)劃網(wǎng)絡(luò)62.3 規(guī)劃存儲63.執(zhí)行安裝73.1.安裝和配置操作系統(tǒng)73.2 配置網(wǎng)絡(luò)環(huán)境93.3.配置

2、存儲環(huán)境123.4.安裝CRS153.5.安裝ASM數(shù)據(jù)庫183.6.安裝RAC數(shù)據(jù)庫243.7.測試安裝31四、運行維護351.維護工具介紹351.1.dbca351.2.cluvfy361.3.vipca361.4.srvctl361.5.crsctl361.6.Enterprise Manager37ca371.8.oracleasm372.維護CRS382.1.CRS冗余維護382.2.配置CRS節(jié)點資源382.3.CRS資源恢復(fù)392.4.配置資源文件的權(quán)限屬性393.維護ASM404.RAC可擴展性維護404.1.增加節(jié)點404.2.刪除節(jié)點435.備份、恢復(fù)和數(shù)據(jù)遷移44五、單機

3、模式向RAC遷移45六、知識點和專題擴展45（一）知識點451.分布式數(shù)據(jù)庫452.Oracle負載管理453.DBMS_SCHEDULER和dbms_job的區(qū)別？464.oracle的網(wǎng)絡(luò)透明性(transparently)？465.Oracle 高可用性體系466. interface name 接口名稱467.Voting disk和OCR478.RAC私有網(wǎng)絡(luò)問題489.RAC的存儲配置疑問4810.條帶化(striping)4811.IP地址的分類4812.Oracle RAC安裝過程中的路徑設(shè)置4913.iSCSI4914.linux中的裸設(shè)備4915.多網(wǎng)卡綁定5016.虛擬I

4、P管理5017.TAF（Transparent Application Failover）5018.srvctl使用詳解58（二）專題擴展591.性能測試和優(yōu)化59一、目標(biāo)1.理解RAC的概念，對RAC原理有系統(tǒng)認識OK2.能夠熟練完成一個雙節(jié)點RAC的安裝OK3.能夠在原有RAC環(huán)境上添加和刪除節(jié)點OK4.能夠使用ASM，NFS存儲技術(shù)對RAC存儲進行規(guī)劃和配置（包括卷管理和實現(xiàn)冗余）OK（由于普遍反應(yīng)OCFS不穩(wěn)定，不予實練驗證）5.能夠管理負載均衡，并對負載均衡的優(yōu)化有初步認識OK6.能夠完成RAC環(huán)境下的數(shù)據(jù)備份和恢復(fù)，以及高效數(shù)據(jù)遷移7.確保能夠解釋以上RAC學(xué)習(xí)和操作中的重點和疑點

5、二、系統(tǒng)原理1.Oracle RAC和Oracle ClusterwareOracle RAC數(shù)據(jù)庫是一個包含多個實例節(jié)點的，且每個實例節(jié)點共享同一存儲路徑、同一網(wǎng)絡(luò)環(huán)境的，具有高可用性的數(shù)據(jù)庫環(huán)境。Oracle RAC通過使用Oracle群集軟件來實現(xiàn)對多個服務(wù)器節(jié)點進行綁定和管理，Oracle Clusterware在RAC環(huán)境中主要用于協(xié)調(diào)硬件資源并為上層的RAC數(shù)據(jù)庫提供基礎(chǔ)服務(wù)，打個比方說，群集軟件在群集環(huán)境中的作用就如同OS Kernel在單機環(huán)境中的作用。Oracle Clusterware是一款獨立的產(chǎn)品，要部署RAC，首先要部署Clusterware，這樣，在安裝Databa

6、se的時候OUI會自動檢測到Clusterware的存在，進而自動識別RAC節(jié)點，并由OUI統(tǒng)一控制各節(jié)點的安裝進程和相關(guān)配置操作，也就是說，只需在一個節(jié)點上執(zhí)行OUI，便可完成所有節(jié)點的安裝。2.Oracle RAC原理2.1. Cache Fusion和GRDRAC的本質(zhì)是一個數(shù)據(jù)庫，但區(qū)別于單實例數(shù)據(jù)庫，RAC運行在多臺計算機上，所以需要解決分布計算的問題，Oracle RAC通過Cache Fusion（緩存融合）機制來解決分布式并發(fā)計算的問題。Cache Fusion機制包括兩個部分，GRD（Global Resource Directory）和一組RAC進程。在RAC環(huán)境中，每個節(jié)

7、點實例的SGA中都會新開辟一個內(nèi)存空間GRD（Global Resource Directory），來記錄每一個數(shù)據(jù)塊在群集間的分布圖，但是每個實例只貯存了部分的GRD，所有實例的GRD匯總在一起才是一個完整的GRD，Oracle RAC提供了一些RAC后臺進程來管理和操作GRD中的數(shù)據(jù)。2.2.RAC進程Oracle RAC主要通過下面的進程來管理和操作GRD中的數(shù)據(jù)（1）LMS（Global Cache Service Process）：是Cache Fusion的主要進程，負責(zé)數(shù)據(jù)塊在實例間的傳遞，該進程的數(shù)量通過參數(shù)gcs_server_processes來控制，取值范圍是0-9。（2

8、）LMD（Global Enqueue Service Daemon）：負責(zé)在多個實例之間協(xié)調(diào)對數(shù)據(jù)塊的訪問順序，保證數(shù)據(jù)的一致性訪問，它與GCS、GRD共同構(gòu)成RAC最核心的功能Cache Fusion。（3）LMON（Global Enqueue Service Monitor）：各實例間的LMON進程會定期通信，以確認集群各節(jié)點的健康狀態(tài)，負責(zé)集群的重構(gòu)和GRD恢復(fù)等操作。主要通過兩種方法來檢查節(jié)點狀態(tài)：一是發(fā)送網(wǎng)絡(luò)包定時ping其他節(jié)點，二是檢查控制文件中各節(jié)點的操作時間戳。（4）LCK0（Instance Enqueue Process）：負責(zé)Non-Cache Fusion資源的同

9、步訪問，每個實例有一個LCK進程。注：由于這些進程是從9i 之前的OPS（RAC 前身）延續(xù)下來的，所以在10g中與進程對應(yīng)的服務(wù)名差異很大，比如LMS進程提供的是GCS 服務(wù)。3.Oracle Clusterware原理Oracle群集件是一個安裝在運行著相同操作系統(tǒng)（可否組建異構(gòu)群集？）的不同物理服務(wù)器上的軟件。通過Oracle群集件，可以對多臺服務(wù)器進行綁定，從而使得對于終端用戶或應(yīng)用程序而言，就好像一臺服務(wù)器一樣。3.1.Oracle群集資源Oracle群集件依據(jù)以下信息來實現(xiàn)群集功能：（1）表決磁盤用于記錄各節(jié)點成員的信息，如包含哪些節(jié)點成員、節(jié)點的添加刪除信息記錄（2）OCR（群集

10、注冊表）用于記錄群集的配置信息，如database、ASM、instance、listener、VIP等CRS資源的配置信息，可存儲于裸設(shè)備或者群集文件系統(tǒng)上3.2.Clusterware服務(wù)進程Oracle群集件主要通過以下幾個服務(wù)進程來完成群集功能Clusterware組件名稱Linux/Unix進程Windows服務(wù)Windows進程Cluster SynchronizationServicesinit.cssd (r),ocssd (r),ocssd.binOracleCSServiceocssd.exeCluster Readycrsd.bin (r)OracleCRSService

11、crsd.exeEvent Managerevmd (r),evmd.bin,evmloggerOracleEVMServiceevmlogger.exe,evmd.exeOracle NotificationService (ONS)onsons.exeRACGracgmain, racgimonracgmain.exe,racgimon.exeProcess Monitor Daemonoprocd(r)OraFenceService（1）CSS（群集同步服務(wù)）當(dāng)某一節(jié)點被添加到群集中，或群集中某一節(jié)點脫離群集時，CSS負責(zé)實時地收集群集節(jié)點的變更信息，并記錄到表決磁盤。（2）CRS（群集

12、就緒服務(wù)）是實現(xiàn)高可用性的核心進程，當(dāng)群集中某一節(jié)點宕機時，CRS依據(jù)表決磁盤中的節(jié)點狀態(tài)信息，以及OCR中的節(jié)點配置信息（包括數(shù)據(jù)庫、實例、服務(wù)、監(jiān)聽、虛擬IP等配置信息），來對故障節(jié)點執(zhí)行失效切換（failover），重啟和監(jiān)視等操作，Oracle默認對失效節(jié)點最多執(zhí)行5次重啟操作。（3）EVM（事件管理器）用于展示CRS進程在服務(wù)期間產(chǎn)生的各種事務(wù)記錄（4）ONS（Oracle消息服務(wù)）提供了通過TCP/IP協(xié)議實現(xiàn)的對于CRS事件的訂閱和發(fā)布服務(wù)，提供了C和JAVA的API。典型的功能就是應(yīng)用程序通過API選擇訂閱FAN類型的事件，當(dāng)應(yīng)用程序收到來自O(shè)NS的FAN事件消息，便執(zhí)行相應(yīng)的

13、事件處理行為。一個ONS監(jiān)聽進程需要被在每個訂閱了ONC的host上被start。這包括RAC環(huán)境中的每個node。Fast Application notification（FAN）是這樣一種特性：它過濾并發(fā)布那些被認為是意義重大的特殊目標(biāo)的高可用性事件。（5）RACG：當(dāng)RAC發(fā)生了FAN事件導(dǎo)致系統(tǒng)故障時，RACG為群集數(shù)據(jù)庫環(huán)境提供了自動的故障處理方法，主要通過調(diào)用$ORACLE_BASE/product/10.1.0/crs/racg/usrco中的腳本文件來針對事件消息進行Service的啟動、停止和故障轉(zhuǎn)移。（6）OPROCD（進程監(jiān)視程序）用于監(jiān)視各節(jié)點的CPU狀態(tài)，默認情況下

14、如果CPU調(diào)度時間超過15秒，OPROCD就會認為系統(tǒng)出現(xiàn)故障，并重啟該節(jié)點。在linux中通過hangcheck-timer模塊來監(jiān)視節(jié)點狀態(tài)，在windows平臺上，通過OraFenceService進程監(jiān)視。如果CRSD和EVMD出現(xiàn)異常，系統(tǒng)會自動重啟這兩個進程，如果CSSD進程異常，系統(tǒng)會立即重啟。3.3.Clusterware日志體系由于DBA干預(yù)Clusterware的手段有限，除了數(shù)據(jù)庫的trace日志文件，Oracle群集件還提供了以下日志文件，供DBA進行故障排查和修復(fù)。（1）alert.log一般作為檢查的起點（2）crsd、cssd、evmd三個目錄分別對應(yīng)著三個進程日

15、志crsd.log、ocssd.log、evmd.log（3）racg：放置和節(jié)點資源相關(guān)的日志，包括ONS日志和VIP日志等，而數(shù)據(jù)庫相關(guān)的資源日志主要位于ORACLE_HOME（4）client：存放客戶端工具執(zhí)行日志，如ocrcheck、ocrconfig、ocrdump、oifcfg、clscfg等4.更多介紹關(guān)于RAC更多原理介紹，可以參考： RAC環(huán)境中連接的高可用三、安裝步驟1.操作環(huán)境說明（1）虛擬機版本：VMware Workstation 7.1.3（2）客戶機操作系統(tǒng)版本：CentOS release 4.8 (Final) 32位（3）數(shù)據(jù)庫版本：Oracle Clus

16、terWare 10gR2 for linux32位，Oracle Database 10gR2 for linux32位2.安裝前的準備工作2.1 準備安裝文件（1）VMware_workstation_7.1.3_Full_CR_CN.7z（2）CentOS-4.8-i386-bin1of4.iso，CentOS-4.8-i386-bin2of4.iso，CentOS-4.8-i386-bin3of4.iso，CentOS-4.8-i386-bin4of4.iso（3）hangcheck-0.8.0.tar.gz一般內(nèi)核版本2.4以上Linux系統(tǒng)都會自帶該模塊，但是默認不加載到內(nèi)核，需要

17、使用insmod命令加載hangcheck_timer模塊；若Linux系統(tǒng)未提供該模塊，需要手工編譯hangcheck_timer模塊。（4）cvuqdisk-1.0.9-1.rpm在RedHat和SUSE Linux中，若未安裝cvuqdisk，則Oracl CVU工具無法發(fā)現(xiàn)共享磁盤，并返回“Package cvuqdisk not installed”的錯誤。該安裝包在“10201_clusterware_linux32.zip”中提供（5）10201_clusterware_linux32.zipOracle Clusterware 10gR2安裝包（6）10201_database

18、_linux32.zipOracle Database 10gR2安裝包2.2 規(guī)劃網(wǎng)絡(luò)在Oracle RAC環(huán)境中需要配置三類IP地址：（1）專有網(wǎng)絡(luò)IP：用于各節(jié)點實例間的通信（2）虛擬IP：用于實現(xiàn)故障節(jié)點切換，客戶端連接到數(shù)據(jù)庫的時候，應(yīng)該連接虛擬IP，而不是公共網(wǎng)絡(luò)IP（3）公共網(wǎng)絡(luò)IP：用于客戶端與節(jié)點之間的通信對于三類IP的規(guī)劃，需要遵循以下規(guī)則：（1）公共網(wǎng)絡(luò)和虛擬IP必須在同一網(wǎng)段，所以每一個節(jié)點至少需要兩個外網(wǎng)IP（2）專有網(wǎng)絡(luò)IP和公共網(wǎng)絡(luò)必須在不同的網(wǎng)段，以保證群集各節(jié)點實例間的高效通信（2）公共網(wǎng)絡(luò)和虛擬IP需要在DNS（或本地hosts文件）注冊IP地址和主機名，在

19、安裝期間，虛擬IP與公共IP綁定（3）私有網(wǎng)絡(luò)不需要在DNS注冊IP地址和主機名，只需在hosts文件中添加主機名和IP地址即可（4）所有節(jié)點的公共網(wǎng)絡(luò)和私有網(wǎng)絡(luò)的網(wǎng)卡設(shè)備名和設(shè)備訪問優(yōu)先順序必須一致針對本文中的安裝需求，規(guī)劃如下：主機名類型IP 地址 網(wǎng)卡接口注冊位置node1公共01eth0DNS或主機文件node2公共02eth0DNS或主機文件node1_vip虛擬1DNS或主機文件node2_vip虛擬2DNS或主機文件node1_prv專用01eth1主機

20、文件node2_prv專用02eth1主機文件注：在10g以及11gR1的時代，安裝RAC的步驟是先安裝CRS，再安裝DB，而到了11gR2的時代，crs與asm被集成在一起，合稱為GRID，必須先安裝GRID后，才能繼續(xù)安裝DB從ORACLE 11.2開始，對網(wǎng)絡(luò)IP地址有特殊要求，增加SCAN IP，所以從11.2開始至少需要4種IP地址。2.3 規(guī)劃存儲Oracle RAC各部件對不同存儲方式的支持情況如下：OCR和Voting DiskOracle軟件數(shù)據(jù)文件ASMNoNoYesOCFSYesNoYesOCFS2YesYesYesOS本地磁盤NoYesNoNFS

21、（基于NAS）YesYesYes裸設(shè)備YesNoYes存儲規(guī)劃如下：文件類型存儲位置文件系統(tǒng)空間需求路徑規(guī)劃CRS軟件本地磁盤/dev/sda1ext3512M/oracle/product/10.2.0/crs/crs表決磁盤共享磁盤/dev/sdb1ext3+NFS50M/oracle/ocr/voting_diskOCR資源文件共享磁盤/dev/sdb1ext3+NFS150M/oracle/ocr/ocr數(shù)據(jù)庫軟件本地磁盤/dev/sda1ext32048M/oracle/product/10.2.0/db/ASM數(shù)據(jù)庫本地磁盤/dev/sda1ext32048M/oracle/pro

22、duct/10.2.0/db/數(shù)據(jù)文件共享磁盤/dev/sdc1ASM4096M由ASM進行管理，用戶只能創(chuàng)建別名，無法直接操作數(shù)據(jù)文件說明：（1）NFS共享存儲的配置操作比較簡單，而且可以支持靈活的冗余方案，比如可以在NFS中創(chuàng)建多個備份來實現(xiàn)冗余，或者把冗余隔離在更底層的專用硬件存儲方案上。故對于輕量級的表決磁盤和OCR資源文件均使用NFS實現(xiàn)共享存儲。（2）ASM與CRS的結(jié)合比較緊密，對于RAC數(shù)據(jù)庫的性能維護提供了豐富的手段途徑，故對于數(shù)據(jù)文件使用ASM共享存儲。（3）本文中，CRS和ASM全部使用外部冗余，故沒有添加副本磁盤和指定副本存儲路徑，冗余相關(guān)介紹參考“四、運行維護/2.維

23、護CRS”和“四、運行維護/3.維護ASM”，以及“六、知識點和專題擴展/（一）知識點”中的相關(guān)知識點。3.執(zhí)行安裝3.1.安裝和配置操作系統(tǒng)3.1.1.安裝操作系統(tǒng)在所有虛擬機節(jié)點安裝CentOS-4.8-i386。安裝過程需注意：需要安裝圖形話桌面，否則無法執(zhí)行OUI；選擇安裝開發(fā)工具下的所有組件，避免安裝RAC期間缺少編譯和運行環(huán)境組件；在VM中安裝完畢操作系統(tǒng)之后，需要安裝vmware-tools，這樣在宿主機和虛擬機之間操作切換更方便。關(guān)于此安裝過程，不在“一、目標(biāo)”之內(nèi)，這里不予詳述。3.1.2.創(chuàng)建oracle用戶uid=500(oracle) gid=500(oinstall)

24、 groups=500(oinstall),501(dba)3.1.3.配置操作系統(tǒng)內(nèi)核參數(shù)sed 's/32/100/' /proc/sys/kernel/sem>/proc/sys/kernel/semecho "1073741824"> /proc/sys/kernel/shmmaxsed 's/32768/1024/' /proc/sys/net/ipv4/ip_local_port_range>/proc/sys/net/ipv4/ip_local_port_rangesed 's/61000/65000/

25、' /proc/sys/net/ipv4/ip_local_port_range>/proc/sys/net/ipv4/ip_local_port_rangeecho "524288">/proc/sys/net/core/rmem_defaultecho "524288">/proc/sys/net/core/rmem_maxecho "524288">/proc/sys/net/core/wmem_defaultecho "524288">/proc/sys/net/cor

26、e/wmem_maxecho "kernel.shmall = 2097152" >> /etc/sysctl.confecho "kernel.shmmax = 1073741824" >> /etc/sysctl.confecho "kernel.shmmni = 4096" >> /etc/sysctl.confecho "kernel.sem = 250 32000 100 128" >> /etc/sysctl.confecho "fs.file-

27、max = 65536" >> /etc/sysctl.confecho "net.ipv4.ip_local_port_range = 1024 65000" >> /etc/sysctl.confecho "net.core.rmem_default=262144" >> /etc/sysctl.confecho "net.core.wmem_default=262144" >> /etc/sysctl.confecho "net.core.rmem_max=26

28、2144" >> /etc/sysctl.confecho "net.core.wmem_max=262144" >> /etc/sysctl.confecho "oracle soft nofile 4096" >> /etc/security/limits.confecho "oracle hard nofile 63536" >> /etc/security/limits.confecho "oracle soft nproc 2047" >&g

29、t; /etc/security/limits.confecho "oracle hard nproc 16384" >> /etc/security/limits.conf3.1.4.配置hangcheck-timer模塊執(zhí)行l(wèi)smod命令，查看當(dāng)前內(nèi)核是否加載hangcheck-timer模塊，若沒有，則執(zhí)行下面的命令，將hangcheck-timer模塊加載到內(nèi)核：insmod /lib/modules/2.6.9-89.ELsmp/kernel/drivers/char/hangcheck-timer.ko hangcheck_tick=1 hangch

30、eck_margin=10其中“2.6.9-89.ELsmp”是當(dāng)前所使用的內(nèi)核版本，“hangcheck_tick=1”表示每隔1秒探測一次系統(tǒng)狀態(tài)，“hangcheck_margin=10”表示若10秒內(nèi)探測沒有反饋，則返回探測失敗的消息。在命令行手工執(zhí)行上面的命令，會在重啟后失效，需要執(zhí)行下面的命令，使得在系統(tǒng)啟動的時候自動加載hangcheck-timer模塊echo " insmod /lib/modules/2.6.9-89.ELsmp/kernel/drivers/char/hangcheck-timer.ko hangcheck_tick=1 hangcheck_ma

31、rgin=10">> /etc/rc.d/ rc.sysinit3.1.4.安裝libaio需要安裝libaio-0.3.105-2.i386.rpm和libaio-devel-0.3.105-2.i386.rpm，否則在執(zhí)行數(shù)據(jù)庫預(yù)安裝檢測的時候會產(chǎn)生warning3.1.5.配置環(huán)境變量此處是在完成RAC所有安裝操作之后，對安裝過程中涉及到的所有環(huán)境變量配置的收集。為了對下文的安裝過程有一個大概的預(yù)判，特將環(huán)境變量配置描述提前至此。（1）root用戶環(huán)境變量export PATH=$PATH:/etc/init.d #ASM共享磁盤配置命令（oracleasm）和CR

32、S重啟命令（init.crs），需要root權(quán)限export PATH=$PATH:/oracle/product/10.2.0/crs/bin #CRS的VIP配置命令（vipca）需要root權(quán)限（2）oracle用戶環(huán)境變量export ORACLE_BASE=/oracle/product/10.2.0export CRS_HOME=$ORACLE_BASE/crs #CRS軟件安裝路徑export PATH=$PATH:$CRS_HOME/bin #CRS運行管理命令export ORACLE_HOME=$ORACLE_BASE/db_1 #ASM和RAC數(shù)據(jù)庫軟件安裝路徑expor

33、t PATH=$PATH:$ORACLE_HOME/bin #ASM和數(shù)據(jù)庫運行管理命令備注：本文使用VM虛擬機部署RAC環(huán)境，為了保持安裝過程的邏輯順序，本節(jié)所介紹僅限于對于操作系統(tǒng)環(huán)境的安裝和配置，其他各環(huán)節(jié)在后續(xù)章節(jié)依次描述。但實際上，可以在首次安裝虛擬機的過程中一并完成以下安裝和配置步驟：操作系統(tǒng)安裝操作系統(tǒng)內(nèi)核參數(shù)配置oracle用戶和群組創(chuàng)建hangcheck-timer模塊安裝libaio安裝IP地址和/etc/hosts配置ASMLib模塊安裝ASM共享磁盤掛載和初始化NFS共享存儲配置cvuqdisk安裝然后再克隆該虛擬機，并按照預(yù)先做好的網(wǎng)絡(luò)和存儲規(guī)劃，對各節(jié)點進行差異配置

34、，這樣安裝效率會更高。 3.2 配置網(wǎng)絡(luò)環(huán)境3.2.1設(shè)置Windows2003域名服務(wù)器（目前在所有節(jié)點的/etc/hosts中添加本地域名解析，這樣實現(xiàn)比較簡單一點，對于使用單獨域名服務(wù)器的方案，有待做性能方面的考察）3.2.2 配置主機名和IP地址備注：本文所部署RAC無需投入實際應(yīng)用，所以為了避免占用公共網(wǎng)絡(luò)資源，將網(wǎng)關(guān)設(shè)置為私有網(wǎng)絡(luò)網(wǎng)關(guān)，不設(shè)置DNS，這樣就實現(xiàn)了RAC環(huán)境與公共網(wǎng)絡(luò)環(huán)境間的獨立。3.2.3 添加本地域名解析3.2.4 建立信任關(guān)系（1）以oracle用戶登錄各節(jié)點，并訪問公共域名、私有域名以及l(fā)ocalhost，輸入“yes”后，會在該節(jié)點的本地$HOME/.ssh

35、/known_hosts中生成指紋記錄，對于雙節(jié)點環(huán)境，將會生成5條記錄，例如：（2）注冊公共秘鑰。先在oracle用戶下使用下面命令生成秘鑰，生成的秘鑰保存在$HOME/.ssh文件夾中ssh-keygen -t rsassh-keygen -t dsa再將所有節(jié)點的.pub匯總起來，通過sftp保存到每一個節(jié)點的$HOME/.ssh/authorized_keys文件中，對于雙節(jié)點環(huán)境，將會生成4條記錄，例如：注：若未在所有節(jié)點添加本地域名解析，或未對所有節(jié)點建立信任關(guān)系，則在安裝CRS軟件的時候，會在Specify Cluster Configuration界面報錯：the specif

36、ied nodes are not clusterable。3.3.配置存儲環(huán)境3.3.1 配置NFS共享存儲NFS共享存儲用于存放voting disk表決磁盤文件和OCR群集注冊表文件。使用NFS方式實現(xiàn)共享，只需要將虛擬磁盤掛載到一個存儲節(jié)點即可，隨后將該節(jié)點配置成NFS服務(wù)器，其他各RAC節(jié)點通過Mount NFS服務(wù)器上的共享文件夾便可以實現(xiàn)共享存儲的任務(wù)。以下操作均使用root用戶執(zhí)行。（1）在存儲節(jié)點添加新磁盤并格式化D:VMsShare Storage>vmware-vdiskmanager.exe -c -s 200Mb -a lsilogic -t 2 CRSdisk

37、.vmdk備注：若執(zhí)行彈出報錯failed to load library libeay32.dll，需要在VMWARE安裝目錄下執(zhí)行上面的命令，然后在把生成的磁盤文件拷貝到虛擬機文件夾中。編輯CentOS_4.8_1，將CRSdisk.vmdk添加到CentOS_4.8_1本地磁盤執(zhí)行下面命令對磁盤分區(qū)fdisk /dev/sdb1使用n命令創(chuàng)建分區(qū)，使用w命令保存分區(qū)表，使用p命令打印分區(qū)表分區(qū)完畢之后，執(zhí)行下面命令格式化文件系統(tǒng)mkfs -t ext3 -c /dev/sdb1（2）掛載共享磁盤到存儲節(jié)點文件系統(tǒng)創(chuàng)建掛載點：mkdir /oracle1mkdir /oracle1/ocr

38、更改所有者權(quán)限：chown oracle:oinstall /oracle1chown oracle:oinstall /oracle1/ocr手動掛載：mount /dev/sdb1 /oracle1/ocr設(shè)置開機自動掛載：echo "/dev/sdb1 /oracle1/ocr ext3 defaults 0 0">>/etc/fstab（3）配置存儲節(jié)點的NFS服務(wù)，將新磁盤共享給私有網(wǎng)絡(luò)內(nèi)的其他節(jié)點添加共享許可echo "/oracle1/ocr 01(rw,sync,no_root_squash) ">

39、;/etc/exportsecho "/oracle1/ocr 02(rw,sync,no_root_squash) ">>/etc/exports手動開啟nfs服務(wù)service nfs start開機自動開啟nfs服務(wù)chkconfig -level 3 nfs onchkconfig -level 5 nfs on（4）在各群集節(jié)點掛載nfs共享磁盤空間創(chuàng)建掛載點mkdir /oraclemkdir /oracle/ocr更改所有者權(quán)限：chown oracle:oinstall /oraclechown oracle:oinsta

40、ll /oracle/ocr手動掛載mount 01:/oracle1/ocr oracle/ocr開機自動掛載NFSecho "01:/oracle1/ocr /oracle/ocr nfs rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,noac,vers=3,timeo=600 0 0">>/etc/fstab注：本文將node1兼做NFS服務(wù)器和RAC實例節(jié)點，將OCR共享磁盤掛載到本地文件系統(tǒng)ext3，然后其余節(jié)點通過NFS從node1掛載網(wǎng)絡(luò)存儲，上面的路徑“

41、/oracle1”便是本地文件系統(tǒng)掛載路徑，“/oracle”是NFS掛載路徑。但在正式環(huán)境中，NFS服務(wù)器必須單獨部署，否則node1重啟，其余節(jié)點將無法訪問CRS和表決磁盤，也會立即重啟。3.3.2 配置ASM存儲ASM存儲用于存放RAC數(shù)據(jù)庫的數(shù)據(jù)文件。配置ASM存儲需要在安裝ASM數(shù)據(jù)庫之前執(zhí)行，否則安裝進程無法自動獲取到ASM存儲的路徑，也無法自動向OCR中注冊ASM資源。以下操作均以root用戶執(zhí)行（1）創(chuàng)建虛擬機共享磁盤，這里需要使用Vmware自帶的vmware-vdiskmanager.exe工具，執(zhí)行如下命令：D:VMsShare Storage>vmware-vdi

42、skmanager.exe -c -s 5G -a lsilogic -t 2 OraDatadisk.vmdk（2）將新創(chuàng)建的OraDatadisk.vmdk同時掛到各虛擬機上，為了讓共享磁盤能同時被多個節(jié)點同時訪問，需要將OraDatadisk.vmdk分配到與操作系統(tǒng)盤不同的磁盤總線上，比如系統(tǒng)盤使用“SCSI0”，則共享盤使用“SCSI1”，并設(shè)置寫模式如下：添加完共享磁盤之后，還需要在各節(jié)點的.vmx文件中添加如下配置項：disk.locking = "FALSE"diskLib.dataCacheMaxSize = "0"scsi1.pciS

43、lotNumber = "36"scsi1:0.deviceType = "disk"（3）安裝oracleasm配置包，在各節(jié)點依次安裝：oracleasm-support-2.1.7-1.el4.i386.rpmoracleasm-2.6.9-89.ELsmp-2.0.5-1.el4.i686.rpmoracleasmlib-2.0.4-1.el4.i386.rpm（4）加載ASMLib模塊（在所有節(jié)點上執(zhí)行）cd /etc/init.d/./oracleasm configureDefault user to own the driver inte

44、rface :oracleDefault group to own the driver interface :dbaStart Oracle ASM library driver on boot (y/n) n:yFix permissions of Oracle ASM disks on boot (y/n) y:y./oracleasm status #檢查ASM模塊加載狀態(tài)（5）配置ASM磁盤（在主節(jié)點上執(zhí)行）./oracleasm createdisk ASM1 /dev/sdc1 注：在執(zhí)行createdisk之前，需要確認/dev/sdc1沒有被mount，否則創(chuàng)建ASM磁盤會失

45、?。?）檢驗ASM配置./oracleasm scandisks./oracleasm listdisks./oracleasm querydisk /dev/sdc1在任一節(jié)點執(zhí)行oracleasm deletedisk或oracleasm createdisk，并在其他各節(jié)點執(zhí)行oracleasm scandisks和oracleasm listdisks，檢驗各節(jié)點的ASM共享存儲配置是否同步。（7）其他常用命令啟用和禁用開機自動啟動ASM：./oracleasm disable./oracleasm enable啟停ASM模塊進程./oracleasm start./oracleasm

46、 stop從ASM中移除磁盤：./oracleasm deletedisk ASM13.4.安裝CRS3.4.1.安裝cvuqdisk以root用戶執(zhí)行rpm -qi cvuqdisk查看系統(tǒng)當(dāng)前是否已經(jīng)安裝cvuqdisk若未安裝，則以root用戶執(zhí)行下面命令安裝cvuqdiskrpm -iv cvuqdisk-1.0.9-1.rpm3.4.2.安裝CRS軟件執(zhí)行安裝程序，指定安裝目錄oraclenode1 clusterware$ ./runInstaller選擇安裝節(jié)點點擊next開始安裝。安裝進程完畢后需要以root用戶在各節(jié)點執(zhí)行下面腳本。其中：orainstRoot.sh用于創(chuàng)建O

47、racle軟件安裝清單的指向文件/etc/oraInst.loc；root.sh用于完成VIP配置、表決磁盤和OCR磁盤初始化，以及啟動CRS服務(wù)。最后CRS安裝程序會執(zhí)行CVU對安裝進行驗證，如果出現(xiàn)下面的報錯提示：則以root用戶手動執(zhí)行$CRS_HOME/bin/vipca對虛擬IP進行注冊綁定，如下所示：注：VIP配置完畢后會自動綁定VIP和重啟VIP資源，若報錯無法啟動節(jié)點VIP資源，檢查公共IP網(wǎng)段的網(wǎng)關(guān)設(shè)置是否正確。3.4.3.驗證安裝狀態(tài)（1）查看CRS資源狀態(tài)oraclenode1 $ crs_stat -tName Type Target State Host-ora.no

48、de1.gsd application ONLINE ONLINE node1ora.node1.ons application ONLINE ONLINE node1ora.node1.vip application ONLINE ONLINE node2ora.node2.gsd application ONLINE ONLINE node2ora.node2.ons application ONLINE ONLINE node2ora.node2.vip application ONLINE ONLINE node1（2）驗證HA在任一節(jié)點殺掉任一CRS資源進程，若當(dāng)前節(jié)點立即重啟，表示

49、HA狀態(tài)正常oraclenode1 $ ps -ealf|grep "/oracle/product/10.2.0/crs/bin/ocssd.bin"0 S oracle 8633 8601 0 70 -5 - 42698 - 15:12 ? 00:00:00 /oracle/product/10.2.0/crs/bin/ocssd.bin0 R oracle 16298 14423 0 77 0 - 1008 - 15:17 pts/1 00:00:00 grep /oracle/product/10.2.0/crs/bin/ocssd.binoraclenode1 $

50、 kill -9 86333.5.安裝ASM數(shù)據(jù)庫在Oracle RAC中，若要使用ASM存儲，就必須安裝ASM數(shù)據(jù)庫，區(qū)別于業(yè)務(wù)數(shù)據(jù)庫，ASM數(shù)據(jù)庫管理的對象是ASM存儲配置信息。3.5.1.執(zhí)行安裝執(zhí)行下面的命令，開始安裝ASM數(shù)據(jù)庫oraclenode1 database$ ./runInstaller選擇安裝產(chǎn)品類型：指定安裝路徑：選擇安裝ASM數(shù)據(jù)庫：設(shè)置ASM管理員密碼：指定ASM磁盤：開始安裝：安裝進程完畢后，以root用戶在各節(jié)點執(zhí)行腳本：3.5.2配置listener和tnsnames（1）配置各節(jié)點listener.ora，在SID_LIST_LISTENER塊中添加（在n

51、ode2上用“+ASM2”） (SID_DESC = (SID_NAME = +ASM1) (ORACLE_HOME = /oracle/product/10.2.0/db_1) (GLOBAL_DBNAME = +ASM) )（2）使用srvctl命令重啟監(jiān)聽服務(wù)srvctl stop listener -n node1srvctl stop listener -n node2srvctl start listener -n node1srvctl start listener -n node2注：若重啟監(jiān)聽后無法開啟雙實例監(jiān)聽，檢查是否在各節(jié)點間使用vip域名相互登錄，更新本地$HOME/

52、.ssh/known_hosts列表（3）配置客戶端tnsnames.ora默認安裝情況下，在各節(jié)點無法通過SQLPLUS連接到ASM實例，需要在各節(jié)點配置tnsname.ora，如下LISTENERS_ASM = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = node1-vip)(PORT = 1521) (ADDRESS = (PROTOCOL = TCP)(HOST = node2-vip)(PORT = 1521) )ASM1 = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST =

53、node1-vip)(PORT = 1521) (CONNECT_DATA = (UR = A) (SERVER = DEDICATED) (SERVICE_NAME = +ASM) (INSTANCE_NAME = +ASM1) ) )ASM2 = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = node2-vip)(PORT = 1521) (CONNECT_DATA = (UR = A) (SERVER = DEDICATED) (SERVICE_NAME = +ASM) (INSTANCE_NAME = +ASM2) ) )ASM = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = node1-vip)(PORT = 1521) (ADDRESS = (PROTOCOL = TCP)(HOST = node2-vip)(PORT = 1521) (LOAD_BALANCE = yes) (CONNECT_DATA = (UR=A) (SERVER = DEDICATED) (SERVICE_NAME = +ASM) (FAILOVER_MODE = (TYPE =