所HACMP51安裝報告

1、. ED-In Technology Group沈陽606所HACMP5.1安裝與配置報告ED-In P.R. China2005-03Hacmp 5.1 的安裝配置方法一、 Hacmp 的軟件安裝1 安裝前提1.1 準備AIX操作系統(tǒng) 在開始安裝HACMP5.1軟件之前，首先要完成兩臺P660服務器的操作系統(tǒng)升級操作，包括在兩臺P660服務器上安裝AIX v操作系統(tǒng)，并使用AIX Maintenance Level ML04軟件包將操作系統(tǒng)升級至版本。目前，AIX v5.2操作系統(tǒng)最新的Maintenance Level版本為ML05，如果有條件，最好升級至最新的

2、Maintenance Level。在升級完操作系統(tǒng)之后，請檢查系統(tǒng)中已經(jīng)安裝的軟件包，并確認系統(tǒng)中已經(jīng)安裝了如下所列的各個軟件包，如果系統(tǒng)中未安裝這些軟件包，那么請使用基本的AIX v操作系統(tǒng)光盤安裝這些軟件包，并使用Maintenance Level補訂包將這些軟件包升級至最新版本。l RSCT 0 或更高版本l bos.adt.libl bos.adt.libml bos.adt.syscallsl bos.datal .tcp.clientl .tcp.serverl bos.rte.SRCl bos.rte.libcl bos.rte.libcfgl bo

3、s.rte.libcurl bos.rte.libpthreadsl bos.rte.odml rsct.*如果您要安裝并行的資源組，還要安裝下面的包：l bos.rte.lvm.rte5 or higherl bos.clvm.enh*1.2 準備Oracle數(shù)據(jù)庫系統(tǒng)如果系統(tǒng)中需要安裝Oracle 9i數(shù)據(jù)庫，而又不想配置成Oracle并行數(shù)據(jù)庫系統(tǒng)，那么請在開始安裝HACMP之前完成Oracle 9i數(shù)據(jù)庫的安裝與配置操作。1.2.1 準備共享磁盤卷 為實現(xiàn)HACMP環(huán)境下Oracle數(shù)據(jù)庫的高可用配置，我們需要為Oracle數(shù)據(jù)庫實例準備共享磁盤卷。 在AIX操作系統(tǒng)下使

4、用smitty ssaraid命令，在7133 D40磁盤陣列上創(chuàng)建兩個RAID 5類型的Disk Array，分別用于Oracle數(shù)據(jù)庫數(shù)據(jù)和Iman文件系統(tǒng)數(shù)據(jù)。使用上面創(chuàng)建的Disk Array分別創(chuàng)建oraclevg和imanvg兩個卷組，設置卷組auto varyon為no，在Oraclevg上創(chuàng)建oraclelv和/oracledbs文件系統(tǒng)（類型為jfs2），在imanvg上創(chuàng)建imanlv和/imanvol文件系統(tǒng)，設置兩個文件系統(tǒng)的auto mount屬性為no。 在創(chuàng)建卷組和文件系統(tǒng)的P660服務器上varyoff這兩個卷組，在另外一臺P660服務器上使用smitty im

5、portvg命令分別導入兩個卷組，注意在導入卷組時設置major number屬性值與另外一臺P660服務器上相同的值。導入卷組后修改卷組的auto varyon屬性為no。1.2.2 安裝并創(chuàng)建Oracle實例 使用Oracle 9i安裝介質(zhì)安裝數(shù)據(jù)庫系統(tǒng)，如果使用的是光盤，那么首先mount光盤，我們這里假設mount點為/cdrom，記得在/下而不是在/cdrom下去運行/cdrom/runInstaller安裝腳本，否則在要求更換光盤時無法umount光盤。 安裝Oracle安裝程序的提示進行安裝，選擇安裝企業(yè)版數(shù)據(jù)庫服務器，選擇僅安裝軟件文件而不創(chuàng)建實例。 在一臺服務器上完成安裝之后

6、，在另外一臺服務器上完成同樣的安裝過程。 然后在兩臺服務器上創(chuàng)建dba用戶組和oracle、infodba兩個系統(tǒng)用戶。在兩個用戶的home目錄下編輯.profile文件至適當內(nèi)容（請按照IMAN系統(tǒng)要求編輯該文件）。 安裝過程完成之后，在擁有oraclevg卷組的服務器上運行oracle的數(shù)據(jù)庫配置工具dbca創(chuàng)建數(shù)據(jù)庫實例iman，按照IMAN系統(tǒng)需求設置各參數(shù)，設置各配置文件、控制文件、日志文件、數(shù)據(jù)文件的存儲位置到/oracledbs/dbs/目錄下的相應位置。然后完成實例創(chuàng)建。完成后，將/etc/oratab文件拷貝到另外一臺服務器的相同位置。2 開始安裝使用HACMP v5.1光盤

7、介質(zhì)進行安裝，在安裝過程中除了haview，netwiew( Tivoli)的包以外，所有的hacmp的包都要安裝。3 打補丁在HACMP v5.1安裝完成之后，需要繼續(xù)為HACMP打補丁，以將HACMP版本升級至最新，如果可以獲得最新的HACMP完整的補訂包，那么使用該補訂包進行升級，如果無法獲得最新的HACMP完整的補訂包，那么可以在IBM網(wǎng)站下載IY53044、IY37779、IY45695、IY65063這幾個必需的補訂，然后使用smitty install命令將其安裝到系統(tǒng)中。4 重啟機器安裝完HACMP軟件之后，需要重新啟動系統(tǒng)，現(xiàn)在我們重新啟動兩臺P660服務器，接下來再進行HA

8、CMP的配置操作。注：在hacmp 5.1中為了安全起見，不再使用/.rhosts文件來控制兩臺機器之間的命令和數(shù)據(jù)交換，而是引進的一個新的進程clcomd。如果你編輯/etc/inittab文件就會發(fā)現(xiàn)安裝完hacmp后，在最后添加了一行：clcomdES:2:once:startsrc -s clcomdES >/dev/console 2>&1。因此重新啟機后，ps ef|grep clcomd ,會發(fā)現(xiàn)：root 12908 6478 0 Apr 12 - 0:21 /usr/es/sbin/cluster/clcomd d，證明該進程啟動了。Hacmp5.1使用/

9、usr/es/sbin /cluster/etc/rhosts文件來代替/.rhosts文件的功能。注意：如果兩個節(jié)點間的通訊發(fā)生了什么問題，可以檢查rhots文件，或者編輯rhosts文件加入兩個節(jié)點的網(wǎng)絡信息。二、 hacmp5.1 的配置1. 準備2臺P660服務器的網(wǎng)絡配置在P660服務器Oraclesvr上，使用smitty hostname命令設置主機名為Oraclesvr，使用smitty tcpip命令設置2塊網(wǎng)卡的boot ip。設置第一塊網(wǎng)卡的boot ip為，子網(wǎng)掩碼為；設置第二塊網(wǎng)卡的boot ip為，設置子

10、網(wǎng)掩碼為。編輯/etc/hosts文件如下：loopback localhost# loopback (lo0) name/address Oraclesvr_boot1 Oraclesvr Oraclesvr_svc Oraclesvr_per Oraclesvr_boot2 Imansvr_boot1 Imansvr Imansvr_boot Imansvr_svc編輯/.rhosts文件如下：ImansvrIman

11、svr_boot1Imansvr_boot2Imansvr_svcOraclesvr_boot1Oraclesvr_boot2Oraclesvr_svcOraclesvr_perOraclesvr在P660服務器Imansvr上，使用smitty hostname命令設置主機名為Imansvr，使用smitty tcpip命令設置2塊網(wǎng)卡的boot ip。設置第一塊網(wǎng)卡的boot ip為，子網(wǎng)掩碼為；設置第二塊網(wǎng)卡的boot ip為，設置子網(wǎng)掩碼為。編輯/etc/hosts文件如下：loopb

12、ack localhost# loopback (lo0) name/address Imansvr_boot1 Imansvr Imansvr_svc Imansvr_boot2 Oraclesvr_boot1 Oraclesvr Oraclesvr_boot Oraclesvr_svc Oraclesvr_per編輯/.rhosts文件如下：Imansvr_boot1Imansvr_boot2Imansvr_svcImansvrOraclesvr_boot

13、1Oraclesvr_boot2Oraclesvr_svcOraclesvr_perOraclesvr注意：在使用smitty tcpip設置網(wǎng)卡的boot ip時，一定要保證2臺服務器4塊網(wǎng)卡的tcpip子網(wǎng)掩碼設置一致，否則在后面同步HACMP配置時無法通過。2. 準備共享卷組 共享卷組的準備過程我們在前面準備Oracle數(shù)據(jù)庫系統(tǒng)的過程中已經(jīng)做過，這里不需要再重復。3. 準備RS232連接 注：RS232連接在HACMP 5.1版本中已經(jīng)不再是必需的，如果環(huán)境中有，那么可以按照如下方式配置。 首先，使用smitty aio命令將系統(tǒng)中的異步I/O卡設置為enable，并且配置為avail

14、able。 然后，使用smitty tty命令在連接了RS232線纜的端口上創(chuàng)建/dev/tty0（序號因系統(tǒng)環(huán)境不同系統(tǒng)會自動設定）。設置參數(shù)如下所示：配置完成后，應測試串行網(wǎng)絡的連通性。假定在兩個節(jié)點上配置的TTY的設備名都為/dev/tty0，在兩個節(jié)點上分別輸入命令stty < /dev/tty0，如果TTY配置正確且連通，兩條命令都應正確返回命令行。4. 準備Application啟動/停止腳本 在/pdm/oracle/ora92目錄下創(chuàng)建script子目錄，在該子目錄下創(chuàng)建start_oracle腳本文件，內(nèi)容如下：su oracle c dbstart創(chuàng)建stop_ora

15、cle腳本文件，內(nèi)容如下：su oracle c dbshut創(chuàng)建start_iman腳本文件和stop_iman腳本文件，暫時保持文件內(nèi)容為空，待將來安裝了TSM Client之后再在其中添件所需內(nèi)容。將4個腳本在2臺P660服務器的/pdm/oracle/ora92/script目錄下均保存一份，注意兩邊保存的位置和文件名稱一定要保持一致。5. 用smitty hacmp來配置hacmp 5.1 添加cluster 和node smitty hacmpInitialization and Standard Configuration Extended Configuration Syste

16、m Management (C-SPOC) Problem Determination ToolsAdd Nodes to an HACMP Cluster Configure Resources to Make Highly Available Configure HACMP Resource Groups Verify and Synchronize HACMP ConfigurationDisplay HACMP Configuration * Cluster Name imanha New Nodes (via selected communication paths) oracles

17、vr_boot1 imansvr_boot1 Currently Configured Node(s)這一部很重要，一般我們都是把每個節(jié)點的boot1 作為communication path 。 New node可以一起加，也可以一個一個的加。當回車以后，系統(tǒng)會自己discover hacmp的資源。顯示如下：。IP Network Discovery completed normallyCurrent cluster configuration:No resource groups definedCluster Description of Cluster: imanhaCluster S

18、ecurity Level: StandardThere are 2 node(s) and 1 network(s) definedNODE imansvr: Network net_ether_01 imansvr_boot1 imansvr_boot2 NODE oraclesvr: Network net_ether_01 oraclesvr _boot1 oraclesvr _boot2 。5.2 添加高可用資源（service ip，application server，vg and jfs） 添加

19、服務ip地址 Add Nodes to an HACMP Cluster Configure Resources to Make Highly Available Configure HACMP Resource Groups Verify and Synchronize HACMP Configuration Display HACMP Configuration Configure Service IP Labels/Addresses Configure Application Servers Configure Volume Groups, Logical Volumes and Fi

20、lesystems Configure Concurrent Volume Groups and Logical Volumes Add a Service IP Label/Address Change/Show a Service IP Label/Address Remove Service IP Label(s)/Address(es)* IP Label/Address imansvr_svc Network Name net_ether_01* IP Label/Address oraclesvr_svc Network Name net_ether_01添加application

21、 server Configure Service IP Labels/Addresses Configure Application Servers Configure Volume Groups, Logical Volumes and Filesystems Configure Concurrent Volume Groups and Logical Volumes Add an Application Server Change/Show an Application Server Remove an Application Server* Server Name imanapp* S

22、tart Script /pdm/oracle/ora92/start_iman* Stop Script /pdm/oracle/ora92/stop_iman* Server Name oracleapp* Start Script /pdm/oracle/ora92/start_oracle* Stop Script /pdm/oracle/ora92/stop_oracle添加共享vg，jfs 注意在前面的準備Oracle數(shù)據(jù)庫的步驟中我們已經(jīng)建立了共享VG imanvg和oraclevg， 并建立了共享文件系統(tǒng)/imanvol和/oracledbs。這里無需再做。5.3 創(chuàng)建資源組

23、Initialization and Standard Configuration Extended Configuration System Management (C-SPOC) Problem Determination ToolsAdd Nodes to an HACMP Cluster Configure Resources to Make Highly Available Configure HACMP Resource Groups Verify and Synchronize HACMP Configuration Display HACMP ConfigurationAdd

24、a Resource Group Change/Show a Resource Group Remove a Resource Group Change/Show Resources for a Resource Group (standard)CascadingRotating Concurrent Custom * Resource Group Name imanres* Participating Node Names / Default Node Priority imansvr oraclesvr同樣方法可以添加oracleres* Resource Group Name oracl

25、eres* Participating Node Names / Default Node Priority oraclesvr imansvr接下來可以配置資源組，當然也可以在Extended Configuration 中去詳細配置。我們姑且先在Initialization and Standard Configuration 中配置。 Smitty cm_config_hacmp_resource_groups_menu_dmnAdd a Resource Group Change/Show a Resource Group Remove a Resource GroupChange/S

26、how Resources for a Resource Group (standard)選擇imanresResource Group Name imanres Participating Node Names (Default Node Priority) imansvr oraclesvr* Service IP Labels/Addresses imansvr_svc Volume Groups imanvg Filesystems (empty is ALL for VGs specified) /imanvol Application Servers imanapp同樣的方法配置o

27、racleres Resource Group Name oracleres Participating Node Names (Default Node Priority) oraclesvr imansvr* Service IP Labels/Addresses oraclesvr_svc Volume Groups oraclevg Filesystems (empty is ALL for VGs specified) /oracledbs Application Servers oracleapp檢查和同步hacmp配置Initialization and Standard Con

28、figuration Extended Configuration System Management (C-SPOC) Problem Determination ToolsAdd Nodes to an HACMP Cluster Configure Resources to Make Highly Available Configure HACMP Resource Groups Verify and Synchronize HACMP Configuration Display HACMP ConfigurationCluster Description of Cluster: ima

29、nhaCluster Security Level: StandardThere are 2 node(s) and 1 network(s) definedNODE imansvr: Network net_ether_01 imansvr_svc oraclesvr_svc imansvr_boot2 imansvr_boot1 NODE oraclesvr: Network net_ether_01 oraclesvr_svc imansvr_svc oraclesv

30、r_boot1 oraclesvr_boot2 Resource Group imanres: Behavior cascading Participating Nodes imansvr oraclesvr Service IP Label imansvr_svcResource Group oracleres: Behavior cascading Participating Nodes oraclesvr imansvr Service IP Label oraclesvr_svc注意node imansvr的ip 地址排列，雖然imansvr_

31、boot2 排在imansvr_boot1前面，但是實驗證明，service 地址依然會綁定在communication path 上?，F(xiàn)在就可以做Initialization and Standard Configuration Verify and Synchronize HACMP Configuration . 然后start 一下hacmp ，看看take over 是否都正常。 注意，很多客戶是把所有的hacmp 包括應用都配好后再試起hacmp, 作takeover 測試，這是很不好的一種習慣。因為融入的可能因素太多了，一旦有了問題，我們還要隔離問題，先把hacmp配置簡化，再一

32、步步作pd , 那么先前的配置就白做了。所以建議客戶階段性的監(jiān)測一下hacmp。到此為止我們的hacmp已經(jīng)基本配置完成了。剩下的要在Extended Configuration中配置了。6. HACMP Extended Configuration在Extended Configuration中我們還可以配置tty心跳網(wǎng)絡，hdisk心跳網(wǎng)絡，Persistent Node IP，application monitor等等。 6.1 配置RS232心跳網(wǎng)絡下面我們先介紹一下配置RS232心跳網(wǎng)絡。添加RS232網(wǎng)絡和設備Initialization and Standard Configur

33、ation Extended Configuration System Management (C-SPOC) Problem Determination ToolsDiscover HACMP-related Information from Configured Nodes Extended Topology Configuration Extended Resource Configuration Extended Event Configuration Extended Performance Tuning Parameters Configuration Security and U

34、sers ConfigurationSnapshot ConfigurationExtended Verification and SynchronizationConfigure an HACMP Cluster Configure HACMP Nodes Configure HACMP Sites Configure HACMP Networks Configure HACMP Communication Interfaces/Devices Configure HACMP Persistent Node IP Label/Addresses Configure HACMP Global

35、Networks Configure HACMP Network Modules Configure Topology Services and Group Services Show HACMP TopologyAdd a Network to the HACMP Cluster Change/Show a Network in the HACMP Cluster Remove a Network from the HACMP Cluster# Pre-defined Serial Device Types diskhb rs232 tmscsi tmssa * Network Namem

36、net_rs232_01* Network Type rs232添加設備：Extended ConfigurationExtended Topology ConfigurationConfigure HACMP Communication Interfaces/Devices Add Communication Interfaces/Devices Add Pre-defined Communication Interfaces and Devices Communication Devices net_rs232_01 * Device Name imansvr_rs232* Network

37、 Type rs232* Network Name net_rs232_01* Device Path /dev/tty0* Node Name imansvr * Device Name oraclesvr_rs232* Network Type rs232* Network Name net_rs232_01* Device Path /dev/tty0* Node Name oraclesvr Extended ConfigurationExtended Topology Configuration Show HACMP TopologyCluster Description of Cl

38、uster: imanhaCluster Security Level: StandardNODE imansvr: Network net_rs232_01 Imansvr_rs232 /dev/tty0 Network net_ether_01 imansvr_svc oraclesvr_svc imansvr_boot2 imansvr_boot1 NODE oraclesvr: Network net_rs232_01 Oraclesvr_rs232 /dev/tty0 Network net_ether_01 imansvr_svc oraclesvr_svc