SAP HANA項(xiàng)目實(shí)施方案

1、 SAP HANA 一體機(jī) 集群安裝指南 3 RH5885H V3 方案部署 文檔版本 02 (2016-01-28) 專有和保密信息 SAP HANA項(xiàng)目實(shí)施方案目 錄 TOC o 1-3 h z u HYPERLINK l _Toc8911401 1 總覽 PAGEREF _Toc8911401 h 3 HYPERLINK l _Toc8911402 1.1文檔編制目的： PAGEREF _Toc8911402 h 3 HYPERLINK l _Toc8911403 1.2主要受眾和使用說(shuō)明： PAGEREF _Toc8911403 h 3 HYPERLINK l _Toc8911404

2、1.3適用范圍： PAGEREF _Toc8911404 h 3 HYPERLINK l _Toc8911405 1 安裝規(guī)劃 PAGEREF _Toc8911405 h 4 HYPERLINK l _Toc8911406 1.1 硬件規(guī)劃 PAGEREF _Toc8911406 h 4 HYPERLINK l _Toc8911407 1.2 軟件規(guī)劃 PAGEREF _Toc8911407 h 5 HYPERLINK l _Toc8911408 1.3容量規(guī)劃 PAGEREF _Toc8911408 h 6 HYPERLINK l _Toc8911409 1.4 存儲(chǔ)規(guī)劃 PAGEREF _

3、Toc8911409 h 6 HYPERLINK l _Toc8911410 1.5 組網(wǎng)規(guī)劃 PAGEREF _Toc8911410 h 8 HYPERLINK l _Toc8911411 1.6 默認(rèn)參數(shù) PAGEREF _Toc8911411 h 8 HYPERLINK l _Toc8911412 1.7 安裝流程 PAGEREF _Toc8911412 h 9 HYPERLINK l _Toc8911413 1.8 密碼信息 PAGEREF _Toc8911413 h 10 HYPERLINK l _Toc8911414 2.1 安裝 OS PAGEREF _Toc8911414 h

4、11 HYPERLINK l _Toc8911415 2.1.1 安裝準(zhǔn)備 PAGEREF _Toc8911415 h 11 HYPERLINK l _Toc8911416 2.1.2 BIOS 設(shè)置 PAGEREF _Toc8911416 h 11 HYPERLINK l _Toc8911417 2.1.3 RAID 卡配置 PAGEREF _Toc8911417 h 12 HYPERLINK l _Toc8911418 2.1.4 加載操作系統(tǒng) ISO 文件 PAGEREF _Toc8911418 h 12 HYPERLINK l _Toc8911419 2.1.5 安裝 OS PAGER

5、EF _Toc8911419 h 13 HYPERLINK l _Toc8911420 IMDB服務(wù)安裝 PAGEREF _Toc8911420 h 16 HYPERLINK l _Toc8911421 2.1.6 設(shè)置 Network IP PAGEREF _Toc8911421 h 25 HYPERLINK l _Toc8911422 2.1.7管理界面配置網(wǎng)絡(luò) IP PAGEREF _Toc8911422 h 26 HYPERLINK l _Toc8911423 2.2 SSH 互聯(lián)服務(wù)配置 （可選） PAGEREF _Toc8911423 h 32 HYPERLINK l _Toc89

6、11424 2.3 NFS 服務(wù)配置 PAGEREF _Toc8911424 h 33 HYPERLINK l _Toc8911425 2.4 DM 多路徑服務(wù)配置 PAGEREF _Toc8911425 h 34 HYPERLINK l _Toc8911426 3.1 NTP 服務(wù)配置 PAGEREF _Toc8911426 h 40 HYPERLINK l _Toc8911427 3.1.1 服務(wù)器端 NTP 服務(wù)設(shè)置 PAGEREF _Toc8911427 h 40 HYPERLINK l _Toc8911428 3.1.2 NTP 客戶端 PAGEREF _Toc8911428 h 4

7、0 HYPERLINK l _Toc8911429 4 SAP HANA DATABASE 安裝 PAGEREF _Toc8911429 h 43 HYPERLINK l _Toc8911430 4.1 安裝前準(zhǔn)備 PAGEREF _Toc8911430 h 43 HYPERLINK l _Toc8911431 4.1.1 獲取 HANA 軟件包 PAGEREF _Toc8911431 h 43 HYPERLINK l _Toc8911432 4.1.2 安裝 SAPHOSTAGENT(Optional) PAGEREF _Toc8911432 h 43 HYPERLINK l _Toc891

8、1433 4.1.3 配置 global.ini PAGEREF _Toc8911433 h 43 HYPERLINK l _Toc8911434 4.1.4 HANA 安裝路徑創(chuàng)建 PAGEREF _Toc8911434 h 45 HYPERLINK l _Toc8911435 4.2 SAP HANA DATABASE 安裝 PAGEREF _Toc8911435 h 46 HYPERLINK l _Toc8911436 4.2.1 Master 節(jié)點(diǎn)一鍵安裝 PAGEREF _Toc8911436 h 46 HYPERLINK l _Toc8911437 4.2.2 各節(jié)點(diǎn)逐個(gè)安裝 PA

9、GEREF _Toc8911437 h 54 HYPERLINK l _Toc8911438 4.3 數(shù)據(jù)庫(kù)安裝檢查 PAGEREF _Toc8911438 h 62 HYPERLINK l _Toc8911439 4.4 HANA 集群狀態(tài)檢查 PAGEREF _Toc8911439 h 64 HYPERLINK l _Toc8911440 5.0 system replication 切換過(guò)程 PAGEREF _Toc8911440 h 65 HYPERLINK l _Toc8911441 5.1 卸載前準(zhǔn)備 PAGEREF _Toc8911441 h 69 HYPERLINK l _To

10、c8911442 5.1.1 業(yè)務(wù)停止 PAGEREF _Toc8911442 h 69 HYPERLINK l _Toc8911443 5.1.2 數(shù)據(jù)備份 PAGEREF _Toc8911443 h 69 HYPERLINK l _Toc8911444 5.2 SAP HANA DATABASE 卸載 PAGEREF _Toc8911444 h 70 HYPERLINK l _Toc8911445 5.2.1 HANA DATABASE 逐節(jié)點(diǎn)卸載 PAGEREF _Toc8911445 h 701 總覽1.1文檔編制目的：建立規(guī)范的企業(yè)HANA項(xiàng)目實(shí)施總則。1.2主要受眾和使用說(shuō)明：面向

11、于整個(gè)SAP HANA項(xiàng)目小組。1.3適用范圍：本文適用于SAP HANA項(xiàng)目搭建。1 安裝規(guī)劃 1.1 硬件規(guī)劃 硬件規(guī)劃如表 1-1 所示。硬件型號(hào) 類型 說(shuō)明 X3950 X6 機(jī)架服務(wù)器 用于提供計(jì)算資源 DELL SC9000 存儲(chǔ)系統(tǒng) 提供 NFS 服務(wù)和存儲(chǔ)資源 CE6800 10GE 交換機(jī) 業(yè)務(wù)和 HA 組網(wǎng) / 域名服務(wù)器（可選） 提供 NTP 和 DNS 等服務(wù) / 管理交換機(jī)（可選） 提供設(shè)備管理組網(wǎng) 線纜 電源線 用于連接系統(tǒng)中物理設(shè)備或配置參數(shù) 保護(hù)地線 10GE 堆疊線纜以太網(wǎng)線纜光纖線纜 1.2 軟件規(guī)劃 軟件全稱（版本） 來(lái)源 說(shuō)明 SLES 12 SP1 F

12、or SAP /index.jsp SAP 定制化操作系統(tǒng) SAP HANA SP12（及以上） https:/websmp130.sap-ag. de/sap(bD1lbiZjPTAwMQ =)/bc/bsp/spn/swdc/sps/in dex.do?pvnr=01200314690 900003484&u=&smpsrv=h ttps%3a%2f%2fwebsmp10 4%2esap-ag%2ede&sessio n_id=saS00098975492013 0716101150SID%3aANOHANA 數(shù)據(jù)庫(kù)軟件 N%3apwdf4953_OW1_01 %3aM36ldzXYf4N

13、ccMdns iOINIn4-zCPRwBSn4kBH wZ5-ATT （含 SAP HANA CLINET SAP HANA STUDIO SAP HANA HOSTAGENT等） kernel-default-3.0.101-0.47/ Linux Kernel Batch .55.x86_64.rpm kernel-default-base-3.0.101-0.47.55.x86_64.rpm 1.3容量規(guī)劃表1-3 內(nèi)置盤規(guī)劃分區(qū) 文件系統(tǒng)類型 分區(qū)大小 來(lái)源 swap swap 20GB 本地（2*400GB RAID1） /boot/efi Ext4 148MB 本地（2*400G

14、B RAID1） /usr/sap Ext4 50GB 本地（2*400GB RAID1） / Ext4 126GB本地（2*400GB RAID1） /hana/shared nfs 1*RAM NFS /hana/data xfs 3*RAM SAN 存儲(chǔ) /hana/log xfs 1/2*RAM SAN 存儲(chǔ) 表1-4 SAN 存儲(chǔ)掛載規(guī)劃表分區(qū) 文件系統(tǒng)類型 分區(qū)大小 來(lái)源 說(shuō)明 /hana/data xfs 6TB SAN 存儲(chǔ) 供單個(gè) HANA 節(jié)點(diǎn)使用 /hana/log xfs 512GB SAN 存儲(chǔ) 供單個(gè) HANA 節(jié)點(diǎn)使用 表1-5 文件系統(tǒng)掛載規(guī)劃表 分區(qū) 文件系統(tǒng)

15、類型 分區(qū)大小 來(lái)源 說(shuō)明 /hana/shared nfs 1TB NFS 供整個(gè) HANA 集群使用 1.4 存儲(chǔ)規(guī)劃表1-6 硬盤域規(guī)劃硬盤域 ID 硬盤數(shù) 硬盤類型 DiskDomain_Shared 0 見(jiàn)配置說(shuō)明 SAS DiskDomain _Data 1 見(jiàn)配置說(shuō)明 SAS DiskDomain _Log 2 見(jiàn)配置說(shuō)明 SSD 表1-11 NFS 共享規(guī)劃 共享路徑 文件系統(tǒng) 客戶端名稱 類型 權(quán)限級(jí)別 寫入模式 權(quán)限限制 root 權(quán)限限制 /HANA_shared HANA_shared 42 主機(jī) 讀寫 異步 no_all_squash no_root_squash 4

16、3 主機(jī) 讀寫 異步 no_all_squash no_root_squash 44 主機(jī)讀寫異步no_all_squashno_root_squash45 主機(jī) 讀寫 異步 no_all_squash no_root_squash 共享規(guī)劃描述4節(jié)點(diǎn) 2T 內(nèi)存表1-12 LUN 規(guī)劃 ID 類型 容量 Cache策略 預(yù)取策略 LUN_Data_001 1 thick 6TB 默認(rèn) 不預(yù)取 LUN_Data_002 2 thick 4.5TB 默認(rèn) 不預(yù)取 LUN_Data_003 3 thick 6TB 默認(rèn) 不預(yù)取 LUN_Log_001 4 thick 512GB 默認(rèn) 智能預(yù)取 L

17、UN_Log_002 5 thick 512GB 默認(rèn) 智能預(yù)取 LUN_Log_003 6 thick 512GB 默認(rèn) 智能預(yù)取 表1-14 主機(jī)規(guī)劃名稱 操作系統(tǒng) IP 地址（可選） Bwpdb01Linux 42 Bwpdb02 Linux 43 Bwpdb03 Linux44Bwpdb04 Linux 45 Linux 系統(tǒng)中可以通過(guò)如下命令查看主機(jī)啟動(dòng)器相關(guān)信息查看 WWN 號(hào)：cat /sys/class/fc_host/host*/port_name查看 FC 端口狀態(tài)：cat /sys/class/fc_host/host*/port_state查看 FC 端口速率：cat

18、/sys/class/fc_host/host*/speed1.5 組網(wǎng)規(guī)劃圖1-1 組網(wǎng) 1.6 默認(rèn)參數(shù)默認(rèn)參數(shù)如表 1-19 和表 1-20 所示。 部件 參數(shù) 默認(rèn)值 X3950X6 服務(wù)器 iMM 管理模塊 默認(rèn) IP 地址：25 子網(wǎng)掩碼： 部件 參數(shù) 默認(rèn)值 DELL SC9000 存儲(chǔ) FC SAN 存儲(chǔ)陣列控制器 默認(rèn) IP 地址： 主控制器：01 備控制器：02 子網(wǎng)掩碼： 表1-19 默認(rèn) IP 地址參數(shù)表表1-20 默認(rèn)用戶參數(shù)表 部件 參數(shù) 說(shuō)明 示例 X3950 X6 IMM 管理模塊 WebUI、SSH、SNMP 的登錄用戶，通過(guò)串口或網(wǎng)口登錄 Username：

19、USERID Password：PASSW0RDDELL SC9000 存儲(chǔ)陣列 登錄 DELL SC9000 存儲(chǔ)陣列的賬戶及密碼 Username：AdminPassword： calvin1.7 安裝流程SAP HANA 集群安裝流程如圖 1-3 所示圖1-3 安裝流程1.8 密碼信息2 X3950 X6 方案部署2.1 安裝 OS 以鏡像安裝方式為例，介紹 Suse 12 SP1 for SAP 操作系統(tǒng)的操作過(guò)程2.1.1 安裝準(zhǔn)備確保需要安裝操作系統(tǒng)的 X3950 X6 服務(wù)器正常工作，在 iMM 管理頁(yè)面無(wú)告警 準(zhǔn)備一臺(tái)已安裝 windows 系統(tǒng)的 PC 機(jī)，用于訪問(wèn)服務(wù)器 獲

20、取 Linux 操作系統(tǒng) ISO 鏡像安裝文件（以 SLES 12 SP1 For SAP.iso 為例）2.1.2 BIOS 設(shè)置一、安裝前的準(zhǔn)備和環(huán)境檢查使用Web瀏覽器（建議使用Firefox）連接到X6服務(wù)器的iMM IP地址上（使用https協(xié)議），通過(guò)iMM Remote Control打開(kāi)服務(wù)器的控制臺(tái)，重啟機(jī)器按F1進(jìn)入U(xiǎn)EFI，查看并修改以下針對(duì)HANA進(jìn)行優(yōu)化的UEFI配置：System Settings - Operating Modes：Choose Operating Mode修改為Custom ModeMemory Power Management修改為Automa

21、ticC1 Enhance Mode修改為DisablePlatform Controlled Type修改為Maximum Performance修改完以上選項(xiàng)后，退到第一個(gè)界面選擇Save Settings，然后再繼續(xù)修改下面的設(shè)置。System Settings - Power：Active Energy Manager修改為Capping DisableWorkload Configuration修改為I/O sensitive10Gb Mezz Card Standby Power修改為DisableSystem Settings - Recovery and RAS - Disk

22、GPT Recovery：Disk GPT Recovery修改為NoneSystem Settings - Memory：Memory Mode確認(rèn)修改為Independent配置Lower Node（x3950 X6）的Slot2&3中的兩塊硬盤的RAID1，用來(lái)安裝操作系統(tǒng)：System Settings - Storage，選擇ServeRAID M5210卡（如果是x3950 X6會(huì)看到兩塊M5210卡，選擇Lower Node上的卡，通常是PCI ID數(shù)字小的那個(gè)卡）選擇Main Menu - Configuration Management - Create Profile Ba

23、sed Virtual Drive - Generic RAID 1，默認(rèn)選擇磁盤類型為SSD，需要修改為HDD。然后選擇Save Configuration并確認(rèn)。配置完成，保存退出UEFI。2.1.3 RAID 卡配置X3950 X6 SAP HANA 集群版服務(wù)器配置 2*400GB SAS 硬盤，在安裝 OS 之前需要通過(guò) RAID 卡把 2 個(gè) 400G 硬盤組 RAID1，然后再進(jìn)行系統(tǒng)安裝2.1.4 加載操作系統(tǒng) ISO 文件 在工具欄中，單擊彈出虛擬光驅(qū)對(duì)話框，如下圖所示。 圖3-17 虛擬光驅(qū)對(duì)話框 選中“Add Image ”，選擇 SLES 12 SP1 For SAP.

24、iso 鏡像文件，單擊“Connect”打開(kāi)虛擬光驅(qū)連接到服務(wù)器。2.1.5 安裝 OS通過(guò)WEBConsole 掛著系統(tǒng)光盤，進(jìn)入安裝界面后選擇 “SLES for SAP Applications Installation with external profile”回車，等待系統(tǒng)安裝完成。如下圖 圖3-1 登陸 IMM等待系統(tǒng)安裝完成進(jìn)行配置，如下圖。配置網(wǎng)絡(luò)及網(wǎng)關(guān)，主機(jī)信息。配置時(shí)區(qū)及時(shí)間。設(shè)置ROOT密碼。點(diǎn)擊完成，至此系統(tǒng)安裝完成。IMDB服務(wù)安裝進(jìn)入命令行使用 saphana-setup-saphana.py 安裝HANA IMDB系統(tǒng)。確認(rèn)license。選擇數(shù)據(jù)庫(kù)模式。配置R

25、AID信息。配置GPFS及HANA節(jié)點(diǎn)信息配置系統(tǒng)USER ID及GroupID選擇容器模式。設(shè)置用戶密碼安裝完成，用戶登錄 最后出現(xiàn)如下圖所示界面，至此 OS 安裝完成，輸入用戶名：“root”，按“Enter”，然后用安裝時(shí)候輸入的 root 密碼進(jìn)行登錄。 2.1.6 設(shè)置 Network IP 在 HANA 的環(huán)境中需要分配 1 個(gè)網(wǎng)段，配置 1 個(gè) 2*10GE 網(wǎng)卡進(jìn)行端口綁定操作，配置高可用網(wǎng)絡(luò)，規(guī)劃如下： Bond0：42，集群內(nèi)部網(wǎng)絡(luò)。使用X3950 X6服務(wù)器上的網(wǎng)卡的兩個(gè)10GE接口 配置網(wǎng)絡(luò) IP 地址，可以通過(guò)兩種途徑：1-系統(tǒng)管理界面配置；2-系統(tǒng)命令行配置。2.1

26、.7管理界面配置網(wǎng)絡(luò) IP 步驟 1 打開(kāi)桌面終端，輸入 yast2 回車，打開(kāi) yast 配置工具，如下圖所示：圖3-48 yast2 步驟 2 選擇 Network Settings 圖3-49 Network Settings 步驟 3 選擇 eth4，點(diǎn)擊 Edit SAP HANA 一體機(jī) 集群安裝指南 3 RH5885H V3 方案部署 步驟 文檔版本 02 (2016-01-28) 專有和保密信息 版權(quán)所有 技術(shù)有限公司 SAP HANA 一體機(jī) 集群安裝指南 3 RH5885H V3 方案部署 步驟 文檔版本 02 (2016-01-28) 專有和保密信息 版權(quán)所有 技術(shù)有限公

27、司 圖3-50 選擇 eth4，點(diǎn)擊 Edit 步驟 4 選擇 No Link and IP Setup (Bonding Slaves)，然后點(diǎn)擊 Next：圖3-51 選擇“No Link and IP Setup (Bonding Slaves)” 5 重復(fù)步驟 3、4，配置 eth5，完成后，如下所示： 圖3-52 eth4/eth5 配置完成 步驟 6 點(diǎn)擊 Add，添加 bond0，點(diǎn)擊 Next。 圖3-53 添加 bond0 7 配置 IP 地址、子網(wǎng)掩碼、主機(jī)名，然后選擇 Bond Slaves。 圖3-54 配置 IP、子網(wǎng)掩碼、主機(jī)名 步驟 8 在 Bond Slaves

28、 頁(yè)面，選擇物理端口（eth4、eth5），配置網(wǎng)絡(luò)參數(shù)為“mode=2 miimon=100”，然后點(diǎn)擊 Nex 完成 bond0 配置： 圖3-55 選擇 eth4、eth5，配置 Bond 參數(shù) 9 配置完成后，如下圖所示，然后點(diǎn)擊 OK，保存退出。 X3950 X6圖3-56 Bond0 配置完成 步驟 11 點(diǎn)擊選擇上行業(yè)務(wù)網(wǎng)口 bond0，然后選擇“Routing”頁(yè)面，在“Default Gateway”處，輸入所需要配置的網(wǎng)關(guān)：54然后點(diǎn)擊 OK 保存退出。 步驟 12 其他節(jié)點(diǎn)，類似配置即可。命令行界面配置網(wǎng)絡(luò) 2.2 SSH 互聯(lián)服務(wù)配置 （可選）SAP HANA 集群系統(tǒng)

29、中的服務(wù)器需要配置 SSH 互聯(lián)服務(wù)。在各節(jié)點(diǎn)的命令行模式下，依次執(zhí)行如下命令： ssh-keygen -t rsa ssh-keygen -t dsa ssh BWPDB01 echo $(cat /root/.ssh/id_dsa.pub) /root/.ssh/authorized_keys ssh BWPDB02 echo $(cat /root/.ssh/id_dsa.pub) /root/.ssh/authorized_keys ssh BWPDB04 echo $(cat /root/.ssh/id_dsa.pub) /root/.ssh/authorized_keys ssh

30、BWPDB01 echo $(cat /root/.ssh/id_rsa.pub) /root/.ssh/authorized_keys ssh BWPDB02 echo $(cat /root/.ssh/id_rsa.pub) /root/.ssh/authorized_keys ssh BWPDB04 echo $(cat /root/.ssh/id_rsa.pub) /root/.ssh/authorized_keys 2.3 NFS 服務(wù)配置 步驟 1 檢查 NAS 服務(wù)器共享路基設(shè)置： BWPDB01:/ # showmount -e 45 Export List for 45 Fi

31、leSystem_Shared * 步驟 2 NAS 服務(wù)器創(chuàng)建好共享文件系統(tǒng)后，執(zhí)行 mount nfs 操作： BWPDB01:/ # mkdir -p /hana/shared/ BWPDB01:/ # mount -t nfs, softintr,nolock,rsize=8296,wsize=8296,timeo=10 45:/FileSystem_Shared /hana/shared/ 步驟 3 查看 mount 情況，執(zhí)行命令如下： BWPDB01: # mount 45:/FileSystem_Shared on /hana/shared type nfs (rw,intr,

32、nolock,rsize=1024,wsize=1024,timeo=10,addr=45) 步驟 4 查看空間情況，執(zhí)行命令如下： BWPDB01: # df Filesystem 1K-blocks Used Available Use% Mounted on /dev/sda4 502496584 7969556 469001680 2% / udev 529332048 396 529331652 1% /dev tmpfs 529332048 72 529331976 1% /dev/shm /dev/sda2 1036108 93036 890440 10% /boot 45:/H

33、ANA_share 3355443200 14430208 3341012992 1% /hana/shared 步驟 5 重啟后自動(dòng) mount NFS 服務(wù)配置： 2.4 DM 多路徑服務(wù)配置 步驟 1 將 DM 服務(wù)設(shè)置為開(kāi)機(jī)自啟動(dòng) BWPDB01: # chkconfig -level 35 multipathd on BWPDB01: # chkconfig -list multipathd multipathd 0:off 1:off 2:off 3:on 4:off 5:on 6:off 步驟 2 配置/etc/multipath.conf 文件：該文件在安裝后不會(huì)自動(dòng)創(chuàng)建。使用

34、如下命令可以創(chuàng)建一個(gè) multipath.conf 的文件。 在 suse 操作系統(tǒng)上可以從以下目錄中拷貝一個(gè)模板，執(zhí)行命令如下： BWPDB01: # cp /usr/share/doc/packages/multipath-tools/multipath.conf.synthetic /etc/multipath.conf 步驟 4 重啟 DM 服務(wù)： BWPDB01: # service multipathd restart Shutting down multipathd done Starting multipathd 步驟 5 運(yùn)行 rescan-scsi-bus.sh 命令進(jìn)行設(shè)

35、備查找： BWPDB01: # rescan-scsi-bus.sh /usr/bin/rescan-scsi-bus.sh: line 647: : 1.11: integer expression expected Host adapter 0 (megaraid_sas) found. Host adapter 1 (ahci) found. Host adapter 2 (ahci) found. Host adapter 3 (ahci) found. Host adapter 4 (ahci) found. 步驟 6 加載 LUN： BWPDB01: # multipath -F

36、BWPDB01: # multipath -v2 BWPDB01: # multipath -ll 步驟 7 查找 LUN 的 wwid 信息使用如下命令查找對(duì)應(yīng) mapper 的 wwid 信息： BWPDB01: # ll /dev/mapper BWPDB01: # ll /dev/disk/by-id/ 步驟 8 更新 multipath.conf 文件的 wwid 信息 根據(jù)為 2.4 章節(jié) 步驟 6 中所生成的 Lun 信息，與本章節(jié)步驟 7 中所對(duì)掃描到的 LUN 信息的更新到 multipath.conf 文件中：BWPDB01: # vi /etc/multipath.con

37、f 步驟 9 重新加載 multipath BWPDB01: # multipath reload 步驟 10 為 DM 創(chuàng)建 xfs 文件系統(tǒng)，在一個(gè) node 上執(zhí)行即可。 通過(guò)命令：ll /dev/disks/by-id/，找到上述 6 個(gè) LUN 對(duì)應(yīng)到的 DM 設(shè)備，比如對(duì)應(yīng)到 dm-0， dm-1，dm-6，則執(zhí)行如下命令： bwpdb01: # mkfs.xfs /dev/mapper/datavol1 meta-data=/dev/mapper/datavol1 isize=256 agcount=33, agsize=50331520 blks = sectsz=4096 a

38、ttr=2, projid32bit=1 = crc=0 finobt=0data = bsize=4096 blocks=1610612736, imaxpct=5 = sunit=128 swidth=128 blksnaming =version 2 bsize=4096 ascii-ci=0 ftype=0log =internal log bsize=4096 blocks=521728, version=2 = sectsz=4096 sunit=1 blks, lazy-count=1realtime =none extsz=4096 blocks=0, rtextents=0b

39、wpdb01: # mkdfsfs.xfs /dev/mapper/logvol1 meta-data=/dev/mapper/logvol1 isize=256 agcount=16, agsize=8388480 blks = sectsz=4096 attr=2, projid32bit=1 = crc=0 finobt=0data = bsize=4096 blocks=134215680, imaxpct=25 = sunit=128 swidth=128 blksnaming =version 2 bsize=4096 ascii-ci=0 ftype=0log =internal

40、 log bsize=4096 blocks=65535, version=2 = sectsz=4096 sunit=1 blks, lazy-count=1realtime =none extsz=4096 blocks=0, rtextents=0wpdb02: # mkfs.xfs /dev/mapper/datavol2 meta-data=/dev/mapper/datavol2 isize=256 agcount=33, agsize=50331520 blks = sectsz=4096 attr=2, projid32bit=1 = crc=0 finobt=0data =

41、bsize=4096 blocks=1610612736, imaxpct=5 = sunit=128 swidth=128 blksnaming =version 2 bsize=4096 ascii-ci=0 ftype=0log =internal log bsize=4096 blocks=521728, version=2 = sectsz=4096 sunit=1 blks, lazy-count=1realtime =none extsz=4096 blocks=0, rtextents=0bwpdb02: # mkdfsfs.xfs /dev/mapper/logvol2 me

42、ta-data=/dev/mapper/logvol2 isize=256 agcount=16, agsize=8388480 blks = sectsz=4096 attr=2, projid32bit=1 = crc=0 finobt=0data = bsize=4096 blocks=134215680, imaxpct=25 = sunit=128 swidth=128 blksnaming =version 2 bsize=4096 ascii-ci=0 ftype=0log =internal log bsize=4096 blocks=65535, version=2 = se

43、ctsz=4096 sunit=1 blks, lazy-count=1realtime =none extsz=4096 blocks=0, rtextents=0bwpdb03: # mkfs.xfs/ /dev/mapper/datavol3 meta-data=/dev/mapper/datavol3 isize=256 agcount=33, agsize=50331520 blks = sectsz=4096 attr=2, projid32bit=1 = crc=0 finobt=0data = bsize=4096 blocks=1610612736, imaxpct=5 =

44、sunit=128 swidth=128 blksnaming =version 2 bsize=4096 ascii-ci=0 ftype=0log =internal log bsize=4096 blocks=521728, version=2 = sectsz=4096 sunit=1 blks, lazy-count=1realtime =none extsz=4096 blocks=0, rtextents=0bwpdb03: # mkdffs.xfd /des /dev/mapper/logvol3 meta-data=/dev/mapper/logvol3 isize=256

45、agcount=16, agsize=8388480 blks = sectsz=4096 attr=2, projid32bit=1 = crc=0 finobt=0data = bsize=4096 blocks=134215680, imaxpct=25 = sunit=128 swidth=128 blksnaming =version 2 bsize=4096 ascii-ci=0 ftype=0log =internal log bsize=4096 blocks=65535, version=2 = sectsz=4096 sunit=1 blks, lazy-count=1re

46、altime =none extsz=4096 blocks=0, rtextents=0 3 基礎(chǔ)服務(wù)配置安裝 SAP HANA DATABASE 之前，需要對(duì) HANA 節(jié)點(diǎn)進(jìn)行一系列的服務(wù)配置，以保證 SAP HANA DATABASE 能夠安裝成功。SAP HANA（X3950 X6+DELL SC9000）環(huán)境中使用服務(wù)器作為 NTP 和 DNS 服務(wù)器，若客戶現(xiàn)場(chǎng)環(huán)境已包含 NTP 和 DNS 服務(wù)器，則直接復(fù)用現(xiàn)場(chǎng)環(huán)境。服務(wù)器端的配置文件參數(shù)需要根據(jù)實(shí)際情況進(jìn)行修改。3.1 NTP 服務(wù)配置 3.1.1 服務(wù)器端 NTP 服務(wù)設(shè)置 獨(dú)立的 NTP 服務(wù)器 強(qiáng)烈建議設(shè)置一臺(tái)獨(dú)立于集

47、群的 NTP 服務(wù)器，用于集群各服務(wù)器及存儲(chǔ)的時(shí)間同步。 步驟 1 確定 NTP 服務(wù)器，如為 AD server，IP 地址為: 3.1.2 NTP 客戶端步驟 1 設(shè)置 NTP 開(kāi)機(jī)自啟動(dòng)BWPDB01: # chkconfig ntp on 如果有獨(dú)立的 NTP 服務(wù)器 ，則在各個(gè)集群節(jié)點(diǎn)上執(zhí)行： BWPDB01: # vi /etc/ntp.conf #Add the following configurations: server 步驟 2 重啟 NTP 服務(wù)： HW00010: # service ntp restart Shutting down network time pro

48、tocol daemon (NTPD) done Starting network time protocol daemon (NTPD) done 步驟 3 查看 NTP 服務(wù)器狀態(tài)： 或： 步驟 4 手動(dòng)配置 NTP 同步： BWPDB01: # rcntp ntptimeset Time synchronized with 步驟 5 配置自動(dòng)同步： BWPDB01: # crontab -e */15 * * * * /usr/sbin/rcntp ntptimeset & /dev/null; /sbin/hwclock -w 4 SAP HANA DATABASE 安裝 4.1 安裝

49、前準(zhǔn)備 4.1.1 獲取 HANA 軟件包 下載所需 HANA 軟件。或者由客戶提供。使用./SAPCAR -xvf 命令對(duì) IMDB 壓縮包進(jìn)行解壓。 ./SAPCAR -xvf IMC_SERVER_1.00.121.00.1466466057.SAR 本指導(dǎo)以HANA SP12（1.00.121.00.1466466057 ）版本進(jìn)行安裝。 4.1.2 安裝 SAPHOSTAGENT(Optional) 切換到 SAPHOSTAGENT 安裝目錄， 執(zhí)行命令：./saphostexec install 最新版的SAPHOSTAGENT軟件已更新安裝方式，解壓后為 rpm包，直接執(zhí)行rpm

50、安裝命令即可。而對(duì)于最新版本的 HANA 數(shù)據(jù)庫(kù)，則可以在只用數(shù)據(jù)庫(kù)安裝命令參數(shù)配置，直接進(jìn)行安裝。 4.1.3 配置 global.ini 拷貝一份 global.ini 到/hana/shared/目錄下，我們需要修改其中的“Storage HA configuration”，“Persistence configuration”和 “Communication”這三部分。 步驟 1 Storage HA configuration # # Storage HA configuration # .short_desc # name of python HA provider script

51、storage ha_provider = hdb_ha.fcClient # ha_provider_path = /hana/shared/ # these parameters name the WWIDs of the devices for each partition/usage_type combination # if you have more nodes, add your LUNs here. # for proper usage, replace the . with specified WWID in your system. partition_*_*_prType

52、 = 5 partition_1_data_alias = datavol1partition_1_log_alias = logvol1partition_2_data_alias = datavol2partition_2_log_alias = logvol2partition_3_data_alias = datavol3partition_3_log_alias = logvol3 #Set mount parameters. partition_*_data_mountoptions = -o noatime,nodiratime partition_*_log_mountopti

53、ons = -o noatime,nodiratime 步驟 2 Persistence configuration 更改為實(shí)際的數(shù)據(jù)庫(kù) SID：# # Persistence configuration # persistence basepath_datavolumes=/hana/data/HBP/ basepath_logvolumes=/hana/log/HBP/ basepath_shared=yes 步驟 3 Communication configuration 更改為實(shí)際的內(nèi)部網(wǎng)絡(luò) IP 地址及主機(jī)名。# # Communication # communication lis

54、teninterface = .global internal_hostname_resolution 42 = BWPDB01 43 = BWPDB02 44 = BWPDB03 45 = BWPDB04 詳細(xì)配置請(qǐng)參考第 附錄 A global.ini 配置。 4.1.4 HANA 安裝路徑創(chuàng)建使用如下命令，創(chuàng)建數(shù)據(jù)庫(kù)永久路徑（在多個(gè)節(jié)點(diǎn)上遍歷執(zhí)行），其中 HBP 為實(shí)際安裝的數(shù)據(jù)庫(kù) SID：BWPDB01: # mkdir -p /hana/data/HBP /hana/log/HBP BWPDB01: # chmod o+w /hana/data/HBP /hana/log/HBP B

55、WPDB02: # mkdir -p /hana/data /hana/log/HBP BWPDB02: # chmod o+w /hana/data/HBP /hana/log/HBP BWPDB03: # mkdir -p /hana/data /hana/log/HBP BWPDB03: # chmod o+w /hana/data/HBP /hana/log/HBP BWPDB04: # mkdir -p /hana/data /hana/log/HBP BWPDB04: # chmod o+w /hana/data/HBP /hana/log/HBP 4.2 SAP HANA DAT

56、ABASE 安裝 針對(duì) HANA 集群，數(shù)據(jù)庫(kù)的安裝可以通過(guò) 2 種方式來(lái)完成： 一鍵命令分布式安裝，即通過(guò)主節(jié)點(diǎn)，使用分布式安裝命令，將整個(gè)數(shù)據(jù)庫(kù)在整個(gè)集群上完成安裝。 各節(jié)點(diǎn)分別逐個(gè)安裝，即先安裝 Master 節(jié)點(diǎn)，然后安裝 Slave 節(jié)點(diǎn)，最后安裝 Standby 節(jié)點(diǎn)?，F(xiàn)對(duì)上述兩種操作，分別進(jìn)行演示。4.2.1 Master 節(jié)點(diǎn)一鍵安裝 以 SP10_100.0 版本數(shù)據(jù)庫(kù)為例，說(shuō)明各節(jié)點(diǎn)逐一安裝步驟。 用“cd”命令切換目錄到 SAP HANA 數(shù)據(jù)庫(kù)文件夾拷貝所在的目錄下面，如下：（具體密碼及參數(shù)以具體環(huán)境為準(zhǔn)） BWPDB01: /hana/shared/51049354/

57、DATA_UNITS/HDB_LCM_LINUX_X86_64/ # ./hdblcm -action=install -sid=HBP -number=00 -sapmnt=/hana/shared/ -storage_cfg=/hana/shared/ -root_user=root -autostart=on -restrict_max_mem=off -max_mem=0 -logpath=/hana/log/HBP -nostart=off -datapath=/hana/data/HBP -shell=/bin/sh -hostname=BWPDB01 -remote_execut

58、ion=ssh -install_hostagent=on -db_mode=singledb -install_ssh_key=on -addhosts=BWPDB02:role=worker:group=default:storage_partition=2,BWPDB03:role=worker: group=default:storage_partition=3,BWPDB04:rol e=standby:group=default -password=Handhand0 -system_user_password=Handhand0 -root_password=Passw0rd -

59、internal_network=/24 安裝過(guò)程參考如下，參數(shù)選擇項(xiàng)由客戶指定： SAP HANA Lifecycle Management - SAP HANA 1.00.121.00.1466466057 * Scanning Software Locations. Detected components: SAP HANA Database (1.00.121.00.1466466057) in /hana/shared/51049932_SP10_100/DATA_UNITS/HDB_SERVER_LINUX_X86_64/server SAP HANA AFL (Misc) (1.

60、00.100.00.1434529984) in /hana/shared/51049932_SP10_100/DATA_UNITS/HDB_AFL_LINUX_X86_64/packages SAP HANA LCAPPS (1.00.100.000.454467) in /hana/shared/51049932_SP10_100/DATA_UNITS/HANA_LCAPPS_10_LINUX_X86_64/p ackages SAP TRD AFL FOR HANA (1.00.100.00.1434529984) in /hana/shared/51049932_SP10_100/DA