Greenplum安裝手冊--完善版

1、Greenplum數(shù)據(jù)庫安裝手冊 Greenplum數(shù)據(jù)庫安裝手冊 目 錄第一章文檔概述51.1適用范圍51.2文檔說明5第二章安裝前準(zhǔn)備62.1網(wǎng)絡(luò)規(guī)劃62.2存儲空間規(guī)劃62.3數(shù)據(jù)庫實(shí)例規(guī)劃7第三章安裝介質(zhì)83.1Redhat83.1.1系統(tǒng)補(bǔ)丁83.1.2Greenplum安裝介質(zhì)93.1.3操作系統(tǒng)建議9第四章操作系統(tǒng)準(zhǔn)備104.1修改主機(jī)名104.2修改/etc/hosts文件104.3關(guān)閉相關(guān)服務(wù)124.4修改系統(tǒng)參數(shù)（Redhat）124.4.1修改系統(tǒng)參數(shù)/etc/sysctl.conf124.4.2修改系統(tǒng)參數(shù)/etc/security/limits.conf134.4.3

2、修改磁盤預(yù)讀參數(shù)144.4.4修改配置/boot/grub/menu.lst144.4.5修改配置/etc/sysconfig/language144.5啟動IPMI服務(wù)154.6修改啟動配置154.7關(guān)閉非必要的服務(wù)154.8重啟各臺服務(wù)器16第五章建立數(shù)據(jù)目錄175.1Linux系統(tǒng)采用XFS文件系統(tǒng)175.1.1Master 和Standby Master主機(jī)175.1.2Segment 主機(jī)17第六章MASTER安裝GREENPLUM186.1運(yùn)行安裝文件186.2配置hostname文件（用于建立多機(jī)信任）18第七章建立多機(jī)信任207.1root用戶建立多機(jī)信任207.2建立用戶和組

3、207.3修改gpadmin用戶配置217.4gpadmin用戶建立多機(jī)信任21第八章時(shí)鐘同步22第九章其他機(jī)器安裝GREENPLUM249.1配置hostname文件249.2方法一（4.0版本以上支持，推薦使用）249.3方法二（4.0版本一下使用）24第十章系統(tǒng)檢查2610.1參數(shù)配置檢查（非必要）2610.2性能檢查2610.2.1網(wǎng)絡(luò)性能檢查2610.2.2磁盤性能檢查27第十一章初始化數(shù)據(jù)庫2911.1配置文件2911.1.1Greenplum4.x版本2911.2實(shí)例列表all_segs3011.3初始化數(shù)據(jù)庫3011.4修改訪問權(quán)限31第十二章安裝COMMAND CENTER3

4、212.1安裝Agent3212.2安裝CommandCenter控制臺32第十三章AIX下安裝工具包34第十四章附錄3514.1dd測試3514.2多次初始化3514.3反復(fù)初始化數(shù)據(jù)庫3514.4安裝后修改數(shù)據(jù)庫參數(shù)（非必要）3614.5安裝Greenplum clients3714.6安裝Greenplum loader3714.7安裝后數(shù)據(jù)測試3814.8TableSpace使用4214.8.1創(chuàng)建TableSpace4214.8.2TableSpace合理使用4414.9常見問題處理4414.9.1字符集問題處理4414.9.2重新建立多機(jī)信任密鑰問題45第一章 文檔概述1.1 適用

5、范圍1、 本安裝手冊所涉及到的操作系統(tǒng)相關(guān)參數(shù)調(diào)整，主要針對Redhat Linux操作系統(tǒng)，其他操作系統(tǒng)（如：SUSE、Solaris等）參數(shù)配置上會存在差異，后續(xù)逐步補(bǔ)充完善。1.2 文檔說明1、 下文紅色字體部分，如無特殊說明則表示命令執(zhí)行時(shí)是需要根據(jù)實(shí)際情況進(jìn)行修改才可以執(zhí)行。第二章 安裝前準(zhǔn)備2.1 網(wǎng)絡(luò)規(guī)劃Greenplum數(shù)據(jù)庫系統(tǒng)常見的拓?fù)鋱D如上圖所示，由Master主機(jī)和Segment主機(jī)組成。Master主機(jī)和Segment主機(jī)之間會組成一個(gè)內(nèi)部網(wǎng)絡(luò)（LAN）。為了充分發(fā)揮Greenplum數(shù)據(jù)庫并行處理的性能，對網(wǎng)絡(luò)帶寬要求較高。服務(wù)器會配置多個(gè)網(wǎng)卡，內(nèi)部網(wǎng)需要配置多個(gè)網(wǎng)

6、段的IP。需要對外連接的服務(wù)器需配置外部IP。建議在Greenplum數(shù)據(jù)庫系統(tǒng)安裝之前，把網(wǎng)絡(luò)配置規(guī)劃好。2.2 存儲空間規(guī)劃首先，需要評估目標(biāo)數(shù)據(jù)庫數(shù)據(jù)所需要的空間容量。建議了解客戶搭建Greenplum數(shù)據(jù)庫的具體應(yīng)用。舉例：估計(jì)數(shù)據(jù)庫所需空間為U，數(shù)據(jù)庫需要啟用Mirror，磁盤陣列總可用空間為D（Raid之后）?？臻g規(guī)劃服務(wù)和如下公式：2 * U + U / 3 = D * 70%磁盤空間D平均分配到各個(gè)Segment服務(wù)器上。Master需要相應(yīng)的空間。使用服務(wù)器內(nèi)置硬盤的計(jì)算方式類似。2.3 數(shù)據(jù)庫實(shí)例規(guī)劃規(guī)劃每個(gè)Segment服務(wù)器上建立的數(shù)據(jù)庫實(shí)例的數(shù)量（instance數(shù)量

7、），通常建議每2個(gè)CPU內(nèi)核（core）對應(yīng)一個(gè)數(shù)據(jù)庫實(shí)例。如 ：2*4核CPU的服務(wù)區(qū)，可配置4個(gè)實(shí)例。第三章 安裝介質(zhì)3.1 Redhat3.1.1 系統(tǒng)補(bǔ)丁1. gcc yum -y install gcc; yum -y install gcc-c+; yum install make2. scp yum install openssh-clients3. ed yum install ed 重要！4. 若使用gpconfig命令，需要安裝perl yum install perl3.1.2 Greenplum安裝介質(zhì)GP安裝介質(zhì)需根據(jù)實(shí)際需要從Download Center上下載對應(yīng)

8、的版本。名稱安裝文件備注Greenplum主安裝包Network.pivotal.io安裝前請先確定所要安裝的具體版本。在Master服務(wù)器安裝Greenplum Web Monitor工具安裝包Network.pivotal.io同上Greenplum clients 安裝包Network.pivotal.io安裝前請先確定所要安裝的具體版本。在ETL服務(wù)器中安裝Greenplum loader 安裝包Network.pivotal.io安裝前請先確定所要安裝的具體版本。在ETL服務(wù)器中安裝Greenplum安裝包可提前執(zhí)行，可利用其gpscp、gpssh等工具。3.1.3 操作系統(tǒng)建議Se

9、gment節(jié)點(diǎn)建議不安裝X-Windows, Gnome, KDE, and Printers。第四章 操作系統(tǒng)準(zhǔn)備4.1 修改主機(jī)名修改各臺主機(jī)的主機(jī)名稱。一般建議的命名規(guī)則如下：Master：mdwStandby Master：smdwSegment Host：sdw1、sdw2sdwn修改操作：1、hostname mdw2、修改 /etc/sysconfig/network 或者/etc/hostname 配置文件中的hostname4.2 修改/etc/hosts文件通常Master和Standby Master主機(jī)都配置外部IP和內(nèi)部IP。Segment主機(jī)可只配置內(nèi)部IP。所有主

10、機(jī)的hosts文件內(nèi)容必須保持一致。如下為配置例子：21.104.138.21 mdw-ext1192.168.1.254 mdw-1 mdw192.168.2.254 mdw-2192.168.3.254 mdw-3192.168.4.254 mdw-4192.168.5.254 mdw-5192.168.6.254 mdw-621.104.138.22 smdw-ext1192.168.1.253 smdw-1 smdw192.168.2.253 smdw-2192.168.3.253 smdw-3192.168.4.253 smdw-4192.168.5.253 smdw-5192.16

11、8.6.253 smdw-621.104.138.23 sdw1-ext1loghost192.168.1.1 sdw1-1 sdw1192.168.2.1 sdw1-2192.168.3.1 sdw1-3192.168.4.1 sdw1-4192.168.5.1 sdw1-5192.168.6.1 sdw1-621.104.138.24 sdw2-ext1192.168.1.2 sdw2-1 sdw2192.168.2.2 sdw2-2192.168.3.2 sdw2-3192.168.4.2 sdw2-4192.168.5.2 sdw2-5192.168.6.2 sdw2-621.104.

12、138.25 sdw3-ext1192.168.1.3 sdw3-1 sdw3192.168.2.3 sdw3-2192.168.3.3 sdw3-3192.168.4.3 sdw3-4192.168.5.3 sdw3-5192.168.6.3 sdw3-621.104.138.26 sdw4-ext1192.168.1.4 sdw4-1 sdw4192.168.2.4 sdw4-2192.168.3.4 sdw4-3192.168.4.4 sdw4-4192.168.5.4 sdw4-5192.168.6.4 sdw4-64.3 關(guān)閉相關(guān)服務(wù)【涉及機(jī)器】：所有服務(wù)器關(guān)閉防火墻service

13、iptables saveservice iptables stopchkconfig iptables offservice ip6tables saveservice ip6tables stopchkconfig ip6tables off針對RedHat7.0以上的關(guān)閉防火墻命令：systemctl disable firewalldsystemctl stop firewalld【需要關(guān)閉iptables防火墻】 查看防火墻狀態(tài)： /etc/init.d/iptablesstatusRedHat7.0以上的版本，查看防火墻狀態(tài)的命令：systemctl status firewall

14、d4.4 修改系統(tǒng)參數(shù)（Redhat）【涉及機(jī)器】：所有服務(wù)器使用root用戶進(jìn)行修改，重啟后生效。4.4.1 修改系統(tǒng)參數(shù)/etc/sysctl.conf（Sysctl是一個(gè)允許您改變正在運(yùn)行中的Linux系統(tǒng)的接口。它包含一些 TCP/IP 堆棧和虛擬內(nèi)存系統(tǒng)的高級選項(xiàng)）kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 512000 100 2048kernel.sysrq = 1kernel.core_uses_pid = 1kernel.msgmnb = 655

15、36kernel.msgmax = 65536net.ipv4.tcp_syncookies = 1net.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.all.arp_filter = 1net.ipv4.conf.default.arp_filter = 1dev_max_backlog = 10000vm.overcommit_memory = 2kerne

16、l.msgmni = 2048net.ipv4.ip_local_port_range = 1025 655354.4.2 修改系統(tǒng)參數(shù)/etc/security/limits.conf* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072在RHEL6.x版本需要修改文件/etc/security/limits.d/90-nproc.conf，增加如下內(nèi)容：* soft nproc 131072* hard nproc 131072centos7修改/etc/security/limits.d/2

17、0-nproc.conf* soft nproc 65536root soft nproc unlimited不把這些參數(shù)調(diào)大的話并發(fā)一上去就報(bào)錯(cuò)4.4.3 修改磁盤預(yù)讀參數(shù)在參數(shù)文件/etc/rc.d/rc.local中增加blockdev -setra 65536 /dev/sd* （紅色部分為數(shù)據(jù)目錄所在的磁盤，如/dev/sda, /dev/sdb等）chmod +x /etc/rc.d/rc.local臨時(shí)生效blockdev -getra 65536 /dev/sd*4.5 關(guān)閉selinux【永久性關(guān)閉selinux】sed -i s/SELINUX=enforcing/SELI

18、NUX=disabled/ /etc/selinux/config【臨時(shí)關(guān)閉】臨時(shí)關(guān)閉setenforce 04.6 重啟各臺服務(wù)器必須完成上述步驟之后，才重啟各臺服務(wù)器。第五章 建立數(shù)據(jù)目錄5.1 Linux系統(tǒng)采用XFS文件系統(tǒng)5.1.1 Master 和Standby Master主機(jī)注：紅字根據(jù)具體情況而改變1、分區(qū)及格式化：mkfs.xfs /dev/sda3 或者 mkfs -t xfs /dev/sda3或者 mkfs -f xfs /dev/sda3mkdir -p /data/master （Master數(shù)據(jù)目錄）（在根目錄上創(chuàng)建一個(gè)data文件夾在這個(gè)文件夾下面創(chuàng)建一個(gè)ma

19、ster文件夾）2、在/etc/fstab文件中增加(如何配置添加)/dev/sda3 /data xfs rw,noatime,inode64,allocsize=16m 1 1把/data/master 賦予777權(quán)限r(nóng)eboot5.1.2 Segment 主機(jī)注：紅字根據(jù)具體情況而改變1、分區(qū)及格式化：mkfs.xfs /dev/sda2 或者 mkfs -t xfs /dev/sda2mkfs.xfs /dev/sdb2mkdir /data1 （Segment數(shù)據(jù)目錄，可根據(jù)實(shí)例和分配空間不同規(guī)劃不同的目錄）mkdir /data2把/data/ 賦予777權(quán)限2、在/etc/fst

20、ab文件中增加/dev/sda2 /data1 xfs rw,noatime,inode64,allocsize=16m 1 1/dev/sdb2 /data2 xfs rw,noatime,inode64,allocsize=16m 1 1reboot第六章 Master安裝Greenplum6.1 運(yùn)行安裝文件（這步可提前執(zhí)行）【安裝機(jī)器】：Master主機(jī)如果是壓縮文件則先解壓：unzip greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.zip/bin/bash greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin

21、安裝完成后修改root用戶home的/.bashrc配置文件，增加source /usr/local/greenplum-db/greenplum_path.sh6.2 配置hostname文件（用于建立多機(jī)信任）【安裝機(jī)器】：master機(jī)器建議：在安裝目錄下新建gpconfigs目錄。包含所有master和segment主機(jī)名和別名的文件。多網(wǎng)卡可能如下：hostfile_exkeys:mdwmdw-1smdwsmdw-1sdw1-1sdw1-2sdw2-1sdw2-2單網(wǎng)卡可能如下：hostfile_exkeys:mdwsmdwsdw1sdw2sdw3sdw4建立all_hosts_on

22、ly,只包含主機(jī)名，不包含各個(gè)網(wǎng)段對應(yīng)的hostname，用于gpssh命令。all_hosts_onlymdwsmdwsdw1sdw2sdw3sdw4第七章 建立多機(jī)信任7.1 root用戶建立多機(jī)信任source /usr/local/greenplum-db/greenplum_path.sh建立多機(jī)信任：gpssh-exkeys -f ./hostfile_exkeys對于RHEL6.x版本，建議先關(guān)閉一個(gè)環(huán)境變量再做多機(jī)互信unset OPENSSL_CONFps:如建立多機(jī)信任時(shí)出現(xiàn)permission denied(publickey.gssapi-with-mic)或者類似的錯(cuò)

23、誤，需要修改每臺機(jī)器的/etc/ssh/sshd_config文件，去掉PermitRootLogin前的#，并把對應(yīng)的值改為yes，RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile.ssh/authorized_keys默認(rèn)是用的22端口，如果22端口沒開建議先打開22端口7.2 建立用戶和組gpssh -f ./all_hosts_only=groupadd -g 3030 gpadmin=groupadd -g 3040 gpmon=useradd -u 3030 -g gpadmin -m -s /bin/b

24、ash gpadmin =useradd -u 3040 -g gpmon -m -s /bin/bash gpmon=echo gpadmin | passwd gpadmin -stdin =echo gpmon | passwd gpmon -stdin=chown -R gpadmin:gpadmin /data （修改數(shù)據(jù)目錄用戶和組）Data為數(shù)據(jù)庫文件的目錄7.3 修改gpadmin用戶配置使用gpadmin用戶操作【Master和Standby Master主機(jī)】：修改 /.bashrc文件，添加如下內(nèi)容：source /usr/local/greenplum-db/green

25、plum_path.shMASTER_DATA_DIRECTORY=/data/master/gpseg-1export MASTER_DATA_DIRECTORY （gpstart默認(rèn)啟動的目錄）使用gpadmin用戶操作【Segment主機(jī)】：修改 /.bashrc文件，添加如下內(nèi)容：source /usr/local/greenplum-db/greenplum_path.sh7.4 gpadmin用戶建立多機(jī)信任 使用gpadmin用戶在Master主機(jī)上操作gpssh-exkeys -f ./hostfile_exkeys（提示密碼，輸入gpadmin）#默認(rèn)的密碼對于RHEL6.x

26、版本，建議先關(guān)閉一個(gè)環(huán)境變量再做多機(jī)互信unset OPENSSL_CONF第八章 時(shí)鐘同步使用root用戶進(jìn)行操作，涉及所有服務(wù)器。Greenplum推薦使用NTP（Network Time Protocol）同步各臺主機(jī)的時(shí)鐘。建議設(shè)置一臺獨(dú)立的時(shí)鐘服務(wù)器。yum install ntp ?ntpd1、Master服務(wù)器配置與時(shí)鐘服務(wù)器同步。修改配置文件/etc/ntp.conf后，啟動ntpd服務(wù)。舉例：配置文件增加：server 10.6.220.20啟動服務(wù)：service ntpd startchkconfig ntpd on如果沒有獨(dú)立的時(shí)鐘服務(wù)器，則應(yīng)該以Master服務(wù)器做內(nèi)

27、部的時(shí)鐘服務(wù)器，Master就可以不用修改ntp.conf配置文件，直接啟動ntpd服務(wù)即可。2、所有Segment服務(wù)器優(yōu)先與Master服務(wù)器同步，其次與Standby Master服務(wù)器同步。修改配置文件/etc/ntp.conf后，重啟ntpd服務(wù)。配置文件增加：server mdw preferserver smdw啟動服務(wù)：service ntpd startchkconfig ntpd on3、Standby Master服務(wù)器優(yōu)先與Master服務(wù)器，其次與時(shí)鐘服務(wù)器同步。修改配置文件/etc/ntp.conf后，重啟ntpd服務(wù)。配置文件增加：server mdw prefe

28、rserver 10.6.220.20 （時(shí)鐘服務(wù)器舉例）啟動服務(wù)：service ntpd startchkconfig ntpd on如果沒有獨(dú)立的時(shí)鐘服務(wù)器，第二行不用配置。4、檢查時(shí)鐘同步結(jié)果（需要等幾分鐘，時(shí)鐘才會自動同步）gpssh -f ./all_hosts_only=date （查看各臺服務(wù)器時(shí)間是否一致）第九章 其他機(jī)器安裝Greenplum9.1 配置hostname文件其他機(jī)器的安裝主要操作時(shí)把安裝在Master主機(jī)上的GP安裝文件打包傳到其他各臺機(jī)器中。因此，需要配置一個(gè)hostname文件包含Standbymaster和各臺Segment主機(jī)，配置文件stby_al

29、l_segs內(nèi)容參考如下：smdwsmdw-1sdw1-1sdw1-2sdw2-1sdw2-29.2 方法一（4.0版本以上支持，推薦使用）安裝gzip，chmod 777 /usr/local在Master主機(jī)上，使用root用戶操作：gpseginstall -f ./stby_all_segs -p gpadmin9.3 方法二（4.0版本一下使用）在Master主機(jī)上，使用root用戶操作：cd /usr/local （安裝目錄）tar -cvf /usr/local/gp.tar greenplum-db-3.3.7.6 （tar安裝文件目錄）gpscp -f ./stby_all_

30、segs /home/gpadmin/gp.tar =:/usr/localgpssh -f ./stby_all_segs=tar -directory /usr/local -xvf /usr/local/gp.tar=ls /usr/local/greenplum-db-3.3.7.6=ln -s /usr/local/greenplum-db-3.3.7.6 /usr/local/greenplum-db=chown -R gpadmin:gpadmin /usr/local/greenplum-db=rm /usr/local/gp.tar第十章 系統(tǒng)檢查在Master上使用gpad

31、min用戶登錄執(zhí)行系統(tǒng)檢查10.1 參數(shù)配置檢查（非必要）配置all_hosts_single文件內(nèi)容如下：sdw1sdw2sdw3sdw4gpcheck -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -m mdw -s smdw核對并修改下你感應(yīng)系統(tǒng)參數(shù)。10.2 性能檢查10.2.1 網(wǎng)絡(luò)性能檢查網(wǎng)絡(luò)性能測試需要每個(gè)網(wǎng)段分別進(jìn)行測試，按照4個(gè)Segment Host和2個(gè)網(wǎng)絡(luò)為例，首先配置如下兩個(gè)配置文件：all_net_1文件：sdw1-1sdw2-1sdw3-1sdw4-1all_net_2文件：sdw1-2sdw2-2sd

32、w3-2sdw4-2然后分別針對兩個(gè)網(wǎng)段繼續(xù)測試：gpcheckperf -f /usr/local/greenplum-db/gpconfigs/all_net_1 -r N -d /tmp checknetwork.outgpcheckperf -f /usr/local/greenplum-db/gpconfigs/all_net_2 -r N -d /tmp checknetwork.out10.2.2 磁盤性能檢查測試磁盤性能主要針對Segment Host進(jìn)行測試。因此配置一個(gè)all_segs的文件進(jìn)行測試，并且指定多個(gè)目錄啟動并發(fā)測試，測試結(jié)果會更好。all_seg配置文件內(nèi)容舉

33、例如下（與數(shù)據(jù)庫初始化可用同一配置文件）：sdw1-1sdw1-2sdw1-3sdw1-4sdw2-1 sdw2-2sdw2-3sdw2-4sdw3-1 sdw3-2sdw3-3sdw3-4sdw4-1 sdw4-2sdw4-3sdw4-4執(zhí)行如下命令進(jìn)行測試：內(nèi)存及磁盤：gpcheckperf -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -r ds -D -d /data1/primary -d /data2/primary -d /data1/mirror -d /data2/mirror checkio.out 磁盤：gpc

34、heckperf -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -r d -D -d /data1/primary -d /data2/primary -d /data1/mirror -d /data2/mirror某臺機(jī)磁盤檢查：gpcheckperf -h sdw6 -h sdw7 -h sdw8 -h sdw9 -h sdw10 -r d -D -d /data1/primary -d /data2/primary -d /data1/mirror -d /data2/mirror檢查磁盤IO的目標(biāo)目錄是數(shù)據(jù)庫的數(shù)據(jù)文件目錄

35、，測試工具會寫入系統(tǒng)內(nèi)存的兩倍大小的數(shù)據(jù)量。第十一章 初始化數(shù)據(jù)庫在Master上使用gpadmin用戶登錄執(zhí)行系統(tǒng)檢查11.1 配置文件請注意，Greenplum3.x版本和4.x版本的初始化配置文件格式存在差異，配置時(shí)建議從 $GPHOME/docs/cli_help/gpconfigs/ 目錄中獲取樣例文件，然后進(jìn)行修改。11.1.1 Greenplum4.x版本獲取配置文件樣例：cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config $GPHOME/gpconfigs/修改配置文件：ARRAY_NAME=EMC Greenplum

36、DWSEG_PREFIX=gpsegPORT_BASE=40000 declare -a DATA_DIRECTORY=(/data1 /data1 /data1 /data1) /主實(shí)例MASTER_HOSTNAME=mdw /主機(jī)名MASTER_DIRECTORY=/data/master MASTER_PORT=5432 TRUSTED_SHELL=sshCHECK_POINT_SEGMENT=8ENCODING=UNICODEMIRROR_PORT_BASE=50000REPLICATION_PORT_BASE=41000MIRROR_REPLICATION_PORT_BASE=510

37、00declare -a MIRROR_DATA_DIRECTORY=(/data2 /data2 /data2 /data2) /備實(shí)例MACHINE_LIST_FILE=/usr/local/greenplum-db/gpconfigs/all_segs /segment主機(jī)列表文件11.2 實(shí)例列表all_segs只列出各個(gè)網(wǎng)段IP的主機(jī)名稱，不能添加sdw1、sdw2等sdw1-1sdw1-2sdw1-3sdw1-4sdw2-1 sdw2-2sdw2-3sdw2-4sdw3-1 sdw3-2sdw3-3sdw3-4sdw4-1 sdw4-2sdw4-3sdw4-411.3 初始化數(shù)據(jù)庫

38、gpinitsystem -c /usr/local/greenplum-db/gpconfigs/gpinitsystem_config -s mdw11.4 修改訪問權(quán)限 作用 ：修改Master數(shù)據(jù)目錄（MASTER_DATA_DIRECTORY）下pg_hba.conf文件。需要了解客戶實(shí)際情況，有多少客戶端的IP地址以及角色需要訪問數(shù)據(jù)庫。舉例如下：host all gpadmin 10.32.38.0/16 trust 數(shù)據(jù)庫名 角色名 客戶端IP范圍 認(rèn)證方法數(shù)據(jù)庫名：可指定具體的數(shù)據(jù)庫名稱，也可使用all；角色名：可指定具體的數(shù)據(jù)庫角色名稱，也可使用all；IP范圍格式：IP

39、地址/CIDR，如：10.32.38.0/16；255.0.0.0表示 IPv4 CIDR 掩碼長度 8，255.255.255.0表示 IPv4 CIDR 掩碼長度 24，而 255.255.255.255 表示 CIDR 掩碼長度 32；32就表示指定IP，24就表示小子網(wǎng)。修改完后數(shù)據(jù)庫重載參數(shù)文件：su gpadmin /登錄pgamin用戶gpstop -u第十二章 安裝Command Center12.1 安裝Agentgpadmin用戶執(zhí)行如下步驟。1、使用gpperfmon_install命令，Greenplum安裝完成后已經(jīng)包含該命令。安裝后會建立名為gpperfmon的數(shù)據(jù)

40、庫，默認(rèn)使用gpmon用戶。命令行中紅色部分為系統(tǒng)用戶gpmon的密碼。gpperfmon_install -enable -password gpmon -port 5432gpperfmon_install -enable -password gpadmin -port 54322、重啟GP數(shù)據(jù)庫gpstop -r /關(guān)閉GP數(shù)據(jù)庫 gpstart /開啟GP數(shù)據(jù)庫3、確認(rèn)監(jiān)控采集進(jìn)程是否已經(jīng)啟動。ps -ef |grep gpmmon4、確認(rèn)Agent寫入的數(shù)據(jù)是否正常，檢查是否有記錄寫入。psql -d gpperfmon -c select * from system_now;5、拷

41、貝Master主機(jī)拷貝配置文件到Standby Master的相應(yīng)目錄scp $MASTER_DATA_DIRECTORY/pg_hba.conf smdw:$MASTER_DATA_DIRECTORY/scp /.pgpass smdw:/12.2 安裝CommandCenter控制臺使用root用戶執(zhí)行。1、在Master主機(jī)上解包安裝Command Center：unzip greenplum-cc-web-1.2.0.1-build-2-RHEL5-x86_64.zip2、運(yùn)行安裝文件：/bin/bash greenplum-cc-web-1.2.0.1-build-2-RHEL5-x

42、86_64.bin3、創(chuàng)建除mdw以外的hosts文件，如all_others。注意主機(jī)名不能重復(fù)，同一臺主機(jī)只允許一個(gè)主機(jī)名。source /usr/local/greenplum-cc-web/gpcc_path.sh4、運(yùn)行命令安裝其他服務(wù)器gpccinstall -f ./all_others5、修改安裝目錄的屬主chown -R gpadmin:gpadmin /usr/local/greenplum-cc-web*6、 切換到gpadmin用戶，配置Command center，需要修改master的配置文件，讓gpmon用戶具有連接gp的權(quán)限。添加host all gpmon :

43、1/128 md5后gpstop -ugpcmdr -setup按照提示內(nèi)容輸入，如果在連接數(shù)據(jù)庫步驟中報(bào)錯(cuò)，請檢查數(shù)據(jù)庫日志，如果沒有配置standby節(jié)點(diǎn)，則在最后系統(tǒng)要求確認(rèn)是否拷貝到standby節(jié)點(diǎn)的時(shí)候選擇no7、啟動Command centergpcmdr -start ccname(實(shí)例名)第十三章 AIX下安裝工具包如果客戶需要在AIX環(huán)境中訪問和連接GP數(shù)據(jù)庫以及部署ETL應(yīng)用（需要使用gpfdist）是，則需要安裝相應(yīng)的幾個(gè)GP工具包：1. greenplum-clients-4.2.1.0-build-2-AIX5-powerpc_64：包含psql和pgadmin等客

44、戶端工具2. greenplum-connectivity-4.2.1.0-build-2-AIX5-powerpc_64：包含ODBC和JDBC接口驅(qū)動。另外JDBC的jar版本包含三個(gè)列舉如下，需要根據(jù)主機(jī)所使用的JDK版本：postgresql-8.3-605.jdbc2ee.jar（JDK1.3）postgresql-8.4-701.jdbc3.jar（JDK1.4、JDK1.5）postgresql-8.4-701.jdbc4.jar（JDK1.6）3. greenplum-loaders-4.2.1.0-build-2-AIX5-powerpc_64：包含gpfdist工具由于GP

45、工具包的打包方式問題，因此在AIX環(huán)境中安裝需要有Linux相對應(yīng)的幾個(gè)工具包：bash與gtar。否則無法安裝bin包。首先需要在AIX中安裝如下版本的rpm包：bash-3.2-1.aix5.2.ppc.rpmtar-1.14-2.aix5.1.ppc.rpm并且GP工具包必須要使用bash運(yùn)行，執(zhí)行如下：bash ./greenplum-loaders-4.2.1.0-build-2-AIX5-powerpc_64.bin第十四章 附錄14.1 dd測試有時(shí)候需要使用dd命令測試磁盤IO性能。測試命令如下：并發(fā)寫測試：dd if=/dev/zero of=/data1/a.test bs

46、=32k count=520000 &dd if=/dev/zero of=/data1/b.test bs=32k count=520000 &并發(fā)讀測試：dd if=/data1/a.test of=/dev/null bs=32k count=520000 &dd if=/data1/b.test of=/dev/null bs=32k count=520000 &14.2 多次初始化Greenplum數(shù)據(jù)庫可以多次初始化，前提是每次初始化的數(shù)據(jù)目錄（Master和Segment的數(shù)據(jù)目錄）必須不相同。gpstart和gpstop可以通過-d參數(shù)指定Master數(shù)據(jù)庫目錄，啟動不同的數(shù)據(jù)

47、庫。如果不指定-d參數(shù)，系統(tǒng)則默認(rèn)使用/.bashrc文件中所設(shè)置的MASTER_DATA_DIRECTORY。同時(shí)只能啟動一個(gè)GP數(shù)據(jù)庫。14.3 反復(fù)初始化數(shù)據(jù)庫重新初始化數(shù)據(jù)庫有兩種方法：第一種：如果數(shù)據(jù)庫初始化失敗，則使用初始化過程中生成的一個(gè)Backout腳本清除安裝失敗留下垃圾文件和目錄（不一定能成功）。/gpAdminLogs/backout_gpinitsystem_ 第二種：如果數(shù)據(jù)庫初始化失敗，可關(guān)閉數(shù)據(jù)庫，刪除所有數(shù)據(jù)目錄，再執(zhí)行一次數(shù)據(jù)庫初始化命令。該方法實(shí)踐證明定能成功，在這個(gè)過程中，可能會出現(xiàn)多機(jī)信任key驗(yàn)證不通過的問題，可參考附錄“重新建立多機(jī)信任密鑰問題”章節(jié)

48、進(jìn)行處理。具體步驟如下：（1）關(guān)閉Greenplum數(shù)據(jù)庫（非常關(guān)鍵）gpstop（2）刪除所有Greenplum數(shù)據(jù)庫目錄Master主機(jī)及Standby Master主機(jī)：rm -rf /data/masterSegment主機(jī)：rm -rf /data/primary如果segment有創(chuàng)建備實(shí)例，則還需另刪除mirror數(shù)據(jù)目錄rm -rf /data/mirror（3）重新創(chuàng)建Greenplum數(shù)據(jù)庫目錄Master主機(jī)及Standby Master主機(jī)：mkdir -p /data/masterSegment主機(jī)：mkdir -p /data/primary如果segment有創(chuàng)建

49、備實(shí)例，則還需另創(chuàng)建mirror數(shù)據(jù)目錄mkdir -p /data/mirror （4）初始化數(shù)據(jù)庫gpinitsystem -c /usr/local/greenplum-db/gpconfigs/gpinitsystem_config -s smdw14.4 安裝后修改數(shù)據(jù)庫參數(shù)（非必要）Greenplum數(shù)據(jù)庫正常安裝以后，數(shù)據(jù)庫參數(shù)配置允許根據(jù)客戶的實(shí)際情況進(jìn)行修改。一般情況下不建議主動修改數(shù)據(jù)庫參數(shù)。因此本步驟暫時(shí)放到附錄中。數(shù)據(jù)庫參數(shù)修改方法是修改數(shù)據(jù)目錄（MASTER_DATA_DIRECTORY）下的postgresql.conf配置文件。然后根據(jù)參數(shù)的定義，重新裝載配置文件

50、或者重啟數(shù)據(jù)庫。說明：Local是指每臺服務(wù)器的配置文件都需要修改；Master是指只需要在master主機(jī)上修改；Restart是指需要重啟數(shù)據(jù)庫；Reload是指運(yùn)行g(shù)pstop u重新裝載配置參數(shù)即可。參數(shù)名稱參數(shù)類型參考值設(shè)置說明max_connectionsinteger200Local，restartmax_prepared_transactionsinteger200Local，restartgp_interconnect_setup_timeoutString3minMaster，reloadmax_fsm_pagesinteger200000Local，restartmax_

51、fsm_relationsinteger1000Local，restartgp_vmem_protect_limitinteger8192Local，restartwork_memString32MBMaster，reloadstats_queue_levelbooleanoffMaster，reload14.5 安裝Greenplum clients【安裝機(jī)器】：ETL主機(jī)如果是壓縮文件則先解壓：unzip greenplum-clients-4.1.1.0-build-4-RHEL5-x86_64.zip/bin/bash greenplum-clients-4.1.1.0-build-4

52、-RHEL5-x86_64.bin修改該主機(jī)需要用到client和loaders工具的用戶的/.bashrc配置，增加 source /usr/local/greenplum-clients-4.1.1.0-build-4/greenplum_clients_path.sh14.6 安裝Greenplum loader【安裝機(jī)器】：ETL主機(jī)如果是壓縮文件則先解壓：unzip greenplum-loaders-4.1.1.0-build-4-RHEL5-x86_64.zip/bin/bash greenplum-loaders-4.1.1.0-build-4-RHEL5-x86_64.bin修改Master主機(jī)需要用到client和loaders工具的用戶的/.bashrc配置，增加source /usr/local/greenplum-loaders-4.3.6.2-build-1/greenplum_loaders_path.sh14.7 安裝后數(shù)據(jù)測試數(shù)據(jù)庫安裝完成后，需要進(jìn)行數(shù)據(jù)庫建立、數(shù)據(jù)裝載、查詢和關(guān)鍵