hadoop配置注意事項(xiàng)以及常見(jiàn)錯(cuò)誤處理辦法V1.1

HADOOP配置注意事項(xiàng)以及常見(jiàn)錯(cuò)誤處理方法無(wú)線網(wǎng)優(yōu)數(shù)據(jù)組目錄一、安裝操作系統(tǒng)以及注意事項(xiàng)二、hadoop安裝的注意事項(xiàng)三、hadoop參數(shù)的配置四、TDMRO以及LTEMRO采集配置五、常見(jiàn)錯(cuò)誤以及處理辦法安裝操作系統(tǒng)以及注意事項(xiàng)安裝介質(zhì)，必須采用centos6.3或者是centos6.4。其他的版本不行，fedora，ubuntu，RHEL，各種BSD，suse等版本不行。硬盤(pán)分區(qū)。按照如下的分區(qū)：/boot分區(qū)1G其余磁盤(pán)空間做邏輯卷組（VG）（如果該機(jī)器有多個(gè)硬盤(pán)，把多個(gè)硬盤(pán)都加入到VG中）/分區(qū)50G/var分區(qū)（主節(jié)點(diǎn)100G，輔節(jié)點(diǎn)30G）swap分區(qū)30G/home分區(qū)將系統(tǒng)剩余分區(qū)掛載到該目錄下。安裝軟件選擇安裝模式選擇Desktop，存儲(chǔ)庫(kù)選擇現(xiàn)在自定義。在自定義庫(kù)中選擇數(shù)據(jù)庫(kù)，將MYSQL和postgreSQL的服務(wù)端和客戶端全部安裝。選擇開(kāi)發(fā)，將開(kāi)發(fā)選項(xiàng)中所有的東西全部安裝。選擇服務(wù)器，將FTP服務(wù)器安裝。安裝操作系統(tǒng)以及注意事項(xiàng)安裝操作系統(tǒng)以及注意事項(xiàng)創(chuàng)建用戶用戶boco,路徑/home/boco密碼集群內(nèi)保持密碼一致。關(guān)閉SELINUXvi/etc/selinux/config將SELINUX改為disabled配置主機(jī)名vi/etc/sysconfig/network建議將集群內(nèi)主機(jī)名修改為cloud0~254請(qǐng)不要將主節(jié)點(diǎn)主機(jī)名設(shè)置為bogon，會(huì)導(dǎo)致安裝報(bào)錯(cuò)。主要是采用vmvare虛機(jī)的時(shí)候，會(huì)自己設(shè)置。配置字符集vi/etc/sysconfig/i18n修改LANG="en_US.UTF-8"避免出現(xiàn)各種亂碼同時(shí)禁止修改boco用戶的字符集，禁止LANG=C,zh_CN.GBK等。關(guān)閉防火墻等操作chkconfigiptablesoff;禁止防火墻開(kāi)機(jī)啟動(dòng)chkconfig--level345vsftpdon;開(kāi)機(jī)啟動(dòng)ftp服務(wù)。配置子節(jié)點(diǎn)互通。vi/etc/hosts將所有的集群的地址寫(xiě)入到該文件中安裝操作系統(tǒng)以及注意事項(xiàng)配置sudo功能vi/etc/sudoers加入如下的內(nèi)容：boco ALL=(ALL)NOPASSWD:ALL配置ssh免key不僅僅要配置boco帳號(hào)，還要配置root帳號(hào)。ssh-keygen-trsa-P''-f~/.ssh/id_rsa(只需要執(zhí)行一次)ssh-copy-id(拷貝到集群的每個(gè)輔節(jié)點(diǎn))配置時(shí)鐘同步如果網(wǎng)絡(luò)內(nèi)有NTP，則將集群內(nèi)所有節(jié)點(diǎn)與NTP同步。ntpdate

3（網(wǎng)絡(luò)內(nèi)NTPSERVER的地址）如果無(wú)NTP，則需要安裝PDSH。pdsh-wssh:172.16.140.[3,4,5,6,7,8,9]date-s07:00:00將時(shí)鐘同步的命令配置到crontab中。安裝操作系統(tǒng)以及注意事項(xiàng)配置ulimit。vi/etc/security/limits.confmapred-nofile32768mapredsoftnproc65535mapredhardnproc65535boco-nofile32768bocosoftnproc65535bocohardnproc65535hdfs-nofile32768hdfssoftnproc65535注意：原安裝文檔此處存在一處筆誤，應(yīng)該在softnproc中間存在一處空格。配置完畢這些之后，重啟集群內(nèi)的每一臺(tái)機(jī)器，讓參數(shù)生效。hadoop安裝的注意事項(xiàng)配置集群中每臺(tái)機(jī)器的repo參數(shù)刪除集群中每一臺(tái)機(jī)器上原有的repo文件，rm-rf/etc/yum.repos.d/*然后修改cloudera-chd4.repo、cloudera-impala.repo和 cloudera-manager.repo文件，將文件中的地址換成主節(jié)點(diǎn)的地址。將cloudera-chd4.repo、cloudera-impala.repo和 cloudera-manager.repo文件上傳到集群中每一臺(tái)機(jī)器的/etc/yum.repos.d/目錄下。在主節(jié)點(diǎn)上安裝軟件createrepo-0.9.8-5.el6.noarch.rpmdeltarpm-3.5-0.5.20090913git.el6.x86_64.rpmftp-0.17-51.1.el6.x86_64.rpmpython-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpmvsftpd-2.2.2-11.el6.x86_64.rpm執(zhí)行：rpm-ivh--force--nodeps*.rpm安裝5個(gè)rpm包在主節(jié)點(diǎn)上建立cdh4的yum源將cdh4.3.0目錄上傳到主節(jié)點(diǎn)的/var/www/html目錄下。在cdh4.3、impala1.0.1、cm4.6.1、solr子目錄下分別執(zhí)行：“createrepo.”命令啟動(dòng)httpd服務(wù)。chkconfig--level345httpdon;servicehttpdrestart.打開(kāi)http://主節(jié)點(diǎn)IP/cdh4.3.0/測(cè)試。hadoop安裝的注意事項(xiàng)主節(jié)點(diǎn)安裝clouderamanager將cloudera-manager-installer.bin文件復(fù)制到/home/boco目錄下。以boco用戶執(zhí)行安裝。sudochmod755cloudera-manager-installer.binsudo./cloudera-manager-installer.bin用空格鍵或者回車鍵，點(diǎn)擊NEXT或者YES操作。在之下的操作，請(qǐng)使用火狐或者谷歌瀏覽器。因?yàn)镃M并不支持IE瀏覽器。主節(jié)點(diǎn)安裝REDIS.解壓并編譯：tar-zxvfredis-2.8.2.tar.gz;cdredis-2.8.2;make;將編譯好的程序放到指定目錄：mkdir/usr/local/redis;cp/opt/redis-2.8.2/src/redis-benchmark/usr/local/redis/;cp/opt/redis-2.8.2/src/redis-check-dump/usr/local/redis/;cp/opt/redis-2.8.2/src/redis-cli/usr/local/redis/;cp/opt/redis-2.8.2/src/redis-server/usr/local/redis/;cp/opt/redis-2.8.2/redis.conf/usr/local/redis/修改/usr/local/redis/redis.conf將daemonize由no改為yes將啟動(dòng)語(yǔ)句加入到/etc/rc.local中，系統(tǒng)開(kāi)啟自動(dòng)啟動(dòng)REDIS。vi/etc/rc.local加入：/usr/local/redis/redis-server/usr/local/redis/redis.confhadoop安裝的注意事項(xiàng)安裝clouderamanager過(guò)程(安裝截圖如下)hadoop安裝的注意事項(xiàng)安裝CDH過(guò)程(安裝截圖如下)hadoop安裝的注意事項(xiàng)安裝CDH過(guò)程(安裝截圖如下)hadoop安裝的注意事項(xiàng)安裝CDH過(guò)程(安裝截圖如下)hadoop安裝的注意事項(xiàng)安裝CDH注意事項(xiàng)初次登錄CM的帳號(hào)和密碼為(admin/admin)，可以登錄進(jìn)去修改密碼。在安裝CDH，選擇資源包的時(shí)候，選擇自定義存儲(chǔ)庫(kù)，指定到此前在主節(jié)點(diǎn)上建立的yum源。http://主節(jié)點(diǎn)IP/cdh4.3.0/在安裝CDH的過(guò)程中，如果前面的安裝過(guò)程有遺漏，這里有可能會(huì)出錯(cuò)。當(dāng)出錯(cuò)時(shí)，根據(jù)出錯(cuò)提示進(jìn)行調(diào)整根據(jù)需要進(jìn)行選擇。HDFS、MapReduce、ZooKeeper、Hive、Oozie、impala、HBase。如果以后需要添加新的服務(wù)，可以在服務(wù)界面進(jìn)行添加。請(qǐng)注意：在“繼續(xù)”下一步之前，必須先設(shè)置角色分配。主節(jié)點(diǎn)包含的角色： 服務(wù)器 NameNode SecondaryNameNode Master RegionServer JobTracker Gateway HiveMetastore服務(wù)器 Oozie服務(wù)器 ImpalaDaemon ImpalaStateStoreDaemon ServiceMonitor ActivityMonitor HostMonitor ReportsManager EventServer AlertPublisher ClouderaNavigator服務(wù)器子節(jié)點(diǎn)包含的角色： 服務(wù)器 DataNode RegionServer TaskTracker Gateway HiveServer2（只需要有一臺(tái)機(jī)器有即可）ImpalaDaemon我們安裝的分區(qū)/home下地址空間最大。安裝的時(shí)候要改hdfs，mapreduce的默認(rèn)數(shù)據(jù)目錄。設(shè)為/home/dfs/dn和/home/dfs/nn、/home/dfs/snn、/home/mapred/jt、/home/mapred/localhadoop安裝的注意事項(xiàng)刪除輔節(jié)點(diǎn) 需要先刪除服務(wù)，后刪機(jī)器。增加輔節(jié)點(diǎn)hadoop參數(shù)的配置--HDFSHDFS參數(shù)配置建立工作目錄建立boco用戶目錄并設(shè)置權(quán)限，輸入下面命令：sudo-uhdfshadoopfs-mkdir/user/bocosudo-uhdfshadoopfs-chownboco:boco/user/bocoHDFS參數(shù)配置服務(wù)范圍-》replication-》復(fù)制因子選擇三副本。服務(wù)范圍-》HDFS塊大小設(shè)置為256Mnamenode-》資源管理-》Namenode的Java堆棧大?。ㄗ止?jié)）設(shè)置為：6GB。secondnamenode保持和namenode一致。DataNode-》資源管理-》DataNode的Java堆棧大?。ㄗ止?jié)）設(shè)置為：4GB。DataNode->性能-》最大傳輸線程數(shù)設(shè)置為8192namenode-》文件系統(tǒng)垃圾間隔設(shè)置為：10分鐘Balancer-》Balancer的Java堆棧大小（字節(jié)）設(shè)置為：4GB重啟HDFS生效hadoop參數(shù)的配置--MAPREDUCEmapreduce設(shè)置--gateway和jobtracker在gateway/性能下修改：MapReduce子Java基礎(chǔ)選項(xiàng)、Map任務(wù)Java選項(xiàng)庫(kù)、Reduce任務(wù)Java選項(xiàng)庫(kù)全部配置成-Xmx4294967296在gateway/性能下修改：I/O排序內(nèi)存緩沖(MiB)配置成1G字節(jié)。在gateway/資源管理下修改：MapReduce子Java最大堆棧、Map任務(wù)最大堆棧、Reduce任務(wù)最大堆棧配置為4GB在gateway/資源管理下修改：MapReduce最大虛擬內(nèi)存(KiB)、Map任務(wù)最大虛擬內(nèi)存(KiB)、Reduce任務(wù)最大虛擬內(nèi)存(KiB)配置為8GBjobtracker-》資源管理-》Jobtracker的Java堆棧大?。ㄗ止?jié)）設(shè)置為：4GBhadoop參數(shù)的配置--MAPREDUCEmapreduce設(shè)置--tasktracker在TASKTRACKER/性能下修改:MapReduce子Java基礎(chǔ)選項(xiàng)、Map任務(wù)Java選項(xiàng)庫(kù)、Reduce任務(wù)Java選項(xiàng)庫(kù)全部配置成-Xmx4294967296tasktracker-》高級(jí)-》為mapred-site.xml配置的安全閥TaskTracker添加如下的內(nèi)容：<property><name>mapred.task.timeout</name><value>1800000</value></property>tasktracker-》性能-》同時(shí)運(yùn)行Map任務(wù)的最大數(shù)量修改為CPU核數(shù)-2；同時(shí)運(yùn)行Reduce任務(wù)的最大數(shù)量修改為CPU核數(shù)/2取整。如果集群內(nèi)的機(jī)器不相同的話，TASKTRACKER可能會(huì)分為很多的組。在修改的時(shí)候，必須將每個(gè)組的參數(shù)都要對(duì)應(yīng)的修改。jobtracker-》資源管理-》Jobtracker的Java堆棧大?。ㄗ止?jié)）設(shè)置為：4GBtasktracker-》資源管理-》MapReduce子Java最大堆棧（客戶端覆蓋）設(shè)置為：4GBtasktracker-》資源管理-》Map任務(wù)最大堆棧（客戶端覆蓋）:4GBtasktracker-》資源管理-》Reduce任務(wù)最大堆棧（客戶端覆蓋）:4GBtasktracker-》資源管理-》TaskTracker的Java堆棧大小（字節(jié)）:4GBtasktracker-》作業(yè)-》每個(gè)JVM運(yùn)行的任務(wù)數(shù)量（客戶端覆蓋）:-1hadoop參數(shù)的配置--TASKTRACKER組目前發(fā)現(xiàn)很多地方的mapreduce配置錯(cuò)誤都是這個(gè)問(wèn)題。如果確認(rèn)所有集群內(nèi)的機(jī)器都是同樣配置的，可以將所有的機(jī)器都移動(dòng)到同一個(gè)組。如果不是，就需要每個(gè)組都要對(duì)應(yīng)的配置響應(yīng)的參數(shù)。hadoop參數(shù)的配置--HIVEHIVE設(shè)置HIVE的數(shù)據(jù)庫(kù)配置MYSQL的版本必須是5.1版本，其他的太新的或者太舊的版本不行。在mysql中建立hive用戶（在主節(jié)點(diǎn)上操作）將mysql的jdbc驅(qū)動(dòng)包要放在/usr/lib/hive/lib下面。在MYLSQ中建立HIVE的庫(kù)：mysql>createdatabasehive;mysql>grantallprivilegesonhive.*to'hive'@'localhost'identifiedby'hive';mysql>grantallprivilegesonhive.*to‘hive’@‘[許可的ip地址]'identifiedby'hive';mysql>flushprivileges;HIVE的數(shù)據(jù)庫(kù)配置。HIVE的參數(shù)配置服務(wù)范圍-》Hive倉(cāng)庫(kù)目錄必須是：/user/hive/warehouse此處不能修改，這個(gè)路徑是HDFS中存放HIVE元數(shù)據(jù)的地方。此處是因?yàn)镠IVE出錯(cuò)的最多的地方。Hive倉(cāng)庫(kù)目錄必須是：/user/hive/warehouse此處不能修改。如果配置錯(cuò)了，請(qǐng)重新初始化HIVE。hadoop參數(shù)的配置--oozieOOZIE設(shè)置OOZIE的數(shù)據(jù)庫(kù)配置將ext2.2放入/usr/lib/oozie/libext。在mysql中建立oozie用戶（在主節(jié)點(diǎn)上操作）將mysql的jdbc驅(qū)動(dòng)包要放在/usr/lib/oozie/libserver下。mysql>createdatabaseoozie;mysql>grantallprivilegesonoozie.*to'oozie'@'localhost'identifiedby'oozie';mysql>grantallprivilegesonoozie.*to'oozie'@'[許可的ip地址]'identifiedby'oozie';mysql>flushprivileges;OOZIE的數(shù)據(jù)庫(kù)配置。OOZIE的參數(shù)調(diào)整oozie服務(wù)器-》資源管理-》OozieServer的Java堆棧大?。ㄗ止?jié)）調(diào)整為4G。OOZIE的監(jiān)控界面如下:http://主節(jié)點(diǎn):11000/oozie/hadoop參數(shù)的配置--zookeeperzookeeper設(shè)置服務(wù)器默認(rèn)->最大客戶端連接數(shù)設(shè)置為3600或者直接設(shè)置為0（不限制）。資源管理->ZooKeeperServer的Java堆棧大?。ㄗ止?jié)）:1吉字節(jié)mgmt1設(shè)置ActivityMonitor(默認(rèn))：12小時(shí)HostMonitor(默認(rèn))：12小時(shí)ServiceMonitor(默認(rèn))：12小時(shí)TDMRO以及LTEMRO采集配置程序部署將程序包解壓開(kāi)，分別放到/home/boco/oozie_wy路徑下。在oozie_wy路徑下有如下的幾個(gè)目錄：upload，lib，config，wangyou.jar在hdfs創(chuàng)建oozie工程路徑，執(zhí)行以下命令：hadoopdfs-mkdiroozie_wy在oozie_wy/config目錄下，修改所有配置文件文件a)hadoop_perties MASTER_HOST：修改成Hadoop主節(jié)點(diǎn)的域名 OOZIE_HOST：修改成oozie服務(wù)所在節(jié)點(diǎn)的域名，默認(rèn)使用主節(jié)點(diǎn)的域名b)perties hive.url：將IP地址替換成Hadoop主節(jié)點(diǎn)的IP THRIFT_HOST：將域名替換成主節(jié)點(diǎn)的域名c)perties impala.url：將IP地址替換成任意一個(gè)配置了ImpalaDaemon服務(wù)的子節(jié)點(diǎn)對(duì)應(yīng)的IP，一般所有子節(jié)點(diǎn)都會(huì)配置ImpalaDaemon服務(wù)TDMRO以及LTEMRO采集配置配置文件更改d)informix_perties如果數(shù)據(jù)庫(kù)是informix，修改本文件） informix_jdbc：將數(shù)據(jù)庫(kù)IP地址和數(shù)據(jù)庫(kù)連接端口替換成現(xiàn)場(chǎng)的數(shù)據(jù)庫(kù)配置 ip：將IP地址替換成數(shù)據(jù)庫(kù)的IP informix_server：替換成數(shù)據(jù)庫(kù)的服務(wù)名 database：替換成數(shù)據(jù)庫(kù)名 db_user：替換成用戶名 db_password：替換成加密后的數(shù)據(jù)庫(kù)密碼，加密方式見(jiàn)下面的（密碼加密） dbload_path：數(shù)據(jù)庫(kù)服務(wù)器上部署mro_load服務(wù)的地址，對(duì)應(yīng)程序在Dbload部署\mro_load目錄下。 db_charset：數(shù)據(jù)庫(kù)的編碼格式，一般為gbke)oracle_perties如果數(shù)據(jù)庫(kù)是oracle，修改本文件） oracle_jdbc：將數(shù)據(jù)庫(kù)IP地址替換成現(xiàn)場(chǎng)的數(shù)據(jù)庫(kù)配置（端口一般不用改，除非在建庫(kù)時(shí)有過(guò)特殊操作） ip：將IP地址替換成數(shù)據(jù)庫(kù)的IP oracle_sid：修改成目錄服務(wù)器SERVICE_NAME db_user：替換成用戶名 db_password：替換成加密后的數(shù)據(jù)庫(kù)密碼，加密方式見(jiàn)下面的（密碼加密） dbload_path：數(shù)據(jù)庫(kù)服務(wù)器上部署mro_load服務(wù)的地址，對(duì)應(yīng)程序在Dbload部署\mro_load目錄下。 db_charset：數(shù)據(jù)庫(kù)的編碼格式，一般為gbkTDMRO以及LTEMRO采集配置TDMRO配置文件更改vi/home/boco/oozie_wy/config/td/tdmro_pertiesDB_TYPE=informix數(shù)據(jù)庫(kù)類型（目前只能支持informix和oracle）REDIS.HOST：redis服務(wù)所在的主機(jī)IP，一般配置在Hadoop主節(jié)點(diǎn)上.omcs：所有OMC的ID，以“,”分隔delay_hour：數(shù)據(jù)采集延遲時(shí)間。例如：1:00到2:00的數(shù)據(jù)，廠家要3:00才能全部上傳到FTP，然么這個(gè)位置就要改成2（3-1=2）,如果有延遲比較大的，根據(jù)具體情況延長(zhǎng)。BASE_TABLE_COLLECTION=0。是否采集base表，一般設(shè)置為0。LTEMRO配置文件更改DB_TYPE：數(shù)據(jù)庫(kù)類型（目前只能支持informix和oracle）REDIS.HOST：redis服務(wù)所在的主機(jī)IP，一般配置在Hadoop主節(jié)點(diǎn)上。omcs：所有OMC的ID，以“,”分隔delay_hour：數(shù)據(jù)采集延遲時(shí)間。例如：1:00到2:00的數(shù)據(jù)，廠家要3:00才能全部上傳到FTP，然么這個(gè)位置就要改成2（3-1=2）,如果有延遲比較大的，根據(jù)具體情況延長(zhǎng)。BASE_TABLE_COLLECTION=0。是否采集BASE表，一般設(shè)置為0不采集。MRO_GRID_COLLECTION=1是否采集深度覆蓋PROVENCE_MAX_LONGITUDE=108.5329本省最大的經(jīng)度PROVENCE_MAX_LATITUDE=34.3203本省最大的緯度PROVENCE_MIN_LONGITUDE=97.3661本省最小的經(jīng)度PROVENCE_MIN_LATITUDE=26.0661本省最小的緯度VENDOR_LIST=1,4,7,8本省LTE的廠家列表TDMRO以及LTEMRO采集配置TDMRO的FTP的XML文件更改td\mro\ftp此文件夾下面對(duì)應(yīng)于廠家文件的FTP，有幾個(gè)FTP就建幾個(gè)文件，文件名以O(shè)MC命名，如果一個(gè)OMC在多個(gè)FTP下，則分別命名OMCID_1，OMCID_2…… 每個(gè)FTP的配置如下： <ip>FTP對(duì)應(yīng)的IP地址 <user>登錄FTP的用戶名 <password>登錄FTP的密碼，加密方式見(jiàn)下面的（密碼加密） <port>FTP端口，一般都是21,如果配置為SFTP，則端口為22 <dir>廠家文件在FTP上對(duì)應(yīng)的路徑，其中時(shí)間為$TIME$,網(wǎng)元為$RNCID$，如廠家的路徑為/LCMCCMR/20140520/2997則配置為：/LCMCCMR/$TIME$/$RNCID$ <omc>omc的ID <date_path_format>時(shí)間格式,如廠家格式為201405210615，則配置為yymmddhhmi。其中用yy表示年份，mm表示月份，dd表示天，hh表示小時(shí)，mi表示分鐘 <ftp_protocol>ftp</ftp_protocol>FTP的協(xié)議，可以配置為ftp或者是sftp。TDMRO以及LTEMRO采集配置LTEMRO的FTP的XML文件更改lte\mro\ftp此文件夾下面對(duì)應(yīng)于廠家文件的FTP，有幾個(gè)FTP就建幾個(gè)文件，文件名以O(shè)MC命名，如果一個(gè)OMC在多個(gè)FTP下，則分別命名OMCID_1，OMCID_2…… 每個(gè)FTP的配置如下： <ip>FTP對(duì)應(yīng)的IP地址 <user>登錄FTP的用戶名 <password>登錄FTP的密碼，加密方式見(jiàn)下面的（密碼加密） <port>FTP端口，一般都是21,如果配置為SFTP，則端口為22 <dir>廠家文件在FTP上對(duì)應(yīng)的路徑，其中時(shí)間為$TIME$,網(wǎng)元為$ENODEB$，如廠家的路徑為/LCMCCMR/20140520/299739則配置為：/LCMCCMR/$TIME$/$ENODEB$ <omc>omc的ID <date_path_format>時(shí)間格式,如廠家格式為201405210615，則配置為yymmddhhmi。其中用yy表示年份，mm表示月份，dd表示天，hh表示小時(shí)，mi表示分鐘 <max_thread>可以用幾個(gè)線程同時(shí)去廠家下載文件，默認(rèn)為3個(gè)現(xiàn)場(chǎng)。在現(xiàn)場(chǎng)建議最少修改為6，華為的建議開(kāi)到20~30個(gè)線程。如果出現(xiàn)報(bào)錯(cuò)的情況，建議聯(lián)系廠家修改。 <ftp_protocol>ftp</ftp_protocol>FTP的協(xié)議，可以配置為ftp或者是sftp。TDMRO以及LTEMRO采集配置LTEMRS的注意事項(xiàng)如果本省用hadoop采集了LTEMRS，則需要配置lte\mrs\ftp下的配置文件。LTEMRS和LTEMRO的配置文件一模一樣。只是大唐等部分廠家LTEMRS和LTEMRO的存儲(chǔ)路徑不一樣。故分開(kāi)LTEMRS和LTEMRO的配置文件LTEMRO以及TDMRO的注意事項(xiàng)、在配置XML的時(shí)候，OMC_ID不具有任何的實(shí)際意義。后臺(tái)在處理的時(shí)候，根據(jù)小區(qū)的EnodebID和Cellid去更新小區(qū)的int_id。/home/boco/oozie_wy/config/td/tdmro_perties例如A省共有華為OMC3個(gè)：801（IP地址1），802（IP地址1），803（IP地址1）中興OMC1個(gè)：701（IP地址7）諾西OMC1個(gè)：401（IP地址2，3，4）則ltemro_perties中omcs應(yīng)配置如下：omcs=801,701,4011,4012,4013XML文件配置如下：801.xml:如果多個(gè)OMC對(duì)應(yīng)一個(gè)地址，則只保留一個(gè)。<ip>1</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/LCMCCMR/$TIME$/$ENODEB$</dir><omc>801</omc><date_path_format>yymmdd</date_path_format><max_thread>30</max_thread>如果網(wǎng)元的數(shù)量比較多，則考慮配置線程數(shù)到30，40，50，60…………<ftp_protocol>ftp</ftp_protocol>701.xml:<ip>7</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/opt/MR/data/northbound/mrfiles/$TIME$</dir><omc>701</omc><date_path_format>yymmddhhmi</date_path_format><max_thread>6</max_thread>中興的如果沒(méi)有協(xié)調(diào)廠家多開(kāi)線程數(shù)的話，默認(rèn)是6個(gè)。<ftp_protocol>ftp</ftp_protocol>TDMRO以及LTEMRO采集配置4011.xml<ip>2</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/$TIME$</dir><omc>4011</omc><date_path_format>yymmddhhmi</date_path_format><max_thread>6</max_thread><ftp_protocol>ftp</ftp_protocol>4012.xml<ip>3</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/$TIME$</dir><omc>4012</omc><date_path_format>yymmdd</date_path_format><max_thread>6</max_thread><ftp_protocol>ftp</ftp_protocol>TDMRO以及LTEMRO采集配置4013.xml<ip>4</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/$TIME$</dir><omc>4013</omc><date_path_format>yymmdd</date_path_format><max_thread>6</max_thread><ftp_protocol>ftp</ftp_protocol>如果廠家一個(gè)OMC對(duì)應(yīng)多個(gè)地址，則需要配置多個(gè)XML文件，這些XML文件中的<omc>配置成對(duì)應(yīng)的OMC_ID。如果廠家OMC的文件在一個(gè)機(jī)器的多個(gè)獨(dú)立的路徑下，則視為不同機(jī)器，按照如上的這種配置來(lái)配。必須保證，ltemro_perties中的OMC列表和XML文件保持一致。XML文件的名字，在處理的過(guò)程中不具有任何的意義。在采集的過(guò)程中，程序讀取的是ltemro_perties中的OMC列表和XML文件中的<omc>相匹配。XML文件的名字可以隨便取，不影響采集的結(jié)果。TDMRO以及LTEMRO采集配置密碼加密在主節(jié)點(diǎn)的/home/boco/oozie_wy目錄下， 執(zhí)行：java-jarwangyou.jarbase64[密碼]，生成就是加密后的密碼。前文件中所有密碼的位置，都需要進(jìn)行這樣的加密。 驗(yàn)證密碼是否可以正確解密： java-jarwangyou.jarbase64_decode[加密密碼]，看是否可以還原為加密前的密碼。將程序上傳HDFShadoopdfs-rm-roozie_wy/*hadoopdfs-putupload/*oozie_wy/hadoopdfs-putwangyou.jaroozie_wy/lib/hadoopdfs-putconfigoozie_wy/hadoopdfs-lsoozie_wyTDMRO以及LTEMRO以及LTEMRS采集配置MRO/MRS的采集邏輯LTEMRO和LTEMRS的：采集的INI文件會(huì)在采集06點(diǎn)數(shù)據(jù)或者INI文件不存在的情況下生成。天匯總,在每天的2點(diǎn)匯總前一天的數(shù)據(jù)周匯總,在每周1的3點(diǎn)匯總前一周的數(shù)據(jù)月匯總,在每月1號(hào)4點(diǎn)匯總前一個(gè)月的數(shù)據(jù)java-jarwangyou.jarltemro2014-11-01_04TDMRO的：天匯總在每天采集0點(diǎn)的數(shù)據(jù)觸發(fā)；周匯總在每周一采集1點(diǎn)的數(shù)據(jù)觸發(fā)；月匯總在每月1號(hào)采集2點(diǎn)的數(shù)據(jù)觸發(fā)；采集方式如下： 在主節(jié)點(diǎn)oozie_wy目錄下執(zhí)行： java-jarwangyou.jarltemro[omc列表，以“,”分隔][時(shí)間列表，以“,”分隔] 例如：java-jarwangyou.jarltemro4444,55552013-11-29_00,2013-11-29_01建議一次采集所有的OMC，可以采集多個(gè)時(shí)間點(diǎn)。TDMRO以及LTEMRO采集配置MRO_LAOD的部署該程序可以部署在數(shù)據(jù)庫(kù)上，也可以部署在其他的機(jī)器上。如果是informix省份且部署LTEMRS采集，則必須將該程序放在數(shù)據(jù)庫(kù)主機(jī)上。必須有perl的環(huán)境，必須可以執(zhí)行DBLOAD或者SQLLDR。在mro_load/bin目錄下執(zhí)行perlmro_load.pl。將會(huì)有一個(gè)perlmro_load.pl的程序在后臺(tái)執(zhí)行，持續(xù)地監(jiān)視著是否有新的數(shù)據(jù)文件上傳。當(dāng)發(fā)現(xiàn)新文件時(shí)，將會(huì)自動(dòng)將其導(dǎo)入到數(shù)據(jù)庫(kù)內(nèi)。入庫(kù)的核查如果發(fā)現(xiàn)有表入庫(kù)不全。將mro_load程序殺掉，然后手動(dòng)將程序包解壓開(kāi)，手動(dòng)執(zhí)行dbload或者是sqlldr，查看是否有報(bào)錯(cuò)。如果有報(bào)錯(cuò)，則查看dbload或者是sqlldr的日志。處理完畢之后，將mro_load進(jìn)程啟動(dòng)。自動(dòng)采集程序java-jarwangyou.jarloopltemro&java-jarwangyou.jarlooptdmro&java-jarwangyou.jarloopltemrs&注意：必須執(zhí)行這個(gè)之后，敲入exit退出。不能直接關(guān)閉secureCRT,直接關(guān)閉secureCRT會(huì)導(dǎo)致該進(jìn)程無(wú)法啟動(dòng)。之前幾個(gè)省份的無(wú)法調(diào)度，就是因?yàn)檫@個(gè)原因。TDMRO和LTEMRO都是每個(gè)小時(shí)的00分啟動(dòng)采集任務(wù)，為避免LTEMRS和LTEMRO任務(wù)沖突,LTEMRS每個(gè)小時(shí)31分啟動(dòng)LTEMRS任務(wù)TDMRO以及LTEMRO采集配置補(bǔ)采數(shù)據(jù)采集指令如下：java-jarwangyou.jarltemro801,701,702,703,1201,401,104,1052014-09-13_00要求，必須所有的OMC一起采集。采集一個(gè)OMC需要的時(shí)間和采集所有的OMC花費(fèi)的時(shí)間基本一樣；而所有的OMC一起采集會(huì)節(jié)約很多的時(shí)間。如果本省采集速度比較快，可以所有的OMC，多個(gè)時(shí)間點(diǎn)一起采集java-jarwangyou.jarltemro801,701,1201,4012014-09-13_00,2014-09-13_01,2014-09-13_02,2014-09-13_03TDMRO以及LTEMRO采集配置入庫(kù)的核查小時(shí)粒度selectomc_id,count(*)fromtdl_mro_maxrsrp_eutrwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_rsrpdiff_eutrwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_overlapwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_numofadj_eutrwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtpl_mro_adjtdl_hourwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_diffwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_max_uewherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtpl_mro_pol_adj_hourwherescan_start_time='2014-09-1620:00:00';天粒度selectomc_id,count(*)fromtpl_mro_maxrsrp_eutr_oth_newherescan_start_time='2014-09-1600:00:00'andsum_level=1;selectomc_id,count(*)fromtpl_mro_numofadj_eutr_oth_newherescan_start_time='2014-09-1600:00:00'andsum_level=1;selectomc_id,count(*)fromtpl_mro_overlap_oth_newherescan_start_time='2014-09-1600:00:00'andsum_level=1;selectomc_id,count(*)fromtpl_mro_rsrpdiff_eutr_oth_newherescan_start_time='2014-09-1600:00:00'andsum_level=1;selectomc_id,count(*)fromtpl_mro_diff_daywherescan_start_time='2014-09-1600:00:00';selectomc_id,count(*)fromtpl_mro_adjtdl_daywherescan_start_time='2014-09-1600:00:00';selectomc_id,count(*)fromtpl_mro_pol_adj_daywherescan_start_time='2014-09-1600:00:00';TDMRO以及LTEMRO采集配置周粒度selectomc_id,count(*)fromtpl_mro_maxrsrp_eutr_oth_newherescan_start_time='2014-09-1500:00:00'andsum_level=2;selectomc_id,count(*)fromtpl_mro_numofadj_eutr_oth_newherescan_start_time='2014-09-1500:00:00'andsum_level=2;selectomc_id,count(*)fromtpl_mro_overlap_oth_newherescan_start_time='2014-09-1500:00:00'andsum_level=2;selectomc_id,count(*)fromtpl_mro_rsrpdiff_eutr_oth_newherescan_start_time='2014-09-1500:00:00'andsum_level=2;selectomc_id,count(*)fromtpl_mro_diff_weekwherescan_start_time='2014-09-1500:00:00';selectomc_id,count(*)fromtpl_mro_adjtdl_weekwherescan_start_time='2014-09-1500:00:00';selectomc_id,count(*)fromtpl_mro_pol_adj_weekwherescan_start_time='2014-09-1500:00:00';月粒度selectomc_id,count(*)fromtpl_mro_maxrsrp_eutr_oth_newherescan_start_time='2014-09-0100:00:00'andsum_level=3;selectomc_id,count(*)fromtpl_mro_numofadj_eutr_oth_newherescan_start_time='2014-09-0100:00:00'andsum_level=3;selectomc_id,count(*)fromtpl_mro_overlap_oth_newherescan_start_time='2014-09-0100:00:00'andsum_level=3;selectomc_id,count(*)fromtpl_mro_rsrpdiff_eutr_oth_newherescan_start_time='2014-09-0100:00:00'andsum_level=3;selectomc_id,count(*)fromtpl_mro_diff_monwherescan_start_time='2014-09-0100:00:00';selectomc_id,count(*)fromtpl_mro_adjtdl_monwherescan_start_time='2014-09-0100:00:00';selectomc_id,count(*)fromtpl_mro_pol_adj_monwherescan_start_time='2014-09-0100:00:00';TDMRO以及LTEMRO采集配置采集監(jiān)控TDMRO以及LTEMRO采集配置--hadoop操作指令清理HDFS空間（建議每周清理一次）hadoopfs-rmr-skipTrash/user/boco/wangyou/ltemro/xml/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/tpd/*hadoopfs-rmr-skipTrash/user/boco/cache/wy/tdmro/*hadoopfs-rmr-skipTrash/user/boco/cache/wy/ltemro/*hadoopfs-rmr-skipTrash/user/boco/wangyou/ltemro/hoursql/*hadoopfs-rmr-skipTrash/user/boco/.staging/*sudo-uhdfshadoopfs-rmr-skipTrash/tmp/hive-mapred/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/tmp/out1/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/tmp/out21/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/gz/bmr/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/gz/xml/*hadoopfs-rmr-skipTrash/user/boco/wangyou/ltemrs/xml/*hadoopfs-rmr-skipTrash/user/boco/cache/wy/ltemrs/*hadoopfs-rmr-skipTrash/user/boco/wangyou/ltemrs/hoursql/*HDFS進(jìn)入安全模式操作（需要退出安全模式才能跑采集）安全模式的檢查：hadoopdfsadmin-safemodeget退出安全模式：sudo-uhdfshadoopdfsadmin-safemodeleaveTDMRO以及LTEMRO采集配置--hadoop操作指令刪除歷史的數(shù)據(jù)（建議每月清理一次，刪除三個(gè)月之前的數(shù)據(jù)，如果空間很緊張的話，刪除一個(gè)月之前的數(shù)據(jù)）如果本地空間比較足的話，建議保留3個(gè)月甚至更長(zhǎng)。如果空間比較緊張，最少也要保留一個(gè)月。例如刪除2014年6月份的數(shù)據(jù)sudo-uhdfshadoopfs-rmr-skipTrash/user/hive/warehouse/*/*/datepart=2014-06*sudo-uhdfshadoopfs-rmr-skipTrash/user/hive/warehouse/*/datepart=2014-06*sudo-uhdfshadoopfs-rmr-skipTrash/user/hive/.Trash/*定期清理HIVE中臨時(shí)表定期清理hive中臨時(shí)表在命令行下敲hive，然后showtables;可以查到所有hive中的表。只要是表名后面帶一串?dāng)?shù)字的，都是臨時(shí)表。建議把這些表全部清理掉。建議每周清理一次。刪除的命令：droptablehour_ltemro_1422270014675;droptablehour_ltemro_1422270661479;droptablehour_ltemro_1422489612105;droptablehour_ltemro_1422493233005;droptablehour_ltemro_1422621984029;droptablehour_ltemro_1422766806138;droptablehour_ltemro_1423724432451;droptablemro_adjtdl_hour_temp_1422270014675;droptablemro_adjtdl_hour_temp_1422270661479;droptablemro_adjtdl_hour_temp_1422489612105;droptablemro_adjtdl_hour_temp_1422621984029;droptablemro_adjtdl_hour_temp_1422766806138;TDMRO以及LTEMRO采集配置--hadoop操作指令hadoop的任務(wù)管理#查詢正在執(zhí)行的任務(wù)：hadoopjob-list#殺掉正在執(zhí)行的任務(wù)hadoopjob-killjob_201310301049_0974hadoopjob-killjob_201310301049_0977hadoop時(shí)鐘同步問(wèn)題pdsh-wssh:10.32.22.[2,3,4,5]date-s10:55:20pdsh-wssh:10.110.180.[233,234,235]date-s11:50:00pdsh-wssh:10.32.22.[2,3,4,5]date-s11:50:00TDMRO以及LTEMRO采集配置--LTEMRO數(shù)據(jù)流向廠家FTP數(shù)據(jù)NIOS_RES數(shù)據(jù)廠家數(shù)據(jù)入HDFSINI文件存入REDIS數(shù)據(jù)解析，生成ori表tdl_mro_basetable_oritdl_mro_maxrsrp_eutr_oritdl_mro_max_ue_oritdl_mro_numofadj_eutr_oritdl_mro_rsrpdiff_eutr_oritpl_mro_adjtdl_hour_oritdl_mro_overlap_oritdl_mro_diff_oritpl_mro_pol_adj_hour_oritdl_mro_maxrsrp_eutrtdl_mro_max_uetdl_mro_numofadj_eutrtdl_mro_rsrpdiff_eutrtpl_mro_adjtdl_hourtdl_mro_overlaptdl_mro_difftpl_mro_pol_adj_hour析解據(jù)數(shù)小時(shí)匯總tpl_mro_maxrsrp_eutr_oth_netpl_mro_numofadj_eutr_oth_netpl_mro_rsrpdiff_eutr_oth_netpl_mro_adjtdl_daytpl_mro_overlap_oth_netpl_mro_diff_daytpl_mro_pol_adj_day大粒度匯總數(shù)據(jù)解析NIOSDB數(shù)據(jù)入庫(kù)TDMRO以及LTEMRO采集配置--LTEMRO解析流程資源工參數(shù)據(jù)入內(nèi)存數(shù)據(jù)庫(kù)NIOSDB數(shù)據(jù)入庫(kù)數(shù)據(jù)預(yù)處理JAVA生成INI文件OMC1入HDFS下載MRO原始文件MAPER（THREAD）download（FTP/SFTP）OMC2OMCn合并原始文件大量原始小XML文件MAPER(THREAD)merge_xml_file合并后大XML文件XML文件解析合并后文件MAPERfileInputStream壓縮字符流OriMapMAPERXmlPaserinputstreambaseOriMAPERoutputStreamdiff/adjtdl/pol/numofadj/overlap/maxue/rsrporiTableMAPERfileoutput建立外部表externaltableHIVEcreateexternaloriTable小時(shí)匯總externaltableHIVEsum/avg/maxhiveTable天周月匯總HIVEtableHIVEsum/avg/maxHIVESUMtable導(dǎo)入到數(shù)據(jù)庫(kù)HIVEALLtableHDFSgetMergetable.txt/ctl/cmdPERLdbloadTDMRO以及LTEMRO采集配置--日志查看方法1、查看oozie，看看是否有報(bào)錯(cuò)信息。注意：查看ERROR的才是報(bào)錯(cuò)的，KILL的不是報(bào)錯(cuò)。kill的任務(wù)是因?yàn)槠渌麍?bào)錯(cuò)而被調(diào)度進(jìn)程殺掉的。TDMRO以及LTEMRO采集配置--日志查看方法2、查看50030，查看對(duì)應(yīng)時(shí)間點(diǎn)的日志。注意：FTP，XML_PARSE，HIVE等的節(jié)點(diǎn)一般是有兩個(gè)：一個(gè)是調(diào)度任務(wù)，一個(gè)執(zhí)行的任務(wù)本身。注意要找任務(wù)本身。TDMRO以及LTEMRO采集配置--日志查看方法3、查看50030，追查日志詳情。注意：需要一步一步的點(diǎn)擊進(jìn)去。TDMRO以及LTEMRO采集配置--日志查看方法3、查看50030，追查日志詳情。注意：查看報(bào)錯(cuò)信息。TDMRO以及LTEMRO采集配置--日志查看方法3、查看50030，追查日志詳情。注意：找到報(bào)錯(cuò)原因，并解決。TDMRO以及LTEMRO采集配置--日志查看方法4、目前經(jīng)常需要查看的地方。注意：必須經(jīng)常查看FTP_DOWNLOAD的日志。登錄幾個(gè)省份，發(fā)現(xiàn)這個(gè)地方都存在報(bào)錯(cuò)的信息。需要重點(diǎn)查看。一般報(bào)錯(cuò)主要是常見(jiàn)錯(cuò)誤中的問(wèn)題4和問(wèn)題10，還有帳號(hào)密碼配置錯(cuò)誤的，配置成SFTP但是無(wú)法登錄的，還有IP地址根本連接不上的。常見(jiàn)錯(cuò)誤以及處理辦法1、mysql版本，必須是MYSQL5.1。 查詢辦法mysqladminversion 在建立hive數(shù)據(jù)庫(kù)的時(shí)候，最好是:createdatabasehivedefaultcharset='utf8'; oozie的數(shù)據(jù)庫(kù)，同樣：createdatabaseooziedefaultcharset='utf8';2、hadoop采集的字符集問(wèn)題。修改/etc/sysconfig/i18n更改字符集為en_US.UTF-8重啟機(jī)器生效。重啟機(jī)器的指令為：在root下敲入如下指令：sync;sync;init63、修改mapreduce。 在gateway/性能下修改：MapReduce子Java基礎(chǔ)選項(xiàng)、Map任務(wù)Java選項(xiàng)庫(kù)、Reduce任務(wù)Java選項(xiàng)庫(kù)全部配置成-Xmx4294967296 在TASKTRACKER/性能下修改:MapReduce子Java基礎(chǔ)選項(xiàng)、Map任務(wù)Java選項(xiàng)庫(kù)、Reduce任務(wù)Java選項(xiàng)庫(kù)全部配置成-Xmx4294967296常見(jiàn)錯(cuò)誤以及處理辦法4、必須關(guān)注各個(gè)任務(wù)的詳細(xì)情況當(dāng)出現(xiàn)如下的錯(cuò)誤的時(shí)候，請(qǐng)及時(shí)的將下載的進(jìn)程數(shù)調(diào)小。vi/home/boco/oozie_wy/config/lte/mro/ftp/807101.xml將max_thread由原來(lái)的6個(gè)調(diào)整為3個(gè),或者協(xié)調(diào)廠家加大FTP的最大線程數(shù)。 stderrlogs： .ftp.FTPConnectionClosedException:FTPresponse421received.Serverclosedconnection. at.ftp.FTP.__getReply(FTP.java:363) at.ftp.FTP.__getReply(FTP.java:290) at.ftp.FTP._connectAction_(FTP.java:396) at.ftp.FTPClient._connectAction_(FTPClient.java:796) at.SocketClient.connect(SocketClient.java:172) at.SocketClient.connect(SocketClient.java:192) at.SocketClient.connect(SocketClient.java:285) atcom.boco.wangyou.utils.Ftp.connectServer(Ftp.java:550) atcom.boco.wangyou.lte.mro.ftp.tools.FindFileThread.run(FindFileThread.java:67) 登錄ftp服務(wù)器【49】失敗，F(xiàn)TP服務(wù)器無(wú)法打開(kāi)！ .ftp.FTPConnectionClosedException:FTPresponse421received.Serverclosedconnection. at.ftp.FTP.__getReply(FTP.java:363) at.ftp.FTP.__getReply(FTP.java:290) at.ftp.FTP._connectAction_(FTP.java:396) at.ftp.FTPClient._connectAction_(FTPClient.java:796) at.SocketClient.connect(SocketClient.java:172) at.SocketClient.connect(SocketClient.java:192) at.SocketClient.connect(SocketClient.java:285) atcom.boco.wangyou.utils.Ftp.connectServer(Ftp.java:550) atcom.boco.wangyou.lte.mro.ftp.tools.FindFileThread.run(FindFileThread.java:67) 登錄ftp服務(wù)器【49】失敗，F(xiàn)TP服務(wù)器無(wú)法打開(kāi)！ .ftp.FTPConnectionClosedException:FTPresponse421received.Serverclosedconnection. at.ftp.FTP.__getReply(FTP.java:363) at.ftp.FTP.__getReply(FTP.java:290) at.ftp.FTP._connectAction_(FTP.java:396) at.ftp.FTPClient._connectAction_(FTPClient.java:796) at.SocketClient.connect(SocketClient.java:172) at.SocketClient.connect(SocketClient.java:192)常見(jiàn)錯(cuò)誤以及處理辦法5、TASKTRACKER和HDFS組的問(wèn)題發(fā)現(xiàn)部分地方在安裝的時(shí)候，將所有的機(jī)器分組的問(wèn)題。如果分組，需要將每個(gè)組的參數(shù)都要修改。目前發(fā)現(xiàn)很多的地方，TASKTRACKER和HDFS都分了組，但是只修改一組的參數(shù)，造成系統(tǒng)大量出問(wèn)題。javaheapsize以及tasktracker被拉黑名單的問(wèn)題。6、namenode和datanode的內(nèi)存配置問(wèn)題。 建議將使用的內(nèi)存修改為4G左右。7、建議將HIVE2服務(wù)放到一個(gè)輔節(jié)點(diǎn)上。 hive2放到輔節(jié)點(diǎn)上，經(jīng)常出現(xiàn)add_partation掛起報(bào)錯(cuò)。8、解決HIVE經(jīng)常掛死的問(wèn)題 修改zookeeper的最大客戶端連接數(shù)，maxClientCnxns修改為3600或者修改成0不限制 自動(dòng)清空時(shí)間間隔，autopurge.purgeInterval修改為1小時(shí)9、廠家XML配置的問(wèn)題。 如果廠家是這樣的：/data/dataservice/mr/ltemro/huawei/20140815/01/362323/TD-LTE_MRO_HUAWEI_010133150144_362323_20140815011500.xml.gz 建議配置成這樣的： 路徑：/data/dataservice/mr/ltemro/huawei/$TIME$/$ENODEB$ 時(shí)間格式：yymmdd/hh常見(jiàn)錯(cuò)誤以及處理辦法10、在/home/boco/oozie_wy/config/lte/mro/ftp下禁止存放.bak文件 有一個(gè)省份的mapper數(shù)超多，導(dǎo)致解析很長(zhǎng)時(shí)間沒(méi)有完成。 進(jìn)一步發(fā)現(xiàn)FTP在合并文件的時(shí)候報(bào)錯(cuò)，再進(jìn)一步發(fā)現(xiàn)同一個(gè)IP地址，同一個(gè)OMC啟動(dòng)了三個(gè)mapper進(jìn)程去下載數(shù)據(jù)導(dǎo)致文件合并失敗。 發(fā)現(xiàn)是修改了ftp.xml文件，沒(méi)有刪除原來(lái)的文件，而是以一個(gè)bak文件存放。 刪除這些bak文件，mapper數(shù)量正常。 原mapper數(shù)1731個(gè)，刪除之后mapper數(shù)41個(gè),采集正常。 打開(kāi)50030看FTP的日志，存在如下的報(bào)錯(cuò)： java.io.FileNotFoundException:Filedoesnotexist:/user/boco/cache/wy/ltemro/1411032293348/xml/155/2014-09-18_11/TD-LTE_MRO_ERICSSON_OMC1_303024_20140918111500.xml.zip atnode.INodeFile.valueOf(INodeFile.java:39) atnode.FSNamesystem.getBlockLocationsUpdateTimes(FSNamesystem.java:1341) atnode.FSNamesystem.getBlockLocationsInt(FSNamesystem.java:1293) atnode.FSNamesystem.getBlockLocations(FSNamesystem.java:1269) atnode.FSNamesystem.getBlockLocations(FSNamesystem.java:1242) atnode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:392) attocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServerSideTranslatorPB.java:172)常見(jiàn)錯(cuò)誤以及處理辦法atto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44938)atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1701)atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1697)atjava.security.AccessController.doPrivileged(NativeMethod) 或者： org.apache.hadoop.ipc.RemoteException(node.LeaseExpiredException):Leasemismatchon/user/boco/cache/wy/ltemro/1411032293348/xml/155/2014-09-18_11/TD-LTE_MRO_ERICSSON_OMC1_3030_20140918.xmlownedbyDFSClient_NONMAPREDUCE_-1274827212_1butisaccessedbyDFSClient_NONMAPREDUCE_-216613905_1 atnode.FSNamesystem.checkLease(FSNamesystem.java:2459) atnode.FSNamesystem.checkLease(FSNamesystem.java:2437) atnode.FSNpleteFileInternal(FSNamesystem.java:2503) atnode.FSNpleteFile(FSNamesystem.java:2480) atnode.NameNodeRpcSplete(NameNodeRpcServer.java:535) attocolPB.ClientNamenodeProtocolServerSideTranslatorPB.complete(ClientNamenodeProtocolServerSideTranslatorPB.java:337) atto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44958) atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453) atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)常見(jiàn)錯(cuò)誤以及處理辦法11、REDIS故障 解析時(shí)候報(bào)錯(cuò)，錯(cuò)誤如下： redis.clients.jedis.exceptions.JedisConnectionException:Couldnotgetaresourcefromthepool atredis.clients.util.Pool.getResource(Pool.java:22) atcom.boco.wangyou.utils.JedisUtils.getJedis(JedisUtils.java:47) atcom.boco.wangyou.utils.JedisUtils.getTableValues(JedisUtils.java:119) atcom.boco.wangyou.lte.mro.tdl.tools.LteMroXMLParser.<init>(LteMroXMLParser.java:82) atcom.boco.wangyou.lte.mro.tdl.XMLParseMapper.map(XMLParseMapper.java:44) atcom.boco.wangyou.lte.mro.tdl.XMLParseMapper.map(XMLParseMapper.java:18) atorg.apache.hadoop.mapreduce.Mapper.run(Mapper.java:140) 此問(wèn)題一般是因?yàn)镽EDIS沒(méi)有啟動(dòng)導(dǎo)致。12、克隆機(jī)器安裝的問(wèn)題 把一個(gè)節(jié)點(diǎn)的第二步都裝好了，把它克隆到其它主機(jī)上，再把克隆到的主機(jī)的IP （注意在修改IP配置文件的時(shí)候，將HWaddr也改了，一般是這種格式：00:50:56:80:4E:D6， 否則在連接時(shí)會(huì)找不到硬盤(pán)）和主機(jī)名改下。 此種情況主要出現(xiàn)在使用vmvarevsphere克隆導(dǎo)致的。 注意： 克