第2节 storm路由器项目开发：8 - 9、集群监控软件ganglia的安装和使用

Ganglia监控Hadoop集群的安装部署

详情请参见 http://boendev.iteye.com/blog/1750615

一、 安装环境

• CentOS6.5x86_64
• 安装gmetad的机器：10.2.6.250 (服务端)
• 安装gmond的机器：10.2.6.250，10.2.6.246，10.2.6.248，10.2.6.249
• 浏览监控web页面的机器：10.2.6.250
• Ganglia 监控套件包括三个主要部分 gmond ，gmetad，和网页接口，通常被称为ganglia-web。
  gmond 是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。
• gmetad 也是一个守护进程，他定期检查gmonds ，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。
• ganglia-web 顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。

二、 介绍

一般来说一个集群的每台机器上都需要安装gmond，只要负责展示web界面的机器安装了gmetad即可。

1.ganglia规划

 主机名        ip
              规划                        安装

hadoop1 
10.2.6.250    服务端   ganglia-gmond、ganglia-gmetad、ganglia-web

hadoop2   10.2.6.246
   客户端   
        ganglia-gmond

hadoop3   10.2.6.248
   客户端      
     ganglia-gmond

hadoop4 
 10.2.6.249    客户端     
      ganglia-gmond

安装前确保iptables关闭.

2.安装前的准备工作

2.1加载yum源，在每一台机器上面执行下面两个命令

rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

yum  -y  install  httpd-devel  automake  autoconf  libtool  ncurses-devel  libxslt  groff  pcre-devel  pkgconfig

3.主节点服务安装配置

3.1主节点的服务安装（hadoop1上面的安装配置）安装ganglia-gmetad 和 ganglia-web

1. #yum search ganglia     ------------------查看ganglia在epel的安装包,复制进行安装
2. #yum -y install ganglia-web.x86_64 ganglia-gmond.x86_64
3. #yum -y install ganglia-gmetad.x86_64 ----------------------(如果上一步执行了这步不用执行,web包会自动下载该依赖)
4. #rpm -qa |grep ganglia          --------------------查看安装情况
5. # rpm -ql ganglia-gmetad.x86_64       ------------- 复制上面命令执行结果的安装名,可查看安装路径

 

3.1.1配置gmetad

Shell代码  

1. # vi /etc/ganglia/gmetad.conf
2. data_source
   "my cluster" 10.2.6.250:8649  ---- Hadoop为cluster名称,后面是需要监控的主机名

3.1.2修改apache设置

Shell代码  

1. # vi /etc/httpd/conf.d/ganglia.conf
2. 文件内容Deny from all 为 allow from all
3. 修改后配置如下
4. <Location
   /ganglia>
5. Order deny,allow
6. Allow from all
7. Allow from 127.0.0.1
8. Allow from ::1
9. # Allow from .example.com
10. </Location>

3.1.3设置启动

Shell代码  

1. # chkconfig --add gmetad
2. # chkconfig --add gmond
3. # chkconfig --add httpd

3.1.4打开端口/关闭防火墙

# /etc/init.d/iptables
stop -------------------关闭防火墙,用于测试时,线上最好用打开端口方式

3.1.5关闭SELinux

1 永久方法 – 需要重启服务器

修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。

2 临时方法 – 设置系统参数

使用命令setenforce 0

附：

setenforce 1 设置SELinux 成为enforcing模式

setenforce 0 设置SELinux 成为permissive模式

4.监控节点的安装（每个监控节点，hadoop2，hadoop3，

hadoop4都要安装）

4.1安装ganglia-gmond

Shell代码  

1. #yum search ganglia
2. #yum install ganglia-gmond.x86_64

4.2配置gmond

Shell代码  

1. #vi /etc/ganglia/gmond.conf
2. cluster
   {
3. name = "my cluster" 
     ------ cluster名称,是你在gmetad.conf里配置的data_source名称
4. owner = "root"
5. latlong = "unspecified"
6. url = "unspecified"
7. }
8. udp_send_channel
   {
9. #
   mcast_join = 239.2.11.71  ----- 组播
10. host=10.2.6.250    -------------- 单播 gmeta主机的ip/主机名或者主机ip地址
11. port
    = 8649
12. ttl =
    1
13. }
14. udp_recv_channel {
15. #mcast_join = 239.2.11.71
16. port
    = 8649
17. bind =
    10.2.6.246
18. }

4.3配置启动

# chkconfig
 --add  gmond

# chkconfig
 --list  gmond

此时，如果正确安装，会出现gmond    
      0:off   1:off   2:off   3:off   4:off
  5:off   6:off

4.4配置hosts

# vi /etc/hosts

10.2.6.250 hadoop1

10.2.6.246 hadoop2

10.2.6.248 hadoop3

10.2.6.249 hadoop4

全部安装完毕后

在主机上

# service gmetad start

# service gmond start

# service httpd start

# service gmetad status 
  -------------------验证是否启动成功

# service gmond status   -------------------验证是否启动成功

在监控节点上 

# service gmond start

# service gmond status   -------------------验证是否启动成功

访问http://10.2.6.250/ganglia

常见问题

Forbidden错误时,因为对apache有一个设置

修改 /etc/httpd/conf.d/ganglia.conf文件内容Deny from all 为 allow from all

There was an error collecting ganglia data
(127.0.0.1:8652):fsockopen error: Permission denied 解决方法

1 永久方法 – 需要重启服务器

修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。

2 临时方法 – 设置系统参数

使用命令setenforce 0

附：

setenforce 1 设置SELinux 成为enforcing模式

setenforce 0 设置SELinux 成为permissive模式

There was an error collecting ganglia data
(127.0.0.1:8652):fsockopen error: Connection refused 解决办法

卸载yum remove ganglia-web
ganglia-gmetad

重新安装yum install ganglia-web
   ----- ganglia-web本身有引用gmetad

重启即可

http://redhatdebian.blog.51cto.com/1197273/828992