这是 OpenStack 实施经验分享系列的第 8 篇。

先来看张图:



这是 Nova 的架构图,我们可以看到有两个组件处于架构的中心位置:数据库和Queue。数据库保存状态信息,而几乎所有的 nova-* 服务都直接依赖于 Queue 实现服务之间的通信和调用。

OpenStack 通常用 RabbitMQ 实现消息队列,几乎所有的 OpenStack 模块都会用到 RabbitMQ,如果 RabbitMQ 挂了,OpenStack 也就瘫了,可以说它是最重要的组件。

本节我们就来讨论如何监控 RabbitMQ 的状态,介绍一个非常简单高效的方法。

启用 RabbitMQ 管理 plugin

默认安装中,我们只能用命令 rabbitmqctl 监控 RabbitMQ,比如:rabbitmqctl list_queues,rabbitmqctl list_exchanges 等子命令。这种方式不太直观,效率不高。

好在 RabbitMQ 有一个管理 plugin,提供了图形管理界面,可以在运行 RabbitMQ 的节点(一般是控制节点)执行下面的命令启用。

rabbitmq-plugins enable rabbitmq_management

然后还需要创建一个 用户,用来登录管理控制台了。

rabbitmqctl add_user  user_admin  passwd_admin

rabbitmqctl set_user_tags user_admin administrator

rabbitmqctl set_permissions -p / user_admin ".*" ".*" ".*"

然后就可以用 user_admin(密码 passwd_admin)登录了,地址是

http://server-name:15672/

最简单高效的监控方法

Web 控制台会展示很多 RabbitMQ 信息,但最最重要的就一个:Unacked Message。这个数据会直接显示在登录之后的 Overview 标签中,第一眼就能看到。

Unacked Message 指的是还没有被处理的消息。正常情况下,这个值应该为 0。如果这个值不是 0,并且持续增长,那你就得注意了,这意味着 RabbitMQ 出现了问题,队列开始积压,消息开始堆积,是一个严重的信号。

接下来怎么办呢?

这个时候就可以点开 Overview 后面的标签,查看到底消息是在哪个或者哪些 Connection,Channel,Exchange,Queues 中堆积,进而分析问题的根源并解决。



一个真实案例

1. 客户的 OpenStack 在正常运行了一个月后突然挂了。

2. 日志分析发现 nova,neutron 等模块都报告找不到相关的 queue。因为多个模块的日志都指向 RabbitMQ,看来 RabbitMQ 有最大嫌疑。

3. RabbitMQ 日志中 Error 已经在持续刷屏,但信息很笼统。这时 RabbitMQ 已经处于无法工作的状态,只能重启 RabbitMQ。

4. RabbitMQ 重启后,OpenStack 自动恢复。

5. 打开 RabbitMQ Web 控制台,发现 Unacked Message > 0。

6. 观察一段时间,发现 Unacked Message 以固定的速度持续增长。

7. 定位 Message 增长的原因,发现均来自 Ceilometer 相关的 Queue。

8. 检查 Ceilometer,发现了一个配置错误,导致 Ceilometer 发送到 Queue 的数据没有被处理。

9. 修改配置,重启 Ceilometer,Unacked Message 开始下降,最后保持为 0。

这个问题就像内存泄漏一样,Unacked Message 逐渐积累,最终压跨了整个 OpenStack。

好了,以上就是今天的内容,下一节我们继续分享实施经验。

最简单的 RabbitMQ 监控方法 - 每天5分钟玩转 OpenStack(158)的更多相关文章

  1. Docker 最常用的监控方案 - 每天5分钟玩转 Docker 容器技术(78)

    当 Docker 部署规模逐步变大后,可视化监控容器环境的性能和健康状态将会变得越来越重要. 在本章中,我们将讨论几个目前比较常用的容器监控工具和方案,为大家构建自己的监控系统提供参考. 首先我们会讨 ...

  2. 一张表搞懂各种 Docker 监控方案 - 每天5分钟玩转 Docker 容器技术(86)

    前面我们已经介绍了ps/top/stats.Sysdig.Weave Scope.cAdvisor 和 Prometheus 多种容器监控工具和方案,是时候做一个比较了.下面将从五个方面来对比它们之间 ...

  3. Metadata Service 一个最简单的应用 - 每天5分钟玩转 OpenStack(164)

    实现 instance 定制化,cloud-init(或 cloudbase-init)只是故事的一半,metadata service 则是故事的的另一半.两者的分工是:metadata servi ...

  4. 两种进入容器的方法 - 每天5分钟玩转 Docker 容器技术(23)

    我们经常需要进到容器里去做一些工作,比如查看日志.调试.启动其他进程等.有两种方法进入容器:attach 和 exec. docker attach 通过 docker attach 可以 attac ...

  5. 用 Heapster 监控集群 - 每天5分钟玩转 Docker 容器技术(176)

    Heapster 是 Kubernetes 原生的集群监控方案.Heapster 以 Pod 的形式运行,它会自动发现集群节点.从节点上的 Kubelet 获取监控数据.Kubelet 则是从节点上的 ...

  6. 用 Weave Scope 监控集群 - 每天5分钟玩转 Docker 容器技术(175)

    创建 Kubernetes 集群并部署容器化应用只是第一步.一旦集群运行起来,我们需要确保一起正常,所有必要组件就位并各司其职,有足够的资源满足应用的需求.Kubernetes 是一个复杂系统,运维团 ...

  7. Weave Scope 多主机监控 - 每天5分钟玩转 Docker 容器技术(81)

    除了监控容器,Weave Scope 还可以监控 Docker Host. 点击顶部 HOSTS 菜单项,地图将显示当前 host. 与容器类似,点击该 host 图标将显示详细信息. host 当前 ...

  8. 基于Spring aop写的一个简单的耗时监控

    前言:毕业后应该有一两年没有好好的更新博客了,回头看看自己这一年,似乎少了太多的沉淀了.让自己做一个爱分享的人,好的知识点拿出来和大家一起分享,一起学习. 背景: 在做项目的时候,大家肯定都遇到对一些 ...

  9. KVM虚拟机内无agent情况下的监控方法

    KVM虚拟机内无agent情况下的监控(ceilometer实现) 今天看到大家在群里讨论KVM虚拟机的监控问题,而且是要求VM内无agent情况下的监控.这方面确实没有深入研究,但尚有些openst ...

随机推荐

  1. linux上编译安装python2.7.5

    下载python2.7.5,保存到 /data/qtongmon/software http://www.python.org/ftp/python/ 解压文件 tar xvf Python-2.7. ...

  2. Bash's Big Day

    Bash has set out on a journey to become the greatest Pokemon master. To get his first Pokemon, he we ...

  3. vim列编辑

    命令模式下:ctrl + v(我在gvim,win7中是ctrl +shift + q)进入列编辑模,选中要编辑的行(j 上,k下) 输入 “I” (大写的 I,光标定位到选中的第一行),输入要编辑的 ...

  4. Voilin 与 乐谱

    小提琴属于高音乐器,所以它使用的是高音谱号: 用音的时候,线不够用,那就得上加线,或下加线. 小提琴的弦对应的五线谱的位置为: 第四弦,对应五线谱的下加两条线的下面 第三弦,对应五线谱的第一线的下面 ...

  5. java_web学习(3)XML基础

    XML 技术概述 XML是一种通用的数据交换格式.为实现计算机之间的文档交换而设计的文档内容编写规范,语法与HTML相似;XML的作用:统一信息的结构,实现不同系统之间的相互通信;目前许多系统的配置文 ...

  6. Jqgrid学习(转载)

    jqGrid API 全   JQGrid是一个在jquery基础上做的一个表格控件,以ajax的方式和服务器端通信. JQGrid Demo 是一个在线的演示项目.在这里,可以知道jqgrid可以做 ...

  7. 【翻译】在Visual Studio中使用Asp.Net Core MVC创建第一个Web Api应用(二)

    运行应用 In Visual Studio, press CTRL+F5 to launch the app. Visual Studio launches a browser and navigat ...

  8. 数据库基础-JOIN

    JOIN分类 三.JOIN分类详解 INNER JOIN: 仅仅返回两个表中,匹配列相同的列值,所在行的数据. SELECT * FROM Table1 t1 INNER JOIN Table2 t2 ...

  9. Java Swing Graphics Graphics2D的一般用法

    Java Swing Graphics Graphics2D的一般用法: 贝塞尔曲线参考:http://www.zhangxinxu.com/wordpress/2014/06/deep-unders ...

  10. ServletConfig、ServletContext属性遍历

    可以进行属性遍历: package com.stono.servlet; import java.io.IOException; import java.util.Enumeration; impor ...