这是 OpenStack 实施经验分享系列的第 8 篇。

先来看张图:



这是 Nova 的架构图,我们可以看到有两个组件处于架构的中心位置:数据库和Queue。数据库保存状态信息,而几乎所有的 nova-* 服务都直接依赖于 Queue 实现服务之间的通信和调用。

OpenStack 通常用 RabbitMQ 实现消息队列,几乎所有的 OpenStack 模块都会用到 RabbitMQ,如果 RabbitMQ 挂了,OpenStack 也就瘫了,可以说它是最重要的组件。

本节我们就来讨论如何监控 RabbitMQ 的状态,介绍一个非常简单高效的方法。

启用 RabbitMQ 管理 plugin

默认安装中,我们只能用命令 rabbitmqctl 监控 RabbitMQ,比如:rabbitmqctl list_queues,rabbitmqctl list_exchanges 等子命令。这种方式不太直观,效率不高。

好在 RabbitMQ 有一个管理 plugin,提供了图形管理界面,可以在运行 RabbitMQ 的节点(一般是控制节点)执行下面的命令启用。

rabbitmq-plugins enable rabbitmq_management

然后还需要创建一个 用户,用来登录管理控制台了。

rabbitmqctl add_user  user_admin  passwd_admin

rabbitmqctl set_user_tags user_admin administrator

rabbitmqctl set_permissions -p / user_admin ".*" ".*" ".*"

然后就可以用 user_admin(密码 passwd_admin)登录了,地址是

http://server-name:15672/

最简单高效的监控方法

Web 控制台会展示很多 RabbitMQ 信息,但最最重要的就一个:Unacked Message。这个数据会直接显示在登录之后的 Overview 标签中,第一眼就能看到。

Unacked Message 指的是还没有被处理的消息。正常情况下,这个值应该为 0。如果这个值不是 0,并且持续增长,那你就得注意了,这意味着 RabbitMQ 出现了问题,队列开始积压,消息开始堆积,是一个严重的信号。

接下来怎么办呢?

这个时候就可以点开 Overview 后面的标签,查看到底消息是在哪个或者哪些 Connection,Channel,Exchange,Queues 中堆积,进而分析问题的根源并解决。



一个真实案例

1. 客户的 OpenStack 在正常运行了一个月后突然挂了。

2. 日志分析发现 nova,neutron 等模块都报告找不到相关的 queue。因为多个模块的日志都指向 RabbitMQ,看来 RabbitMQ 有最大嫌疑。

3. RabbitMQ 日志中 Error 已经在持续刷屏,但信息很笼统。这时 RabbitMQ 已经处于无法工作的状态,只能重启 RabbitMQ。

4. RabbitMQ 重启后,OpenStack 自动恢复。

5. 打开 RabbitMQ Web 控制台,发现 Unacked Message > 0。

6. 观察一段时间,发现 Unacked Message 以固定的速度持续增长。

7. 定位 Message 增长的原因,发现均来自 Ceilometer 相关的 Queue。

8. 检查 Ceilometer,发现了一个配置错误,导致 Ceilometer 发送到 Queue 的数据没有被处理。

9. 修改配置,重启 Ceilometer,Unacked Message 开始下降,最后保持为 0。

这个问题就像内存泄漏一样,Unacked Message 逐渐积累,最终压跨了整个 OpenStack。

好了,以上就是今天的内容,下一节我们继续分享实施经验。

最简单的 RabbitMQ 监控方法 - 每天5分钟玩转 OpenStack(158)的更多相关文章

  1. Docker 最常用的监控方案 - 每天5分钟玩转 Docker 容器技术(78)

    当 Docker 部署规模逐步变大后,可视化监控容器环境的性能和健康状态将会变得越来越重要. 在本章中,我们将讨论几个目前比较常用的容器监控工具和方案,为大家构建自己的监控系统提供参考. 首先我们会讨 ...

  2. 一张表搞懂各种 Docker 监控方案 - 每天5分钟玩转 Docker 容器技术(86)

    前面我们已经介绍了ps/top/stats.Sysdig.Weave Scope.cAdvisor 和 Prometheus 多种容器监控工具和方案,是时候做一个比较了.下面将从五个方面来对比它们之间 ...

  3. Metadata Service 一个最简单的应用 - 每天5分钟玩转 OpenStack(164)

    实现 instance 定制化,cloud-init(或 cloudbase-init)只是故事的一半,metadata service 则是故事的的另一半.两者的分工是:metadata servi ...

  4. 两种进入容器的方法 - 每天5分钟玩转 Docker 容器技术(23)

    我们经常需要进到容器里去做一些工作,比如查看日志.调试.启动其他进程等.有两种方法进入容器:attach 和 exec. docker attach 通过 docker attach 可以 attac ...

  5. 用 Heapster 监控集群 - 每天5分钟玩转 Docker 容器技术(176)

    Heapster 是 Kubernetes 原生的集群监控方案.Heapster 以 Pod 的形式运行,它会自动发现集群节点.从节点上的 Kubelet 获取监控数据.Kubelet 则是从节点上的 ...

  6. 用 Weave Scope 监控集群 - 每天5分钟玩转 Docker 容器技术(175)

    创建 Kubernetes 集群并部署容器化应用只是第一步.一旦集群运行起来,我们需要确保一起正常,所有必要组件就位并各司其职,有足够的资源满足应用的需求.Kubernetes 是一个复杂系统,运维团 ...

  7. Weave Scope 多主机监控 - 每天5分钟玩转 Docker 容器技术(81)

    除了监控容器,Weave Scope 还可以监控 Docker Host. 点击顶部 HOSTS 菜单项,地图将显示当前 host. 与容器类似,点击该 host 图标将显示详细信息. host 当前 ...

  8. 基于Spring aop写的一个简单的耗时监控

    前言:毕业后应该有一两年没有好好的更新博客了,回头看看自己这一年,似乎少了太多的沉淀了.让自己做一个爱分享的人,好的知识点拿出来和大家一起分享,一起学习. 背景: 在做项目的时候,大家肯定都遇到对一些 ...

  9. KVM虚拟机内无agent情况下的监控方法

    KVM虚拟机内无agent情况下的监控(ceilometer实现) 今天看到大家在群里讨论KVM虚拟机的监控问题,而且是要求VM内无agent情况下的监控.这方面确实没有深入研究,但尚有些openst ...

随机推荐

  1. IOS 上线问题

    info.plist 是否支持后台位置 音频 Info.plist中添加UIBackgroundModes键值,它包含一个或多个string的值,包括 audio:在后台提供声音播放功能,包括音频流和 ...

  2. SQL之left join、right join、inner join

    创建表(Create table): CREATE TABLE A ( Id INT PRIMARY KEY, Name VARCHAR(20) NOT NULL); CREATE TABLE B ( ...

  3. java_web学习(12)JDBC

    数据持久化       持久化(persistence):把数据保存到可掉电式存储设备中以供之后使用.大多数情况下,特别是企业级应用,数据持久化意味着将内存中的数据保存到硬盘上加以”固化”,而持久化的 ...

  4. 启动子&外显子&内含子

    启动子 http://baike.baidu.com/link?url=HMqaMY4mXusH--4hMu1p6P_XUzEve9lZhFGtxScnbb8Z9HaLYJ981eWxAuZt2iAP ...

  5. thinkPHP 视图

    一.模板的使用        a.规则        模板文件夹下[TPL]/[分组文件夹/][模板主题文件夹/]和模块名同名的文件夹[Index]/和方法名同名的文件[index].html(.tp ...

  6. 部署Replica Sets及查看相关配置

    MongoDB 支持在多个机器中通过异步复制达到故障转移和实现冗余.多机器中同一时刻只有一台是用于写操作.正是由于这个情况,为MongoDB 提供了数据一致性的保障.担当Primary 角色的机器能把 ...

  7. 安装Pomelo

    安装pomelo的过程中会使用到C++编译器. 请确保你的Windows系统满足以下两个条件: python(2.5<version<3.0). VC++ 编译器,包含在Visual St ...

  8. Spring 使用context:annotation-config的设置

    Spring 使用context:annotation-config的设置: 还是需要声明Bean的,并且还可能自己定义Annotation: xml: <?xml version=" ...

  9. Angular企业级开发(6)-使用Gulp构建和打包前端项目

    1.gulp介绍 基于流的前端自动化构建工具,利用gulp可以提高前端开发效率,特别是在前后端分离的项目中.使用gulp能完成以下任务: 压缩html.css和js 编译less或sass等 压缩图片 ...

  10. [html5] 学习笔记-服务器推送事件

    1.HTML5服务器推送事件介绍 服务器推送事件(Server-sent Events)是Html5规范的一个组成部分,可以用来从服务端实时推送数据到浏览器端. 传统的服务器推送技术----WebSo ...