架构图 Yagi 从rabbitmq拿到 notifications并传递给Yagi Handlers 链. Yagi Handlers 包括: Shoebox for long-term archiving. Atom-Hopper for pub-sub ATOM feeds. Stack-distiller/Winchester for StackTach.v3 stream processing. Winchester 来蒸馏notification,变成event,再利用Streams…

0. 背景 0.1 为什么要有 Ceilometer? 通常云,特别是公有云在计费方面有三个层次: 计量 (Metering): 收集资源的使用数据,其数据信息主要包括:使用对象(what), 使用者(who), 使用时间(when)和 用量(how much). 计费 (Rating):将资源使用数据按照商务规则转化为可计费项目并计算费用 结算 (Billing):收钱开票 Ceilometer 的目标是 计量 Metering 方面,为上层的计费.结算或者监控应用提供统一的资源使用数据收集功…

本文将阐述 Ceilometer 中的数据收集机制.Ceilometer 使用三种机制来收集数据: Notifications:Ceilometer 接收 OpenStack 其它服务发出的 notification message Polling:直接从 Hypervisor 或者 使用 SNMP 从host machine,或者使用 OpenStack 其它服务的 API 来获取数据. RESTful API:别的 application 使用 Ceilometer 的 REST API 创…

一.目的 最近研究了一下ceilometer,目的做一个监控系统,对系统中发生的事件进行处理.ceilometer对openstack各个组件信息的收集方式主要由 推 和  拉 两种. “推”: 就是openstack的各个组件将信息以notification的形式发送到message bus,然后有agent_notification对消息进行监听,agent_notification 在接收到消息后,经过一个pipeline的处理,然后再通过rpc发送给collector, collecto…

Ceilometer 是 Openstack 的监控管理计费模块,我所用的版本为 Mitaka 版本.在 Ceilometer 中,可以使用 SNMP 监控服务器的实时硬件资源信息. 系统环境为 Centos 6.7. 安装 SNMP sudo yum install -y net-snmp net-snmp-utils 修改 SNMP 配置文件 sudo vim /etc/snmp/snmpd.conf 默认的 snmpd.conf 如下: # sec.name source communit…

Openstack-Mitaka Ceilometer 部署心得 标签 : Openstack Ceilometer 是 Openstack 的监控管理计费模块,我所用的版本为 Mitaka 版本.Ceilometer 模块依赖 Keystone 认证模块,需要先部署好 Keystone . 系统环境为 Centos 6.7. 把节点的 hostname 设置为 controller. 编辑 /etc/hosts文件如下: # controller 127.0.0.1 controller ce…

Openstack ceilometer主要用于监控虚拟机.服务(glance.image.network等)和事件.虚拟机的监控项主要包括CPU.磁盘.网络.instance.本文在现有监控项的基础上,介绍如何增加新的监控项目. 一.Ceilometer框架结构 Ceilometer监控通过在计算节点部署Compute服务,轮询其计算节点上的instance,获取各自的CPU.网络.磁盘等监控信息,发送到RabbitMQ,Collector服务负责接收信息进行持久化存储,详细框架如下图所示(点…

1.概述 Ceilometer是OpenStack中的一个子项目,它像一个漏斗一样,能把OpenStack内部发生的几乎所有的事件都收集起来,然后为计费和监控以及其它服务提供数据支撑.Ceilometer的核心架构图如下: 图1 Ceilometer的核心架构图 图2 Ceilometer架构模型 2.安装 2.1安装服务 apt-get install ceilometer-api ceilometer-collector ceilometer-agent-central python-cei…

一.  Ceilometer 1.    概述 Openstack ceilometer主要用于监控虚拟机.服务(glance.image.network等)和事件.虚拟机的监控项主要包括CPU.磁盘.网络.instance. 针对一个计量和监控系统需要考虑到的问题,可能都有哪些,打算上这样一个系统的时候,主要有三个问题需要考虑,一个是数据收集的问题,计量和监控,收集很多可能各种各样数据:另外一个是存储的问题,这么大量的数据收集过来怎么存储,怎么有效的查询:第三个问题是报警,我收集过来这些数据之…

一.Agent 主要有compute agent 和central agent,还有一些其他的agent这里暂时不分析. agent初始化时会动态加载给定namespace的pollster插件,并通过PollingTask管理pollster的调用,为每个pollster配置pipeline.pollster可以通过调用inspector采集虚拟机中的信息,inspector主要采用底层虚拟化手段获得虚拟机信息,例如通过libvirt:pollster也可以通过openstack服务的API采…

一.简单介绍ceilometer 这里长话短说, ceilometer是用来采集openstack下面各种资源的在某一时刻的资源值,比如云硬盘的大小等.下面是官网现在的架构图 这里除了ceilometer的架构图,还有另外三个组件: Panko 用来存储事件的, 后面用来实现cloudkitty事件秒级计费也是我的工作之一,目前实现来一部分,有时间单独在写一篇博文. gnocchi是用来存储ceilometer的计量数据,之前的版本是存在mongo中, 不过随着计量数据的不断累计, 查询性能变得…

1.概述 Ceilometer是OpenStack中的一个子项目.它像一个漏斗一样.能把OpenStack内部发生的差点儿全部的事件都收集起来,然后为计费和监控以及其他服务提供数据支撑.Ceilometer的核心架构图例如以下: 图1 Ceilometer的核心架构图 图2 Ceilometer架构模型 2.安装 2.1安装服务 apt-get install ceilometer-api ceilometer-collector ceilometer-agent-central python-…

问题导读 1.ceilometer负责什么事情? 2.ceilometer 有哪些概念? 3.ceilometer 怎样採集hardware? 附上openstack 官网API   http://docs.openstack.org/developer/python-ceilometerclient/ ceilometer主要负责监控数据的採集.採集的项目包含虚拟机的性能数据,neutron-l3-router使用的网络带宽,glance&cinder&swift等租户使用信息,甚至是通…

https://xiaofandh12.github.io/Mongo-Shard 关于MongoDB MongoDB中的概念与关系型数据库之间的对应: Database --> Database Collection --> Table Document --> Row MongoDB相较于关系型数据库的优势: 简化关系型数据库复杂的关联问题 摆脱关系模型里面的强一致性限制 MongoDB可以做到水平扩展和高可用 学习MongoDB有几个比较重要的方面: CRUD操作 聚合(Aggre…

(一)在控制节点上 1.安装的遥測服务 apt-get install -y ceilometer-api ceilometer-collector ceilometer-agent-central \ ceilometer-agent-notification ceilometer-alarm-evaluator \ ceilometer-alarm-notifier python-ceilometerclient 2.遥測服务使用数据库来存储信息.指定该数据库的配置文件.这些样例在控制器节点…

为StackTach创建database,默认使用MySql,也可以 在settings.py 文件中配置其他的. create stack db mysql -u root -p mysql> create database stacktach; mysql> grant all privileges on stacktach.* to '; exit 安装django和 ./etc/pip-requires.txt由于pip-requires.txt中要求django >=1.5.1…

Ceilometer的数据采集agent会定期对nova/keystone/neutron/cinder等服务调用其API的获取信息,默认是20秒一次, # Polling interval for pipeline file configuration in seconds. # (integer value) #pipeline_polling_interval = 这在大规模部署中会对OpenStack服务节点造成很大压力,增加节点CPU负载. 在Ceilometer的L版本中有一个针对性…

创建一个ceilometer alarm需要4次DB操作: api/controllers/v2/alarms.py 1. is_over_quota 每一次都需要查询该user/project的所有alarms 2. 判断alarm name是否已经存在于DB中,也需要查询该user/project的所有alarms        # make sure alarms are unique by name per project.        alarms = list(conn.get_a…

Ceilometer和其他OpenStack项目相比,部署中比较不同的是Ceilometer可以选用多种不同的后台数据库来保存测量值和警告器. 目前Ceilometer支持的后台数据库及及其相应的配置如表9-5所示: 表9-5  Ceilometer支持的后台数据库 数据库 配置项示例 说明 MongoDB [database] connection = mongodb://user:pass@host:27017/ceilometer 需要MongDB2.4及以后的版本 SqlAlchemy所…

感谢朋友支持本博客,欢迎共同探讨交流.因为能力和时间有限,错误之处在所难免,欢迎指正! 假设转载,请保留作者信息. 博客地址:http://blog.csdn.net/gaoxingnengjisuan 邮箱地址:dong.liu@siat.ac.cn PS:近期没有登录博客.非常多朋友的留言没有看见.这里道歉.还有就是本人较少上QQ,能够邮件交流. ceilometer主要概念 sample:採样数据是每一个採集时间点上meter相应的值: statistics:通常是统计学上某个周期内,me…

Openstack ceilometer主要用于监控虚拟机.服务(glance.image.network等)和事件.虚拟机的监控项主要包含CPU.磁盘.网络.instance.本文在现有监控项的基础上,介绍怎样添加新的监控项目. 一.Ceilometer框架结构 Ceilometer监控通过在计算节点部署Compute服务.轮询其计算节点上的instance.获取各自的CPU.网络.磁盘等监控信息,发送到RabbitMQ.Collector服务负责接收信息进行持久化存储.具体框架例如以下图所看…

Ceilometer Alarm是H版新加入的功能,监控报警是云平台必不可少的部分,Ceilometer已经实现了比較完好的监控体系.报警怎么能缺少呢?用过AWS CloudWatch Alarm的人应该不会对Ceilometer的Alarm感到陌生.Ceilometer实现的Alarm和CloudWatch的Alarm非常像,概念基本上都一样,Alarm的逻辑也基本上一样.能够说是一个开源版的CloudWatch Alarm,可是它进行了一些"微创新",实现了一些比較有意思的小功能,…

在I版本号中,Heat中加入了对于AutoScaling资源的支持.github上也提供了相应的AutoScaling的模板(https://github.com/openstack/heat-templates/blob/master/hot/autoscaling.yaml),同一时候也支持使用ceilometer的alarm来触发Scaling Policy,可是在实践的过程中可能会碰到一些问题.本文就该特性以及问题做一个简单的总结 AutoScaling定义的流程 首先定义一个Auto…

<Openstack ceilometer监控项扩展>( http://eccp.csdb.cn/blog/?p=352 )主要介绍了对虚拟机监控项扩展, 比較简单.怎样在ceilometer框架基础上,添加对宿主机.服务等的监控?本文以宿主机监控为例,具体介绍扩展方法. 首先,整体介绍Ceilometer採集监控数据到持久化存储的流程,在compute节点上通过pollster的轮询机制获取宿主机的各监控数据,通过publisher调用rpc将监控数据发送到消息队列.collector端依据…

1  采集模块整体架构 采集模块主要分为三大块. Ceilometer:用于采集数据并处理数据后发送到gnocchi服务去存储 Gnocchi:用于将采集数据进行计算合并和存储并提供rest api方式接收和查询监控数据 Aodh:主要负责告警功能 1.1  Ceilometer架构 Ceilometer-polling服务:通过调用多个采集插件(采集插件在setup.cfg中有定义,ceilometer.poll.compute对应的就是采集插件)收集信息,这个服务收集的是有关虚拟机资源使用情…

在控制节点上执行 #!/bin/bash MYSQL_ROOT_PASSWD='m4r!adbOP' GNOCCHI_PASSWD='gnocchi1234!' CEILOMETER_PASSWD='ceilometer1234!' RABBIT_PASSWD='0penstackRMQ' AODH_PASSWD='aodh1234!' controllerHost='controller' OPENSTACK_RELEASE='queens' controller-ceilometer(){…

MongoDB 日志中出现“UserNotFound: Could not find user ceilometer@ceilometer” 问题描述 MongoDB(版本 3.2.9) 服务启动后,Ceilometer-api服务连接 MongoDB 的时候,报认证失败,导致8777端口一直用不了. MongoDB 日志报错,具体如下: --04T14:: I CONTROL [signalProcessingThread] dbexit: rc: --04T14:: I CONTROL [m…

on namespace ceilometer.$cmd failed: Authentication failed. UserNotFound: Could not find user ceilometer@ceilometer 背景介绍 1.Ceilometer 项目是 OpenStack 中用来做计量计费功能的一个组件,后来又逐步发展增加了部分监控采集.告警的功能. 2.MongoDB 是一个基于分布式文件存储的数据库.由 C++ 语言编写.旨在为 WEB 应用提供可扩展的高性能数据存储解…

控制节点: ceilometer-api: /etc/init.d/openstack-ceilometer-api  status ceilometer-collector /etc/init.d/openstack-ceilometer-collector status ceilometer-alarm-notifier /etc/init.d/openstack-ceilometer-alarm-notifier status ceilometer-notification /etc/in…

…