logstash将redis中的队列中数据发送到influxdb数据库中
通过elk获取到的java jvm中ygc的时间如下:
现在讲ygc字段的值,发送到influxdb中
首先安装logstash的插件
logstash-output-influxdb
安装完成后,查看:
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-influxdb.html#plugins-outputs-influxdb-exclude_fields
http://blog.csdn.net/julykobe/article/details/44002687
http://www.mamicode.com/info-detail-1720352.html
然后配置服务器端的logstash_server.conf文件:
if [type] == "pcweb_gc" {
#stdout{codec => json}
influxdb {
db => "htxk" #influxDB数据库名
host => "192.168.12.244" #influxDB服务地址
port => "" #influxDB端口
user => "admin" #influxDB初始化的用户名
password => "admin" #influxDB初始化的秘密
retention_policy => "default"
measurement => "pcweb_gc"
allow_time_override => true #允许覆盖time事件中的列
coerce_values => {"ygc" => "float"} #转换类型 data_points => { #键/值对的哈希表示要发送到指定数据库的数据
#"client" => "%{client}"
#"request" => "%{request}"
"ygc" => "%{ygc}"
}
}
}
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-influxdb.html#plugins-outputs-influxdb-exclude_fields
查看数据如下:
influxDB名词
- database:数据库;
- measurement:数据库中的表;
- points:表里面的一行数据。
influxDB中独有的一些概念
- time:每条数据记录的时间,也是数据库自动生成的主索引;
- fields:各种记录的值;
- tags:各种有索引的属性。
还有一个重要的名词:series

- measurement:数据库中的表;
删除表:
retention_policy
数据保存策略(retention_policy)
influxDB是没有提供直接删除数据记录的方法,但是提供数据保存策略,主要用于指定数据保留时间,超过指定时间,就删除这部分数据。
创建新的Retention Policies
CREATE RETENTION POLICY "default" ON "htxk" DURATION 30d REPLICATION 1 DEFAULT
查看当前数据库Retention Policies
压测停止后,数据也停止显示:
SELECT mean("ygc") FROM "pcweb_gc" WHERE $timeFilter GROUP BY time(1s) fill(null)
select ygc from pcweb_gc
上面是实时数据:
重点是sql的写法:
SELECT mean("ygc") FROM "pcweb_gc" WHERE $timeFilter GROUP BY time($interval) fill(null)
http://blog.csdn.net/u010185262/article/details/53158786
https://segmentfault.com/a/1190000008838604
http://blog.csdn.net/u010185262/article/details/53158786
https://www.cnblogs.com/shhnwangjian/p/6893862.html
https://www.cnblogs.com/qiniu/p/6182679.html
https://www.jianshu.com/p/d2935e99006e
http://blog.csdn.net/tomorrowmorningj/article/details/65448841
https://www.cnblogs.com/MikeZhang/p/InfluxDB20171229.html
http://blog.csdn.net/u014087707/article/details/52700946
https://www.cnblogs.com/mafeng/p/6848166.html
logstash将redis中的队列中数据发送到influxdb数据库中的更多相关文章
- 怎样把excel的数据导入到sqlserver2000数据库中
在做程序的时候有时需要把excel数据导入到sqlserver2000中,以前没从外部导入过数据,今天刚做了一下导入数据,感觉还是蛮简单的,没做过之前还想着多么的复杂呢,下面就来分享一下我是如何把ex ...
- python 读取SQLServer数据插入到MongoDB数据库中
# -*- coding: utf-8 -*-import pyodbcimport osimport csvimport pymongofrom pymongo import ASCENDING, ...
- 如何将MongoDB数据库的数据迁移到MySQL数据库中
FAQ v2.0终于上线了,断断续续忙了有2个多月.这个项目是我实践的第一个全栈的项目,从需求(后期有产品经理介入)到架构,再到设计(有征询设计师的意见).构建(前端.后台.数据库.服务器部署),也是 ...
- 利用POI工具读取word文档并将数据存储到sqlserver数据库中
今天实现了利用POI工具读取word文档,并将数据存储到sql数据库中,代码如下: package word; import java.io.File; import java.io.FileInpu ...
- 在Winform中直接录入表格数据和在Vue&Elment中直接录入表格数据的比较
一般来说,录入数据的时候,我们都采用在一个窗体界面中,根据不同内容进行录入,但是有时候涉及主从表的数据录入,从表的数据有时候为了录入方便,也会通过表格控件直接录入.在Winform开发的时候,我们很多 ...
- 根据从redis缓存的数据查询出来,在从数据库中取出所有的数据,俩个数据进行比较,去掉重复,剩下库中新插入的数据,取出新数据,然后把redis中的缓存数据清空把从数据库中查出来的所有数据放到redis缓存中
参考代码: public String getNewCenter(HttpServletRequest request,HttpServletResponse resonse){ JSONObject ...
- filebeat收集日志传输到Redis集群,logstash从Redis集群中拉取数据
前提:已配置好Redis集群,并设置的有统一的访问密码 架构是filebeat-->redis集群-->logstash->elasticsearch,需要修改filebeat的输出 ...
- C#-WinForm-ListView-表格式展示数据、如何将数据库中的数据展示到ListView中、如何对选中的项进行修改
在展示数据库中不知道数量的数据时怎么展示最好呢?--表格 ListView - 表格形式展示数据 ListView 常用属性 HeaderStyle - "详细信息"视图中列标头的 ...
- K3中添加的一条新数据,其在数据库中的位置
最近研究将K3系统与生产管理系统结合起来,减少工作量,但如何确定其各自后台数据库的构成,其对应数据各自位于那张表内,总结了一下: 1.从百度搜索,查看表结构,然后找到目标表 另:K3数据库中单独 ...
随机推荐
- 微信语音短消息amr文件转WAV
- amr说明 - 转WAV程序 我对SILK编码库稍作修改,编译了一个Windows下可直接将SILK V3编码转换为WAV格式,并支持原生的微信语音短消息amr文件的版本,提供给大家使用,压缩包( ...
- STC15控制数码管 38译码器
共阳极数码管举例 #define MAIN_Fosc 27000000L //定义主时钟 #include "STC15Fxxxx.H" #define uchar unsigne ...
- FastJSON使用例子
FastjsonTest.java package demo; import java.util.ArrayList; import java.util.Date; import java.util. ...
- git在idea中的冲突解决(非常重要)
1.什么是冲突 冲突是指当你在提交或者更新代码时被合并的文件与当前文件不一致.读起来有点绕,结合下面的案例理解. 从上面对冲突的定义来看,冲突时发生在同一个文件上的. 2.生产上冲突的场景 常见冲突的 ...
- Mysql—常见查询命令
查询mysql的日志 -- 查找错误日志文件路径 mysql> show variables like "log_error"; -- 查找通用日志文件路径 mysql> ...
- 十一,专著研读(CART算法)
十一,专著研读(CART算法) CART称为分类回归树,既能用于分类也能用于回归.使用二元切分方法处理连续型变量,给定特定值,如果特征值大于给定值就走左子树,否则走右子树. CART算法步骤 决策树生 ...
- cidr地址段
CIDR采用各种长度的"网络前缀"来代替分类地址中的网络号和子网号,其格式为:IP地址 = {<网络前缀>,<主机号>}.为了区分网络前缀,通常采用&quo ...
- cookie、session、token的区别与联系
https://www.cnblogs.com/moyand/p/9047978.html cookie.session.token存在意义 http协议是无状态协议,请求之间是没有联系的,cooki ...
- css3/sass 样式记录
css3 width: calc(50% - 10px) sass 1.奇偶行 .classNameA { background:red; &:nth-child(even) { backgr ...
- Leetcode4__findMedianSortedArrays
findMedianSortedArrays 基本思路:通过指针按顺序移动来判断大小顺序,思路和有一道用链表求中间值一样: class Solution { public double findMed ...