InfluxDb中写入重复数据问题解决方案
1.InfluxDb版本
0.10.3
2.Measurement
TodayChargeTimeReport
只有time和Field列,没有Tag列
3.现象:通过定时任务向上面的表中写入数据:
var point = new Point();
point.Measurement = "TodayChargeTimeReport";
point.Precision = InfluxDB.Net.Enums.TimeUnit.Milliseconds;
point.Timestamp = time;
point.Fields = new Dictionary<string, object>() {
{"Sucess", Convert.ToInt32(value[])},
{"Faild", Convert.ToInt32(value[])},
{"FailureRate",Convert.ToDouble(value[])}
}; point.Tags = new Dictionary<string, object>(); points.Add(point);
定时任务5分钟执行一次,定时任务的内容是查询SQL,查询出凌晨至今的数据,10分钟一个间隔,写入influxdb,发现influxdb中偶尔会出现重复数据:
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
发现重复时间:// ::
对应的grafana也出现错乱现象:

4.诡异的地方
4.1 Influxdb中只有time和Field列,如果时间相同,应该写不进去,但是实际却写进去了
4.2 如果grafana中按group by time(10m),然后对值取Max,理论上应该能过滤掉重复值,但是实际过滤后,还有一大段空值
5.解决方案
因为influxdb不支持删除操作,通过如下操作暂时解决该问题:
5.1 通过程序,将“TodayChargeTimeReport”表中的数据读出来,进行去重操作后,写入“TodayChargeTimeReport1”
5.2 drop measurement "TodayChargeTimeReport"(谨慎!可能会影响influxdb10分钟左右不能访问)
5.3 通过程序,将“TodayChargeTimeReport1”表中的数据读出来,写入“TodayChargeTimeReport”
5.4 定时任务,写入influxdb时的时间精度,由“Milliseconds”改为“Minutes”
问题暂时解决,初步怀疑是时间精度导致的,后续继续观察是否还有重复数据。
InfluxDb中写入重复数据问题解决方案的更多相关文章
- Oracle、SQLServer 删除表中的重复数据,只保留一条记录
原文地址: https://blog.csdn.net/yangwenxue_admin/article/details/51742426 https://www.cnblogs.com/spring ...
- Oracle删除表中的重复数据
Oracle数据库删除表中的重复数据,只保留其中的一条,以两个字段为例,提供两种方法 ①.直接delete重复的数据 delete from table_name t1 where (t1.col1, ...
- Java 实现word 中写入文字图片的解决方案
JAVA生成WORD文件的方法目前有以下两种方式: 一种是jacob 但是局限于windows平台 往往许多JAVA程序运行于其他操作系统 在此不讨论该方案; 一种是poi但是他的excel处理很程序 ...
- Excel中如何在两个工作表中查找重复数据
有时我们可能会在两种工作表中查找重复记录,当数据记录很多时,就必须通过简单的方法来实现.下面小编就与大家一起分享一下查看重复记录数据的方法,希望对大家有所帮助. 方法/步骤 为了讲解的需要,小编特 ...
- oracle学习----去除表中的重复数据
重复的数据可能有这样两种情况,第一种:表中只有某些字段一样,第二种:两行记录完全一样.第一.对于部分字段重复数据的删除 先来谈谈如何查询重复的数据吧. 下面语句可以查询出那 ...
- 删除一个表中的重复数据同时保留第一次插入那一条以及sql优化
业务:一个表中有很多数据(id为自增主键),在这些数据中有个别数据出现了重复的数据. 目标:需要把这些重复数据删除同时保留第一次插入的那一条数据,还要保持其它的数据不受影响. 解题过程: 第一步:查出 ...
- SQLServer 删除表中的重复数据
create table Student( ID varchar(10) not null, Name varchar(10) not null, ); insert in ...
- .NetCore 中使用AppMetrics向InfluxDB中添加监控数据并通过Grafana图像分析
考虑到分布式部署监控环境是所有的请求情况,所以这一块一般在网关GateWay里面加比较省事,聚合在一起的,如果放在api服务中,如果只有1个还好,一旦部署Node多是很痛苦的事情 这天需要添加的Nug ...
- postgresql数据库中对重复数据的处理
我们在使用postgresql数据库的时候,如果一张数据表在未做任何约束的情况下,很可能会出现几条完全一样的数据,即重复数据.如下图所示: 那么如果我们要删除其中的2条该怎么办呢?第一种我们可以清空表 ...
随机推荐
- 同步docker的时间
因为在没设置的docker中,其时间与主机相差8小时. 在docker命令行中输入 # echo "Asia/Shanghai" > /etc/timezone# dpkg ...
- python进阶------进程线程(三)
python中的进程 1.multiprocessing模块 由于GIL的存在,python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进 ...
- mybatis批量修改
使用mybats经常要用到批量修改或者删除,贴出批量修改的代码.如果是批量删除,可将update换成delete. <update id="changestatus" par ...
- 字节、十六进制字符串相互转换(asc2hex、hex2asc)
//================================================================== /** 功能: 将16进制数组转换成asc字符数组(短转长) ...
- JAVA基础3——常见关键字解读(1)
常见的JAVA中的关键字 static static静态变量 静态变量:使用static关键字定义的变量.static可以修饰变量和方法,也有static静态代码块.被static修饰的成员变量和成员 ...
- php中foreach中使用&的办法
刚开始在使用foreach时候一直不理解为什么要使用& 后来发现在给一个数组里面添加数据时候很好用 <?phpheader("Content-Type:text/html;ch ...
- thinkphp框架知识点
基本配置 define('APP_DEBUG',true);//开启debug模式 //记录日志 'LOG_RECORD' => true, //系统日志在记录的时候需要开启debug调试模式, ...
- JavaScript OOP(二):this关键字以及call、apply、bind
JavaScript的this关键字非常灵活! this 返回的总是对象:即返回属性或方法"当前"所在的对象 var o1={ name:'apple', age:100, msg ...
- CCF-201503-2-数字排序
问题描述 试题编号: 201503-2 试题名称: 数字排序 时间限制: 1.0s 内存限制: 256.0MB 问题描述: 问题描述 给定n个整数,请统计出每个整数出现的次数,按出现次数从多到少的顺序 ...
- js 实现div模块的截图并下载功能(可制作长图)
当需要实现html页面部分模块截图并具有保存图片功能时,前台直接生成截图并下载会方便的多.多的不说,直接看代码首先我们需要引入2个js文件: <script type="text/ja ...