ElasticSearch 定时批量删除N天前的数据
"query": {
"match_all": {}
}
}'
实际上，您可以复制粘贴上面的命令到控制台，它会自动转换成控制台语句。
当敲入一行命令，控制台会给出上下文相关的提示。这些提示可以帮助您探索每条 API 参数，或者用于提高输入速度。控制台会提示 APIs 、索引和字段名。
一旦您在左边的面板中敲入命令，您可以点击 URL 行边上的绿色小三角提交这条请求到 Elasticsearch。注意，当您移动光标的时候，会跟随着您。我们把这个叫做动作菜单。您也可以选择写多条请求并一起提交它们。
当请求响应后，您可以在侧面的面板中看到它：
控制台用户界面
在这个章节中会有更多关于控制台界面的详细描述。控制台章节只介绍了基础的用户界面部分。
我们当然主要学习删除命令
下面是demo代码
POST /filebeat-*/_delete_by_query
{
"query": {
"range": {
"@timestamp": {
"lt": "now-300d",
"format": "epoch_millis"
}
}
}
}
其中 "lt": "now-300d", 参数表示 删除 300天前的数据，如需指定N天前，我们只要修改 指定天数即可
下面是执行结果
步骤2、将改命令转换成脚本
步骤如图：
代码：
curl -XPOST "http://127.0.0.1:9200/filebeat-*/_delete_by_query" -H 'Content-Type: application/json' -d'{
"query": {
"range": {
"@timestamp": {
"lt": "now-300d",
"format": "epoch_millis"
}
}
}
}'
将上面的代码复制后：
windows下脚本
windows下制作成 dos 批处理文件：新建txt，修改文件后缀名为.bat 后将上面代码拷入后保存
注意 windows 下执行 curl命令 需要安装 环境：https://curl.haxx.se/windows/
linux下 编写脚本
linux下新建 .sh 脚本文件
#!/bin/bash
curl -XPOST "http://127.0.0.1:9200/filebeat-*/_delete_by_query" -H 'Content-Type: application/json' -d'{
"query": {
"range": {
"@timestamp": {
"lt": "now-300d",
"format": "epoch_millis"
}
}
}
}'
步骤3、将脚本做成定时任务
到此就完成了定时批量删除过期的 elastic 日志文件的功能。
总结 ： 其实 elasticserch 可以比如类似 mysql 数据库，kibana 类似 可视化 操作数据库的第三方软件 如 Navicat、PL/SQL工具。
ElasticSearch 定时批量删除N天前的数据的更多相关文章
- SQLite的时间差判断--删除N天前的数据的两种写法
比如我有个用SQLite Studio创建的Sqlite3类型数据库,里面有个表名为StatisticsData的表结构是 : -- 表:StatisticsData CREATE TABLE &qu ...
- forfiles命令批量删除N天前文件
在整理手上几台SQL SERVER 2000的数据库备份时,一方面为了方便快速还原数据库,另外一方面为了备份冗余.备份方式统一(先备份到本地,然后收上磁带),将以前通过Symantec Backup ...
- linux命令行删除N天前的数据的命令
命令: find . -mtime +N -type f -name "*.log.*" -exec rm -f {} \; 简单解释: find .查询 ; -mtime 规 ...
- oracle_自动备份用户数据，删除N天前的旧数据（非rman，bat+vbs）
有时数据没有实时备份恢复那么高的安全性需求,但每天 ,或者定期备份表结构 和数据依旧是很有必要的,介绍一种方法 在归档和非归档模式均可使用的自动备份方法. 预期效果是备份用户下的数据含表结构,备份文件 ...
- SqlServer 自动备份、自动删除7天前备份
-----sqlserver 数据异地备份 默认删除 七天前的数据 -----该代码可配置成SQLServer作业里做调度,或者配置成任务计划进行执行 ----挂载异地盘符 exec master.. ...
- SqlServer批量备份多个数据库且删除3天前的备份
/******************************************* * 批量备份数据库且删除3天前的备份 ************************************ ...
- oracle定时备份与删除N天前备份文件
oracle定时备份数据库,以及删除7天前备份的数据. 1.创建存放备份目录: mkdir /home/oracle/data_backup mkdir /home/oracle/log_backup ...
- Linux下定时切割Mongodb数据库日志并删除指定天数前的日志记录
此为在网络上找来的,觉得很好! 实现目的: 对Mongodb数据库日志按天保存,并且只保留最近7天的日志记录. 具体操作: 使用Mongodb数据库自带的命令来切割日志 ps -def | grep ...
- Linux实现定时备份MySQL数据库并删除30天前的备份文件
1. MySQL5.6以上版本 2. 修改 /etc/my.cnf 文件 # vim /etc/my.cnf [client] host=localhost user=你的数据库用户 password ...
随机推荐
- Python面试进阶问题，__init__和__new__的区别是什么？
本文始发于个人公众号:TechFlow,原创不易,求个关注 今天这篇是Python专题的第17篇文章,我们来聊聊Python当中一个新的默认函数__new__. 上一篇当中我们讲了如何使用type函数 ...
- [转] 图解单片机下载程序电路原理之USB转串口线、CH340、PL2303、MAX232芯片的使用
点击阅读原文 目前为止,我接触单片机已有不少时日,从选择元器件.原理图.PCB.电路硬件调试.软件开发也算小有心得 .单片机软件开发里面第一步当属下载程序了,如果这一步都有问题,那么后面的一切便无从谈 ...
- DML_Data Modification_UPDATE
DML_Data Modification_UPDATE写不进去,不能专注了...... /* */ ------------------------------------------------- ...
- 素数筛 : Eratosthenes 筛法, 线性筛法
这是两种简单的素数筛法, 好不容易理解了以后写篇博客加深下记忆 首先, 这两种算法用于解决的问题是 : 求小于n的所有素数 ( 个数 ) 比如 这道题 在不了解这两个素数筛算法的同学, 可能会这么写一 ...
- OS_页面置换算法：C++实现
一.实验目的: 通过模拟实现请求页式存储管理的几种基本页面置换算法,了解虚拟存储技术的特点,掌握虚拟存储请求页式存储管理中几种页面置换算法的基本思想和实现过程,并比较它们的效率. 二.实验内容: 本实 ...
- 重学 Java 设计模式：实战命令模式「模拟高档餐厅八大菜系，小二点单厨师烹饪场景」
作者:小傅哥 博客:https://bugstack.cn - 原创系列专题文章 沉淀.分享.成长,让自己和他人都能有所收获! 一.前言 持之以恒的重要性 初学编程往往都很懵,几乎在学习的过程中会遇到 ...
- TensorFlow中读取图像数据的三种方式
本文面对三种常常遇到的情况,总结三种读取数据的方式,分别用于处理单张图片.大量图片,和TFRecorder读取方式.并且还补充了功能相近的tf函数. 1.处理单张图片 我们训练完模型之后,常常要用图片 ...
- Page "页面路径" has not been registered yet.
网上找了很多方法,但和我遇到的都不一样,我这个页面是我路由接口更改时遇到的错误,原因是我移动了文件,js里引用的文件找不到了 解决方法:更改引用路径即可
- Jmeter之仿真高并发测试-集合点
场景: 大家在使用Jmeter测试的时候应该发现了, (1)线程启动了就会直接发送测试请求:--如果要模拟在一瞬间高并发量测试的时候,需要调高线程数量,这很耗测试机器的性能,往往无法支持较大的并发数, ...
- 使用json-server与Mockjs搭建模拟服务
为什么使用 在项目开发中,常常需要边写前端页面边写后端接口,但是后端接口服务往往是滞后于前端开发的,或者是不能及时提供的.出于前端开发的迅速和便捷去考虑,我们可以根据后端接口数据结构去模拟(mock) ...