使用curator 来管理elasticsearch的index
这里我们参考官网安装curator
https://www.cookiesinn.org/elasticsearch_curator_delete_indices/
https://www.elastic.co/guide/en/elasticsearch/client/curator/5.4/installation.html
https://blog.csdn.net/u013613428/article/details/78229090
https://blog.csdn.net/zou79189747/article/details/80526221
这里我们使用yum 的方式来安装
先说 一下我的环境:
centos 7
es 5.6.9
https://www.elastic.co/guide/en/elasticsearch/client/curator/5.4/yum-repository.html cd /data/package
sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch cd /etc/yum.repos.d
vim elasticsearch.repo [curator-5]
name=CentOS/RHEL 7 repository for Elasticsearch Curator 5.x packages
baseurl=https://packages.elastic.co/curator/5/centos/7
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1 sudo yum install elasticsearch-curator
正题看下面:
curator由python研发的非常轻量级的工具.
curator不仅仅可以删除多余的索引其实还有其他功能也能使用比如:添加别名、创建快照、删除快照、添加索引、删除索引、索引设置等等内容。并且可以将这些设置定义在YAML风格的配置文件
我们目前用到的是对index的过期删除,这里我们要注意的是,我们的index的命名最好是有规范的。这样对我们的index管理起来是方便的。最好是 “业务-服务-date”
1、下载rpm包并且安装Elasticsearch-curator:
cd /data/tools wget https://packages.elastic.co/curator/5/centos/7/Packages/elasticsearch-curator-5.3.0-1.x86_64.rpm sudo yum install -y elasticsearch-curator-5.2.-.x86_64.rpm #安装会安装在/opt目录下
我们常用的是curator和curator_cli,具体的参见官网:
https://www.elastic.co/guide/en/elasticsearch/client/curator/5.3/filtertype_age.html
curator_cli --host 127.0.0.1 --port 9200 show_indices --verbose
这样我们直接上正题:直接删除过期的index
mkdir
/data/package/curator
这里我们在编写配置文件的时候,一定要注意缩进,yml 语法对这个要求很严格
首先我们配置vim config.yml
client:
hosts:
- 10.10.124.125
- 10.10.96.46
port: 9200
url_prefix:
use_ssl: False
certificate:
client_cert:
client_key:
aws_key:
aws_secret_key:
aws_region:
ssl_no_validate: False
http_auth:
timeout: 30
master_only: False logging:
loglevel: INFO
logfile:
logformat: default
blacklist: ['elasticsearch', 'urllib3']
现在我们上清理索引的配置:
这里我是删除了所有的超过七天的index,同时我们也可以使用 filtertype: pattern 匹配规则来删除相应的index,这里就提现出我们在命名index的是有规则是有多么的重要
actions:
:
action: delete_indices
description: "Delect all index"
options:
ignore_empty_list: True
disable_action: False
filters:
# - filtertype: pattern
# kind: regex
# value: test2
- filtertype: age
source: creation_date
direction: older
unit: days
unit_count:
一个索引进行匹配只能定义在一个任务中,除非是像我上面一样,直接就是根据filtertype: age来。
注意:再次提示,这里最好不要复制粘贴文件,可能一不小心就把缩进给弄乱了,真想复制粘贴可以复制官网上的,这样格式不会乱![]()
![]()
![]()
这里我们调试使用的命令是: curator --config config.yml delete_index.yml --dry-run 真正执行的命令是: curator --config config.yml delete_index.yml 真正上线的时候我们结合crontab 一起使用,这样我们就可以实现定时的去清理elasticsearch index 的目的了,妈妈在用不用担心我们磁盘满了,
以前都是用脚本处理的,因为以前的elasticsearch的index数据文件是有规则的,现在是一串字符串,不好用脚本处理,发现了这个开源工具,真的很好用。强烈推荐
使用curator 来管理elasticsearch的index的更多相关文章
- ElasticSearch——Curator索引管理
简介 curator 是一个官方的,可以管理elasticsearch索引的工具,可以实现创建,删除,段合并等等操作.详见官方文档 功能 curator允许对索引和快照执行许多不同的操作,包括: 从别 ...
- 高效管理 Elasticsearch 中基于时间的索引——本质是在利用滚动模式做数据的冷热分离,热索引可以用ssd
高效管理 Elasticsearch 中基于时间的索引 转自:http://stormluke.me/es-managing-time-based-indices-efficiently/ 用 Ela ...
- Elasticsearch:Index生命周期管理入门
如果您要处理时间序列数据,则不想将所有内容连续转储到单个索引中. 取而代之的是,您可以定期将数据滚动到新索引,以防止数据过大而又缓慢又昂贵. 随着索引的老化和查询频率的降低,您可能会将其转移到价格较低 ...
- ES 08 - 创建、查看、修改、删除、关闭Elasticsearch的index
目录 1 创建index(配置mapping[映射]) 2 查看index 3 修改index 4 删除index 5 打开/关闭index 6 常见问题及解决方法 index相当于RDBMS(关系型 ...
- 【ELK】4.spring boot 2.X集成ES spring-data-ES 进行CRUD操作 完整版+kibana管理ES的index操作
spring boot 2.X集成ES 进行CRUD操作 完整版 内容包括: ============================================================ ...
- 第05章 管理ElasticSearch
本章内容 如何选择正确的目录实现,使得ElasticSearch能够以高效的方式访问底层I/O系统. 如何配置发现模块来避免潜在的问题. 如何配置网关模块以适应我们的需求. 恢复模块能带来什么,以及如 ...
- Elasticsearch:Index alias
现在让我们来谈谈Elasticsearch最简单和最有用的功能之一:别名 (alias).为了区分这里alias和文章"Elasticsearch : alias数据类型",这里的 ...
- ES 05 - 通过Kibana管理Elasticsearch集群服务
目录 1 检查集群的健康状况 2 查看集群中的节点个数 3 查看集群中的索引 4 简单的索引操作 4.1 创建索引 4.2 删除索引 在本篇文章之前, 需要完成: ① 启动Elasticsearch服 ...
- elasticsearch 处理index 一直INITIALIZING状态
elasticsearch一个节点异常重启后有一个index恢复的过程中状态一直INITIALIZING 处理方法 PUT index_name/_settings { "index&quo ...
随机推荐
- MySql8.0数据库链接报错The driver has not received any packets from the server
1.我使用MySql数据库8.0版本,然后驱动改成了 jdbc.driver=com.mysql.cj.jdbc.Driver jdbc.url=jdbc:mysql://127.0.0.1:3306 ...
- Linux(centos)新建,删除,移动,重命名文件夹和文件的命令
1.新建文件夹 mkdir 文件名 新建一个名为test的文件夹在home下 view source1 mkdir /home/test 2.新建文本 在home下新建一个test.sh脚本 vi / ...
- excel主题使文档更加具有专业化
如上图所示,表格或图表有很多的配色方案. 1.每个主题,会有一套配色方案,而且这些配色方案相对来讲都是比较协调统一的, 2.页面布局----主题,选择好主题之后再套用配色方案
- excel 如何快速实现绝对引用
当函数输入完成并框选数据区域后,变成如上效果时,按“F4键”即可
- Jquery 获取对象的几种方式(转载)
1.先讲讲JQuery的概念 JQuery首先是由一个 America 的叫什么 John Resig的人创建的,后来又很多的JS高手也加入了这个团队.其实 JQuery是一个JavaScript的类 ...
- 图解Win7如何手动添加受信任证书
点击开始—>运行,如下图所示: 弹出“控制台”窗口如下,如下图所示: 点击“文件—添加/删除管理单元”,如下图所示: 选择“证书”,并点击“添加”,如下图所示: 在弹出的窗口上选 ...
- 转 java实现截图
转自 http://www.zhenhua.org/article.asp?id=382 可以直接运行! import java.awt.Dimension; import java.awt.Rect ...
- kickstart命令选项
下面的选项可以放入kickstart文件.如果喜欢使用图形化的界面来创建kickstart文件,可以使用"Kickstart配置"应用程序.(注:如果某选项后面跟随了一个等号(=) ...
- Cobbler自动部署主机系统
Cobbler自动部署主机系统 简介: Cobbler由python语言开发,是对PXE和 Kickstart以及DHCP的封装.融合很多特性,提供了CLI和Web的管理形式.更加方便的实行网络安装. ...
- Redis 学习之路 (010) - redis命令手册
Redis 键(key) 命令 命令 描述 Redis DEL 命令 该命令用于在 key 存在是删除 key. Redis Dump 命令 序列化给定 key ,并返回被序列化的值. Redis E ...