一.概述 使用elasticsearch收集日志进行处理,时间久了,很老的数据就没用了或者用途不是很大,这个时候就要对过期数据进行清理.这里介绍两种方式清理这种过期的数据. 1.curator 关于版本: 安装: https://www.elastic.co/guide/en/elasticsearch/client/curator/current/installation.html 我使用的是ubuntu系统,所以参考的是https://www.elastic.co/guide/en/elas

elastic索引日志清理不及时,很容易产生磁盘紧张,官网给出curl -k -XDELETE可以清理不需要的索引日志. 清理脚本 #!/bin/bash #Author: 648403020@qq.com #date: 2019.03.28 # 需要清理几天以前的索引日志 CLEAN_DAY=7 # 获取N天以前的年月日 YEAR=$(date -d "$(date -I) -$CLEAN_DAY"day"" +%Y) MONTH=$(date -d "

转自:http://blog.csdn.net/honglei915/article/details/49683065 Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩. 数据清理的方式 删除 log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复.可配置以下两个策略:清理超过指定时间清理:  log.retention.hours=16超过指定大小后,删除旧的消息:log.retention.bytes=107

es-index-clear.sh: #!/bin/bash#----------------------------------------------# Module: es-index-clear# Comment: To clear elastic-index on interval!# Date: 2018/10/5# Author: aodi# Version: 1.0#---------------------------------------------- #循环清理过期索引w

只是记录两条简单的命令 查看所有的索引文件: curl -XGET http://localhost:9200/_cat/indices?v 删除索引文件以释放空间: curl -XDELETE http://localhost:9200/ngx—www-2017.02.28

题记 Elasticsearch当清理缓存( echo 3 > /proc/sys/vm/drop_caches )的时候,出现 如下集群健康值:red,红色预警状态,同时部分分片都成为灰色.  查看Elasticsearch启动日志会发现如下: 集群服务超时连接的情况. bserver: timeout notification from cluster service. timeout setting [1m], time since start [1m] 1 该问题排查耗时很长,问题已经解

from:https://www.zybuluo.com/SailorXiao/note/136014 case现场 线上发现一台机器内存负载很重,top后发现一个redis进程占了大量的内存,TOP内容如下: 27190 root 20 0 18.6g 18g 600 S 0.3 59.2 926:17.83 redis-server 发现redis占了18.6G的物理内存.由于redis只是用于cache一些程序数据,觉得很不可思议,执行redis的info命令,发现实际数据占用只有112M

又是一篇关于姿势的文章,为什么是”又”呢?因为上个星期刚写完一篇关于Apache Commons Pool的正确使用姿势的文章,点击此处阅读. Redis为我们提供便利的同时,我们也要善待里面的数据 Redis是我们数据的保管者,我们可以随时存随时取,大的小的,重要的不重要的,它都毫无怨言的帮我们保存着,甚至有些时候,我们变得很懒,存东西进去的时候顺便还贴张纸:“过了一个星期就帮我扔了吧”,对于这些,Redis也都默默的接受了(谁叫Antirez把redis设计的这么好呢). 这次要写的就是关于

Key-value存储简介 具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战,传统的数据库往往很难满足该需求,并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询,在这种情况下使用关系型数据库将使得效率低下,并且扩展也将成为未来很大的难题.在这样的情况下,使用Key-value存储将会是一个很好的选择. 它被广泛应用于缓存,搜索引擎等等领域. 根据以上的描述,一个好的key-value存储需要满足哪些条件呢? l  Availability可用性 l  Scalabi

Elasticsearch版本:6.0 一.文档 一个文档不仅包含数据,也包含元数据,三个必须的元数据如下 _index:具有共同特性分到一起的文档集合,标示了文档的存放位置: 名字小写,不以下划线开头,不包含逗号. _type:表示文档的类型,在索引中对数据进行逻辑分区: 名字大写或小写,不以下划线或句号开头,不包含逗号,并且长度限制256个字符. _id:文档的唯一标识,和_index和_type组合可以唯一确定Elasticsearch中的一个文档: 可以自定义id值,或者由Elastic

1.localstorage ① 500万字符限制② 一般存储ajax请求返回数据,并且需要设置过期时间③ 具有清理机制,将过期数据清理④ 不存储敏感信息⑤ 不存储SEO依赖数据,至少不能严重依赖⑥ 隐私模式localstorage不可读写,所以不能用它来做页面通信⑦ localstorage读写有性能损耗,大数据读写要避免 ⑧目前所有的浏览器中都会把localStorage的值类型限定为string类型,这个在对我们日常比较常见的JSON对象类型需要一些转换 var storage=windo

首先,咱们都有一共识,即可以使用缓存来提升系统的访问速度! 现如今,分布式缓存这么强大,所以,大部分时候,我们可能都不会去关注本地缓存了! 而在一起高并发的场景,如果我们一味使用nosql式的缓存,如 redis, 那么也是好的吧! 但是有个问题我们得考虑下: redis 这样的缓存是快,但是它总有自己的瓶颈吧,如果什么东西我们都往里面存储,则在高并发场景下,应用瓶颈将受限于其缓存瓶颈吧! 所以,针对这种问题,在一些场景下,咱们可以使用本地缓存来存储一些数据,从而避免每次都将请求击穿到 redi

转载:https://blog.csdn.net/testcs_dn/article/details/43052585 产生此错误的原因通常是: 一.Redis没有启动: 我自己遇到一次这样的问题.汗! 二.由于防火墙原因无法连接到Redis; 1.服务器防火墙入站规则. 2.访问Redis的应用程序所在主机的出站规则. 三.IP地址或端口错误 四.Jedis 对象用完以后,要释放掉,不让会一直占用,所以会出现无法获取新的资源. 五.Spring Boot项目,缺少依赖 如果使用Redis与Sp

上一篇文章从根本上理解了set/get的处理过程,相当于理解了 增.改.查的过程,现在就差一个删了.本篇我们来看一下删除过程. 对于客户端来说,删除操作无需区分何种数据类型,只管进行 del 操作即可. 零.删除命令 del 的定义 主要有两个: del/unlink, 差别是 unlink 速度会更快, 因为其使用了异步删除优化模式, 其定义如下: // 标识只有一个 w, 说明就是一个普通的写操作,没啥好说的 {,,NULL,,-,,,} // 标识为 wF, 说明它是一个快速写的操作,其实

前言 Ym8V9H.png (高清无损原图.pdf关注公众号后回复 ThreadLocal 获取,文末有公众号链接) 前几天写了一篇AQS相关的文章:我画了35张图就是为了让你深入 AQS,反响不错,还上了博客园首页编辑推荐,有生之年系列呀,哈哈. image.png 这次趁热打铁再写一篇ThreadLocal的文章,同样是深入原理,图文并茂. 全文共10000+字,31张图,这篇文章同样耗费了不少的时间和精力才创作完成,原创不易,请大家点点关注+在看,感谢. 对于ThreadLocal,大家的

目录 ThreadLocal是啥?用来干啥? ThreadLocal的简单使用 ThreadLocal的实现思路? ThreadLocal常见方法源码分析 ThreadLocal.set(T value) ThreadLocal.get() ThreadLocal.remove() ThreadLocalMap源码分析 ThreadLocalMap结构分析 ThreadLocalMap的Hash算法 ThreadLocalMap.set() ThreadLocalMap.resize()扩容 T

近发现elasticsearch近期索引文件大的吓人,清理了下之前的索引文件,发现服务器性能大大的减轻了一半,想一直保留近一个月的索引文件,但是又不想每个月手动清楚,在此写了一个小脚本 查询索引: curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v' 一. 手动删除 rm -rf *--* 二.api删除 curl -XDELETE 'http://127.0.0.1:9200/logstash-2016-07-*' 清理掉了所有 3月份的索引文件

curl -XDELETE 'http://172.16.1.16:9200/logstash-2013.03.*' 清理掉了所有 3月份的索引文件,其中*是通配符 下面是主页上的详细介绍,其他部分可以自己看, http://www.elasticsearch.org/guide/reference/api/delete/ 参考地址:http://blog.51cto.com/storysky/1179906

索引这种格式 以下脚本加入crontab #每天清理es数据 0 1 * * * /data/sh/rm_esindex.sh >> /data/logs/crontab/rm_esindex.log #!/bin/sh ip='192.168.0.57' port='9200' day=`date -d "1 month ago" +%Y.%m.%d` echo "" echo `date` indexname=`curl -XGET -s $ip:$

一.简述 当日志发送到ELK之后,Elasticsearch随着日志的增加,占用磁盘量会越来越大.这时候,需要我们写角本定期DELETE日志.角本写法,也很简单,只是发送HTTP的DELETE方式到:http://<ip>:<port>/*-yyyy.MM.dd*即可. 二.定期删除Elasticsearch中日志的角本:新建一个es-index-clear.sh到/opt目录下,内容如下: #/bin/bash #es-index-clear #只保留15天内的日志索引 LAST

#!/bin/sh ip='127.0.0.1' port=' day=`date -d "2 days ago" +%Y%m%d` #day=`date -d "5 hour ago" +%Y.%m.%d` echo "" echo "=================================================" echo `date +"%Y-%m-%d %H:%M.%S"` in