从去年搭建了日志系统后,就没有去管它了,最近发现大半年各种日志的index也蛮多的,就想着写个脚本定时清理一下,把一些太久的日志清理掉. 脚本思路:通过获取index的尾部时间与我们设定的过期时间进行对比,如果是属于过期时间那么就进行删除,并写入日志.如果不是则不进行处理. 完整的脚本:(今天准备写个,翻下笔记发现去年就已经写好了) #!/bin/bash ###################################################### # $Name: clean_

描述: 之前我已经完成了使用ElasticSearch.kibana.filebeat.三个工具完成分布式集群收集 分布在各个ip地址上的微服务日志,这样就可以统一的在一个服务器上查看了所有的微服务产生的日志了,避免了一个个通过工具远程linux服务器去查看日志,极大提高了日志查看分析的效率了.当时目前我只是完成收集和查看所有日志,那么时间一长我们就会遇到问题,日志一直发到elastic服务器上,日志越来越多,我就需要一个定时删除过期的日志数据的办法. 功能需求: 需要定时删除elasticSe

ElasticSearch+Kibana 索引操作 一 前言 ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 因为在工作的项目中有使用到所以写下相关的内容,并附带源码 感兴趣的朋友可以自

目录 1 索引模板概述 1.1 什么是索引模板 1.2 索引模板中的内容 1.3 索引模板的用途 2 创建索引模板 3 查看索引模板 4 删除索引模板 5 模板的使用建议 5.1 一个index中不能有多个type 5.2 设置_source = false 5.3 设置_all = false 5.4 设置dynamic = strict 5.5 使用keyword类型 1 索引模板概述 1.1 什么是索引模板 索引模板: 就是把已经创建好的某个索引的参数设置(settings)和索引映射(m

参考文档:https://es.xiaoleilu.com/010_Intro/00_README.html 一.索引操作 1.查看当前节点的所有的index 查看当前节点的所有的index [root@es1 ~]# curl -X GET 'http://10.87.6.2:9200/_cat/indices?v' health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green

近发现elasticsearch近期索引文件大的吓人,清理了下之前的索引文件,发现服务器性能大大的减轻了一半,想一直保留近一个月的索引文件,但是又不想每个月手动清楚,在此写了一个小脚本 查询索引: curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v' 一. 手动删除 rm -rf *--* 二.api删除 curl -XDELETE 'http://127.0.0.1:9200/logstash-2016-07-*' 清理掉了所有 3月份的索引文件

扩展下, Elasticsearch之curl删除索引库 [hadoop@djt002 elasticsearch-2.4.3]$ curl -XDELETE 'http://192.168.80.200:9200/zhouls/emp/1'{"found":true,"_index":"zhouls","_type":"emp","_id":"1","_v

全文检索的应用越来越广泛,几乎成了互联网应用的标配,商品搜索.日志分析.历史数据归档等等,各种场景都会涉及到大批量的数据,在全文检索方面,方案无外乎Lucene.Solr.Elasticsearch三种应用的较为广泛.es.solr的底层都依托于Lucene,但es比solr学习成本更低,由于其提供的RESTful API简单快捷,对互联网应用开发而言更是如虎添翼. 下面结合以实际案例,通过Java API的形式操作es数据集. 框架选型基础是Spring Boot + Spring-data-

简介 curator 是一个官方的,可以管理elasticsearch索引的工具,可以实现创建,删除,段合并等等操作.详见官方文档 功能 curator允许对索引和快照执行许多不同的操作,包括: 从别名添加或删除索引(或两者!) 更改分片路由分配 关闭索引 创建索引 删除索引 删除快照 打开被关闭的索引 对索引执行forcemerge段合并操作 reindex索引,包括来自远程集群的索引 更改索引的每个分片的副本数 rollover索引 生成索引的快照(备份) 还原快照 版本 安装 有多种安装方

1.创建索引并插入数据 Map<String, Object> json = new HashMap<String, Object>(); json.put("user", "kimchy5"); json.put("postDate", new Date()); json.put("message", "trying out Elasticsearch"); //参数设置 //Se

目录 操作索引 1. 基本概念 2. 创建索引 2.1 语法 2.2查看索引设置 2.3.删除索引 2.4 映射配置 2.5 新增数据 2.6 修改数据 2.7 删除数据 3. 查询 3.1 基本查询 3.2.结果过滤 3.3 高级查询 3.4 过滤(filter) 3.5 排序 4. 聚合aggregations 4.1 基本概念 4.2 聚合为桶 4.3 桶内度量 4.4 桶内嵌套桶 4.5 划分桶的其它方式 操作索引 1. 基本概念 Elasticsearch也是基于Lucene的全文检索

ElasticSearch索引重建 ElasticSearch索引一旦建立,便不可修改索引字段类型(允许增加或者删除该字段) 例如从Integer类型修改为long类型,这是不被允许的,错误信息如下: 1 { 2 "error" : { 3 "root_cause" : [ 4 { 5 "type" : "illegal_argument_exception", 6 "reason" : "map

paip.提升性能--- mysql 建立索引 删除索引 很慢的解决. 作者Attilax ,  EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:http://blog.csdn.net/attilax 目前情况 建立索引非常慢,需8分钟... 目前环境: ---------------- table行: 30W 版本5.0.45-community-nt 系统XP  CPU2.11G  MEM2G 测试语句: ---------------------- CR

关于索引删除的策略IndexDeletionPolicy . public IndexWriter(Directory d, Analyzer a, boolean create)          throws CorruptIndexException, LockObtainFailedException, IOException {       init(d, a, create, false, null, true); } 构造一个IndexWriter需要调用init()方法进行初始化

0x00 ElasticSearch的索引和MySQL的索引方式对比 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤.特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询. 倒排索引很多地方都有介绍,但是其比关系型数据库的b-tree索引快在哪里?到底为什么快呢? 笼统的来说,b-tree索引是为写入优化的索引结构.当我们不需要支持快速的更新的时候,可以用预先排序等方式换取更小的存储空间,更快的检索速度等好处,其代价就是更新

假设有一数组 s = [1,2,3,4,5,6,7,8,9] (1)如何根据值获取索引 ,如果值为5 , 那对应的索引为? (2)如何根据索引删除值 , 删除数组中索引5对应的值: (3)根据数组中的值来删除,那就更简单了 game over!

在使用Eleasticsearch进行索引维护的过程中,如果你的应用场景需要频繁的大批量的索引写入,再使用上篇中提到的维护方法的话显然效率是低下的,此时推荐使用bulkIndex来提升效率.批写入数据块的大小取决于你的数据集及集群的配置. 下面我们以Spring Boot结合Elasticsearch创建一个示例项目,从基本的pom配置开始 <dependency>    <groupId>com.google.code.gson</groupId>    <ar

一.简介 在ElasticSearch里没有专门的数组类型,任何一个字段都可以有零个和多个值.当字段值的个数大于1时,字段类型就变成了数组. 下面以视频数据为例,介绍ElasticSearch如何索引数组数据,以及如何检索数组中的字段值. 测试视频数据格式如下: { "media_id": 88992211, "tags": ["电影","科技","恐怖","电竞"] } media_i

该版本对于上一个版本做了升级.兼容性更好了. #!/bin/bash ####################################################### # $Name: clean_index.sh # $Version: v2.0 # $Function: delete es index # $Author: dongjiaxiao # $Create Date: 2019-12-31 # $Description: shell #################

1.查询索引 [root@ecs-- elasticsearch]# curl -XGET http://localhost:9200/* {,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,},},},,,}

由于过多的日志很占用磁盘空间,今天经理让我写一个脚本删除多余的日志.和es索引 定时删除试根据crontab+shell脚本实现的 crontab配置目录 /var/spool/cron/ 该目录下存放的是每个用户(包括root)的crontab任务,文件名以用户名命名 /etc/cron.d/ 这个目录用来存放任何要执行的crontab文件或脚本. crontab操作步骤 Step-One : 编辑任务脚本[分目录存放][ex: backup.sh] Step-Two : 编辑定时文件[命名规