删除elasticsearch大于7天前的索引

curl -u 用户名:密码 -H'Content-Type:application/json' -d'{ "query": { "range": { "@timestamp": { "lt": "now-7d", "format": "epoch_millis" } } } } ' -XPOST "http://127.0.0.1:9200/*-*/_de…

前文我们提到,Elasticsearch的数据都存储在索引中,也就是说,索引相当于是MySQL中的数据库.是最基础的概念.今天分享的也是关于索引的一些常用的操作. 创建索引 curl -X PUT "localhost:9200/jackey?pretty" ES创建索引使用PUT请求即可,上面是最简单的新建一个索引的方法,除此之外,你还可以指定: Settings Mappings aliases 索引名称有以下限制: 必须是小写不能包含:\,/,*, ?, ", <…

ElasticSearch入门第三篇：索引

这是ElasticSearch 2.4 版本系列的第三篇: ElasticSearch入门第一篇:Windows下安装ElasticSearch ElasticSearch入门第二篇:集群配置 ElasticSearch入门第三篇:索引 ElasticSearch入门第四篇:使用C#添加和更新文档 ElasticSearch入门第五篇:使用C#查询文档 ElasticSearch入门第六篇:复合数据类型——数组,对象和嵌套 ElasticSearch入门第七篇:分析器 Elasti…

List遍历删除或取指定的前N项

class Program { static void Main(string[] args) { /* * List遍历删除或取指定的前N项 */ List<PerSon> listPer = CreateListPer(); // 1.输出项 Console.WriteLine("输出listPer项"); foreach (PerSon per in listPer) { Console.WriteLine("Id:" + per.Id + &q…

elasticsearch java和_head插件对索引文档的增删改查

利用head插件: 1,创建索引并添加一条数据(yananindex:索引名称,yanantype:索引类型,1:索引id) 2.修改索引数据(索引id1不变,_version是对该索引数据执行了几次修改,created:false代表是修改) 3.1,删除数据 3.2删除索引 java方式:(elasticsearchTemplate为spring注解获取的elasticsearch客户端) 1.增改(没有索引自动创建,已有索引和数据自动更新) package org.springfram…

ELK学习总结（4-1）elasticsearch更改mapping(不停服务重建索引)

elasticsearch更改mapping(不停服务重建索引)原文 http://donlianli.iteye.com/blog/1924721Elasticsearch的mapping一旦创建,只能增加字段,而不能修改已经mapping的字段.但现实往往并非如此啊,有时增加一个字段,就好像打了一个补丁,一个可以,但是越补越多,最后自己都觉得惨不忍睹了.怎么办??这里有一个方法修改mapping,那就是重新建立一个index,然后创建一个新的mapping.你可能会问,这要是在生产环境,可行…

elasticsearch 5.x 系列之七基于索引别名的零停机升级服务

一,写在前面的话,elasticsearch 建立索引时的Mapping 设置建议你在设计索引的初期,就把索引的各个字段设计好,因为,elasticsearch 的各个字段,定义好类型后,就无法进行修改了. 另外需要注意的点有如下注意1:不要在一个索引中定义多个type. 6.X版本已经不支持,7.X版本彻底不支持. 扩展问题:5.X版本的父子文档实际实现中是一个索引中定义了多个type,到了6.X中实现方式改变为:join方式. 注意2:将Set _source设置为false. 假设你只…

ES ElasticSearch 7.x 下动态扩大索引的shard数量

ES ElasticSearch 7.x 下动态扩大索引的shard数量背景在老版本的ES(例如2.3版本)中, index的shard数量定好后,就不能再修改,除非重建数据才能实现. 从ES6.1开始,ES 支持可以在线操作扩大shard的数量(注意:操作期间也需要对index锁写) 从ES7.0开始,split时候,不再需要加参数 index.number_of_routing_shards 具体参考官方文档: https://www.elastic.co/guide/en/elasti…

删除表空间的时候遇到的问题：ORA-02429: 无法删除用于强制唯一/主键的索引

今天打算删除orcale数据库中无用的表空间,发现报错,查资料删除,写个过程留着备用.1.drop tablespace dldata INCLUDING CONTENTS CASCADE CONSTRAINTS;报错如下:ORA-00604: 递归 SQL 级别 1 出现错误ORA-02429: 无法删除用于强制唯一/主键的索引2.select segment_name,partition_name,tablespace_name from dba_extents where tablespa…

ora-02429:无法删除用于强制唯一/主键的索引

今天打算删除orcale数据库中无用的表空间,发现报错,查资料删除,写个过程留着备用. 1.drop tablespace dldata INCLUDING CONTENTS CASCADE CONSTRAINTS; 报错如下:ORA-00604: 递归 SQL 级别 1 出现错误ORA-02429: 无法删除用于强制唯一/主键的索引 2.select segment_name,partition_name,tablespace_name from dba_extents where table…

[转]Oracle 修改或者删除临时表 ORA-14452: 试图创建，更改或删除正在使用的临时表中的索引

本文转自:http://blog.csdn.net/treasurelifelhf/article/details/7290729 由于存储过程出现问题,导致前台页面无法显示数据.执行存储过程发现临时表少一字段,无奈无论怎么修改或者删除临时表都报错 ORA-14452: 试图创建, 更改或删除正在使用的临时表中的索引. 在网上找了几篇帖子都说是:truncate table 表名,试了下,可是刚才的错误并没有好转.当然还有更复杂的操作.下面就介绍下比较方便的操作方法: (1)---查找还在使用…

（转载）ORA-14452:试图创建,更改或删除正在使用的临时表中的索引

因为表kol_xx_fin050_temp 为临时表,而且有其他session正在使用. 处理步骤: 1.先从 dba_objects / user_objects中查询到该表的object_id: select object_id from dba_objects where object_name=upper('kol_xx_fin050_temp'); 2.根据查到的object_id知道使用该表的session: select * from v$lock where id1=&objec…

ORA-14452: 试图创建, 更改或删除正在使用的临时表中的索引

ORA-14452: 试图创建, 更改或删除正在使用的临时表中的索引因为表KOL_XX_FIN050_TEMP 为临时表,而且有其他session正在使用. 处理步骤: 1.先从 dba_objects / user_objects中查询到该表的object_id: select object_id from dba_objects where object_name=upper('KOL_XX_FIN050_TEMP'); 2.根据查到的object_id知道使用该表的sessi…

【ElasticSearch】ElasticSearch-索引优化-自定义索引

ElasticSearch-索引优化-自定义索引 es 指定索引字段_百度搜索 [es]创建索引和映射 - 匡子语 - 博客园 reindex,增加字段,并新增数据 - Elastic中文社区 elasticsearch 字段别名(创建索引并指定索引类型的mapping) - CSDN博客 Elasticsearch创建索引和映射结构详解 - 我是家宝 - 博客园分布式搜索elasticsearch java API 之(二)------put Mapping定义索引字段属性 - 陈守璐的…

Linux sed命令操作删除文件每一行的前k个字符、在文本的行尾或行首添加字符

删除文件每一行的前k个字符 $ cat tmp.txt # 删除每行第一个字符 $ sed 's/.//' tmp.txt # 删除每行前两个字符 $ sed 's/..//' tmp.txt # 删除每行前k个字符,例如k= $ sed 's/.\{5\}//' tmp.txt 如果要在原文件上修改,加上参数-i就可以了在文本的行尾或行首添加字符 $ cat tmp.txt 23456789 23456789 23456789 # 在行首添加双引号(") $ cat tmp.txt | se…

Elasticsearch系列---实战零停机重建索引

前言我们使用Elasticsearch索引文档时,最理想的情况是文档JSON结构是确定的,数据源源不断地灌进来即可,但实际情况中,没人能够阻拦需求的变更,在项目的某个版本,可能会对原有的文档结构造成冲击,增加新的字段还好,如果要修改原有的字段,只能重建索引了. 概要本篇以实战方式讲解如何零停机完成索引重建的三种方案. 外部数据导入方案整体介绍系统架构设计中,有关系型数据库用来存储数据,Elasticsearch在系统架构里起到查询加速的作用,如果遇到索引重建的操作,待系统模块发布新版本后…

Day_11【集合】扩展案例4_删除长度大于5的字符串，删除元素包含0-9数字的字符串

分析以下需求,并用代码实现 1.定义ArrayList集合,存入多个字符串如:"ab1" "123ad" "bca" "dadfadf" "dddaaa" "你好啊" "我来啦" "别跑啊" 2.遍历集合,删除长度大于5的字符串,打印删除后的集合对象提示:可以将原集合中所有长度大于5的字符串放入到新集合中,遍历新集合,新集合中的元素就是要删除的…

删除elasticsearch 30天前的所有索引

我的索引格式为 xxx-xxx-xxx-2019.06.27 xxx-xxxx-2019.06.27 脚本思路: 获取目前 es上所有索引,以日期进行拆分,然后用索引时间对比一个月前的日期,日期小于一个月的直接删除 #!/bin/bash # Remove the index of one month old in elasticserch CMD_ECHO='echo' SCRIPT_NAME=`` LOG_PRINT="eval $CMD_ECHO \"[$SCRIPT_NAME]…

定时删除elasticsearch索引

从去年搭建了日志系统后,就没有去管它了,最近发现大半年各种日志的index也蛮多的,就想着写个脚本定时清理一下,把一些太久的日志清理掉. 脚本思路:通过获取index的尾部时间与我们设定的过期时间进行对比,如果是属于过期时间那么就进行删除,并写入日志.如果不是则不进行处理. 完整的脚本:(今天准备写个,翻下笔记发现去年就已经写好了) #!/bin/bash ###################################################### # $Name: clean_…

删除elasticsearch索引脚本

只保留七天的索引 shell版 #!/bin/bash #hexm@ #只保留一周es日志 logName=( -nginxaccesslog -nginxerrorlog -phperrorlog ) #es配置文件 config=/usr/local/app/elasticsearch-/config/elasticsearch.yml #日期 time=`date -d "7 day ago" +-%Y.%m.%d` ip=`grep "network.host&quo…

定期删除elasticsearch 的index 索引

#!/bin/bashfind /data/elasticsearch/data/pro-kz-log/nodes/0/indices/ -type d -mtime +7 | awk -F"/" '{print $9}' | grep -v kibana | uniq > /home/wwwad/.sh/esindex.txtcat /home/wwwad/.sh/esindex.txt | while read linedoecho ${line}curl -XDELETE…

自动删除 Elasticsearch 索引

#!/bin/bash # author: Wang XiaoQiang# crontab -e# 0 0 * * * /root/script/del_esindex.sh # auto delete day ago elasticsearch index dtime=`date -d "7 day ago" +%Y-%m-%d` dtime_stamp=`date -d "$dtime" +%s` indexs=`curl -s 'http://127.0.0.…

elasticsearch indices.recovery 流程分析（索引的_open操作也会触发recovery）——主分片recovery主要是从translog里恢复之前未写完的index，副分片recovery主要是从主分片copy segment和translog来进行恢复

摘自:https://www.easyice.cn/archives/231 elasticsearch indices.recovery 流程分析与速度优化目录 [隐藏] 主分片恢复流程副本分片恢复流程 recovery 慢的原因分析 synced flush 机制副分片如何做到和主分片一致的提升 recovery 速度的建议使用 _forcemerge 集群 FullRestart 的建议操作过程一些用于查看 recovery 状态的命令问题参考: 基于版本:5.5.3 re…

Elasticsearch系列---生产集群的索引管理

概要索引是我们使用Elasticsearch里最频繁的部分日常的操作都与索引有关,本篇从运维人员的视角,来玩一玩Elasticsearch的索引操作. 基本操作在运维童鞋的视角里,索引的日常操作除了CRUD,还是打开关闭.压缩.alias重置,我们来了解一下. 创建索引 [esuser@elasticsearch02 ~]$curl -XPUT 'http://elasticsearch02:9200/music?pretty' -H 'Content-Type: application/j…

elasticsearch更改mapping(不停服务重建索引)

转载地址:http://donlianli.iteye.com/blog/1924721?utm_source=tuicool&utm_medium=referral Elasticsearch的mapping一旦创建,只能增加字段,而不能修改已经mapping的字段.但现实往往并非如此啊,有时增加一个字段,就好像打了一个补丁,一个可以,但是越补越多,最后自己都觉得惨不忍睹了.怎么办?? 这里有一个方法修改mapping,那就是重新建立一个index,然后创建一个新的mapping.你可能会问,…