因为业务原因,需要修改索引的映射的某个字段的类型,比如更改Text为Keyword. 需要如下步骤: 1).先新建索引,映射最新的映射实体 2).迁移老索引的数据到新索引中(数据较大的话,可以分批迁移) 3).删除老索引 下面使用elasticsearch-head插件(安装自行网上搜索)操作 启动elasticsearch和elasticsearch-head,如下图:      1.创建新索引,新索引名为:myindex 2.迁移老索引的数据到新索引中 3.删除老索引即可 注:我net用的客…

logstash是一个非常强大的数据迁移工具.这里主要记录今天使用到的几个简单用法. 其中比较需要注意的是 迁移到elasticsearch的时候,output 的 elasticsearch 中的 mappings 最好自己建.虽然不自己建立logstash会自动建立,但是自动建立出来的mappings里面有些参数可能就不是我们预期想要的,导致再查询的时候出现问题.这个地方不要偷懒. 首先配置 conf文件. (1)elasticsearch迁移到elasticsearch input { e…

上一篇说到如果一个索引的mapping设置过了,想要修改type或analyzer,通常的做法是新建一个索引,重新设置mapping,再把数据同步过来. 那么如何实现零停机时间更新索引配置或迁移索引?这就需要用到索引的别名设置. 思路: 1.假设我们的索引是demo_v1,我们定义了一个别名demo,以后所有的操作都用别名demo操作. 2.现在索引demo_v1的mapping设置或者其他一些设置不满足我们的需求了,我们需要修改.新建一个索引demo_v2,同时设置好最新配置. 3.同步索引d…

以下都是经过实战验证过的!!! [前提]使用相同的版本 ElasticSearch-5.5.1,只不过是在不同的服务器之间且重跑数据相对来说代价比较高,这种情况下就可以使用一下这种方式对索引整体迁移 当然也支持 ElasticSearch 不同版本之间的迁移(这个没有亲测),以及从不同数据源同步等操作 首先需要安装 nodejs npm 相关组件,我本机环境是 CentOS 环境,直接通过 yum 进行安装的时候发现报错: npm: relocation error: npm: symbol S…

=============================================== 2018/7/29_第1次修改                       ccb_warlock =============================================== elasticsearch(ES)作为ELK的一部分,经常用于日志记录与统计.最近遇到需要迁移日志从旧环境到新环境,试验后发现elasticdump可以实现这个数据同步的部分(可以实现不同版本的ES数据同步)…

本文介绍Elasticsearch零宕机时间更新索引配置映射内容的方法,包括字段类型.分词器.分片数等.方法原理就是,利用别名机制,给索引配置别名,所有应用程序都通过别名访问索引.重建索引,通过索引原名将原索引导入新建索引.再为新索引配置相同的别名.确认成功导入后,则删掉老索引.实现配置参数更新. 注意: 以下所有操作都是基于一个前提:在建原始索引的时候,给原始索引创建了别名 PUT /my_index_v1         //创建索引 my_index_v1 PUT /my_index_v1…

注册快照仓库 ES是通过快照的方式来实现数据备份,并且是以增量的方式,所以一般第一次做的话会花费较长的时间.为了做快照,那么就需要注册一个快照仓库,告诉ES我们的快照应该如何保存以及将快照保存到哪里. ES的快照仓库支持如下几种形式: 共享的文件系统,如NAS Amazon S3 HDFS (Hadoop Distributed File System) Azure Cloud 通常选择注册第一种形式. 任意选择一个节点,执行如下命令 $ curl -XPUT http://192.168.0.…

使用插件repository-hdfs插件进行测试 下载地址: https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsearch-repository-hdfs/ https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsearch-repository-hdfs/2.3.4.BUI…

官方API文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/allocation-filtering.html 参考链接:https://jee-appy.blogspot.com/2016/09/replace-node-elasticsearch-cluster.html 一.测试环境系统:centos7(虚拟机)ES版本:5.0.0节点:三个,node-1(9200).node-2(9201).node-3…

支持同集群复制和跨集群复制 优点:通过简单配置即可实现.零编码. 缺点:logstash 单点运行迁移,速度一般. 以es2.2.1  logstash2.2.1 为例 以下logstash 配置功能为迁移同一个集群 索引 hottest_20170805_bak2 到  hottest_20170805_bak3 如果是跨集群修改ip即可 #logstash 输入插件 input { elasticsearch { hosts => [ "192.168.126.132:9200&quo…