使用logstash迁移elasticsearch数据

支持同集群复制和跨集群复制

优点：通过简单配置即可实现、零编码。

缺点：logstash 单点运行迁移，速度一般。

以es2.2.1  logstash2.2.1 为例

以下logstash 配置功能为迁移同一个集群 索引 hottest_20170805_bak2 到  hottest_20170805_bak3

如果是跨集群修改ip即可

 #logstash 输入插件
 input {
   elasticsearch {
     hosts => [ "192.168.126.132:9200", "192.168.126.134:9200", "192.168.126.135:9200" ] #来源集群
     index => "hottest_20170805_bak2"
     size =>
     scroll => "5m"
     docinfo => true
     scan => true
   }
 }

 filter {
   mutate {
     remove_field => ["@timestamp", "@version"]  #过滤掉logstash 自己加上的字段
   }
 }

 #logstash 输出插件
 output {
   elasticsearch {
     hosts => [ "192.168.126.132:9200", "192.168.126.134:9200", "192.168.126.135:9200" ] #目标集群
     index => "hottest_20170805_bak3"
     #index => "%{[@metadata][_index]}"  和来源索引相同
     document_type => "%{[@metadata][_type]}"  #和来源索引相同
     document_id => "%{[@metadata][_id]}"
     flush_size =>  #批量提交数量
     workers =>  #并行数量
   }
 }

启动logstash，-f 指向配置文件地址。

logstash 配置参考

官网
input 插件参数
https://www.elastic.co/guide/en/logstash/2.2/plugins-inputs-elasticsearch.html
output 插件参数
https://www.elastic.co/guide/en/logstash/2.2/plugins-outputs-elasticsearch.html