【ElasticSearch】数据迁移方案

一、需求背景

ES环境要从单机迁移到集群上面

现在已有的数据也要搬过去，有几个索引三四千万数据大概

二、实现方案

有两种，使用ElasticDump和LogStash的ES插件

1、ElasticDump迁移工具

相关资料

资料参考：
https://blog.csdn.net/weixin_43833817/article/details/110387932
https://zhuanlan.zhihu.com/p/489364187
脚本编写帮助参考：
https://blog.csdn.net/qq_39680564/article/details/118539979
官方NPM文档：
https://www.npmjs.com/package/elasticdump

下载安装迁移工具，windows 和linux无限制

npm install elasticdump -g

几个重要参数：

1、读取 + 写入 目标地址或者目标索引
--input
                    Source location (required)
--input-index
                    Source index and type
                    (default: all, example: index/type)
--output
                    Destination location (required)
--output-index
                    Destination index and type
                    (default: all, example: index/type)

2、指定每批次最大传输的文档对象数量
--limit
                    How many objects to move in batch per operation
                    limit is approximate for file streams
                    (default: 100)

3、指定读写的端口
--inputSocksPort, --outputSocksPort
                    Socks5 host port

--inputSocksProxy, --outputSocksProxy
                    Socks5 host address

4、强制版本？
--force-os-version
                    Forces the OpenSearch version used by elasticsearch-dump.
                    (default: 7.10.2)
5、处理版本？
--handleVersion
                    Tells elastisearch transport to handle the `_version` field if present in the dataset
                    (default : false)

6、是否忽略读写错误
--ignore-errors
                    Will continue the read/write loop on write error
                    (default: false)
--ignore-es-write-errors
                    Will continue the read/write loop on a write error from elasticsearch
                    (default: true)

6、帮助页面
--help
                    This page

7、重试次数与重试延迟时限
--retryAttempts
                    Integer indicating the number of times a request should be automatically re-attempted before failing
                    when a connection fails with one of the following errors `ECONNRESET`, `ENOTFOUND`, `ESOCKETTIMEDOUT`,
                    ETIMEDOUT`, `ECONNREFUSED`, `EHOSTUNREACH`, `EPIPE`, `EAI_AGAIN`
                    (default: 0)
--retryDelay
                    Integer indicating the back-off/break period between retry attempts (milliseconds)
                    (default : 5000)

　　

传输命令：

- 无账户密码可不设置

- 注意传输限制到 -limit参数最高只能到查询的上限1万

- 如果不设置索引名称，默认将迁移整个ES过去

elasticdump --input=http://用户:密码@源ES地址/源索引 --output=http://用户:密码@目标ES地址/目标索引 --type=settings
elasticdump --input=http://用户:密码@源ES地址/源索引 --output=http://用户:密码@目标ES地址/目标索引 --type=mapping
elasticdump --input=http://用户:密码@源ES地址/源索引 --output=http://用户:密码@目标ES地址/目标索引 --type=data --limit=10000

　　

工具特性分析：

1、方便快捷，只要装了Npm，不限制平台，客户端也能操作

2、应该是基于Http请求调用实现，数据传输量小，百万内的数据迁移时间还可以，千万的时间就很长了

2、LogStash的ES插件

关于插件的参数文档，太难找到了：

https://www.elastic.co/guide/en/logstash/7.3/plugins-outputs-elasticsearch.html
https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-elasticsearch.html

下载安装LogStash，需要部署在服务端

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.3.2.tar.gz

解压放到目录中

# 解压Logstash包
tar -xf logstash-7.3.2.tar.gz

# 创建存放目录
mkdir /home/es

# 移动logstash到存放目录
mv logstash-7.3.2 /home/es/

# 重命名logstash目录
cd /home/es/
mv logstash-7.3.2/ logstash

LogStash只负责传输数据，索引不存在时会按ES默认配置新建

所以要保持源ES的索引配置，需要手动先在目标ES上建好

获取索引的配置信息：GET /索引名称/_settings?pretty
获取索引的Mapping信息：GET /索引名称/_mapping?pretty

在目标ES上配置索引
PUT /索引名称
{  
  "settings": {  
    "number_of_shards" : "8",
    "number_of_replicas" : "1"
  },
  "mappings" : {
    "properties" : { ... }
  }
}

编写迁移配置文件 xxx.conf：

vim /home/es/logstash/config/xxxx.conf

配置内容：

input{
    elasticsearch{
        hosts => ["源ES的IP地址:端口号"]
        index => "索引名称"
        user => "源ES用户名"  
        password => "源ES密码"  
    }
}

output{
    elasticsearch{
        hosts => ["目标集群ES的IP地址:端口号", "集群节点2", "集群节点3", ...]
        index => "索引名称"
        user => "集群ES用户名"  
        password => "集群ES用户密码"  
    }
}

迁移执行，指定迁移配置参数：

/home/es/logstash/bin/logstash -f /home/es/logstash/config/xxxx.conf --path.logs /home/es/logstash/logs/xxxx --path.data /home/es/logstash/data/xxxx

传输时不会打印传输信息，传输完毕时显示Logstash执行结束

工具特性分析：

1、一般来说是ELK一个整体，一定是在服务端部署的

2、传输速度快，支持千万级数据量

3、只负责传数据，索引本身是不管的，要手动去建好索引

2023年11月23日 10：57更新

MySQL或者任意支持JDBC的关系型数据库见此插件文档：

https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-jdbc.html

靠，还要从mysql上迁移到es这边，花半个早上把这事处理了

插件的配置文件写法：

也就是说关系型数据库可以根据jdbc驱动实现读取，但是需要自己提供驱动包

有个字段的报错要处理，日期解析失败，这里就调整SQL查询解决，利用日期函数给予正常字符

input {
  jdbc {
    jdbc_driver_library => "/home/logstash-7.3.2/lib/mysql-connector-java-8.0.29.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.200.16:3306/perception_fusion?useSSL=false"
    jdbc_user => "root"
    jdbc_password => "nccd16"
    jdbc_default_timezone => "Asia/Shanghai"
    statement => "SELECT `id`, `mac`, `result_id`, `weight_name`, `weight_detail`, `detail`, DATE_FORMAT(`timeline`, '%Y-%m-%d %H:%i:%s')  AS `timeline` FROM aca_ru_scordetail"
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.200.150:9200"]
    user => "elastic"
    password => "123456"
    index => "aca_ru_scordetail"
  }
}

迁移过来的文档：

但是字段又对不上了，同事又让我继续看问题，百度了下

补上两个参数：

- lowercase_column_names => false 不要转小写

- manage_template => false 不要ES自动配置索引模版

在SQL的时候就指定好驼峰名称即可

input {
  jdbc {
    jdbc_driver_library => "/home/logstash-7.3.2/lib/mysql-connector-java-8.0.29.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.200.16:3306/perception_fusion?useSSL=false"
    jdbc_user => "root"
    jdbc_password => "nccd16"
    jdbc_default_timezone => "Asia/Shanghai"
    lowercase_column_names => false
    statement => "SELECT `id`, `mac`, `result_id` AS `resultId`, `weight_name` AS `weightName`, `weight_detail` AS `weightDetail`, `detail`, DATE_FORMAT(`timeline`, '%Y-%m-%d %H:%i:%s')  AS `timeline` FROM aca_ru_scordetail"
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.200.150:9200"]
    user => "elastic"
    password => "123456"
    index => "aca_ru_scordetail"
    manage_template => false
  }
}