Elasticsearch和mysql数据同步（logstash）

1、版本介绍

Elasticsearch：

https://www.elastic.co/products/elasticsearch

版本：2.4.0

 

Logstash：

https://www.elastic.co/products/logstash

版本：2.4.0

所需要的安装文件，到官网下载即可。

 

还需要对应的数据库JDBC，这里使用的是mysql-connector-java-5.1.39.jar

 

Elasticsearch配置请参照之前的博客，不在这里介绍了。

 

2、Logstash安装配置

 

Logstash直接下载后解压即可，主要是配置文件的内容编写。

 

安装logstash-input-jdbc的Logstash插件，用来进行mysql、oracle等的数据同步。

 

[zsz@VS-zsz logstash-2.4.0]$ bin/plugin install logstash-input-jdbc

The use of bin/plugin is deprecated and will be removed in a feature release. Please use bin/logstash-plugin.

Validating logstash-input-jdbc

Installing logstash-input-jdbc

Installation successful

 

配置文件（自行指定文件名，这里命名为logstash-mysql.conf ）：

[zsz@VS-zsz conf]$ vi logstash-mysql.conf 

input {

  jdbc {

    jdbc_driver_library => "/usr/local/logstash-2.4.0/mysql-connector-java-5.1.39.jar"

    jdbc_driver_class => "com.mysql.jdbc.Driver"

    jdbc_connection_string => "jdbc:mysql://192.168.****:3306/******?characterEncoding=UTF-8&useSSL=false"

    jdbc_user => "*****"

    jdbc_password => "*********"

    statement => "SELECT * FROM news limit 0,1"

    jdbc_paging_enabled => "true"

    jdbc_page_size => "50000"

    schedule => "* * * * *"

  }

}

filter {

   json {

        source => "message"

        remove_field => ["message"]

    }

}

output {

  stdout {

    codec => rubydebug

  }

  elasticsearch {

    hosts => "192.168.****"

    index => "myindex"

  }        

} 

 

启动Logstash

[zsz@VS-zsz conf]$ /usr/local/logstash-2.4.0/bin/logstash -f /usr/local/logstash-2.4.0/conf/logstash-mysql.conf 

Settings: Default pipeline workers: 2

Pipeline main started

{

                  "pk" => 8,

             "user_pk" => 11,

            "media_pk" => 5,

            "topic_pk" => 0

}

{

                  "pk" => 8,

             "user_pk" => 11,

            "media_pk" => 5,

            "topic_pk" => 0

}

........

 

这个进程会一直执行下去，因为设置的schedule => "* * * * *"（每分钟执行一次），如果想结束进程需要kill掉进程。

 

 

查看elasticsearch是否同步数据成功

[root@VS-zsz conf]# curl '192.168.31.79:9200/_cat/indices?v'

health status index   pri rep docs.count docs.deleted store.size pri.store.size

green  open   test      5   1          0            0      1.5kb           795b

green  open   myindex   5   1        494            0    924.7kb        457.6kb
[root@VS-zsz conf]# curl '192.168.31.78:9200/_cat/indices?v'

health status index   pri rep docs.count docs.deleted store.size pri.store.size

green  open   test      5   1          0            0      1.5kb           795b

green  open   myindex   5   1        494            0      925kb        457.8kb
[root@VS-zsz conf]# curl '192.168.31.79:9200/_cat/indices?v'

health status index   pri rep docs.count docs.deleted store.size pri.store.size

green  open   test      5   1          0            0      1.5kb           795b

green  open   myindex   5   1        494            0      925kb        457.8kb 

 

说明数据成功导入，而且在设置了定时任务的情况下， myindex索引的容量不断增加。

 

5、常见错误：

（1）Pipeline aborted due to error {:exception=>"LogStash::ConfigurationError", :backtrace=>..................stopping pipeline {:id=>"main"}

原因：logstash-mysql.conf 文件配置错误，对于>=2.*的版本， elasticsearch 的参数名应为hosts，如果设置为host则会报错。此处应该是可以配置多个数据源。