【转载请注明】:

原文出处http://www.yund.tech/zdetail.html?type=1&id=f7a448de25aeeb8e03435fc0d3054b0c    作者:jstarseven    码字挺辛苦的.....  


ElasticSearch的索引可以手动添加索引的,就是类似下面这样添加的

PUT /movies/movie/1
{
"title": "The Godfather",
"director": "Francis Ford Coppola",
"year": 1972,
"genres": ["Crime", "Drama"]
}

但是如果很多的信息,这样添加显然是不可能的,尤其是一般数据都在数据库中。

于是elasticsearch提供了可以直接和数据库关联,并且自动根据数据库中的数据更新索引logstash。

安装logstash

logstash的安装和elasticsearch的安装是一样简单的,就是那种拆箱即用的。目前最新的版本是5.5.0,注意这个版本需要和elasticsearch的版本一致。

下载安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip

下载完之后

unzip logstash-5.5.0.zip

之后将文件移动到自己存放的目录即可。

启动服务测试一下是否安装成功:

cd bin
./logstash -e 'input { stdin { } } output { stdout {} }'

如果出现下面的东西就表示成功: 
 
输入随便什么内容:

HelloWorld

就会变成下面这样:

基本上这样就算是安装成功了(其实好像并没有安转,只是下载而已)

安装logstash-input-jdbc插件

在我安装完这东西之后,看到好像可以不用安装这个就可以直接和数据库同步的,但是由于重新安装太麻烦了,而且没有其他的服务器给我试,就没有去试试看行不行。

我主要参考的是http://blog.csdn.net/yeyuma/article/details/50240595这位老铁的方法。

安装logstash是一件比较蛋疼的事,因为这东西适用ruby开发的,我对ruby这东西是一点也不懂,所以比较不好弄。 
如果没有gem命令的话,需要先安装一下子(root用户才可以)

yum install gem

替换ruby镜像库为国内的库,因为国外的库,国内是访问不到的,然后国内有两个库,两个库都是可以用的: 
1、替换成ruby-china的库

gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/

查看是否成功

gem sources -l

2、国内还有一个库,是淘宝的:

gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/

可以同样用gem sources -l查看是否替换成功。

替换完之后,进入logstash-5.5.0,修改Gemfile文件里面的数据源:

vi Gemfile

修改成这个样子:

source "https://gems.ruby-china.org"

如果用的用的是淘宝的库,就修改成这样

source "https://ruby.taobao.org"

好了,这样ruby的安装环境就算是配好了。

进入到logstash的bin下

cd bin
./plugin install logstash-input-jdbc

等待一整子,挺久的,如果成功那就安装成功了。

如果不成功,可以尝试一下下面这个东西,如果没记错的话,我好像就是用这种方法安装的:

cd logstash-5.5.0
wget https://github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip
unzip v1.0.0.zip
cd logstash-input-jdbc-1.0.0/

修改Gemfile里面的source,和上面修改是一样的。

然后

vi logstash-input-jdbc.gemspec

s.files = `git ls-files`.split($\)
改为:
s.files = [".gitignore", "CHANGELOG.md", "Gemfile", "LICENSE", "NOTICE.TXT", "README.md", "Rakefile", "lib/logstash/inputs/jdbc.rb", "lib/logstash/plugin_mixins/jdbc.rb", "logstash-input-jdbc.gemspec", "spec/inputs/jdbc_spec.rb"]

继续

gem build logstash-input-jdbc.gemspec

得到

cd ..
cd bin
./logstash install ../logstash-input-jdbc-1.0.0/logstash-input-jdbc-1.0.0.gem

然后等着就好了。如果提示成功了,就安装成功了,如果还是失败,多尝试几下第一种方式,我在另一个服务器尝试了几次第一种方式就莫名其妙成功了。如果还失败,就在查查资料吧。

测试一下安装成功了吗:

在此之前,需要一个mysql数据库连接包,mysql-connector-java-6.0.6.jar,随便什么版本应该都是可以的,可以使用wget下下来,也可以从本地下下来之后rz上传到服务器,这里就省略了。

在bin下新建一个目录config-mysql创建mysql.conf文件:

mkdir config-mysql
cd config-mysql
vim mysql.conf

在文件中输入下面的内容:

input {
stdin {
}
jdbc {
# 数据库
jdbc_connection_string => "jdbc:mysql://localhost:3306/test01"
# 用户名密码
jdbc_user => "root"
jdbc_password => "123456"
# jar包的位置
jdbc_driver_library => "/usr/local/logstash-5.5.0/mysql-connector-java-6.0.6.jar"
# mysql的Driver
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
#statement_filepath => "config-mysql/test02.sql"
statement => "select * from test02"
schedule => "* * * * *"
#索引的类型
type => "test02"
}
} filter {
json {
source => "message"
remove_field => ["message"]
}
} output {
elasticsearch {
hosts => "127.0.0.1:9200"
# index名
index => "test01"
# 需要关联的数据库中有有一个id字段,对应索引的id号
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}

注意关联的数据库表中需要有id字段用来映射形成的索引的id号。

终于把工作都做完了。

进入bin目录下:

./logstash -f config-mysql/mysql.conf

等一会之后,就会看到数据库中的数据被读取出来,然后加载进索引,在sense可以查询到刚刚添加的索引的

 GET /_search  

然后往数据库中添加一些新的数据之后等待大概30S之后重新索引,就会看到索引被更新了。回到linux下,会看到,没过一段时间,logstash就会重新扫描一下数据库,通过这样的方式,实现和mysql数据库的同步。


-END-

logstash安装与logstash-input-jdbc插件使用的更多相关文章

  1. ElasticSearch Kibana 和Logstash 安装x-pack记录

    前言 最近用到了ELK的集群,想想还是用使用官方的x-pack的monitor功能对其进行监控,这里先上图看看: 环境如下: 操作系统: window 2012 R2 ELK : elasticsea ...

  2. ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

    ElasticSearch的索引可以手动添加索引的,就是类似下面这样添加的 PUT /movies/movie/1 { "title": "The Godfather&q ...

  3. logstash 安装插件multiline

    一.安装multiline 在使用elk 传输记录 java 日志时,如下 一个java的报错 在elk中会按每一行 产生多条记录,不方便查阅 这里修改配置文件 使用  multiline   插件 ...

  4. logstash input jdbc连接数据库

    示例 以下配置能够实现从 SQL Server 数据库中查询数据,并增量式的把数据库记录导入到 ES 中. 1. 查询的 SQL 语句在 statement_filepath => " ...

  5. elasticsearch安装与使用(6)-- Logstash安装与配置

    由于elasticsearch的search guard 不支持 elasticsearch的jdbc,所以如果安装了search guard认证插件之后,基本上jdbc就废了,所以我们需要用到log ...

  6. CentOS6.5安装elasticsearch+logstash+kibana

    首先卸载低版本的java环境,然后安装 java环境和Apache服务 yum install -y java--openjdk httpd 安装ES环境 elasticsearch wget htt ...

  7. logstash安装及基础入门

    Logstash是一款开源的数据收集引擎,具备实时管道处理能力.简单来说,logstash作为数据源与数据存储分析工具之间的桥梁,结合 ElasticSearch以及Kibana,能够极大方便数据的处 ...

  8. Logstash详解之——input模块

    原文地址 Logstash由三个组件构造成,分别是input.filter以及output.我们可以吧Logstash三个组件的工作流理解为:input收集数据,filter处理数据,output输出 ...

  9. 第三篇:Logstash 安装配置

    Logstash 简介: Logstash 是一个实时数据收集引擎,可收集各类型数据并对其进行分析,过滤和归纳.按照自己条件分析过滤出符合数据导入到可视化界面.Logstash 建议使用java1.8 ...

  10. ElasticStack之Logstash安装

    服务器环境 操作系统 Host:port node 1 CentOS 7.2.1511 11.1.11.127:9200 node1 2 CentOS 7.2.1511 11.1.11.128:920 ...

随机推荐

  1. JS中的计时器事件

    JS可以实现很多java代码不易完成的功能.这里学习一些js中的计时器事件. JavaScript 一个设定的时间间隔之后来执行代码,称之为计时事件. 主要通过两个方法来实现: 1.setInterv ...

  2. python.csv 按行按列读取

    参考:https://blog.csdn.net/ly_ysys629/article/details/55107237 # header=0,表示文件第0行为列索引 # index_col=0,表示 ...

  3. Python写出LSTM-RNN的代码

    0. 前言 本文翻译自博客: iamtrask.github.io ,这次翻译已经获得trask本人的同意与支持,在此特别感谢trask.本文属于作者一边学习一边翻译的作品,所以在用词.理论方面难免会 ...

  4. Unix传奇

    转自 http://coolshell.cn/articles/2322.html 了解过去,我们才能知其然,更知所以然.总结过去,我们才会知道我们明天该如何去规划,该如何去走.在时间的滚轮中,许许多 ...

  5. 从MS Word到Windows Live Writer

    在做笔记的时候,喜欢使用Word进行排版及插入图片,但是当将笔记发布的时候,一般的网站是不支持直接将Word中的图片进行上传的,此时使用Windows Live Writer是一个不错的选择. 可是, ...

  6. QT中的线程与事件循环理解(2)

    1. Qt多线程与Qobject的关系 每一个 Qt 应用程序至少有一个事件循环,就是调用了QCoreApplication::exec()的那个事件循环.不过,QThread也可以开启事件循环.只不 ...

  7. HDU2159_二维完全背包问题

    HDU2159_二维完全背包问题 输入有:经验,忍耐度,怪物种数,限制杀怪数 每一种怪物对应获得的经验值和消耗的耐久值 输出:剩下的最大忍耐度 限制:忍耐度,杀怪个数 在这里把忍耐度看成背包的容量,杀 ...

  8. 学习stm32 让我们一起回顾一下C语言吧

    ODR 是一个端口输出数据寄存器,也只用了低 16 位.该寄存器为可读写,从该寄存器读出来的数据可以用于判断当前 IO 口的输出状态.而向该寄存器写数据,则可以控制某个 IO 口的输出电平.该寄存器的 ...

  9. bzoj网络流

    近期看了一些bzoj的网络流,深感智商不够.不过对于网络流又有了进一步的理解. 还是mark一下吧. 献上几篇论文:1)<最小割模型在信息学竞赛中的应用> 2)<浅析一类最小割问题& ...

  10. hdu4742

    题意:给定3维的n(<=100000)个点,求最长不下降子序列长度(对于1和2两个点,2可以放在1后面,x1<=x2,y1<=y2,z1<=z2 ),并求出有多少种方案. 思路 ...