logstash安装与logstash-input-jdbc插件使用
【转载请注明】:
原文出处:http://www.yund.tech/zdetail.html?type=1&id=f7a448de25aeeb8e03435fc0d3054b0c 作者:jstarseven 码字挺辛苦的.....
ElasticSearch的索引可以手动添加索引的,就是类似下面这样添加的
PUT /movies/movie/1
{
"title": "The Godfather",
"director": "Francis Ford Coppola",
"year": 1972,
"genres": ["Crime", "Drama"]
}
但是如果很多的信息,这样添加显然是不可能的,尤其是一般数据都在数据库中。
于是elasticsearch提供了可以直接和数据库关联,并且自动根据数据库中的数据更新索引logstash。
安装logstash
logstash的安装和elasticsearch的安装是一样简单的,就是那种拆箱即用的。目前最新的版本是5.5.0,注意这个版本需要和elasticsearch的版本一致。
下载安装
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
下载完之后
unzip logstash-5.5.0.zip
之后将文件移动到自己存放的目录即可。
启动服务测试一下是否安装成功:
cd bin
./logstash -e 'input { stdin { } } output { stdout {} }'
如果出现下面的东西就表示成功:
输入随便什么内容:
HelloWorld
就会变成下面这样:
基本上这样就算是安装成功了(其实好像并没有安转,只是下载而已)
安装logstash-input-jdbc插件
在我安装完这东西之后,看到好像可以不用安装这个就可以直接和数据库同步的,但是由于重新安装太麻烦了,而且没有其他的服务器给我试,就没有去试试看行不行。
我主要参考的是http://blog.csdn.net/yeyuma/article/details/50240595这位老铁的方法。
安装logstash是一件比较蛋疼的事,因为这东西适用ruby开发的,我对ruby这东西是一点也不懂,所以比较不好弄。
如果没有gem命令的话,需要先安装一下子(root用户才可以)
yum install gem
替换ruby镜像库为国内的库,因为国外的库,国内是访问不到的,然后国内有两个库,两个库都是可以用的:
1、替换成ruby-china的库
gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/
查看是否成功
gem sources -l
2、国内还有一个库,是淘宝的:
gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/
可以同样用gem sources -l查看是否替换成功。
替换完之后,进入logstash-5.5.0,修改Gemfile文件里面的数据源:
vi Gemfile
修改成这个样子:
source "https://gems.ruby-china.org"
如果用的用的是淘宝的库,就修改成这样
source "https://ruby.taobao.org"
好了,这样ruby的安装环境就算是配好了。
进入到logstash的bin下
cd bin
./plugin install logstash-input-jdbc
等待一整子,挺久的,如果成功那就安装成功了。
如果不成功,可以尝试一下下面这个东西,如果没记错的话,我好像就是用这种方法安装的:
cd logstash-5.5.0
wget https://github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip
unzip v1.0.0.zip
cd logstash-input-jdbc-1.0.0/
修改Gemfile里面的source,和上面修改是一样的。
然后
vi logstash-input-jdbc.gemspec
再
s.files = `git ls-files`.split($\)
改为:
s.files = [".gitignore", "CHANGELOG.md", "Gemfile", "LICENSE", "NOTICE.TXT", "README.md", "Rakefile", "lib/logstash/inputs/jdbc.rb", "lib/logstash/plugin_mixins/jdbc.rb", "logstash-input-jdbc.gemspec", "spec/inputs/jdbc_spec.rb"]
继续
gem build logstash-input-jdbc.gemspec
得到
cd ..
cd bin
./logstash install ../logstash-input-jdbc-1.0.0/logstash-input-jdbc-1.0.0.gem
然后等着就好了。如果提示成功了,就安装成功了,如果还是失败,多尝试几下第一种方式,我在另一个服务器尝试了几次第一种方式就莫名其妙成功了。如果还失败,就在查查资料吧。
测试一下安装成功了吗:
在此之前,需要一个mysql数据库连接包,mysql-connector-java-6.0.6.jar,随便什么版本应该都是可以的,可以使用wget下下来,也可以从本地下下来之后rz上传到服务器,这里就省略了。
在bin下新建一个目录config-mysql创建mysql.conf文件:
mkdir config-mysql
cd config-mysql
vim mysql.conf
在文件中输入下面的内容:
input {
stdin {
}
jdbc {
# 数据库
jdbc_connection_string => "jdbc:mysql://localhost:3306/test01"
# 用户名密码
jdbc_user => "root"
jdbc_password => "123456"
# jar包的位置
jdbc_driver_library => "/usr/local/logstash-5.5.0/mysql-connector-java-6.0.6.jar"
# mysql的Driver
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
#statement_filepath => "config-mysql/test02.sql"
statement => "select * from test02"
schedule => "* * * * *"
#索引的类型
type => "test02"
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
}
output {
elasticsearch {
hosts => "127.0.0.1:9200"
# index名
index => "test01"
# 需要关联的数据库中有有一个id字段,对应索引的id号
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}
注意关联的数据库表中需要有id字段用来映射形成的索引的id号。
终于把工作都做完了。
进入bin目录下:
./logstash -f config-mysql/mysql.conf
等一会之后,就会看到数据库中的数据被读取出来,然后加载进索引,在sense可以查询到刚刚添加的索引的
GET /_search
然后往数据库中添加一些新的数据之后等待大概30S之后重新索引,就会看到索引被更新了。回到linux下,会看到,没过一段时间,logstash就会重新扫描一下数据库,通过这样的方式,实现和mysql数据库的同步。
-END-
logstash安装与logstash-input-jdbc插件使用的更多相关文章
- ElasticSearch Kibana 和Logstash 安装x-pack记录
前言 最近用到了ELK的集群,想想还是用使用官方的x-pack的monitor功能对其进行监控,这里先上图看看: 环境如下: 操作系统: window 2012 R2 ELK : elasticsea ...
- ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件
ElasticSearch的索引可以手动添加索引的,就是类似下面这样添加的 PUT /movies/movie/1 { "title": "The Godfather&q ...
- logstash 安装插件multiline
一.安装multiline 在使用elk 传输记录 java 日志时,如下 一个java的报错 在elk中会按每一行 产生多条记录,不方便查阅 这里修改配置文件 使用 multiline 插件 ...
- logstash input jdbc连接数据库
示例 以下配置能够实现从 SQL Server 数据库中查询数据,并增量式的把数据库记录导入到 ES 中. 1. 查询的 SQL 语句在 statement_filepath => " ...
- elasticsearch安装与使用(6)-- Logstash安装与配置
由于elasticsearch的search guard 不支持 elasticsearch的jdbc,所以如果安装了search guard认证插件之后,基本上jdbc就废了,所以我们需要用到log ...
- CentOS6.5安装elasticsearch+logstash+kibana
首先卸载低版本的java环境,然后安装 java环境和Apache服务 yum install -y java--openjdk httpd 安装ES环境 elasticsearch wget htt ...
- logstash安装及基础入门
Logstash是一款开源的数据收集引擎,具备实时管道处理能力.简单来说,logstash作为数据源与数据存储分析工具之间的桥梁,结合 ElasticSearch以及Kibana,能够极大方便数据的处 ...
- Logstash详解之——input模块
原文地址 Logstash由三个组件构造成,分别是input.filter以及output.我们可以吧Logstash三个组件的工作流理解为:input收集数据,filter处理数据,output输出 ...
- 第三篇:Logstash 安装配置
Logstash 简介: Logstash 是一个实时数据收集引擎,可收集各类型数据并对其进行分析,过滤和归纳.按照自己条件分析过滤出符合数据导入到可视化界面.Logstash 建议使用java1.8 ...
- ElasticStack之Logstash安装
服务器环境 操作系统 Host:port node 1 CentOS 7.2.1511 11.1.11.127:9200 node1 2 CentOS 7.2.1511 11.1.11.128:920 ...
随机推荐
- JS中的计时器事件
JS可以实现很多java代码不易完成的功能.这里学习一些js中的计时器事件. JavaScript 一个设定的时间间隔之后来执行代码,称之为计时事件. 主要通过两个方法来实现: 1.setInterv ...
- python.csv 按行按列读取
参考:https://blog.csdn.net/ly_ysys629/article/details/55107237 # header=0,表示文件第0行为列索引 # index_col=0,表示 ...
- Python写出LSTM-RNN的代码
0. 前言 本文翻译自博客: iamtrask.github.io ,这次翻译已经获得trask本人的同意与支持,在此特别感谢trask.本文属于作者一边学习一边翻译的作品,所以在用词.理论方面难免会 ...
- Unix传奇
转自 http://coolshell.cn/articles/2322.html 了解过去,我们才能知其然,更知所以然.总结过去,我们才会知道我们明天该如何去规划,该如何去走.在时间的滚轮中,许许多 ...
- 从MS Word到Windows Live Writer
在做笔记的时候,喜欢使用Word进行排版及插入图片,但是当将笔记发布的时候,一般的网站是不支持直接将Word中的图片进行上传的,此时使用Windows Live Writer是一个不错的选择. 可是, ...
- QT中的线程与事件循环理解(2)
1. Qt多线程与Qobject的关系 每一个 Qt 应用程序至少有一个事件循环,就是调用了QCoreApplication::exec()的那个事件循环.不过,QThread也可以开启事件循环.只不 ...
- HDU2159_二维完全背包问题
HDU2159_二维完全背包问题 输入有:经验,忍耐度,怪物种数,限制杀怪数 每一种怪物对应获得的经验值和消耗的耐久值 输出:剩下的最大忍耐度 限制:忍耐度,杀怪个数 在这里把忍耐度看成背包的容量,杀 ...
- 学习stm32 让我们一起回顾一下C语言吧
ODR 是一个端口输出数据寄存器,也只用了低 16 位.该寄存器为可读写,从该寄存器读出来的数据可以用于判断当前 IO 口的输出状态.而向该寄存器写数据,则可以控制某个 IO 口的输出电平.该寄存器的 ...
- bzoj网络流
近期看了一些bzoj的网络流,深感智商不够.不过对于网络流又有了进一步的理解. 还是mark一下吧. 献上几篇论文:1)<最小割模型在信息学竞赛中的应用> 2)<浅析一类最小割问题& ...
- hdu4742
题意:给定3维的n(<=100000)个点,求最长不下降子序列长度(对于1和2两个点,2可以放在1后面,x1<=x2,y1<=y2,z1<=z2 ),并求出有多少种方案. 思路 ...