前期博客

Logstash安装和设置（图文详解）（多节点的ELK集群安装在一个节点就好）

　　Filebeat啊，根据input来监控数据，根据output来使用数据！！！

　请移步，

Filebeat之input和output（包含Elasticsearch Output 、Logstash Output、 Redis Output、 File Output和 Console Output）

　　Logstash啊，根据input来监控数据，根据output来使用数据！！！

手把手带你看官方文档（Logstash inputs和Logstash outputs）

https://www.elastic.co/guide/index.html

https://www.elastic.co/guide/en/logstash/index.html

https://www.elastic.co/guide/en/logstash/2.4/index.html

　　

　　关于 Logstash inputs、Logstash outputs和Filter plugins，很多很多，自行去官网看，我这里不多赘述。仅仅拿下面来示范：

Logstash 的input

file input

　　最常用的input插件是file。

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-file.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 164

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim file_stdout.conf

　　这个，是可以自定义的。我这里是

　　path => "/home/hadoop/app.log"
或者
　　path => [ "/home/hadoop/app", "/home/hadoop/*.log" ]

input {

    file {

        path => "/home/hadoop/app.log"

    }

}

filter {

}

output {

    stdout {}

}

　　我这里是， 监控/home/hadoop/app.log这个文件的变化。

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ bin/logstash -f file_stdout.conf

Settings: Default pipeline workers: 1

Pipeline main started

　　重新打开，另外一个HadoopMaster界面。

[hadoop@HadoopMaster ~]$ pwd

/home/hadoop

[hadoop@HadoopMaster ~]$ ll

total 48

drwxrwxr-x. 12 hadoop hadoop 4096 Mar 27 03:59 app

-rw-rw-r--.  1 hadoop hadoop   18 Mar 26 19:59 app.log

drwxrwxr-x.  7 hadoop hadoop 4096 Mar 25 06:34 data

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Desktop

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Documents

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Downloads

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Music

drwxr-xr-x.  2 hadoop hadoop 4096 Mar 26 20:35 mybeat

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Pictures

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Public

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Templates

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Videos

[hadoop@HadoopMaster ~]$ echo bbbbbbb >> app.log

[hadoop@HadoopMaster ~]$ 

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ bin/logstash -f file_stdout.conf

Settings: Default pipeline workers: 1

Pipeline main started

2017-03-26T22:24:35.897Z HadoopMaster bbbbbbb

　　其实，这个文件，.sincedb_8f3299d0a5bdb7df6154f681fc150341也会记录。

 注意：

第一次读取新文件，不会有.sincedb等这些，默认根据这个start_position去读，若start_position是end,则读最后。若start_position是begin，则读最开始。

若不是第一次读取文件了，重启Logstash，则会有.sincedb文件了，则就转去根据这个.sincedb文件读了。不管start_position是什么，都不起效了。

　　start_position：指定从什么位置开始读取文件数据，默认是结束位置，也可以指定为从头开始。
　　注意：start_position仅在该文件从未被监听过的时候起作用，因为logstash在读取文件的时候会记录一个.sincedb文件来跟踪文件的读取位置，当文件被读取过一次之后，下次就会从.sincedb中记录的位置读取，start_position参数就无效了。文件默认在用户目录下。

　　注意一个坑：ignore_older属性，表示忽略老的数据，值默认为86400，表示忽略24小时以前的数据。如果你新监控一个24小时以上没有被修改过的老文件的话，就算把start_position设置为beginning，也无法获取之前的数据。

redis input

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-redis.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim redis_stdout.conf 

input {

    redis {

        host => "192.168.80.12"

    port => 6379

    data_type => "list"

    key => "filebeat"

    }

}

filter {

}

output {

    stdout {}

}

　　这里，用到redis，不会用的博友，请移步

redis的安装（图文详解）

　　

　　这里，等我安装好了之后，再来。

Logstash 的output

redis output

https://www.elastic.co/guide/en/logstash/2.4/plugins-outputs-redis.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 172

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

-rw-rw-r--. 1 hadoop hadoop    155 Mar 27 06:43 redis_stdout.conf

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim stdin_es.conf

elasticsearch output

　　即把Logstash里的数据，写到elasticsearch 集群（这台192.168.80.10里）

　　hosts=>"192.168.80.00"

或

　　hosts=>["192.168.80.10:9200","192.168.80.11:9200","192.168.80.12:9200"]

　　1.x中属性名称叫host
　　默认向es中创建的索引库是logstash-%{+YYYY.MM.dd}，可以利用es中的索引模板特性定义索引库的一些基础配置。

input {

    stdin { }

}

filter {

}

output {

    elasticsearch {

    hosts => "192.168.80.10:9200"

    }

}

继续

Filter plugins

继续

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins的更多相关文章

  1. php版redis插件,SSDB数据库,增强型的Redis管理api实例

    php版redis插件,SSDB数据库,增强型的Redis管理api实例 SSDB是一套基于LevelDB存储引擎的非关系型数据库(NOSQL),可用于取代Redis,更适合海量数据的存储.另外,ro ...

  2. 解决logstash.outputs.elasticsearch[main] Could not index event to Elasticsearch status 404

    现象:lostack启动正常,logstack收集输入redis数据,输出到elasticsearch写入失败 提示:去建索引 的时候elasticsearch返回404 [2019-11-12T11 ...

  3. Logstash学习之路（五）使用Logstash抽取mysql数据到kakfa

    一.Logstash对接kafka测通 说明: 由于我这里kafka是伪分布式,且kafka在伪分布式下,已经集成了zookeeper. 1.先将zk启动,如果是在伪分布式下,kafka已经集成了zk ...

  4. [logstash.outputs.elasticsearch] retrying failed action with response code: 403

    0x00 Event [2019-09-24T19:22:31,655][INFO ][logstash.outputs.elasticsearch] retrying failed action w ...

  5. 在logstash中启动X-Pack Management功能后配置logstash的情况说明

    开启X-Pack Management功能后,启动logstsh的时候就不用再配置logstash.conf文件了,启动的时候也不用再使用-f指定这个文件进行启动了 一旦启动了logstash的集中管 ...

  6. NoSQL初探之人人都爱Redis：（3）使用Redis作为消息队列服务场景应用案例

    一.消息队列场景简介 “消息”是在两台计算机间传送的数据单位.消息可以非常简单,例如只包含文本字符串:也可以更复杂,可能包含嵌入对象.消息被发送到队列中,“消息队列”是在消息的传输过程中保存消息的容器 ...

  7. 分布式缓存技术redis学习系列（三）——redis高级应用（主从、事务与锁、持久化）

    上文<详细讲解redis数据结构(内存模型)以及常用命令>介绍了redis的数据类型以及常用命令,本文我们来学习下redis的一些高级特性. 安全性设置 设置客户端操作秘密 redis安装 ...

  8. 【转】NoSQL初探之人人都爱Redis：（3）使用Redis作为消息队列服务场景应用案例

    一.消息队列场景简介 “消息”是在两台计算机间传送的数据单位.消息可以非常简单,例如只包含文本字符串:也可以更复杂,可能包含嵌入对象.消息被发送到队列中,“消息队列”是在消息的传输过程中保存消息的容器 ...

  9. ElasticSearch 2 (6) - 插件安装Head、Kopf与Bigdesk

    ElasticSearch 2 (6) - 插件安装Head.Kopf与Bigdesk 摘要 安装Elasticsearch插件Head.Kopf与Bigdesk 版本 elasticsearch版本 ...

随机推荐

  1. 洛谷 P3419 [POI2005]SAM-Toy Cars

    P3419 [POI2005]SAM-Toy Cars 题目描述 Johnny is a little boy - he is only three years old and enjoys play ...

  2. xml里面product的值在哪里设置的？

    转载请注明出处:http://blog.csdn.net/droyon/article/details/39890469 在进行Android应用程序开发时,善于运用xml中的product配置,能够 ...

  3. TCP/IP具体解释--TCP的分段和IP的分片

    写在前面: 分组能够发生在运输层和网络层.运输层中的TCP会分段,网络层中的IP会分片.IP层的分片很多其它的是为运输层的UDP服务的,因为TCP自己会避免IP的分片,所以使用TCP传输在IP层都不会 ...

  4. 7. java操作MongoDB，采用_id查询

    转自:https://www.2cto.com/database/201704/633262.html mongodb命令行_id查询方法 直接用ObjectId() db.getCollection ...

  5. vue的钩子函数

    1.computed 计算属性 计算属性将被混入到 Vue 实例中.所有 getter 和 setter 的 this 上下文自动地绑定为 Vue 1..aPlus: { get: function ...

  6. 有关error PRJ0003错误的思考

    作者:朱金灿 来源:http://blog.csdn.net/clever101 今天同事遇到两个编译错误: 项目: error PRJ0003 : 生成"rc.exe"时出错. ...

  7. 我比xx强在哪里？弱在哪里？

    向下管理? 向上管理? 自我形象? 人机关系运作? 弱项不在管理方面: 在向上的人际关系处理和机会把握方面.

  8. 一个Web报表项目的性能分析和优化实践(六)：设置MySQL的最大连接数(max_connections)

    在上一篇文章中"一个Web报表项目的性能分析和优化实践(二):MySQL数据库连接不够用(TooManyConnections)问题的一次分析和解决案例"提到,项目中新增几个数据库 ...

  9. VTK的安装配置-使用VS2010

    1.CMake的安装 CMake安装是用来对VTK编译前的配置工作.此博客中使用的是CMake2.8.CMake的下载可到https://cmake.org/站点上进行下载. 2.VTK源代码 VTK ...

  10. 为SSD编程（4）——高级功能和内部并行

    原文 http://codecapsule.com/2014/02/12/coding-for-ssds-part-4-advanced-functionalities-and-internal-pa ...