前期博客

Logstash安装和设置（图文详解）（多节点的ELK集群安装在一个节点就好）

　　Filebeat啊，根据input来监控数据，根据output来使用数据！！！

　请移步，

Filebeat之input和output（包含Elasticsearch Output 、Logstash Output、 Redis Output、 File Output和 Console Output）

　　Logstash啊，根据input来监控数据，根据output来使用数据！！！

手把手带你看官方文档（Logstash inputs和Logstash outputs）

https://www.elastic.co/guide/index.html

https://www.elastic.co/guide/en/logstash/index.html

https://www.elastic.co/guide/en/logstash/2.4/index.html

　　

　　关于 Logstash inputs、Logstash outputs和Filter plugins，很多很多，自行去官网看，我这里不多赘述。仅仅拿下面来示范：

Logstash 的input

file input

　　最常用的input插件是file。

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-file.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 164

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim file_stdout.conf

　　这个，是可以自定义的。我这里是

　　path => "/home/hadoop/app.log"
或者
　　path => [ "/home/hadoop/app", "/home/hadoop/*.log" ]

input {

    file {

        path => "/home/hadoop/app.log"

    }

}

filter {

}

output {

    stdout {}

}

　　我这里是， 监控/home/hadoop/app.log这个文件的变化。

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ bin/logstash -f file_stdout.conf

Settings: Default pipeline workers: 1

Pipeline main started

　　重新打开，另外一个HadoopMaster界面。

[hadoop@HadoopMaster ~]$ pwd

/home/hadoop

[hadoop@HadoopMaster ~]$ ll

total 48

drwxrwxr-x. 12 hadoop hadoop 4096 Mar 27 03:59 app

-rw-rw-r--.  1 hadoop hadoop   18 Mar 26 19:59 app.log

drwxrwxr-x.  7 hadoop hadoop 4096 Mar 25 06:34 data

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Desktop

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Documents

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Downloads

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Music

drwxr-xr-x.  2 hadoop hadoop 4096 Mar 26 20:35 mybeat

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Pictures

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Public

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Templates

drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Videos

[hadoop@HadoopMaster ~]$ echo bbbbbbb >> app.log

[hadoop@HadoopMaster ~]$ 

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ bin/logstash -f file_stdout.conf

Settings: Default pipeline workers: 1

Pipeline main started

2017-03-26T22:24:35.897Z HadoopMaster bbbbbbb

　　其实，这个文件，.sincedb_8f3299d0a5bdb7df6154f681fc150341也会记录。

 注意：

第一次读取新文件，不会有.sincedb等这些，默认根据这个start_position去读，若start_position是end,则读最后。若start_position是begin，则读最开始。

若不是第一次读取文件了，重启Logstash，则会有.sincedb文件了，则就转去根据这个.sincedb文件读了。不管start_position是什么，都不起效了。

　　start_position：指定从什么位置开始读取文件数据，默认是结束位置，也可以指定为从头开始。
　　注意：start_position仅在该文件从未被监听过的时候起作用，因为logstash在读取文件的时候会记录一个.sincedb文件来跟踪文件的读取位置，当文件被读取过一次之后，下次就会从.sincedb中记录的位置读取，start_position参数就无效了。文件默认在用户目录下。

　　注意一个坑：ignore_older属性，表示忽略老的数据，值默认为86400，表示忽略24小时以前的数据。如果你新监控一个24小时以上没有被修改过的老文件的话，就算把start_position设置为beginning，也无法获取之前的数据。

redis input

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-redis.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 168

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim redis_stdout.conf 

input {

    redis {

        host => "192.168.80.12"

    port => 6379

    data_type => "list"

    key => "filebeat"

    }

}

filter {

}

output {

    stdout {}

}

　　这里，用到redis，不会用的博友，请移步

redis的安装（图文详解）

　　

　　这里，等我安装好了之后，再来。

Logstash 的output

redis output

https://www.elastic.co/guide/en/logstash/2.4/plugins-outputs-redis.html

[hadoop@HadoopMaster logstash-2.4.1]$ pwd

/home/hadoop/app/logstash-2.4.1

[hadoop@HadoopMaster logstash-2.4.1]$ ll

total 172

drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin

-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md

-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS

-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf

-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile

-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib

-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE

-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf

-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT

-rw-rw-r--. 1 hadoop hadoop    155 Mar 27 06:43 redis_stdout.conf

drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor

[hadoop@HadoopMaster logstash-2.4.1]$ vim stdin_es.conf

elasticsearch output

　　即把Logstash里的数据，写到elasticsearch 集群（这台192.168.80.10里）

　　hosts=>"192.168.80.00"

或

　　hosts=>["192.168.80.10:9200","192.168.80.11:9200","192.168.80.12:9200"]

　　1.x中属性名称叫host
　　默认向es中创建的索引库是logstash-%{+YYYY.MM.dd}，可以利用es中的索引模板特性定义索引库的一些基础配置。

input {

    stdin { }

}

filter {

}

output {

    elasticsearch {

    hosts => "192.168.80.10:9200"

    }

}

继续

Filter plugins

继续

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins的更多相关文章

  1. php版redis插件,SSDB数据库,增强型的Redis管理api实例

    php版redis插件,SSDB数据库,增强型的Redis管理api实例 SSDB是一套基于LevelDB存储引擎的非关系型数据库(NOSQL),可用于取代Redis,更适合海量数据的存储.另外,ro ...

  2. 解决logstash.outputs.elasticsearch[main] Could not index event to Elasticsearch status 404

    现象:lostack启动正常,logstack收集输入redis数据,输出到elasticsearch写入失败 提示:去建索引 的时候elasticsearch返回404 [2019-11-12T11 ...

  3. Logstash学习之路（五）使用Logstash抽取mysql数据到kakfa

    一.Logstash对接kafka测通 说明: 由于我这里kafka是伪分布式,且kafka在伪分布式下,已经集成了zookeeper. 1.先将zk启动,如果是在伪分布式下,kafka已经集成了zk ...

  4. [logstash.outputs.elasticsearch] retrying failed action with response code: 403

    0x00 Event [2019-09-24T19:22:31,655][INFO ][logstash.outputs.elasticsearch] retrying failed action w ...

  5. 在logstash中启动X-Pack Management功能后配置logstash的情况说明

    开启X-Pack Management功能后,启动logstsh的时候就不用再配置logstash.conf文件了,启动的时候也不用再使用-f指定这个文件进行启动了 一旦启动了logstash的集中管 ...

  6. NoSQL初探之人人都爱Redis：（3）使用Redis作为消息队列服务场景应用案例

    一.消息队列场景简介 “消息”是在两台计算机间传送的数据单位.消息可以非常简单,例如只包含文本字符串:也可以更复杂,可能包含嵌入对象.消息被发送到队列中,“消息队列”是在消息的传输过程中保存消息的容器 ...

  7. 分布式缓存技术redis学习系列（三）——redis高级应用（主从、事务与锁、持久化）

    上文<详细讲解redis数据结构(内存模型)以及常用命令>介绍了redis的数据类型以及常用命令,本文我们来学习下redis的一些高级特性. 安全性设置 设置客户端操作秘密 redis安装 ...

  8. 【转】NoSQL初探之人人都爱Redis：（3）使用Redis作为消息队列服务场景应用案例

    一.消息队列场景简介 “消息”是在两台计算机间传送的数据单位.消息可以非常简单,例如只包含文本字符串:也可以更复杂,可能包含嵌入对象.消息被发送到队列中,“消息队列”是在消息的传输过程中保存消息的容器 ...

  9. ElasticSearch 2 (6) - 插件安装Head、Kopf与Bigdesk

    ElasticSearch 2 (6) - 插件安装Head.Kopf与Bigdesk 摘要 安装Elasticsearch插件Head.Kopf与Bigdesk 版本 elasticsearch版本 ...

随机推荐

  1. ArcGIS api for javascript——查询，然后单击显示信息窗口

    描述 本例展示如何配置查询任务为示例的工作流程: 1.用户单击一个要素来加亮显示. 2.用户再一次单击要素来查看属性信息的 InfoWindow. 本例查询USA州,因此ESRI_StateCityH ...

  2. No enclosing instance of type E is accessible.

    No enclosing instance of type E  is accessible. 静态方法(main)中调用内部类,会出现这样的问题: 学习了:https://www.cnblogs.c ...

  3. Use Uncertainty As a Driver

     Use Uncertainty As a Driver Kevlin Henney ConFRonTEd WiTH TWo opTionS, most people think that the ...

  4. HDU 4462 Scaring the Birds (暴力枚举DFS)

    题目链接:pid=4462">传送门 题意:一个n*n的区域,有m个位置是能够放稻草人的.其余都是玉米.对于每一个位置(x,y)所放稻草人都有个作用范围ri, 即abs(x-i)+ab ...

  5. HDUOJ Let the Balloon Rise 1004

     /* Let the Balloon Rise Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Ja ...

  6. How to search Installed Updates

    Windows本身的控制面板中自带的搜索,无法根据补丁编号进行搜索 可以将补丁信息导出到文本,再用文本编辑器进行查找 https://www.concurrency.com/blog/w/search ...

  7. 圈复杂度(Cyclomatic Complexity)

    圈复杂度(Cyclomatic Complexity)是很常用的一种度量软件代码复杂程度的标准.这里所指的“代码复杂程度”并非软件内在业务逻辑的复杂程度,而是指代码的实现方式的 复杂程度.说起来有点绕 ...

  8. Spring MVC 待学习---新特性

    Spring3.1新特性 一.Spring2.5之前,我们都是通过实现Controller接口或其实现来定义我们的处理器类.   二.Spring2.5引入注解式处理器支持,通过@Controller ...

  9. vue --- axios发post请求后台接收不到参数的三种解决方案

    最近用vue  做项目使用axios 发送post 请求时遇到了前端传数据后端接收不到的情况: 后来仔细对比发现axios传值是这样的: 而 ajax 传值是这样的: 一个 Request Paylo ...

  10. Flutter入门

    1.安装SDK 官网下载其最新可用的安装包并解压. 设置环境变量:在.bash_profile文件中写入export PATH=/Users/malk/Documents/flutter/bin:$P ...