logstash的安装和简单使用
logstash的安装和简单使用
一、安装
1、下载并解压
# 下载,不同的操作系统下载不同的包
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.12.0-darwin-x86_64.tar.gz
# 解压
tar -zxvf logstash-7.12.0-darwin-x86_64.tar.gz
# 重命名
mv logstash-7.12.0 logstash
2、logstash 一些命令行参数
1、查看帮助信息
cd logstash
bin/logstash -h
2、加载指定pipeline文件路径
bin/logstash -f 文件路径
注意️:
-f
后面跟的文件路径可以是一个文件的路径,也可以是一个文件夹的路径,如果是文件夹的路径,则会加载该文件夹下的文件,组成一个大的 pipeline 文件。
3、检测配置文件语法是否有错误
bin/logstash -t
4、热加载pipeline配置文件
bin/logstash -r
5、指定绑定的主机和启动的端口
bin/logstash --http.host 127.0.0.1 --http.port 9210
注意️:
更多配置项参考 bin/logstash -h
的输出。
3、修改logstash的配置文件
1、修改jvm的配置
vim config/jvm.options
修改 -Xms 和 -Xmx 等其余参数的值。
2、修改logstash.yml配置
vim config/logstash.yml
# 设置节点的名字
node.name: logstash-01
# 设置 pipeline 的id
pipeline.id: main
pipeline.ordered: auto
# 设置pipeline 的线程数(filter+output),默认是cpu的核数
# pipeline.workers: 2
# 设置main pipeline文件所在的位置
# path.config:
# 自动重新加载pipeline配置文件
config.reload.automatic: true
# 设置http api 绑定的ip和端口
http.host: 127.0.0.1
http.port: 9201
# 设置logstash队列的类型 为持久化,默认是 memory
queue.type: persisted
4、编写一个pipeline文件
实现功能,接口从控制台输入的数据然后输出到控制台上。
文件名: pipeline.conf/demo-std.conf
# 输入, stdin 表示标准输入
input {
stdin {
codec => plain {
charset => "UTF-8"
}
# type 的值随便给,就一个标识,后期方便查询
type => "console input"
# 添加一个 tag
tags => ["console"]
}
}
# 数据过滤
filter {
}
# 输出 stdout 表示输出
output {
stdout {
codec => rubydebug {
}
}
}
5、启动logstash
启动的时候,直接某个pipeline文件
# -f 指定 pipeline 文件的路径
bin/logstash -f pipeline.conf/demo-std.conf
6、查看运行结果
二、pipeline的组成
由上图可知,一个pipeline有三个元素组成input
、filter
和output
。其中 input
和output
是必须的。filter
是可选的。
input
:指定了从那个地方抓取数据,比如:文件(file)、beats、tcp等等。
filter
:是我们可以修改input的数据,比如增加字段、重命名字段、修改字段类型等等。
output
:决定了我们处理好的数据输出到哪里,比如:es、file、等等。
三、参考链接
1、logstash下载地址
2、logstash的目录结构
3、logstash.yml配置文件的参数
4、logstash命令行参数
logstash的安装和简单使用的更多相关文章
- (转)python requests的安装与简单运用
requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib ...
- MongoDB在Windows下安装、Shell客户端的使用、Bson扩充的数据类型、MongoVUE可视化工具安装和简单使用、Robomongo可视化工具(2)
一.Windows 下载安装 1.去http://www.mongodb.org/downloads下载,mongodb默认安装在C:\Program Files\MongoDB目录下,到F:\Off ...
- python requests的安装与简单运用
requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib ...
- memcache的windows下的安装和简单使用
原文:memcache的windows下的安装和简单使用 memcache是为了解决网站访问量大,数据库压力倍增的解决方案之一,由于其简单实用,很多站点现在都在使用memcache,但是memcach ...
- 【RabbitMQ】RabbitMQ在Windows的安装和简单的使用
版本说明 使用当前版本:3.5.4 安装与启动 在官网上下载其Server二进制安装包,在Windows上的安装时简单的,与一般软件没什么区别. 安装前会提示你,还需要安装Erlang,并打开下载页面 ...
- Thrift的安装和简单演示样例
本文仅仅是简单的解说Thrift开源框架的安装和简单使用演示样例.对于具体的解说,后面在进行阐述. Thrift简述 ...
- libmemcached安装及简单例子
libmemcached安装及简单例子 1.下载安装libmemcached $ wget http://launchpad.net/libmemcached/1.0/0.44/+download/ ...
- [hadoop系列]Pig的安装和简单演示样例
inkfish原创,请勿商业性质转载,转载请注明来源(http://blog.csdn.net/inkfish ).(来源:http://blog.csdn.net/inkfish) Pig是Yaho ...
- Redis 安装与简单示例
Redis 安装与简单示例 一.Redis的安装 Redis下载地址如下:https://github.com/dmajkic/redis/downloads 解压后根据自己机器的实际情况选择32位或 ...
随机推荐
- 通过url把第一个页面的数据传到第二页面
第一个页面: function GetQueryString(name) { var reg = new RegExp("(^|&)"+ name +"=([^& ...
- Redis核心原理与实践--列表实现原理之ziplist
列表类型可以存储一组按插入顺序排序的字符串,它非常灵活,支持在两端插入.弹出数据,可以充当栈和队列的角色. > LPUSH fruit apple (integer) 1 > RPUSH ...
- 学习Tomcat(三)之容器连接器
Tomcat最底层使用的是Java标准的SocketServer和Socket接受和处理请求,但是Socket接受到的数据是网络运输层的TCP或UDP协议的数据,需要转为Http或者其它应用层协议的数 ...
- 简单操作:10分钟实现在kubernetes(k8s)里面部署服务器集群并访问项目(docker三)
前言 经过docker安装.k8s开启并登录,我们终于到 "部署k8s服务器集群并访问项目" 这一步了,实现的过程中有太多坑,好在都填平了,普天同庆. 在进行当前课题之前,我们需要 ...
- 驱动IO模型-select
新人学习,欢迎指正 部分select.c代码 应用层 select(maxfd+1,&rfds,NULL,NULL,NULL); -------------------(系统调用)------ ...
- Math.round真的是四舍五入吗?我不这么认为
public static long round(double a) 返回最接近参数的 long.结果将舍入为整数:加上 1/2,对结果调用 floor 并将所得结果强制转换为 long 类型.换句话 ...
- Windows 11抢先体验
SHA1值: 3B6DA9194BA303AC7DBBF2E521716C809500919C 谷歌云:https://drive.google.com/file/d/1sH0cBI9hwh8EdlV ...
- Centos8.X 搭建Prometheus+node_exporter+Grafana实时监控平台
Prometheus Promtheus是一个时间序列数据库,其采集的数据会以文件的形式存储在本地中,因此项目目录下需要一个data目录,需要我们自己创建,下面会讲到 下载 下载好的.tar.gz包放 ...
- python学习笔记(五)-文件操作2
一.文件修改 现有文件file.txt,内容如下:二十四节气歌春雨惊春清谷天,夏满芒夏暑相连.秋处露秋寒霜降,冬雪雪冬小大寒.上半年逢六廿一,下半年逢八廿三.每月两节日期定,最多相差一二天.要求:将文 ...
- PHP统计当前网站的访问人数,访问信息,被多少次访问。
<?php header('Content-type:text/html;charset=utf-8'); //统计流量(人数,访问次数,用户IP) //假设用户访问,得到IP地址 $remo ...