第二篇:Filebeat 安装配置
Filebeat 简介:Filebeat 是一款轻量型日志收集工具,可转发汇总日志、文件等内容。
其主要特点为:1. 断点续传。(如遇日志转发过程中网络中断,会在恢复后从断开的点继续转发)
2. 自适应转发速率。(当logstash 处理内容满载时会通知filebeat 转发率减少,当logstash 处于轻松状态,Filebeat则加大转发)
一、 安装Filebeat:
1. 登陆cpy01.dev.xjh.com(需要下载其他版本请点击:https://www.elastic.co/cn/downloads/beats/filebeat )
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.1-linux-x86_64.tar.gz -O /opt/filebeat-5.6.1.tar.gz
tar xf filebeat-5.6.1.tar.gz -C /usr/local/
mv /usr/local/filebeat-5.6.1-linux-x86_64 /usr/local/filebeat-5.6.1
2. 将/usr/local/filebeat-5.6.1 整个目录拷贝到cpy02.dev.xjh.com和cpy03.dev.xjh.com服务器的/usr/local/目录下
scp -r /usr/local/filebeat-5.6.1 root@cpy02.dev.xjh.com:/usr/local/
scp -r /usr/local/filebeat-5.6.1 root@cpy03.dev.xjh.com:/usr/local/
二、Filebeat配置文件说明:
Filebeat 作为输出工具,可向多种收集工具发送内容,如:logstash(本实验采用直接输出至logstash)、Elasticsearch、kafka、rabbitmq、redis等......
filebeat.yml 简述:
yml 文件以键值对形式存在,均已相同缩进代表相同级别,列表由'-' 表示,配置文件采用折叠式命名规范,如:
filebeat:
prospectors:
- input_type : log
paths:
- /var/log/message.log
- /usr/local/logs/business.log
意思是:捕获 filebeat.prospectors.0.input+type: log.0./var/log/message.log
和filebeat.prospectors.0.input+type: log.1./usr/local/logs/business.log 两个日志文件
一般折叠式写成:
filebeat.prospectors:
- input_type : log
paths: ["/var/log/message.log","/usr/local/logs/business.log"]
filebeat.prospectors: #filebeat 命名规范,表示捕获文件开始
- input_type : log #表示捕获数据类型为log
paths: ["/var/log/message.log","/usr/local/logs/business.log"] #表示日志文件路径
三、配置Filebeat
1. 配置输出至logstash
#=========================== Filebeat prospectors =============================
#=========================== 定义捕获的日志文件 ============================= filebeat.prospectors:
- input_type: log
paths: ["/usr/local/apache-tomcat-7.0.57/logs/*"] - input_type: stdin
#======================== Filebeat Global =====================================
#======================== Filebeat 全局配置 ===================================
filebeat.config_dir:/usr/local/filebeat-5.6.1 #定义filebeat 配置文件目录路径 #========================= Filebeat Config prospectors=========================
#========================= 配置重新加载配置文件 =========================
filebeat.config.prospectors:
path : configs/filebeat.yml
reload.enabled : true
reload.period : 10s #------------------------- Logstash Output ------------------------------------
#------------------------- 配置输出到logstash --------------------------------- output.logstash:
hosts: ["cpy04.dev.xjh.com:5044"] #该列表如果为多个,则采用负载均衡模式发送到列表中的logstash服务器
2. 配置输出至 kafka
#----------------------------- Kafka output --------------------------------
output.kafka:
hosts: ["kafka01.dev.xjh.com:9092"]
topic: "topicname"
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip
max_message_bytes: 1000000
3. 配置输出至 elasticsearch
#----------------------------- Elasticsearch output --------------------------------
output.elasticsearch:
hosts:["http://elastic.dev.xjh.com:9200"]
username: "elasticsearch-username"
password: "elasticsearch-password"
template.enabled:true
template.path:"filebeat.template.json"
template.overwrite:false
index:"index-name"
ssl.certificate_authorities:["/etc/pki/root/ca.pem"]
ssl.certificate:"/etc/pki/client/cert.pem"
ssl.key:"/etc/pki/client/cert.key"
4. 配置输出至 redis
#----------------------------- Elasticsearch output --------------------------------
output.redis:
hosts: ["redis.dev.xjh.com"]
password: "redis-password"
key: "filebeatkeysname"
db: 0
timeout: 10
5. 配置输出至 console
#-------------------------- Console output ------------------------------
output.console:
pretty: true
四、检测配置文件是否有效(如无效,大多为缩进引起):
sudo /usr/local/filebeat-5.6.1/filebeat -configtest /usr/local/filebeat-5.6.1/filebeat.yml
五、 启动Filebeat服务:
sudo /usr/local/filebeat-5.6.1/filebeat -c /usr/local/filebeat-5.6.1/filebeat.yml 2>&1 &
第二篇:Filebeat 安装配置的更多相关文章
- ELK 架构之 Logstash 和 Filebeat 安装配置
上一篇:ELK 架构之 Elasticsearch 和 Kibana 安装配置 阅读目录: 1. 环境准备 2. 安装 Logstash 3. 配置 Logstash 4. Logstash 采集的日 ...
- ELK 架构之 Elasticsearch、Kibana、Logstash 和 Filebeat 安装配置汇总(6.2.4 版本)
相关文章: ELK 架构之 Elasticsearch 和 Kibana 安装配置 ELK 架构之 Logstash 和 Filebeat 安装配置 ELK 架构之 Logstash 和 Filebe ...
- 使用wepy开发微信小程序商城第二篇:路由配置和页面结构
使用wepy开发微信小程序商城 第二篇:路由配置和页面结构 前言: 最近公司在做一个微信小程序的项目,用的是类似于vue的wepy框架.我也借此机会学习和实践一下. 小程序官方文档:https://d ...
- ZooKeeper学习第二期--ZooKeeper安装配置
一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境:■ 伪集群模式:就是在一台物 ...
- FileBeat安装配置
在ELK中因为logstash是在jvm上跑的,资源消耗比较大,对机器的要求比较高.而Filebeat是一个轻量级的logstash-forwarder,在服务器上安装后,Filebeat可以监控日志 ...
- 【转载】ZooKeeper学习第二期--ZooKeeper安装配置
原文地址(https://www.cnblogs.com/sunddenly/p/4018459.html) 一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及 ...
- ZooKeeper学习第二期--ZooKeeper安装配置(转)
转载来源:https://www.cnblogs.com/sunddenly/p/4018459.html 一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪 ...
- 我的第二篇--nginx安装问题之路径问题
这几天还是一直在搭建nginx,并且要在nginx的基础之上配置naxsi(WAF防火墙)并使它生效,但是随之而来的问题也会有很多,也许因为我是个新手,所以遇到的问题要多,不解的问题也要很多,不知道又 ...
- Flume篇---Flume安装配置与相关使用
一.前述 Copy过来一段介绍Apache Flume 是一个从可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务,或者数集中机制.flume具有高可用, ...
随机推荐
- 【bzoj1485:】【 [HNOI2009]有趣的数列】模任意数的卡特兰数
(上不了p站我要死了,侵权度娘背锅) Description 我们称一个长度为2n的数列是有趣的,当且仅当该数列满足以下三个条件: (1)它是从1到2n共2n个整数的一个排列{ai}: (2)所有的奇 ...
- IntelliJ IDEA插件-翻译插件
说明:这个翻译插件应该是最好的了. 官网:https://github.com/YiiGuxing/TranslationPlugin 但是这个有个缺点就是使用收费的API,基于有道,截止今天使用的是 ...
- MySQL四种类型日志:Error Log、General Query Log、Binary Log、Slow Query Log
MySQL Server 有四种类型的日志——Error Log.General Query Log.Binary Log 和 Slow Query Log. 第一个是错误日志,记录mysqld的一些 ...
- Linux性能监控工具收集(转)
一.基于命令行的性能监控工具 1.dstat - 多类型资源统计工具 该命令整合了vmstat,iostat和ifstat三种命令.同时增加了新的特性和功能可以让你能及时看到各种的资源使用情况,从而能 ...
- XCode下的iOS单元测试
XCode 内置了 OCUnit 单元测试框架,但目前最好用的测试框架应该是 GHUnit.通过 GHUnit + OCMock 组合,我们可以在 iOS 下进行较强大的单元测试功能.本文将演示如何在 ...
- Java反射学习总结五(Annotation(注解)-基础篇)
Annotation(注解)简单介绍: 注解大家印象最深刻的可能就是JUnit做单元測试,和各种框架里的使用了. 本文主要简介一下注解的用法,下篇文章再深入的研究. annotation并不直接影响代 ...
- [转载]Install Opera 12.16 Web Browser in CentOS/RHEL and Fedora
FROM: http://tecadmin.net/install-opera-web-browser-in-centos-rhel-fedora/ Opera is an modern web br ...
- [Algorithms] Divide and Recurse Over an Array with Merge Sort in JavaScript
Merge sort is a recursive sorting algorithm. If you don't understand recursion, I recommend finding ...
- Java基础学习过程
转载:http://blog.csdn.net/scythe666/article/details/51699954JVM 1. 内存模型( 内存分为几部分? 堆溢出.栈溢出原因及实例?线上如何排查? ...
- mother's day.py 母亲节
今天母亲节,写了个程序.抓取一个站点的母亲节祝福短信.实现自己主动翻页, 道友们也能够甲乙改造.比方加上节日简洁,time()模块. . . 一起分享吧 # -*- coding: cp936 -*- ...