0. 安装.启动 安装 curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh 更新:最近貌似会安装最新版本2.3.2安装会有问题,可以手动下载td-agent-2.2.1-0.el6.x86_64.rpm,手动安装 启动 /opt/td-agent/embedded/bin/ruby /usr/sbin/td-agent --log /var/log/td-agent/td-agent.log…

Fluentd是一个日志收集系统,它的特点在于其各部分均是可定制化的,你可以通过简单的配置,将日志收集到不同的地方. 目前开源社区已经贡献了下面一些存储插件:MongoDB, Redis, CouchDB,Amazon S3, Amazon SQS, Scribe, 0MQ, AMQP, Delayed, Growl 等等. 本文要介绍的是在Fluentd的最新版中已经内置的MongoDB支持.主要通过一个收集Apache日志的例子来说明其使用方法: 机制图解 安装 为了完成相关的测试,需要安装…

转载自http://blog.csdn.net/qq_27252133/article/details/53520416 原文https://blog.laisky.com/p/fluentd/ 最近为了做一些数据分析,把我自己服务器上所有应用的日志都通过 fluentd 转存到 mongodb 了,第一次用 fluentd,记录一些笔记. 因为是初学,绝大部分内容来源于官方文档2,等实际线上使用一段时间后再来更新一些心得. 一.Install fluent 比较烦的一点是,从 gem 安装和从…

转载自:https://mp.weixin.qq.com/s?__biz=MzU4MjQ0MTU4Ng==&mid=2247499829&idx=1&sn=1f92daa88df5125f146d8a4cf802f690&chksm=fdbacf28cacd463ea3ca822e9a97c724a97d3782d5264e05648fbf2982c7de444a67207b838c&scene=178&cur_album_id=18370187715514…

转载自:https://mp.weixin.qq.com/s?__biz=MzU4MjQ0MTU4Ng==&mid=2247491814&idx=1&sn=3b0f1a3477a79b60b79456958574127f&chksm=fdbaeffbcacd66ede96069fa77ed87f1ba4c94a1db957aa32bff6b5972cf37a9480d6167f6e9&scene=178&cur_album_id=18370187715514…

我们在做日志处理时,往往会从多个源服务器收集日志,然后在一个(或一组)中心服务器做日志聚合分析. 源服务器上的日志可能属于同一应用类型,也可能属于不同应用类型.我们可能需要在聚合服务器上对这些不同类型的日志分类处理,一个实现方法就是在Fluentd内部重新给这些日志打tag,然后重新路由到合适的output插件进行输出. rewrite_tag_filter就是一个提供这种给日志重新打tag的插件.需要说明的是,从其命名来看,rewrite_tag_filter是一个filter,而实际上它是一…

stdout即标准输出,out_stdout将收到的日志事件打印到标准输出. 如果Fluentd以daemon方式在后台运行,out_stdout会将事件输出到Fluentd的运行日志中. 这个插件在调试时非常有用. 通常,我们在使用其他输出插件时,如果在目的接收端收不到日志,或收到的日志数据不准确,可以先将日志输出到stdout进行查看. out_stdout内置于Fluentd,无需单独安装. 示例配置 <match pattern> @type stdout </match>…

in_tail输入插件内置于Fluentd中,无需安装. 它允许fluentd从文本文件尾部读取日志事件,其行为类似linux的tail -F命令(按文件名来tail). 这几乎是最常用的一个输入插件了. 示例配置 <source> @type tail path /var/log/httpd-access.log pos_file /var/log/td-agent/httpd-access.log.pos tag apache.access <parse> @type apac…

out_forward是一个带缓存的输出插件,用于向其他节点转发日志事件,并支持转发节点之间的负载均衡和自动故障切换. out_forward支持至多一次和至少一次传输模式,默认为至多一次. out_forward内置于Fluentd,无需安装. 1.示例配置 <match pattern> @type forward send_timeout 60s recover_wait 10s hard_timeout 60s <server> name myserver1 host 19…

介绍如何使用Fluentd的多worker模式处理高访问量的日志事件.此模式会运行多个worker进程以最大利用多核CPU. 原理 默认情况下,一个Fluentd实例会运行一个监控进程和一个工作进程.工作进程包含了Input/Filter/Output各类插件. 多worker模式就是一个实例中启动了多个工作进程,这些工作进程负责处理日志事件,接受监控进程的管理和调度.如下图所示: Fluentd提供了一些特性以支持多worker模式,我们通过配置就能方便地使用这些特性. 配置 2.1 work…