16. 综合使用tail、forward、copy和stdout

通过一个例子进行阶段总结。

本示例使用到如下插件：in_tail, out_copy, out_stdout, out_forward, in_forward。

本示例包含两个节点：

node_forwarder：

使用in_tail收集nginx的access日志，将其输出到stdout，同时通过out_forward转发给节点node_aggregator。

node_aggregator：

使用in_forward接收节点node_forwarder转发的日志，将其输出到stdout。

这种部署方式采用的是官方建议的高可用架构。

这两个节点位于同一服务器上，我们通过给td-agent指定不同的启动参数，来启动两个节点。

1. 部署过程
   
   首先，在服务器上部署nginx，并开启一个简单的http服务器。
   
   nginx日志格式取默认值。
   
   nginx日志文件路径为：/usr/local/openresty/nginx/logs/access.log

然后，在服务器上配置node_forwarder。

配置文件/etc/td-agent/node_forwarder.conf内容如下：

<source>
  @type tail
  path /usr/local/openresty/nginx/logs/access.log
  pos_file /tmp/td-node_forwarder.pos
  tag td.nginx.access
  <parse>
    @type nginx
  </parse>
</source>

<match td.nginx.*>
  @type copy
  <store>
    @type stdout
  </store>
  <store>
    @type forward
    <server>
      host 127.0.0.1
      port 24224
    </server>
    <secondary>
      @type file
      path /tmp/td-node_forwarder-failed.log
    </secondary>
  </store>
</match>

启动node_forwarder：

td-agent -c /etc/td-agent/node_forwarder.conf --daemon /var/run/td-agent/node_forwarder.pid -o /tmp/td-node_forwarder.log

参数说明：

• -c：指定td-agent使用的配置文件
• --daemon：指定pid文件
• -o：指定运行日志文件路径

最后，在服务器上配置node_aggregator。

配置文件/etc/td-agent/node_aggregator.conf内容如下：

<source>
  @type forward
</source>

<match td.nginx.*>
  @type stdout
</match>

启动node_aggregator：

td-agent -c /etc/td-agent/node_aggregator.conf --daemon /var/run/td-agent/node_aggregator.pid -o /tmp/td-node_aggregator.log

1. 测试过程
   
   接下来，我们使用curl访问nginx：

curl http://127.0.0.1:8090/

得到如下日志：

127.0.0.1 - - [23/May/2020:18:43:09 +0800] "GET / HTTP/1.1" 200 558 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.27.1 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"

然后分别查看这两个Fluentd节点的运行日志。

node_forwarder日志输出如下：

2020-05-23 18:43:09.000000000 +0800 td.nginx.access: {"remote":"127.0.0.1","host":"-","user":"-","method":"GET","path":"/","code":"200","size":"558","referer":"-","agent":"curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.27.1 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"}

node_aggregator日志输出如下：

2020-05-23 18:43:09.000000000 +0800 td.nginx.access: {"remote":"127.0.0.1","host":"-","user":"-","method":"GET","path":"/","code":"200","size":"558","referer":"-","agent":"curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.27.1 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"}

可以看到对nginx的访问被正确记录到了这两个节点中。

1. 结语
   
   通过本次测试示例，我们演示了in_tail、out_copy、out_stdout、out_forward 和 in_forward这几个插件的基本用法。同时也使用到了parser插件用来解析nginx的默认日志。
   
   这里通过组合out_copy和out_stdout给大家提供了一种调试Fluentd配置的思路，即：在将日志发送到目的端的同时，将其写入本地标准输出（或运行日志），以观察当前节点是否正确处理了日志，从而缩小排查疑难的范围。