Docker部署ELK之部署filebeat7.6.0（3）

1. filebeat介绍

Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。

Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

工作流程下：

2. Docker部署filebeat

拉取filebeat镜像：

sudo docker pull elastic/filebeat:7.6.0

新建filebeat.yml文件，便于映射

filebeat.inputs:
- type: log
enabled: true
paths:
 - /var/log/*.log
tags: ["filebeat-test"]
tail_files: true  #每次最后一行
multiline.pattern: '^\[' #分割符
multiline.negate: true
multiline.match: after    #最后合并
- type: log
paths:
  - "/var/log/apache2/*"
fields:
 apache: true
fields_under_root: true

setup.kibana.host: "192.168.231.132:5601"
setup.kibana.username: 'elastic'
setup.kibana.password: 'xujingkun'

output.elasticsearch:
hosts: '${ELASTICSEARCH_HOSTS:192.168.231.132:9200}'
username: '${ELASTICSEARCH_USERNAME:elastic}'
password: '${ELASTICSEARCH_PASSWORD:xujingkun}'

输入命令，构建容器

docker run --name filebeat01 -d --network=mynetwork --ip 172.18.0.6 -v $PWD/var/log/:/var/log/ -v $PWD/data/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml elastic/filebeat:7.6.0

容器构建成功后，可以在/var/log/目录下，创建日志文件**.log，写入内容

保存文件后，刷新kibana，可以看到日志已经被采集上来

3. FAQ&遇到的问题

• filebeat全量采集数据问题，通过映射的日志文件，用gedit修改后，会全量采集数据所有的行数据都被写入到es中

  解决方法：

  参考url：https://discuss.elastic.co/t/err-write-broken-pipe/115071/6

  通过echo命令追加日志到文件或者程序log4j写入日志，均可以是增量增加，不是全量，如果通过编辑工具修改，则为全量抓取

  命令：

    sudo echo '"[2020-10-19 09:38:32] hello world!"' >> xujk01.log
  

  
  
  

• kibana显示@timestamp和实际时间差8个小时

  解决方法：

  在kibana端，通过设置@timestamp的格式实现的

  Management-》Index Patterns-》@timestamp->edit