最近使用filebeat进行日志采集,并通过logstash对日志进行格式化处理. filebeat采集数据后,会给日志增加字段@timestamp,@timestamp是UTC时间,查看日志很不方便. 从网上找到了解决办法[http://blog.51cto.com/11067470/1729872]. 在logstash的filter中增加如下代码,就可以把时间转换成北京所在时区时间. ruby { code => "event.timestamp.time.localtime&quo

来自官网,版本为1.2 下载rpm包并安装 wget -c https://download.elastic.co/beats/filebeat/filebeat-1.2.3-x86_64.rpm rpm -ivh filebeat-1.2.3-x86_64.rpm 配置文件位于/etc/filebeat/ 默认filebeat的日志是to_syslog,就是/var/log/message,而且是error级别以上才打印,最好改一下 vi /etc/filebeat/filebeat.yml(

介绍这篇文章之前,首先回答一个问题,以前都没有时区的概念,程序也写的好好的,为什么要计算时区哪?举个例子,比如有一个订单的时间是:2015-07-04 11:28:19,那么咋一看没什么问题,可是如果这个订单的时间让美国的人看,就没有意义了,因为他们不知道对应美国的时间到底是几点,可能是上午,也可能是下午,所以还需要标注上这是哪个时区的时间,比如:(2015-07-04 11:28:19+08),这个+08就是表明这是东八区的时间,那么无论哪个时区的人看见,对应到自己的时间就ok了. 1.基本概

Lumen 设置 timezone 时区 2015-06-19| wid| 后端开发 今天用 Lumen 框架写代码时, 也是初次体验 Lumen, 遇到了一个问题, 从数据库里查出的时间比数据库里保存的 TIMESTAMP 时间慢了8个小时, 很明显这是一个时区设置的问题, 本以为可以在1分钟内解决的, 但是我错了. 根据 Laravel 4.x 和 5.0 的经验, 只需要到 config/app.php 中设置下 ‘timezone’ 参数为 ‘PRC’ 就好了, 找到 Lumen 的 c

根据 Laravel 4.x 和 5.0 的经验, 只需要到 config/app.php 中设置下 'timezone' 参数为 'PRC' 就好了, 找到 Lumen 的 config 目录, 在 /vendor/laravel/lumen-framework/config 路径下, 但是 config/app.php 的参数选项中没有 timezone 参数选项, 手动加上后也是无效的. 然后想到 Laravel 5 的 .env 文件, 结果发现 Lumen 的 .env 文件里也没有关

配置filebeat使用logstash 重要:要将事件发送到Logstash,还需要创建一个Logstash配置管道,该管道监听传入的Beats连接并将收到的事件编入索引到Elasticsearch. 有关更多信息,请参阅Elastic Stack入门教程中有关configuring Logstash的部分. 另请参阅Beats input和Elasticsearch output 插件的文档. 如果要使用Logstash对Filebeat收集的数据执行额外处理,则需要将Filebeat配置为

Filebeat的配置参考 指定要运行的模块 前提: 在运行Filebeat模块之前,需要安装并配置Elastic堆栈: 安装Ingest Node GeoIP和User Agent插件.这些插件需要捕获示例仪表板中可用的某些可视化所使用的地理位置和浏览器信息.您可以通过在Elasticsearch主路径中运行以下命令来安装这些插件: sudo bin/elasticsearch-plugin install ingest-geoip sudo bin/elasticsearch-plugin

一.安装filebeat 简介 Beats 是安装在服务器上的数据中转代理. Beats 可以将数据直接传输到 Elasticsearch 或传输到 Logstash . Beats 有多种类型,可以根据实际应用需要选择合适的类型. 常用的类型有: Packetbeat:网络数据包分析器,提供有关您的应用程序服务器之间交换的事务的信息. Filebeat:从您的服务器发送日志文件. Metricbeat:是一个服务器监视代理程序,它定期从服务器上运行的操作系统和服务收集指标. Winlogbea

这个镜像现在说起来简单, 带bash(增加执行脚本的兼容性,带GLIBC,中国时区,非root用户可运行crond命令-安全) 但让我开始陷入时,真的让我有段时间有点爆了. 比如,将filebeat文件夹放到alpine镜像里,运行filebeat时,死活出一个/bin/sh, ./filebeat not exist这样的提示. 百折千回之后,联想到之前作oracle JDK时,也是强调要使用glibc库,才深夜在家里测试出这个结果. (但网上没有多少文章强调go程序一定要glibc库) 另外

安装配置好三个软件使之能够正常启动,下面开始测试. 第一步 elasticsearch提供了restful api,这些api会非常便利,为了方便查看,可以使用postman调用接口. 1.查看Elasticsearch服务是否正常 GET http://120.27.110.143:9200 如果服务正常将会返回以下格式数据 { "name": "node-1", # 节点名称 "cluster_name": "es_cluster&

由于Azure 上所有的服务时间都采用了 UTC 时间.UTC 时间比中国时间晚 8 个小时,该如何按照自己的需要来进行修改呢,下面提供2种办法以供参考: 1.修改 /etc/localtime 文件 控制系统时区的文件是 /etc/localtime.只要把这个文件复制成相应时区的文件,系统时区就改成相应的时间了. 时区信息在:/usr/share/zoneinfo 里.比如需要把本机时区改成 Shanghai 的时间: cp /usr/share/zoneinfo/Asia/Shanghai

https://www.howtoing.com/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-16-04 在本教程中,我们将在安装Elasticsearch ELK在Ubuntu 16.04(即,Elasticsearch 2.3.x版本,Logstash 2.3.x版本,并Kibana 4.5.x).我们也将告诉你如何配置它收集和可视化你的系统的系统日志进行集中... 分类:UbuntuUbuntu

在Azure上的Linux虚拟机启动后默认是UTC的时区.对很多应用要记录时间戳非常的不方便. 本文将介绍两种更改Linux时间戳的方法,供大家参考. 1.修改/etc/localtime文件 控制系统时区的文件是/etc/localtime.只要把这个文件复制成相应时区的文件,系统时区就改成相应的时间了. 时区信息在:/usr/share/zoneinfo里.比如需要把本机 时区改成Shanghai的时间: cp /usr/share/zoneinfo/Asia/Shanghai /etc/l

需求:收集 ubuntu 系统日志,发送给 logstash,再由 logstash 把数据传递给 elasticsearch,最后通过 kibana 展示日志数据. Filebeat System Module Filebeat Modules 可以简化常见日志格式的收集.解析和可视化.一个典型的模块(例如,对于 Nginx 日志)由一个或多个日志文件(fileset)组成(对于 Nginx 来说,默认是 access.log 和 error.log).这里我们可以使用 Filebeat 的

对于学习Linux的人来说,最常见的做法就是在WMware Workstation下安装Linux系统.在WMware Workstation可能会有几处导致时间.时区问题. UTC时间导致时间不一致 系统安装完成后,可以通过date命令查看当前服务器的时间.在默认情况下,操作系统的时间是读取的计算机主板B1OS中的时间,而VMware虚拟机能够自动设置BlOS时间为物理机时间,因此在安装后,CentOS的系统时间和物理机Windows中显示的时间是相同的. 需要注意的是,在安装系统时,“系统时

之前有写过elasticsearch集群和elk集群的博客, 都是基于docker的,使用docker-compose进行编排(K8S暂未掌握) 三台服务器搭建es集群:https://www.cnblogs.com/lz0925/p/12011026.html 单机搭建elk集群:https://www.cnblogs.com/lz0925/p/12018209.html 本文较长,上述两个博文中的内容本文都会重新讲解,建议收藏后进行阅读.本文包含了ELK + kafka(zookeeper)

今天用 Lumen 框架写代码时, 也是初次体验 Lumen, 遇到了一个问题, 从数据库里查出的时间比数据库里保存的 TIMESTAMP 时间慢了8个小时, 很明显这是一个时区设置的问题, 本以为可以在1分钟内解决的, 但是我错了. 根据 Laravel 4.x 和 5.0 的经验, 只需要到 config/app.php 中设置下 'timezone' 参数为 'PRC' 就好了, 找到 Lumen 的 config 目录, 在/vendor/laravel/lumen-framework/

ELK+Filebeat收集多台机器不同日志 采坑:在使用了6.0版本的ELK以后,使用如上配置,if [type]匹配不到在filebeat里面使用document_type定义的字符串.在多次调试和询问后,发现在6.0版本以上已经取消了document_type的定义.如果要实现以上的配置只能使用如下配置 Logstash 配置 [root@Kibana ~]# cat /usr/local/logstash/conf.d/beats.conf input { beats { port =>

前提 树莓派系统安装好 apache web 服务器,如未安装,可在树莓派内执行sudo apt-get install apache2 进行安装apache 也可以通过命令获取GPIO信息: gpio --version #查看gpio版本 gpio readall # 查看树莓派所有管脚的基本信息 树莓派针脚说明图如下图: 注: 在GPIO接线或接模块的时候,建议关闭树莓派之后进行操作,避免造成元电子损坏. 参考基于树莓派3B,DHT11/DHT22,LCD1602的一个实时温度湿度检测系统

前言 格林威治时间.世界时.祖鲁时间.GMT.UTC.跨时区.夏令时,这些眼花缭乱的时间术语,我们可能都不陌生,但是真正遇到问题,可能又不那么确定,不得不再去查一查,处理完可能过段时间又忘记.今天,我们彻底来梳理一下它们. 一.GMT 什么是GMT GMT(Greenwich Mean Time), 格林威治平时(也称格林威治时间). 它规定太阳每天经过位于英国伦敦郊区的皇家格林威治天文台的时间为中午12点. GMT的历史 格林威治皇家天文台为了海上霸权的扩张计划,在十七世纪就开始进行天体观测.