filebeat相关registry文件内容解析
filebeat的registry文件中存放的是被采集的所有日志的相关信息。
linux中registry中一条日志记录的内容如下
{"source":"/var/log/messages","offset":5912,"FileStateOS":{"inode":38382035,"device":64768},"timestamp":"2017-03-13T18:17:54.39159179+08:00","ttl":-1}
这条记录中的各个字段的意义分别为
source 日志文件完整路径
offset 已经采集的日志的字节数;已经采集到日志的哪个字节位置
filestateos 操作系统相关
inode 日志文件的inode号
device 日志所在磁盘的磁盘编号
timestamp 日志最后一次发生变化的时间戳
ttl 采集失效时间。-1表示只要日志存在,就一直采集该日志
device一列的数字64768有些难理解。这个数字可以通过stat命令得到:
stat /var/log/messages
File: "/var/log/messages"
Size: 3964 Blocks: 8 IO Block: 4096 普通文件
Device: fd00h/64768d Inode: 2228688 Links: 1
Access: (0600/-rw-------) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2017-12-17 03:20:01.177559387 +0800
Modify: 2017-12-22 11:01:19.401186654 +0800
Change: 2017-12-22 11:01:19.401186654 +0800
64768为十进制数,对应十六进制数fd00,对应磁盘为fd,00即253, 0
# ll /dev/dm-0
brw-rw----. 1 root disk 253, 0 8月 17 19:30 /dev/dm-0
# ll /dev/root
lrwxrwxrwx. 1 root root 4 8月 17 19:30 /dev/root -> dm-0
# ll /dev/VolGroup/
总用量 0
lrwxrwxrwx. 1 root root 7 11月 17 10:37 lv_home -> ../dm-2
lrwxrwxrwx. 1 root root 7 8月 17 19:30 lv_root -> ../dm-0
lrwxrwxrwx. 1 root root 7 8月 17 19:30 lv_swap -> ../dm-1
windows中registry内容如下
[{"source":"D:\\zwl\\filebeat\\error.log","offset":92937960,"FileStateOS":{"idxhi":131072,"idxlo":40032,"vol":4070684760},"timestamp":"2017-08-22T11:26:52.887343+08:00","ttl":-1}
source 日志文件完整路径
offset 已经采集的日志的字节数;已经采集到日志的哪个字节位置
filestateos 操作系统相关
idxhi/idxlo/vol On windows the pair of (volume, idxhi, idxlo) uniquely identifies a file.
timestamp 日志最后一次发生变化的时间戳
ttl 采集失效时间。-1表示只要日志存在,就一直采集该日志
filebeat相关registry文件内容解析的更多相关文章
- Filebeat的Registry文件解读
你可能没有注意但很重要的filebeat小知识 Registry文件 Filebeat会将自己处理日志文件的进度信息写入到registry文件中,以保证filebeat在重启之后能够接着处理未处理过的 ...
- JVM系列文章(三):Class文件内容解析
作为一个程序猿,只知道怎么用是远远不够的.起码,你须要知道为什么能够这么用.即我们所谓底层的东西. 那究竟什么是底层呢?我认为这不能一概而论.以我如今的知识水平而言:对于Web开发人员,TCP/IP. ...
- Class文件内容解析
一.概述 任何一个Class文件都对应唯一一个类或接口的定义信息,但是不是所有的类或接口都得定义在文件中(它们也可以通过类加载器直接生成). Class文件是一组以8位字节为基础单位的二进制流,各个数 ...
- PCAP 文件内容解析命令
针对网络接口.端口和协议的数据包截取.假定你要截取网络接口eth1,端口号6881的tcp数据包.数据文件保存为test.pcap. tcpdump -w test.pcap -i eth1 tcp ...
- gradle相关配置内容解析
gradle 项目的构建工具,基于groovy语言.主要用于管理依赖包. as中一般将gradle下载在C:\Documents and Settings<用户名>.gradle\wrap ...
- java swing文件内容检索工具
Java相关技术 - 文件内容检索工具 拿到一个几百M甚至上G的project让你去学习 有时候你会想知道某个关键词是在哪个文件里 比如:spring MVC配置的@RequestMapping,你从 ...
- MFC Wizard创建的空应用程序中各个文件内容的解析
创建的MFC应用程序名为:wd,那么: 一.wd.h解析 // wd.h : main header file for the WD application // #if !defined(AFX_W ...
- 深入学习python解析并读取PDF文件内容的方法
这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...
- 深入学习Python解析并解密PDF文件内容的方法
前面学习了解析PDF文档,并写入文档的知识,那篇文章的名字为深入学习Python解析并读取PDF文件内容的方法. 链接如下:https://www.cnblogs.com/wj-1314/p/9429 ...
随机推荐
- Http协议4个新的http状态码:428、429、431、511;
1.428 Precondition Required (要求先决条件) 先决条件是客户端发送 HTTP 请求时,必须要满足的一些预设条件.一个好的例子就是 If-None-Match 头,经常用在 ...
- 前端开发-Web标准
Web标准 1理解:结构 => html表现 => css行为 => js(dom + es) WEB标准(结构.表现.行为分离)有哪些优点呢? 易于维护:只需更改CSS文件,就可以 ...
- Delphi - 创建text文件并添加数据到文件中
创建文本文件 代码如下: //创建一个文本文件 procedure CreateTextFile(); var AssignFile(TF,'C:\tmp\1.txt'); ReWrite(TF); ...
- JDK8的JVM内存结构,元空间替代永久代成为方法区及常量池的变化
JVM的知识这里总结的很详细:https://github.com/doocs/jvm/blob/master/README.md,因此在本博客也不会再对其中的东西重复总结了. 现在很多文章关于JVM ...
- docker运行原理与使用总结
docker运行原理概述 Client-Server架构 docker守护进程运行在宿主机上systemctl start docker daemon进程通过socket从客户端(docker命令)接 ...
- Angular Material 的设计之美
前言 Angular Material 作为 Angular 的官方组件库,无论是设计交互还是易用性都有着极高的质量.正如官方所说其目的就是构建基于 Angular 和 Typescript 的高质量 ...
- React 路由&脚手架
1.创建react项目 npm install -g create-react-app 全局环境 create-react-app my-app 创建项目 cd my-app 进入项目 npm sta ...
- 使用python发生邮箱
1.在使用邮箱登陆需要在邮箱内开启SMTP服务 2.注意在代码中登陆程序使用的密码为第三方授权登陆码,QQ邮箱为系统提供的授权码 网易邮箱为自己设置的授权码 QQ邮箱模拟 import smtplib ...
- CodeForces 931E Game with String
Game with String 题意:有一个字符串,可以选择从第K位开始,将[K,len(s)-1]的字符都移到前面去,现在给你一个首字母,你可以再选择一位进行观察,然后猜测这个K的值是多少, 现在 ...
- BALNUM - Balanced Numbers(数位dp)
题目链接:http://www.spoj.com/problems/BALNUM/en/ 题意:问你在[A,B]的闭区间内有几个满足要求的数,要求为每个出现的奇数个数为偶数个,每个出现的偶数个数为奇数 ...