日志管理——rsyslog
官方文档(必看)
http://www.rsyslog.com/doc/v8-stable/
简介
rsyslog是linux自带日志管理工具,分为客户端\服务端,包含日志收集\过滤\分析\转储.
数据流程
简单应用(local-file --> client --> server --> kafka)
下面是一个例子,客户端从文件读取数据,发送给服务端,再由服务端转储到kafka
- 客户端配置
加载module
module(load="imfile")
module(load="omfwd")
input
input(type="imfile"
File="/ddhome/usr/data/web/logs/wifi-service.log"
Ruleset="test")
ruleset
ruleset(name="test") {
action(type="omfwd"
protocol="udp"
Target="192.168.100.120"
Port="514")
}
udp协议: @
*.* @192.168.100.120:514
- 服务端配置
加载module
module(load="imudp")
module(load="omkafka")
模板配置
日志模板
%timegenerated:1:10:date-rfc3339% : yyyy-mm-dd
%timegenerated:12:19:date-rfc3339% : hh:mm:ss
%fromhost-ip% : source ip
%syslogseverity-text% : log level : info, debug...
%syslogtag% : LinkProof:
2018-02-02 21:07:32 192.168.254.253 info LinkProof: + msg
template(name="log-format"
type="string"
string="%timegenerated:1:10:date-rfc3339% %timegenerated:12:19:date-rfc3339% %fromhost-ip% %syslogseverity-text% %syslogtag% %msg:2:$:drop-cc%\n"
)
文件模板: 按文件来源ip按天分隔文件
template(name="file-format" type="string" string="/var/lib/rsyslog/%fromhost-ip%/%$YEAR%%$MONTH%%$DAY%.log")
ruleset: 多个action
ruleset(name="rule-kafka") {
action (type="omkafka"
template="log-format"
topic="rsyslog_net"
broker=["dde:9092"]
errorFile="/var/log/rsyslog/kafka-error.log"
)
action(type="omfile"
dynaFile="file-format"
template="log-format"
)
}
日志管理——rsyslog的更多相关文章
- 日志管理-rsyslog日志服务器及loganalyzer
一,日志基础 日志:记录时间,地点,任务,事件 格式:日期时间 主机 进程[pid]: 事件内容 rsyslog 特性: 多线程,UDP, TCP, SSL, TLS, RELP,MySQL, PGS ...
- 日志管理 rsyslog服务浅析
http://www.xiaomastack.com/2014/11/13/rsyslog/
- Linux操作系统的日志管理之rsyslog实战案例
Linux操作系统的日志管理之rsyslog实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.日志介绍 1>.什么是日志 历史事件: 时间,地点,人物,事件 日志级 ...
- Centos7.6部署rsyslog+loganalyzer+mysql日志管理服务器
参考来自: the_script :https://yq.aliyun.com/articles/675198 名山.深处:https://www.cnblogs.com/skychenjiajun/ ...
- 第13章 Linux日志管理
1. 日志管理 (1)简介 在CentOS 6.x中日志服务己经由rsyslogd取代了原先的syslogd服务.rsyslogd日志服务更加先进,功能更多.但是不论该服务的使用,还是日志文件的格式其 ...
- 集中日志服务器Rsyslog
http://www.gaizaoren.org/archives/408 基于主机的管理一般需要收集服务器的日志信息用于及时发现错误,处理故障. 搭建linux下的集中日志服务器的程序一般可以用sy ...
- linux 学习 14 日志管理
第十四讲 日志管理 14.1 日志管理-简介 .日志服务 在CentOS .x中日志服务已经由rsyslogd取代了原先的syslogd服务.rsyslogd日志服务更加先进,功能更多.但是不论该服 ...
- Linux_日志管理介绍(一)
一.介绍 1.CentOS 6.x中日志服务已经由rsyslogd取代了原先的syslogd服务,但是rsyslogd是和syslogd服务相兼容的 2.除了系统默认的日志之外,采用RPM方式安装的系 ...
- Linux服务器管理: 日志管理(一)
1.日志管理介绍: a.日志服务:在CentOS6.x中日志服务以及由rsyslogd取代了原有的syslogd服务.rsyslogd日志服务更加先进,功能更多.但是不论该服务的使用,还是日子文件的格 ...
随机推荐
- python 初识
一.Python介绍 Python简介 Python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解 ...
- Android学习——Fragment与Activity通信(一)
学会了在Activity中加载Fragment的方法之后,接下来便需要学习Activity和Fragment之间的通信.这一节先学习如何把Activity中的信息传递给Fragment. 基本过程 在 ...
- mysql_01_游标的使用
一.表的创建 1.直接创建表 DROP TABLE IF EXISTS shops_info; /*EMP产品版本版本信息表*/ CREATE TABLE shops_info ( ID INT PR ...
- javascript Object与Array用法
引用类型:引用类型是一种数据结构,用于将数据和功能组织在一起.引用类型的值是引用类型的一个实例. 一.Object ECMAScript中的对象其实就是一组数据和功能的结合. Object类型其实是所 ...
- Android(java)学习笔记23:finally关键字的作用
1. finally 关键字的作用 package cn.itcast_07; import java.text.ParseException; import java.text.SimpleDate ...
- linux下时间同步的两种方法分享(转)
与一个已知的时间服务器同步 代码如下: ntpdate time.nist.gov 其中 time.nist.gov 是一个时间服务器. 删除本地时间并设置时区为上海 复制代码 代码如下: rm -r ...
- 给于用户Agent权限设置
问题:有一个用户需要有create\alter\drop job人权限.默认是只有sysadmin成员才有这个权限.肯定不能将用户放到这个组 答案:所有JOB都属于msdb库中读取和写入信息.所以,肯 ...
- git bush 代码提交
# git add . # git commit -m"init project" # git push
- js通过codeURL画二维码
一.函数封装 //生成微信二维码 function xyqrcode(options) { var settings = { dom:'', render: 'canvas', //生成二维码的格式还 ...
- JavaScript创建对象的三种方法
在 JavaScript 中我们知道无法通过类来创建对象,那么如何创建对象呢? (1)通过“字面量”方式创建对象 将你的信息写到{ }中,并赋值给一个变量,此时这个变量就是一个对象,例: var ga ...