官方文档(必看)

http://www.rsyslog.com/doc/v8-stable/

简介

rsyslog是linux自带日志管理工具,分为客户端\服务端,包含日志收集\过滤\分析\转储.

数据流程

简单应用(local-file --> client --> server --> kafka)

下面是一个例子,客户端从文件读取数据,发送给服务端,再由服务端转储到kafka

  1. 客户端配置

加载module

module(load="imfile")
module(load="omfwd")

input

input(type="imfile"
File="/ddhome/usr/data/web/logs/wifi-service.log"
Ruleset="test")

ruleset

ruleset(name="test") {
action(type="omfwd"
protocol="udp"
Target="192.168.100.120"
Port="514")
}

udp协议: @

*.*   @192.168.100.120:514
  1. 服务端配置

加载module

module(load="imudp")
module(load="omkafka")

模板配置

日志模板

%timegenerated:1:10:date-rfc3339% : yyyy-mm-dd

%timegenerated:12:19:date-rfc3339% : hh:mm:ss

%fromhost-ip% : source ip

%syslogseverity-text% : log level : info, debug...

%syslogtag% : LinkProof:

2018-02-02 21:07:32 192.168.254.253 info LinkProof: + msg

template(name="log-format"
type="string"
string="%timegenerated:1:10:date-rfc3339% %timegenerated:12:19:date-rfc3339% %fromhost-ip% %syslogseverity-text% %syslogtag% %msg:2:$:drop-cc%\n"
)

文件模板: 按文件来源ip按天分隔文件

template(name="file-format" type="string" string="/var/lib/rsyslog/%fromhost-ip%/%$YEAR%%$MONTH%%$DAY%.log")

ruleset: 多个action

ruleset(name="rule-kafka") {
action (type="omkafka"
template="log-format"
topic="rsyslog_net"
broker=["dde:9092"]
errorFile="/var/log/rsyslog/kafka-error.log"
) action(type="omfile"
dynaFile="file-format"
template="log-format"
)
}

日志管理——rsyslog的更多相关文章

  1. 日志管理-rsyslog日志服务器及loganalyzer

    一,日志基础 日志:记录时间,地点,任务,事件 格式:日期时间 主机 进程[pid]: 事件内容 rsyslog 特性: 多线程,UDP, TCP, SSL, TLS, RELP,MySQL, PGS ...

  2. 日志管理 rsyslog服务浅析

    http://www.xiaomastack.com/2014/11/13/rsyslog/

  3. Linux操作系统的日志管理之rsyslog实战案例

    Linux操作系统的日志管理之rsyslog实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.日志介绍 1>.什么是日志 历史事件: 时间,地点,人物,事件 日志级 ...

  4. Centos7.6部署rsyslog+loganalyzer+mysql日志管理服务器

    参考来自: the_script :https://yq.aliyun.com/articles/675198 名山.深处:https://www.cnblogs.com/skychenjiajun/ ...

  5. 第13章 Linux日志管理

    1. 日志管理 (1)简介 在CentOS 6.x中日志服务己经由rsyslogd取代了原先的syslogd服务.rsyslogd日志服务更加先进,功能更多.但是不论该服务的使用,还是日志文件的格式其 ...

  6. 集中日志服务器Rsyslog

    http://www.gaizaoren.org/archives/408 基于主机的管理一般需要收集服务器的日志信息用于及时发现错误,处理故障. 搭建linux下的集中日志服务器的程序一般可以用sy ...

  7. linux 学习 14 日志管理

    第十四讲 日志管理 14.1 日志管理-简介 .日志服务 在CentOS .x中日志服务已经由rsyslogd取代了原先的syslogd服务.rsyslogd日志服务更加先进,功能更多.但是不论该服 ...

  8. Linux_日志管理介绍(一)

    一.介绍 1.CentOS 6.x中日志服务已经由rsyslogd取代了原先的syslogd服务,但是rsyslogd是和syslogd服务相兼容的 2.除了系统默认的日志之外,采用RPM方式安装的系 ...

  9. Linux服务器管理: 日志管理(一)

    1.日志管理介绍: a.日志服务:在CentOS6.x中日志服务以及由rsyslogd取代了原有的syslogd服务.rsyslogd日志服务更加先进,功能更多.但是不论该服务的使用,还是日子文件的格 ...

随机推荐

  1. python 初识

    一.Python介绍 Python简介 Python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解 ...

  2. Android学习——Fragment与Activity通信(一)

    学会了在Activity中加载Fragment的方法之后,接下来便需要学习Activity和Fragment之间的通信.这一节先学习如何把Activity中的信息传递给Fragment. 基本过程 在 ...

  3. mysql_01_游标的使用

    一.表的创建 1.直接创建表 DROP TABLE IF EXISTS shops_info; /*EMP产品版本版本信息表*/ CREATE TABLE shops_info ( ID INT PR ...

  4. javascript Object与Array用法

    引用类型:引用类型是一种数据结构,用于将数据和功能组织在一起.引用类型的值是引用类型的一个实例. 一.Object ECMAScript中的对象其实就是一组数据和功能的结合. Object类型其实是所 ...

  5. Android(java)学习笔记23:finally关键字的作用

    1. finally 关键字的作用 package cn.itcast_07; import java.text.ParseException; import java.text.SimpleDate ...

  6. linux下时间同步的两种方法分享(转)

    与一个已知的时间服务器同步 代码如下: ntpdate time.nist.gov 其中 time.nist.gov 是一个时间服务器. 删除本地时间并设置时区为上海 复制代码 代码如下: rm -r ...

  7. 给于用户Agent权限设置

    问题:有一个用户需要有create\alter\drop job人权限.默认是只有sysadmin成员才有这个权限.肯定不能将用户放到这个组 答案:所有JOB都属于msdb库中读取和写入信息.所以,肯 ...

  8. git bush 代码提交

    # git add . # git commit -m"init project" # git push

  9. js通过codeURL画二维码

    一.函数封装 //生成微信二维码 function xyqrcode(options) { var settings = { dom:'', render: 'canvas', //生成二维码的格式还 ...

  10. JavaScript创建对象的三种方法

    在 JavaScript 中我们知道无法通过类来创建对象,那么如何创建对象呢? (1)通过“字面量”方式创建对象 将你的信息写到{ }中,并赋值给一个变量,此时这个变量就是一个对象,例: var ga ...