案例:使用logstash收集游戏服务器日志,输出到kafka消息队列中,然后存入ES
- gamelogs2kafka.conf
input {
file {
codec => plain {
charset => "UTF-8"
}
path => "/root/logserver/GameLog.txt"
discover_interval => 5
start_position => "beginning"
}
}
output {
kafka {
topic_id => "gamelogs-prj"
codec => plain {
format => "%{message}"
charset => "UTF-8"
}
bootstrap_servers => "192.168.8.101:9092,192.168.8.102:9092,192.168.8.103:9092"
}
}
启动:[root@CentOS-01 /opt/logstash]# bin/logstash -f config/gamelogs2kafka.conf
- kafka2es.conf
input {
kafka {
type => "gamelogs-prj"
auto_offset_reset => "earliest"
codec => "plain"
group_id => "elas-prj"
topics => ["gamelogs-prj"]
bootstrap_servers => "192.168.8.101:9092,192.168.8.102:9092,192.168.8.103:9092"
}
}
filter {
if [type] == "gamelogs-prj" {
mutate {
split => { "message" => "|" }
add_field => {
"event_type" => "%{message[0]}"
"current_time" => "%{message[1]}"
"user_ip" => "%{message[2]}"
"user" => "%{message[3]}"
}
remove_field => [ "message" ]
}
}
}
output {
if [type] == "gamelogs-prj" {
elasticsearch {
index => "gamelogs-prj"
codec => plain {
charset => "UTF-16BE"
}
hosts => ["192.168.8.101:9200", "192.168.8.***:9200", "192.168.8.103:9200"]
}
}
}
启动:[root@CentOS-02 /opt/logstash]# bin/logstash -f config/kafka2es.conf
- 数据格式
3|2018年2月16日,星期二,15:53:45|175.***.97.31|ewrdf|武士|男|26|0|3133/800000000
3|2018年2月16日,星期二,15:53:45|175.16***3.235|丶糖豆|道士|女|29|0|165351/800000000
3|2018年2月16日,星期二,15:53:45|10.51***62|冷漠的风|道士|男|42|148|11114810/800000000
3|2018年2月16日,星期二,15:53:45|58.16***.38|自由风|法师|男|33|0|44562/800000000
3|2018年2月16日,星期二,15:53:45|10.11***135|十年戎马孤单|法师|男|26|0|102539/800000000
3|2018年2月16日,星期二,15:53:45|27.19***.55|不要诱拐我哦|法师|女|26|0|202557/800000000
3|2018年2月16日,星期二,15:53:45|106.***102|放火烧你|法师|男|43|0|7117158/800000000
3|2018年2月16日,星期二,15:53:45|10.***143.28|非常道|道士|男|26|0|165177/800000000
3|2018年2月16日,星期二,15:53:45|122.***137.99|名字神马操|道士|男|41|12|665009/800000000
3|2018年2月16日,星期二,15:53:45|115.1***5.20|多弗朗·明哥|道士|男|41|0|41531/800000000
3|2018年2月16日,星期二,15:53:46|10.11***4.57|DongKe小雨|法师|女|45|0|3455916/800000000
案例:使用logstash收集游戏服务器日志,输出到kafka消息队列中,然后存入ES的更多相关文章
- logstash收集TCP端口日志
logstash收集TCP端口日志官方地址:https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html ...
- logstash收集nginx访问日志
logstash收集nginx访问日志 安装nginx #直接yum安装: [root@elk-node1 ~]# yum install nginx -y 官方文档:http://nginx.org ...
- ELK收集windows服务器日志笔记
一.软件版本 1.jdk-8u211-linux-x64.rpm 2.elasticsearch-6.8.1.rpm 3.logstash-6.8.1.rpm 4.kibana-6.8.1-x86_6 ...
- flume从log4j收集日志输出到kafka
1. flume安装 (1)下载:wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.1.tar.gz (2)解压:ta ...
- Logstash收集nginx访问日志和错误日志
1.收集访问日志 1).首先是要在nginx里面配置日志格式化输出 log_format main "$http_x_forwarded_for | $time_local | $reque ...
- salt收集windows服务器日志时间
定义收集时间区间: time.ps1 $a = get-date $b = $a.adddays(-) $c = $b.tostring('yyyy-MM-dd') $d = get-date -fo ...
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志. kibana ...
- 用ElasticSearch,LogStash,Kibana搭建实时日志收集系统
用ElasticSearch,LogStash,Kibana搭建实时日志收集系统 介绍 这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中.kibana ...
- ELK-logstash案例实战之读取日志输出到elasticsearch
简介:从日志文件中读取日志,输出到elasticsearch集群中 $ cd /home/es/logstash-/config $ vim test3_es.conf $ cd /home/es/l ...
随机推荐
- 【转载】Gradle学习 第二章:概述
转载地址:http://ask.android-studio.org/?/article/6 Here is a list of some of Gradle's features.<翻译> ...
- logger(一)slf4j简介及其实现原理
一.slf4j简介 slf4j(Simple logging facade for Java)是对所有日志框架制定的一种规范.标准.接口,并不是一个框架的具体的实现,因为接口并不能独立使用,需要和具体 ...
- scrapy参数
当Scrapy正常运行时,下载器是瓶颈. 在这种情况下,你会看到调度器中有一些请求,下载器中的并发请求数目已经达到最大值,而scraper(爬虫和pipeline)的负载较轻,正在处理的Respons ...
- k8s krew 插件管理工具
参考:https://github.com/kubernetes-sigs/krew https://int32bit.me/2019/12/05/%E5%88%86%E4%BA%AB%E5%87%A ...
- 01、Linux基础命令
linux 一些主要目录的认识: /bin 二进制可执行命令 /boot 存放系统引导文件,如 内核.grub 等 /dev 设备文件 /etc 系统配置目录 /home 普通用户家目录 /lib 系 ...
- shell之命令代换,将当前路径存放在变量中,然后使用变量
重要的 命令代换`` 反引号 shell先执行该命令,然后将命令的结果存放在 变量中 例如 var=`pwd` echo $var 也可以用其$()替换 var=$(date) echo $var 删 ...
- Shiro RememberMe 1.2.4 反序列化漏洞详细复现
0x00 前言 今天上班的时候收到了一个复测的任务,打开一看,shiro反序列化漏洞,What?这是个什么东西,经百度查找后才知道,原来是Java的开发框架,好吧,还是没听说过..由于初测报告上的过程 ...
- 移动端好用的下拉加载上拉刷新插件 dropload插件
入了很多下拉加载上拉刷新的插件,但是感觉都不好用,知道最近遇到这款dropload的插件,瞬间打开新世界的大门啊,无卡顿简单易用可配置 <!doctype html> <html&g ...
- 后缀自动机专题(hihocoder)
传送门 #1445 : 后缀自动机二·重复旋律5 题意: 给出字符串\(s\),询问字符串\(s\)中有多少不同的子串. 思路: 考虑对\(s\)建后缀自动机,那么\(\sum (len[i]-len ...
- Springboot JackSon
1. SpringBoot JSON工具包默认是Jackson,只需要引入spring-boot-starter-web依赖包,自动引入相应依赖包: <dependency> <gr ...