• gamelogs2kafka.conf
input {
file {
codec => plain {
charset => "UTF-8"
}
path => "/root/logserver/GameLog.txt"
discover_interval => 5
start_position => "beginning"
}
} output {
kafka {
topic_id => "gamelogs-prj"
codec => plain {
format => "%{message}"
charset => "UTF-8"
}
bootstrap_servers => "192.168.8.101:9092,192.168.8.102:9092,192.168.8.103:9092"
}
}
启动:[root@CentOS-01 /opt/logstash]# bin/logstash -f config/gamelogs2kafka.conf
  • kafka2es.conf

input {
kafka {
type => "gamelogs-prj"
auto_offset_reset => "earliest"
codec => "plain"
group_id => "elas-prj"
topics => ["gamelogs-prj"]
bootstrap_servers => "192.168.8.101:9092,192.168.8.102:9092,192.168.8.103:9092"
}
} filter {
if [type] == "gamelogs-prj" {
mutate {
split => { "message" => "|" }
add_field => {
"event_type" => "%{message[0]}"
"current_time" => "%{message[1]}"
"user_ip" => "%{message[2]}"
"user" => "%{message[3]}"
}
remove_field => [ "message" ]
}
}
} output { if [type] == "gamelogs-prj" {
elasticsearch {
index => "gamelogs-prj"
codec => plain {
charset => "UTF-16BE"
}
hosts => ["192.168.8.101:9200", "192.168.8.***:9200", "192.168.8.103:9200"]
}
}
}
启动:[root@CentOS-02 /opt/logstash]# bin/logstash -f config/kafka2es.conf
  • 数据格式
3|2018年2月16日,星期二,15:53:45|175.***.97.31|ewrdf|武士|男|26|0|3133/800000000
3|2018年2月16日,星期二,15:53:45|175.16***3.235|丶糖豆|道士|女|29|0|165351/800000000
3|2018年2月16日,星期二,15:53:45|10.51***62|冷漠的风|道士|男|42|148|11114810/800000000
3|2018年2月16日,星期二,15:53:45|58.16***.38|自由风|法师|男|33|0|44562/800000000
3|2018年2月16日,星期二,15:53:45|10.11***135|十年戎马孤单|法师|男|26|0|102539/800000000
3|2018年2月16日,星期二,15:53:45|27.19***.55|不要诱拐我哦|法师|女|26|0|202557/800000000
3|2018年2月16日,星期二,15:53:45|106.***102|放火烧你|法师|男|43|0|7117158/800000000
3|2018年2月16日,星期二,15:53:45|10.***143.28|非常道|道士|男|26|0|165177/800000000
3|2018年2月16日,星期二,15:53:45|122.***137.99|名字神马操|道士|男|41|12|665009/800000000
3|2018年2月16日,星期二,15:53:45|115.1***5.20|多弗朗·明哥|道士|男|41|0|41531/800000000
3|2018年2月16日,星期二,15:53:46|10.11***4.57|DongKe小雨|法师|女|45|0|3455916/800000000

案例:使用logstash收集游戏服务器日志,输出到kafka消息队列中,然后存入ES的更多相关文章

  1. logstash收集TCP端口日志

    logstash收集TCP端口日志官方地址:https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html ...

  2. logstash收集nginx访问日志

    logstash收集nginx访问日志 安装nginx #直接yum安装: [root@elk-node1 ~]# yum install nginx -y 官方文档:http://nginx.org ...

  3. ELK收集windows服务器日志笔记

    一.软件版本 1.jdk-8u211-linux-x64.rpm 2.elasticsearch-6.8.1.rpm 3.logstash-6.8.1.rpm 4.kibana-6.8.1-x86_6 ...

  4. flume从log4j收集日志输出到kafka

    1. flume安装 (1)下载:wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.1.tar.gz (2)解压:ta ...

  5. Logstash收集nginx访问日志和错误日志

    1.收集访问日志 1).首先是要在nginx里面配置日志格式化输出 log_format main "$http_x_forwarded_for | $time_local | $reque ...

  6. salt收集windows服务器日志时间

    定义收集时间区间: time.ps1 $a = get-date $b = $a.adddays(-) $c = $b.tostring('yyyy-MM-dd') $d = get-date -fo ...

  7. 用Kibana和logstash快速搭建实时日志查询、收集与分析系统

    Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志. kibana ...

  8. 用ElasticSearch,LogStash,Kibana搭建实时日志收集系统

    用ElasticSearch,LogStash,Kibana搭建实时日志收集系统 介绍 这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中.kibana ...

  9. ELK-logstash案例实战之读取日志输出到elasticsearch

    简介:从日志文件中读取日志,输出到elasticsearch集群中 $ cd /home/es/logstash-/config $ vim test3_es.conf $ cd /home/es/l ...

随机推荐

  1. 【转载】Gradle学习 第二章:概述

    转载地址:http://ask.android-studio.org/?/article/6 Here is a list of some of Gradle's features.<翻译> ...

  2. logger(一)slf4j简介及其实现原理

    一.slf4j简介 slf4j(Simple logging facade for Java)是对所有日志框架制定的一种规范.标准.接口,并不是一个框架的具体的实现,因为接口并不能独立使用,需要和具体 ...

  3. scrapy参数

    当Scrapy正常运行时,下载器是瓶颈. 在这种情况下,你会看到调度器中有一些请求,下载器中的并发请求数目已经达到最大值,而scraper(爬虫和pipeline)的负载较轻,正在处理的Respons ...

  4. k8s krew 插件管理工具

    参考:https://github.com/kubernetes-sigs/krew https://int32bit.me/2019/12/05/%E5%88%86%E4%BA%AB%E5%87%A ...

  5. 01、Linux基础命令

    linux 一些主要目录的认识: /bin 二进制可执行命令 /boot 存放系统引导文件,如 内核.grub 等 /dev 设备文件 /etc 系统配置目录 /home 普通用户家目录 /lib 系 ...

  6. shell之命令代换,将当前路径存放在变量中,然后使用变量

    重要的 命令代换`` 反引号 shell先执行该命令,然后将命令的结果存放在 变量中 例如 var=`pwd` echo $var 也可以用其$()替换 var=$(date) echo $var 删 ...

  7. Shiro RememberMe 1.2.4 反序列化漏洞详细复现

    0x00 前言 今天上班的时候收到了一个复测的任务,打开一看,shiro反序列化漏洞,What?这是个什么东西,经百度查找后才知道,原来是Java的开发框架,好吧,还是没听说过..由于初测报告上的过程 ...

  8. 移动端好用的下拉加载上拉刷新插件 dropload插件

    入了很多下拉加载上拉刷新的插件,但是感觉都不好用,知道最近遇到这款dropload的插件,瞬间打开新世界的大门啊,无卡顿简单易用可配置 <!doctype html> <html&g ...

  9. 后缀自动机专题(hihocoder)

    传送门 #1445 : 后缀自动机二·重复旋律5 题意: 给出字符串\(s\),询问字符串\(s\)中有多少不同的子串. 思路: 考虑对\(s\)建后缀自动机,那么\(\sum (len[i]-len ...

  10. Springboot JackSon

    1. SpringBoot JSON工具包默认是Jackson,只需要引入spring-boot-starter-web依赖包,自动引入相应依赖包: <dependency> <gr ...