filebeat+elk组合之kafka单机部署

准备:

kafka下载链接地址:http://kafka.apache.org/downloads.html

在这里下载kafka_2.12-2.10.0.0.tgz(kafka和zookeeper都用同一个包里的)。

一、安装和配置jdk(下载jdk,配置环境即可)

JAVA_HOME=/opt/jdk1.8.0_131

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

$ java -version

java version "1.8.0_131"

Java(TM) SE Runtime Environment (build 1.8.0_131-b11)

Java HotSpot(TM) Server VM (build 25.131-b11, mixed mode)

或者在bin/kafka-run-class.sh指定kafka jdk 环境变量

vi bin/kafka-run-class.sh

JAVA_HOME=/opt/jdk1.8.0_131

二、安装Kafka

1安装glibc

# yum -y install glibc.i686

2、解压kafka_2.12-2.10.0.0.tgz

先配置zookeeper

$cd  kafka_2.12-2.10.0.0

$vi config/zookeeper.properties

dataDir=/data/soft/kafka/data

dataLogDir=/data/soft/kafka/log

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

配置后直接启动zookeeper:

$bin/zookeeper-server-start.sh config/zookeeper.properties

如果没有报错,可以转后台启动:

$nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

再配置kafka

$ vi config/server.properties

broker.id=0

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://server20.srv:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/data/log/kafka

num.partitions=2

num.recovery.threads.per.data.dir=1

log.retention.check.interval.ms=300000

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=6000

启动kafka:

$ bin/kafka-server-start.sh config/server.properties

如果没有报错,可以转后台启动:

$nohup bin/kafka-server-start.sh config/server.properties &

检查启动情况:默认开启的端口为2181(zookeeper)和9202(kafka)。

3、测试kafka

(1)、创建topic

$bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

(2)、查看创建的topic

$ bin/kafka-topics.sh --list --zookeeper localhost:2181

test

(3)、生产消息测试(模拟客户端发送消息)

$bin/kafka-console-producer.sh --broker-list 192.168.53.20:9092 --topic test

> ..hello world..          #输入内容回车

>

(4)、消费消息测试(模拟客户端接收信息)

$bin/kafka-console-consumer.sh --bootstrap-server 192.168.53.20:9202 --topic test --from-beginning

..hello world..                   #如果能正常接收到信息说明kafka部署正常

(5)、删除topic

$bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

完成以上代表kafka单包机安装成功。

三、配置filebeat

filebeat.yml文件添加配置信息,注释掉原来的logstash output。

#------------------- Kafka output ---------------------

output.kafka:

hosts: ["server20.srv:9092"]

topic: 'kafka_logstash'

四、配置logstash

logstash.conf文件添加配置信息,注释掉原来input{beats...}。

input {

kafka {

codec => "json"

bootstrap_servers => "server20.srv:9092"

topics => ["kafka_logstash"]

group_id => "kafka-consumer-group"

decorate_events => true

auto_offset_reset => "latest"

}

在logstash服务器上配置好kafka访问地址:

$ cat /etc/hosts

122.9.10.106    server20.srv    8bet-kafka

五、kafka相关配置文件参考

$ cat config/server.properties | egrep -v '^$|#'

broker.id=0

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://server20.srv:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/data/log/kafka

num.partitions=2

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0

$cat config/zookeeper.properties | egrep -v '^$|#'

dataDir=/data/soft/kafka/data

dataLogDir=/data/soft/kafka/zookeeper_log

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

$cat config/producer.properties | egrep -v '^$|#'

bootstrap.servers=localhost:9092

compression.type=none

$cat config/consumer.properties | egrep -v '^$|#'

bootstrap.servers=localhost:9092

group.id=kafka-consumer-group

六、配置完后测试消费消息连通,如果接受正常,则成功

$bin/kafka-console-consumer.sh --bootstrap-server server20.srv:9202 --topic test --from-beginning

linux单机部署kafka(filebeat+elk组合)的更多相关文章

  1. Linux下部署Kafka分布式集群,安装与测试

    注意:部署Kafka之前先部署环境JAVA.Zookeeper 准备三台CentOS_6.5_x64服务器,分别是:IP: 192.168.0.249 dbTest249 Kafka IP: 192. ...

  2. linux 下部署 kafka

    参考文章 http://www.cnblogs.com/sunxucool/p/4459020.html http://www.cnblogs.com/oftenlin/p/4047504.html ...

  3. nutch2.1+mysql+elasticsearch整合linux单机部署

    这次主要介绍下nutch2.1和mysql和elasticsearch的整合,是在单机上运行,并不是分布式部署.1.下载nutch2.1 nutch下载地址:http://labs.mop.com/a ...

  4. Filebeat+ELK部署文档

    在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的Filebeat+ELK开源实时日志分析平台的记录过程,有不对的地方还望指出. 简单介绍: 日志主要包括系统日志.应用 ...

  5. Ecstore安装篇-2.单机部署【linux】

    单机部署实施-linux 单机部署实施-linux author :James,jimingsong@vip.qq.com since :2015-03-02 系统环境需求 软件来源 底层依赖 1. ...

  6. 精讲 使用ELK堆栈部署Kafka

    使用ELK堆栈部署Kafka 通过优锐课的java架构学习分享,在本文中,我将展示如何使用ELK Stack和Kafka部署建立弹性数据管道所需的所有组件. 在发生生产事件后,恰恰在你最需要它们时,日 ...

  7. ELK+kafka+filebeat搭建生产ELFK集群

    文章原文 ELK 架构介绍 集群服务版本 服务 版本 java 1.8.0_221 elasticsearch 7.10.1 filebeat 7.10.1 kibana 7.10.1 logstas ...

  8. Kafka记录-Kafka简介与单机部署测试

    1.Kafka简介 kafka-分布式发布-订阅消息系统,开发语言-Scala,协议-仿AMQP,不支持事务,支持集群,支持负载均衡,支持zk动态扩容 2.Kafka的架构组件 1.话题(Topic) ...

  9. ELK + Kafka + Filebeat

    ELK + Kafka + Filebeat学习 https://blog.csdn.net/qq_21383435/article/details/79463832 https://blog.csd ...

随机推荐

  1. man arch

    ARCH(1)   Linux Programmer?. Manual/Linux程序员手册       ARCH(1) NAME/名称       arch - print machine arch ...

  2. Codeforces 845D - Two TVs(贪心)

    原题链接:http://codeforces.com/problemset/problem/845/D 题意:一个人在驾照考试中,路边有“限速XX”.“没有限速”.“可以超车”.“不能超车”路牌, 以 ...

  3. [hadoop](3) MapReduce:创建计数器、任务状态和写入日志

    前言 本章主要讲述了如何在mapreduce任务中添加自定义的计数器,从所有任务中聚合信息,并且最终输出到mapreduce web ui中得到统计信息. 准备工作 数据集:ufo-60000条记录, ...

  4. DAO层单元测试编码和问题排查

    DAO层单元测试编码和问题排查 SecKillDaoTest .java(注意接口参数使用注解@Parm(“parameter”)) package org.secKill.dao; import o ...

  5. 如何在微信小程序中使用iconfont

    开篇废话 开发过小程序的童鞋肯定都会遇到这样的问题,当我们在小程序中使用iconfont官方推荐的方法插入字体时,我们总会得到一个打印机(滑稽).那么如何在小程序中正确的使用iconfont呢? 一. ...

  6. Python分布式爬虫打造搜索引擎完整版-基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站

    Python分布式爬虫打造搜索引擎 基于Scrapy.Redis.elasticsearch和django打造一个完整的搜索引擎网站 https://github.com/mtianyan/Artic ...

  7. CDN:BootCDN

    ylbtech-CDN:BootCDN BootCDN稳定.快速.免费的前端开源项目 CDN 加速服务共收录了 3351 个前端开源项目 1. 推荐返回顶部 1. bootstrap Bootstra ...

  8. 使用eclipse制作war包方法 web项目打包到tomcat

    打开eclipse在左侧右击项目名选择“Export”   在导出画面点击 “Web”->“WAR file”点击“Next”   点击“Browse…”选择文件的导出位置,Target run ...

  9. MySQL 查询性能优化 - EXPLAIN 命令

    查询优化的官方文档在 这里. EXPLAIN 的输出格式 译文 1. MySQL 架构 1.1 MySQL 的简化架构 MySQL 可以简单的分为三层:连接层.服务层.存储引擎层.其中服务层包含了 M ...

  10. 第 13 章 python并发编程之io模型

    一.IO模型介绍 同步(synchronous) IO和异步(asynchronous) IO,阻塞(blocking) IO和非阻塞(non-blocking)IO分别是什么,到底有什么区别?这个问 ...