jmx端口主要用来监控kafka集群的. 在启动kafka的脚本kafka-server-start.sh中找到堆设置,添加export JMX_PORT="9999" if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" export JMX_PORT=" fi 或者在启动脚本中添加如下: #!/bin/sh JM

之前基于集群和单机安装过kafka,现在利用kafka提供的API构建一个简单的生产者消费者的项目示例,来跑通kafka的流程,具体过程如下: 首先使用eclipse for javaee建立一个maven项目,然后在pom.xml添加如下依赖配置: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.9.2</artifactId> <version&g

Nginx作为网站的第一入口,其日志记录了除用户相关的信息之外,还记录了整个网站系统的性能,对其进行性能排查是优化网站性能的一大关键. Logstash是一个接收,处理,转发日志的工具.支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型.一般情景下,Logstash用来和ElasticSearch和Kibana搭配使用,简称ELK,本站http://www.wenzhihuai.com除了用作ELK,还配合了Kafka进行使用.它使用JRuby编写,开源,

简介: 不想通过kafka shell来管理kafka已创建的topic信息,想通过管理页面来统一管理和查看kafka集群.所以选择了大部分人使用的kafka manager,我一共有一台主机master和三台节点slave1,slave2,slave3,一共有三个zookeeper server和三个kafka broker,分别在master,slave1,slave2.所以我把kafka manager安装在了slave3的服务器上面. 一.启动kafka的JMX端口的访问 至于JMX是什

Java测试环境中Kafka最近总是自动停止,所有写了一个简单的脚本来监听Kafka和Zookeeper,其中Kafka监听端口为9092,Zookeeper监听端口为2181,脚本如下: #!/bin/bash #read -p "input port:" port export JAVA_HOME=/export/servers/jdk1..0_172 monitor=$(ss -lntup|) monitorzoo=$(ss -lntip|) if [ "$monito

kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题,现象是kafka在zookeeper上的broker节点消失,此时kafka进程和端口都在,然后每个broker都在报错,主要是 1) [2017-01-09 12:40:53,832] INFO Partition [topic1,3] on broker 1361: Shrinking ISR for partition [topic1,3] from 1351,1361,1341 to 1361 (kaf

The docker image wurstmeister/kafka is the most stared image for kafka in hub.docker.com, but the useage is rare, so  in this post, I would take some time to talk about the usage of this docker image. 1. first, let's take some time to show the comman

应用摘要: Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.Kafka是一种高吞吐量的 分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火! Kafka官网:http://kafka.apache.org/ 学习推荐  :http://orchome.com/kafka/index 官网下载  :http://kafka.apache.org/downloads 安装环境: Kafka集群环境搭建,需要准备好

在前一篇:kafka学习1:kafka安装 中,我们安装了单机版的Kafka,而在实际应用中,不可能是单机版的应用,必定是以集群的方式出现.本篇介绍Kafka集群的安装过程: 一.准备工作 1.开通Zookeeper和Kafka需要的端口 在 zookeeper-端口说明 中,我们可以看到Zookeeper需要用到3个端口,我们都需要开放这个端口.Linux开放端口,可以参考:Linux 开启端口命令 这篇文章. 否则在启动的时候,会出现如下错误(连接超时错误): 2.修改主机名称 在搭建Kaf

一.安装 下载最新版kafka,Apache Kafka,然后上传到Linux,我这里有三台机器,192.168.127.129,130,131 . 进入上传目录,解压到/usr/local目录下 -0.11.0.0.tgz -C /usr/local/ 进入/usr/local目录 cd /usr/local 然后改一下名字(这一步可有可无) -0.11.0.0/ kafka 进入kafka目录,编辑配置文件 cd kafka/ vi config/server.properties 配置文件

kafka的server.properties文件 ```host.name```开始只绑定在了内部IP上,对外网卡无法访问. 把值设置为空的话会kafka监听端口在所有的网卡上绑定.但是在外网访问时,客户端又遇到了```java.nio.channels.ClosedChannelException```异常信息,server端用tcpdump分析的时候发现客户端有传递kafka所在机器的机器名过来.在client里断点跟踪一下发现是findLeader的时候返回的元信息是机器名而不是IP.客

一.下载安装包  kafka-eagle-bin-1.2.4.tar.gz 百度云链接:链接:https://pan.baidu.com/s/1SNIkpsvs20A_Ljtx5PaMuA 密码:o4bi 二.设置全局变量,设置JDK的全局变量JAVA_HOME和本应用的KE_HOME # vim /etc/profile #———start export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAV

最近在搞Kafka集群监控,之前也是看了网上的很多资料.之所以使用jmxtrans+influxdb+grafana是因为界面酷炫,可以定制化,缺点是不能操作Kafka集群,可能需要配合Kafka Manager一起使用. 环境信息 CentOS Linux release 7.6.1810 (Core) jdk1.8.0_201 zookeeper-3.4.14 kafka_2.11-2.2.0 开启Kafka JMX端口 JMX(Java Management Extensions,即Jav

linux虚拟机中的kafka docker 容器外网显示: 原因: kafka的外网IP端口配置参数设置错误. 原-->设置了容器的IP端口. 改-->设置宿主机的ip以及宿主机上的端口. 摘取: Kafka跨网络访问设置   实际场景: kafka应用通过docker进行部署并暴露出不同kafka节点到不同的指定端口: 业务系统通过虚拟机进行部署: docker宿主机与业务系统在同一个局域网: 报错: 业务系统连接kafka时返回docker kafka服务名及原端口(9092) can

[原创]从零开始搭建开发使用的Kafka环境 入门资料 百度百科: Kafka是一种高吞吐量的分布式发布订阅消息系统,这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案.Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费. 归属公司 Apache Kafka 软件语言:scala 相关术语介绍 Broker: Kafka集群包含一

实际场景: kafka应用通过docker进行部署并暴露出不同kafka节点到不同的指定端口: 业务系统通过虚拟机进行部署: docker宿主机与业务系统在同一个局域网: 报错: 业务系统连接kafka时返回docker kafka服务名及原端口(9092) can not found the leader of kafka 原因: kafka配置文件server.properties中,host.name只绑定在了内部的IP上面,对外的网卡无法访问,及在物理业务系统服务器上面并不能识别到kaf

安装 下载kafka http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz kafka最为重要三个配置依次为:broker.id.log.dir.zookeeper.connect 在kafka server端 config/server.properties中设置 必须要配置: advertised.listeners=PLAINTEXT://192.168.3.201:9092    # 公布访问地址和端口 启动k

1.安装sbt编译环境 curl https://bintray.com/sbt/rpm/rpm |tee /etc/yum.repos.d/bintray-sbt-rpm.repo yum install sbt 2.下载kafka-manager https://github.com/yahoo/kafka-manager/releases 3.编译,重点是服务器能访问外网环境,下载依赖的包和软件会比较久,编译也比较漫长(我是花了半天时间) cd kafka-manager sbt clea

Zookeeper 运行kafka需要使用Zookeeper,所以要先启动Zookeeper,如果没有Zookeeper,可以使用kafka自带打包和配置好的Zookeeper 1.进入kafka的bin目录,输入以下命令: ./zookeeper-server-start.sh ../config/zookeeper.properties Kafka 1.进入bin目录,录入以下命令: ./kafka-server-start.sh ../config/server.properties --

本教程假定您是一只小白,没有Kafka 或ZooKeeper 方面的经验. Kafka脚本在Unix和Windows平台有所不同,在Windows平台,请使用 bin\windows\ 而不是bin/, 并将脚本扩展名改为.bat. 1.   Kafka概述 1.1.      消息队列 (1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端.这个模型的特点是发送到队列的消息被一个

操作系统选择 CentOS7.4x86-64(操作系统的x86_64是跟CPU有关的,最早AMD公司开发出了一款向下兼容x86CPU,向上又扩充了指令集,具有了64位CPU的特性,这款CPU后来改名为AMD64,Intel在AMD之后也开发了这样一款CPU,取名叫做x86_64),所以操作系统的x86_64就是指这款操作系统是64位的.使用uname -a查看操作系统版本. 安装Java环境 首先找到jdk下载的官网网址,然后在你要下载的jdk版本上右键单击,在弹出的选择框选择复制链接,得到jd