1. KAFKA下载地址:http://kafka.apache.org/downloads

KAFKA-快速上手-官方网站:http://kafka.apache.org/quickstart

2. 下载完成后解压,修改config目录下的配置文件:server.properties 、zookeeper.properties

1)修改server.properties:

------------------------------------------------- Server Basics -------------------------------------------------

设置broker.id,确保每个broker的id是唯一的,可以默认master节点的为0,其他依次为1、2...

------------------------------------------------- Socket Server Settings -------------------------------------------------

设置listeners,listeners = PLAINTEXT://172.16.106.153:9092

------------------------------------------------- Log Basics -------------------------------------------------

设置num.partitions,分区数量与broker数量一致

------------------------------------------------- Zookeeper -------------------------------------------------

设置zookeeper集群地址,zookeeper.connect = xxx.xxx.xxx.xxx:2181,xxx.xxx.xxx.xxx2181    (最重要的)

2)修改zookeeper.properties:

  设置连接参数,在最后添加配置

  tickTime=2000
  initLimit=8
  syncLimit=3

设置broker.id的服务器地址,server.X和IP要与broker.id所在的服务器地址一致

  server.0=xxx.xxx.xxx.xxx:2888:3888
  server.1=xxx.xxx.xxx.xxx:2889:3889

3)添加zookeeper数据目录的ID文件,在zookeeper数据目录(默认dataDir=/tmp/zookeeper)添加myid文件,写入broker.id的值。到/tmp/zookeeper目录下执行:

第一台机器:echo 0 > myid

第二台机器:echo 1 > myid

3. 启动kafka

  启动时,先启动zookeeper,再启动kafka;关闭反之,先关闭kafka,再关闭zookeeper

  启动zookeeper:  bin/zookeeper-server-start.sh config/zookeeper.properties &

  启动kafka:     bin/kafka-server-start.sh config/server.properties &

4. 测试kafka集群是否部署成功

1)第一台机器上创建一个TOPIC

  bin/kafka-topics.sh --create --zookeeper xxx.xxx.xxx.xxx:2181 --replication-factor 1 --partitions 1 --topic test

2)查看TOPIC列表,确认是否创建成功

  bin/kafka-topics.sh --list --zookeeper xxx.xxx.xxx.xxx:2181

3)创建生成者

  bin/kafka-console-producer.sh --broker-list xxx.xxx.xxx.xxx:9092 --topic test

4)在所有服务器上创建消费者

  bin/kafka-console-consumer.sh --bootstrap-server xxx.xxx.xxx.xxx:9092 --from-beginning --topic test

5)在第一台机器上输入消息,回车发送,CTRL+C终止,查看其他机器的消费者是否能接受到消息

###那些年踩过的坑.....

1. WARN: Connection to node 1 could not be established. Broker may not be available.

  创建消费者时出的错,重启zookeeper和kafka

2. ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 1 larger than available brokers: 0

  kafka未启动,先停止kafka和zookeeper,确保进程关闭,然后再重新启动。

  bin/kafka-server-stop.sh      

  bin/zookeeper-server-stop.sh

  bin/zookeeper-server-start.sh config/zookeeper.properties &

  bin/kafka-server-start.sh config/server.properties &

3. WARN Error while fetching metadata with correlation id 0

  启动生产者进程报错,没有绑定Kafka启动监听的host信息

  vim  config/server.properties

  listeners=PLAINTEXT://localhost:9092  ,若此处配置的IP,则在执行命令时使用IP:bin/kafka-console-consumer.sh --bootstrap-server xxx.xxx.xxx.xxx:9092 --from-beginning --topic test

4. UnknowHostException:主机名:主机名

  linux无法解析域名导致,可以将主机名对应的ip写入到hosts文件中保存,或者直接删除 /etc/Hostname 文件

  vim /tec/hosts

  IP    主机名  (如:172.10.1.1      name)

  

KAFKA集群搭建(自带zookeeper)的更多相关文章

  1. Zookeeper + Kafka 集群搭建

    第一步:准备 1. 操作系统 CentOS-7-x86_64-Everything-1511 2. 安装包 kafka_2.12-0.10.2.0.tgz zookeeper-3.4.9.tar.gz ...

  2. zookeeper与Kafka集群搭建及python代码测试

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  3. zookeeper及kafka集群搭建

    zookeeper及kafka集群搭建 1.有关zookeeper的介绍可参考:http://www.cnblogs.com/wuxl360/p/5817471.html 2.zookeeper安装 ...

  4. CentOS 7 Zookeeper 和 Kafka 集群搭建

    环境 CentOS 7.4 Zookeeper-3.6.1 Kafka_2.13-2.4.1 Kafka-manager-2.0.0.2 本次安装的软件全部在 /home/javateam 目录下. ...

  5. zookeeper集群及kafka集群搭建

    1.zookeeper集群搭建 1.1 上传安装包 官网推荐至少3个节点,我们这里也用三个节点192.169.2.18  192.169.1.82  192.169.1.95 准备好安装包,zooke ...

  6. Kafka【第一篇】Kafka集群搭建

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  7. 消息队列kafka集群搭建

    linux系统kafka集群搭建(3个节点192.168.204.128.192.168.204.129.192.168.204.130)    本篇文章kafka集群采用外部zookeeper,没采 ...

  8. [Golang] kafka集群搭建和golang版生产者和消费者

    一.kafka集群搭建 至于kafka是什么我都不多做介绍了,网上写的已经非常详尽了. 1. 下载zookeeper  https://zookeeper.apache.org/releases.ht ...

  9. 【转】kafka集群搭建

    转:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否 ...

随机推荐

  1. Android Studio [RecyclerView/瀑布流显示]

    PuRecyclerViewActivity.java package com.xdw.a122.recyclerview; import android.support.v7.app.AppComp ...

  2. 接口是什么?接口长什么样?java的Interface

    今天来看看java接口长哪样.接口是特殊抽象类. 一个子类只能继承一个抽象类(父类),所以就有接口这个特殊抽象类. 下面以一个电脑的USB为例: 定义接口标准 public interface USB ...

  3. 解决AndroidKiller APK 反编译失败,无法继续下一步源码反编译!

    报错背景 今天使用AndroidKiller V1.3.1,反编译一个APK,遇到如下报错: 当前 Apktool 使用版本:Android Killer Default APKTOOL 正在反编译 ...

  4. hihttps教你在Wireshark中提取旁路https解密源码

    大家好,我是hihttps,专注SSL web安全研究,今天本文就是教大家怎样从wireshark源码中,提取旁路https解密的源码,非常值得学习和商业应用. 一.旁路https解密条件 众所周知, ...

  5. js初学总结

    基础 交换变量方式 //利用第三方变量进行交换 var num1 = 10; var num2 = 20; var temp; temp = num1; num1 = num2; num2 = tem ...

  6. Python基础(十二)

    今日主要内容 推导式 生成器表达式 lambda匿名函数 内置函数介绍 一.推导式 (一)列表推导式 先来看一段代码 建立一个空列表,向空列表中添加元素 lst = list() for i in r ...

  7. xampp修改mysql 启动脚本

    打开xmapp,点击mysql对应的config按钮进入my.ini文件,如图所示: 修改mysqld服务的port参数3306为你想要设置的port,如图2所示: 重新启动mysql服务即可用客户端 ...

  8. Java8新特性——lambda函数式编程

    一.遍历循环 /** * @author jiaqing.xu@hand-china.com * @version 1.0 * @name * @description 循环遍历 * @date 20 ...

  9. 【SQL server】SQL Server 触发器

    触发器是一种特殊类型的存储过程,它不同于之前的我们介绍的存储过程.触发器主要是通过事件进行触发被自动调用执行的.而存储过程可以通过存储过程的名称被调用. Ø 什么是触发器 触发器对表进行插入.更新.删 ...

  10. python爬虫—— 抓取今日头条的街拍的妹子图

    AJAX 是一种用于创建快速动态网页的技术. 通过在后台与服务器进行少量数据交换,AJAX 可以使网页实现异步更新.这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新. 近期在学习获取j ...