Kafka配置(注意log.dirs不要配置在tmp目录下,因为该目录会被linux定时任务删除,会导致kafka崩溃)
需要三个Kafka实例,分别安装在下面三个机器上:
192.168.240.167
192.168.240.168
192.168.240.169

第一步,修改192.168.240.167机器上的Kafka配置
config/server.properties:
broker.id=1
listeners=PLAINTEXT://192.168.240.167:9093 这里必须加上IP或者HOST,否则上报到ZK的地址会变成127.0.0.1
num.partitions=10 默认分区数量需要估算,一般是一个进程占用一个partition
zookeeper.connect=192.168.240.167:2181,192.168.240.168:2181,192.168.240.169:2181

第二步,修改192.168.240.168机器上的Kafka配置
config/server.properties:
broker.id=2
listeners=PLAINTEXT://192.168.240.168:9093 这里必须加上IP或者HOST,否则上报到ZK的地址会变成127.0.0.1
num.partitions=10 默认分区数量需要估算,一般是一个进程占用一个partition
zookeeper.connect=192.168.240.167:2181,192.168.240.168:2181,192.168.240.169:2181

第三步,修改192.168.240.169机器上的Kafka配置
config/server.properties:
broker.id=3
listeners=PLAINTEXT://192.168.240.169:9093 这里必须加上IP或者HOST,否则上报到ZK的地址会变成127.0.0.1
num.partitions=10 默认分区数量需要估算,一般是一个进程占用一个partition
zookeeper.connect=192.168.240.167:2181,192.168.240.168:2181,192.168.240.169:2181

第四步,启动Kafka进程
三台机器分别进入Kafka根目录,运行:
nohup bin/kafka-server-start.sh config/server.properties > kafka.out &

第五步,创建Topic
进入任意一台机器上的Kafka根目录,运行:
bin/kafka-topics.sh --create --zookeeper 192.168.240.167:2181,192.168.240.168:2181,192.168.240.169:2181 --replication-factor 1 --partitions 10 --topic threebody.core
bin/kafka-topics.sh --create --zookeeper 192.168.240.167:2181,192.168.240.168:2181,192.168.240.169:2181 --replication-factor 1 --partitions 10 --topic threebody.match
bin/kafka-topics.sh --create --zookeeper 192.168.240.167:2181,192.168.240.168:2181,192.168.240.169:2181 --replication-factor 1 --partitions 10 --topic threebody.battle
bin/kafka-topics.sh --create --zookeeper 192.168.240.167:2181,192.168.240.168:2181,192.168.240.169:2181 --replication-factor 1 --partitions 10 --topic threebody.monitor

查看Topic信息
bin/kafka-topics.sh --describe --zookeeper 192.168.240.167:2181,192.168.240.168:2181,192.168.240.169:2181 --topic threebody.core

kafka 配置启动的更多相关文章

  1. kafka配置监控和消费者测试

    概念 运维 配置 监控 生产者与消费者 流处理 分区partition 一定条件下,分区数越多,吞吐量越高.分区也是保证消息被顺序消费的基础,kafka只能保证一个分区内消息的有序性 副本 每个分区有 ...

  2. hadoop生态搭建(3节点)-08.kafka配置

    如果之前没有安装jdk和zookeeper,安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-arch ...

  3. Kafka配置信息

    Kafka配置信息 broker配置信息 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录.可以指定 ...

  4. windows下kafka配置入门 示例

    实验平台与软件: 操作系统:windows7 32  位 java 开发包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息队列: kafka_2.11-0.11.0.1 安装 ...

  5. windows下配置启动多个mysql服务

    查找配置做下记录 先安装mysql5.6,安装不在介绍 接下来配置启动另一个mysql服务, 1:先到服务里停止在运行的mysql服务 2:到mysql的安装目录下(默认安装目录在c:\Program ...

  6. ibatis动态sql配置启动时提示:The content of elements must consist of well-formed character data...

    ibatis动态sql配置启动时提示:The content of elements must consist of well-formed character data... 2012-07-18 ...

  7. 5.4.2 使用配置启动firefox

    1.使用firefox的本地配置加载浏览器 使用本地配置加载浏览器,代码如下. 这样运行后,可以看到firebug等插件都已启动. 练习:假设做性能测试时,需要获取某个状况下的页面网络运行参数.要求完 ...

  8. HBase配置&启动脚本分析

    本文档基于hbase-0.96.1.1-cdh5.0.2,对HBase配置&启动脚本进行分析 date:2016/8/4 author:wangxl HBase配置&启动脚本分析 剔除 ...

  9. Spark配置&启动脚本分析

    本文档基于Spark2.0,对spark启动脚本进行分析. date:2016/8/3 author:wangxl Spark配置&启动脚本分析 我们主要关注3类文件,配置文件,启动脚本文件以 ...

随机推荐

  1. Web Service进阶

    选框架犹如选媳妇,选来选去,最后我还是选了“丑媳妇(CXF)”,为什么是它?因为 CXF 是 Apache 旗下的一款非常优秀的 WS 开源框架,具备轻量级的特性,而且能无缝整合到 Spring 中. ...

  2. 《算法》第六章部分程序 part 7

    ▶ 书中第六章部分程序,加上自己补充的代码,包括全局最小切分 Stoer-Wagner 算法,最小权值二分图匹配 ● 全局最小切分 Stoer-Wagner 算法 package package01; ...

  3. kettle实现简单的增量同步

    下载 pdi-ce-7.0.0.0-25.zip 解压 安装jdk 1.7以上的版本 配置环境变量 下载并将mysql-connector-java-5.1.39.jar 拷贝到 \data-inte ...

  4. scrapy之downloader执行流程

    Agent = client.Agent class ScrapyAgent(object): _Agent = Agent#为twisted的client.Agent类 _ProxyAgent = ...

  5. tomcat jvm 内存调优 适用于 JDK 6 & 7

    参考:https://blog.csdn.net/m0_37327416/article/details/76185051 1.jvm内存管理机制: 1)堆(Heap)和非堆(Non-heap)内存 ...

  6. 使用jquery刷新当前页面、刷新父级页面

    如何使用jquery刷新当前页面 下面介绍全页面刷新方法:有时候可能会用到 window.location.reload(); //刷新当前页面.(我用的这个一个,非常好) parent.locati ...

  7. Django的路由层详情

    1. Django的路由解析: 是从上往下进行匹配的 url(r'index', views.index) #这里的index 解析都可以被解析到的, abcindex index indexabc ...

  8. Photoshop 辅助线和标尺的使用技巧

    1.拖动辅助线时按住Alt键可以在水平辅助线和垂直辅助线之间切换.按住Alt键点击一条已经存在的垂直辅助线可以把它转为水平辅助线,反之亦然. 注意:辅助线是通过从标尺中拖出而建立的,所以要确保标尺是打 ...

  9. WeakReference与SoftReference

    WeakReference与SoftReference都可以用来保存对象的实例引用,这两个类与垃圾回收有关. WeakReference是弱引用,其中保存的对象实例可以被GC回收掉.这个类通常用于在某 ...

  10. BBS--首页、个人站点、ORM

    首页 首页文章排版渲染 登录不登录两种情况 1.bootstrap导航条 点击session 创建登陆后创建人物图表 bootstrap--样式 <li><a href=" ...