当前基于kafaka最新版 kafka_2.12-2.2.1.tgz 进行配置 。

官网地址：http://kafka.apache.org/intro

kafka的一些基础知识 参考：http://www.hechunbo.com/index.php/archives/140.html

最新版 kafka_2.12-2.2.1.tgz 进行配置 。单机生产者消费者图解配配置，多机模拟配置。以及文件读写配置，经验掌握，集成zookeeper不用再安装

  1. 配置java环境安装jdk

    参考http://www.hechunbo.com/index.php/archives/132.html

  2. 解压kafaka

    [root@localhost hcb]# tar -zxvf kafka_2.12-2.2.1.tgz -C /usr/local

  3. 启动zookeeper .因为最新版 已经包含有zookeeper 所以不用另外安装了

    [root@localhost kafka_2.12-2.2.1]# bin/zookeeper-server-start.sh config/zookeeper.properties
    
[2019-06-22 17:47:49,667] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)

  4. 重新开一个连接 。输入jps 发现多了一个进程

    [root@localhost ~]# jps
    
3136 Jps
    
2842 QuorumPeerMain

  5. 启动kafka

    [root@localhost kafka_2.12-2.2.1]# ./bin/kafka-server-start.sh config/server.properties
    
[2019-06-22 17:51:18,786] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$)
    
[2019-06-22 17:51:20,624] INFO starting (kafka.server.KafkaServer)

  6. 再开一个连接 输入jps查看当前运行的进程

    发现多了一个kafka

    [root@localhost ~]# jps
    
3504 Jps
    
2842 QuorumPeerMain
    
3147 Kafka

  7. 创建一个topic

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
    
[root@localhost kafka_2.12-2.2.1]#

  8. 查看topic消息

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-topics.sh --list --bootstrap-server localhost:9092
    
test

  9. 发送消息 到test

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    
hi,>welcome to to kafka
    
>hi ,how are you

  10. 消费者取消息

    [root@localhost kafka_2.12-2.2.1]#  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
    
hi,welcome to to kafka
    
hi ,how are you

    生产者发送消息以后，消费者有通知 ，

  11. 进行多台机子测试

    因为我们是单台机子，所以把配置文件复制两份，更改端口和id配置进行第二台，第三台的模拟

    [root@localhost ~]# cd /usr/local/kafka_2.12-2.2.1/
    
[root@localhost kafka_2.12-2.2.1]# cp config/server.properties config/server-1.properties
    
[root@localhost kafka_2.12-2.2.1]# cp config/server.properties config/server-2.properties

    修改第二台机子的配置

    vi config/server-1.properties
    
log.dirs=/tmp/kafka-logs-1
    
listeners=PLAINTEXT://:9093
    
broker.id=1

    修改第三台机子

    vi config/server-2.properties
    
log.dirs=/tmp/kafka-logs-2
    
listeners=PLAINTEXT://:9094
    
broker.id=2

  12. 启动新模拟的两台服务器

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-server-start.sh config/server-1.properties
    
[2019-06-22 18:23:56,237] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$)

    新开连接 继续启动第三台，顺便查看下当前的进程 。发现有两个kafka存在了

    [root@localhost ~]# jps
    
4370 ConsoleProducer
    
2842 QuorumPeerMain
    
5642 Jps
    
3147 Kafka
    
4955 ConsoleConsumer
    
5278 Kafka
    
[root@localhost ~]# cd /usr/local/kafka_2.12-2.2.1/
    
^C[root@localhost kafka_2.12-2.2.1]# bin/kafka-server-start.sh config/server-2.properties
    
[2019-06-22 18:27:31,947] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$)

    新开一个连接 ，查看下当前进程 ，三个kafka正常启动了

    [root@localhost ~]# jps
    
4370 ConsoleProducer
    
6307 Jps
    
2842 QuorumPeerMain
    
3147 Kafka
    
4955 ConsoleConsumer
    
5948 Kafka
    
5278 Kafka

  13. 创建一个带有备份的topic

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replication-topic

  14. 查看哪个borke【kafka服务器】在工作

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replication-topic
    
Topic:my-replication-topic	PartitionCount:1	ReplicationFactor:3	Configs:segment.bytes=1073741824
    
	Topic: my-replication-topic	Partition: 0	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0

    leader:哪个broker在读写

    replicas:当前可以正常工作的kafka集群。当leader挂掉时会自动替补

    isr:同步消息的列表集合

  15. 查看我们之前创建的topic消息

    当时我们只有一个kafka服务器。可以看只leader是0，替被和备份的都是0，

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test
    
Topic:test	PartitionCount:1	ReplicationFactor:1	Configs:segment.bytes=1073741824
    
	Topic: test	Partition: 0	Leader: 0	Replicas: 0	Isr: 0

  16. 在新的topic中发布新的消息

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replication-topic
    
>message one
    
>message two

  17. 消费者去获取消息

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-console-consumer.sh  --bootstrap-server  localhost:9092 --from-beginning --topic my-replication-topic
    
message one
    
message two

  18. 检查当前的leader

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replication-topic
    
Topic:my-replication-topic	PartitionCount:1	ReplicationFactor:3	Configs:segment.bytes=1073741824
    
	Topic: my-replication-topic	Partition: 0	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0

  19. 模拟leader1挂掉以后的状态

    把leader1关掉

    检查leader1的进程

    ps aux 显示用户当前的所有进程 。并根据grep后面的内容进行搜索

    用kill杀死相关进程

    [root@localhost kafka_2.12-2.2.1]# ps aux | grep server-1.properties
    
root       5278  3.5 20.5 3232460 205560 pts/5  Sl+  18:23   1:06 /usr/local/jdk1.8.0_211/bin/java -Xmx1G
    
[root@localhost kafka_2.12-2.2.1]# kill -9 5278

  20. 再次检查当前topic的消息

    发现leader已经从1变成了2.

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replication-topic
    
Topic:my-replication-topic	PartitionCount:1	ReplicationFactor:3	Configs:segment.bytes=1073741824
    
	Topic: my-replication-topic	Partition: 0	Leader: 2	Replicas: 1,2,0	Isr: 2,0

  21. 使用kafka connect 导入导出数据

    souce connector 从text.txt读取文件 ，把内容发送到connect-test., sink connector 从conect-test读写消息

    [root@localhost kafka_2.12-2.2.1]# bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties  config/connect-file-sink.properties
    
[2019-06-22 19:05:55,493] INFO Kafka Connect standalone worker initializing ... (org.apache.kafka.connect.cli.ConnectStandalone:67)

    进行jps分发现多了一个ConnectStandalone的进程

    [root@localhost ~]# jps
    
4370 ConsoleProducer
    
9478 Jps
    
9160 ConnectStandalone
    
2842 QuorumPeerMain
    
3147 Kafka
    
4955 ConsoleConsumer
    
5948 Kafka

    显示文件内容

    more 命令类似 cat ，不过会以一页一页的形式显示，更方便使用者逐页阅读，

    [root@localhost kafka_2.12-2.2.1]# more test.sink.txt
    
foo
    
bar

    使用消费者控制 台显示

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
    
{"schema":{"type":"string","optional":false},"payload":"foo"}
    
{"schema":{"type":"string","optional":false},"payload":"bar"}

    继续测试

    生产者进行消息追加

    [root@localhost kafka_2.12-2.2.1]# echo -e "foo\nbarddddaaa\aaaaa\dddd\1\2\2\3" > test.txt
    
[root@localhost kafka_2.12-2.2.1]# echo -e "foo\nbarddddaaa\aaaaa\dddd\1\2\2\3\new append" > test.txt

    消费者进行实时显示

    [root@localhost kafka_2.12-2.2.1]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
    
{"schema":{"type":"string","optional":false},"payload":"foo"}
    
{"schema":{"type":"string","optional":false},"payload":"bar"}
    
{"schema":{"type":"string","optional":false},"payload":"dddd"}
    
{"schema":{"type":"string","optional":false},"payload":"aaaaaaad"}
    
{"schema":{"type":"string","optional":false},"payload":"dd"}
    
^[[A^[[A^[[B{"schema":{"type":"string","optional":false},"payload":"1\\2\\2\\3"}
    
{"schema":{"type":"string","optional":false},"payload":"ew append"}

Kafka 最新版配置的更多相关文章

  1. kafka搭建到配置borker集群（项目开发-区块链）

    (以下分享了搭建kafka需要使用到的命令,差不多齐了,这里没有提到kafka-manager ,同学可以在网上自行查找) 最近公司的项目比较紧,先说下使用kafka的用处: 要替代原来 撮合引擎发数 ...

  2. 【转】 详解Kafka生产者Producer配置

    粘贴一下这个配置,与我自己的程序做对比,看看能不能完善我的异步带代码:   -----------------------------------------    详解Kafka生产者Produce ...

  3. JAVA版Kafka代码及配置解释

    伟大的程序员版权所有,转载请注明:http://www.lenggirl.com/bigdata/java-kafka.html.html 一.JAVA代码 kafka是吞吐量巨大的一个消息系统,它是 ...

  4. Linux下Kafka单机安装配置方法(图文)

    Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了 ...

  5. HyperLedger Fabric基于zookeeper和kafka集群配置解析

    简述 在搭建HyperLedger Fabric环境的过程中,我们会用到一个configtx.yaml文件(可参考Hyperledger Fabric 1.0 从零开始(八)--Fabric多节点集群 ...

  6. kafka manager安装配置和使用

    kafka manager安装配置和使用 .安装yum源 curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintra ...

  7. Linux下Kafka单机安装配置方法

    Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topi ...

  8. Kafka集群配置---Windows版

    Kafka是一种高吞吐量的分布式发布订阅的消息队列系统,Kafka对消息进行保存时是通过tipic进行分组的.今天我们仅实现Kafka集群的配置.理论的抽空在聊 前言 最近研究kafka,发现网上很多 ...

  9. java架构之路（MQ专题）kafka集群配置和简单使用

    前面我们说了RabbitMQ和RocketMQ的安装和简单的使用,这次我们说一下Kafka的安装配置,后面我会用几个真实案例来说一下MQ的真实使用场景.天冷了,不愿意伸手,最近没怎么写博客了,还请见谅 ...

随机推荐

  1. 易优cms后台RCE以及任意文件上传漏洞

    前言 EyouCms是基于TP5.0框架为核心开发的免费+开源的企业内容管理系统,专注企业建站用户需求提供海量各行业模板,降低中小企业网站建设.网络营销成本,致力于打造用户舒适的建站体验.易优cms ...

  2. 解决mysql登录警告问题

    一.前言 我们在登录mysql的时候经常会看到一句警告: Warning: Using a password on the command line interface can be insecure ...

  3. jenkins+docker+git+harbor构建及代码回滚（未完）

    目录 一.部署 环境工作流程介绍 部署harbor 一.部署 前提环境说明 192.168.111.3 该机器为git本地仓库,及git远程仓库(git用户创建),及Harbor镜像仓库 192.16 ...

  4. Android笔记（十三） Android中的基本组件——文本

    Android中常用的文本组件有 普通文本框(TextView)和编辑框(EditText)两种 EditText是TextView的子类,作用就是在界面上显示文本,区别是EditText允许用户编辑 ...

  5. Spark foreachpartiton和mappartition的异同

    相同 都是对分区进行操作 不同 1.foreachpartition是Action操作,mappartition是Transformation操作 2.foreachpartition无返回值,map ...

  6. 【OF框架】配置信息Config添加配置和代码调用api

    一.配置规范 配置信息全部写在OF.WebShell项目文件config.json中 配置键使用OF.开头,配置格式如下: { "OF.IgnoredUrl": "log ...

  7. 运输层5——TCP报文段的首部格式

    写在前面:本文章是针对<计算机网络第七版>的学习笔记 运输层1--运输层协议概述 运输层2--用户数据报协议UDP 运输层3--传输控制协议TCP概述 运输层4--TCP可靠运输的工作原理 ...

  8. two pointers 思想

    针对有序的序列特性做出的优化思想

  9. zstu月赛 招生

    题目 浙江理工大学招生,一开始有0名学生报考,现在有如下几种情况: 1.增加一名报考学生,报考学生成绩为x: 2.一名成绩为x的学生放弃报考. 3.从现在报考的学生来看,老师想知道如果要招生至少x名学 ...

  10. k8s的高可用

    一.高可用原理   配置一台新的master节点,然后在每台node节点上安装nginx,nginx通过内部的负载均衡将node节点上需要通过访问master,kube-apiserver组件的请求, ...