kafka服务端实验记录
kafka单机实验：
环境准备：
1、下载kafka，zookeeper，并解压
wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.11-2.3.0.tgz
wget https://apache.org/dist/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz
tar zxvf kafka_2.-2.3..tgz
tar zxvf apache-zookeeper-3.5.-bin.tar.gz
2、配置zookeeper
# 进入zookeeper的conf目录
# 拷贝一份zoo.cfg数据
cp zoo_sample.cfg zoo.cfg
# 编辑zoo.cfg数据
vim zoo.cfg
# 编辑内容，几个节点，添加几条（server.ZKID=ZKIP::)，用于zk之间的通信
server.=127.0.0.1::
# zoo.cfg中有个dataDir配置（数据存储的目录），默认为/tmp/zookeeper
# 新建目录/tmp/zookeeper
mkdir /tmp/zookeeper
# 新建文件
vim /tmp/zookeeper/myid
# 编辑内容，一个数字（ZKID），对应zoo.cfg的配置 # 进入zookeeper的bin目录
# 启动zk，并查看zk状态是否正常
./zkServer.sh start
./zkServer.sh status
3、配置kafka
# 进入kafka的config目录
# 备份并编辑server.properties
cp server.properties server.properties.bak
vim server.properties
# 编辑内容，broker.id改为大于0的，不同机器设置的不一样
broker.id=
# 其它配置，有需要自行修改
# 例如zookeeper不在本机，可以通过设置zookeeper.connect
# 进入kafka的bin目录
# 启动kafka
./kafka-server-start.sh ../config/server.properties
开始实验：
1、一个副本一个分区
# 命令：创建一个主题（topic为test，分区为1）
./kafka-topics.sh --create --zookeeper localhost: --replication-factor --partitions --topic test
# 结果：
Created topic test.
# 命令：查看所有主题
./kafka-topics.sh --list --zookeeper localhost:
# 结果：
test
# 命令：启动一个生产者
./kafka-console-producer.sh --broker-list localhost: --topic test
# 命令：另起一个ssh连接服务器，启动一个消费者
./kafka-console-consumer.sh --bootstrap-server localhost: --topic test --from-beginning
# 结果：
在生产者输入消息，在消费者会收到消息
2、一个副本多个分区
# 命令：创建一个主题（topic为test2，分区为3）
./kafka-topics.sh --create --zookeeper localhost: --replication-factor --partitions --topic test2
# 结果：
Created topic test2.
# 命令：查询这个主题（test2）的详细信息
./kafka-topics.sh --describe --zookeeper localhost: --topic test2
# 结果：
# topic为test2，分区数为3，副本集数量为1（单机，只有主副本）
# Partition：不同分区（、、）
# Leader：主副本的节点（负责读写的节点）
# Replicas：分区的复制节点列表（单机，只有主副本）
# Isr：同步状态的复制节点列表（Replicas的子集，存活且赶上主副本的）
Topic:test2 PartitionCount: ReplicationFactor: Configs:
Topic: test2 Partition: Leader: Replicas: Isr:
Topic: test2 Partition: Leader: Replicas: Isr:
Topic: test2 Partition: Leader: Replicas: Isr:
# 命令：启动一个生产者，发几条消息
./kafka-console-producer.sh --broker-list localhost: --topic test2
msg1
msg2
msg3
msg4
msg5
msg6
# 命令：查看分区0的log日志，消息负载均衡到各个分区
strings /tmp/kafka-logs/test2-/.log
# 结果：
msg2
msg5
# 命令：查看分区1的log日志，消息负载均衡到各个分区
strings /tmp/kafka-logs/test2-/.log
# 结果：
msg1
msg4
# 命令：查看分区2的log日志，消息负载均衡到各个分区
strings /tmp/kafka-logs/test2-/.log
# 结果：
msg3
msg6
kafka集群实验：
环境准备：
1、原先机器 其它配置不变，修改kafka配置
# 进入kafka的config目录
# 编辑server.properties，将listeners设置上内网IP（通过ifconfig查看）
listeners=PLAINTEXT://192.168.0.83:9092
# 注意，kafka集群云主机的，客户端自己电脑上，想要生产数据或者消费数据，需要通过外网访问kafka集群
# 因此需要再配置advertised.listeners，配置的地址为外网IP
advertised.listeners=PLAINTEXT://1.6.2.8:9092
# 启动kafka
./kafka-server-start.sh ../config/server.properties
2、第二台机器 配置kafka
# 下载kafka
wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.11-2.3.0.tgz
# 解压kafka
tar zxvf kafka_2.-2.3..tgz
# 进入kafka的config目录
# 备份并编辑server.properties
cp server.properties server.properties.bak
vim server.properties
# 编辑内容，broker.id改为大于0的，不同机器设置的不一样
broker.id=
# 编辑server.properties，将listeners设置上内网IP（通过ifconfig查看）
listeners=PLAINTEXT://192.168.0.5:9092
# 注意，kafka集群云主机的，客户端自己电脑上，想要生产数据或者消费数据，需要通过外网访问kafka集群
# 因此需要再配置advertised.listeners，配置的地址为外网IP
advertised.listeners=PLAINTEXT://1.6.2.4:9092
# 编辑内容，配置zk集群的地址（就第一台机器）
zookeeper.connect=192.168.0.83:
# 进入kafka的bin目录
# 启动kafka
./kafka-server-start.sh ../config/server.properties
开始实验：
1、各个分区在两个机器的负载均衡 以及 kafka集群的高可用
# 在第一台机器操作
# 进入kafka的bin目录
# 命令：创建一个主题（topic为test4，分区为3，副本集为2）
./kafka-topics.sh --create --zookeeper localhost: --replication-factor --partitions --topic test4
# 结果：
Created topic test4.
# 命令：查看topic(test4)的详细信息
./kafka-topics.sh --describe --zookeeper localhost: --topic test4
# 结果：每个分区的主副本负载均衡到两台机器
Topic:test4 PartitionCount: ReplicationFactor: Configs:
Topic: test4 Partition: Leader: Replicas: , Isr: ,
Topic: test4 Partition: Leader: Replicas: , Isr: ,
Topic: test4 Partition: Leader: Replicas: , Isr: ,
# 挂掉第二台机器的kafka
# 命令：查看topic(test4)的详细信息
./kafka-topics.sh --describe --zookeeper localhost: --topic test4
# 结果：分区的主副本会转移到第一台机器，Replicas不变，Isr只会有1，表示存活的只有1
Topic:test4 PartitionCount: ReplicationFactor: Configs:
Topic: test4 Partition: Leader: Replicas: , Isr:
Topic: test4 Partition: Leader: Replicas: , Isr:
Topic: test4 Partition: Leader: Replicas: , Isr:
# 命令：启动消费者输几条数据
./kafka-console-producer.sh --broker-list 116.196.92.98: --topic test4
msg1
msg2
msg3
msg4
msg5
msg6
# 恢复第二台机器的kafka
# 命令：查看topic(test4)的详细信息
./kafka-topics.sh --describe --zookeeper localhost: --topic test4
# 结果：主副本没变化，没再负载均衡到第二台机器，但是ISR的列表都加了2，表示第二台机器已存活并追上第一台机器
Topic:test4 PartitionCount: ReplicationFactor: Configs:
Topic: test4 Partition: Leader: Replicas: , Isr: ,
Topic: test4 Partition: Leader: Replicas: , Isr: ,
Topic: test4 Partition: Leader: Replicas: , Isr: ,
# 命令：查看下各个分区的日志，数据都已从第一台机器同步过来
strings /tmp/kafka-logs/test4-/.log
msg2
msg5
# 挂掉第一台机器的kafka
# 在第二台机器操作
# 进入kafka的bin目录
# 命令：查看topic(test4)的详细信息
./kafka-topics.sh --describe --zookeeper 192.168.0.83: --topic test4
# 结果：分区的主副本会转移到第二台机器，Replicas不变，Isr只会有2，表示存活的只有2
Topic:test4 PartitionCount: ReplicationFactor: Configs:
Topic: test4 Partition: Leader: Replicas: , Isr:
Topic: test4 Partition: Leader: Replicas: , Isr:
Topic: test4 Partition: Leader: Replicas: , Isr:
# 恢复第一台机器的kafka
# 命令：查看topic(test4)的详细信息
./kafka-topics.sh --describe --zookeeper 192.168.0.83: --topic test4
# 结果：主副本没变化，没再负载均衡到第一台机器，但是ISR的列表都加了1，表示第一台机器已存活并追上第二台机器
Topic:test4 PartitionCount: ReplicationFactor: Configs:
Topic: test4 Partition: Leader: Replicas: , Isr: ,
Topic: test4 Partition: Leader: Replicas: , Isr: ,
Topic: test4 Partition: Leader: Replicas: , Isr: ,
# 命令：负载均衡各个分区的主副本
./kafka-preferred-replica-election.sh --zookeeper 192.168.0.83:
# 命令：查看topic(test4)的详细信息
./kafka-topics.sh --describe --zookeeper 192.168.0.83: --topic test4
# 结果：各个分区的主副本进行负载均衡到两个机器
Topic:test4 PartitionCount: ReplicationFactor: Configs:
Topic: test4 Partition: Leader: Replicas: , Isr: ,
Topic: test4 Partition: Leader: Replicas: , Isr: ,
Topic: test4 Partition: Leader: Replicas: , Isr: ,
kafka服务端实验记录的更多相关文章
- Kafka服务端之网络连接源码分析
#### 简介 上次我们通过分析KafkaProducer的源码了解了生产端的主要流程,今天学习下服务端的网络层主要做了什么,先看下 KafkaServer的整体架构图 \)个结点的有向图,每条边有个limit,表示经过这条边l ...
- lower_bound( )和upper_bound( )怎么用嘞↓↓↓
lower_bound( )和upper_bound( )都是利用二分查找的方法在一个排好序的数组中进行查找的. 在从小到大的排序数组中, lower_bound( begin,end,num):从数 ...
- Spring Cloud Gateway（十一）：全局过滤器GlobalFilter
本文基于 spring cloud gateway 2.0.1 1.简介 GlobalGilter 全局过滤器接口与 GatewayFilter 网关过滤器接口具有相同的方法定义.全局过滤器是一系列特 ...
- hbase 监控指标项
名词解释 JMX:Java Management Extensions,用于用于Java程序扩展监控和管理项 GC:Garbage Collection,垃圾收集,垃圾回收机制 指标项来源 主机名 u ...
- 什么是TCP粘包？怎么解决这个问题
在socket网络编程中,都是端到端通信,由客户端端口+服务端端口+客户端IP+服务端IP+传输协议组成的五元组可以明确的标识一条连接.在TCP的socket编程中,发送端和接收端都有成对的socke ...
- Cloudera-Manager(一） —— 基本概念及使用
概念 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器,这款利器具有集群自动化安装.中心化管理.集群监控.报警等功能,极大的提高集群管理的效率. AP ...
- 第07组 Alpha冲刺（6/6）
队名:摇光 队长:杨明哲 组长博客:求戳 作业博客:求再戳 队长:杨明哲 过去两天完成了哪些任务 文字/口头描述:博客生成的逻辑 展示GitHub当日代码/文档签入记录:(组内共用,已询问过助教小姐姐 ...
- Android 属性property_get/property_set
每个属性都有一个名称和值,他们都是字符串格式.属性被大量使用在Android系统中,用来记录系统设置或进程之间的信息交换.属性是在整个系统中全局可见的.每个进程可以get/set属性. 在系统初始化时 ...
- Nginx Windows版安装及域名绑定
1.到 http://nginx.org/en/download.html 下载一个稳定版本1.16.1 2.解压,放到C盘根目录下,如C:\nginx-1.16.1,此时双击nginx.exe就启动 ...
- oracle远程连接服务器
一.需要下载的工具 1.PLSQL Developer 下载及安装地址如下: http://www.zdfans.com/html/18196.html 2.下载instantclient-basic ...