搭建Zookeeper、Kafka集群

Zookeeper、Kafka集群系统环境配置

配置IP

ssh root@192.168.1.190 "rm -rf /etc/machine-id; systemd-machine-id-setup;reboot"

ssh root@192.168.1.192 "rm -rf /etc/machine-id; systemd-machine-id-setup;reboot"

ssh root@192.168.1.194 "rm -rf /etc/machine-id; systemd-machine-id-setup;reboot"

ssh root@192.168.1.190 "nmcli con delete uuid d1141403-18c6-3149-907c-ed5f09663a7f;nmcli con add type ethernet ifname ens160 con-name ens160;nmcli con up ens160"

ssh root@192.168.1.192 "nmcli con delete uuid d1141403-18c6-3149-907c-ed5f09663a7f;nmcli con add type ethernet ifname ens160 con-name ens160;nmcli con up ens160"

ssh root@192.168.1.194 "nmcli con delete uuid d1141403-18c6-3149-907c-ed5f09663a7f;nmcli con add type ethernet ifname ens160 con-name ens160;nmcli con up ens160"

ssh root@192.168.1.190 "nmcli con mod ens160 ipv4.addresses 192.168.1.61/24; nmcli con mod ens160 ipv4.gateway  192.168.1.1; nmcli con mod ens160 ipv4.method manual; nmcli con mod ens160 ipv4.dns "8.8.8.8"; nmcli con up ens160"

ssh root@192.168.1.192 "nmcli con mod ens160 ipv4.addresses 192.168.1.62/24; nmcli con mod ens160 ipv4.gateway  192.168.1.1; nmcli con mod ens160 ipv4.method manual; nmcli con mod ens160 ipv4.dns "8.8.8.8"; nmcli con up ens160"

ssh root@192.168.1.194 "nmcli con mod ens160 ipv4.addresses 192.168.1.63/24; nmcli con mod ens160 ipv4.gateway  192.168.1.1; nmcli con mod ens160 ipv4.method manual; nmcli con mod ens160 ipv4.dns "8.8.8.8"; nmcli con up ens160"

ssh root@192.168.1.61 "nmcli con mod ens160 ipv6.addresses fc00::61/8; nmcli con up ens160"

ssh root@192.168.1.62 "nmcli con mod ens160 ipv6.addresses fc00::62/8; nmcli con up ens160"

ssh root@192.168.1.63 "nmcli con mod ens160 ipv6.addresses fc00::63/8; nmcli con up ens160"

[root@localhost ~]#  cat /etc/NetworkManager/system-connections/ens160.nmconnection

[connection]

id=ens160

uuid=94c63fdf-cd5a-427c-9846-5a447de2a4f5

type=ethernet

interface-name=ens160

timestamp=1744436596

[ethernet]

[ipv4]

address1=192.168.1.61/24,192.168.1.1

dns=192.168.1.99;

method=manual

[ipv6]

addr-gen-mode=default

address1=fc00::61/8

method=auto

[proxy]

设置主机名

hostnamectl set-hostname zk-1

hostnamectl set-hostname zk-2

hostnamectl set-hostname zk-3

关闭防火墙、selinux

# 关闭防火墙

systemctl disable --now firewalld

# 关闭selinux

setenforce 0

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

安装JDK

# 查看是否存在jdk、如果安装先卸载jdk

rpm -qa|grep jdk

# 下载jdk

https://www.oracle.com/java/technologies/downloads/#java8

# 解压jdk

tar -xvf jdk-8u441-linux-x64.tar.gz

# 移动到安装目录

mv jdk1.8.0_441/ /usr/local/

# 编辑环境变量

vim  /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_441

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

# 刷新环境变量

source /etc/profile

# 查看版本

[root@zk-1 ~]# java -version

java version "1.8.0_441"

Java(TM) SE Runtime Environment (build 1.8.0_441-b07)

Java HotSpot(TM) 64-Bit Server VM (build 25.441-b07, mixed mode)

安装Zookeeper集群

# 下载Zookeeper

# https://archive.apache.org/dist/zookeeper/

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.9.3/apache-zookeeper-3.9.3-bin.tar.gz

# 创建应用目录

mkdir -vp /app/zookeeper-cluster

cd /app/zookeeper-cluster

# 解压安装

mv /root/apache-zookeeper-3.9.3-bin.tar.gz .

tar xvf  apache-zookeeper-3.9.3-bin.tar.gz

mv apache-zookeeper-3.9.3-bin zk

修改zookeeper配置

# 创建目录来存放数据和日志

cd zk

mkdir data logs 

# 拷贝配置样例

cd conf

cp zoo_sample.cfg zoo.cfg

# 修改配置文件

vi zoo.cfg

# 设置日志和存储目录

dataDir=/app/zookeeper-cluster/zk/data

dataLogDir=/app/zookeeper-cluster/zk/logs

# 添加节点信息

server.1=192.168.1.61:2888:3888

server.2=192.168.1.62:2888:3888

server.3=192.168.1.63:2888:3888

# 添加sasl

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

jaasLoginRenew=3600000

requireClientAuthScheme=sasl

zookeeper.sasl.client=true

我的完整配置

[root@zk-1 conf]# cat zoo.cfg | grep -Ev '^$|#'

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/app/zookeeper-cluster/zk/data

dataLogDir=/app/zookeeper-cluster/zk/logs

clientPort=2181

server.1=192.168.1.61:2888:3888

server.2=192.168.1.62:2888:3888

server.3=192.168.1.63:2888:3888

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

jaasLoginRenew=3600000

requireClientAuthScheme=sasl

zookeeper.sasl.client=true

设置sasl认证

# 设置sasl认证

cat <<EOF | tee /app/zookeeper-cluster/zk/conf/zk_jaas.conf

Server {

   org.apache.zookeeper.server.auth.DigestLoginModule required

   user_cby="Cby123..";

};

Client {

       org.apache.zookeeper.server.auth.DigestLoginModule required

       username="cby"

       password="Cby123..";

};

EOF

# 修改zookeeper环境变量

# 在最下添加变量

vim zkEnv.sh

export JVMFLAGS="-Djava.security.auth.login.config=/app/zookeeper-cluster/zk/conf/zk_jaas.conf ${JVMFLAGS}"

# 我的结果

[root@zk-1 bin]# cat zkEnv.sh | grep JVMFLAGS

export SERVER_JVMFLAGS="-Xmx${ZK_SERVER_HEAP}m $SERVER_JVMFLAGS"

export CLIENT_JVMFLAGS="-Xmx${ZK_CLIENT_HEAP}m $CLIENT_JVMFLAGS"

export JVMFLAGS="-Djava.security.auth.login.config=/app/zookeeper-cluster/zk/conf/zk_jaas.conf ${JVMFLAGS}"

设置启动方式

# 在data目录中创建myid文件

# 节点1上配置

echo 1 >/app/zookeeper-cluster/zk/data/myid

# 节点2上配置

echo 2 >/app/zookeeper-cluster/zk/data/myid

# 节点3上配置

echo 3 >/app/zookeeper-cluster/zk/data/myid

# 创建系统启动文件

cat <<EOF | tee /usr/lib/systemd/system/zookeeper.service

[Unit]

Description=zookeeper

After=network.target

[Service]

Type=forking

Environment=JAVA_HOME=/usr/local/jdk1.8.0_441

ExecStart=/app/zookeeper-cluster/zk/bin/zkServer.sh start

ExecStop=/app/zookeeper-cluster/zk/bin/zkServer.sh stop

PIDFile=/app/zookeeper-cluster/zk/data/zookeeper_server.pid

KillMode=none

User=root

Group=root

Restart=on-failure

[Install]

WantedBy=multi-user.target

EOF

启动停止

# 重载

systemctl daemon-reload

# 启动

systemctl start zookeeper

# 停止

systemctl stop zookeeper

# 设置开机自启并启动

systemctl enable --now zookeeper

# 查看状态

systemctl status zookeeper

使用测试

# 登录每个节点 进行设置sasl

/app/zookeeper-cluster/zk/bin/zkCli.sh -server 192.168.1.61:2181

/app/zookeeper-cluster/zk/bin/zkCli.sh -server 192.168.1.62:2181

/app/zookeeper-cluster/zk/bin/zkCli.sh -server 192.168.1.63:2181

# 设置Acl读写权限

setAcl / sasl:cby:crdwa

# 创建目录及Acl验证命令：

addauth digest super:cby

create /cby

getAcl /

......略.....

[zk: 192.168.1.63:2181(CONNECTED) 0] setAcl / sasl:cby:crdwa

[zk: 192.168.1.63:2181(CONNECTED) 1]

[zk: 192.168.1.63:2181(CONNECTED) 1] addauth digest super:cby

[zk: 192.168.1.63:2181(CONNECTED) 2] create /cby

Node already exists: /cby

[zk: 192.168.1.63:2181(CONNECTED) 3] getAcl /

'sasl,'cby

: cdrwa

[zk: 192.168.1.63:2181(CONNECTED) 4]

安装Kafka集群

# 下载Kafka

# http://kafka.apache.org/downloads

# wget https://dlcdn.apache.org/kafka/3.9.0/kafka_2.13-3.9.0.tgz

wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.9.0/kafka_2.13-3.9.0.tgz

# 创建应用目录

mkdir -vp /app/kafka-cluster

cd /app/kafka-cluster

# 解压安装

mv /root/kafka_2.13-3.9.0.tgz  .

tar xvf kafka_2.13-3.9.0.tgz

mv kafka_2.13-3.9.0 kafka

mkdir -p /app/kafka-cluster/kafka/kafka-logs

修改配置

# 修改配置

cd /app/kafka-cluster/kafka/config

vim server.properties

# 修改项：broker.id、log.dirs、zookeeper.connect、listeners、advertised.listeners，并新增以下配置

# broker.id 三台设置为不一致的

security.inter.broker.protocol=SASL_PLAINTEXT

sasl.enabled.mechanisms=PLAIN

sasl.mechanism.inter.broker.protocol=PLAIN

authorizer.class.name=kafka.security.authorizer.AclAuthorizer

allow.everyone.if.no.acl.found=false

super.users=User:cby

我的配置

# 我的配置

[root@zk-1 config]# cat server.properties | grep -Ev '^$|#'

broker.id=1

listeners=SASL_PLAINTEXT://:9092

advertised.listeners=SASL_PLAINTEXT://192.168.1.61:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/app/kafka-cluster/kafka/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.retention.check.interval.ms=300000

zookeeper.connect=192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

security.inter.broker.protocol=SASL_PLAINTEXT

sasl.enabled.mechanisms=PLAIN

sasl.mechanism.inter.broker.protocol=PLAIN

authorizer.class.name=kafka.security.authorizer.AclAuthorizer

allow.everyone.if.no.acl.found=false

super.users=User:cby

# 修改配置

cd /app/kafka-cluster/kafka/config

vim producer.properties

[root@zk-1 config]# cat producer.properties | grep -Ev '^$|#'

bootstrap.servers=192.168.1.61:9092,192.168.1.62:9092,192.168.1.63:9092

compression.type=none

服务配置认证

# 服务端配置登录认证

cat <<EOF | tee /app/kafka-cluster/kafka/config/kafka_server_jaas.conf

KafkaServer {

    org.apache.kafka.common.security.plain.PlainLoginModule required

    username="cby"

    password="Cby123.."

    user_cby="Cby123..";

};

Client {

    org.apache.kafka.common.security.plain.PlainLoginModule required

    username="cby"

    password="Cby123..";

};

EOF

客户配置认证

# 客户端配置登录认证

cat <<EOF | tee /app/kafka-cluster/kafka/config/kafka_client_jaas.conf

KafkaClient {

       org.apache.kafka.common.security.plain.PlainLoginModule required

       username="cby"

       password="Cby123..";

};

EOF

配置启动认证

# 修改kafka-server-start.sh脚本，新增 -Djava.security.auth.login.config=/app/kafka-cluster/kafka/config/kafka_server_jaas.conf

vim kafka-server-start.sh

[root@zk-3 bin]# cat kafka-server-start.sh | grep -Ev '^$|#'

then

	echo "USAGE: $0 [-daemon] server.properties [--override property=value]*"

	exit 1

fi

base_dir=$(dirname $0)

if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then

    export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties"

fi

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=/app/kafka-cluster/kafka/config/kafka_server_jaas.conf"

fi

EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc'}

COMMAND=$1

case $COMMAND in

  -daemon)

    EXTRA_ARGS="-daemon "$EXTRA_ARGS

    shift

    ;;

  *)

    ;;

esac

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"

[root@zk-3 bin]#

配置生产消费认证

# 配置生产和消费者的登录验证

# 在export KAFKA_HEAP_OPTS="-Xmx512M后添加 -Djava.security.auth.login.config=/app/kafka-cluster/kafka/config/kafka_client_jaas.conf

vim kafka-console-consumer.sh

[root@zk-1 bin]# cat kafka-console-consumer.sh | grep -Ev '^$|#'

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

    export KAFKA_HEAP_OPTS="-Xmx512M -Djava.security.auth.login.config=/app/kafka-cluster/kafka/config/kafka_client_jaas.conf"

fi

exec $(dirname $0)/kafka-run-class.sh org.apache.kafka.tools.consumer.ConsoleConsumer "$@"

[root@zk-1 bin]# 

vim kafka-console-producer.sh

[root@zk-1 bin]# cat kafka-console-producer.sh | grep -Ev '^$|#'

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

    export KAFKA_HEAP_OPTS="-Xmx512M -Djava.security.auth.login.config=/app/kafka-cluster/kafka/config/kafka_client_jaas.conf"

fi

exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"

[root@zk-1 bin]#

配置启动停止

# 创建系统启动文件

cat <<EOF | tee /usr/lib/systemd/system/kafka.service

[Unit]

Description=kafka-node01

After=network.target

[Service]

Type=simple

Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/jdk1.8.0_441/bin"

User=root

Group=root

LimitNOFILE=100000

ExecStart=/app/kafka-cluster/kafka/bin/kafka-server-start.sh /app/kafka-cluster/kafka/config/server.properties

ExecStop=/app/kafka-cluster/kafka/bin/kafka-server-stop.sh

Restart=on-failure

[Install]

WantedBy=multi-user.target

EOF

启动停止

# 重载

systemctl daemon-reload

# 启动

systemctl start kafka

# 停止

systemctl stop kafka

# 设置开机自启并启动

systemctl enable --now kafka

# 查看状态

systemctl status kafka

配置账号密码

#因为配置了SSL所以需要配置加密认证文件

cat <<EOF | tee /app/kafka-cluster/kafka/config/admin.conf

security.protocol=SASL_PLAINTEXT

sasl.mechanism=PLAIN

sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="cby" password="Cby123..";

EOF

测试使用



# 创建topic

./kafka-topics.sh --create --topic cby --replication-factor 3 --partitions 3 --bootstrap-server  192.168.1.61:9092,192.168.1.62:9092,192.168.1.63:9092 --command-config ../config/admin.conf

# 查看topic

./kafka-topics.sh --list  --bootstrap-server  192.168.1.61:9092,192.168.1.62:9092,192.168.1.63:9092 --command-config ../config/admin.conf

# 发送消息

./kafka-console-producer.sh --broker-list 192.168.1.61:9092,192.168.1.62:9092,192.168.1.63:9092 --topic cby --producer.config ../config/admin.conf

>123

>321

# 查看消息

./kafka-console-consumer.sh --bootstrap-server 192.168.1.61:9092,192.168.1.62:9092,192.168.1.63:9092 --topic cby --from-beginning --consumer.config ../config/admin.conf

123

321

# 删除topic

./kafka-topics.sh --delete --topic cby  --bootstrap-server  192.168.1.61:9092,192.168.1.62:9092,192.168.1.63:9092 --command-config ../config/admin.conf

关于

https://www.oiox.cn/

https://www.oiox.cn/index.php/start-page.html

CSDN、GitHub、知乎、开源中国、思否、掘金、简书、华为云、阿里云、腾讯云、哔哩哔哩、今日头条、新浪微博、个人博客

全网可搜《小陈运维》

搭建Zookeeper、Kafka集群的更多相关文章

  1. 搭建zookeeper+kafka集群

      搭建zookeeper+kafka集群 一.环境及准备 集群环境:   软件版本: 部署前操作: 关闭防火墙,关闭selinux(生产环境按需关闭或打开) 同步服务器时间,选择公网ntpd服务器或 ...

  2. window环境搭建zookeeper,kafka集群

    为了演示集群的效果,这里准备一台虚拟机(window 7),在虚拟机中搭建了单IP多节点的zookeeper集群(多IP节点的也是同理的),并且在本机(win 7)和虚拟机中都安装了kafka. 前期 ...

  3. Docker搭建Zookeeper&Kafka集群

    最近在学习Kafka,准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了(嗯..主要是懒). 环境准备 一台可以上网且有CentOS7虚拟机的电脑 为什么使用虚 ...

  4. 虚拟机搭建Zookeeper服务器集群完整笔记

    虚拟机搭建Zookeeper服务器集群完整笔记 本笔记主要记录自己搭建Zookeeper服务器的全过程,默认已经安装部署好Centos7. 一.虚拟机下Centos无法联网解决方案 1.首先调整虚拟机 ...

  5. zookeeper+kafka集群安装之二

    zookeeper+kafka集群安装之二 此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境. zookeeper安装 ...

  6. zookeeper+kafka集群安装之一

    zookeeper+kafka集群安装之一 准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置如下: $ cat /etc/hosts ... # zookeeper hostnames ...

  7. Zookeeper+Kafka集群部署(转)

    Zookeeper+Kafka集群部署 主机规划: 10.200.3.85  Kafka+ZooKeeper 10.200.3.86  Kafka+ZooKeeper 10.200.3.87  Kaf ...

  8. zookeeper+kafka集群安装之中的一个

    版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/cheungmine/article/details/26678877 zookeeper+kafka ...

  9. Zookeeper+Kafka集群部署

    Zookeeper+Kafka集群部署 主机规划: 10.200.3.85  Kafka+ZooKeeper 10.200.3.86  Kafka+ZooKeeper 10.200.3.87  Kaf ...

  10. CentOS6.3搭建ZooKeeper伪集群

    1. 将zookeeper安装包移动至/home, 解压后改名为zookeeper 相关命令 # 解压 .tar.gz # 重命名 zookeeper 2. 进入zookeeper/conf/目录下, ...

随机推荐

  1. AI编程：cursor使用教程

    这是小卷对AI编程工具学习的第1篇文章,今天以cursor为例,通过给提示词,让不懂编程的小白也能自己用代码实现需求 1.什么是AI编程工具? 可以分为两类: 狭义的AI编程工具 面向程序员的,主要用 ...

  2. 【忍者算法】LeetCode必刷100题：一份来自面试官的算法地图（题解持续更新中）

    (本文字数2900,阅读大约需15分钟) 上一篇文章我们讨论了如何科学地刷题,今天我要带大家深入了解这100道精选题目背后的分类逻辑.作为一名面试官,我希望通过这篇文章,为大家绘制一张完整的算法知识地 ...

  3. 将VSCode设置为中文（汉化）

    1.VSCode安装好后默认语言为英文,此汉化过程的VSCode版本为1.42.1,如下图所示: 2.下载安装完成后,打开VSCode,使用快捷键Ctrl+Shift+P,然后在出现的输入框中输入co ...

  4. WebClient 获取不到请求体如何破解？

    起初在开发过程中,我遇到了一个困扰我的问题:当我将对象转换为JSON时,得到的结果与最终传给第三方接口的请求体并不一致.这个问题导致我在进行加密操作时出现了错误,因为加密的过程是基于请求体的,而请求体 ...

  5. Luogu P2414 NOI2011 阿狸的打字机 题解 [ 紫 ] [ AC 自动机 ] [ 离线思想 ] [ 树状数组 ] [ dfs 序 ]

    阿狸的打字机:非常牛的 AC 自动机题. 暴力 先考虑在暴力的情况下,我们如何计算 \(x\) 匹配 \(y\) 的次数.显然,我们会模拟往 \(y\) 里加字符的过程,在此过程中做 KMP 进行匹配 ...

  6. 如何正确配置 .gitignore 以忽略特定文件夹下的文件（除指定子文件夹外）

    在使用 Git 进行版本控制时,.gitignore 文件是一个非常有用的工具,可以帮助我们忽略不需要跟踪的文件或文件夹.然而,有时我们需要忽略某个文件夹下的所有内容,但保留其中的某个子文件夹.本文将 ...

  7. MacOS15+Xcode版本16+对ReactNative项目进行编译和上传到APPStore的踩坑记录

    作者:Kovli 重要通知:红宝书第5版2024年12月1日出炉了,感兴趣的可以去看看,https://u.jd.com/saQw1vP 红宝书第五版中文版 红宝书第五版英文原版pdf下载(访问密码: ...

  8. 使用XManager远程连接服务器的时候使用Qt键盘会错位偏移

    问题 最近使用XManager访问服务器的xfce桌面,在使用Qt查看代码的时候发现键盘会错位 如下图,我输入application,最终显示这个 这样子就根本无法进行开发了 然后在网上找,发现有人出 ...

  9. Flink学习（七） 多流转换算子 拆分合并流

    一.Split 和 Select (使用split切分过的流是不能被二次切分的) DataStream --> SplitStream : 根据特征把一个DataSteam 拆分成两个或者多个D ...

  10. win11 输入法自定义短语输出日期时间变量

    自定义短语中输入%yyyy%-%MM%-%dd% %HH%:%mm%:%ss%