linux系统下,搭建kafka环境(单机版)
安装前准备:
- 安装JDK
- 安装zookeeper(如果使用kafka内置的zookeeper,可以忽略)
第一步、安装JDK
kafka依赖JAVA环境,所以首先要安装jdk
第二步、安装zookeeper
1)下载
官网地址:https://zookeeper.apache.org/releases.html
下载地址:http://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/
选择编译的二进制文件进行下载。

2)上传tar包到指定目录下,例如/usr/local下
cd /usr/local
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
3)配置系统环境变量
vi /etc/profile
增加如下配置:
export ZOOKEEPER_HOME=/usr/local/apache-zookeeper-3.7.0-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin
4)修改zookeeper配置文件
cd apache-zookeeper-3.7.0-bin/conf/
vi zoo_sample.cfg
修改如下配置:
# 如果目录不存在,则手动创建
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/logs
clientPort=2181
# 新增配置
server.1=121.43.225.17:2888:3888
5)并将zoo_sample.cfg文件名,改为zoo.cfg
6)在data目录,创建myid文件
mkdir -p /tmp/zookeeper/data
mkdir -p /tmp/zookeeper/logs
cd /tmp/zookeeper/data
vi myid
创建myid文件,并在文件中写入一个数值,该数值表示的是服务器的编号,例如0、1、2。
对应server.1=121.43.225.17:2888:3888中的1
7)启动zookeeper
cd /usr/local/apache-zookeeper-3.7.0-bin/bin/
./zkServer.sh start

8)查看启动状态,已ok
./zkServer.sh status

第二步、下载kafka版本
1)官网下载
http://kafka.apache.org/downloads
选择Binary downloads,选择版本进行下载。

2)wget下载
wget https://mirrors.cnnic.cn/apache/kafka/3.0.0/kafka_2.13-3.0.0.tgz
第三步、解压下载的压缩包
cd /usr/local
wget https://mirrors.cnnic.cn/apache/kafka/3.0.0/kafka_2.13-3.0.0.tgz
tar -zxvf kafka_2.13-3.0.0.tgz
第四步、新建log目录
在 /tmp(建在非系统盘目录下,避免日志占用系统盘资源,影响性能), 新建一个文件夹 kafka-logs。
第五步、修改kafka的配置文件
# 首先进入config目录
cd /usr/local/kafka_2.13-3.0.0/config
vi server.properties
修改配置如下:
broker.id=0
# kafka日志目录
log.dirs=/tmp/kafka-logs
# kafka所需的ZooKeeper集群地址
zookeeper.connect=localhost:2181
如果是集群模式,确保每个broker的id参数值不同,以及listeners配置参数也需要修改为与broker对应的IP地址或域名。
第六步、启动
如果使用kafka内置的zookeeper,需要先将zookeeper启动后,再启动kafka。这里,我们使用自己安装的zookeeper,第二步中已经启动了,所以不做考虑。
# 首先进入bin目录
cd /usr/local/kafka_2.13-3.0.0/bin
./kafka-server-start.sh ../config/server.properties
# 后台启动
./kafka-server-start.sh -daemon ../config/server.properties
或
./kafka-server-start.sh ../config/server.properties &
成功启动后,你就可以使用kafka环境了。
linux系统下,搭建kafka环境(单机版)的更多相关文章
- linux系统下搭建php环境之-Discuz论坛
1.安装搭建论坛必要的软件 apache php mysql CentOS系统我们可以直接使用 yum install 的方式进行软件安装,腾讯云有提供软件安装源,是同步CentOS官方的安装源,包涵 ...
- Linux 下搭建 Kafka 环境
Linux 下搭建 Kafka 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 Kafka 环境 CSDN:Linux 下搭建 Kafka 环境 环境要求 操作系统:CentOS 7 下 ...
- 【并行计算】Windows系统下搭建MPI环境
Windows系统下搭建MPI环境 MPI的全称是Message Passing Interface即标准消息传递界面,可以用于并行计算.MPI的具体实现一般采用MPICH.下面介绍如何在Window ...
- linux系统下搭建自己的web服务器
之前在windows 2008 server上搭建了一个用于测试的web服务器,但是在打开网站的时候特别的慢,尤其是图片的加载都会失败,当时以为是路径的问题,但是在服务器上自己打开都特别慢,自己实在找 ...
- Linux系统下配置JDK环境变量
刚申请了阿里云,平时很少接触Linux,特此记录一下Linux系统下安装JDK的步骤. 1.进入usr:cd /usr: 2.创建java文件夹:mkdir java: 3.将下载好的文件拷贝至jav ...
- linux 系统下java开发环境的配置
在安装之前,确保你的linux系统下有 jdk,jboss等相关软件 一.配置JDK环境变量 步骤: 解压缩JDK文件: unzip jdk1.6.0_31.zip 目录下显示文件夹jdk1.6.0_ ...
- 在Linux系统下搭建和配置一个minio文件服务器(二)
上一篇主要讲述了在linux系统中搭建一个minio文件服务器,那么这一篇则用来整合java代码中使用,我之前自己已经搭建好了一个springboot项目,那么这一篇将详细讲述如何把minio整合进s ...
- linux系统下深度学习环境搭建和使用
作为一个AI工程师,对Linux的一些技能的掌握也能从一定层面反应工程师的资深水平. 要求1:基于SSH的远程访问(本篇文章) 能用一台笔记本电脑,远程登陆一台linux服务器 能随时使用笔记本电脑启 ...
- 3.了解linux系统以及搭建学习环境
目录: 1.linux的前世今生. 2.企业如何选择linux系统? 3.如何在虚拟机上安装linux系统?搭建学习环境. 1.linux的前世今生. 1).起源:先是贝尔实验室的Unix系统,因为各 ...
- Linux系统下搭建FTP/SFTP服务器
传输文件经常使用ftp和sftp服务器.Windows下有多种可视化工具,使用快捷.Linux经常需要自行搭建这两种服务器,当然搭建熟练的话,会更加快捷. 1.检查Linux系统是否安装了vsftp和 ...
随机推荐
- 剑指offer004(Java)-只出现一次的数字(中等)
题目: 给你一个整数数组 nums ,除某个元素仅出现 一次 外,其余每个元素都恰出现 三次 .请你找出并返回那个只出现了一次的元素. 示例1: 输入:nums = [2,2,3,2] 输出:3 示例 ...
- E百科 | 第2期 扒一扒能加速互联网的QUIC协议
简介: 众所周知,QUIC(Quick UDP Internet Connection)是谷歌制定的一种互联网传输层协议,它基于UDP传输层协议,同时兼具TCP.TLS.HTTP/2等协议的可靠性与安 ...
- [FE] G2Plot 更新图表的两种方式
第一种是使用 G2Plot 对象上的 changeData 方法,如果不涉及到全局 title 等这些的更改,可以采用这种方式. 也就是说,只有纯数据方面的变动,使用 changeData 更新图表数 ...
- [ML] Google colab GPU 免费使用, 可挂载 Google drive
colab 的文本行就相当于命令行,命令统一都在前面加 ! . 开启 GPU 加速,通过菜单栏的 "修改" 菜单,选择 "笔记本设置". 挂载 Google d ...
- vue全国省市选择vue组件
没用懂checkbox,干脆自己定义布尔值,方便数据页面响应. 可以再原始省市数据 下载address.js文件 1.初始化数据格式: 2页面样式: 3.对应输出的数据格式: 4.源码: <!D ...
- 批量解压上传SAP Note
最近在做印度GST相关的东西,需要手动给系统实施上百个SAP Note,十分繁琐. 标准事务代码SNOTE只支持每次上传一个Note,逐个上传大量Note会很麻烦,为此摸索出一个批量解压上传的流程,下 ...
- 羽夏壳世界—— PE 解析的实现
写在前面 此系列是本人一个字一个字码出来的,包括代码实现和效果截图. 如有好的建议,欢迎反馈.码字不易,如果本篇文章有帮助你的,如有闲钱,可以打赏支持我的创作.如想转载,请把我的转载信息附在文章后 ...
- ORACLE查询表的DML最后时间和操作记录条数
ORACLE查询表的DML最后时间和操作记录条数 其中user代表当前用户的.dba代表的是有dba可以看到的相关表. select * from all_tab_modifications; sel ...
- 以对象的方式访问html中的标签,比正则表达式更好用的方式获取html中的内容,linq方式直接获取所有的链接,更加先进的c#版本爬虫开源库
这是我本人自己写的一个开源库,现已经发布到nuget,可以直接在vs的nuget包管理中搜索到,或者可以到nuget官网下载:https://www.nuget.org/packages/ZmjCon ...
- RocketMQ 事件驱动:云时代的事件驱动有啥不同?
前言: 从初代开源消息队列崛起,到 PC 互联网.移动互联网爆发式发展,再到如今 IoT.云计算.云原生引领了新的技术趋势,消息中间件的发展已经走过了 30 多个年头. 目前,消息中间件在国内许多行业 ...