Apache Kafka(二)- Kakfa 安装与启动
安装并启动Kafka
1.下载最新版Kafka(当前为kafka_2.12-2.3.0)并解压:
> wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz
> tar zxvf kafka_2.12-2.3.0.tgz
2. 检查Java 环境是否正确:
> cd kafka_2.12-2.3.0
> bin/kafka-topics.sh
若是无法成功执行,则检查 Java 环境是否正确配置(此例中使用Java 8)
3. 将kafka执行脚本目录加入环境变量:
> vi ~/.bash_profile
> export PATH="$PATH:/home/hadoop/kafka_2.12-2.3.0/bin"
4. 启动Zookeeper
> zookeeper-server-start.sh config/zookeeper.properties
查看 config/zookeeper.properties 文件,可以看到基本配置:
# the directory where the snapshot is stored.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
其中需要将dataDir修改为非/tmp 目录,以将数据持久化,例如:
dataDir=/home/hadoop/kafka_2.12-2.3.0/data/zookeeper
然后重启zookeeper:
> zookeeper-server-start.sh config/zookeeper.properties
之后可以在dataDir目录下查看到zookeeper数据目录:
> pwd
/home/hadoop/kafka_2.12-2.3.0/data/zookeeper/version-2
5. 启动Kafka
首先修改 conf/server.properties 文件,可以看到日志文件地址为:
# A comma separated list of directories under which to store log files
log.dirs=/tmp/kafka-logs
修改此路径为非/tmp目录,以落盘log数据,例如:
log.dirs=/home/hadoop/kafka_2.12-2.3.0/data/kafka-logs
然后启动Kafka:
> kafka-server-start.sh config/server.properties
查看 data/kafka-logs,可以看到以下文件:
> ls
cleaner-offset-checkpoint meta.properties replication-offset-checkpoint
log-start-offset-checkpoint recovery-point-offset-checkpoint
Apache Kafka(二)- Kakfa 安装与启动的更多相关文章
- Apache Kafka简介与安装(二)
Kafka在Windows环境上安装与运行 简介 Apache kafka 是一个分布式的基于push-subscribe的消息系统,它具备快速.可扩展.可持久化的特点.它现在是Apache旗下的一个 ...
- Apache Kafka简介与安装(一)
介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计. 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳. 将向 ...
- Docker学习总结(二)--Docker安装与启动
注:笔者使用的环境为 CentOS 7.6,如果版本不一致可能会出现一些错误. 安装 Docker 1)将 yum 包更新到最新版本 sudo yum update 2) 安装需要的软件包 sudo ...
- 【Apache Kafka】二、Kafka安装及简单示例
(一)Apache Kafka安装 1.安装环境与前提条件 安装环境:Ubuntu16.04 前提条件: ubuntu系统下安装好jdk 1.8以上版本,正确配置环境变量 ubuntu系统下安 ...
- zookeeper+kafka集群安装之二
zookeeper+kafka集群安装之二 此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境. zookeeper安装 ...
- Kafka学习笔记1——Kafka的安装和启动
一.准备工作 1. 安装JDK 可以用命令 java -version 查看版本
- Windows OS上安装运行Apache Kafka教程
Windows OS上安装运行Apache Kafka教程 下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka. 简介 本文讲述了如何在 ...
- 2.kafka单节点broker的安装与启动
下载kafka,http://kafka.apache.org/downloads kafka下面的文件结构如下: 进入bin目录,启动kafka之前要先启动zookeeper ./zookeeper ...
- Kafka 的安装及启动
Linux 服务器 CentOS 为例. Kafka 安装 获取下载地址,下载后解压. $ wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafk ...
随机推荐
- Runtime.addShutdownHook用法
一.什么是ShutdownHook? 在Java程序中可以通过添加关闭钩子,实现在程序退出时关闭资源.平滑退出的功能. 使用Runtime.addShutdownHook(Thread hook)方法 ...
- vue常用插件之打印功能、二维码插件、批量打印二维码
vue实现打印的两种方法 vue实现批量打印二维码 (需安装二维码插件qrcodejs2) 一.vue-print-nb插件 1.安装: npm i vue-print-nb -S 2.全局注册(ma ...
- CentOS进行yum操作时不能访问国外镜像的解决方案
1. 例如执行yum update,经常报错“Cound not resolve host: xxxxx”,一般都是yum源是使用的国外镜像,国内访问很不好.这时可以将源手动替换为国内的清华大学源,或 ...
- 844. 走迷宫(bfs模板)
给定一个n*m的二维整数数组,用来表示一个迷宫,数组中只包含0或1,其中0表示可以走的路,1表示不可通过的墙壁. 最初,有一个人位于左上角(1, 1)处,已知该人每次可以向上.下.左.右任意一个方向移 ...
- 2019-08-22 纪中NOIP模拟A&B组
T1 [JZOJ3229] 回文子序列 题目描述 回文序列是指左右对称的序列.我们会给定一个N×M的矩阵,你需要从这个矩阵中找出一个P×P的子矩阵,使得这个子矩阵的每一列和每一行都是回文序列. 数据范 ...
- socket编程执行远程命令实现_python
一.单客户端连接的例子: 服务端: import socket,os,subprocess server=socket.socket() server.bind(('localhost',1234)) ...
- 解决Office2016输入失效密钥之后无法输入的问题
第一步: 以管理员的身份运行cmd 第二步输入以下命令: cscript "C:\Program Files (x86)\Microsoft Office\Office16\OSPP.VBS ...
- Namespace declaration statement has to be the very first statement or after
解决办法:将页面文件转为utp-8无dom格式就OK了.以notepad++为例:
- C++——字符串处理
11.用字符数组存储和处理字符串 字符数组的声明和引用 字符串: 字符串常量 “china”,没有字符串变量,用字符数组来存放字符串,字符串以‘\0’结束. 字符串数组的初始化: 逐个输出输入字符串 ...
- 重新认识urllib
# coding=utf-8 # urllib_get_file=urllib.request.urlretrieve(url=None,filename="test.zip") ...