hadoop-2.7.3安装kafka_2.11-2.1.0
软件下载:
http://mirrors.shu.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
把下载好的包kafka_2.11-2.1.0.tgz 上传到hadoop集群上master:/home/hadoop
解压:
tar -zxvf kafka_2.11-2.1.0.tgz
mv kafka_2.11-2.1.0 kafka_2.11
修改配置文件:
vi server.properties
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
listeners = PLAINTEXT://master:9092
#listeners=PLAINTEXT://:9092
# A comma separated list of directories under which to store log files
log.dirs=/home/hadoop/kafka_2.11/tmp
# root directory for all kafka znodes.
zookeeper.connect=master:2181,saver1:2181,saver2:2181
一共以上四处地方需要修改!
分别SCP到其他节点
scp -r kafka_2.11 192.168.1.40:/home/hadoop/
scp -r kafka_2.11 192.168.1.50:/home/hadoop/
在192.168.1.40机器上修改的地方有:
vi server.properties
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
listeners = PLAINTEXT://saver1:9092
#listeners=PLAINTEXT://:9092
在192.168.1.50机器上修改的地方有:
vi server.properties
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=3
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
listeners = PLAINTEXT://saver2:9092
#listeners=PLAINTEXT://:9092
启动kafka
nohup /home/hadoop/kafka_2.11/bin/kafka-server-start.sh /home/hadoop/kafka_2.11/config/server.properties >/dev/null 2>&1 &
停止kafka
/home/hadoop/kafka_2.11/bin/kafka-server-stop.sh
在停止的时候,出现:No kafka server to stop,后天明明有进程,却无法停止。
查看kafka-server-stop.sh脚本,进行脚本修改:
PIDS=$(ps ax | grep -i 'kafka' | grep java | grep -v grep | awk '{print $1}')
三台机器都需要执行。
查看进行:jps
15856 Kafka
验证:
cd /home/hadoop/kafka_2.11/bin
./kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test
完。
hadoop-2.7.3安装kafka_2.11-2.1.0的更多相关文章
- Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装
Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...
- centos7安装kafka_2.11
1.下载 官网地址:http://kafka.apache.org/downloads.html 下载:wget https://www.apache.org/dyn/closer.cgi?path= ...
- Apache Hadoop集群离线安装部署(三)——Hbase安装
Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...
- Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装
虽然我已经装了个Cloudera的CDH集群(教程详见:http://www.cnblogs.com/pojishou/p/6267616.html),但实在太吃内存了,而且给定的组件版本是不可选的, ...
- 【原】Hadoop伪分布模式的安装
Hadoop伪分布模式的安装 [环境参数] (1)Host OS:Win7 64bit (2)IDE:Eclipse Version: Luna Service Release 2 (4.4.2) ( ...
- Hadoop 2.x(YARN)安装配置LZO
今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. ...
- Hadoop分布式HA的安装部署
Hadoop分布式HA的安装部署 前言 单机版的Hadoop环境只有一个namenode,一般namenode出现问题,整个系统也就无法使用,所以高可用主要指的是namenode的高可用,即存在两个n ...
- Hadoop开发第3期---Hadoop的伪分布式安装
一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...
- 通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置
通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置 配置H ...
- Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
随机推荐
- 使用redis防止重复提交
使用redis防止重复提交 其实主要思路是他的https://blog.csdn.net/u013378306/article/details/52944780 主要目前我的情况是,前后端分离的, ...
- solr简单学习---1
*服务器配置略,比较复杂,看视频 1.导入jar包 package cn.itcast.solr; import org.apache.solr.client.solrj.SolrServer; im ...
- [Kaggle] How to kaggle?
成立于2010年的Kaggle是一个进行数据发掘和预测竞赛的在线平台.与Kaggle合作之后,一家公司可以提供一些数据,进而提出一个问题,Kaggle网站上的计算机科学家和数学家,也就是现在所说的数据 ...
- 前端学习(一) body标签(下)
今日主要内容: 列表标签 <ul>.<ol>.<dl> 表格标签 <table> 表单标签 <fom> 一.列表标签 列表标签分为三种. 1 ...
- vue中如何编写可复用的组件?
原文地址 Vue.js 是一套构建用户界面的渐进式框架.我们可以使用简单的 API 来实现响应式的数据绑定和组合的视图组件. 从维护视图到维护数据,Vue.js 让我们快速地开发应用.但随着业务代码日 ...
- HashPump用法
做哈希长度扩展攻击的时候用到这个工具,但是没找到这个工具详解办法 我这篇不算是详解,只是收集例子做出的一个用法 HashPump一种在各种散列算法中利用散列长度扩展攻击的工具.目前支持的算法:MD5, ...
- Nmap之用法
简介 Nmap是一款开源免费的网络发现(Network Discovery)和安全审计(Security Auditing)工具.软件名字Nmap是Network Mapper的简称. 功能架构图 N ...
- 【图像算法OpenCV】几何不变矩--Hu矩
原文地址 http://blog.csdn.NET/daijucug/article/details/7535370 [图像算法OpenCV]几何不变矩--Hu矩 一 原理 几何矩是由Hu(Visu ...
- sql次级语句
select upper(n_id) from nrc_news;select left(n_content,1) from nrc_news;select len(n_content) from n ...
- zping ping包工具20180605.exe测试版
链接: https://pan.baidu.com/s/1WB3BZn0r9n4DRU_8bNC65g 提取码: mybi zping的第一个exe版本由于未对兼容性进行测试,使用python3.6编 ...