软件下载:

http://mirrors.shu.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz

把下载好的包kafka_2.11-2.1.0.tgz 上传到hadoop集群上master:/home/hadoop

解压:

tar -zxvf kafka_2.11-2.1.0.tgz

mv kafka_2.11-2.1.0 kafka_2.11

修改配置文件:

vi server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1

#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
listeners = PLAINTEXT://master:9092
#listeners=PLAINTEXT://:9092

# A comma separated list of directories under which to store log files
log.dirs=/home/hadoop/kafka_2.11/tmp

# root directory for all kafka znodes.
zookeeper.connect=master:2181,saver1:2181,saver2:2181

一共以上四处地方需要修改!

分别SCP到其他节点

scp -r kafka_2.11 192.168.1.40:/home/hadoop/

scp -r kafka_2.11 192.168.1.50:/home/hadoop/

在192.168.1.40机器上修改的地方有:

vi server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2

#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
listeners = PLAINTEXT://saver1:9092
#listeners=PLAINTEXT://:9092

在192.168.1.50机器上修改的地方有:

vi server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=3

#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
listeners = PLAINTEXT://saver2:9092
#listeners=PLAINTEXT://:9092

启动kafka

nohup /home/hadoop/kafka_2.11/bin/kafka-server-start.sh /home/hadoop/kafka_2.11/config/server.properties >/dev/null 2>&1 &

停止kafka
/home/hadoop/kafka_2.11/bin/kafka-server-stop.sh

在停止的时候,出现:No kafka server to stop,后天明明有进程,却无法停止。

查看kafka-server-stop.sh脚本,进行脚本修改:
PIDS=$(ps ax | grep -i 'kafka' | grep java | grep -v grep | awk '{print $1}')

三台机器都需要执行。

查看进行:jps

15856 Kafka

验证:

cd /home/hadoop/kafka_2.11/bin

./kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

完。

hadoop-2.7.3安装kafka_2.11-2.1.0的更多相关文章

  1. Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  2. centos7安装kafka_2.11

    1.下载 官网地址:http://kafka.apache.org/downloads.html 下载:wget https://www.apache.org/dyn/closer.cgi?path= ...

  3. Apache Hadoop集群离线安装部署(三)——Hbase安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  4. Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装

    虽然我已经装了个Cloudera的CDH集群(教程详见:http://www.cnblogs.com/pojishou/p/6267616.html),但实在太吃内存了,而且给定的组件版本是不可选的, ...

  5. 【原】Hadoop伪分布模式的安装

    Hadoop伪分布模式的安装 [环境参数] (1)Host OS:Win7 64bit (2)IDE:Eclipse Version: Luna Service Release 2 (4.4.2) ( ...

  6. Hadoop 2.x(YARN)安装配置LZO

    今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. ...

  7. Hadoop分布式HA的安装部署

    Hadoop分布式HA的安装部署 前言 单机版的Hadoop环境只有一个namenode,一般namenode出现问题,整个系统也就无法使用,所以高可用主要指的是namenode的高可用,即存在两个n ...

  8. Hadoop开发第3期---Hadoop的伪分布式安装

    一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...

  9. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置

    通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置 配置H ...

  10. Hadoop集群_Hadoop安装配置

    1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...

随机推荐

  1. 使用redis防止重复提交

    使用redis防止重复提交   其实主要思路是他的https://blog.csdn.net/u013378306/article/details/52944780 主要目前我的情况是,前后端分离的, ...

  2. solr简单学习---1

    *服务器配置略,比较复杂,看视频 1.导入jar包 package cn.itcast.solr; import org.apache.solr.client.solrj.SolrServer; im ...

  3. [Kaggle] How to kaggle?

    成立于2010年的Kaggle是一个进行数据发掘和预测竞赛的在线平台.与Kaggle合作之后,一家公司可以提供一些数据,进而提出一个问题,Kaggle网站上的计算机科学家和数学家,也就是现在所说的数据 ...

  4. 前端学习(一) body标签(下)

    今日主要内容: 列表标签 <ul>.<ol>.<dl> 表格标签 <table> 表单标签 <fom> 一.列表标签 列表标签分为三种. 1 ...

  5. vue中如何编写可复用的组件?

    原文地址 Vue.js 是一套构建用户界面的渐进式框架.我们可以使用简单的 API 来实现响应式的数据绑定和组合的视图组件. 从维护视图到维护数据,Vue.js 让我们快速地开发应用.但随着业务代码日 ...

  6. HashPump用法

    做哈希长度扩展攻击的时候用到这个工具,但是没找到这个工具详解办法 我这篇不算是详解,只是收集例子做出的一个用法 HashPump一种在各种散列算法中利用散列长度扩展攻击的工具.目前支持的算法:MD5, ...

  7. Nmap之用法

    简介 Nmap是一款开源免费的网络发现(Network Discovery)和安全审计(Security Auditing)工具.软件名字Nmap是Network Mapper的简称. 功能架构图 N ...

  8. 【图像算法OpenCV】几何不变矩--Hu矩

    原文地址  http://blog.csdn.NET/daijucug/article/details/7535370 [图像算法OpenCV]几何不变矩--Hu矩 一 原理 几何矩是由Hu(Visu ...

  9. sql次级语句

    select upper(n_id) from nrc_news;select left(n_content,1) from nrc_news;select len(n_content) from n ...

  10. zping ping包工具20180605.exe测试版

    链接: https://pan.baidu.com/s/1WB3BZn0r9n4DRU_8bNC65g 提取码: mybi zping的第一个exe版本由于未对兼容性进行测试,使用python3.6编 ...