CentOS 7 环境搭建kafka集群
Kafka是一个MQ服务,流行的MQ服务器有三个,分别是ActiveMQ,RabbbitMQ和Kafka
目录说明:
/home/fuqinqin/packages : 安装包存放目录
/home/fuqinqin/kafka : kafka安装目录
1 . 下载安装包
进入packages目录,下载安装包
wget http://mirrors.hust.edu.cn/apache/kafka/1.0.1/kafka_2.11-1.0.1.tgz
2. 解压
tar -zxvf ./kafka_2.12-1.0.1.tgz -C ../kafka
3.  在kafka目录下新建kafkaLogs文件夹,存放日志
mkdir kafkaLogs
4. 进入根目录下的/connfig目录,编辑 server.properties 文件
改动1:broker.id 节点身份标志,从0开始的自然数
改动2:放开listeners=PLAINTEXT://192.168.227.130:9092,修改成节点的ip,端口采用默认值即可
改动3:log.dirs。刚才新建的kafkaLogs文件夹的绝对路径
改动4:num.partitions。www.micheng178.com  topic主题的分区数量,默认是1个,改成2个
改动5:新增三个新属性:
        message.max.byte=512000
改动6:zookeeper.connect 。zookeeper集群环境的显示申明,用于协调kafka分布式环境的一致性工作。
设置各个节点的ip,端口视搭建zookeeper集群的情况而定,如果zookeeper的端口改变,这里也需要改变,一般采用默认端口
至此,配置文件配置完毕!
5. 在其余两台的节点上做相同工作。
6. 启动服务
进入bin目录,执行: ./kafka-server-start.sh -daemon ../config/server.properties
-daemon : 后台运行
./config/server.properties : 指定的配置文件
7. 创建消息的生产者和消费者验证集群是否搭建成功
官网文档:http://kafka.apache.www.hbs90.cn/ org/quickstart
8. 通过 jps 命令也可辅助查看进程是否启动成功
至此,kafka的集群已经搭建完毕!!!
CentOS 7 环境搭建kafka集群的更多相关文章
- 大数据平台搭建-kafka集群的搭建
		
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
 - centos7搭建kafka集群-第二篇
		
好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软 ...
 - 什么是kafka以及如何搭建kafka集群?
		
一.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. Kafka场景比喻 接下来我大概比喻下Kafka的使用场景 消息中间件:生产者和消费者 妈妈:生产 ...
 - 利用新版本自带的Zookeeper搭建kafka集群
		
安装简要说明新版本的kafka自带有zookeeper,其实自带的zookeeper完全够用,本篇文章以记录使用自带zookeeper搭建kafka集群.1.关于kafka下载kafka下载页面:ht ...
 - 环境搭建-Hadoop集群搭建
		
环境搭建-Hadoop集群搭建 写在前面,前面我们快速搭建好了centos的集群环境,接下来,我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本:CDH 5.7.0 这里,我想说一下 ...
 - Redis.之.环境搭建(集群)
		
Redis.之.环境搭建(集群) 现有环境: /u01/app/ |- redis # 单机版 |- redis-3.2.12 # redis源件 所需软件:redis-3.0.0.gem -- ...
 - Windows 环境搭建Redis集群(win 64位)
		
转: http://blog.csdn.net/zsg88/article/details/73715947 参考:https://www.cnblogs.com/tommy-huang/p/6240 ...
 - Kafka学习之(六)搭建kafka集群
		
想要搭建kafka集群,必须具备zookeeper集群,关于zookeeper集群的搭建,在Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建博客有说明.需要具备两台以上装有zook ...
 - Windows及Linux环境搭建Redis集群
		
一.Windows环境搭建Redis集群 参考资料:Windows 环境搭建Redis集群 二.Linux环境搭建Redis集群 参考资料:Redis Cluster的搭建与部署,实现redis的分布 ...
 
随机推荐
- Linux下查看CPU信息[/proc/cpuinfo]
			
最近在研究linux系统负载的时候,接触到一些关于CPU信息查看的知识,和大家分享一下.通过对/proc/cpuinfo文件中的参数的分析,也学到了不少东西. 在linux操作系统中,CPU的信息在启 ...
 - 01-JVM内存模型:程序计数器
			
一.JVM模型概述 java虚拟机(JVM)在java程序运行的过程中,会将它所管理的内存划分为若干个不同的数据区域,这些区域有的随着JVM的启动而创建,有的随着用户线程的启动和结束而建立和销毁.一个 ...
 - 51单片机实现定时器00H-FFH、定时器000-255
			
#include< reg51.h> #define uint unsigned int #define uchar unsigned char sfr P0M0 = 0x94; sfr ...
 - VT-x VT-d 虚拟化在win10中的问题
			
win10真的是非常非常非常非常非常非常非常非常非常非常坑坑坑坑坑坑坑坑坑坑坑坑坑坑坑坑!!!!!! 自带虚拟Buff不说,我不用竟然会有冲突!!!! 一度让我怀疑,我的CPU VT-x坏掉了!!! ...
 - Solium代码测试框架
			
Solium, 在solid中,Linter用于标识和修复样式&安全问题 //调用测试 solium -d contracts --fix 源代码名称:Solium 源代码网址:http:// ...
 - wamp下安装https 实现 ssl  协议,主要是编写小程序通讯
			
也不知道腾讯为啥要这个限制,是想卖他的服务器资源么 简单几句话 1 wamp3.0.X的版本不行,我折腾了一天半,放弃了,换成wamp2.5 一次通过 2 证书 去腾讯云申请,单独域名的可以申请免费的 ...
 - SGU 520 Fire in the Country(博弈+搜索)
			
Description This summer's heat wave and drought unleashed devastating wildfires all across the Earth ...
 - $http.get(...).success is not a function 错误解决
			
$http.get(...).success is not a function 错误解决 1.6 新版本的AngularJs中用then和catch 代替了success和error,用PRomis ...
 - 学霸系统ui部分软件发布说明
			
一.版本新功能 1.搜索主页按钮 在学长的版本中,要想进入搜索主页,方法只有一个,就是在问答搜索结果页中点击链接进入搜索主页,这就使得用户很不方便.我们在学霸系统的主页增加了一个链接按钮,方便用户能够 ...
 - Notes of the scrum meeting before publishing(12.17)
			
meeting time:18:30~20:30p.m.,December 17th,2013 meeting place:3号公寓一层 attendees: 顾育豪 ...