写这篇博客的目的 让更多的人了解 阿里开源的MongoShake可以很好满足mongodb到kafka高性能高可用实时同步需求(项目地址:https://github.com/alibaba/MongoShake,下载地址:https://github.com/alibaba/MongoShake/releases).至此博客就结束了,你可以愉快地啃这个项目了.还是一起来看一下官方的描述: MongoShake is a universal data replication platform b

Kafka配置(注意log.dirs不要配置在tmp目录下,因为该目录会被linux定时任务删除,会导致kafka崩溃)需要三个Kafka实例,分别安装在下面三个机器上:192.168.240.167192.168.240.168192.168.240.169 第一步,修改192.168.240.167机器上的Kafka配置config/server.properties:broker.id=1 listeners=PLAINTEXT://192.168.240.167:9093 这里必须加上I

如果之前没有安装jdk和zookeeper,安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html # ==================================================================安装 jdk mkdir -p /usr/java tar -zxvf ~/jdk-8u111-linux-x64

Kafka配置信息 broker配置信息 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录.可以指定多个目录,中间用逗号分隔,当新partition被创建的时会被存放到当前存放partition最少的目录. port 9092 BrokerServer接受客户端连接的端口号 zookeeper.connect null Zookeeper的连接串,格式为:hostname1:port1,hostn

实验平台与软件: 操作系统:windows7 32  位 java 开发包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息队列: kafka_2.11-0.11.0.1 安装序列: 1.  jdk安装预配置 jdk-8u144-windows-i586_8.0.1440.1.exe 点击安装:"下一步" ...   环境变量配置: 1)计算机/属性/高级系统设置/高级/环境变量,在系统变量中新建变量:JAVA_HOME    值:C:\Program File

Kafka为broker,producer和consumer提供了很多的配置参数. 了解并理解这些配置参数对于我们使用kafka是非常重要的.本文列出了一些重要的配置参数. 官方的文档 Configuration比较老了,很多参数有所变动, 有些名字也有所改变.我在整理的过程中根据0.8.2的代码也做了修正. Boker配置参数 下表列出了Boker的重要的配置参数, 更多的配置请参考 kafka.server.KafkaConfig name 默认值 描述 brokerid none 每一个b

官网:http://kafka.apache.org/ 主要有3种安装方式: 1. 单机单broker 2. 单机多broker 3. 多机多broker 1. wget http://mirror.bit.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz 2. (可选,因为kafka自带zookeeper)wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.3.6/zo

一. Kafka中的相关概念的介绍 Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下: Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成<topic->message>对然后 丢进kafka集群相对应的称订阅topic处理对应message的进程为consumerKafka集群中的节

1. 准备三台机器,系统CentOs6 2. 安装好JDK和zookeeper 参考: zookeeper配置记录 3. 解压安装包到指定目录 tar -zxvf kafka_2.12-2.1.0.tgz -C /javatools 4. 创建一个文件夹,用来存放日志(集群所有机器都要有) mkdir -p /kafkadata 5. 配置kafka config目录下的server.properties文件 每一个broker在集群中的唯一表示,要求是正数.当该服务器的IP地址发生改变时,br

1.从官网下载安装包 http://kafka.apache.org/downloads2.上传到01虚拟机,解压3.进入安装目录下的config目录4.对server.properties进行配置 [root@hadoop01 config]# vim server.properties 配置示例: broker.log.dirs=/home/software/kafka_2.10-0.10.0.1/kafka-logs zookeeper.connect=hadoop01:,hadoop02

1.官方网站也有配置: https://flume.apache.org/FlumeUserGuide.html#kafka-source 2.clodera 官方配置 https://www.cloudera.com/documentation/kafka/2-0-x/topics/kafka_flume.html 1\ tier1.sources = source1 tier1.channels = channel1 tier1.sinks = sink1 tier1.sources.sou

配置文件在config/server.properties 下面的一些配置可能是你需要进行修改的. 这里为官方提供配置文件解释:https://kafka.apache.org/08/configuration.html 字段名 注释 备注 推荐配置(如留空,则选用默认配置则可) broker.id 整数,建议根据ip区分   推荐利用ip如:192.168.1.1: 则利用ip末位作为id: 方便对应ip寻找broker log.dirs kafka存放消息文件的路径, 默认/tmp/kafk

概念 运维 配置 监控 生产者与消费者 流处理 分区partition 一定条件下,分区数越多,吞吐量越高.分区也是保证消息被顺序消费的基础,kafka只能保证一个分区内消息的有序性 副本 每个分区有一至多个副本(Replica),分区的副本分布在集群的不同代理上,提高可用性.分区的每个副本在存储上对应与日志对象log对应 AR 每个分区的多个部分之间称为AR(assigned replicas),包含至多一份leader副本和多个follower副本 ISR kafka在zookeeper中动

安装 解压放到/opt/kafka, 软链一个latest出来, 先要启动zookeeper. 可以使用独立的zookeeper服务, 也可以用kafka自带的, 在lib目录下带了zookeeper. 启动zookeeper ./bin/zookeeper-server-start.sh ./config/zookeeper.properties 然后启动kafka ./bin/kafka-server-start.sh ./config/server.properties 此时数据日志在 /

3.1      Broker  Configs 基本配置如下: -broker.id -log.dirs -zookeeper.connect Topic-level配置以及其默认值将在下面讨论. Property Default Description broker.id   每个broker都可以用一个唯一的非负整数id进行标识:这个id可以作为broker的“名字”,并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上.你可以选择任意你喜欢的数字作

本文结合一个具体的实例给出如何在公有云环境上配置Kafka broker与client之间的SSL设置. 测试环境 阿里云机一台(Server端):主机名是kafka1,负责运行单节点的Kafka集群.本文选择0.11.0.0版本 Mac笔记本一台(Client端):通过公网连接阿里云机器上的Kafka服务,给Kafka集群发送消息以及消费消息 前期准备 在kafka1上,配置kafka1与内网IP的映射关系(修改/etc/hosts),即ping kafka1返回内网IP地址 在Mac笔记本上

1. 开发环境 1.1. 软件包下载 1.1.1. JDK下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 安装到 D:\GreenSoftware\Java\Java8X64\jdk1.8.0_91 目录 1.1.2. Maven下载地址 https://maven.apache.org/download.cgi 解压到 D:\GreenSoftware\apache

Broker  Configs Property Default Description broker.id   每个broker都可以用一个唯一的非负整数id进行标识:这个id可以作为broker的“名字”,并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上.你可以选择任意你喜欢的数字作为id,只要id是唯一的即可. log.dirs /tmp/kafka-logs kafka存放数据的路径.这个路径并不是唯一的,可以是多个,路径之间只需要使用逗号分隔

Kafka producer的ack有3中机制,初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现. 0:这意味着生产者producer不等待来自broker同步完成的确认继续发送下一条(批)消息.此选项提供最低的延迟但最弱的耐久性保证(当服务器发生故障时某些数据会丢失,如leader已死,但producer并不知情,发出去的信息broker就收不到). 1:这意味着producer在leader已成功收到的数据并得到确认后

配置文件目录:/usr/local/kafka/config配置文件server.propertis参数说明:broker.id=0每一个broker在集群中的唯一标识,要求是正数,当该服务器的IP地址发生变化时,broker.id没有变化,则不会影响consumers的消息情况log.dirs=/usr/local/kafka/logskafka数据的存放地址,多个地址的话用逗号分隔/usr/local/kafka/log_1,/usr/local/kafka/log_2num.io.thre

转载请注明原创地址:http://www.cnblogs.com/dongxiao-yang/p/7131626.html kafka从0.9版本以后引入了集群安全机制,由于最近需要新搭建一套kafka集群,决定采用SASL/GSSAPI (Kerberos) 作为新集群的权限系统基础,本次新集群版本为0.10.2.0. 团队内部已有同学搭建了专门的kerberos服务器,所以省掉了自建kerberos的步骤. (1)首先是为broker每台服务器在kerber服务器生成相应的principal