1. 使用消费组实现消息队列的两种模式 分布式的消息系统Kafka支持多个生产者和多个消费者,生产者可以将消息发布到集群中不同节点的不同分区上:消费者也可以消费集群中多个节点的多个分区上的消息 . 写消息时,多个生产者可以写到同一个分区 . 读消息时,如果多个消费者同时读取一个分区,为了保证将日志文件的不同数据分配给不同的消费者,需要采用加锁 . 同步等方式,在分区级别的日志文件上做些控制 . 如果约定“同一个分区只可被一个消费者处理”,就不需要加锁同步了,从而可提升消费者的处理能力 . 下图给…

目录 1 Kafka高级API特性 1.1 Offset的自动控制 1.1.1 消费者offset初始策略 1.1.2 消费者offset自动提交策略 1.2 Acks & Retries(应答和重试) 1.3 Kafka幂等写机制 1.3.1 Kafka幂等概念 1.3.2 Kafka幂等实现策略 1.4 Kafka的事务控制 1.4.1 生产者事务only使用场景 1.4.1 生产者消费者事务 1 Kafka高级API特性 1.1 Offset的自动控制 1.1.1 消费者offset初始策…

Kafka消费过程分析 kafka提供了两套consumer API:高级Consumer API和低级API. 1 高级API 1)高级API优点 高级API 写起来简单 不需要去自行去管理offset,系统通过zookeeper自行管理 不需要管理分区,副本等情况,系统自动管理 消费者断线会自动根据上一次记录在zookeeper中的offset去接着获取数据(默认设置1分钟更新一下zookeeper中存的的offset) 可以使用group来区分对同一个topic 的不同程序访问分离开来(不…

kafka诞生之初,它自带一个基于scala的生产者和消费者客户端.但是慢慢的我们认识到这些API有很多限制.比如,消费者有一个“高级”API支持分组和异常控制,但是不支持很多更复杂的应用场景:它也有一个“低级”API,支持对细节的完全控制,但是要求码农自己控制失败和异常.所以重新设计了它们. 这个过程的第一阶段就是在0.8.1版本的时候重写了生产者API.在最近的0.9版本中完成了第二阶段,提供了消费者的新API.建立在新的分组协议只是,新的消费者带来以下好处: API更加简洁:新的消费者AP…

参数的设定:参考资料 不错的资料:http://blog.csdn.net/honglei915/article/details/37697655 http://developer.51cto.com/art/201501/464491.htm 注意:在配置文件server.properties中指定了partition的数量num.partitions.这指的是多单个topic的partition数量之和.若有多个broker,可能partition分布在不同的节点上,则多个broker的所有…

参考资料:http://blog.csdn.net/honglei915/article/details/37563647参数说明:http://ju.outofmemory.cn/entry/119243参数说明/Demo:http://www.aboutyun.com/thread-9906-1-1.htmlKafka+Spark:  http://shiyanjun.cn/archives/1097.htmlhttp://ju.outofmemory.cn/entry/84636 1. K…

<Apache kafka实战>读书笔记-管理Kafka集群安全之ACL篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家能看到这篇博客的小伙伴,估计你对kafka已经有了深入对一步了解了,因为现在的你已经不考虑如何部署kafka以及调优了,而是考虑到kafka安全的问题.其实,在很多企业中,很少有人考虑到kafka的安全,小到几十人的小型互联网公司,达到某些云平台的云服务(我这里就不说是哪家云公司了),他们默认都是不会给kafka配置相关安全策略的,而是要求用户自…

一.事务场景 最简单的需求是producer发的多条消息组成一个事务这些消息需要对consumer同时可见或者同时不可见 . producer可能会给多个topic,多个partition发消息,这些消息也需要能放在一个事务里面,这就形成了一个典型的分布式事务. kafka的应用场景经常是应用先消费一个topic,然后做处理再发到另一个topic,这个consume-transform-produce过程需要放到一个事务里面,比如在消息处理或者发送的过程中如果失败了,消费位点也不能提交. pro…

使用idea实现相关API操作,先要再pom.xml重添加Kafka依赖: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.8.2</artifactId> <version>0.8.1</version> <exclusions> <exclusion> <artifactId>jmxtools&…

一.Apache Kafka 1.了解Kafka 1.1.Kafka是什么?有什么用? 是什么? 1) Apache Kafka 是一个消息队列(生产者消费者模式) 2) Apache Kafka 目标:构建企业中统一的.高通量.低延时的消息平台. 3) 大多的是消息队列(消息中间件)都是基于JMS标准实现的,Apache Kafka 类似于JMS的实现. 有什么用? 1) 作为缓冲,来异构.解耦系统. 1.2.kafka的特性 消息持久化(Kafka 基于文件系统来存储和缓存消息). 高吞吐量…