kafka 和 rocketMQ 的数据存储

【kafka 和 rocketMQ 的数据存储】的更多相关文章

kafka 和 rocketMQ 的数据存储

kafka 版本:1.1.1 一个分区对应一个文件夹,数据以 segment 文件存储,segment 默认 1G. 分区文件夹: segment 文件: segment 的命名规则是怎样的? kafka roll segment 的逻辑:kafka.log.Log#roll /** * Roll the log over to a new active segment starting with the current logEndOffset. * This will trim the in…

解决KafKa数据存储与顺序一致性保证

“严格的顺序消费”有多么困难下面就从3个方面来分析一下,对于一个消息中间件来说,”严格的顺序消费”有多么困难,或者说不可能. 发送端发送端不能异步发送,异步发送在发送失败的情况下,就没办法保证消息顺序. 比如你连续发了1,2,3. 过了一会,返回结果1失败,2, 3成功.你把1再重新发送1遍,这个时候顺序就乱掉了. 存储端对于存储端,要保证消息顺序,会有以下几个问题: (1)消息不能分区.也就是1个topic,只能有1个队列.在Kafka中,它叫做partition:在RocketMQ中,…

MQ初窥门径【面试必看的Kafka和RocketMQ存储区别】

MQ初窥门径全称(message queue)消息队列,一个用于接收消息.存储消息并转发消息的中间件应用场景用于解决的场景,总之是能接收消息并转发消息用于异步处理,比如A服务做了什么事情,异步发送一个消息给其他B服务. 用于削峰,有些服务(秒杀),请求量很高,服务处理不过来,那么请求先放到消息队列里面,后面按照能力处理,相当于蓄水池. 应用解耦.消息通讯等等总之MQ是可以存放消息并转发消息的中间件,场景取决于拿这个能力去解决什么问题 MQ概念模型 MQ向别人承诺的场景是接收消息,存储,…

kafka如何实现高并发存储-如何找到一条需要消费的数据(阿里)

阿里太注重原理了:阿里问kafka如何实现高并发存储-如何找到一条需要消费的数据,kafka用了稀疏索引的方式,使用了二分查找法,其实很多索引都是二分查找法二分查找法的时间复杂度:O(logn) redis,kafka,B+树的底层都采用了二分查找法参考:二分查找法 redis的索引底层的跳表原理实现聊聊Mysql索引和redis跳表 ---redis的跳表原理时间复杂度O(logn)(阿里) 参考:二分查找法 mysql索引原理:一步步分析为什么B+树适合作为索引的结构以及索引…

Kafka与RocketMq文件存储机制对比

一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一. 开头问题 kafka文件结构和rocketMQ文件结构是什么样子?特点是什么? 一.目录结构 Kafka Kafka以partition为单元分片存储消息 Kafka部分名词解释如下: Broker:消息中间件处理结点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群. Topic:一类消息 Partition:topic物理上的分组,一个topic可以分为多个pa…

kafka 数据存储结构+原理+基本操作命令

数据存储结构: Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的.每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message. partition是以文件的形式存储在文件系统中,比如,创建了一个名为page_visits的topic,其有5个partition,那么在Kafka的数据目录中(由配置文件中的log.dirs指定的)中就有这样5个目…