消息系统Flume与Kafka的区别

　　首先Flume和Kafka都是消息系统，但是它俩也有着很多不同的地方，Flume更趋向于消息采集系统，而Kafka更趋向于消息缓存系统。

【一】设计上的不同

　　Flume是消息采集系统，它主要解决问题是消息的多元采集。因此Flume在实现上提供了多达十几种的Flume Source，以供用户根据不同的应用场景来采集数据。也正因为Flume提供了这些采集消息的Flume Source，使得用户采集消息变得很简单，用户往往只需要对原始数据稍作处理然后将数据发送给Flume Source。在Flume的Thrift Source中，Flume已经实现了Thrift  Source服务器端，用户只需要编写客户端将数据发送给Flume。

　　Kafka是消息缓存系统，主要是用来缓存数据，缓存时间可以由配置文件设定，在缓存时间内，缓存的数据不论是否被消费，都不会删除，超过缓存时间Kafka才会把数据删除以释放空间。这一点与Flume不同，Flume的数据一旦确认被Sink接收就会被删除。

【二】数据处理上的不同

　　Flume接收到数据就会主动把数据推送(push)到Sink，Sink确认收到后会将数据从Channel中删除，因此Flume主要是快速的采集数据，数据对它来说只是过客，Flume注重的是speed。

　　Kafka收到数据后会先把数据缓存起来，无论下游有没有人消费数据，数据暂时缓存在服务器集群中，注重的是store。

【三】push vs pull

　　Flume是实实在在包含Source、Channel、Sink三个组件，Source用来接收数据，Channel用来缓存数据，Sink用来发送数据，而且是主动push给下游，这就导致下游接收方只能是一个，因为如果下游有多个接收者，接收的速率不同就会导致接收速度低的接收者接收不到数据的情况(Channel会在Sink确认后删除数据)。如果想把数据发送给多个接收者，那就只能让Source把数据写到多个Channel，再由Channel经各自的Sink发送给不同的接收者。

　　Kafka其实只包含有broker cluster，用来缓存数据，他的Producer和Consumer都需要用户自己实现；broker cluster更像是一个提供存储数据功能的文件系统，用户自己实现往里面读写数据，broker cluster不需要关心用户怎么实现的，因此Kafka对Producer和Consumer的依赖非常小，专心做缓存。当Consumer需要订阅某个topic的数据时候，Consumer主动去取数据，broker cluster被动的提供数据，这样就可以同时支持多个Consumer订阅数据。

【四】Kafka的主题和划分以及复制因子

　　Kafka在接收数据的时候，Producer可以指定一个主题，Kafka按照主题来分类数据，Consumer订阅数据的时就可以按需订阅某一类数据。

　　Kafka的划分是在主题上的进一步细分，例如可以把web应用中不用用户的数据按照不同的划分来分别存储，同一个划分内的数据存储的时候拥有唯一的连续递增的编号，这个编号又称作偏移量，偏移量在Consumer中保存，用来依次读取数据，当然也可改变编号重复读取或者跳读。

　　复制因子是Kafka集群提高容错性的一个措施，一个划分内的数据会根据复制因子个数把数据复制到不同broker上，本broker负责将该划分内的数据读写请求，称为主节点，其他从节点负责跟进复制数据。主题的复制因子定为多少个应该根据自己的broker cluster机器个数合理确定。

　　Kafka能够保证一个划分内的数据在被Consumer消费的时候是有序的，而不能保证不同划分内的数据是有序的，因此如果想所有数据有序那就只能有一个划分。

　　转载请注明原文出处 http://www.cnblogs.com/vincent-vg/p/5826786.html，谢谢