Kakfa揭秘 Day7

Producer源码解密

今天我们来研究下Producer。Producer的主要作用就是向Kafka的brokers发送数据。从思考角度,为了简化思考过程,可以简化为一个单机版本的消息队列,只是这个消息队列在远程。

Producer.java

让我们从官方的Example开始。

主要进行了两步操作,第一步是进行producer的初始化,第二步是发送数据。

Producer初始化

分布式系统一般来说只是在单机的基础上加上分布式的通讯和调度而已。

在初始化时有一些重要的参数:

  • partitioner.class 设置分区方式。
  • producer.type 数据发送方式,默认是同步方式。
  • message.send.max.retries 消息发送时重试次数,这也是分布式系统比较重要的设计点。
  • topic.metadata.refresh.interval.ms 这个参数非常的关键。当我们的broker的发生失败时,会发出一个refresh操作来刷新brokers上topic的元数据,这个参数控制刷新频率。默认每隔10分钟可能刷新下集群的元数据,如果设置负值时只会在失败的时候刷新,如果设置为0,则每次发送一个消息,都会刷新一次元数据,会影响吞吐量。这个刷新东西是在发送之后才会生成,如果从来没发送过数据,则不会刷新。

为什么要刷新元数据?因为partition可能丢失,leader可能不可用,broker可能会挂掉,也可能在线扩容,这些情况都会造成broker的变动,这是kafka集群和broker弱耦合的实现,客户端在运行过程中可以动态的调整元数据。

发送数据

在发送时,首先要找到Kafka主机的ip和端口,由于kafka有一套自己的消息队列组织方式,所以肯定要根据它的方式,看怎么把数据交到队列里去。
如下代码可以看到,当没有指定partition时,会从集群的元数据中获取partition的信息。

从Example代码中,我们可以看到send有同步和异步两种方式,默认是同步的方式。如果异步的话,中间会有一个缓存(消息队列),producer发入缓存,broker再从里面抓数据。无论是同步还是异步的方式,都会有一个producer pool的方式,会通过线程的方式连上主机。

下面就是具体的数据传输。

其底层用了socket编程。为了持续不断的传输数据时,socket是一种稳定、可靠、数据量可大可小的通讯方式,socket弄出来比较大,但是值得的。

小结

Kafka的producer总结来看,有三个设计要点:

  1. 作为Producer发给kafka消息,虽然是分布式的,可以用个queue的角度来理解,由于kafka有一套自己的元数据和数据管理机制,所以需要在发送前获得元数据。
  2. 定期会刷新元数据,为了动态扩容和异常处理。
  3. 采用socket的方式,进行数据的发送。

欲知后事如何,且听下回分解!

DT大数据每天晚上20:00YY频道现场授课频道68917580

Kakfa揭秘 Day7 Producer源码解密的更多相关文章

  1. Kakfa揭秘 Day6 Consumer源码解密

    Kakfa揭秘 Day6 Consumer源码解密 今天主要分析下Consumer是怎么来工作的,今天主要是例子出发,对整个过程进行刨析. 简单例子 Example中Consumer.java是一个简 ...

  2. Kakfa揭秘 Day3 Kafka源码概述

    Kakfa揭秘 Day3 Kafka源码概述 今天开始进入Kafka的源码,本次学习基于最新的0.10.0版本进行.由于之前在学习Spark过程中积累了很多的经验和思想,这些在kafka上是通用的. ...

  3. Kakfa揭秘 Day9 KafkaReceiver源码解析

    Kakfa揭秘 Day9 KafkaReceiver源码解析 上一节课中,谈了Direct的方式来访问kafka的Broker,今天主要来谈一下,另一种方式,也就是KafkaReceiver. 初始化 ...

  4. kafka C客户端librdkafka producer源码分析

    from:http://www.cnblogs.com/xhcqwl/p/3905412.html kafka C客户端librdkafka producer源码分析 简介 kafka网站上提供了C语 ...

  5. Catalyst揭秘 Day2 Catalyst源码初探

    Catalyst揭秘 Day2 Catalyst源码初探 这节课从源码角度来讲catalyst. 首先有一个观点要澄清,就是技术不是越底层就越是性能和效率更高.因为除了指令执行性能以外,更重要的是架构 ...

  6. Spark Streaming揭秘 Day26 JobGenerator源码图解

    Spark Streaming揭秘 Day26 JobGenerator源码图解 今天主要解析一下JobGenerator,它相当于一个转换器,和机器学习的pipeline比较类似,因为最终运行在Sp ...

  7. Spark Streaming揭秘 Day22 架构源码图解

    Spark Streaming揭秘 Day22 架构源码图解 今天主要是通过图解的方式,对SparkStreaming的架构进行一下回顾. 下面这个是其官方标准的流程描述. SparkStreamin ...

  8. [Spark内核] 第32课:Spark Worker原理和源码剖析解密:Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等

    本課主題 Spark Worker 原理 Worker 启动 Driver 源码鉴赏 Worker 启动 Executor 源码鉴赏 Worker 与 Master 的交互关系 [引言部份:你希望读者 ...

  9. [Spark内核] 第33课:Spark Executor内幕彻底解密:Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕

    本課主題 Spark Executor 工作原理图 ExecutorBackend 注册源码鉴赏和 Executor 实例化内幕 Executor 具体是如何工作的 [引言部份:你希望读者看完这篇博客 ...

随机推荐

  1. 下了个C-Free,结果点新建,出来的就是.cpp 怎么变成.c呢。。。他默认新建文件是c++的啊,

    C-Free主界面--->工具--->环境选择--->一般--->“新建文件类型”将cpp改成c即可

  2. myeclipse2014如何添加源码反编译工具插件

    Eclipse下的Java反编译插件:Eclipse Class Decompiler,整合了目前最好的2个Java反编译工具Jad和JD-Core,并且和Eclipse Class Viewer无缝 ...

  3. 沈逸老师ubuntu速学笔记(1)--安装flashplayer,配置中文输入法以及常用命令

    开篇首先感谢程序员在囧途(www.jtthink.com)以及沈逸老师,此主题笔记主要来源于沈老师课程.同时也感谢少年郎,秦少.花旦等同学分享大家的学习笔记. 1.安装flash player ctr ...

  4. agile学习

    https://www.flickr.com/photos/codingthearchitecture/sets/

  5. ORA-01034: ORACLE not available

    ora-01034:oracle   not   available    ora-27101:shared   mermory   realm   does   not   exist 解决办法: ...

  6. hdu 4666 最大曼哈顿距离

    思路:这题我是看了题目后,上百度搜了一下才知道还有求最大曼哈顿距离的方法.直接把代码copy过来,研读一下,知道了代码实现机制,自然就很容易想到用优先队列来维护每种状态下的xi,yi之和的最大值最小值 ...

  7. linux nginx启动 重启 关闭命令

    启动操作 nginx -c /usr/local/nginx/conf/nginx.conf -c参数指定了要加载的nginx配置文件路径 停止操作停止操作是通过向nginx进程发送信号来进行的 步骤 ...

  8. Web Service 一些对外公开的网络服务接口

    商业和贸易: 1.股票行情数据 WEB 服务(支持香港.深圳.上海基金.债券和股票:支持多股票同时查询) Endpoint: http://webservice.webxml.com.cn/WebSe ...

  9. 简单遗传算法求解n皇后问题

    版权声明:本文为博主原创文章,转载请注明出处. 先解释下什么是8皇后问题:在8×8格的国际象棋上摆放八个皇后,使其不能互相攻击,即任意两个皇后都不能处于同一行.同一列或同一斜线上,问有多少种摆法.在不 ...

  10. HTML+CSS3 纯代码实现转盘效果

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta http ...