org.apache.flume.sink.RollingFileSink    这个类比较简单。

source的种类有两种:一种是PollableSource;另外一种是EventDrivenSource。前者“必须有它自己的callback机制,该机制用于捕获新数据并将数据存储到通道中”,后者“不是由其自身的线程驱动”。在自定义source时,前者必须要实现process方法,通过调用这个方法将event放入channel中;后者没有这个方法,可以自由发挥。

sink不像source,只有一种sink,需要extends AbstractSink implements Configurable。

sink用于从通道中提取事件,并将事件传送到流中的下个flume或者将事件存储到一个外部数据仓库。一个sink与一个或者多个通道相连,在flume属性文件中配置。

有一个SinkRunner实例与各个配置好的sink相连。当flume框架调用 SinkRunner.start(),一个新的线程产生来驱动该sink(使用SinkRunner.PollingRunner as the thread’s Runnable)。该线程管理这个sink的生命周期。sink需要实现start()和stop()方法,这两个方法是LifecycleAware接口的一部分。Sink.start()方法会初始化sink,让该sink可以将事件传输到下个目的地。Sink.process()方法是一个核心操作,它将事件从通道中提取并传输事件。Sink.stop()方法为必要的清理方法(例如释放资源)。sink的实现还需要实现Configurable 接口,用于处理其自身的参数配置。

RollingFileSink类中需要理解的有start()方法和process()方法。

一、start()方法

  主要作用在于启动了一个线程,用来每隔rollInterval秒就创建一个新的文件(程序启动的时间戳+文件编号为名称,配置文件动态修改后,时间戳会变动)。并且通知process可以将正在写的这个文件关闭,准备写新的文件。

  需要注意这个变量shouldRotate,初始的时候即start之前,是false的,执行start之后由于线程启动之后首次运行需要等待rollInterval秒,所以这个时间段shouldRotate一直是false,在此期间process方法会一直向一个文件写数据,直到shouldRotate=true,也就是线程每隔rollInterval秒运行之后(shouldRotate会设置为true,并且会获得下一个写入的文件名),这会周期性的运行。

二、process方法

  这个方法会一直被重复调用。

  它会首先判断是否需要关闭当前的文件shouldRotate=true就会关闭文件。并且重新

  shouldRotate=false;//可以对下一个文件一直写

  pathController.rotate();//表示当前的文件写入完毕,并且可以准备写入下一个文件

  

  File currentFile = pathController.getCurrentFile();//在pathController.rotate()之后该方法就可以获取下一个将要写入的文件名,

  //start方法中也有这句代码,目测start中的这句代码没啥作用,因为shouldRotate = true会导致文件的滚动

  rollService.scheduleAtFixedRate(new Runnable() {

@Override
        public void run() {
          logger.debug("Marking time to rotate file {}",
              pathController.getCurrentFile());//这句没啥作用。。。。。。。。
          shouldRotate = true;  //表示当前文件写满,准备写下一个文件
        }

}, rollInterval, rollInterval, TimeUnit.SECONDS);

  

  serializer默认是org.apache.flume.serialization.BodyTextEventSerializer

  接下来就是向channel发送数据了。。。

  Status result = Status.READY;

  transaction.begin();

  event = channel.take();

  //自己的处理逻辑,本类中就是序列化到文件中serializer.write(event)

  transaction.commit();

  transaction.rollback();

  transaction.close();

这个比较简单,可以用来熟悉sink的处理流程,以及学习如何自定义sink。

flume-ng源码阅读RollingFileSink(原创)的更多相关文章

  1. flume-ng源码阅读memory-channel(原创)

    org.apache.flume.channel.MemoryChannel类是Flume-NG的memory-channel. private LinkedBlockingDeque<Even ...

  2. PHP源码阅读strtr

    strtr 转换字符串中特定的字符,但是这个函数使用的方式多种. echo strtr('hello world', 'hw', 'ab'); // 第一种 aello borld echo strt ...

  3. JDK1.8源码阅读系列之四:HashMap (原创)

    本篇随笔主要描述的是我阅读 HashMap 源码期间的对于 HashMap 的一些实现上的个人理解,用于个人备忘,有不对的地方,请指出- 接下来会从以下几个方面介绍 HashMap 源码相关知识: 1 ...

  4. [原创]chromium源码阅读-进程间通信IPC.消息的接收与应答

    chromium源码阅读-进程间通信IPC.消息的接收与应答   chromium源码阅读-进程间通信IPC.消息的接收与应答 介绍 chromium进程间通信在win32下是通过命名管道的方式实现的 ...

  5. [PHP源码阅读]explode和implode函数

    explode和implode函数主要用作字符串和数组间转换的操作,比如获取一段参数后根据某个字符分割字符串,或者将一个数组的结果使用一个字符合并成一个字符串输出.在PHP中经常会用到这两个函数,因此 ...

  6. ng2048源码阅读

    ng2048源码阅读 Tutorial: http://www.ng-newsletter.com/posts/building-2048-in-angularjs.html Github: http ...

  7. TiDB 源码阅读系列文章(一)序

    原创: 申砾 PingCAP  2018-02-28 在 TiDB DevCon2018 上,我们对外宣布了 TiDB 源码阅读分享活动,承诺对外发布一系列文章以及视频帮助大家理解 TiDB 源码.大 ...

  8. Pytorch版本yolov3源码阅读

    目录 Pytorch版本yolov3源码阅读 1. 阅读test.py 1.1 参数解读 1.2 data文件解析 1.3 cfg文件解析 1.4 根据cfg文件创建模块 1.5 YOLOLayer ...

  9. 【Dubbo源码阅读系列】服务暴露之远程暴露

    引言 什么叫 远程暴露 ?试着想象着这么一种场景:假设我们新增了一台服务器 A,专门用于发送短信提示给指定用户.那么问题来了,我们的 Message 服务上线之后,应该如何告知调用方服务器,服务器 A ...

随机推荐

  1. <..................> 哈佛大学哲学系 && 历史哲学笔记文献集

    哈佛大学哲学系课程表            (一)概况    (1)哈佛大学哲学系现有教师21人,其中访问教授7人,教师流动性较大,每年有一定的变化.以下为现任教师:Richard Moran(系主任 ...

  2. Xenserver中SR、VBD和VDI之间的关系

    首先需要理解xenserver下的SR,VDI,VBD这三个概念.如下图 存储库 (SR) 虚拟磁盘映像 (VDI) 物理块设备 (PBD) 虚拟块设备 (VBD) 看上图所示,他们之间的关系. SR ...

  3. 安装nginx包

    1.二进制安装源码包,直接输入yum stall nginx -y就可以 2,后面会涉及路径,所以先查下nginx的路径rpm -ql nginx 3,进入bin目录进行设置 4, 5,查看系统自带的 ...

  4. Android studio 相关下载

    Android studio  http://www.androiddevtools.cn/ Oracle的VirtulBox https://www.virtualbox.org/wiki/Down ...

  5. Integrate-And-Fire Models(转)

    Integrate-And-Fire Models 基础知识 轴突:动作电位(电位差形成电流)=神经递质发放=脉冲产生树突或细胞体:神经递质的接受=产生内外膜电位差(电流产生)=接收脉冲脉冲编码:多采 ...

  6. LATEX教程(二)

    插入图片 \documentclass{article} \usepackage{graphicx} \usepackage{Ctex} \title{插入图片} \author{yif} \begi ...

  7. SaltStack任务计划

    编辑fansik_cron.sls文件: 内容如下: cron_test: cron.present: - name: /bin/touch /tmp/fansik.txt - user: root ...

  8. C#使用Lock访问共享数据的问题

    lock 语句(C# 参考) lock 关键字将语句块标记为临界区,方法是获取给定对象的互斥锁,执行语句,然后释放该锁.此语句的形式如下: 复制 Object thisLock = new Objec ...

  9. 【整理学习Hadoop】H D F S 一个分布式文件系统

    Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点.但同时,它和其他的分布式文件系统的区别 ...

  10. Matlab 绘图完整入门

    Matlab绘图 强大的绘图功能是Matlab的特点之一,Matlab提供了一系列的绘图函数,用户不需要过多的考虑绘图的细节,只需要给出一些基本参数就能得到所需图形,这类函数称为高层绘图函数.此外,M ...