由于官方的1.8版本hdfs-sink不能在每天的0点滚动文件，所以修改了flume-hdfs-sink源码。

flume-hdfs-sink中修改了HDFSEventSink.java文件，其他文件未改动。

使用该程序打包，替换掉官方到flume-hdfs-sink.jar(建议备份一份), 也可以直接下载编译后的jjar包。

然后在配置hdfsSink时增加以下配置项
timeRollerFlag     

默认值： day

可以设置minutes, hour, day

minutes 每分钟滚动文件

hour 每小时滚动文件

day 每天0点滚动文件
 
 
 
 
 
 
 
 
 
 
hdfsSink的配置如下：
paas2.sinks.k1.type = hdfs

paas2.sinks.k1.hdfs.path = hdfs://ns1/user/hive/warehouse/dw_stg.db/tg_paas_business/dt=%Y%m%d

paas2.sinks.k1.hdfs.filePrefix = paas_business_%Y%m%d

paas2.sinks.k1.hdfs.fileSuffix = .json

paas2.sinks.k1.hdfs.rollInterval = 0

paas2.sinks.k1.hdfs.rollCount = 0

paas2.sinks.k1.hdfs.round = false

paas2.sinks.k1.hdfs.roundValue=12

paas2.sinks.k1.hdfs.roundUnit=hour

paas2.sinks.k1.hdfs.rollSize = 134217728

paas2.sinks.k1.hdfs.fileType = DataStream

paas2.sinks.k1.hdfs.timeRollerFlag=day

源程序gitee地址如下：

https://gitee.com/pang123/flume-hdfs-sink-king

编译后的jar包如下地址：

https://gitee.com/pang123/flume-hdfs-sink-king/tree/master/target_jar

flume1.8实现hdfsSink整点滚动文件的更多相关文章

  1. flume中sink到hdfs，文件系统频繁产生文件，文件滚动配置不起作用？

    在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.sinks.k1.h ...

  2. Flume1.9.0的安装、部署、简单应用(含分布式、与Hadoop3.1.2、Hbase1.4.9的案例)

    目录 目录 前言 什么是Flume? Flume的特点 Flume的可靠性 Flume的可恢复性 Flume的一些核心概念 Flume的官方网站在哪里? Flume在哪里下载以及如何安装? 设置环境变 ...

  3. flume中HdfsSink参数说明

    flume到hdfsSink: type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/ 可以使用flume提供的日期 ...

  4. flume1.9 用户指南（中文版）

    概述 Apache Flume是一个分布式,可靠且可用的系统,用于有效地从许多不同的source收集,聚合和移动大量日志数据到集中式数据存储. Apache Flume的使用不仅限于日志数据聚合.由于 ...

  5. 利用FlashPaper在web页面中显示PDF文件(兼容各浏览器）

    应项目需求要把PDF内嵌到网页中显示,其中有了很多办法,比如用<embed/>元素放入PDF文件,但是效果不理想,浏览器兼容不理想,在ie9/8(其他版本没有测试)显示会提示下载pdf文件 ...

  6. 使用log4j配置不同文件输出不同内容

    敲代码中很不注意写日志,虽然明白很重要.今天碰到记录日志,需要根据内容分别输出到不同的文件. 参考几篇文章: 感觉最详细:http://blog.csdn.net/azheng270/article/ ...

  7. 文件并发(日志处理)--队列--Redis+Log4Net

    多线程操作同一个文件时会出现并发问题.解决的一个办法就是给文件加锁(lock),但是这样的话,一个线程操作文件时,其它的都得等待,这样的话性能非常差.另外一个解决方案,就是先将数据放在队列中,然后开启 ...

  8. Linux命令大全----常用文件操作命令

    林炳文Evankaka原创作品.转载请注明出处http://blog.csdn.net/evankaka ls 这个命令是经常用到的,用来显示当前目录下有哪些文件 ,ls最常用的参数有三个: -a - ...

  9. 转：NLog之：文件类型目标（File target）

    转:http://www.cnblogs.com/RitchieChen/archive/2012/07/16/2594308.html 英文原文[http://nlog-project.org/wi ...

随机推荐

  1. Mybatis mark 勿看

    Mybatis底层原理总结(一) 2018年01月11日 11:51:06 阅读数:2668 本文适合对Mybatis有一定了解的. 1. Mybatis 读取XML配置文件后会将内容放在一个Conf ...

  2. Appium 脚本代码中启动appium server

    import io.appium.java_client.android.AndroidDriver; import io.appium.java_client.service.local.Appiu ...

  3. mysql -- 优化之ICP(index condition pushdown)

    一.为了方法说明ICP是什么.假设有如下的表和查询: create table person( id int unsigned auto_increment primary key, home_add ...

  4. unity, 删除animationClip中的position曲线

    删除clip中所有的position曲线: using UnityEngine; using System.Collections; using UnityEditor; public class r ...

  5. Android基础知识之API等级介绍

    原文:http://android.eoe.cn/topic/android_sdk :可以让开发者通过一个表示API级别的整数来描述程序在android平台上的兼容性,系统会将与系统本身提供的API ...

  6. Mac 设置环境变量

    前天配置好了SVN,这里赞下Versions,确实好用! CO了淘宝的TAE,跑startServer.sh时报错: JAVA_HOME does not point at a JDK or JRE. ...

  7. 批处理脚本一键重置mysql的root密码

    一键重置mysql的root密码的实现脚本. @echo off title mysql ::从注册表找到Mysql的安装路径写入文件mysql.txt reg query HKLM\SYSTEM\C ...

  8. WCF推送

    http://www.cnblogs.com/server126/archive/2011/08/11/2134942.html

  9. blocking

    package blockingtest; /** * Hello world! */public class Sync implements Runnable { int n; public sta ...

  10. linux系统卡解决方案

    1.查看内存使用率 free -g 运行结果: 2.查看磁盘使用率 df -h 运行结果: 3.查看磁盘IO iostat -x 1 运行结果: 60表示60秒钟刷新一次 4.查看CPU使用情况 to ...