利用Apache Flume 读取JMS 消息队列消息。并将消息写入HDFS，flume agent配置例如以下：

flume-agent.conf

#name the  components on this agent

  agentHdfs.sources  = jms_source

  agentHdfs.sinks =  hdfs_sink

  agentHdfs.channels  = mem_channel



  #  Describe/configure the source



 agentHdfs.sources.jms_source.type  = jms

# Bind to all interfaces

agentHdfs.sources.jms_source.initialContextFactory = org.apache.activemq.jndi.ActiveMQInitialContextFactory

agentHdfs.sources.jms_source.connectionFactory = ConnectionFactory

agentHdfs.sources.jms_source.destinationName = BUSINESS_DATA  #AMQ queue

agentHdfs.sources.jms_source.providerURL = tcp://hadoop-master:61616

agentHdfs.sources.jms_source.destinationType = QUEUE





# Describe  the sink

agentHdfs.sinks.hdfs_sink.type = hdfs

agentHdfs.sinks.hdfs_sink.hdfs.path hdfs://hadoop-master/data/flume/%Y-%m-%d/%H

agentHdfs.sinks.hdfs_sink.hdfs.filePrefix = %{hostname}/events-

agentHdfs.sinks.hdfs_sink.hdfs.maxOpenFiles = 5000

agentHdfs.sinks.hdfs_sink.hdfs.batchSize= 500

agentHdfs.sinks.hdfs_sink.hdfs.fileType = DataStream

agentHdfs.sinks.hdfs_sink.hdfs.writeFormat =Text

agentHdfs.sinks.hdfs_sink.hdfs.rollSize = 0

agentHdfs.sinks.hdfs_sink.hdfs.rollCount = 1000000

agentHdfs.sinks.hdfs_sink.hdfs.rollInterval = 600

agentHdfs.sinks.hdfs_sink.hdfs.useLocalTimeStamp = true





# Use a  channel which buffers events in memory



agentHdfs.channels.mem_channel.type  = memory

agentHdfs.channels.mem_channel.capacity  = 1000

agentHdfs.channels.mem_channel.transactionCapacity  = 100



# Bind the  source and sink to the channel

agentHdfs.sources.jms_source.channels  = mem_channel

agentHdfs.sinks.hdfs_sink.channel  = mem_channel

Flume 读取JMS 消息队列消息，并将消息写入HDFS的更多相关文章

  1. Spring boot实战项目整合阿里云RocketMQ （非开源版）消息队列实现发送普通消息，延时消息 --附代码

    一.为什么选择RocketMQ消息队列? 首先RocketMQ是阿里巴巴自研出来的,也已开源.其性能和稳定性从双11就能看出来,借用阿里的一句官方介绍:历年双 11 购物狂欢节零点千万级 TPS.万亿 ...

  2. Kafka 消息队列系列之分布式消息队列Kafka

    介绍 ApacheKafka®是一个分布式流媒体平台.这到底是什么意思呢?我们认为流媒体平台具有三个关键功能:它可以让你发布和订阅记录流.在这方面,它类似于消​​息队列或企业消息传递系统.它允许您以容 ...

  3. SpringBoot集成RabbitMQ消息队列搭建与ACK消息确认入门

    1.RabbitMQ介绍 RabbitMQ是实现AMQP(高级消息队列协议)的消息中间件的一种,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性.扩展性.高可用性等方面表现不俗.Rabbi ...

  4. php消息队列之 think queue消息队列初体验

    使用thinkphp 5的  消息队列 think queue ● php think queue:listen --queue queuename ● php think queue:work -- ...

  5. RabbitMQ消息队列（六）-消息任务分发与消息ACK确认机制（.Net Core版）

    在前面一章介绍了在.Net Core中如何使用RabbitMQ,至此入门的的部分就完成了,我们内心中一定还有很多疑问:如果多个消费者消费同一个队列怎么办?如果这几个消费者分任务的权重不同怎么办?怎么把 ...

  6. RabbitMQ消息队列（四）: 消息路由

    1. 路由: 前面的示例中,我们或得到的消息为广播消息,但是无法更精确的获取消息的子集,比如:日志消息,worker1只需要error级别的日志, 而worker2需要info,warning,err ...

  7. RabbitMQ消息队列里积压很多消息

    1.场景:上千万条消息在mq里积压了几个小时了还没解决 2.解决: 1)先修复consumer的问题,确保其恢复消费速度,然后将现有cnosumer都停掉 2)新建一个topic,partition是 ...

  8. Java消息队列--JMS概述

    1.什么是JMS JMS即Java消息服务(Java Message Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送 ...

  9. Java消息队列——JMS概述

    一.什么是JMS JMS即Java消息服务(Java Message Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送 ...

随机推荐

  1. MyBatis （（一对多和多对一配置）实现持久化操作 之二）

    注: 此文中的实体类还是沿用上一章的Emp和Dept两个类 还是老样子,不细说 直接上代码 01.在emp.xml中  配置和Dept的多对一的相关信息 <?xml version=" ...

  2. 研磨JavaScript系列（五）：奇妙的对象

    在JavaScript中,只有object和function两种东西有对象化的能力.我们先来说说函数的对象化能力. 任何一个函数都可以为其动态地添加或去除属性,这些属性可以是简单类型,可以是对象,也可 ...

  3. Python3之format

    print('{0},{1}'.format('zhangk', 32)) print('{},{},{}'.format('zhangk','boy',32)) print('{name},{sex ...

  4. Android基础TOP3：Activity的线性，相对，帧和表格布局的概括

    线性布局 LinearLayout: <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android&q ...

  5. html5——地理位置

    获取地理位置 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UT ...

  6. SQL基本操作——GROUP BY

    GROUP BY 语句用于结合合计函数,根据一个或多个列对结果集进行分组. SQL GROUP BY 实例:我们拥有下面这个 "Orders" 表 O_Id OrderDate O ...

  7. Node.js 命令行程序开发教程 ---------http://www.ruanyifeng.com/blog/2015/05/command-line-with-node.html

    五.yargs 模块 shelljs 只解决了如何调用 shell 命令,而 yargs 模块能够解决如何处理命令行参数.它也需要安装. $ npm install --save yargs yarg ...

  8. vivado2018.3 与 modelsim联合仿真

    我用的是目前最新版本的软件,vivado2018.3与modelsim10.6d.废话不多说,直接上操作 1.modelsim编译vivado库 1)双击启动vivado软件,如下图操作 2)Simu ...

  9. 【数据结构】C语言栈的基本操作

    #include<stdio.h> #include<stdlib.h> #include<malloc.h> //定义节点 struct Node { int d ...

  10. JAVA学习总结-常用数据结构

    java中集合框架其实就是数据结构的实现的封装; 参考资料:任小龙教学视频 1,什么是数据结构? 数据结构是计算机存储,组织数据的方式; 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合; ...