flume复习(二)

【flume复习(二)】的更多相关文章

一.简介:flume是一种分布式.可靠且可用的系统,能够用于有效的从不同的源收集.聚合和移动大量的日志数据到集中式数据存储.它具有基于流数据的简单灵活的架构,它具有健壮的可靠性机制和许多故障转移和恢复机制,具有强大的容错性,使用简单的可扩展的数据模型,允许在线分析的应用程序.flume不仅能用于日志数据的收集.由于数据源是可以指定的,因此flume可用于传输大量事件数据,包括但是不限于网络流量数据,社交媒体生成的数据,电子邮件消息以及几乎任何可能的数据源 1.flume运行的核心是Agent.是…

第1节 flume：15、flume案例二，通过自定义拦截器实现数据的脱敏

1.7.flume案例二案例需求: 在数据采集之后,通过flume的拦截器,实现不需要的数据过滤掉,并将指定的第一个字段进行加密,加密之后再往hdfs上面保存原始数据与处理之后的数据对比图一原始文件内容图二 HDFS上产生收集到的处理数据实现步骤第一步:创建maven java工程,导入jar包 <repositories> <repository> <id>cloudera</id> <url>htt…

Flume（二）Flume的Source类型

一.概述官方文档介绍:http://flume.apache.org/FlumeUserGuide.html#flume-sources 二.Flume Sources 描述 2.1 Avro Source 2.1.1 介绍监听Avro端口,从Avro client streams接收events.当与另一个(前一跳)Flume agent内置的Avro Sink配对时,它可以创建分层收集拓扑.字体加粗的属性必须进行设置. 2.1.2 示例示例一:参考官方文档 #配置一个agent,age…

Flume系列二之案例实战

Flume案例实战写在前面通过前面一篇文章http://blog.csdn.net/liuge36/article/details/78589505的介绍我们已经知道flume到底是什么?flume可以用来做什么?但是,具体怎么做,这就是我们这篇文章想要介绍的.话不多说,直接来案例学习. 实战一:实现官网的第一个简单的小案例-从指定端口采集数据输出到控制台如何开始呢? 看官网!!!! 地址:http://flume.apache.org/FlumeUserGuide.html#flume-…

flume复习(一)

关于flume官方文档介绍可以去:http://flume.apache.org/看看.接下来就介绍一下关于我个人对flume的理解一.flume介绍: 1.flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统并且可以进行在线分析. 2.支持在日志系统中定制各类数据发送方,用于收集数据,同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本.HDFS.Hbase等)的能力 . 3.flume的数据流由事件(Event)贯穿始终.事件是Flume的基本数据单位,…

C#复习二（Twenty First Day）

呵呵,又来到了今天的总结.这次主要复习了一下字符串的一些处理.今天就来总结一下. 理论: String 字符串,字符串可以看成字符数组,不可变特性(通过for循环,修改string中的元素,失败!). 属性 Length 输出用户名的字符个数方法 str.Contains() 判断字符串是否包含 String.IsNullOrEmpty() 判断用户输入的是否为空 ToCharArray(…

JAVA基础部分复习(二、集合类型)

对于这些常用的集合,建议还是需要先了解一下底层实现原理,这样在不同的使用场景下才能选择更好的方案. Set介绍以及对比,常用方法: package cn.review.day02; import java.util.Comparator; import java.util.HashSet; import java.util.Iterator; import java.util.LinkedHashSet; import java.util.TreeSet; import org.junit.Te…