Flume是什么

1.flume可以将采集到的数据存储到HDFS上，也可以放在Hbase上。

2.flume就是一个中间插件，他的作用就是屏蔽数据源和数据存储系统的差异。可以在不同的数据源采集数据，因为数据源是多样化的。

数据源的多样化和数据存储系统的多样化，flume作为一个中间插件把数据源和存储系统实现多对多的关系。

Flume的优点

Flume OG与NG区别

Flume NG基本架构

1.Agent由Source 、 channel sink组成。

2.Source是用来获取数据，可以从文本文件中和系统日志中和HTTP中获取数据。Source 获取数据传给后面的Agent

3.channel 在source sink之间作为数据的缓存，sink的数据不能及时传输出去，可以讲数据缓存的内存或者磁盘上面，数据缓存在内存和磁盘中是不同的，在内存中断电了数据就丢失，磁盘的就不会。

1.Agent3也是可以去掉的，不过在这里起到缓冲的过程。比如说Agent3前面的agent个数非常多，没有经过Agent3的汇总，将会有大量的小文件直接写到HDFS上，非常不利于存储，

因为我们知道HDFS适合存储大文件而不适合大量的小文件。

2.当然如果数据量不大的话就不需要Agent3这样的多级Agent了，根据实际情况来选择适合的方式。

Flume NG核心概念

Flume NG核心概念--Event

Flume NG核心概念--Client

Flume NG核心概念--Agent

Flume NG核心概念--Source

Flume NG核心概念--channel和 sink

Flume NG核心概念--channel

磁盘channel 是通过预写日志的方式来实现，就是在数据写成功之前先写log，日志写成后我们就任务数据写成功了，如果日志写成功了，数据没写成功，重启之后我们可以通过这个日志来恢复数据

Flume NG核心概念--sink

flume用场景及架构原理的更多相关文章

  1. Flume应用场景及架构原理

    Flume概念 Flume是一个分布式.可靠.和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力. ...

  2. Hive深入学习--应用场景及架构原理

    Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的.互联网现在进入了大数据时代,大数据是现在互联网的趋势,而hadoop就是大数据时代里的核 ...

  3. 深入学习Hive应用场景及架构原理

    Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的.互联网现在进入了大数据时代,大数据是现在互联网的趋势,而hadoop就是大数据时代里的核 ...

  4. NET/ASP.NET Routing路由（深入解析路由系统架构原理）（转载）

    NET/ASP.NET Routing路由(深入解析路由系统架构原理) 阅读目录: 1.开篇介绍 2.ASP.NET Routing 路由对象模型的位置 3.ASP.NET Routing 路由对象模 ...

  5. 简单理解Hadoop架构原理

    一.前奏 Hadoop是目前大数据领域最主流的一套技术体系,包含了多种技术. 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等. 有些朋友可能 ...

  6. Elasticsearch架构原理

    架构原理 本书作为 Elastic Stack 指南,关注于 Elasticsearch 在日志和数据分析场景的应用,并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍,但是 Ela ...

  7. zz《分布式服务架构 原理、设计与实战》综合

    这书以分布式微服务系统为主线,讲解了微服务架构设计.分布式一致性.性能优化等内容,并介绍了与微服务系统紧密联系的日志系统.全局调用链.容器化等. 还是一样,每一章摘抄一些自己觉得有用的内容,归纳整理, ...

  8. 你懂RocketMQ 的架构原理吗？

    前言 前面我们跟大家聊了聊什么是消息中间件,以及哪些场景使用哪些消息中间件更加合适. 我们了解到RocketMQ是java语言开发的,我们能更深入的阅读源码了解它的底层原理,而且它具有优秀的消息中间件 ...

  9. 大数据体系概览Spark、Spark核心原理、架构原理、Spark特点

    大数据体系概览Spark.Spark核心原理.架构原理.Spark特点 大数据体系概览(Spark的地位) 什么是Spark? Spark整体架构 Spark的特点 Spark核心原理 Spark架构 ...

随机推荐

  1. 做 Excel 的 XML schema.xsd

    做 Excel 的 XML schema.xsd 因为需要将 BOM Cost 归档并使用 Git 管理,原来 XLSX 是二进制的,使用 Git 管理并不方便. 于是有了想用 XML 来管理想法,在 ...

  2. 获取当前 服务 路径 .net

    using System; //例如 AppDomain.CurrentDomain.BaseDirectory + "\\Setting.ini";

  3. 定时任务的N种解决方案

    1, java 有个延时任务接口 DelayQueue 实现这个接口可以做到延时队列 缺点:耗费资源,不持久(  java程序重启后丢失 ), 2. 基于spring 定时任务. 缺点:定时执行,不能 ...

  4. itertools.groupby()/itertools.compress() 笔记

    关于itertools.groupby() itertools.groupby()就是将相邻的并且相同的键值划分为同一组,相似功能可以看https://docs.python.org/3/librar ...

  5. Go mysql使用举例

    下载MySQL驱动 $ go get github.com/go-sql-driver/mysql 或者下载源码放到GOPATH中,下载地址:https://github.com/go-sql-dri ...

  6. Visual Studio: 一键卸载所有组件工具，彻底卸载干净。

    第一步.手动卸载VS主体 第二步.下载工具并解压 网盘下载地址:https://pan.baidu.com/s/1eSHRYxW 也可以在Github上下载最新版本:https://github.co ...

  7. iCheck .js各种各样的插件 fuck Javascript

    http://www.bootcss.com/p/icheck/ 1.先看下网上下载的demo <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 ...

  8. WPF实现打印用户界面功能2

    帮助类: using System; using System.Drawing.Printing; using System.IO; using System.Windows.Forms; names ...

  9. x230安装黑苹果

    https://forum.51nb.com/forum.php?mod=viewthread&tid=1802786&extra=page%3D1&page=1 下载 主要就 ...

  10. 黄聪：Fiddler对安卓应用手机抓包图文教程

    做开发需要抓取手机app的http/https的数据包,想看APP发出的http请求和响应是什么,这就需要抓包了,这可以得到一些不为人知的api,比如还可以干些“坏事”... 需要工具: Fiddle ...