1.flume概述

我们的web服务器等等每天会产生大量的日志，我们要把这些日志收集起来，移动到hadoop平台上进行分析。

那么如何移动这些数据呢？一种方法是通过shell cp到hadoop集群上，然后通过hdfs dfs -put，这种方法毫无疑问是可行的，但是有一个问题。如果在移动数据的时候一台机器宕掉了，该怎么办？这种方法没办法进行监控，以及做负载均衡什么的，这个时候就需要flume了。

webserver（源端） ==》flume ==》hdfs（目的地）

flume是一个分布式、高可靠、高可用的服务，用于高效地收集、聚合、移动大量的日志数据。有着基于流式数据流的简单且灵活的架构，flume非常健壮并且具有容错性，具有能够从故障中恢复过来的机制，并使用一种简单易扩展的模型，允许在线分析。

这个架构图也清晰显示了flume的架构，source和web server对接，将日志收集起来，存放到channel里，然后sink（下沉）到hdfs里面

一句话总结flume：就是一个搬运工，将数据从A地方搬到B地方。

通常情况，flume会对决kafka、storm、spark streaming等等。

设计目标：

　　可靠性，数据不会有丢失

　　扩展性，可以线性添加机器

　　管理型，我们是一个source一个channel一个sink组成一个agent，在使用flume，只需要配置agent的配置文件即可。