1.安装好flume
2.安装好kafka
3.安装好spark
4.流程说明:
　　日志文件->flume->kafka->spark streaming
　　flume输入:文件
　　flume输出:kafka的输入
　　kafka输出:spark 输入
5.整合步骤:
　　(1).将插件jar拷贝到flume的lib目录下
　　　　a. flumeng-kafka-plugin.jar
　　　　b. metrics-annotation-2.2.0.jar

　　(2).将配置文件producer.properties拷贝到flume的conf目录下
　　　　配置文件内容如下:
　　　　　　#agentsection
　　　　　　producer.sources=s
　　　　　　producer.channels=c
　　　　　　producer.sinks=r

　　　　　　#sourcesection
　　　　　　producer.sources.s.type=exec
　　　　　　producer.sources.s.command=tail -f -n+1 /opt/apache-flume-1.6.0/data/testFlumeKafka.txt
　　　　　　producer.sources.s.channels=c

　　　　　　# Eachsink's type must be defined
　　　　　　producer.sinks.r.type=org.apache.flume.plugins.KafkaSink
　　　　　　producer.sinks.r.metadata.broker.list=namenode:19092,datanode1:19092,datanode2:19092
　　　　　　producer.sinks.r.partition.key=0
　　　　　　producer.sinks.r.partitioner.class=org.apache.flume.plugins.SinglePartition
　　　　　　producer.sinks.r.serializer.class=kafka.serializer.StringEncoder
　　　　　　producer.sinks.r.request.required.acks=0
　　　　　　producer.sinks.r.max.message.size=1000000
　　　　　　producer.sinks.r.producer.type=sync
　　　　　　producer.sinks.r.custom.encoding=UTF-8
　　　　　　producer.sinks.r.custom.topic.name=test //需建好对应topic

　　　　　　#Specifythe channel the sink should use
　　　　　　producer.sinks.r.channel=c

　　　　　　# Eachchannel's type is defined.
　　　　　　producer.channels.c.type=memory
　　　　　　producer.channels.c.capacity=1000
　　　　　　producer.channels.c.transactionCapacity=100

　　　　(3).启动flume-ng
　　　　　　命令如下:flume-ng agent -c . -f /opt/apache-flume-1.6.0/conf/producer.conf -n producer

　　　　(4).启动kafka-server
　　　　　　命令如下:bin/kafka-server-start.sh config/server.properties

　　　　(5).启动kafka-consumer(默认已经创建了test topic)
　　　　　　命令如下:bin/kafka-console-consumer.sh --zookeeper namenode:12181,datanode1:12181,datanode2:12181 --topic test --from-beginning

　　　　(6).启动spark
　　　　　　命令如下:sbin/start-all.sh

　　　　(7).运行spark streaming Demo
　　　　　　命令如下:run-example org.apache.spark.examples.streaming.JavaKafkaWordCount namenode:12181 test-consumer-group test 3 >> test.log

　　　　(8).在对应的日志文件中输入内容,则可以在test.log文件看到单词计数的结果

flume+kafka+spark streaming整合的更多相关文章

  1. 日志=>flume=>kafka=>spark streaming=>hbase

    日志=>flume=>kafka=>spark streaming=>hbase 日志部分 #coding=UTF-8 import random import time ur ...

  2. demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreachRDD输出到redis

    基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming.Spark SQL.MLlib.GraphX,这些内建库都提供了 ...

  3. Spark学习之路（十六）—— Spark Streaming 整合 Kafka

    一.版本说明 Spark针对Kafka的不同版本,提供了两套整合方案:spark-streaming-kafka-0-8和spark-streaming-kafka-0-10,其主要区别如下:   s ...

  4. Spark学习之路（十五）—— Spark Streaming 整合 Flume

    一.简介 Apache Flume是一个分布式,高可用的数据收集系统,可以从不同的数据源收集数据,经过聚合后发送到分布式计算框架或者存储系统中.Spark Straming提供了以下两种方式用于Flu ...

  5. Spark 系列（十五）—— Spark Streaming 整合 Flume

    一.简介 Apache Flume 是一个分布式,高可用的数据收集系统,可以从不同的数据源收集数据,经过聚合后发送到分布式计算框架或者存储系统中.Spark Straming 提供了以下两种方式用于 ...

  6. Spark 系列（十六）—— Spark Streaming 整合 Kafka

    一.版本说明 Spark 针对 Kafka 的不同版本,提供了两套整合方案:spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10,其主要区别如下 ...

  7. Spark Streaming 整合 Flume

    Spark Streaming 整合 Flume ​ 一.简介二.推送式方法        2.1 配置日志收集Flume        2.2 项目依赖        2.3 Spark Strea ...

  8. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装

    一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 sla ...

  9. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十三）kafka+spark streaming打包好的程序提交时提示虚拟内存不足（Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G）

    异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...

随机推荐

  1. telnet模拟邮件发送

    前提:Telnet命令可用 问题:提示不是内部命令: 解决办法:控制面板->程序和功能->打开或关闭Windows功能,把Telnet客户端勾上即可: 步骤: telnet smtp.al ...

  2. mysql获取一个表中的下一个自增(id)值的方法

    SELECT Auto_increment FROM information_schema.`TABLES` WHERE Table_Schema='数据库名' AND table_name = '表 ...

  3. Apache服务器安装过程及问题的解决(for windows system32bit)

    在使用Hbuilder设计网站时,在制作本站搜索时,用到了Php文件,而Hbuilder的内置web服务器不支持php的解析, 所以需要安装配置外部服务器,有多个选择,我安装的apache服务器,并遇 ...

  4. 【DS】About Stack

    栈 一言以蔽之,就是后进的先出(LIFO). C语言实现代码: #include<stdio.h> #include<stdlib.h> typedef struct Stac ...

  5. Hibernate连接mysql数据库的配置

    <?xml version='1.0' encoding='utf-8'?> <!DOCTYPE hibernate-configuration PUBLIC "-//Hi ...

  6. postgresql中的CUBE函数

    数据函数简介添加汇总额外信息 数据 --复杂统计函数 CREATE TABLE t3 (color_type varchar(20), in_date varchar(30),color_count ...

  7. ur c题练习

    ur的c果然sxbk啊 ur5:“三个莫比乌斯反演掷地有声"——摘自v(c)f(z)k(y)语录,无删改 ur2:有根树分治裸题,复杂度玄学$O(n\sqrt{n})$. 首先,转化为统计k ...

  8. java中 IndexOf()、lastIndexOf()、substring()的用法

    public int indexof(String str)返回字符串中出现str的第一个位置 public int indexof(String str,int fromIndex)返回字符串中从f ...

  9. python 模块包裹

    arlenmbx@arlenmbx-ThinkPad-X130e:~$ su root 密码: root@arlenmbx-ThinkPad-X130e:/home/arlenmbx# python ...

  10. 自定义注解之运行时注解(RetentionPolicy.RUNTIME)

    对注解概念不了解的可以先看这个:Java注解基础概念总结 前面有提到注解按生命周期来划分可分为3类: 1.RetentionPolicy.SOURCE:注解只保留在源文件,当Java文件编译成clas ...