一、spark-streaming-kafka-0-8_2.11-2.0.2.jar

1、pom.xml



  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.0.2</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>
    8. 

  8. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    9. 

  9. <dependency>
    10. 

  10. <groupId>org.apache.spark</groupId>
    11. 

  11. <artifactId>spark-streaming_2.11</artifactId>
    12. 

  12. <version>2.0.2</version>
    13. 

  13. <scope>runtime</scope>
    14. 

  14. </dependency>
    15. 

  15. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11 -->
    16. 

  16. <dependency>
    17. 

  17. <groupId>org.apache.spark</groupId>
    18. 

  18. <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
    19. 

  19. <version>2.0.2</version>
    20. 

  20. <scope>runtime</scope>
    21. 

  21. </dependency>


2、Kafka Consumer类




  1. package com.spark.main;
    2. 

  2. import java.util.Arrays;
    3. 

  3. import java.util.HashMap;
    4. 

  4. import java.util.HashSet;
    5. 

  5. import java.util.Map;
    6. 

  6. import java.util.Set;
    7. 

  7. import org.apache.spark.SparkConf;
    8. 

  8. import org.apache.spark.api.java.JavaRDD;
    9. 

  9. import org.apache.spark.api.java.function.Function;
    10. 

  10. import org.apache.spark.api.java.function.VoidFunction;
    11. 

  11. import org.apache.spark.streaming.Durations;
    12. 

  12. import org.apache.spark.streaming.api.java.JavaDStream;
    13. 

  13. import org.apache.spark.streaming.api.java.JavaPairInputDStream;
    14. 

  14. import org.apache.spark.streaming.api.java.JavaStreamingContext;
    15. 

  15. import org.apache.spark.streaming.kafka.KafkaUtils;
    16. 

  16. import kafka.serializer.StringDecoder;
    17. 

  17. import scala.Tuple2;
    18. 

  18. public class KafkaConsumer{
    19. 

  19. public static void main(String[] args) throws InterruptedException{
    20. 

  20. /**
    21. 

  21. * SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    22. 

  22. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    23. 

  23. * Durations.seconds(2)每两秒读取一次kafka
    24. 

  24. */
    25. 

  25. SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    26. 

  26. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.milliseconds(500));
    27. 

  27. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint/KafkaConsumer");
    28. 

  28. /**
    29. 

  29. * 配置连接kafka的相关参数
    30. 

  30. */
    31. 

  31. Set<String> topicsSet = new HashSet<String>(Arrays.asList("TestTopic"));
    32. 

  32. Map<String, String> kafkaParams = new HashMap<String, String>();
    33. 

  33. kafkaParams.put("metadata.broker.list", "192.168.168.200:9092");
    34. 

  34. kafkaParams.put("auto.offset.reset", "smallest");//smallest：从最初开始；largest ：从最新开始
    35. 

  35. kafkaParams.put("fetch.message.max.bytes", "524288");
    36. 

  36. JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(jssc, String.class, String.class,
    37. 

  37. StringDecoder.class, StringDecoder.class, kafkaParams, topicsSet);
    38. 

  38. /**
    39. 

  39. * _2()获取第二个对象的值
    40. 

  40. */
    41. 

  41. JavaDStream<String> lines = messages.map(new Function<Tuple2<String, String>, String>() {
    42. 

  42. public String call(Tuple2<String, String> tuple2) {
    43. 

  43. return tuple2._2();
    44. 

  44. }
    45. 

  45. });
    46. 

  46. lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    47. 

  47. public void call(JavaRDD<String> rdd) throws Exception {
    48. 

  48. rdd.foreach(new VoidFunction<String>() {
    49. 

  49. public void call(String s) throws Exception {
    50. 

  50. System.out.println(s);
    51. 

  51. }
    52. 

  52. });
    53. 

  53. }
    54. 

  54. });
    55. 

  55. // Start the computation
    56. 

  56. jssc.start();
    57. 

  57. jssc.awaitTermination();
    58. 

  58. }
    59. 

  59. }


二、spark-streaming-kafka-0-10_2.11-2.0.2.jar


1、pom.xml




  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.0.2</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>
    8. 

  8. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    9. 

  9. <dependency>
    10. 

  10. <groupId>org.apache.spark</groupId>
    11. 

  11. <artifactId>spark-streaming_2.11</artifactId>
    12. 

  12. <version>2.0.2</version>
    13. 

  13. <scope>runtime</scope>
    14. 

  14. </dependency>
    15. 

  15. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.11 -->
    16. 

  16. <dependency>
    17. 

  17. <groupId>org.apache.spark</groupId>
    18. 

  18. <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    19. 

  19. <version>2.0.2</version>
    20. 

  20. <scope>runtime</scope>
    21. 

  21. </dependency>


2、Kafka Consumer类




  1. package com.spark.main;
    2. 

  2. import java.util.Arrays;
    3. 

  3. import java.util.HashMap;
    4. 

  4. import java.util.HashSet;
    5. 

  5. import java.util.Map;
    6. 

  6. import java.util.Set;
    7. 

  7. import org.apache.kafka.clients.consumer.ConsumerRecord;
    8. 

  8. import org.apache.kafka.common.serialization.StringDeserializer;
    9. 

  9. import org.apache.spark.SparkConf;
    10. 

  10. import org.apache.spark.api.java.JavaRDD;
    11. 

  11. import org.apache.spark.api.java.function.Function;
    12. 

  12. import org.apache.spark.api.java.function.VoidFunction;
    13. 

  13. import org.apache.spark.streaming.Durations;
    14. 

  14. import org.apache.spark.streaming.api.java.JavaDStream;
    15. 

  15. import org.apache.spark.streaming.api.java.JavaInputDStream;
    16. 

  16. import org.apache.spark.streaming.api.java.JavaPairInputDStream;
    17. 

  17. import org.apache.spark.streaming.api.java.JavaStreamingContext;
    18. 

  18. import org.apache.spark.streaming.kafka010.ConsumerStrategies;
    19. 

  19. import org.apache.spark.streaming.kafka010.KafkaUtils;
    20. 

  20. import org.apache.spark.streaming.kafka010.LocationStrategies;
    21. 

  21. import kafka.serializer.StringDecoder;
    22. 

  22. import scala.Tuple2;
    23. 

  23. public class Kafka10Consumer{
    24. 

  24. public static void main(String[] args) throws InterruptedException{
    25. 

  25. /**
    26. 

  26. * SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    27. 

  27. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    28. 

  28. * Durations.seconds(2)每两秒读取一次kafka
    29. 

  29. */
    30. 

  30. SparkConf sparkConf = new SparkConf().setAppName("Kafka10Consumer").setMaster("local[2]");
    31. 

  31. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.milliseconds(500));
    32. 

  32. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint/Kafka10Consumer");
    33. 

  33. /**
    34. 

  34. * 配置连接kafka的相关参数
    35. 

  35. */
    36. 

  36. Set<String> topicsSet = new HashSet<String>(Arrays.asList("TestTopic"));
    37. 

  37. Map<String, Object> kafkaParams = new HashMap<String, Object>();
    38. 

  38. kafkaParams.put("bootstrap.servers", "192.168.168.200:9092");
    39. 

  39. kafkaParams.put("key.deserializer", StringDeserializer.class);
    40. 

  40. kafkaParams.put("value.deserializer", StringDeserializer.class);
    41. 

  41. kafkaParams.put("group.id", "Kafka10Consumer");
    42. 

  42. kafkaParams.put("auto.offset.reset", "earliest");//earliest : 从最早开始；latest ：从最新开始
    43. 

  43. kafkaParams.put("enable.auto.commit", false);
    44. 

  44. //通过KafkaUtils.createDirectStream(...)获得kafka数据，kafka相关参数由kafkaParams指定
    45. 

  45. JavaInputDStream<ConsumerRecord<Object,Object>> messages = KafkaUtils.createDirectStream(
    46. 

  46. jssc,
    47. 

  47. LocationStrategies.PreferConsistent(),
    48. 

  48. ConsumerStrategies.Subscribe(topicsSet, kafkaParams)
    49. 

  49. );
    50. 

  50. /**
    51. 

  51. * _2()获取第二个对象的值
    52. 

  52. */
    53. 

  53. JavaDStream<String> lines = messages.map(new Function<ConsumerRecord<Object,Object>, String>() {
    54. 

  54. @Override
    55. 

  55. public String call(ConsumerRecord<Object, Object> consumerRecord) throws Exception {
    56. 

  56. // TODO Auto-generated method stub
    57. 

  57. return consumerRecord.value().toString();
    58. 

  58. }
    59. 

  59. });
    60. 

  60. lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    61. 

  61. public void call(JavaRDD<String> rdd) throws Exception {
    62. 

  62. rdd.foreach(new VoidFunction<String>() {
    63. 

  63. public void call(String s) throws Exception {
    64. 

  64. System.out.println(s);
    65. 

  65. }
    66. 

  66. });
    67. 

  67. }
    68. 

  68. });
    69. 

  69. // Start the computation
    70. 

  70. jssc.start();
    71. 

  71. jssc.awaitTermination();
    72. 

  72. }
    73. 

  73. }


												


											
spark-streaming-kafka-0-8 和 0-10的使用区别的更多相关文章
	

    
						
  1. Spark Streaming + Kafka整合(Kafka broker版本0.8.2.1+)
		
    这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档. 本文主要讲解了Spark Streaming如何从Kafka接收数据.Spark Streaming从Kafka接 ...
    
		
    2. 
						
  2. Spark踩坑记——Spark Streaming+Kafka
		
    [TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark strea ...
    
		
    3. 
						
  3. Spark Streaming+Kafka
		
    Spark Streaming+Kafka 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端, ...
    
		
    4. 
						
  4. spark streaming kafka example
		
    // scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.String ...
    
		
    5. 
						
  5. spark streaming - kafka updateStateByKey 统计用户消费金额
		
    场景 餐厅老板想要统计每个用户来他的店里总共消费了多少金额,我们可以使用updateStateByKey来实现 从kafka接收用户消费json数据,统计每分钟用户的消费情况,并且统计所有时间所有用户 ...
    
		
    6. 
						
  6. Spark踩坑记：Spark Streaming+kafka应用及调优
		
    前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从k ...
    
		
    7. 
						
  7. Spark streaming + Kafka 流式数据处理，结果存储至MongoDB、Solr、Neo4j（自用）
		
    KafkaStreaming.scala文件 import kafka.serializer.StringDecoder import org.apache.spark.SparkConf impor ...
    
		
    8. 
						
  8. IDEA Spark Streaming Kafka数据源-Consumer
		
    import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apac ...
    
		
    9. 
						
  9. 4、spark streaming+kafka
		
    一.Receiver模式 1. receiver模式原理图 在SparkStreaming程序运行起来后,Executor中会有receiver tasks接收kafka推送过来的数据.数据会被持久化 ...
    
		
    10. 
						
  10. spark.streaming.kafka.maxRatePerPartition的理解
		
    spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数. 假设此项设为1,批次间隔为10s,目标topic只有 ...
    
		
    11. 
		

	


随机推荐
	

    
									
  1. python day08作业答案
			
    1. a f=open('11.txt','r',encoding='utf-8') a=f.read() print(a) f.flush() f.close() b. f=open('11.txt ...
    
			
    2. 
						
  2. CRM工具简介
			
    pacemaker是高可用集群中的CRM(Cluster Resource Manager)资源管理层,他是一个服务,可以作为一个单独的服务启动,不过在如果使用corosync1.4中,我们可以设置c ...
    
			
    3. 
						
  3. 批注@SuppressWarnings 的作用
			
    J2SE 提供的最后一个批注是 @SuppressWarnings.该批注的作用是给编译器一条指令,告诉它对被批注的代码元素内部的某些警告保持静默. 一点背景:J2SE 5.0 为 Java 语言增加 ...
    
			
    4. 
						
  4. 20165228 2017-2018-2 《Java程序设计》第9周学习总结
			
    20165228 2017-2018-2 <Java程序设计>第9周学习总结 教材学习内容总结 URL类是java.net包中的一个重要的类,URL的实例封装着一个统一资源定位符(Unif ...
    
			
    5. 
						
  5. Oval框架如何校验枚举类型的一种思路
			
    前言: Oval校验框架被广泛集成于各类接口参数校验中, 其方便的注解语法, 易读性和扩展性. 几乎成了java后端服务代码的标配. 有人会很疑惑, 都已经是枚举类型了, 还需要校验吗? 其实这边更确 ...
    
			
    6. 
						
  6. 创建一个版本库，把文件夹用Git管理起来
			
    创建一个文件夹,把这个文件夹用Git管理起来,那么这个文件夹的改变都可以被Git跟踪到,当然也可以将Git中的文件还原到某一个时刻. 首先创建一个空的目录,然后将空的目录由Git来管理 1.建立一个文 ...
    
			
    7. 
						
  7. linux 的压缩 打包
			
    1.压缩打包,常见的命令:gzip bzip2 xz zip tar gzip:  不能压缩目录 gip  -[0-9]  file_name   压缩级别, 默认是6 gzip  file_nane ...
    
			
    8. 
						
  8. 2017.4.5  Strom
			
    Strom是分布式实时计算系统,它对于实时计算的意义类似于hadoop对于批处理的意义.与Storm关系密切的语言:核心代码用clojure书写,实用程序用python开发,使用java开发拓扑. S ...
    
			
    9. 
						
  9. C++学习（九）（C语言部分）之 项目 推箱子游戏
			
    游戏制作 推箱子 步骤分析 1.模板 2.模板分析 组成元素: 空地 墙 人 目的地 箱子 背景 3.如何操作 通过WASD键盘操作人,推着箱子,到达目的地,游戏结束,如果箱子卡在死角则游戏失败 4. ...
    
			
    10. 
						
  10. url和资源的再理解
			
    元数据管理系统中, 确实是所有的静态资源都放在WebContent 不在dgs这个主项目中,通过url访问了 下面的这个项目在dgs中
    
			
    11.