一、spark-streaming-kafka-0-8_2.11-2.0.2.jar

1、pom.xml



  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.0.2</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>
    8. 

  8. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    9. 

  9. <dependency>
    10. 

  10. <groupId>org.apache.spark</groupId>
    11. 

  11. <artifactId>spark-streaming_2.11</artifactId>
    12. 

  12. <version>2.0.2</version>
    13. 

  13. <scope>runtime</scope>
    14. 

  14. </dependency>
    15. 

  15. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11 -->
    16. 

  16. <dependency>
    17. 

  17. <groupId>org.apache.spark</groupId>
    18. 

  18. <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
    19. 

  19. <version>2.0.2</version>
    20. 

  20. <scope>runtime</scope>
    21. 

  21. </dependency>


2、Kafka Consumer类




  1. package com.spark.main;
    2. 

  2. import java.util.Arrays;
    3. 

  3. import java.util.HashMap;
    4. 

  4. import java.util.HashSet;
    5. 

  5. import java.util.Map;
    6. 

  6. import java.util.Set;
    7. 

  7. import org.apache.spark.SparkConf;
    8. 

  8. import org.apache.spark.api.java.JavaRDD;
    9. 

  9. import org.apache.spark.api.java.function.Function;
    10. 

  10. import org.apache.spark.api.java.function.VoidFunction;
    11. 

  11. import org.apache.spark.streaming.Durations;
    12. 

  12. import org.apache.spark.streaming.api.java.JavaDStream;
    13. 

  13. import org.apache.spark.streaming.api.java.JavaPairInputDStream;
    14. 

  14. import org.apache.spark.streaming.api.java.JavaStreamingContext;
    15. 

  15. import org.apache.spark.streaming.kafka.KafkaUtils;
    16. 

  16. import kafka.serializer.StringDecoder;
    17. 

  17. import scala.Tuple2;
    18. 

  18. public class KafkaConsumer{
    19. 

  19. public static void main(String[] args) throws InterruptedException{
    20. 

  20. /**
    21. 

  21. * SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    22. 

  22. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    23. 

  23. * Durations.seconds(2)每两秒读取一次kafka
    24. 

  24. */
    25. 

  25. SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    26. 

  26. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.milliseconds(500));
    27. 

  27. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint/KafkaConsumer");
    28. 

  28. /**
    29. 

  29. * 配置连接kafka的相关参数
    30. 

  30. */
    31. 

  31. Set<String> topicsSet = new HashSet<String>(Arrays.asList("TestTopic"));
    32. 

  32. Map<String, String> kafkaParams = new HashMap<String, String>();
    33. 

  33. kafkaParams.put("metadata.broker.list", "192.168.168.200:9092");
    34. 

  34. kafkaParams.put("auto.offset.reset", "smallest");//smallest：从最初开始；largest ：从最新开始
    35. 

  35. kafkaParams.put("fetch.message.max.bytes", "524288");
    36. 

  36. JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(jssc, String.class, String.class,
    37. 

  37. StringDecoder.class, StringDecoder.class, kafkaParams, topicsSet);
    38. 

  38. /**
    39. 

  39. * _2()获取第二个对象的值
    40. 

  40. */
    41. 

  41. JavaDStream<String> lines = messages.map(new Function<Tuple2<String, String>, String>() {
    42. 

  42. public String call(Tuple2<String, String> tuple2) {
    43. 

  43. return tuple2._2();
    44. 

  44. }
    45. 

  45. });
    46. 

  46. lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    47. 

  47. public void call(JavaRDD<String> rdd) throws Exception {
    48. 

  48. rdd.foreach(new VoidFunction<String>() {
    49. 

  49. public void call(String s) throws Exception {
    50. 

  50. System.out.println(s);
    51. 

  51. }
    52. 

  52. });
    53. 

  53. }
    54. 

  54. });
    55. 

  55. // Start the computation
    56. 

  56. jssc.start();
    57. 

  57. jssc.awaitTermination();
    58. 

  58. }
    59. 

  59. }


二、spark-streaming-kafka-0-10_2.11-2.0.2.jar


1、pom.xml




  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.0.2</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>
    8. 

  8. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    9. 

  9. <dependency>
    10. 

  10. <groupId>org.apache.spark</groupId>
    11. 

  11. <artifactId>spark-streaming_2.11</artifactId>
    12. 

  12. <version>2.0.2</version>
    13. 

  13. <scope>runtime</scope>
    14. 

  14. </dependency>
    15. 

  15. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.11 -->
    16. 

  16. <dependency>
    17. 

  17. <groupId>org.apache.spark</groupId>
    18. 

  18. <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    19. 

  19. <version>2.0.2</version>
    20. 

  20. <scope>runtime</scope>
    21. 

  21. </dependency>


2、Kafka Consumer类




  1. package com.spark.main;
    2. 

  2. import java.util.Arrays;
    3. 

  3. import java.util.HashMap;
    4. 

  4. import java.util.HashSet;
    5. 

  5. import java.util.Map;
    6. 

  6. import java.util.Set;
    7. 

  7. import org.apache.kafka.clients.consumer.ConsumerRecord;
    8. 

  8. import org.apache.kafka.common.serialization.StringDeserializer;
    9. 

  9. import org.apache.spark.SparkConf;
    10. 

  10. import org.apache.spark.api.java.JavaRDD;
    11. 

  11. import org.apache.spark.api.java.function.Function;
    12. 

  12. import org.apache.spark.api.java.function.VoidFunction;
    13. 

  13. import org.apache.spark.streaming.Durations;
    14. 

  14. import org.apache.spark.streaming.api.java.JavaDStream;
    15. 

  15. import org.apache.spark.streaming.api.java.JavaInputDStream;
    16. 

  16. import org.apache.spark.streaming.api.java.JavaPairInputDStream;
    17. 

  17. import org.apache.spark.streaming.api.java.JavaStreamingContext;
    18. 

  18. import org.apache.spark.streaming.kafka010.ConsumerStrategies;
    19. 

  19. import org.apache.spark.streaming.kafka010.KafkaUtils;
    20. 

  20. import org.apache.spark.streaming.kafka010.LocationStrategies;
    21. 

  21. import kafka.serializer.StringDecoder;
    22. 

  22. import scala.Tuple2;
    23. 

  23. public class Kafka10Consumer{
    24. 

  24. public static void main(String[] args) throws InterruptedException{
    25. 

  25. /**
    26. 

  26. * SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    27. 

  27. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    28. 

  28. * Durations.seconds(2)每两秒读取一次kafka
    29. 

  29. */
    30. 

  30. SparkConf sparkConf = new SparkConf().setAppName("Kafka10Consumer").setMaster("local[2]");
    31. 

  31. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.milliseconds(500));
    32. 

  32. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint/Kafka10Consumer");
    33. 

  33. /**
    34. 

  34. * 配置连接kafka的相关参数
    35. 

  35. */
    36. 

  36. Set<String> topicsSet = new HashSet<String>(Arrays.asList("TestTopic"));
    37. 

  37. Map<String, Object> kafkaParams = new HashMap<String, Object>();
    38. 

  38. kafkaParams.put("bootstrap.servers", "192.168.168.200:9092");
    39. 

  39. kafkaParams.put("key.deserializer", StringDeserializer.class);
    40. 

  40. kafkaParams.put("value.deserializer", StringDeserializer.class);
    41. 

  41. kafkaParams.put("group.id", "Kafka10Consumer");
    42. 

  42. kafkaParams.put("auto.offset.reset", "earliest");//earliest : 从最早开始；latest ：从最新开始
    43. 

  43. kafkaParams.put("enable.auto.commit", false);
    44. 

  44. //通过KafkaUtils.createDirectStream(...)获得kafka数据，kafka相关参数由kafkaParams指定
    45. 

  45. JavaInputDStream<ConsumerRecord<Object,Object>> messages = KafkaUtils.createDirectStream(
    46. 

  46. jssc,
    47. 

  47. LocationStrategies.PreferConsistent(),
    48. 

  48. ConsumerStrategies.Subscribe(topicsSet, kafkaParams)
    49. 

  49. );
    50. 

  50. /**
    51. 

  51. * _2()获取第二个对象的值
    52. 

  52. */
    53. 

  53. JavaDStream<String> lines = messages.map(new Function<ConsumerRecord<Object,Object>, String>() {
    54. 

  54. @Override
    55. 

  55. public String call(ConsumerRecord<Object, Object> consumerRecord) throws Exception {
    56. 

  56. // TODO Auto-generated method stub
    57. 

  57. return consumerRecord.value().toString();
    58. 

  58. }
    59. 

  59. });
    60. 

  60. lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    61. 

  61. public void call(JavaRDD<String> rdd) throws Exception {
    62. 

  62. rdd.foreach(new VoidFunction<String>() {
    63. 

  63. public void call(String s) throws Exception {
    64. 

  64. System.out.println(s);
    65. 

  65. }
    66. 

  66. });
    67. 

  67. }
    68. 

  68. });
    69. 

  69. // Start the computation
    70. 

  70. jssc.start();
    71. 

  71. jssc.awaitTermination();
    72. 

  72. }
    73. 

  73. }


												


											
spark-streaming-kafka-0-8 和 0-10的使用区别的更多相关文章
	

    
						
  1. Spark Streaming + Kafka整合(Kafka broker版本0.8.2.1+)
		
    这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档. 本文主要讲解了Spark Streaming如何从Kafka接收数据.Spark Streaming从Kafka接 ...
    
		
    2. 
						
  2. Spark踩坑记——Spark Streaming+Kafka
		
    [TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark strea ...
    
		
    3. 
						
  3. Spark Streaming+Kafka
		
    Spark Streaming+Kafka 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端, ...
    
		
    4. 
						
  4. spark streaming kafka example
		
    // scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.String ...
    
		
    5. 
						
  5. spark streaming - kafka updateStateByKey 统计用户消费金额
		
    场景 餐厅老板想要统计每个用户来他的店里总共消费了多少金额,我们可以使用updateStateByKey来实现 从kafka接收用户消费json数据,统计每分钟用户的消费情况,并且统计所有时间所有用户 ...
    
		
    6. 
						
  6. Spark踩坑记：Spark Streaming+kafka应用及调优
		
    前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从k ...
    
		
    7. 
						
  7. Spark streaming + Kafka 流式数据处理，结果存储至MongoDB、Solr、Neo4j（自用）
		
    KafkaStreaming.scala文件 import kafka.serializer.StringDecoder import org.apache.spark.SparkConf impor ...
    
		
    8. 
						
  8. IDEA Spark Streaming Kafka数据源-Consumer
		
    import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apac ...
    
		
    9. 
						
  9. 4、spark streaming+kafka
		
    一.Receiver模式 1. receiver模式原理图 在SparkStreaming程序运行起来后,Executor中会有receiver tasks接收kafka推送过来的数据.数据会被持久化 ...
    
		
    10. 
						
  10. spark.streaming.kafka.maxRatePerPartition的理解
		
    spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数. 假设此项设为1,批次间隔为10s,目标topic只有 ...
    
		
    11. 
		

	


随机推荐
	

    
									
  1. 我有特殊的Windows激活姿势
			
    一直都在用的激活姿势,给大家分享下~ 保存为 .cmd 文件 右键->以管理员身份运行 @echo off setlocal EnableDelayedExpansion & cd /d ...
    
			
    2. 
						
  2. Day15作业及默写
			
    1.整理今天内容 PASS 2.现有列表alist = [3,1,-4,2,-6] 按照元素的绝对值大小进行排序 alist = [3,1,-4,2,-6] sorted(alist,key=lamb ...
    
			
    3. 
						
  3. Spring Boot 揭秘与实战（二） 数据缓存篇 - Redis Cache
			
    文章目录 1. Redis Cache 集成 2. 源代码 本文,讲解 Spring Boot 如何集成 Redis Cache,实现缓存. 在阅读「Spring Boot 揭秘与实战(二) 数据缓存 ...
    
			
    4. 
						
  4. 大一下第2次作业(markdown改)
			
    一.作业 6-7 删除字符串中数字字符 1.设计思路 (1)主要描述题目算法 第一步:用for循环和if语句,一个一个字符判断,找到数字字符就跳过去判断下一个,否则使指针指向不是(已判断过的)数字字符 ...
    
			
    5. 
						
  5. i.MX6 设备树 GPIO 默认值
			
    /********************************************************************** * i.MX6 设备树 GPIO 默认值 * 说明: * ...
    
			
    6. 
						
  6. tarfile — Read and write tar archive files
			
    参考: https://docs.python.org/2/library/tarfile.html http://www.jianshu.com/p/bbad16822eab #解压文件tarfil ...
    
			
    7. 
						
  7. currentStyle&getComputedStyle获取属性
			
    方法如下: function getStyle(obj,attr){ if(obj.currentStyle){ return obj.currentStyle[attr]; // IE 中的方法 } ...
    
			
    8. 
						
  8. 安装部署redis3.2  phpRedisAdmin 攻略
			
    1.下载redis3.2稳定版本: 下载地址:  https://redis.io/download 2.安装: 解压文件后,进行文件夹: 执行以下命令: make cd src make insta ...
    
			
    9. 
						
  9. hdu4965 Fast Matrix Calculation 矩阵快速幂
			
    One day, Alice and Bob felt bored again, Bob knows Alice is a girl who loves math and is just learni ...
    
			
    10. 
						
  10. 针对IE浏览器的CSS样式（兼容性）
			
    1. IE hacks: "_"  是IE6 专有的hack; "\9" 对IE6-IE10都有效: "\0"对IE8-IE10都有效: & ...
    
			
    11.