一、spark-streaming-kafka-0-8_2.11-2.0.2.jar

1、pom.xml



  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.0.2</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>
    8. 

  8. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    9. 

  9. <dependency>
    10. 

  10. <groupId>org.apache.spark</groupId>
    11. 

  11. <artifactId>spark-streaming_2.11</artifactId>
    12. 

  12. <version>2.0.2</version>
    13. 

  13. <scope>runtime</scope>
    14. 

  14. </dependency>
    15. 

  15. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11 -->
    16. 

  16. <dependency>
    17. 

  17. <groupId>org.apache.spark</groupId>
    18. 

  18. <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
    19. 

  19. <version>2.0.2</version>
    20. 

  20. <scope>runtime</scope>
    21. 

  21. </dependency>


2、Kafka Consumer类




  1. package com.spark.main;
    2. 

  2. import java.util.Arrays;
    3. 

  3. import java.util.HashMap;
    4. 

  4. import java.util.HashSet;
    5. 

  5. import java.util.Map;
    6. 

  6. import java.util.Set;
    7. 

  7. import org.apache.spark.SparkConf;
    8. 

  8. import org.apache.spark.api.java.JavaRDD;
    9. 

  9. import org.apache.spark.api.java.function.Function;
    10. 

  10. import org.apache.spark.api.java.function.VoidFunction;
    11. 

  11. import org.apache.spark.streaming.Durations;
    12. 

  12. import org.apache.spark.streaming.api.java.JavaDStream;
    13. 

  13. import org.apache.spark.streaming.api.java.JavaPairInputDStream;
    14. 

  14. import org.apache.spark.streaming.api.java.JavaStreamingContext;
    15. 

  15. import org.apache.spark.streaming.kafka.KafkaUtils;
    16. 

  16. import kafka.serializer.StringDecoder;
    17. 

  17. import scala.Tuple2;
    18. 

  18. public class KafkaConsumer{
    19. 

  19. public static void main(String[] args) throws InterruptedException{
    20. 

  20. /**
    21. 

  21. * SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    22. 

  22. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    23. 

  23. * Durations.seconds(2)每两秒读取一次kafka
    24. 

  24. */
    25. 

  25. SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    26. 

  26. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.milliseconds(500));
    27. 

  27. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint/KafkaConsumer");
    28. 

  28. /**
    29. 

  29. * 配置连接kafka的相关参数
    30. 

  30. */
    31. 

  31. Set<String> topicsSet = new HashSet<String>(Arrays.asList("TestTopic"));
    32. 

  32. Map<String, String> kafkaParams = new HashMap<String, String>();
    33. 

  33. kafkaParams.put("metadata.broker.list", "192.168.168.200:9092");
    34. 

  34. kafkaParams.put("auto.offset.reset", "smallest");//smallest：从最初开始；largest ：从最新开始
    35. 

  35. kafkaParams.put("fetch.message.max.bytes", "524288");
    36. 

  36. JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(jssc, String.class, String.class,
    37. 

  37. StringDecoder.class, StringDecoder.class, kafkaParams, topicsSet);
    38. 

  38. /**
    39. 

  39. * _2()获取第二个对象的值
    40. 

  40. */
    41. 

  41. JavaDStream<String> lines = messages.map(new Function<Tuple2<String, String>, String>() {
    42. 

  42. public String call(Tuple2<String, String> tuple2) {
    43. 

  43. return tuple2._2();
    44. 

  44. }
    45. 

  45. });
    46. 

  46. lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    47. 

  47. public void call(JavaRDD<String> rdd) throws Exception {
    48. 

  48. rdd.foreach(new VoidFunction<String>() {
    49. 

  49. public void call(String s) throws Exception {
    50. 

  50. System.out.println(s);
    51. 

  51. }
    52. 

  52. });
    53. 

  53. }
    54. 

  54. });
    55. 

  55. // Start the computation
    56. 

  56. jssc.start();
    57. 

  57. jssc.awaitTermination();
    58. 

  58. }
    59. 

  59. }


二、spark-streaming-kafka-0-10_2.11-2.0.2.jar


1、pom.xml




  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.0.2</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>
    8. 

  8. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    9. 

  9. <dependency>
    10. 

  10. <groupId>org.apache.spark</groupId>
    11. 

  11. <artifactId>spark-streaming_2.11</artifactId>
    12. 

  12. <version>2.0.2</version>
    13. 

  13. <scope>runtime</scope>
    14. 

  14. </dependency>
    15. 

  15. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.11 -->
    16. 

  16. <dependency>
    17. 

  17. <groupId>org.apache.spark</groupId>
    18. 

  18. <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    19. 

  19. <version>2.0.2</version>
    20. 

  20. <scope>runtime</scope>
    21. 

  21. </dependency>


2、Kafka Consumer类




  1. package com.spark.main;
    2. 

  2. import java.util.Arrays;
    3. 

  3. import java.util.HashMap;
    4. 

  4. import java.util.HashSet;
    5. 

  5. import java.util.Map;
    6. 

  6. import java.util.Set;
    7. 

  7. import org.apache.kafka.clients.consumer.ConsumerRecord;
    8. 

  8. import org.apache.kafka.common.serialization.StringDeserializer;
    9. 

  9. import org.apache.spark.SparkConf;
    10. 

  10. import org.apache.spark.api.java.JavaRDD;
    11. 

  11. import org.apache.spark.api.java.function.Function;
    12. 

  12. import org.apache.spark.api.java.function.VoidFunction;
    13. 

  13. import org.apache.spark.streaming.Durations;
    14. 

  14. import org.apache.spark.streaming.api.java.JavaDStream;
    15. 

  15. import org.apache.spark.streaming.api.java.JavaInputDStream;
    16. 

  16. import org.apache.spark.streaming.api.java.JavaPairInputDStream;
    17. 

  17. import org.apache.spark.streaming.api.java.JavaStreamingContext;
    18. 

  18. import org.apache.spark.streaming.kafka010.ConsumerStrategies;
    19. 

  19. import org.apache.spark.streaming.kafka010.KafkaUtils;
    20. 

  20. import org.apache.spark.streaming.kafka010.LocationStrategies;
    21. 

  21. import kafka.serializer.StringDecoder;
    22. 

  22. import scala.Tuple2;
    23. 

  23. public class Kafka10Consumer{
    24. 

  24. public static void main(String[] args) throws InterruptedException{
    25. 

  25. /**
    26. 

  26. * SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    27. 

  27. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    28. 

  28. * Durations.seconds(2)每两秒读取一次kafka
    29. 

  29. */
    30. 

  30. SparkConf sparkConf = new SparkConf().setAppName("Kafka10Consumer").setMaster("local[2]");
    31. 

  31. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.milliseconds(500));
    32. 

  32. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint/Kafka10Consumer");
    33. 

  33. /**
    34. 

  34. * 配置连接kafka的相关参数
    35. 

  35. */
    36. 

  36. Set<String> topicsSet = new HashSet<String>(Arrays.asList("TestTopic"));
    37. 

  37. Map<String, Object> kafkaParams = new HashMap<String, Object>();
    38. 

  38. kafkaParams.put("bootstrap.servers", "192.168.168.200:9092");
    39. 

  39. kafkaParams.put("key.deserializer", StringDeserializer.class);
    40. 

  40. kafkaParams.put("value.deserializer", StringDeserializer.class);
    41. 

  41. kafkaParams.put("group.id", "Kafka10Consumer");
    42. 

  42. kafkaParams.put("auto.offset.reset", "earliest");//earliest : 从最早开始；latest ：从最新开始
    43. 

  43. kafkaParams.put("enable.auto.commit", false);
    44. 

  44. //通过KafkaUtils.createDirectStream(...)获得kafka数据，kafka相关参数由kafkaParams指定
    45. 

  45. JavaInputDStream<ConsumerRecord<Object,Object>> messages = KafkaUtils.createDirectStream(
    46. 

  46. jssc,
    47. 

  47. LocationStrategies.PreferConsistent(),
    48. 

  48. ConsumerStrategies.Subscribe(topicsSet, kafkaParams)
    49. 

  49. );
    50. 

  50. /**
    51. 

  51. * _2()获取第二个对象的值
    52. 

  52. */
    53. 

  53. JavaDStream<String> lines = messages.map(new Function<ConsumerRecord<Object,Object>, String>() {
    54. 

  54. @Override
    55. 

  55. public String call(ConsumerRecord<Object, Object> consumerRecord) throws Exception {
    56. 

  56. // TODO Auto-generated method stub
    57. 

  57. return consumerRecord.value().toString();
    58. 

  58. }
    59. 

  59. });
    60. 

  60. lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    61. 

  61. public void call(JavaRDD<String> rdd) throws Exception {
    62. 

  62. rdd.foreach(new VoidFunction<String>() {
    63. 

  63. public void call(String s) throws Exception {
    64. 

  64. System.out.println(s);
    65. 

  65. }
    66. 

  66. });
    67. 

  67. }
    68. 

  68. });
    69. 

  69. // Start the computation
    70. 

  70. jssc.start();
    71. 

  71. jssc.awaitTermination();
    72. 

  72. }
    73. 

  73. }


												


											
spark-streaming-kafka-0-8 和 0-10的使用区别的更多相关文章
	

    
						
  1. Spark Streaming + Kafka整合(Kafka broker版本0.8.2.1+)
		
    这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档. 本文主要讲解了Spark Streaming如何从Kafka接收数据.Spark Streaming从Kafka接 ...
    
		
    2. 
						
  2. Spark踩坑记——Spark Streaming+Kafka
		
    [TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark strea ...
    
		
    3. 
						
  3. Spark Streaming+Kafka
		
    Spark Streaming+Kafka 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端, ...
    
		
    4. 
						
  4. spark streaming kafka example
		
    // scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.String ...
    
		
    5. 
						
  5. spark streaming - kafka updateStateByKey 统计用户消费金额
		
    场景 餐厅老板想要统计每个用户来他的店里总共消费了多少金额,我们可以使用updateStateByKey来实现 从kafka接收用户消费json数据,统计每分钟用户的消费情况,并且统计所有时间所有用户 ...
    
		
    6. 
						
  6. Spark踩坑记：Spark Streaming+kafka应用及调优
		
    前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从k ...
    
		
    7. 
						
  7. Spark streaming + Kafka 流式数据处理，结果存储至MongoDB、Solr、Neo4j（自用）
		
    KafkaStreaming.scala文件 import kafka.serializer.StringDecoder import org.apache.spark.SparkConf impor ...
    
		
    8. 
						
  8. IDEA Spark Streaming Kafka数据源-Consumer
		
    import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apac ...
    
		
    9. 
						
  9. 4、spark streaming+kafka
		
    一.Receiver模式 1. receiver模式原理图 在SparkStreaming程序运行起来后,Executor中会有receiver tasks接收kafka推送过来的数据.数据会被持久化 ...
    
		
    10. 
						
  10. spark.streaming.kafka.maxRatePerPartition的理解
		
    spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数. 假设此项设为1,批次间隔为10s,目标topic只有 ...
    
		
    11. 
		

	


随机推荐
	

    
									
  1. ubantu-vim操作
			
    vim其实就是vi的升级版,vi里的所有命令vim里都可以用,一般使用来说几乎没什么差别. 注:本篇文章区分大小写! vi / vim三级模式的关系: 命令行模式 任何时候,不管用户处于何种模式,只要 ...
    
			
    2. 
						
  2. web前端优化
			
    在谈到Web优化之前,我们回到一个更原始的问题,Web前端的本质是什么.我的理解是: 将信息快速并友好的展示给用户并能够与用户进行交互.快速的意思就是在尽可能短的时间内完成页面的加载,试想一下当你在淘 ...
    
			
    3. 
						
  3. 2.10 select下拉框
			
    2.10 select下拉框 本篇以百度设置下拉选项框为案例,详细介绍select下拉框相关的操作方法. 一.认识select    1.打开百度-设置-搜索设置界面,如下图所示 2.箭头所指位置,就 ...
    
			
    4. 
						
  4. ANDROID BINDER机制浅析
			
    Binder是Android上一种IPC机制,重要且较难理解.由于Linux上标准IPC在灵活和可靠性存在一定不足,Google基于OpenBinder的设计和构想实现了Binder. 本文只简单介绍 ...
    
			
    5. 
						
  5. 【leetcode】409. Longest Palindrome
			
    problem 409. Longest Palindrome solution1: class Solution { public: int longestPalindrome(string s)  ...
    
			
    6. 
						
  6. lesson7cnn architecture-fastai
			
    课程https://v.qq.com/x/page/e0398lijt8h.html 讲解: http://www.sohu.com/a/144583206_697750 resnet可以看作VGG1 ...
    
			
    7. 
						
  7. EasyUI datagrid 一个可以 直接运行例子一个文件 六
			
    <!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <meta ht ...
    
			
    8. 
						
  8. 《DSP using MATLAB》Problem 5.32
			
    代码: function [y] = ovrlpadd_v3(x, h, N) %% Overlap-Add method of block convolution %% -------------- ...
    
			
    9. 
						
  9. 组合数据类型，英文词频统计  python
			
    练习: 总结列表,元组,字典,集合的联系与区别.列表,元组,字典,集合的遍历. 区别: 一.列表:列表给大家的印象是索引,有了索引就是有序,想要存储有序的项目,用列表是再好不过的选择了.在python ...
    
			
    10. 
						
  10. LeetCode - Beautiful Array
			
    For some fixed N, an array A is beautiful if it is a permutation of the integers 1, 2, ..., N, such  ...
    
			
    11.