版本号：

maven3.5.0     scala IDE for Eclipse：版本（4.6.1）    spark-2.1.1-bin-hadoop2.7    kafka_2.11-0.8.2.1   JDK1.8

基础环境：

Maven3.5.0安装与配置+Eclipse应用

Maven下载项目依赖jar包和使用方法

maven中把依赖的JAR包一起打包

MAVEN Scope使用

一、指定JDK为1.8

在pom.xml配置文件中添加以下参数即可：



  1. <properties>
    2. 

  2. <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    3. 

  3. <encoding>UTF-8</encoding>
    4. 

  4. <java.version>1.8</java.version>
    5. 

  5. <maven.compiler.source>1.8</maven.compiler.source>
    6. 

  6. <maven.compiler.target>1.8</maven.compiler.target>
    7. 

  7. </properties>




  1. <plugin>
    2. 

  2. <groupId>org.apache.maven.plugins</groupId>
    3. 

  3. <artifactId>maven-compiler-plugin</artifactId>
    4. 

  4. <configuration>
    5. 

  5. <source>1.8</source>
    6. 

  6. <target>1.8</target>
    7. 

  7. </configuration>
    8. 

  8. </plugin>


配置之后的pom.xml文件如下：




  1. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    2. 

  2. xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    3. 

  3. <modelVersion>4.0.0</modelVersion>
    4. 

  4. <groupId>Test</groupId>
    5. 

  5. <artifactId>test</artifactId>
    6. 

  6. <version>0.0.1-SNAPSHOT</version>
    7. 

  7. <packaging>jar</packaging>
    8. 

  8. <name>test</name>
    9. 

  9. <url>http://maven.apache.org</url>
    10. 

  10. <properties>
    11. 

  11. <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    12. 

  12. <encoding>UTF-8</encoding>
    13. 

  13. <!-- 配置JDK为1.8 -->
    14. 

  14. <java.version>1.8</java.version>
    15. 

  15. <maven.compiler.source>1.8</maven.compiler.source>
    16. 

  16. <maven.compiler.target>1.8</maven.compiler.target>
    17. 

  17. </properties>
    18. 

  18. <dependencies>
    19. 

  19. <dependency>
    20. 

  20. <groupId>junit</groupId>
    21. 

  21. <artifactId>junit</artifactId>
    22. 

  22. <version>3.8.1</version>
    23. 

  23. <scope>test</scope>
    24. 

  24. </dependency>
    25. 

  25. </dependencies>
    26. 

  26. <build>
    27. 

  27. <plugins>
    28. 

  28. <!-- 配置JDK为1.8 -->
    29. 

  29. <plugin>
    30. 

  30. <groupId>org.apache.maven.plugins</groupId>
    31. 

  31. <artifactId>maven-compiler-plugin</artifactId>
    32. 

  32. <configuration>
    33. 

  33. <source>1.8</source>
    34. 

  34. <target>1.8</target>
    35. 

  35. </configuration>
    36. 

  36. </plugin>
    37. 

  37. <!-- 配置打包依赖包maven-assembly-plugin -->
    38. 

  38. <plugin>
    39. 

  39. <artifactId> maven-assembly-plugin </artifactId>
    40. 

  40. <configuration>
    41. 

  41. <descriptorRefs>
    42. 

  42. <descriptorRef>jar-with-dependencies</descriptorRef>
    43. 

  43. </descriptorRefs>
    44. 

  44. <archive>
    45. 

  45. <manifest>
    46. 

  46. <mainClass></mainClass>
    47. 

  47. </manifest>
    48. 

  48. </archive>
    49. 

  49. </configuration>
    50. 

  50. <executions>
    51. 

  51. <execution>
    52. 

  52. <id>make-assembly</id>
    53. 

  53. <phase>package</phase>
    54. 

  54. <goals>
    55. 

  55. <goal>assembly</goal>
    56. 

  56. </goals>
    57. 

  57. </execution>
    58. 

  58. </executions>
    59. 

  59. </plugin>
    60. 

  60. </plugins>
    61. 

  61. </build>
    62. 

  62. </project>


二、配置Spark依赖包


查看spark-2.1.1-bin-hadoop2.7/jars目录下的jar包版本




到maven远程仓库http://mvnrepository.com中搜索对应jar包即可。




1、配置spark-core_2.11-2.1.1.jar


往pom.xml文件中添加以下配置：




  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.1.1</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>


为了后面打包时把依赖包也一起打包，需要把<scope>provided</scope>配置成<scope>runtime</scope>。


2、配置spark-streaming_2.11-2.1.1.jar


往pom.xml文件中添加以下配置：




  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-streaming_2.11</artifactId>
    5. 

  5. <version>2.1.1</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>


为了后面打包时把依赖包也一起打包，需要把<scope>provided</scope>配置成<scope>runtime</scope>。


三、配置Spark+Kafka


1、配置spark-streaming-kafka-0-8_2.11-2.1.1.jar


往pom.xml文件中添加以下配置：




  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
    5. 

  5. <version>2.1.1</version>
    6. 

  6. </dependency>


四、pom.xml完整配置内容




  1. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    2. 

  2. xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    3. 

  3. <modelVersion>4.0.0</modelVersion>
    4. 

  4. <groupId>Test</groupId>
    5. 

  5. <artifactId>test</artifactId>
    6. 

  6. <version>0.0.1-SNAPSHOT</version>
    7. 

  7. <packaging>jar</packaging>
    8. 

  8. <name>test</name>
    9. 

  9. <url>http://maven.apache.org</url>
    10. 

  10. <properties>
    11. 

  11. <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    12. 

  12. <encoding>UTF-8</encoding>
    13. 

  13. <!-- 配置JDK为1.8 -->
    14. 

  14. <java.version>1.8</java.version>
    15. 

  15. <maven.compiler.source>1.8</maven.compiler.source>
    16. 

  16. <maven.compiler.target>1.8</maven.compiler.target>
    17. 

  17. </properties>
    18. 

  18. <dependencies>
    19. 

  19. <dependency>
    20. 

  20. <groupId>junit</groupId>
    21. 

  21. <artifactId>junit</artifactId>
    22. 

  22. <version>3.8.1</version>
    23. 

  23. <scope>test</scope>
    24. 

  24. </dependency>
    25. 

  25. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    26. 

  26. <dependency>
    27. 

  27. <groupId>org.apache.spark</groupId>
    28. 

  28. <artifactId>spark-core_2.11</artifactId>
    29. 

  29. <version>2.1.1</version>
    30. 

  30. <scope>runtime</scope>
    31. 

  31. </dependency>
    32. 

  32. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    33. 

  33. <dependency>
    34. 

  34. <groupId>org.apache.spark</groupId>
    35. 

  35. <artifactId>spark-streaming_2.11</artifactId>
    36. 

  36. <version>2.1.1</version>
    37. 

  37. <scope>runtime</scope>
    38. 

  38. </dependency>
    39. 

  39. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11 -->
    40. 

  40. <dependency>
    41. 

  41. <groupId>org.apache.spark</groupId>
    42. 

  42. <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
    43. 

  43. <version>2.1.1</version>
    44. 

  44. </dependency>
    45. 

  45. </dependencies>
    46. 

  46. <build>
    47. 

  47. <plugins>
    48. 

  48. <!-- 配置JDK为1.8 -->
    49. 

  49. <plugin>
    50. 

  50. <groupId>org.apache.maven.plugins</groupId>
    51. 

  51. <artifactId>maven-compiler-plugin</artifactId>
    52. 

  52. <configuration>
    53. 

  53. <source>1.8</source>
    54. 

  54. <target>1.8</target>
    55. 

  55. </configuration>
    56. 

  56. </plugin>
    57. 

  57. <!-- 配置打包依赖包maven-assembly-plugin -->
    58. 

  58. <plugin>
    59. 

  59. <artifactId> maven-assembly-plugin </artifactId>
    60. 

  60. <configuration>
    61. 

  61. <descriptorRefs>
    62. 

  62. <descriptorRef>jar-with-dependencies</descriptorRef>
    63. 

  63. </descriptorRefs>
    64. 

  64. <archive>
    65. 

  65. <manifest>
    66. 

  66. <mainClass></mainClass>
    67. 

  67. </manifest>
    68. 

  68. </archive>
    69. 

  69. </configuration>
    70. 

  70. <executions>
    71. 

  71. <execution>
    72. 

  72. <id>make-assembly</id>
    73. 

  73. <phase>package</phase>
    74. 

  74. <goals>
    75. 

  75. <goal>assembly</goal>
    76. 

  76. </goals>
    77. 

  77. </execution>
    78. 

  78. </executions>
    79. 

  79. </plugin>
    80. 

  80. </plugins>
    81. 

  81. </build>
    82. 

  82. </project>


五、本地开发spark代码上传spark集群服务并运行


JavaDirectKafkaCompare.java




  1. package com.spark.main;
    2. 

  2. import java.util.HashMap;
    3. 

  3. import java.util.HashSet;
    4. 

  4. import java.util.Arrays;
    5. 

  5. import java.util.Iterator;
    6. 

  6. import java.util.Map;
    7. 

  7. import java.util.Set;
    8. 

  8. import java.util.regex.Pattern;
    9. 

  9. import scala.Tuple2;
    10. 

  10. import kafka.serializer.StringDecoder;
    11. 

  11. import org.apache.spark.SparkConf;
    12. 

  12. import org.apache.spark.api.java.function.*;
    13. 

  13. import org.apache.spark.streaming.api.java.*;
    14. 

  14. import org.apache.spark.streaming.kafka.KafkaUtils;
    15. 

  15. import org.apache.spark.streaming.Durations;
    16. 

  16. public class JavaDirectKafkaCompare {
    17. 

  17. public static void main(String[] args) throws Exception {
    18. 

  18. /**
    19. 

  19. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    20. 

  20. *  Durations.seconds(2)每两秒读取一次kafka
    21. 

  21. */
    22. 

  22. SparkConf sparkConf = new SparkConf().setAppName("JavaDirectKafkaWordCount").setMaster("local[2]");
    23. 

  23. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.seconds(2));
    24. 

  24. /**
    25. 

  25. * checkpoint("hdfs://192.168.168.200:9000/checkpoint")防止数据丢包
    26. 

  26. */
    27. 

  27. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint");
    28. 

  28. /**
    29. 

  29. * 配置连接kafka的相关参数
    30. 

  30. */
    31. 

  31. Set<String> topicsSet = new HashSet<>(Arrays.asList("test"));
    32. 

  32. Map<String, String> kafkaParams = new HashMap<>();
    33. 

  33. kafkaParams.put("metadata.broker.list", "192.168.168.200:9092");
    34. 

  34. // Create direct kafka stream with brokers and topics
    35. 

  35. JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(
    36. 

  36. jssc,
    37. 

  37. String.class,
    38. 

  38. String.class,
    39. 

  39. StringDecoder.class,
    40. 

  40. StringDecoder.class,
    41. 

  41. kafkaParams,
    42. 

  42. topicsSet
    43. 

  43. );
    44. 

  44. // Get the lines, split them into words, count the words and print
    45. 

  45. /**
    46. 

  46. * _2()获取第二个对象的值
    47. 

  47. */
    48. 

  48. JavaDStream<String> lines = messages.map(new Function<Tuple2<String, String>, String>() {
    49. 

  49. @Override
    50. 

  50. public String call(Tuple2<String, String> tuple2) {
    51. 

  51. return tuple2._2();
    52. 

  52. }
    53. 

  53. });
    54. 

  54. String sfzh = "432922196105276721";
    55. 

  55. JavaDStream<String> wordCounts = lines.filter(new Function<String, Boolean>(){
    56. 

  56. @Override
    57. 

  57. public Boolean call(String s) throws Exception {
    58. 

  58. // TODO Auto-generated method stub
    59. 

  59. /**
    60. 

  60. * 通过身份证号筛选出相关数据
    61. 

  61. */
    62. 

  62. if(s.contains(sfzh)){
    63. 

  63. System.out.println("比对出来的结果：" + s);
    64. 

  64. return true;
    65. 

  65. }
    66. 

  66. return false;
    67. 

  67. }
    68. 

  68. });
    69. 

  69. wordCounts.print();
    70. 

  70. // Start the computation
    71. 

  71. jssc.start();
    72. 

  72. jssc.awaitTermination();
    73. 

  73. }
    74. 

  74. }


右键Run As ------>Maven install，运行成功之后，会在target目录生成一个test-0.0.1-SNAPSHOT-jar-with-dependencies.jar，把该jar包复制到LInux集群环境下的SPARK_HOME/myApp目录下：




执行命令：




  1. cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7;
    2. 

  2. bin/spark-submit --class "com.spark.main.JavaDirectKafkaCompare" --master local[4] myApp/test-0.0.1-SNAPSHOT-jar-with-dependencies.jar;




六、附上离线Maven仓库


下载地址：  链接：http://pan.baidu.com/s/1eS7Ywme 密码：y3qz


												


											
Maven+Eclipse+SparkStreaming+Kafka整合的更多相关文章
	

    
								
  1. SparkStreaming+Kafka整合
		
    SparkStreaming+Kafka整合 1.需求 使用SparkStreaming,并且结合Kafka,获取实时道路交通拥堵情况信息. 2.目的 对监控点平均车速进行监控,可以实时获取交通拥堵情 ...
    
		
    2. 
						
  2. 【SparkStreaming学习之三】 SparkStreaming和kafka整合
		
    环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark ...
    
		
    3. 
						
  3. 【转】Spark Streaming和Kafka整合开发指南
		
    基于Receivers的方法 这个方法使用了Receivers来接收数据.Receivers的实现使用到Kafka高层次的消费者API.对于所有的Receivers,接收到的数据将会保存在Spark  ...
    
		
    4. 
						
  4. Spring Kafka整合Spring Boot创建生产者客户端案例
		
    每天学习一点点 编程PDF电子书.视频教程免费下载:http://www.shitanlife.com/code 创建一个kafka-producer-master的maven工程.整个项目结构如下: ...
    
		
    5. 
						
  5. spark第十篇：Spark与Kafka整合
		
    spark与kafka整合需要引入spark-streaming-kafka.jar,该jar根据kafka版本有2个分支,分别是spark-streaming-kafka-0-8和spark-str ...
    
		
    6. 
						
  6. Flink+Kafka整合的实例
		
    Flink+Kafka整合实例 1.使用工具Intellig IDEA新建一个maven项目,为项目命名为kafka01. 2.我的pom.xml文件配置如下. <?xml version=&q ...
    
		
    7. 
						
  7. Spark Streaming和Kafka整合开发指南(二)
		
    在本博客的<Spark Streaming和Kafka整合开发指南(一)>文章中介绍了如何使用基于Receiver的方法使用Spark Streaming从Kafka中接收数据.本文将介绍 ...
    
		
    8. 
						
  8. Spark Streaming和Kafka整合开发指南(一)
		
    Apache Kafka是一个分布式的消息发布-订阅系统.可以说,任何实时大数据处理工具缺少与Kafka整合都是不完整的.本文将介绍如何使用Spark Streaming从Kafka中接收数据,这里将 ...
    
		
    9. 
						
  9. [Maven]Eclipse插件之Maven配置及问题解析.
		
    前言:今天在自己环境装了Maven环境, 并且安装了Eclipse插件, 在查找插件过程中确实遇到一些问题, 好不容易找到一个  却又有问题.装好了插件之后, 用Eclipse创建Maven项目却出现 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. Ubuntu 16.04安装vsftpd 并开启ftp服务
			
    1. 安装 sudo apt-get install vsftpd 2.可以使用下列命令来打开,关闭,重启ftp服务 sudo /etc/init.d/vsftpd start sudo /etc/i ...
    
			
    2. 
						
  2. JavaBasic_02
			
    Java的基础框架 3W:What How Why What:一个东西是什么,具备什么样的功能 怎么用 How: 怎么做?功能如何实现 读源代码(jdk)->学习很多,优雅的编程技巧建立在wha ...
    
			
    3. 
						
  3. 【Java】将字节转换成十六进制、BCD码输出
			
    public class HexUtils { public static void main(String[] args) { byte []out = { 0, 1, 2, 3, 4, 5, 6, ...
    
			
    4. 
						
  4. xdoj-1279(有趣的线段树--吉司机？！）
			
    题目链接 一 核心: f(x)=91 (x<=100) f(x)=x-10 (x>100) 那么同一区间就可能不同的操作,那么该怎么解决呢? 我门直到同一区间的数据属于同一类别的时候再进行 ...
    
			
    5. 
						
  5. 《DSP using MATLAB》Problem5.23
			
    代码: %% ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ %% O ...
    
			
    6. 
						
  6. hdu2594 Simpsons’ Hidden Talents LCS--扩展KMP
			
    Homer: Marge, I just figured out a way to discover some of the talents we weren’t aware we had.Marge ...
    
			
    7. 
						
  7. python------模块定义、导入、优化   ------time模块
			
    1.模块介绍 2.time & datetime 3.random 4.os 5.sys 6.shutil 7.json & pickle 8.shelve 9.xml处理 10.ya ...
    
			
    8. 
						
  8. 堆栈详解 + 彻底理解Java的值传递和引用传递
			
    本文旨在用最通俗的语言讲述最枯燥的基本知识 学过Java基础的人都知道:值传递和引用传递是初次接触Java时的一个难点,有时候记得了语法却记不得怎么实际运用,有时候会的了运用却解释不出原理,而且坊间讨 ...
    
			
    9. 
						
  9. 【BZOJ3242】【UOJ#126】【NOI2013】快餐店
			
    NOI都是这种难度的题怎么玩嘛QAQ 原题: 小T打算在城市C开设一家外送快餐店.送餐到某一个地点的时间与外卖店到该地点之间最短路径长度是成正比的,小T希望快餐店的地址选在离最远的顾客距离最近的地方. ...
    
			
    10. 
						
  10. Java中的权限学习笔记
			
    1.Java中的权限有两个层次,一个是类这一层,另一个是类成员那一层. 类这一层: public class可以在本包内被访问,也可以在包外被访问.而没有被public修饰的class只能在本包内被调 ...
    
			
    11.