提交Spark作业遇到的NoSuchMethodError问题总结
测试应用说明
测试的Spark应用实现了同步hive表到kafka的功能。具体处理流程：
- 从 ETCD 获取 SQL 语句和 Kafka 配置信息
- 使用 SparkSQL 读取 Hive 数据表
- 把 Hive 数据表的数据写入 Kafka
应用使用etcd来存储程序所需配置，通过拉取etcd的kv配置，来初始化sql语句和kafka配置的参数。
提交方式及相应的问题
- 使用
client模式，提交无依赖的jar包
提交命令
/usr/local/spark-2.3.0-bin-2.8.2/bin/spark-submit \
--name hive2kafka \
--master yarn \
--deploy-mode client \
--driver-cores 1 \
--driver-memory 2g \
--num-executors 2 \
--executor-cores 1 \
--executor-memory 2g \
--queue hive \
--class com.ljh.spark.Hive2Kafka \
/data0/jianhong1/demo-v25/target/demo-1.0-SNAPSHOT.jar
应用运行失败，driver端报错：
Exception in thread "main" java.lang.NoClassDefFoundError: io/etcd/jetcd/Client
at com.ljh.spark.EtcdUtil.getClient(EtcdUtil.java:27)
at com.ljh.spark.EtcdUtil.get(EtcdUtil.java:46)
at com.ljh.spark.Hive2Kafka.main(Hive2Kafka.java:60)
...
Caused by: java.lang.ClassNotFoundException: io.etcd.jetcd.Client
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
从报错信息可以看出，driver端没有查找到etcd的某个类，即没有加载到etcd 的jar包。说明spark应用driver进程的classpath不包含etcd 的jar包。因此考虑打包fat jar，把etcd的jar包打入用户提交的jar。
- 使用
client模式，提交包含依赖的jar包
提交命令
/usr/local/spark-2.3.0-bin-2.8.2/bin/spark-submit \
--name hive2kafka \
--master yarn \
--deploy-mode client \
--driver-cores 1 \
--driver-memory 2g \
--num-executors 2 \
--executor-cores 1 \
--executor-memory 2g \
--queue hive \
--class com.ljh.spark.Hive2Kafka \
/data0/jianhong1/demo-v25/target/demo-1.0-SNAPSHOT-jar-with-dependencies.jar
应用运行失败，driver端报错：
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;CLjava/lang/Object;)V
at io.grpc.Metadata$Key.validateName(Metadata.java:742)
at io.grpc.Metadata$Key.<init>(Metadata.java:750)
at io.grpc.Metadata$Key.<init>(Metadata.java:668)
at io.grpc.Metadata$AsciiKey.<init>(Metadata.java:959)
at io.grpc.Metadata$AsciiKey.<init>(Metadata.java:954)
at io.grpc.Metadata$Key.of(Metadata.java:705)
at io.grpc.Metadata$Key.of(Metadata.java:701)
at io.etcd.jetcd.ClientConnectionManager.<clinit>(ClientConnectionManager.java:69)
at io.etcd.jetcd.ClientImpl.<init>(ClientImpl.java:37)
at io.etcd.jetcd.ClientBuilder.build(ClientBuilder.java:401)
at com.ljh.spark.EtcdUtil.getClient(EtcdUtil.java:28)
at com.ljh.spark.EtcdUtil.get(EtcdUtil.java:46)
at com.ljh.spark.Hive2Kafka.main(Hive2Kafka.java:60)
...
从报错信息可以看出，应用没有找到guava包的Preconditions类的checkArgument方法 。说明程序找到了guava包的Preconditions类，但是这个类没有找到checkArgument的某个构造方法。这种问题一般是由于jar包冲突，即程序加载了低版本的jar包，但是程序需要调用高版本jar包的某个方法，而这个方法低版本中没有，就会出现上面的报错NoSuchMethodError。
因此考虑把程序中冲突的低版本guava包排除掉。通过检查程序pom文件的jar包依赖，明确添加适配etcd高版本的guava包，并把冲突的低版本的guava包排除掉。重新运行，发现依然出现上面的NoSuchMethodError报错。
因此猜测低版本的guava包不是由于程序代码引入的，而是由spark提交机的本地包引入的。通过检查spark提交机的本地包，查到引入了guava-14.0.1.jar，而程序中etcd依赖的guava包需要的版本为20+。说明应用使用了本地jar的低版本guava类，而没有使用fat-jar的高版本guava类。由此推测出，spark应用driver端的类加载优先级：本地jar > fat-jar。
- 使用
client模式，提交包含依赖的jar包，并添加driver-class 类路径
提交命令
/usr/local/spark-2.3.0-bin-2.8.2/bin/spark-submit \
--name hive2kafka \
--master yarn \
--deploy-mode client \
--driver-class-path /data0/jianhong1/demo-v25/target/lib/guava-23.6-jre.jar:/data0/jianhong1/demo-v25/target/lib/protobuf-java-3.5.1.jar \
--driver-cores 1 \
--driver-memory 2g \
--num-executors 2 \
--executor-cores 1 \
--executor-memory 2g \
--queue hive \
--class com.ljh.spark.Hive2Kafka \
/data0/jianhong1/demo-v25/target/demo-1.0-SNAPSHOT-jar-with-dependencies.jar
程序正常运行，不再出现NoSuchMethodError报错。由此推测出，spark应用driver端的类加载优先级：driver-class-path 配置 > 本地jar。
- 使用
cluster模式，提交包含依赖的jar包
提交命令
/usr/local/spark-2.3.0-bin-2.8.2/bin/spark-submit \
--name hive2kafka \
--master yarn \
--deploy-mode cluster \
--driver-cores 1 \
--driver-memory 2g \
--num-executors 2 \
--executor-cores 1 \
--executor-memory 2g \
--queue hive \
--class com.ljh.spark.Hive2Kafka \
/data0/jianhong1/demo-v25/target/demo-1.0-SNAPSHOT-jar-with-dependencies.jar
应用运行失败，报错信息：
diagnostics: User class threw exception: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;CLjava/lang/Object;)V
at io.grpc.Metadata$Key.validateName(Metadata.java:742)
at io.grpc.Metadata$Key.<init>(Metadata.java:750)
at io.grpc.Metadata$Key.<init>(Metadata.java:668)
at io.grpc.Metadata$AsciiKey.<init>(Metadata.java:959)
at io.grpc.Metadata$AsciiKey.<init>(Metadata.java:954)
at io.grpc.Metadata$Key.of(Metadata.java:705)
at io.grpc.Metadata$Key.of(Metadata.java:701)
at io.etcd.jetcd.ClientConnectionManager.<clinit>(ClientConnectionManager.java:69)
at io.etcd.jetcd.ClientImpl.<init>(ClientImpl.java:37)
at io.etcd.jetcd.ClientBuilder.build(ClientBuilder.java:401)
at com.ljh.spark.EtcdUtil.getClient(EtcdUtil.java:28)
at com.ljh.spark.EtcdUtil.get(EtcdUtil.java:46)
at com.ljh.spark.Hive2Kafka.main(Hive2Kafka.java:66)
...
从报错信息可以看出，应用找到了guava包的Preconditions类，但是在这个类中没有找到checkArgument的某个构造方法。
因此考虑在提交作业时明确指出etcd所依赖的高版本guava包。于是提交参数添加了 --jars hdfs:/user/jianhong1/jars/guava-23.6-jre.jar,hdfs:/user/jianhong1/jars/protobuf-java-3.5.1.jar \，重新运行后依然报上面的错。说明 --jar 参数只是负责把jar包拷贝到运行作业的服务器上，但是没把指定的jar包加到类路径。
- 使用
cluster模式，提交包含依赖的jar包，并添加driver 和executor 类路径。
提交命令
/usr/local/spark-2.3.0-bin-2.8.2/bin/spark-submit \
--name hive2kafka \
--master yarn \
--deploy-mode cluster \
--driver-cores 1 \
--driver-memory 2g \
--num-executors 2 \
--executor-cores 1 \
--executor-memory 2g \
--queue hive \
--class com.ljh.spark.Hive2Kafka \
--conf spark.driver.extraClassPath=guava-23.6-jre.jar:protobuf-java-3.5.1.jar \
--conf spark.executor.extraClassPath=guava-23.6-jre.jar:protobuf-java-3.5.1.jar \
--jars hdfs:/user/jianhong1/jars/guava-23.6-jre.jar,hdfs:/user/jianhong1/jars/protobuf-java-3.5.1.jar \
/data0/jianhong1/demo-v25/target/demo-1.0-SNAPSHOT-jar-with-dependencies.jar
通过增加guava包的driver 和executor 类路径的配置后，应用成功运行！
总结
本文介绍了client 方式和cluster 方式提交Spark 应用时所遇到的NoSuchMethodError 问题，及相应的解决方案。通过实际测试得到结论： spark应用的类加载优先级：--driver-class-path 或--executor-class-path配置 > 本地jar > fat-jar。
参考
The --jars argument only transports the jars to each machine in the cluster. It does NOT tell spark to use them in the class path search. The --driver-class-path (or similar arguments or config parameters) are also required.
--jars 参数只是用于传输 jar 包到集群的 Executor 和 Driver 的服务器上，它不会告知 spark 应用在哪个类路径下使用这些jar包。因此，--driver-class-path或--executor-class-path参数也是必需的，用于配置 driver 和 executor 的类路径。
- Spark on Yarn运行时加载的jar包 https://www.cnblogs.com/upupfeng/p/13544612.html
spark on yarn运行时会加载的jar包有如下：
spark-submit中指定的--jars
$SPARK_HOME/jars下的jar包
yarn提供的jar包
spark-submit通过参数spark.driver/executor.extraClassPath指定的jar包
提交Spark作业遇到的NoSuchMethodError问题总结的更多相关文章
- Spark作业提交至Yarn上执行的 一个异常
(1)控制台Yarn(Cluster模式)打印的异常日志: client token: N/A diagnostics: Application application_1584359 ...
- 数据倾斜是多么痛？spark作业调优秘籍
目录视图 摘要视图 订阅 [观点]物联网与大数据将助推工业应用的崛起,你认同么? CSDN日报20170703——<从高考到程序员——我一直在寻找答案> [直播]探究L ...
- 【转】数据倾斜是多么痛？spark作业/面试/调优必备秘籍
原博文出自于: http://sanwen.net/a/gqkotbo.html 感谢! 来源:数盟 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性 ...
- Spark学习（四） -- Spark作业提交
标签(空格分隔): Spark 作业提交 先回顾一下WordCount的过程: sc.textFile("README.rd").flatMap(line => line.s ...
- spark作业提交参数设置(转)
来源:https://www.cnblogs.com/arachis/p/spark_parameters.html 摘要 1.num-executors 2.executor-memory 3.ex ...
- Spark记录-Spark作业调试
在本地IDE里直接运行spark程序操作远程集群 一般运行spark作业的方式有两种: 本机调试,通过设置master为local模式运行spark作业,这种方式一般用于调试,不用连接远程集群. 集群 ...
- spark作业运行过程之--DAGScheduler
DAGScheduler--stage划分和创建以及stage的提交 本篇,我会从一次spark作业的运行为切入点,将spark运行过程中涉及到的各个步骤,包括DAG图的划分,任务集的创建,资源分配, ...
- Spark作业执行流程源码解析
目录 相关概念 概述 源码解析 作业提交 划分&提交调度阶段 提交任务 执行任务 结果处理 Reference 本文梳理一下Spark作业执行的流程. Spark作业和任务调度系统是其核心,通 ...
- spark-submit提交spark任务的具体参数配置说明
spark-submit提交spark任务的具体参数配置说明 1.spark提交任务常见的两种模式 2.提交任务时的几个重要参数 3.参数说明 3.1 executor_cores*num_execu ...
随机推荐
- python3实现名片管理系统（文件版）
def menu(): #首先定义功能列表函数menu() print(" 名片管理系统 V1.0 ") print("1:增加新用户") print(&quo ...
- maven之---资源过滤 在java/main/resourse/*.xml ,*.properties引用maven属性${db.username}
本文主要来源maven实战14.3 为了应对环境的变化,首先使用Maven属性将这个会发生变化的部分提取出来.在上一节的数据库配置中,连接数据库使用的驱动类,URL,用户名和密码都可能发生变化,因此使 ...
- Linux下如何查看定位当前正在运行软件的配置文件
netstat命令 用于显示与IP.TCP.UDP和ICMP协议相关的统计数据,一般用于检验本机各端口的网络连接情况 netstat -lntup 说明: l:listening n:num t:tc ...
- oracle（enquences & latches ）lock (oracle 锁大全)
资料来自官方文档: https://docs.oracle.com/database/121/CNCPT/consist.htm#CNCPT1333 https://docs.oracle.com/d ...
- ES6新特征
1.块级作用域 { } 就是块级作用域,还包括if.else.for.while...下都属于块级作用域. let 声明的变量不存在变量的提升,不允许let反复声明同一个变量:块级作用域下let ...
- 开发者如何快速搭建自己的电商App?
面向电商购物场景,HMS Core提供了创新的电商解决方案,帮助应用快速获客.提升转化率,实现业务增长.为了帮助开发者了解如何在电商购物类应用中集成HMS Core的各项能力,HMS Core开发了电 ...
- Springboot通过拦截器拦截请求信息收集到日志
1.需求 最近在工作中遇到的一个需求,将请求中的客户端类型.操作系统类型.ip.port.请求方式.URI以及请求参数值收集到日志中,网上找资料说用拦截器拦截所有请求然后收集信息,于是就开始了操作: ...
- GitHub不再支持密码验证解决方案：SSH免密与Token登录配置
今天提交代码,push到GitHub上,突然出现这个问题. remote: Support for password authentication was removed on August 13, ...
- [TensorFlow2.0]-Fashion-MNIST本地数据集及fit_generator()的使用
本人人工智能初学者,现在在学习TensorFlow2.0,对一些学习内容做一下笔记.笔记中,有些内容理解可能较为肤浅.有偏差等,各位在阅读时如有发现问题,请评论或者邮箱(右侧边栏有邮箱地址)提醒. 若 ...
- 解析java源文件
尝试从java源文件中解析出类.方法.属性等信息,但下面的代码没有完全实现. Sub parseJava() Dim package_name as String 'read a file Docum ...