spark运行时出现Neither spark.yarn.jars nor spark.yarn.archive is set错误的解决办法（图文详解）

　　不多说，直接上干货！

福利 => 每天都推送

欢迎大家，关注微信扫码并加入我的4个微信公众号：   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑         Java全栈大联盟

 

     每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。

 

     百家号 ：九月哥快讯               快手号：  jiuyuege

问题详情

　　每次提交spark任务到yarn的时候，总会出现uploading resource（打包spark jars并上传）到hdfs上。恶劣情况下，会在这里卡住很久。

// :: INFO Client: Preparing resources for our AM container
// :: WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploadi
ng libraries under SPARK_HOME.
// :: INFO Client: Uploading resource file:/tmp/spark-28ebde0d-c77a-4be3--a6d3bcccc253/__spar
k_libs__7542776655448713545.zip -> hdfs://dipperCluster/user/hadoop/.sparkStaging/application_1484215273436_0
/__spark_libs__7542776655448713545.zip
// :: INFO Client: Uploading resource file:/tmp/spark-28ebde0d-c77a-4be3--a6d3bcccc253/__spar
k_conf__8972755978315292177.zip -> hdfs://dipperCluster/user/hadoop/.sparkStaging/application_1484215273436_0
/__spark_conf__.zip

　　其实可以发现，上图中，已经有提示了，说被弃用了。

解决办法1

　　在hdfs上创建目录：

hdfs dfs -mkdir /home/hadoop/spark_jars

　　上传spark的jars（spark1.6 只需要上传spark-assembly-1.6.0-SNAPSHOT-hadoop2.6.0.jar）

hdfs dfs -put /opt/spark/jars/* /home/hadoop/spark_jars/ 

　　在spark的conf的spark-default.conf ，添加如下的配置

spark.yarn.jars=hdfs://master:9000/opt/spark/jars/* /home/hadoop/spark_jars/ 

　　即可解决。不会出现这个问题。

　　当，再次启动时，则

Source and destination file systems are the same. Not copying hdfs://master:9000/home/hadoop/spark_jars/zookeeper-3.4.6.jar

　　之后快速开始提交任务，启动任务。

 解决办法2

　　其实啊，说白了，就是spark2.1.0或spark2.2.0以上的版本的命令有所变化。所以压根可以需改动解决办法1所示的配置，直接用官网这样的命令来操作就可以了。

http://spark.apache.org/docs/latest/running-on-yarn.html

欢迎大家，加入我的4个微信公众号：    大数据躺过的坑     Java从入门到架构师    人工智能躺过的坑     Java全栈大联盟    

 

 

 

同时，大家可以关注我的个人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获

对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071） 

 

打开百度App，扫码，精彩文章每天更新！欢迎关注我的百家号： 九月哥快讯