WARN deploy.SparkSubmit$$anon$2: Failed to load org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount.

前言

今天运行Spark Structured Streaming官网的如下

./bin/run-example org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount localhost 9999

报了 WARN deploy.SparkSubmit$$anon$2: Failed to load org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount.截图如下：

解决方案

是spark-examples_2.11-2.4.5.jar里面内容不全导致的，去官网下载spark安装包，并将服务器上的examples\jars 下面的spark-examples_2.11-2.4.5.jar替换掉重新运行即可。

解决过程

刚开始看到这个错误，第一反应是环境变量出了问题，没有找到，然后去查看环境变量发现没问题。

然后就去另一台服务器运行同样命令，执行成功了。然后查看了下spark-examples_2.11-2.4.5.jar文件是存在的。这个时候就很郁闷，随便检查了下其它配置也都一样，但是真相只有一个，肯定有一个地方配置的不对。于是乎~我就把两台服务器的文件弄到了本地，并使用Beyond Compare工具进行一个个对比，果然发现了问题，spark-examples_2.11-2.4.5.jar文件在出错的那台服务器居然才1KB，而正常的那台服务器是1971KB，原来是包里面缺少内容导致的，于是我忙紧把正常包在服务器进行替换，然后重新运行就好了。

具体为什么包会变小，还没找到原因。