spark streaming 打包将全部依赖打进去，运行jar包报错：如下

Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
PS D:\workspace\ideaProject\java\wordcount\out\artifacts\wordcount_jar> spark-submit .\wordcount.jar localhost:9092 test

2019-08-23 15:37:18 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes

        at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.java:284)

        at sun.security.util.SignatureFileVerifier.process(SignatureFileVerifier.java:238)

        at java.util.jar.JarVerifier.processEntry(JarVerifier.java:316)

        at java.util.jar.JarVerifier.update(JarVerifier.java:228)

        at java.util.jar.JarFile.initializeVerifier(JarFile.java:383)

        at java.util.jar.JarFile.getInputStream(JarFile.java:450)

        at sun.misc.JarIndex.getJarIndex(JarIndex.java:137)

        at sun.misc.URLClassPath$JarLoader$1.run(URLClassPath.java:839)

        at sun.misc.URLClassPath$JarLoader$1.run(URLClassPath.java:831)

        at java.security.AccessController.doPrivileged(Native Method)

        at sun.misc.URLClassPath$JarLoader.ensureOpen(URLClassPath.java:830)

        at sun.misc.URLClassPath$JarLoader.<init>(URLClassPath.java:803)

        at sun.misc.URLClassPath$3.run(URLClassPath.java:530)

        at sun.misc.URLClassPath$3.run(URLClassPath.java:520)

        at java.security.AccessController.doPrivileged(Native Method)

        at sun.misc.URLClassPath.getLoader(URLClassPath.java:519)

        at sun.misc.URLClassPath.getLoader(URLClassPath.java:492)

        at sun.misc.URLClassPath.getNextLoader(URLClassPath.java:457)

        at sun.misc.URLClassPath.getResource(URLClassPath.java:211)

        at java.net.URLClassLoader$1.run(URLClassLoader.java:365)

        at java.net.URLClassLoader$1.run(URLClassLoader.java:362)

        at java.security.AccessController.doPrivileged(Native Method)

        at java.net.URLClassLoader.findClass(URLClassLoader.java:361)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

        at java.lang.Class.forName0(Native Method)

        at java.lang.Class.forName(Class.java:348)

        at org.apache.spark.util.Utils$.classForName(Utils.scala:239)

        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:851)

        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198)

        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228)

        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)

        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

　解决方式：只将有需要的包打进去，因为spark的lib下已经有很多jar包，不需要我们重复打进jar包，只需要把lib没有的jar包打进去运行就好。因为包的重复引用会导致生成多个MF文件

Error- spark streaming 打包将全部依赖打进去Invalid signature file digest for Manifest main attributes的更多相关文章

  1. gradle 打包所有依赖 Invalid signature file digest for Manifest main attributes(转)

    1.打包所有依赖: // 指定main函数的类 jar { manifest { attributes "Main-Class": "com.baeldung.fatja ...

  2. 封装jar问题java.lang.SecurityException: Invalid signature file digest for Manifest main attributes以及maven依赖重提解决

    1.jar包封装完成后,其他项目引用jar,启动时报错java.lang.SecurityException: Invalid signature file digest for Manifest m ...

  3. spark提交任务报错： java.lang.SecurityException: Invalid signature file digest for Manifest main attributes

    spark提交任务报错: java.lang.SecurityException: Invalid signature file digest for Manifest main attributes ...

  4. Intellij打包jar文件，“java.lang.SecurityException: Invalid signature file digest for Manifest main attrib

    下面是使用Intellij 打包jar文件的步骤,之后会有运行jar文件时遇到的错误. 打包完成. ================================================== ...

  5. Error- Overloaded method value createDirectStream in error Spark Streaming打包报错

    直接上代码 StreamingExamples.setStreamingLogLevels() val Array(brokers, topics) = args // Create context ...

  6. maven项目依赖其他jar包的时候，idea运行没问题，java -jar 报错：java.lang.SecurityException: Invalid signature file digest

    当项目依赖其他jar包的时候,打出的jar包执行出错,抛出这个异常. 原因:因为依赖jar包中的META-INF中有多余的.SF文件与当前jar包冲突, 解决方案 一 在打包前删除依赖jar包的.SF ...

  7. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十三）kafka+spark streaming打包好的程序提交时提示虚拟内存不足（Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G）

    异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...

  8. demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreachRDD输出到redis

    基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming.Spark SQL.MLlib.GraphX,这些内建库都提供了 ...

  9. 通过Spark Streaming的foreachRDD把处理后的数据写入外部存储系统中

    转载自:http://blog.csdn.net/erfucun/article/details/52312682 本博文主要内容包括: 技术实现foreachRDD与foreachPartition ...

随机推荐

  1. windows cmd bat处理文件

    bat中输入: @echo offtitle 正在承载无线网络....netsh wlan start hostednetworknetsh wlan show hostednetworkecho 启 ...

  2. javascrip的数组扁平化

    扁平化 数组的扁平化,就是将一个嵌套多层的数组 array (嵌套可以是任何层数)转换为只有一层的数组. 举个例子,假设有个名为 flatten 的函数可以做到数组扁平化,效果就会如下: var ar ...

  3. python基本数据预处理语法函数(2)

    1.字符串格式化方法format的用法: < ^ > #分别为左对齐.居中.右对齐 '{:>18,.2f}'.format(70305084.0) #:冒号+空白填充+右对齐+固定宽 ...

  4. datatables屏蔽警告弹窗

    //不显示任何错误信息 $.fn.dataTable.ext.errMode = 'none'; //以下为发生错误时的事件处理,如不处理,可不管. $('#tableId').on( 'error. ...

  5. 英语单词composing

    composing 来源——书籍Python.Crash.Course.2015.11 Using Individual Values from a List You can use individu ...

  6. php array_key_exists()函数 语法

    php array_key_exists()函数 语法 作用:检查某个数组中是否存在指定的键名.大理石平板价格 语法:array_key_exists(key,array) 参数: 参数 描述 key ...

  7. swan.onPageNotFound

    解释: 监听小程序要打开的页面不存在事件.该事件与 App.onPageNotFound 的回调时机一致. 方法参数: Function callback小程序要打开的页面不存在的事件回调函数. ca ...

  8. 【LOMBOK】能引入 @Slf4j 注解，不能识别 log 的解决方法

    问题: 在pom.xml中加入引入了lombok的依赖,可以引用@Slf4j注解不能识别log 如:注:上面一篇博客,已经说明lombok的安装了,但是用的时候还有点问题. 1).把lombok.ja ...

  9. css3的各种属性的讲解

    1.渐变(gradients) 水平渐变:linear gradient 语法:background:linear-gradient(direction,color1,color2); directi ...

  10. day30—使用Flexbox和CSS Grid实现高效布局实践

    转行学开发,代码100天——2018-04-15 (今天是代码开发的第30天,但是代码记录有些滞后,尽快补上.日后要严格执行,避免学习进度和内容相对滞后.) 今天,记录“前端大全”里分享的一篇关于利用 ...