报错：

// :: ERROR Utils: Exception encountered

py4j.Py4JException: Cannot obtain a new communication channel

    at py4j.CallbackClient.sendCommand(CallbackClient.java:)

    at py4j.CallbackClient.sendCommand(CallbackClient.java:)

    at py4j.reflection.PythonProxyHandler.invoke(PythonProxyHandler.java:)

    at com.sun.proxy.$Proxy8.dumps(Unknown Source)

    at org.apache.spark.streaming.api.python.PythonTransformFunctionSerializer$.serialize(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply$mcV$sp(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply(PythonDStream.scala:)

    at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction.writeObject(PythonDStream.scala:)

    at sun.reflect.GeneratedMethodAccessor23.invoke(Unknown Source)

    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:)

    at java.lang.reflect.Method.invoke(Method.java:)

    at java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeArray(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

因为代码中设置了local directory：

 ssc.checkpoint("checkpoint")

需要设置成HDFS directory。

【参考】：http://45.55.83.242:4000/blog/2016/02/22/note-Some-Spark-issues-and-solutions/

spark-streaming问题集锦的更多相关文章

  1. Spark踩坑记——Spark Streaming+Kafka

    [TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark strea ...

  2. Spark Streaming+Kafka

    Spark Streaming+Kafka 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端, ...

  3. Storm介绍及与Spark Streaming对比

    Storm介绍 Storm是由Twitter开源的分布式.高容错的实时处理系统,它的出现令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求.Storm常用于在实时分析.在线机器学 ...

  4. flume+kafka+spark streaming整合

    1.安装好flume2.安装好kafka3.安装好spark4.流程说明: 日志文件->flume->kafka->spark streaming flume输入:文件 flume输 ...

  5. spark streaming kafka example

    // scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.String ...

  6. Spark Streaming中动态Batch Size实现初探

    本期内容 : BatchDuration与 Process Time 动态Batch Size Spark Streaming中有很多算子,是否每一个算子都是预期中的类似线性规律的时间消耗呢? 例如: ...

  7. Spark Streaming源码解读之No Receivers彻底思考

    本期内容 : Direct Acess Kafka Spark Streaming接收数据现在支持的两种方式: 01. Receiver的方式来接收数据,及输入数据的控制 02. No Receive ...

  8. Spark Streaming架构设计和运行机制总结

    本期内容 : Spark Streaming中的架构设计和运行机制 Spark Streaming深度思考 Spark Streaming的本质就是在RDD基础之上加上Time ,由Time不断的运行 ...

  9. Spark Streaming中空RDD处理及流处理程序优雅的停止

    本期内容 : Spark Streaming中的空RDD处理 Spark Streaming程序的停止 由于Spark Streaming的每个BatchDuration都会不断的产生RDD,空RDD ...

  10. Spark Streaming源码解读之State管理之UpdataStateByKey和MapWithState解密

    本期内容 : UpdateStateByKey解密 MapWithState解密 Spark Streaming是实现State状态管理因素: 01. Spark Streaming是按照整个Bach ...

随机推荐

  1. heap与stack的差

    本文内容来源于<程序猿面试宝典>第三版. 在进行C/C++编程时.常常将操作的内存分下面几个类别: 栈区(stack):由编译器自己主动分配和释放,存放函数的參数值.局部变量的值等. 其操 ...

  2. Java编程思想(十五) —— 类型信息之反射

    讲完.class,Class之后,继续. 1)泛化的Class引用 Class也能够增加泛型,增加之后会进行类型检查. 贴一下书上原话,Class<?>优于Class,尽管他们是等价的,C ...

  3. Redis学习（3）-redis启动

    前端启动 tomcat,redis,mysql的端口号: mysql 3306 tomcat 8088 redis 6379 一,启动redis服务: 例如当前位置在redis安装目录下面: 启动re ...

  4. /etc/fstab 参数详解（转）

    转自:http://blog.csdn.net/duyiwuer2009/article/details/8644753/ /dev/hda5       /home/new              ...

  5. Web服务器（容器）请求常见的错误及其解决方法

    首先我们来看看容器如何找到service()方法?(1)当在浏览器中输入 http://localhost:8080/firstweb/sayHi 这个地址后,容器是如何找到 HelloServlet ...

  6. IDEA基于maven整合SSM

    感谢:IDEA搭建Spring+SpringMVC+mybatis框架教程 简洁明了, 步骤详细.

  7. 编译后class$1,class$2,class$innerclass中的$的含义

    本文转自:http://www.cnblogs.com/stefanlee/p/3403445.html class文件名中的$的含义如下:   $后面的类是$前面的类的内部类 内部类有以下两种情况: ...

  8. editplus发布3.01 Build 446 Final版(附下载及中文版)

    http://www.cnblogs.com/JustinYoung/archive/2008/04/14/editplus-301.html没有什么好说的,我个人最喜欢的编辑器.除了windows和 ...

  9. 【java设计模式】之 代理（Proxy）模式

    代理模式的核心作用就是通过代理,控制对对象的访问.这跟实际中是一样的,比如说明星都有经纪人,这就是一个代理,比如有人要找某明星拍戏,那么首先处理这事的是他的经纪人,虽然拍戏需要自己拍,但是拍戏前后的一 ...

  10. 像素（px）到底是个什么单位

    px,对于许多网页设计者来说,是最常用的CSS长度单位.然而,1px到底多长,恐怕没有多少人回答得上来. CSS长度本身有绝对长度和相对长度的区分. cm.pt之类的都是绝对长度,它们是物理长度——1 ...