spark Kryo serialization failed: Buffer overflow 错误

今天在写spark任务的时候遇到这么一个错误，我的spark版本是1.5.1.

 Exception in thread "main" com.esotericsoftware.kryo.KryoException: Buffer overflow. Available: 0, required: 124
     at com.esotericsoftware.kryo.io.Output.require(Output.java:138)
     at com.esotericsoftware.kryo.io.Output.writeBytes(Output.java:220)
     at com.esotericsoftware.kryo.io.Output.writeBytes(Output.java:206)
     at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ByteArraySerializer.write(DefaultArraySerializers.java:29)
     at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ByteArraySerializer.write(DefaultArraySerializers.java:18)
     at com.esotericsoftware.kryo.Kryo.writeClassAndObject(Kryo.java:568)
     at carbonite.serializer$write_map.invoke(serializer.clj:69)

提示是说kryo序列化缓冲区溢出，导致job执行失败。那好，就把缓冲区改大点好了。搜索了一下答案。

说是可以这么设置：

 SparkConf sparkConf = new SparkConf()；
 sparkConf.set("spark.kryoserializer.buffer.mb","128");
 JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);

但是在测试的时候，spark提示这个设置在spark1.4之后过时了，建议使用来设置。

 spark.kryoserializer.buffer

那就改改：

 SparkConf sparkConf = new SparkConf();
 sparkConf.set("spark.kryoserializer.buffer","64");
 JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);

问题解决。