RDD(九)——序列化问题

在实际开发中我们往往需要自己定义一些对于RDD的操作，那么此时需要考虑的主要问题是，初始化工作是在Driver端进行的，而实际运行程序是在Executor端进行的，这就涉及到了跨进程通信，是需要序列化的。

传递一个方法

import org.apache.spark.rdd.RDD

class Search(query:String) {

  //过滤出包含字符串的数据
  def isMatch(s: String): Boolean = {
    s.contains(query)
  }

  //过滤出包含字符串的RDD
  def getMatch1 (rdd: RDD[String]): RDD[String] = {
    rdd.filter(isMatch)
  }

  //过滤出包含字符串的RDD
  def getMatche2(rdd: RDD[String]): RDD[String] = {
    rdd.filter(x => x.contains(query))
  }
}

创建Spark主程序

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object SeriTest {

    def main(args: Array[String]): Unit = {

      //1.初始化配置信息及SparkContext
      val sparkConf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local[*]")
      val sc = new SparkContext(sparkConf)

      //2.创建一个RDD
      val rdd: RDD[String] = sc.parallelize(Array("hadoop", "spark", "hive", "atguigu"))

      //3.创建一个Search对象
      val search = new Search("h")

      //4.运用第一个过滤函数并打印结果
      val match1: RDD[String] = search.getMatch1(rdd)
      match1.collect().foreach(println)
    }
  }

运行程序

报错：java.io.NotSerializableException: Search；

在这个方法中所调用的方法isMatch()是定义在Search这个类中的，实际上调用的是this. isMatch()，this表示Search这个类的对象，程序在运行过程中需要将Search对象序列化以后传递到Executor端。

解决方案：

使类继承scala.Serializable即可。告诉“它们”：Search对象是可以被序列化的

class Search(query:String) extends Serializable {

问题解决，打印：

hadoop

hive

传递一个属性

创建spark主程序

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object SeriTest {

    def main(args: Array[String]): Unit = {

      //1.初始化配置信息及SparkContext
      val sparkConf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local[*]")
      val sc = new SparkContext(sparkConf)

      //2.创建一个RDD
      val rdd: RDD[String] = sc.parallelize(Array("hadoop", "spark", "hive", "atguigu"))

      //3.创建一个Search对象
      val search = new Search("h")

      val matcher2: RDD[String] = search.getMatche2(rdd)
      matcher2.collect().foreach(println)

    }
  }

运行程序，也会报同样的错误：java.io.NotSerializableException: Search；

问题说明：

  //过滤出包含字符串的RDD
  def getMatche2(rdd: RDD[String]): RDD[String] = {
    rdd.filter(x => x.contains(query))
  }

在这个方法中所调用的方法query是定义在Search这个类中的字段，实际上调用的是this. query，this表示Search这个类的对象，程序在运行过程中需要将Search对象序列化以后传递到Executor端。

解决方法同上。

补充：创建一个object，在object中定义方法，以对象名引用的方式将方法传递给各个executor，不会出现序列化问题。见博文《JdbcRDD连接MySQL 》