spark rdd持久化的简单对比

未使用rdd持久化

使用后

通过对比可以发现,未使用RDD持久化时,第一次计算比使用RDD持久化要快,但之后的计算显然要慢的多,差不多10倍的样子

代码

 public class PersistRDD {
     private static SparkConf conf = new SparkConf().setMaster("local").setAppName("persistrdd");
     private static JavaSparkContext jsc = new JavaSparkContext(conf);
     public static void main(String[] args) {
         JavaRDD<String> rdd = jsc.textFile("D:\\inputword\\result.txt").cache();

         long start = System.currentTimeMillis();
         long count = rdd.count();
         System.out.println("数量------" + count);
         long end = System.currentTimeMillis();
         System.out.println("耗时------" + (end-start) + "毫秒");

         start = System.currentTimeMillis();
         count = rdd.count();
         System.out.println("数量------" + count);
         end = System.currentTimeMillis();
         System.out.println("耗时------" + (end-start) + "毫秒");

         jsc.close();
     }
 }