spark入门（三）键值对操作

1 简述

Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为PairRDD。

2 创建PairRDD

2.1

在sprk中，很多存储键值对的数据在读取时直接返回由其键值对数据组成的PairRDD。

2.2

可以调用map()函数，将一个普通的RDD转换为PairRDD。

scala 版：

使用第一个单词作为作为键创建出一个PairRDD

val pairs = lines.map(x => s.split(" ")(0),  x)

java版：

同样是使用第一个单词作为作为键创建出一个PairRDD

 PairFunction<String, String> keyData = new PairFunction<String, String>() {
     public Tuple2<String, String> call(String str) {
         return new Tuple2(str.split(" ")[0],  str);
     }
 }

3 PairRDD的转化操作

表：对Pair RDD的转化操作（以键值对集合{(1,2),(3,4),(3,6)}为例）

表：针对两个pair RDD的转化操作（rdd={(1,2),(3,4),(3,6)} other ={(3,9)}）

4 PairRDD的聚合操作

4.1 scala

scala中使用mapValues()和reduceByKey()计算每个键对应的平均值：

用Scala实现单词计数：

 val input=sc.textFile(path)
 val word=input.flatMap(x=>x.split(" "))
 val result=word.map(s=>(x,1)).reduceByKey((x,y)=>(x+y))

4.2 java

用Java实现单词计数：

 public class WordCount implements Serializable {
      private static final long serialVersionUID = 1L;
      private final static SparkConf sparkConf = new SparkConf().setAppName("JavaWordCount" );
      private final static JavaSparkContext sc = new JavaSparkContext( sparkConf);
      public void wordCount(){
            JavaRDD<String> input= sc.textFile("hdfs://hadoop:8020/words.txt" );
           JavaRDD<String> words= input.flatMap( new FlatMapFunction<String, String>() {
              private static final long serialVersionUID = 1L;
              @Override
              public Iterator<String> call(String x ) throws Exception {
                return Arrays.asList( x.split( " ")).iterator();
                        }
              });
        JavaPairRDD<String, Integer> result=words .mapToPair(new PairFunction<String, String, Integer>() {
               private static final long serialVersionUID = 1L;
               @Override
               public Tuple2<String, Integer> call(String x) throws Exception {
                 return new Tuple2<String, Integer>(x, 1);
                      }
       }).reduceByKey( new Function2<Integer, Integer, Integer>() {
      private static final long serialVersionUID = 1L;
      @Override
      public Integer call(Integer x , Integer y ) throws Exception {
                return x +y ;
                       }
            });
         }
 }