11、TopN实战

1、Java版本：

1.1、取前3

package sparkcore.java;

import java.util.List;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaPairRDD;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.api.java.function.Function;

import org.apache.spark.api.java.function.PairFunction;

import scala.Tuple2;

/**

 * 取前3

 */

public class Top3 {

    public static void main(String[] 

7

1.2、每组内取top3

package sparkcore.java;

import java.util.ArrayList;

import java.util.Arrays;

import java.util.Collections;

import java.util.Comparator;

import java.util.Iterator;

import java.util.List;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaPairRDD;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.api.java.function.PairFunction;

import org.apache.spark.api.java.function.VoidFunction;

import scala.Tuple2;

/**

 * 每组内取top3

 */

public class GroupTop3 {

    public static void main(String[] 

90

87

=======================================

class: class2

88

87

77

=======================================

2、Scala版本：

2.1、取前3

package sparkcore.scala

import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

object Top3 {

  def main(args: Array[String]): Unit = {

    val )

    val )

    for (

7

6

2.2、每组内取top3

package sparkcore.scala

import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

object GroupTop3 {

  def main(args: Array[String]): Unit = {

    val )

    val ), line.split().toInt)))

    val )))

    sortRdd.foreach(e => println(e._1 + " : " + e._2))

  }

}

输出：

class1 : List(95, 90, 87)

class2 : List(88, 87, 77)